CN112290694A - 一种基于磁谐振和dqn的mimo中继充电方法 - Google Patents

Abstract

一种基于磁谐振和DQN的MIMO中继充电方法，所述该方法由4个电路组成，分别为TX circuit发射端电路、Relay circuit中继端电路、RX circuit接收端电路、TX‑relay controller发射端‑中继端的控制电路，所述TX circuit发射端电路、Relay circuit中继端电路、RX circuit接收端电路之间均由TX‑relay controller发射端‑中继端的控制电路控制,本发明显著提升了无线充电的距离，增加了无线充电作用的范围，增强了无线充电的可用性，对无线磁充电的应用有着积极影响，有利于无线充电的发展。

Description

一种基于磁谐振和DQN的MIMO中继充电方法

技术领域

本发明涉及的基于磁谐振和DQN的MIMO中继充电方法，属于无线充电技术领域。

背景技术

随着数亿台智能设备在人群中的广泛使用，这些设备充电问题成为当前非常重要的研究性课题。近些年来，无线电能传输(Wireless Power Transmission)系统已经被深入研究，并出现了一批市场化的无线充电设备，以解决智能设备需要反复插拔补充电能的困扰。与传统的有线充电方法相比，无线充电最明显的优势是没有电线，降低了安全风险，有利于产品防水防尘设计。

目前，短距离无线电能传输系统通常以两种方式实现，即：电感耦合(InductiveCoupling，或称磁耦合)和磁谐振耦合(Magnetic Resonant Coupling)[1]。当使用电感耦合时，无线电能传输系统就像松散耦合变压器一样工作；而采用磁谐振技术的无线电能传输系统利用电路中谐振现象来提高能量传输效率。由于更高的效率和更长的充电距离，基于磁谐振技术的无线电能传输技术引起了业界和学术界的关注。多个无线充电联盟已经提出了无线充电系统的规范，例如无线充电联盟(WPC)提出的Qi规范，以及无线电力联盟(A4WP)提出的Rezence规范。

然而，当前的规范普遍集中于只有一个电力发送单元的情况，即，系统中有且仅有一个能量发射端(TX),而商品化的无线充电设备基本都是一对一的无线充方式，且充电距离都是接近零距离的、基本贴合的，需要发射端和接收端的高度耦合。已经在文献中研究了具有多个发射端和/或多个接收端的磁谐振无线电能传输系统。其中尤为引人注目的是，磁波束成形技术(beamforming)已应用于多输入多输出(MIMO)场景中，以实现更灵活和高效的能量传输。这些技术整合的无线充电系统在2014年以来的几篇相关文章[2]-[4]中有着具体阐述。

我们在此方案中借鉴了以往无线充电系统中的设计经验，基于磁谐振原理，整合磁波束成形技术，创新性地提出中继方案，即，在多入多出环境下，插入中继线圈群，使用神经网络方法控制中继线圈的开关闭合，从而与发射端控制一起实现对接收端的高效率充电方案。

发明内容

本发明多设备同时进行无线充电的难题，提高无线充电的距离和效率，本发明的目的是通过以下技术方案实现的：

一种基于磁谐振和DQN的MIMO中继充电方法，所述该方法由4个电路组成，分别为TX circuit发射端电路、Relay circuit中继端电路、RX circuit接收端电路、TX-relaycontroller发射端-中继端的控制电路，所述TX circuit发射端电路、Relay circuit中继端电路、RX circuit接收端电路之间均由TX-relay controller发射端-中继端的控制电路控制，其中电流公式为通过应用基尔霍夫电路法,我们得出以下电流方程(1)，对于每一个被动线圈α，α可以是任何RX，或任何处于闭合状态的Relay。

电压公式：可以得出电压方程(2)，式中的α可以是任何TX,RX,或任何闭合状态的Relay。τ_α对于发射端为1，对于中继端和接收端为0。

矩阵形式：为了更容易的表示，我们将上面(1)(2)写成矩阵形式(3)，

通过简单的变换，我们可以得到式(4)

所述通过控制发射端电流和中继端开关状态，使接收端在给定能量预算下的接收能量最大化。因此，该公式表述为：

约束为

由于解空间十分巨大，在有6*6的relay的情况下，遍历算法将不能在可行时间内得到最优解，我们采用分层的方法来解决这一问题；在顶层，我们只控制中继的开闭状态，在底层，我们只控制发射端的电流，如式(6)和(7)所示。

作为优选：所述底层，我们针对顶层方案中给出的闭合中继线圈的数量和排布方式，给出最大化接收端能量且满足总能量约束的发射端电流设定。

在底层算法中，我们扩展了文献[4]中的算法，使用拉格朗日乘数法。通过符号μ作为约束(C5a)的乘数，问题(7)是寻求以下函数的驻点。

我们可以通过将两个偏导数

和

设为0获得驻点的信息，特殊地，我们根据(4)式获得下述方程。

然后，我们得到了关于底层调度问题(7)的最优结果的定理。

式中，其中maxeig为矩阵对应于其最大实特征值的单位特征向量。γ为正则化标量，确保系统总功率满足预算约束(C5a)。

得到式(10)中的矩阵X₁和X₂，就可以解决底层问题，实际上，我们只需求得矩阵中的D和X₂即可。

估算D：由式(4)可知，D可以看作是由

到

的变换矩阵。幸运的是，我们可以测量TX和Relay上的电流，即，

和

然后，通过应用TX电流(实际上是通过TX电压调控)并测量产生的中继端电流，我们可以估计出它们之间的系数。由于

是长度为N的向量，在进行矩阵反演之前需要重复测量N次，其中N为TXs的个数。

更正式地说，如果应用N组不同的TX电流，测量相应的Relay电流，可以由下面的公式反演出矩阵D。

估算X₂：由式(4)消去

可得：

我们注意到式(12)中只有两个未知系数，即H和Z_R。然后，我们可以使用与估计D相同的数据与过程来估计：

由于接收端线圈较小，且距离比较远，故接收端RX之间的互感可以忽略不计。因此，我们认为R_R与Z_R近似相等。再结合估算出来的矩阵D，我们便可以估算出矩阵X₂。

时间消耗：时间上的消耗主要包括两部分，即测量和计算。计算过程主要由一个简单的特征向量分解过程组成，与测量过程相比，其耗时可忽略不计。

在RX无关估计中，需要对TX电压进行N次非线性变换，并测量相应的

和

因此，测量时间取决于实际系统中最高的TX电压变化速率。在我们的模型中，理论上可以实现超过1kHz的电压变化率。对于具有4个发射端TX的典型应用场景，我们可以在5ms内完成测量操作。

作为优选：所述顶层采用强化学习DQN，深度Q网络的方法，该方法基于DQN的能量路径路由方案，DQN的运行模式和原理可简述为：首先环境会给出一个观察(observation)，智能体根据值函数网络得到关于这个observation的所有Q(s,a)，然后利用∈-greedy选择action并做出决策，环境接收到此action后会给出一个奖励Reward及下一个observation。这是一个step，此时我们根据Reward去更新值函数网络的参数，接着进入下一个step，如此循环下去，直到我们训练出了一个好的值函数网络。

将整个MRC-WPT系统作为DQN算法的环境，值网络和目标网络是DQN计算和评价最优值的核心部分，我们使用θ，

来表达每个网络的权重，在第k轮中，设观察

并将之作为作为DQN的输入，将DQN的a^(k)的输出作为中继端的开断动作，从底层问题中获得最优的功率转移效率r^(k)作为奖励，D^(k)和

是第k轮低层问题的中间变量，其中包含了中继状态的关键信息。同时，我们采用了时间戳经验池的方式，存储短期内、系统访问过的中继闭合状态以及对应的返回值信息，避免了过于频繁地访问系统底层。

本发明显著提升了无线充电的距离，增加了无线充电作用的范围，增强了无线充电的可用性，对无线磁充电的应用有着积极影响，有利于无线充电的发展，目前无线充电局限于一对一充电，本发明可同时为多个设备供电，有着实际的应用前景，基于本发明的系统中，允许电子设备在充电范围内移动，系统将根据环境的变化，作出自适应的调度，为小功率设备供电。

附图说明

图1为系统架构图；

图2为原理示意图；

图3为包含中继的无线充电系统。

具体实施方式

下面结合本发明的具体内容，对本发明本发明的目的是为了对多个设备进行可观效率和一定距离(40厘米内)的无线充电方案，通过解决底层的发射端电流控制和高层的能量路径路由来达到这一要求。该系统的部署主要分为4个部分，如图1所示。

“TX circuit”表示发射端电路，我们使用由印刷电路板制成的均质发射端线圈，半径为15厘米，面积为0.0707平方米。每个由TX线圈和高频高Q值电容组成的串联电路使用放大的可控正弦信号供电。由于我们使用交直流转换器获得24V的直流电，所以我们的系统可以直接使用市频交流电供电。为了获得更精确、更好的谐振，我们系统中的所有部件都是专门设计的，以减少环境(周围磁场和杂波)对直流电流的影响。

“Relay circuit”表示中继端电路，中继电路即要有扩大磁场能量传输的能力，同时又要尽可能地降低能量损耗。由于中继电路的特殊应用，我们采用精炼铜线圈构成中继端电路，所有中继线圈规格相同，半径为7厘米，每个线圈的电阻在0.95欧姆左右，误差小于1％。在串联谐振电路中采用超低等效串联电阻(ESR)电容器与线圈谐振，提高了效率，因此，整体中继回路的串联电阻小于1欧姆。

“RX circuit”表示接收端电路，我们使用精炼铜制成的线圈，其半径小于4厘米，以匹配通常使用的移动设备的大小。在具体的接收端电路中，我们采用高频整流桥和稳压器，这样接收端可输出5V直流电压，通过简单地修改供电接口，我们的系统可为日常小功率设备供电。

“TX-relay controller”表示发射端-中继端的控制电路，这也是系统中最核心的部分。对于TX，我们的系统可以对每个线圈施加电压和测量电流。通过单片机编程，我们可以控制由高频信号产生芯片产生的正弦信号的幅度和相位，从而施加TX电压。我们通过采用幅相AD测量元件测量TX电流，并将测量结果传输到数据处理器。对于每一个中继端，我们可以通过单片机控制开关状态，并像TX一样测量中继端的电流。而PC作为数据处理器处理数据，运行DQN网络、决策并向下层单片机发送控制消息。

如图2所示，所提出的MRC-WPT系统由N个TXs、Q个RXs和C个Relays组成。我们将符号Ti、Ri、Ei分别表示为第i个TX、RX和中继。该系统采用磁谐振技术，其中自感和电容在每个TX/RX/Relay调谐，使他们的影响相互抵消。因此，在这项工作中，我们可以忽略有关电感和电容的项。在我们的设计方案中，有一个控制器将承载我们提出的优化算法，控制器与所有TXs/Relays通信。对于Controller-RXs通信，我们进一步考虑了两种不同的场景，即，依赖于接收端和独立于接收端的场景。在第一个场景中，控制器和接收端之间存在某种链接，比如Qi规范中的带内通信协议，或者Rezence规范中的蓝牙。因此，接收端可以向控制器反馈一些非实时的信息，而这样的通信将消耗接收端的能量。在第二个场景中，Controller-RX链接不存在。因此，在这种情况下，我们必须在没有接收端协同的情况下解决优化问题。

符号说明

我们使用r_α、i_α、v_α来表示TX/RX/Relay线圈α上的电阻,稳态电流,电压。由于Relay和RX都是无源元件，所以它们的电压总是零。我们将二进制变量

表示为第c个Relay的开关状态，其中1表示“闭合”，0表示“断开”。每对线圈之间存在互感。我们使用符号m_α,β表示互感系数。例如，

表示在i个TX和第j个relay之间的互感系数。我们还使用M_**来表示不同类型线圈之间的互感矩阵，其中下标(*)可以分别替换为代表TX/RX/relay的T|R|E。例如，矩阵M_TE中的i行和j列元素应该是

为了便于理解，我们将符号分类为不同的类型。优化目标变量:在固定系统总功率的前提下，我们的目标是使接收端接收的总功率达到最大。因此，优化目标变量为接收端的电流，即，

可控变量:第一类可控变量是中继的开关状态，即，

这可以通过硬件短路实现。第二种可控变量是发射端的电流，即，

其振幅和相位均可调节。然而，在实际环境中，控制电压可能比控制电流更加方便实际。通过电路方程可以方便地得到相应的发射端电压。已知常数:由于发射端和中继端通常作为基础设施固定使用，因此可以预先知道它们之间的相对位置。我们可以离线测量TX/Relay电阻和它们之间的互感，作为优化问题中已知的常数。在与RX相关的情况下，我们可以通过现有的方法测量RX电阻和相关的互感。因此，这些信息也可以看作是已知的常数。然而，在与RX无关的情况下，我们对RX电阻和相关的互感系数一无所知，必须将它们视为未知或缺失的信息。测量数据:发射端和中继端均配有测量电路。控制器能够为每个TX/Relay收集电流/电压的实时信息。然而对于接收端RX，RX的实时信息在控制器中不可用，即使在依赖于RX的场景中也是如此,其原因是Controller-RX通信链路需要消耗接收端RX的能量，无法支持实时通信。

公式推导：当发射端通电后，中继端和接收端上就会产生电流，这是由一定的物理规律决定的。在这里，我们将介绍一组有关发射端、闭合中继端和接收端的电路方程，借以了解发射端、中继端和接收端之间电流的关系。在不失一般性的前提下，假设有且仅有p个中继端处于闭合状态。

电流公式：通过应用基尔霍夫电路法,我们得出以下电流方程(1)，对于每一个被动线圈α，α可以是任何RX，或任何处于闭合状态的Relay。

电压公式：同理，我们可以得出电压方程(2)，式中的α可以是任何TX,RX,或任何闭合状态的Relay。τ_α对于发射端为1，对于中继端和接收端为0。

矩阵形式：为了更容易的表示，我们将上面(1)(2)写成矩阵形式(3)，其中的符号含义见表1。

通过简单的变换，我们可以得到式(4)

表1公式推导过程中变量含义

我们的目标是将功率转移效率(PTE)最大化，即，通过控制发射端电流和中继端开关状态，使接收端在给定能量预算下的接收能量最大化。因此，问题可以表述为：

约束为

由于解空间十分巨大，在有6*6的relay的情况下，遍历算法将不能在可行时间内得到最优解。于是我们采用分层的方法来解决这一问题。在顶层，我们只控制中继的开闭状态，在底层，我们只控制发射端的电流，如式(6)和(7)所示。

为了更简明地阐述，我们将顶层问题(6)归结为能量路径路由问题，底层问题(7)归结为发射端电流控制问题。

底层解决方案

在底层，我们针对顶层方案中给出的闭合中继线圈的数量和排布方式，给出最大化接收端能量且满足总能量约束的发射端电流设定。

在底层算法中，我们扩展了文献[4]中的算法，使用拉格朗日乘数法。通过符号μ作为约束(C5a)的乘数，问题(7)是寻求以下函数的驻点。

我们可以通过将两个偏导数

和

设为0获得驻点的信息，特殊地，我们根据(4)式获得下述方程。

然后，我们得到了关于底层调度问题(7)的最优结果的定理。

式中，其中maxeig为矩阵对应于其最大实特征值的单位特征向量。γ为正则化标量，确保系统总功率满足预算约束(C5a)。

得到式(10)中的矩阵X₁和X₂，就可以解决底层问题，实际上，我们只需求得矩阵中的D和X₂即可。

估算D：由式(4)可知，D可以看作是由

到

的变换矩阵。幸运的是，我们可以测量TX和Relay上的电流，即，

和

然后，通过应用TX电流(实际上是通过TX电压调控)并测量产生的中继端电流，我们可以估计出它们之间的系数。由于

是长度为N的向量，在进行矩阵反演之前需要重复测量N次，其中N为TXs的个数。

更正式地说，如果应用N组不同的TX电流，测量相应的Relay电流，可以由下面的公式反演出矩阵D。

估算X₂：由式(4)消去

可得：

我们注意到式(12)中只有两个未知系数，即H和Z_R。然后，我们可以使用与估计D相同的数据与过程来估计：

由于接收端线圈较小，且距离比较远，故接收端RX之间的互感可以忽略不计。因此，我们认为R_R与Z_R近似相等。再结合估算出来的矩阵D，我们便可以估算出矩阵X₂。

时间消耗：时间上的消耗主要包括两部分，即测量和计算。计算过程主要由一个简单的特征向量分解过程组成，与测量过程相比，其耗时可忽略不计。

在RX无关估计中，需要对TX电压进行N次非线性变换，并测量相应的

和

因此，测量时间取决于实际系统中最高的TX电压变化速率。在我们的模型中，理论上可以实现超过1kHz的电压变化率。对于具有4个发射端TX的典型应用场景，我们可以在5ms内完成测量操作。

解决方案

由于顶层的数据空间大，暴力搜索方式不适用，而由于磁场的特性，直接选择路径的方式也是不可取的，因此，在顶层，我们采用强化学习(DQN，深度Q网络)的方法，它是一种通过不断探索和学习来获得最优策略的算法，使我们能够在不需要任何先验信息的情况下学习最优控制策略。这种特性使得算法能够适应不断变化的环境，这非常符合我们的应用场景。

为解决顶层的能量路径路由问题，我们提出了基于DQN的能量路径路由方案，DQN的运行模式和原理可简述为：首先环境会给出一个观察(observation)，智能体根据值函数网络得到关于这个observation的所有Q(s,a)，然后利用∈-greedy选择action并做出决策，环境接收到此action后会给出一个奖励Reward及下一个observation。这是一个step，此时我们根据Reward去更新值函数网络的参数，接着进入下一个step。如此循环下去，直到我们训练出了一个好的值函数网络。

我们提出的基于DQN的中继控制策略如表2所示。我们将整个MRC-WPT系统作为DQN算法的环境。值网络和目标网络是DQN计算和评价最优值的核心部分。我们使用θ，

来表达每个网络的权重。在第k轮中，设观察

并将之作为作为DQN的输入，将DQN的a^(k)的输出作为中继端的开断动作，从底层问题中获得最优的功率转移效率r^(k)作为奖励。表2给出了相应的参数定义。值得注意的是，D^(k)和

是第k轮低层问题的中间变量，其中包含了中继状态的关键信息。

表2符号释义

详细的算法阐述见表3。

同时，我们采用了时间戳经验池的方式，存储短期内、系统访问过的中继闭合状态以及对应的返回值信息，避免了过于频繁地访问系统底层。

下图为DQN算法的伪码。

表3系统的DQN算法详述

实施方式举例

应用场景如图3所示。

图3中包含了本发明的所有部分，采用了4个发射端TX，16个中继端relay以及2个接收端RX。Controller为一台计算机，用于运行DQN，接收发射端和中继端上传的测量数据并决策中继端relay的闭合/断开状态。

该系统中继端平面距离发射端平面15cm，成功点亮了约40cm平面处两个3W的LED灯泡。系统中，所有发射端、接收端和中继端的谐振频率均为1.0MHz，这处在普通无线电能传输系统的频率范围内，也不会干扰其他的无线设备的频段。

Claims (3)

1.一种基于磁谐振和DQN的MIMO中继充电方法，其特征在于所述该方法由4个电路组成，分别为TX circuit发射端电路、Relay circuit中继端电路、RX circuit接收端电路、TX-relay controller发射端-中继端的控制电路，所述TX circuit发射端电路、Relaycircuit中继端电路、RX circuit接收端电路之间均由TX-relay controller发射端-中继端的控制电路控制，其中电流公式为通过应用基尔霍夫电路法,我们得出以下电流方程(1)，对于每一个被动线圈α，α可以是任何RX，或任何处于闭合状态的Relay。

电压公式：可以得出电压方程(2)，式中的α可以是任何TX,RX,或任何闭合状态的Relay。τ_α对于发射端为1，对于中继端和接收端为0。

矩阵形式：为了更容易的表示，我们将上面(1)(2)写成矩阵形式(3)，

通过简单的变换，我们可以得到式(4)

所述通过控制发射端电流和中继端开关状态，使接收端在给定能量预算下的接收能量最大化。因此，该公式表述为：

约束为

由于解空间十分巨大，在有6*6的relay的情况下，遍历算法将不能在可行时间内得到最优解，我们采用分层的方法来解决这一问题；在顶层，我们只控制中继的开闭状态，在底层，我们只控制发射端的电流，如式(6)和(7)所示。

2.根据权利要求1所述的基于磁谐振和DQN的MIMO中继充电方法，其特征在于所述底层的算法中，扩展了(4)中的算法，使用拉格朗日乘数法，通过符号μ作为约束(C5a)的乘数,(7)是寻求以下函数的驻点。

我们可以通过将两个偏导数

和

设为0获得驻点的信息，特殊地，我们根据(4)式获得下述方程。

得到了关于底层调度问题(7)的最优结果的定理。

式中，其中maxeig为矩阵对应于其最大实特征值的单位特征向量。γ为正则化标量，确保系统总功率满足预算约束(C5a)。

得到式(10)中的矩阵X₁和X₂，

估算D：由式(4)可知，D可以看作是由

到

的变换矩阵。幸运的是，我们可以测量TX和Relay上的电流，即，

和

然后，通过应用TX电流(实际上是通过TX电压调控)并测量产生的中继端电流，我们可以估计出它们之间的系数。由于

是长度为N的向量，在进行矩阵反演之前需要重复测量N次，其中N为TXs的个数。

更正式地说，如果应用N组不同的TX电流，测量相应的Relay电流，可以由下面的公式反演出矩阵D。

估算X₂：由式(4)消去

可得：

我们注意到式(12)中只有两个未知系数，即H和Z_R。然后，我们可以使用与估计D相同的数据与过程来估计：

由于接收端线圈较小，且距离比较远，故接收端RX之间的互感可以忽略不计。因此，我们认为R_R与Z_R近似相等。再结合估算出来的矩阵D，我们便可以估算出矩阵X₂。

时间消耗：时间上的消耗主要包括两部分，即测量和计算。计算过程主要由一个简单的特征向量分解过程组成，与测量过程相比，其耗时可忽略不计。

在RX无关估计中，需要对TX电压进行N次非线性变换，并测量相应的

和

因此，测量时间取决于实际系统中最高的TX电压变化速率。在我们的模型中，理论上可以实现超过1kHz的电压变化率。对于具有4个发射端TX的典型应用场景，我们可以在5ms内完成测量操作。

3.根据权利要求1所述的基于磁谐振和DQN的MIMO中继充电方法，其特征在于所述顶层采用强化学习DQN，深度Q网络的方法，该方法基于DQN的能量路径路由方案，DQN的运行模式和原理可简述为：首先环境会给出一个观察(observation)，智能体根据值函数网络得到关于这个observation的所有Q(s,a)，然后利用∈-greedy选择action并做出决策，环境接收到此action后会给出一个奖励Reward及下一个observation。这是一个step，此时我们根据Reward去更新值函数网络的参数，接着进入下一个step，如此循环下去，直到我们训练出了一个好的值函数网络。

将整个MRC-WPT系统作为DQN算法的环境，值网络和目标网络是DQN计算和评价最优值的核心部分，我们使用θ，

来表达每个网络的权重，在第k轮中，设观察

并将之作为DQN的输入，将DQN的a^(k)的输出作为中继端的开断动作，从底层问题中获得最优的功率转移效率r^(k)作为奖励，D^(k)和

是第k轮低层问题的中间变量，其中包含了中继状态的关键信息。同时，我们采用了时间戳经验池的方式，存储短期内、系统访问过的中继闭合状态以及对应的返回值信息，避免了过于频繁地访问系统底层。

Images