CN113824193A - 阻抗匹配方法、装置、强化学习控制器和计算机可读存储介质 - Google Patents

阻抗匹配方法、装置、强化学习控制器和计算机可读存储介质 Download PDF

Info

Publication number
CN113824193A
CN113824193A CN202111254453.3A CN202111254453A CN113824193A CN 113824193 A CN113824193 A CN 113824193A CN 202111254453 A CN202111254453 A CN 202111254453A CN 113824193 A CN113824193 A CN 113824193A
Authority
CN
China
Prior art keywords
load voltage
converter
reinforcement learning
duty ratio
actual load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111254453.3A
Other languages
English (en)
Other versions
CN113824193B (zh
Inventor
刘宜成
秦镜
张峻伟
涂海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202111254453.3A priority Critical patent/CN113824193B/zh
Publication of CN113824193A publication Critical patent/CN113824193A/zh
Application granted granted Critical
Publication of CN113824193B publication Critical patent/CN113824193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/007—Regulation of charging or discharging current or voltage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J50/00—Circuit arrangements or systems for wireless supply or distribution of electric power
    • H02J50/10—Circuit arrangements or systems for wireless supply or distribution of electric power using inductive coupling
    • H02J50/12—Circuit arrangements or systems for wireless supply or distribution of electric power using inductive coupling of the resonant type
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02M—APPARATUS FOR CONVERSION BETWEEN AC AND AC, BETWEEN AC AND DC, OR BETWEEN DC AND DC, AND FOR USE WITH MAINS OR SIMILAR POWER SUPPLY SYSTEMS; CONVERSION OF DC OR AC INPUT POWER INTO SURGE OUTPUT POWER; CONTROL OR REGULATION THEREOF
    • H02M3/00—Conversion of dc power input into dc power output
    • H02M3/02—Conversion of dc power input into dc power output without intermediate conversion into ac
    • H02M3/04—Conversion of dc power input into dc power output without intermediate conversion into ac by static converters
    • H02M3/10—Conversion of dc power input into dc power output without intermediate conversion into ac by static converters using discharge tubes with control electrode or semiconductor devices with control electrode
    • H02M3/145—Conversion of dc power input into dc power output without intermediate conversion into ac by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal
    • H02M3/155—Conversion of dc power input into dc power output without intermediate conversion into ac by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal using semiconductor devices only
    • H02M3/156—Conversion of dc power input into dc power output without intermediate conversion into ac by static converters using discharge tubes with control electrode or semiconductor devices with control electrode using devices of a triode or transistor type requiring continuous application of a control signal using semiconductor devices only with automatic control of output voltage or current, e.g. switching regulators
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2207/00—Indexing scheme relating to details of circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J2207/20—Charging or discharging characterised by the power electronics converter
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/7072—Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Power Engineering (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)
  • Dc-Dc Converters (AREA)

Abstract

本发明的实施例提供了一种阻抗匹配方法、装置、强化学习控制器和计算机可读存储介质，涉及无线充电技术领域，方法应用于强化学习控制器，强化学习控制器与无线充电系统中的DC‑DC变换器连接，该DC‑DC变换器用于为负载提供充电电能，方法包括获得无线充电系统在设定传输效率下的目标负载，实时获得无线充电系统的当前实际负载，根据目标负载和当前实际负载，分析得到DC‑DC变换器当前的目标占空比，基于预存的控制策略，将DC‑DC变换器的占空比调节为目标占空比，以使无线充电系统中的实际负载为目标负载，等效输入阻抗保持不变，从而确保了无线充电系统的充电性能。

Description

阻抗匹配方法、装置、强化学习控制器和计算机可读存储介质
技术领域
本发明涉及无线充电技术领域，具体而言，涉及一种阻抗匹配方法、装置、强化学习控制器和计算机可读存储介质。
背景技术
无线充电技术是一种利用电磁感应、磁耦合谐振、微波、激光等方式进行无实体介质的电能传输方式。无线充电的优势在于免去了充电线的烦扰，避免了线路的裸露，从而也减掉了很多安全隐患。同时，在某些场合，在有线供电无法将电线拉到目标位置时，无线充电也可以发挥自身优势，越过障碍物为目标进行供电。近年来，随着科技的进步以及无线电能传输行业的迅速发展，越来越多的大功率设备，例如电瓶车、新能源汽车等也采用无线充电为其提供能源。
然而，现有技术中无线充电的性能有待改善。
发明内容
本发明的目的之一包括，例如，提供了一种阻抗匹配方法、装置、强化学习控制器和计算机可读存储介质，以至少部分地提高无线充电系统的充电性能。
本发明的实施例可以这样实现：
第一方面，本发明提供一种阻抗匹配方法，应用于强化学习控制器，所述强化学习控制器与无线充电系统中的DC-DC变换器连接，该DC-DC变换器用于为负载提供充电电能，所述方法包括：
获得所述无线充电系统在设定传输效率下的目标负载；
实时获得所述无线充电系统的当前实际负载；
根据所述目标负载和当前实际负载，分析得到所述DC-DC变换器当前的目标占空比；
基于预存的控制策略，将所述DC-DC变换器的占空比调节为所述目标占空比，以使所述无线充电系统中的实际负载为所述目标负载，等效输入阻抗保持不变。
在可选的实施方式中，所述DC-DC变换器为Boost变换器，当前的目标占空比通过以下公式计算得到：
R′o＝Ro·(1-u)2
其中，R′0为目标负载；R0为当前实际负载；u为目标占空比。
在可选的实施方式中，所述设定传输效率为最大传输效率，所述目标负载通过以下公式计算得到：
Figure BDA0003323404990000021
其中，Ri-ηmax为目标负载；Rs为DC-DC变换器的拓扑结构中的线圈内阻；k为耦合系数；Q为品质因数。
在可选的实施方式中，所述方法还包括得到控制策略的步骤，该步骤包括：
获得所述DC-DC变换器在设定传输效率下的期望负载电压；
获得所述DC-DC变换器的实际负载电压；
基于所述期望负载电压和实际负载电压之间的误差进行占空比控制的强化学习；
根据每次强化学习的结果，返回执行获得所述DC-DC变换器的实际负载电压至基于所述期望负载电压和实际负载电压之间的误差进行占空比控制的强化学习的步骤，直至所述期望负载电压和最新实际负载电压之间的误差满足设定条件，将得到所述最新实际负载电压的占空比控制方式存储为控制策略。
在可选的实施方式中，所述基于所述期望负载电压和实际负载电压之间的误差进行占空比控制的强化学习的步骤，包括：
将所述期望负载电压和实际负载电压之间的误差作为强化学习智能体的输入，得到所述强化学习智能体输出的待确定占空比；
获得所述DC-DC变换器的占空比为所述待确定占空比的情况下，新的实际负载电压；
根据所述期望负载电压和新的实际负载电压之间新的误差，基于设定的奖惩规则给予所述强化学习智能体奖励或者惩罚，激励所述强化学习智能体重新采取动作，输出新的待确定占空比，获得所述DC-DC变换器的占空比为所述新的待确定占空比的情况下，最新的实际负载电压；根据所述期望负载电压和最新的实际负载电压之间新的误差，基于设定的奖惩规则给予所述强化学习智能体奖励或者惩罚，激励所述强化学习智能体重新采取动作，输出新的待确定占空比，直至所述期望负载电压和最新实际负载电压之间的误差满足设定条件，将得到所述最新实际负载电压的占空比控制方式存储为控制策略。
在可选的实施方式中，所述设定的奖惩规则包括：
实际负载电压高于期望负载电压的惩罚优先于实际负载电压低于期望负载电压的惩罚；奖惩计算公式如下：
Figure BDA0003323404990000022
其中，k1和k2为正常数且k1＞k2，VO(x)为当前实际负载电压，
Figure BDA0003323404990000031
为期望负载电压；或者，
奖励与所述期望负载电压和实际负载电压之间的误差成比例；奖惩计算公式如下：
Figure BDA0003323404990000032
其中，k3为正常数，VO(x)为当前实际负载电压，
Figure BDA0003323404990000033
为期望负载电压。
在可选的实施方式中，所述控制策略基于最小二乘回归得到；或者，
所述控制策略基于稳健回归得到。
第二方面，本发明提供一种阻抗匹配装置，应用于强化学习控制器，所述强化学习控制器与无线充电系统中的DC-DC变换器连接，该DC-DC变换器用于为负载提供充电电能，所述阻抗匹配装置包括：
信息获得模块，用于获得所述无线充电系统在设定传输效率下的目标负载；实时获得所述无线充电系统的当前实际负载；
信息处理模块，用于根据所述目标负载和当前实际负载，分析得到所述DC-DC变换器当前的目标占空比；基于预存的控制策略，将所述DC-DC变换器的占空比调节为所述目标占空比，以使所述无线充电系统中的实际负载为所述目标负载，等效输入阻抗保持不变。
第三方面，本发明提供一种强化学习控制器，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述实施方式任一项所述的阻抗匹配方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在强化学习控制器执行前述实施方式任一项所述的阻抗匹配方法。
本发明实施例的有益效果包括，例如：基于强化学习控制器，根据无线充电系统的目标负载和当前实际负载，分析得到DC-DC变换器当前的目标占空比，基于预存的控制策略，将DC-DC变换器的占空比调节为目标占空比，以使无线充电系统中的实际负载为目标负载，等效输入阻抗保持不变，从而确保了充电过程中无线充电系统的充电性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种无线充电系统的架构示意图。
图2示出了本发明实施例提供的一种强化学习控制器的结构示意图。
图3示出了本发明实施例提供的一种阻抗匹配方法的流程示意图。
图4示出了本发明实施例提供的一种DC-DC变换器的拓扑结构示意图。
图5示出了本发明实施例提供的一种SS型拓扑结构示意图。
图6示出了本发明实施例提供的一种强化学习流程示意图。
图7示出了本发明实施例提供的一种强化学习原理示意图。
图8示出了本发明实施例提供的一种实际负载的示意图。
图9示出了本发明实施例提供的一种等效负载的示意图。
图10示出了本发明实施例提供的一种输出端电压的示意图。
图11示出了本发明实施例提供的一种agent学习过程的示意图。
图12示出了本发明实施例提供的一种阻抗匹配装置的结构示意图。
图标：100-强化学习控制器；110-存储器；120-处理器；130-通信模块；140-阻抗匹配装置；141-信息获得模块；142-信息处理模块。
具体实施方式
现有技术中，无线充电系统的充电性能有待改善，经研究，阻抗匹配是影响充电性能的重要因素之一。
阻抗匹配是指负载阻抗与激励源内部阻抗互相适配，得到最大功率输出的一种工作状态。对于不同特性的电路，匹配条件不一样。例如，在纯电阻电路中，当负载电阻等于激励源内阻时，则输出功率为最大，这种工作状态称为匹配，否则称为失配。当激励源内阻抗和负载阻抗含有电抗成分时，为使得负载得到最大功率，负载阻抗与内阻必须满足共轭关系，即电阻成分相等，电抗成分绝对值相等而符号相反，这种匹配称为共轭匹配。当负载阻抗不满足共轭匹配的条件时，就要在负载和激励源之间加一个匹配变换网络，将负载阻抗变换为激励源阻抗的共轭，实现阻抗匹配。
通常实现阻抗匹配的目的包括：消除激励源与负载之间的反射波，保证传输信号的传输质量(如无线充电场景中确保充电质量)，这种阻抗匹配称为无反射匹配。使激励源输出最大功率(如无线充电场景中确保充电效率)，这种阻抗匹配称为最大输出功率匹配。
为了实现阻抗匹配，可以采用DC-DC变换器的阻抗匹配技术。该阻抗匹配技术中的控制方法包括PID(Proportion Integral Differential，比例-积分-微分)、滑模法、反步法等，这些控制方法都是人为进行参数设置，并观察系统性能指标后适应性调参。在调参的过程中，接下来的控制效果、抗干扰能力都是未知的，即不知道该组参数带来的性能是否为最佳，只能是达到了一个期望的效果，并不知道在该环境下什么样的参数能达到最好的控制效果。从而导致采用该种阻抗匹配技术的无线充电系统在无线充电过程中的性能有待改善。
基于上述研究，本发明实施例提供一种适用于无线充电系统的、基于强化学习的阻抗匹配方案，使用强化学习的方式代替传统控制，无需反复调参以观察效果。只需基于强化学习控制器，根据无线充电系统的目标负载和当前实际负载，分析得到DC-DC变换器当前的目标占空比，基于预存的控制策略，将DC-DC变换器的占空比调节为目标占空比，以使无线充电系统中的实际负载为目标负载，等效输入阻抗保持不变，便可确保充电过程中无线充电系统的充电性能。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在发明过程中做出的贡献。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
请参照图1，是本实施例提供的一种无线充电系统的系统框图。如图1所示，无线充电系统包括直流电源、高频逆变器、发射线圈、接收线圈、整流桥和DC-DC变换器以及负载。
其中，高频逆变器电连接于直流电源和发射线圈之间，共同形成发射端电路。整流桥电连接于接收线圈和DC-DC变换器之间，强化学习控制器电连接于整流桥和DC-DC变换器之间，共同形成接收端电路。
高频逆变器通过高频DC/AC变换技术，将直流电源输出的直流电逆变为高频交流电，然后通过发射线圈将高频交流电转化为电磁能。接收线圈接收发射线圈转化得到的电磁能，将电磁能转化为高频交流电并输入至整流桥，整流桥将高频交流电整流滤波后输入至DC-DC变换器，由DC-DC变换器输出电压给电池充电。
在无线充电过程中，随着充电功率的变化，负载阻抗不断发生变化，这可能导致阻抗失配，从而严重影响无线充电系统充电的效率。由于阻抗不匹配的原因，发射线圈与接收线圈之间的传输效率将急剧下降并且会对电路工作状态产生影响，降低充电性能。例如，在无线充电系统中，当负载阻抗过小时，会使得反射阻抗增大，这将导致大量功率反射到发射端电路。当负载阻抗过大时，会使得反射阻抗减小，会引起发射端电路电流较大，导致电路损坏。
为了实现阻抗匹配，可以在电路之间添加阻抗匹配网络，以尽量减少由于阻抗不匹配而引起的功率反射问题。常用的阻抗匹配网络有π型、T型和L型网络。虽然这些匹配网络比较简单和方便，但是负载的电池在充电过程中，等效输出阻抗是一个动态变化的过程，阻抗匹配网络并不能适应不同的输出负载，因此该方法不适用于动态充电过程。
基于上述研究，本发明实施例在整流桥和负载之间设置DC-DC变换器(也称Boost变换器)，基于DC-DC变换器来匹配负载阻抗，保持整个负载的等效阻抗一直等于无线充电系统的最优阻抗，以实现效率最大化。
为了应用DC-DC变换器使得最优阻抗保持不变，通过分析无线充电系统的最大效率，并计算出在最大效率下所需要的阻抗大小，进而通过调节DC-DC变换器占空比使得等效输入阻抗保持不变，该种方案在等效输出阻抗发生变化时具有较好的自适应能力，因此适用于动态的充电过程。
请参阅图2，为本发明实施例提供的强化学习控制器100的方框示意图，本实施例中的强化学习控制器100可以为能够进行数据交互、处理的服务器、处理设备、处理平台等。所述强化学习控制器100包括存储器110、处理器120及通信模块130。所述存储器110、处理器120以及通信模块130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。
通信模块130用于通过所述网络建立所述强化学习控制器100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。
应当理解的是，图2所示的结构仅为强化学习控制器100的结构示意图，所述强化学习控制器100还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
请结合参阅图3，为本发明实施例提供的一种阻抗匹配方法的流程示意图，可以由图2所述强化学习控制器100执行，例如可以由强化学习控制器100中的处理器120执行。如图1所示，该强化学习控制器100与无线充电系统中的DC-DC变换器连接，该DC-DC变换器用于为电池提供充电电能。该阻抗匹配方法包括S110、S120、S130和S140。
S110，获得所述无线充电系统在设定传输效率下的目标负载；
S120，实时获得所述无线充电系统的当前实际负载；
S130，根据所述目标负载和当前实际负载，分析得到所述DC-DC变换器当前的目标占空比；
S140，基于预存的控制策略，将所述DC-DC变换器的占空比调节为所述目标占空比，以使所述无线充电系统中的实际负载为所述目标负载，等效输入阻抗保持不变。
设定传输效率可以灵活设置，例如，为了确保充电效率，设定传输效率可以为最大传输效率，相应地，目标负载可以通过以下公式计算得到：
Figure BDA0003323404990000071
其中，Ri-ηmax为目标负载；Rs为DC-DC变换器的拓扑结构中的线圈内阻；k为耦合系数；Q为品质因数。
上述目标负载的推导原理如下：
请结合参阅图4，为本发明实施例提供的一种DC-DC变换器的拓扑结构示意图。其中，DC-DC变换器的电源E为图1所示整流桥输出的直流电，Ro为电池负载。如图3所示，可以通过改变输入到MOS管VT中的占空比改变电池负载与DC-DC变换器一起的等效阻抗。
对无线充电系统的传输效率进行分析可知，在发射线圈和接收线圈之间的特定互感下，存在最佳负载电阻，以获得最大的总体传输效率。所以可以通过附加DC-DC变换器，实时改变无线充电系统的等效负载，使其保持在最大效率曲线上。
无线充电系统常用的拓扑结构类型通常分为四种：SS型、SP型、PS型以及PP型。由于SS型补偿方式中，原边补偿电容的大小不受线圈互感M以及负载RL的影响，只与原边线圈电感有关，且在距离发生变化时，无需改变原边补偿电容的大小，系统稳定性较好。因此，本实施例采用如图5所示的SS型拓扑结构。
其中，US为高频逆变器输出的工频交流电；L1和L2为发射端线圈和接收端线圈的电感值，M为发射端线圈和接收端线圈之间的互感值；R1为发射端线圈的自阻值，R2为接收端线圈的自阻值；C1为发射端的串联谐振电容器，C2为接收端的串联谐振电容器；RL为负载。
在等效电路模型中，由基尔霍夫电压定律可得：
Figure BDA0003323404990000072
式中，I1为发射端线圈的电流值；I2为接收端线圈的电流值；Z1为发射端的阻抗，Z2为接收端的阻抗。
Figure BDA0003323404990000073
在无线充电系统完全谐振的情况下，谐振频率满足
Figure BDA0003323404990000074
从一次侧到二次侧的功率，即Ri的输出功率可以表示为：
Figure BDA0003323404990000081
其中，US是输入电源us的有效值，ω是谐振角频率。
SS型无线充电系统的输入功率可以表示为：
Figure BDA0003323404990000082
结合可知，无线充电系统的效率可推导为：
Figure BDA0003323404990000083
通过对上式取Ri的导数，可以推导出最大化传输效率下的最优负载条件：
Figure BDA0003323404990000084
其中，k为耦合系数，Q为品质因数，Rs为线圈内阻。进而可推导出无线充电系统的最大效率为：
Figure BDA0003323404990000085
基于此，从理论层面推导出在发射线圈和接收线圈的特定互感下，存在最佳负载电阻，以获得最大总体传输效率。其中，Ri-ηmax即为DC-DC变换器调节的等效负载Ro′的调节目标(目标负载)。
本实施例中，DC-DC变换器为Boost变换器，在获得目标负载的情况下，DC-DC变换器当前的目标占空比可以通过以下公式计算得到：
R′o＝Ro·(1-u)2
其中，R′0为目标负载；R0为当前实际负载；u为目标占空比。
上述目标占空比的推导原理如下：
请返回参阅图4，在DC-DC变换器为Boost变换器的情况下，根据基尔霍夫电压、电流定律，当MOS管VT开通时：
Figure BDA0003323404990000086
当MOS管VT关断时：
Figure BDA0003323404990000091
结合可以得到DC-DC变换器的平均状态模型：
Figure BDA0003323404990000092
其中，u为DC-DC变换器中MOS管VT的占空比。
通电和未通电两种状态下，DC-DC变换器的输入电压和输出电压满足以下关系：
Figure BDA0003323404990000093
若考虑DC-DC变换器处于理想状态下，MOS管VT和二极管VD没有损耗，根据能量守恒定律，可以设定输入与输出的功率相等，因此可以得到：
R′o＝Ro·(1-u)2
由此可知，通过调节DC-DC变换器的占空比大小就可以调节等效输入阻抗的大小。相应地，可以根据电池负载所受到的实际干扰情况，通过强化学习控制器实时调整DC-DC变换器的占空比，使得等效阻抗一直在最优负载曲线上，保持无线充电系统始终在一个较高的效率运行。
本发明实施例中，所使用的强化学习控制器结合了机器学习范式中的强化学习理论进行DC-DC变换器的占空比实时调节，无需人为对强化学习控制器使用各种方法进行反复调参观测，以达到该电路环境下的最优控制效果。并且在强化学习控制器进行足够样本的自主训练后，可以达到控制效果在当前环境下即为最优。
其中，控制策略可以通过以下步骤得到：获得所述DC-DC变换器在设定传输效率下的期望负载电压；获得所述DC-DC变换器的实际负载电压；基于所述期望负载电压和实际负载电压之间的误差进行占空比控制的强化学习；根据每次强化学习的结果，返回执行获得所述DC-DC变换器的实际负载电压至基于所述期望负载电压和实际负载电压之间的误差进行占空比控制的强化学习的步骤，直至所述期望负载电压和最新实际负载电压之间的误差满足设定条件，将得到所述最新实际负载电压的占空比控制方式存储为控制策略。
所述期望负载电压和实际负载电压之间的误差进行占空比控制的强化学习的步骤，可以包括：将所述期望负载电压和实际负载电压之间的误差作为强化学习智能体的输入，得到所述强化学习智能体输出的待确定占空比；获得所述DC-DC变换器的占空比为所述待确定占空比的情况下，新的实际负载电压；根据所述期望负载电压和新的实际负载电压之间新的误差，基于设定的奖惩规则给予所述强化学习智能体奖励或者惩罚，激励所述强化学习智能体重新采取动作，输出新的待确定占空比，获得所述DC-DC变换器的占空比为所述新的待确定占空比的情况下，最新的实际负载电压；根据所述期望负载电压和最新的实际负载电压之间新的误差，基于设定的奖惩规则给予所述强化学习智能体奖励或者惩罚，激励所述强化学习智能体重新采取动作，输出新的待确定占空比，直至所述期望负载电压和最新实际负载电压之间的误差满足设定条件，将得到所述最新实际负载电压的占空比控制方式存储为控制策略。
本实施例中，控制策略可以为针对具体场景预先训练出一个大致的策略，然后应用到实物中，基于agent根据实际情况进行微调得到。
为了更为清楚地说明通过强化学习实现对DC-DC变换器占空比调节的实现原理，以下述场景进行举例说明。
在无线充电系统开始运行的0时刻，无线充电系统启动状态为x(0)＝[x1(0) x2(0)]T，即输入二维的实际负载电压(后简称实际电压)和期望负载电压(后简称期望电压)，从而得到实际电压和期望电压的误差，如一维数组x(0)＝[x1(0)]T。强化学习控制器可以采取的动作集为d∈D，而0时刻强化学习控制器采取的动作为d(0)∈D。由于强化学习控制器采取了动作，所以将无线充电系统驱动至下一时刻的新状态x(1)＝[x1(1) x2(1)]T，并根据新状态的效果，由设定的奖惩规则，给予强化学习agent奖励或者惩罚，激励其进行下一个动作d(1)∈D，从而使得当前状态→agent采取动作→新状态→给予奖惩→agent采取下一个动作这个过程一直持续下去。
强化学习agent(人工智能术语，指能自主活动的软件或者硬件实体)，本实施例又称强化学习智能体、agent智能体、agent。
agent智能体的输入为期望电压与当前DC-DC变换器输出的实际电压的误差，期望电压不变，DC-DC变换器输出的实际电压会随着agent改变占空比而改变，电压的改变也就意味着等效负载也在随之改变。而agent能采取的动作即为增大或者减小占空比，去影响输出的实际电压。
请结合参阅图6，强化学习是一类从与环境的交互中不断学习问题以及解决这类问题的方法，主要由agent、环境、动作、状态与奖赏(奖励)几个要素构成。agent会根据提前布置好的策略采取动作，采取的动作会影响环境从而使环境由当前状态到下一个状态，并产生奖励，agent接收到奖励信号后会根据奖励值采取下一个动作，如此循环。在这个过程中agent将会不断学习，学习的目的就是寻找能够使得agent获得最大奖励值的行为策略。
学习过程可以概括为：agent选择一个动作a作用于环境，导致状态st变为st+1，同时产生一个强化信号(奖励或惩罚)，agent再次选择下一个动作。动作的选择受强化信号大小的影响。如果奖励r为正值，以后产生这个行为策略的趋势便会加强。每次选择动作的原则是使受到正的奖励的概率增大。如此反复的与环境进行交互，在一定条件下，agent会学习到一个最优的策略。
由于agent与环境互相影响，agent采取的动作会改变环境，环境改变的好坏也会反过来影响agent对于下一次动作的选择。agent在找到最优策略的过程中需要不断的探索，当agent达到最终目的时，会重新开始新一轮的训练，奖励值函数的计算与之前的状态没有关系，只与当前及之后的状态有关。
结合无线充电环境中的实景应用，agent接收到的信息为实际电压与期望电压的误差(正负有区分)，即此时环境的状态。agent能够输出的动作为0-1之间的一个小数，即为DC-DC变换器的占空比。
假设无线充电系统的启动状态为x(0)＝[x1(0)]T且agent能采取的初始动作d(0)∈D，其中D为agent能采取的动作集合，agent采取的每个动作都是这个集合中的元素。在agent采取动作之后，系统会被驱动至下一时刻的新的状态x(1)＝[x1(1)]T，且在新的状态下agent采取新的动作d(1)∈D，系统又会更新至下一个新状态。如图7所示，这一过程将持续进行下去。
强化学习的目标是通过在每种状态下选择最优行为，使得总收益最大化。价值函数Vπ(x)是折现奖励的期望和，用于衡量无线充电系统处于s状态时的可取性。对于确定性系统，由于常数随机变量的期望是相同的常数，因而可以将对价值函数Vπ(x)的求解公式简化为对价值函数V(x)的求解。
Vπ(x)＝E[R(x(0))+γR(x(1))+γ2R(x(2))+...|x(0)＝x,π]
V(x)＝R(x(0))+γR(x(1))+γ2R(x(2))+...
基于对V(x)的求解公式可以得到值函数的递推表示，称为Bellman方程，利用Bellman方程可以计算无线充电系统中所有状态的最优值函数。
Vπ(x)＝R(x)+γVπ(x')
其中，R(x)表示强化学习控制器因处于状态x而获得的即时奖励；-γVπ(x′)表示未来折扣奖励的总和。γ∈[0,1]，为折扣系数，用于支持导致即时奖励的行为，而不是导致延迟奖励的行为。当强化学习控制器采用最优策略时，使用以下公式计算最优值函数。
Figure BDA0003323404990000111
DC-DC变换器的占空比控制问题则以下公式计算得到：
Figure BDA0003323404990000112
价值迭代和策略迭代是在强化学习过程中寻找最优价值和最优策略的两种算法，在采用价值迭代算法学习最优策略的情况下，奖励函数表示在特定状态下采取特定行动的可取性。
奖惩函数(设定的奖惩规则)可以灵活设定。例如，基于节能考虑，可以设定为实际负载电压高于期望负载电压的惩罚优先于实际负载电压低于期望负载电压的惩罚。相应地，奖惩计算公式如下：
Figure BDA0003323404990000113
其中，k1和k2为正常数且k1＞k2，VO(x)为当前实际负载电压，
Figure BDA0003323404990000121
为期望负载电压。
又例如，可以设定为奖励与期望负载电压和实际负载电压之间的误差成比例。相应地，奖惩计算公式如下：
Figure BDA0003323404990000122
其中，k3为正常数，VO(x)为当前实际负载电压，
Figure BDA0003323404990000123
为期望负载电压。
鉴于大多数控制应用涉及连续状态空间和动作空间，而强化学习仅对离散状态计算动作，因此，连续状态空间和作用空间必须离散化才能被强化学习所应用。由强化学习计算的离散状态空间策略用于连续状态空间模型时会导致振荡和超调，因此，需要一种有效的函数近似方案来估计连续状态空间的策略函数，为此，本实施例中可以使用最小二乘回归寻找回归系数。相应地，本实施例中，控制策略可以基于最小二乘回归得到。
在另一种实现方式中，控制策略也可以基于稳健回归得到。
鉴于假设误差具有有限方差，并且与回归系数不相关，这在许多情况下是不正确的。如果数据中存在异常值，往往将导致经典回归方法应用失败。因此，本实施例中可以使用稳健回归方法得到控制策略。在稳健回归中，最小二乘回归中的平方残差被另一个残差函数代替，该残差函数通常被称为稳健回归中回归系数估计的目标函数。应用到本实施例的DC-DC变换器控制中，新状态的占空比估计被建模M-估计问题。每个状态的占空比值(控制动作)被写为状态变量的线性函数：di＝α+β1x1i+β2x2i+εi。可以简化为：di＝Xi'β+εi。
其中，Xi'表示状态变量的矩阵；β表示估计系数的矩阵；εi表示第i次观测的误差，且第i次的动作di∈D。
M-估计中最小化等式给出的目标函数ρ可以如以下公式所示：
Figure BDA0003323404990000124
该公式可以重写为以下等式，表示加权最小二乘问题，可使用加权最小二乘法迭代求解。
Figure BDA0003323404990000125
其中，wi＝w(εi)；
Figure BDA0003323404990000126
且ψ＝ρ'。
计算的系数α、β1和β2都用于估计占空比值，作为状态变量的线性函数。在稳健回归的强化学习控制策略中，占空比值为0-1之间的任意小数，为了防止在实际应用中，高频环境下过大的占空比跳变导致电流故障，可以将占空比限幅至0.1-0.9范围内。连续空间中的控制策略函数，是基于稳健回归方法从离散状态空间的学习的值函数中计算出来的。
其中，目标函数的含义是agent在执行到终止时(此时终止是因为达到了终止条件，例如电压误差过大，或者顺利在预设条件下使无线充电系统相对稳定的运行了一段时间等)，agent在每一步执行下所期望获得的总收益的函数。
目标函数可以为以下公式中给出的Tukey-bisquare函数：
Figure BDA0003323404990000131
为了测试上述基于强化学习的阻抗匹配方案，本实施例对应用效果进行了测试。请参阅图8，在初始负载30Ω，且受到干扰的情况下，采用本实施例的上述方案由强化学习控制器进行控制后，DC-DC变换器与负载一起的等效阻抗始终保持在40Ω，如图9所示。负载两端电流电压如图10所示。
基于图10可以得出，在强化学习控制器学习后的控制下，输出端电压仅需0.01s左右即达到期望电压，且无超调和震荡。在遇到负载干扰后也能快速稳定，而等效负载相应曲线也说明了agent对于占空比的调整策略较为即时，能够保持负载端始终保持在期望的等效负载上。
agent的学习过程如图11所示。可以从学习过程中看出，agent从最开始每一个episode(幕)中得到的惩罚都极大，到后来的惩罚渐渐趋近于0，验证了算法的有效性。从中还可以看出，agent在训练过程中不是一味的采用当前奖励值大的动作，它也以一个不大的概率偶尔跳出常规去尝试一些新的动作，虽然这些动作最后验证是失败的行为。反映到训练曲线中则显示agent在每一幕中得到的奖励不是单纯的增加，偶尔也会突然从一个较好的奖励值又突然变成一个较差的奖励值，这也是算法的一部分。
训练出成熟的控制策略的agent应用到DC-DC变换器中，实现了对DC-DC变换器的有效控制，使其有效应对负载干扰，始终将等效负载保持在期望值。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种阻抗匹配装置的实现方式。请参阅图12，图12为本发明实施例提供的一种阻抗匹配装置140的功能模块图，该阻抗匹配装置140可以应用于图1所示强化学习控制器100，强化学习控制器100与无线充电系统中的DC-DC变换器连接，该DC-DC变换器用于为负载提供充电电能。需要说明的是，本实施例所提供的阻抗匹配装置140，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该阻抗匹配装置140包括信息获得模块141和信息处理模块142。
其中，信息获得模块141用于获得所述无线充电系统在设定传输效率下的目标负载；实时获得所述无线充电系统的当前实际负载。
信息处理模块142用于根据所述目标负载和当前实际负载，分析得到所述DC-DC变换器当前的目标占空比；基于预存的控制策略，将所述DC-DC变换器的占空比调节为所述目标占空比，以使所述无线充电系统中的实际负载为所述目标负载，等效输入阻抗保持不变。
在上述基础上，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在强化学习控制器执行上述的阻抗匹配方法。
采用本发明实施例中的上述方案，可以便捷、灵活地实现阻抗匹配，进而确保无线充电系统的充电性能，适合大规模推广应用。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种阻抗匹配方法，其特征在于，应用于强化学习控制器，所述强化学习控制器与无线充电系统中的DC-DC变换器连接，该DC-DC变换器用于为负载提供充电电能，所述方法包括：
获得所述无线充电系统在设定传输效率下的目标负载；
实时获得所述无线充电系统的当前实际负载；
根据所述目标负载和当前实际负载，分析得到所述DC-DC变换器当前的目标占空比；
基于预存的控制策略，将所述DC-DC变换器的占空比调节为所述目标占空比，以使所述无线充电系统中的实际负载为所述目标负载，等效输入阻抗保持不变。
2.根据权利要求1所述的阻抗匹配方法，其特征在于，所述DC-DC变换器为Boost变换器，当前的目标占空比通过以下公式计算得到：
R′o＝Ro·(1-u)2
其中，R′0为目标负载；R0为当前实际负载；u为目标占空比。
3.根据权利要求2所述的阻抗匹配方法，其特征在于，所述设定传输效率为最大传输效率，所述目标负载通过以下公式计算得到：
Figure FDA0003323404980000011
其中，Ri-ηmax为目标负载；Rs为DC-DC变换器的拓扑结构中的线圈内阻；k为耦合系数；Q为品质因数。
4.根据权利要求1所述的阻抗匹配方法，其特征在于，所述方法还包括得到控制策略的步骤，该步骤包括：
获得所述DC-DC变换器在设定传输效率下的期望负载电压；
获得所述DC-DC变换器的实际负载电压；
基于所述期望负载电压和实际负载电压之间的误差进行占空比控制的强化学习；
根据每次强化学习的结果，返回执行获得所述DC-DC变换器的实际负载电压至基于所述期望负载电压和实际负载电压之间的误差进行占空比控制的强化学习的步骤，直至所述期望负载电压和最新实际负载电压之间的误差满足设定条件，将得到所述最新实际负载电压的占空比控制方式存储为控制策略。
5.根据权利要求4所述的阻抗匹配方法，其特征在于，所述基于所述期望负载电压和实际负载电压之间的误差进行占空比控制的强化学习的步骤，包括：
将所述期望负载电压和实际负载电压之间的误差作为强化学习智能体的输入，得到所述强化学习智能体输出的待确定占空比；
获得所述DC-DC变换器的占空比为所述待确定占空比的情况下，新的实际负载电压；
根据所述期望负载电压和新的实际负载电压之间新的误差，基于设定的奖惩规则给予所述强化学习智能体奖励或者惩罚，激励所述强化学习智能体重新采取动作，输出新的待确定占空比，获得所述DC-DC变换器的占空比为所述新的待确定占空比的情况下，最新的实际负载电压；根据所述期望负载电压和最新的实际负载电压之间新的误差，基于设定的奖惩规则给予所述强化学习智能体奖励或者惩罚，激励所述强化学习智能体重新采取动作，输出新的待确定占空比，直至所述期望负载电压和最新实际负载电压之间的误差满足设定条件，将得到所述最新实际负载电压的占空比控制方式存储为控制策略。
6.根据权利要求5所述的阻抗匹配方法，其特征在于，所述设定的奖惩规则包括：
实际负载电压高于期望负载电压的惩罚优先于实际负载电压低于期望负载电压的惩罚；奖惩计算公式如下：
Figure FDA0003323404980000021
其中，k1和k2为正常数且k1＞k2，VO(x)为当前实际负载电压，
Figure FDA0003323404980000022
为期望负载电压；或者，
奖励与所述期望负载电压和实际负载电压之间的误差成比例；奖惩计算公式如下：
Figure FDA0003323404980000023
其中，k3为正常数，VO(x)为当前实际负载电压，
Figure FDA0003323404980000024
为期望负载电压。
7.根据权利要求1至6任意一项所述的阻抗匹配方法，其特征在于，所述控制策略基于最小二乘回归得到；或者，
所述控制策略基于稳健回归得到。
8.一种阻抗匹配装置，其特征在于，应用于强化学习控制器，所述强化学习控制器与无线充电系统中的DC-DC变换器连接，该DC-DC变换器用于为负载提供充电电能，所述阻抗匹配装置包括：
信息获得模块，用于获得所述无线充电系统在设定传输效率下的目标负载；实时获得所述无线充电系统的当前实际负载；
信息处理模块，用于根据所述目标负载和当前实际负载，分析得到所述DC-DC变换器当前的目标占空比；基于预存的控制策略，将所述DC-DC变换器的占空比调节为所述目标占空比，以使所述无线充电系统中的实际负载为所述目标负载，等效输入阻抗保持不变。
9.一种强化学习控制器，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至7任一项所述的阻抗匹配方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在强化学习控制器执行权利要求1至7任一项所述的阻抗匹配方法。
CN202111254453.3A 2021-10-27 2021-10-27 阻抗匹配方法、装置、强化学习控制器和计算机可读存储介质 Active CN113824193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111254453.3A CN113824193B (zh) 2021-10-27 2021-10-27 阻抗匹配方法、装置、强化学习控制器和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111254453.3A CN113824193B (zh) 2021-10-27 2021-10-27 阻抗匹配方法、装置、强化学习控制器和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113824193A true CN113824193A (zh) 2021-12-21
CN113824193B CN113824193B (zh) 2023-05-23

Family

ID=78917436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111254453.3A Active CN113824193B (zh) 2021-10-27 2021-10-27 阻抗匹配方法、装置、强化学习控制器和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113824193B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115173584A (zh) * 2022-09-06 2022-10-11 荣耀终端有限公司 一种电力接收装置、电力发送装置及电力传输方法
CN116391310A (zh) * 2022-09-06 2023-07-04 荣耀终端有限公司 一种电力接收装置、电力发送装置及电力传输方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013005233A1 (en) * 2011-07-07 2013-01-10 Shetty Ravindra K Universal learning radio frequency and communication technology converter
JP2013110932A (ja) * 2011-11-24 2013-06-06 Toyota Motor Corp 電圧変換装置の制御装置
CN109101217A (zh) * 2013-03-15 2018-12-28 先进元素科技公司 用于有目的计算的方法和系统
CN109391044A (zh) * 2018-11-14 2019-02-26 中国矿业大学 一种感应电能传输系统高效稳压综合控制系统及方法
CN109462339A (zh) * 2018-10-16 2019-03-12 台州宏远电力设计院有限公司 基于电路占空比的阻抗匹配方法
CN110289693A (zh) * 2019-06-17 2019-09-27 全球能源互联网研究院有限公司 一种无线能量传输系统及其控制方法
CN111600492A (zh) * 2020-06-12 2020-08-28 电子科技大学 一种双有源全桥直流变换器的效率优化控制方法
CN112072893A (zh) * 2020-06-22 2020-12-11 华中科技大学 一种合成变量反馈的电力电子变换器控制方法
CN112236194A (zh) * 2018-03-13 2021-01-15 增强仿生私人有限公司 感觉刺激装置
CN112350449A (zh) * 2020-10-22 2021-02-09 清华大学深圳国际研究生院 一种无线能量传输系统及方法
CN113422441A (zh) * 2021-05-13 2021-09-21 中国矿业大学 一种电动汽车高效率稳压无线充电系统及其设计方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013005233A1 (en) * 2011-07-07 2013-01-10 Shetty Ravindra K Universal learning radio frequency and communication technology converter
JP2013110932A (ja) * 2011-11-24 2013-06-06 Toyota Motor Corp 電圧変換装置の制御装置
CN109101217A (zh) * 2013-03-15 2018-12-28 先进元素科技公司 用于有目的计算的方法和系统
CN112236194A (zh) * 2018-03-13 2021-01-15 增强仿生私人有限公司 感觉刺激装置
CN109462339A (zh) * 2018-10-16 2019-03-12 台州宏远电力设计院有限公司 基于电路占空比的阻抗匹配方法
CN109391044A (zh) * 2018-11-14 2019-02-26 中国矿业大学 一种感应电能传输系统高效稳压综合控制系统及方法
CN110289693A (zh) * 2019-06-17 2019-09-27 全球能源互联网研究院有限公司 一种无线能量传输系统及其控制方法
CN111600492A (zh) * 2020-06-12 2020-08-28 电子科技大学 一种双有源全桥直流变换器的效率优化控制方法
CN112072893A (zh) * 2020-06-22 2020-12-11 华中科技大学 一种合成变量反馈的电力电子变换器控制方法
CN112350449A (zh) * 2020-10-22 2021-02-09 清华大学深圳国际研究生院 一种无线能量传输系统及方法
CN113422441A (zh) * 2021-05-13 2021-09-21 中国矿业大学 一种电动汽车高效率稳压无线充电系统及其设计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUSUKE MORIWAKI等: "Basic Study on Reduction of Reflected Power Using DC/DC Converters in Wireless Power Transfer System via Magnetic Resonant Coupling" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115173584A (zh) * 2022-09-06 2022-10-11 荣耀终端有限公司 一种电力接收装置、电力发送装置及电力传输方法
CN115173584B (zh) * 2022-09-06 2023-03-10 荣耀终端有限公司 一种电力接收装置、电力发送装置及电力传输方法
CN116231884A (zh) * 2022-09-06 2023-06-06 荣耀终端有限公司 一种电力接收装置、电力发送装置及电力传输方法
CN116391310A (zh) * 2022-09-06 2023-07-04 荣耀终端有限公司 一种电力接收装置、电力发送装置及电力传输方法
CN116231884B (zh) * 2022-09-06 2023-10-20 荣耀终端有限公司 一种电力接收装置、电力发送装置及电力传输方法
CN116391310B (zh) * 2022-09-06 2023-10-27 荣耀终端有限公司 一种电力接收装置、电力发送装置及电力传输方法
WO2024051086A1 (zh) * 2022-09-06 2024-03-14 荣耀终端有限公司 一种电力接收装置、电力发送装置及电力传输方法

Also Published As

Publication number Publication date
CN113824193B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
Ahamed et al. A reinforcement learning approach to automatic generation control
CN113824193A (zh) 阻抗匹配方法、装置、强化学习控制器和计算机可读存储介质
Xia et al. State-of-charge balancing of lithium-ion batteries with state-of-health awareness capability
JP4473823B2 (ja) 電気エネルギー蓄積器のための複数の部分モデルを用いた状態量およびパラメータの推定装置
CN101437353B (zh) 一种匹配器及其匹配方法
WO2012086627A1 (ja) 満充電検知装置および満充電検知方法
WO2021112223A1 (ja) 劣化推定装置、劣化推定システム、劣化推定方法、及びコンピュータプログラム
US20230213586A1 (en) Battery capacity measuring device and method, and battery control system comprising battery capacity measuring device
CN110728037B (zh) 电池容量闭环融合预测方法
Chang et al. Model based state-of-energy estimation for LiFePO4 batteries using unscented particle filter
CN117277357B (zh) 采用液流电池的新型火电储能调频方法、系统及电子设备
US11811316B2 (en) Adaptive control of a switched voltage converter
CN115995846A (zh) 一种lc滤波型电压源逆变器无模型预测控制方法及设备
Nwesaty et al. Power sources coordination through multivariable linear parameter‐varying/control with application to multi‐source electric vehicles
JP7440105B2 (ja) 動的に調整されたバッテリー電圧しきい値を用いて充電モードを切り換えるバッテリー充電システム及び方法
Long et al. An improved variable forgetting factor recursive least square-double extend Kalman filtering based on global mean particle swarm optimization algorithm for collaborative state of energy and state of health estimation of lithium-ion batteries
CN115169957A (zh) 一种基于深度强化学习的配电网调度方法、装置及介质
Ghaeminezhad et al. Review on state of charge estimation techniques of lithium-ion batteries: A control-oriented approach
Roosta et al. A novel adaptive neuro linear quadratic regulator (ANLQR) controller design on DC‐DC buck converter
Chen et al. Event-triggered model predictive control for series–series resonant ICPT systems in electric vehicles: A data-driven modeling method
CN115864403B (zh) 基于交直流配电系统交互作用的控制方法、装置、设备
Du et al. Learning assisted agent-based energy optimization: A reinforcement learning based consensus+ innovations approach
Ahmed et al. Optimal wireless power transfer to hybrid energy storage system for electric vehicles: A comparative analysis of machine learning-based model-free controllers
Zhou et al. Combined sparse Bayesian learning strategy for remaining useful life forecasting of lithium-ion battery
Kim et al. PI_BPNN controller for transient response improvement of LLC resonant converter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant