CN114761182A - 机器人控制系统和用于训练所述机器人控制系统的方法 - Google Patents

机器人控制系统和用于训练所述机器人控制系统的方法 Download PDF

Info

Publication number
CN114761182A
CN114761182A CN201980102596.7A CN201980102596A CN114761182A CN 114761182 A CN114761182 A CN 114761182A CN 201980102596 A CN201980102596 A CN 201980102596A CN 114761182 A CN114761182 A CN 114761182A
Authority
CN
China
Prior art keywords
control
reinforcement learning
controller
control system
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980102596.7A
Other languages
English (en)
Other versions
CN114761182B (zh
Inventor
欧根·索洛乔
胡安·L·阿帕里西奥·奥赫亚
阿维纳什·库马尔
马蒂亚斯·洛斯克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN114761182A publication Critical patent/CN114761182A/zh
Application granted granted Critical
Publication of CN114761182B publication Critical patent/CN114761182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Feedback Control In General (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种机器人控制系统(10)和一种用于训练该机器人控制系统的方法。所公开的实施例通过由常规反馈控制器(18)和RL控制器(22)生成的相应控制信号(20、24)之间的动态自适应交互来对强化学习(RL)和常规控制进行适度的混合利用。此外，所公开的实施例通过有效使用与真实世界传感器和执行器数据(54)交织的虚拟传感器和执行器数据(60)来利用用于训练控制策略的迭代方法。这对于减少训练样本量以满足用于常规反馈控制器和强化学习控制器的混合控制策略是有效的。所公开的实施例能够用在各种各样工业自动化应用中。

Description

机器人控制系统和用于训练所述机器人控制系统的方法
所公开的实施例总体涉及工业自动化和控制领域，且更具体地涉及控制技术，该控制技术涉及强化学习和常规反馈控制技术的自适应加权组合，甚至更具体地涉及适合于工业强化学习的机器人控制系统和方法。
常规反馈控制技术(能够在本公开中通篇被称为“常规控制”)能够解决各种类型的控制问题(诸如但不限于：机器人控制、自主工业自动化等)，这种常规控制通常是通过非常有效地捕获具有显式模型的底层物理结构来完成的。在一个实例应用中，这能够涉及用于控制给定机器人的轨迹所涉及的身体运动方程的明确定义。然而，将理解的是，现代制造业中的许多控制问题能够涉及与对象的各种物理交互，诸如能够涉及但不限于与一个或多个对象的接触、撞击和/或摩擦。这些物理交互往往更难以利用一阶物理模型来捕捉。因此，将常规控制技术应用于这些情形中常常能够导致控制器脆弱且不准确，例如，这些控制器必须进行手动调谐才能用于部署。这增加了成本，并且能够增加用于机器人部署所涉及的时间。
强化学习(RL)技术已被证明能够学习涉及与物理环境交互的连续机器人控制器。然而，在RL技术(特别是涉及非常具有表现力的函数近似器的深度RL技术的那些技术)中通常遇到的缺点能够是繁重且耗时的探索行为，以及能够涉及的实质性样本效率低下，诸如在从头开始学习控制策略时通常是这种情况。
对于能够将整体控制策略分解为由常规控制技术解决的控制部分和利用RL解决的剩余控制部分的控制技术的实例，参见以下技术论文，分别为：于2018年12月18日由T.Johannink，S.Bahl，A.Nair，J.Luo，A.Kumar，M.Loskyll，J.Aparicio Ojea，E.Solowjow和S.Levine发表在arXiv:1812.03201v2[cs.RO]上的标题为“Residual ReinforcementLearning for Robot Control(用于机器人控制的剩余强化学习)”；以及于2019年1月3日由T.Silver，K.Allen，J.Tenenbaum和L.Kaelbling发表在arXiv:1812.06298v2[cs.RO]上的“Residual Policy Learning(剩余策略学习)”。
将理解的是，上述引用的论文中描述的方法对于广泛且具成本效益的工业适用性来说可能有些局限，因为例如，从头开始的强化学习往往仍然是实质性数据效率低下和/或棘手的。
图1示出了所公开的机器人控制系统的一个非限制性实施例的框图，该机器人控制系统能够用于对机器人系统的控制且能够涉及例如能够用在涉及自主控制的工业应用中的一个或多个机器人。
图2示出了所公开的机器学习框架的一个非限制性实施例的框图，该框架能够用于有效地训练所公开的机器人控制系统。
图3示出了所公开的用于训练所公开的机器人控制系统的方法论的一个非限制性实施例的流程图。
图4至图7分别示出了与所公开的用于训练所公开的机器人控制系统的方法论相结合的进一步的非限制性细节。
本发明人已经认识到，虽然将强化学习(RL)与常规控制组合的基本想法似乎非常有前景，但在本公开中公开的各种革新概念之前，工业环境中的实际实施方案仍然难以捉摸，因为在典型的现有技术实施中，各种重要的技术实施困难还没有完全解决。通过所公开的实施例解决的一些困难列举如下：
-适当地同步两种控制技术，使它们不会相互抵消，
-对所涉及的传统控制法则进行适当的选择和调整，
-系统地结合模拟经验和真实世界经验来在模拟器中训练控制策略，从而例如减少所需的样本量。
至少鉴于上述考虑，所公开的实施例实现了与某些涉及RL的已知方法相结合的适当改进(例如，见上文引用的两篇技术论文)。相信所公开的实施例将实现与常规控制集成的RL的实用且具成本效益的工业部署。所公开的控制方法能够在本公开中通篇被称为工业剩余强化学习(IRRL)。
本发明人提出了各种革新的技术特征，用以基本上改进至少某些涉及RL的已知方法。以下两个公开的非限制性概念(被指示为概念I)和概念II))构成了IRRL的基础：
概念I)
在常规的剩余RL技术中，手动设计的控制器能够涉及死板的控制策略，并且因此，不能轻易地适应动态变化的环境，正如本领域技术人员所理解的那样，这是在此环境中进行有效操作的实质性缺点。例如，在能够涉及随机定位的对象的对象插入应用中，常规控制器能够是位置控制器。剩余RL控制部分随后能够增强控制器以用于改进整体性能。例如，如果位置控制器过快地执行给定插入(例如，插入速度过高)，则剩余RL部分不能及时推断出任何有意义的影响。例如，其不能动态地改变位置控制器。相反，在实际应用中，剩余控制部分应该能够适当地影响(例如，有益地反对)由常规控制器生成的控制信号。例如，如果由位置控制器产生的速度过高，那么剩余RL部分应能够影响由常规控制器生成的控制信号，以降低此高速度。为了解决这个基本问题，本发明人提出了由传统控制器和RL生成的相应控制信号之间的自适应交互。原则上，一方面，最初的常规控制器应该是引导部分，而不是RL部分的反对者，并且，另一方面，RL部分应能够适当地适应常规控制器。
所公开的自适应交互能够如下所述。首先，来自两个控制策略(即，常规控制和RL控制)的相应控制信号能够就其正交性而言进行比较，例如通过计算其内积。对同一投射控制“方向”的信号贡献能够在奖励函数中受到惩罚。这就避免了两个控制部分的相互“斗争”。同时，所公开的算法能够监控剩余RL部分是否具有试图与常规控制器斗争的分量，这能够是常规控制器不足以执行给定控制任务的指示。然后，该指示能够用于修改常规控制法则，这能够自动实施或通过手动调整来实施。
其次，代替常规剩余RL控制策略中通常采用的恒定权重，本发明人创新性地提出了可调权重。非限制性地，权重调整能够由控制信号对满足奖励函数的相应贡献来控制。权重成为奖励的函数。这应实现非常有效的学习和顺利的执行。RL控制部分能够取决于它已经学会的程度而被引导。这背后的基本原理是，只要RL控制部分至少与初始手动设计的控制器具有同等水平，原则上就不再需要手动设计的控制器并且能够部分将其关闭。然而，每当RL控制部分对于给定控制任务提供了较差的性能时，初始手动设计的控制器仍然能够贡献控制信号。这种混合是由可调权重来适度调节的。类似的简化概念是“自行车支撑训练轮”，它在学习期间能是必不可少的，但在学习结束之后也能够提供支持，至少在具有困难性的情形期间，例如在急转弯骑得太快时。
概念II)
用于在模拟中训练剩余RL的已知方法通常都有击中击不中变换(hit-or-miss)的缺点，主要是因为模拟通常都是先验设置的。典型地，控制策略能够在模拟环境中进行单独训练，并且只有在之后控制策略才被部署在真实世界环境中。相应地，基于仅仅在模拟环境中训练的控制策略的实际性能，在部署到真实世界之前是不能自证明的。
相应地，本发明人进一步提出了一种迭代方法，如图2所示，其用于使用与真实世界传感器和执行器数据交织的虚拟传感器和执行器数据来训练IRRL控制策略。非限制性地，反馈回路能够用于基于诸如能够从机器人试运行(roll-out)中获得的真实世界传感器和执行器统计属性来调整被模拟的传感器和执行器统计属性。能够看出，当此控制策略被部署在真实世界的实施方案中时，对与给定机器人系统相结合的传感器和执行器的统计属性(例如，随机误差、噪声等)的适当理解对于适当地满足在模拟中训练的控制策略的性能能够是决定性的。
此外，在所公开的实施例中提出的迭代方法中，模拟环境能够基于真实世界经验而被连续调整。在已知的方法中，如上所述，通常在模拟中运行训练，直到被模拟的训练结束，然后被模拟的训练在机器人试运行(roll-out)时被转移到物理机器人上。相反，所公开的实施例有效地对被模拟的经验和真实世界的经验进行交织，用以例如确保被模拟的经验以高效的方式迭代地改进质量，并且充分地趋于真实世界的经验。例如，模拟中使用的摩擦系数能够基于真实世界的测量进行调整，从而使虚拟实验更加有用，因为虚拟实验将变得更接近于模仿由机器人正在执行的真实世界的任务(诸如由机器人进行的自动对象插入)中所涉及的物理学。
需要注意的是，在实际应用中，模拟调整不一定要被配置用于使给定模拟更加真实，而是能够被配置用于实现加速(具时效性的)学习。相应地，只要学习目标能够以具时效性的方式实现，在给定模拟中所涉及的物理参数不一定要精确地趋于真实世界的参数。
所公开的方法是用于快速拉进RL中模拟与现实的差距的适当的平衡方式。此外，所公开的方法能够允许对模拟中的物理效应进行有教育意义的改进，并且就它们针对控制策略性能/改进的相关性而言对其进行量化。例如，“在给定应用中模拟两个对象之间能够产生的电磁力有多大的相关性？”。关键是不希望将有价值的模拟资源分配给不相关的参数。
将理解的是，将模拟和真实世界更紧密地结合在一起，能够允许适当迎合给定应用中所涉及的传感器模式。非限制性地，所公开的方法能够关于物理环境进行评估。例如，关于给定传感器和/或执行器需要多准确和/或多灵敏以用于适当地满足期望的控制策略目标的评估；或者例如是否需要添加附加传感器和/或执行器(或者是否需要使用不同的传感器模式和/或执行器模式)。非限制性地，例如，所公开的方法还能够附加地建议在哪里安装此类附加传感器和/或执行器的相应的位置。
在以下详细描述中，阐述了各种具体细节，以便提供对此类实施例的透彻理解。然而，本领域的技术人员将理解，所公开的实施例能够在没有这些具体细节的情况下实践，本发明的各方面不限于所公开的实施例，并且本发明的各方面能够在各种各样的替代实施例中实践。在其他实例中，没有对能够被本领域的技术人员很好地理解的方法、过程和组件进行详细描述，用以避免不必要的和繁琐的解释。
此外，各种操作能够被描述为以有助于理解本发明的实施例的方式执行的多个分立步骤。然而，描述的顺序不应被解释为意指这些操作需要以它们所呈现的顺序来执行，也不应该被解释为它们甚至是依赖于顺序的，除非另有指示。此外，短语“在一个实施例中”的重复使用不一定指同一实施例，尽管它能够指同一实施例。需要指出的是，所公开的实施例不需要被解释为相互排斥的实施例，因为此类公开的实施例的各方面能够由本领域的技术人员取决于给定应用的需要来适当地组合。
图1示出了所公开的机器人控制系统10的一个非限制性实施例的框图。一组传感器12能够可操作地耦合到由机器人控制系统10控制的机器人系统14(例如，一个/多个机器人)。控制器16响应于来自该组传感器12的信号。
非限制性地，控制器16能够包括被配置用于生成常规反馈控制信号20的常规反馈控制器18，以及被配置用于生成强化学习控制信号24的强化学习控制器22。
比较器25能够被配置用于对常规反馈控制信号20与强化学习控制信号24的正交性进行比较。比较器25能够被配置用于供应指示常规反馈控制信号20与强化学习控制信号24之间的正交性关系的信号26。
强化学习控制器22能够包括奖励函数28，该奖励函数响应于指示常规反馈控制信号20与强化学习控制信号24之间的正交性关系的信号26。在一个非限制性实施例中，常规反馈控制信号20与强化学习控制信号24之间的正交性关系能够是基于常规反馈控制信号20和强化学习控制信号24的内积来确定的。
在一个非限制性实施例中，指示常规反馈控制器信号20与强化学习控制器信号24之间的相互依赖性的正交性关系通过奖励函数28进行惩罚，使得避免了常规反馈控制器18与强化学习控制器22之间的控制冲突。
在一个非限制性实施例中，强化学习控制器22的奖励函数28能够被配置用于基于常规反馈控制信号20和强化学习控制信号24对满足奖励函数28的相应贡献来生成一串自适应权重30。
在一个非限制性实施例中，信号组合器32能够被配置用于基于由奖励函数28生成的一串自适应权重30来自适应地组合常规反馈控制信号20和强化学习控制信号24。非限制性地，信号组合器32能够被配置用于供应常规反馈控制信号20与强化学习控制信号24的自适应组合控制信号34。自适应组合控制信号34能够被配置用于在机器人执行一系列任务时控制机器人14。
控制器16能够被配置用于执行用于常规反馈控制器18和强化学习控制器22的混合控制策略，以在机器人执行一系列任务时控制机器人14。非限制性地，混合控制策略能够包括机器人控制模式，诸如包括机器人14的轨迹控制和交互控制。举例来说，机器人的交互控制能够包括交互，诸如能够涉及摩擦、接触和撞击交互，这些交互例如能够通过机器人的关节(例如，抓手)在执行一系列任务的相应任务时发生。
图2示出了能够作为如能够被实施用于训练所公开的机器人控制系统10(图1)的所公开的机器学习框架40的一部分的动作流的一个非限制性实施例的框图。在一个非限制性实施例中，用于常规反馈控制器18和强化学习控制器22的混合控制策略能够是在机器学习框架40中学习的，在机器学习框架中，在模拟环境44中获取的虚拟传感器和执行器数据60，以及在物理环境46中获取的真实世界传感器和执行器数据54能够彼此迭代地交织(如下文更详细地阐述)，以在与现有技术方法相比减少的周期时间内有效且可靠地学习用于常规反馈控制器18和强化学习控制器22的混合控制策略。
图3示出了所公开的用于训练所公开的机器人控制系统10(图1)的方法的一个非限制性实施例的流程图100。块102允许在相应机器人14(图1)上(诸如能够在物理机器人试运行(块52，(图2))期间在物理环境46(图2)中操作)部署用于机器人控制系统10的基准控制策略。基准控制策略能够是在模拟环境44中训练的(块50，(图2))。
块104允许从可操作地耦合到相应机器人的真实世界传感器和执行器获取真实世界传感器和执行器数据(块54，(图2))，该机器人是在物理环境46中利用在模拟环境44中训练的基准控制策略控制的。
块106允许提取所获取的真实世界传感器和执行器数据的统计属性。另见图2中的块56。一个非限制性实例能够是噪音，诸如能够指示测得物理参数的随机误差。
块108允许提取模拟环境中的虚拟传感器和执行器数据的统计属性。另见图2中的块62。一个非限制性实例能够是模拟噪音，诸如能够指示模拟物理参数的随机误差。
块110允许例如，在模拟环境44的反馈回路64中(图2)，基于虚拟传感器和执行器数据的统计属性相对于真实世界传感器和执行器数据的统计属性的差异来调整。
块112允许应用所调整的模拟环境以进一步训练基准控制策略。这将是能够在图2中的块50中执行的第一次迭代。这允许在模拟环境44中基于虚拟传感器和执行器数据60与真实世界传感器和执行器数据54的数据交织来生成已更新的控制策略。
如块114所指示，基于已更新的控制策略是否满足期望的目标，能够在反馈回路64(图2)中执行进一步的迭代，以在模拟环境44中基于在物理环境46中进一步获取的真实世界传感器和执行器数据54来进行进一步的调整。
下面的描述将继续描述能够与所公开的用于训练所公开的机器人控制系统10的方法相结合执行的进一步的非限制性方面。
如图4中的块120所示，在一个非限制性实施例中，模拟环境44(图2)的调整能够涉及基于真实世界传感器和执行器数据的统计属性来调整虚拟传感器和执行器数据的统计属性。
如图5中的块140所示，在一个非限制性实施例中，模拟环境44(图2)的调整能够涉及基于真实世界传感器和执行器数据的统计属性来优化一个或多个仿真参数，诸如能够被确认为相关模拟参数的模拟参数。另见图2中的块58。
如图6中的块160所示，在一个非限制性实施例中，能够基于虚拟传感器和执行器数据的统计属性相对于真实世界传感器和执行器数据的统计属性的差异来调整物理环境46(图2)。也就是说，在一些情形中，模拟能够是充分的，但是，例如，所用的真实世界传感器和/或执行器可能噪声过大或者不足以适当地满足期望的控制策略，诸如分辨率不足、精度不够等。
例如，这能够允许适当地迎合在给定应用中所涉及的真实世界传感器和/或执行器的模式。非限制性地，所公开的方法能够关于以下进行评估：给定传感器和/或给定执行器需要多准确和/或多灵敏，以适当地满足期望的控制策略目标；或者例如，是否需要添加附加传感器和/或附加传感器(或者是否需要使用不同的传感器模式和/或不同的执行器模式)。非限制性地，例如，此外，所公开的方法能够建议在哪里安装此类附加传感器和/或执行器的相应位置。
如图7中的块180所示，在一个非限制性实施例中，物理环境的调整能够涉及对真实世界传感器中的至少一个真实世界传感器进行更新；对真实世界执行器中的至少一个真实世界执行器进行更新；或对真实世界传感器中的至少一个真实世界传感器和真实世界执行器中的至少一个真实世界执行器进行更新。
在操作中，所公开的实施例允许具成本效益且可靠地部署深度学习算法，诸如涉及用于能够涉及机器人控制的自主工业自动化的深度学习RL技术。非限制性地，所公开的实施例对于进行诸如能够涉及混合控制策略(能够包括给定机器人的轨迹控制和交互控制)的连续的、自动化的机器人控制是有效的。举例来说，机器人的交互控制能够包括相对难以建模的交互，诸如能够涉及摩擦、接触和撞击交互，这些交互例如能够由机器人的关节(例如，抓手)在执行一系列任务的相应任务时发生。
所公开的实施例被认为有助于机器学习网络广泛且灵活地适用于能够涉及自动化机器人控制的工业自动化和控制。例如，所公开的实施例的功效能够基于由传统控制器和RL控制器生成的相应控制信号之间的自适应交互。此外，所公开的实施例能够利用机器习得框架，有效地交织模拟的经验和真实世界的经验，以确保模拟的经验的质量迭代地改进，并且趋于真实世界的经验。最后，与现有技术的训练方法相比，用于在模拟器中训练控制策略的模拟的经验与真实世界的经验的系统性交织有效地实质性减少了所需的样本量。
虽然本发明的实施例已经以示例性形式公开，但对于本领域的技术人员显而易见的是，能够在不脱离本发明及其等同物的范围的情况下对本发明进行诸多修改、添加和删除，如权利要求中所阐述的那样。

Claims (16)

1.一种机器人控制系统10，包括：
一组传感器12，所述组传感器可操作地耦合到由所述机器人控制系统控制的机器人；和
控制器16，所述控制器响应于来自所述组传感器的信号，所述控制器包括：
常规反馈控制器18，所述常规反馈控制器被配置用于生成常规反馈控制信号20；
强化学习控制器22，所述强化学习控制器被配置用于生成强化学习控制信号24；
比较器25，所述比较器被配置用于对所述常规反馈控制信号与所述强化学习控制信号的正交性进行比较，其中，所述比较器被配置用于提供指示所述常规反馈控制信号与所述强化学习控制信号之间的正交性关系的信号26；
其中，所述强化学习控制器包括奖励函数28，所述奖励函数响应于指示所述常规反馈控制信号与所述强化学习控制信号之间的正交性关系的信号，其中，指示所述常规反馈控制器信号与所述强化学习控制器信号的相互依赖性的正交性关系通过所述奖励函数进行惩罚，从而避免了所述常规反馈控制器与所述强化学习控制器之间的控制冲突，
所述强化学习控制器的所述奖励函数被配置用于基于所述常规反馈控制信号和所述强化学习控制信号对满足所述奖励函数的相应贡献来生成一串自适应权重30；和
信号组合器32，所述信号组合器被配置用于基于由所述强化学习控制器的所述奖励函数生成的一串自适应权重来自适应地组合所述常规反馈控制信号和所述强化学习控制信号，
其中，所述信号组合器被配置用于提供所述常规反馈控制信号和所述强化学习控制信号的自适应组合控制信号34，所述自适应组合控制信号被配置用于在所述机器人执行一系列任务时控制所述机器人。
2.根据权利要求1所述的机器人控制系统，其中，所述常规反馈控制信号与所述强化学习控制信号之间的所述正交性关系是基于所述常规反馈控制信号与所述强化学习控制信号的内积来确定的。
3.根据权利要求1所述的机器人控制系统，其中，所述控制器被配置用于执行用于所述常规反馈控制器和所述强化学习控制器的混合控制策略，以便在所述机器人执行所述一系列任务时控制所述机器人。
4.根据权利要求3所述的机器人控制系统，其中，所述混合控制策略包括机器人控制模式，所述机器人控制模式包括所述机器人的轨迹控制和交互控制。
5.根据权利要求4所述的机器人控制系统，其中，所述机器人的所述交互控制包括由所述机器人的关节在执行所述一系列任务的相应任务时的摩擦、接触和撞击交互。
6.根据权利要求3所述的机器人控制系统，其中，用于所述常规反馈控制器和所述强化学习控制器的所述混合控制策略是在机器学习框架中被学习的，其中，在模拟环境中获取的虚拟传感器和执行器数据，以及在物理环境中获取的传感器和执行器数据彼此迭代地交织，以在减少的周期时间内学习用于所述常规反馈控制器和所述强化学习控制器的所述混合控制策略。
7.一种用于训练机器人控制系统的方法，所述方法包括：
在能够在物理环境46中操作的相应的机器人14上部署102用于所述机器人控制系统的基准控制策略，所述基准控制策略是在模拟环境44中被训练的；
从可操作地耦合到相应的所述机器人的真实世界传感器和执行器获取104真实世界传感器和执行器数据54，所述机器人是在所述物理环境中利用所述基准控制策略被控制的；
提取106所获取的真实世界传感器和执行器数据的统计属性；
提取108所述模拟环境中的虚拟传感器和执行器数据的统计属性；
在反馈回路中基于所述虚拟传感器和执行器数据的统计属性相对于所述真实世界传感器和执行器数据的统计属性的差异来调整110所述模拟环境；
应用112所调整的模拟环境来进一步训练所述基准控制策略，并且在所述模拟环境中基于虚拟传感器和执行器数据与真实世界传感器和执行器数据的数据交织来生成已更新的控制策略；
基于所述已更新的控制策略是否满足期望的目标，在所述反馈回路中执行114进一步的迭代，以在所述模拟环境中基于在所述物理环境中获取的进一步的真实世界传感器和执行器数据来进行进一步的调整。
8.根据权利要求7所述的用于训练所述机器人控制系统的方法，其中，所述机器人控制系统包括常规反馈控制器18和强化学习控制器22，
其中，所述数据交织被配置用于减少训练样本量，以满足用于所述常规反馈控制器和所述强化学习控制器的混合控制策略。
9.根据权利要求7所述的用于训练所述机器人控制系统的方法，其中，所述模拟环境的所述调整包括基于所述真实世界传感器和执行器数据的统计属性来调整120所述虚拟传感器和执行器数据的统计属性。
10.根据权利要求7所述的用于训练所述机器人控制系统的方法，其中，所述模拟环境的所述调整包括基于所述真实世界传感器和执行器数据的统计属性来优化140一个或多个模拟参数。
11.根据权利要求7所述的用于训练所述机器人控制系统的方法，其中，基于所述虚拟传感器和执行器数据的统计属性相对于所述真实世界传感器和执行器数据的统计属性的所述差异，确认模拟参数对满足用于所述模拟环境中的所述机器人控制系统的所述控制策略的相关性。
12.根据权利要求7所述的用于训练所述机器人控制系统的方法，其中，基于所述虚拟传感器和执行器数据的统计属性相对于所述真实世界传感器和执行器数据的统计属性的所述差异，确认由可操作地耦合到所述物理环境中的相应的所述机器人的所述传感器和执行器对满足用于所述模拟环境中的所述机器人控制系统的所述控制策略进行的相关性测量。
13.根据权利要求7所述的用于训练所述机器人控制系统的方法，其中，基于所述虚拟传感器和执行器数据的统计属性相对于所述真实世界传感器和执行器数据的统计属性的所述差异，调整160所述物理环境。
14.根据权利要求13所述的用于训练所述机器人控制系统的方法，其中，所述物理环境的所述调整包括：对所述真实世界传感器中的至少一个真实世界传感器进行更新，对所述真实世界执行器中的至少一个真实世界执行器进行更新，或对所述真实世界传感器中的至少一个真实世界传感器和所述真实世界执行器中的至少一个真实世界执行器进行更新。
15.根据权利要求13所述的用于训练所述机器人控制系统的方法，其中，所述物理环境的所述调整包括：添加至少一个另外的传感器，添加至少一个另外的执行器，或添加至少一个另外的传感器和至少一个另外的执行器。
16.根据权利要求13所述的用于训练所述机器人控制系统的方法，其中，所述物理环境的所述调整包括：改变所述传感器中的一个或多个传感器的感应模式，改变所述执行器中的一个或多个执行器的执行模式，或改变所述传感器中的一个或多个传感器的感应模式和所述执行器中的一个或多个执行器的执行模式。
CN201980102596.7A 2019-09-30 2019-09-30 机器人控制系统和用于训练所述机器人控制系统的方法 Active CN114761182B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/053839 WO2021066801A1 (en) 2019-09-30 2019-09-30 Robotics control system and method for training said robotics control system

Publications (2)

Publication Number Publication Date
CN114761182A true CN114761182A (zh) 2022-07-15
CN114761182B CN114761182B (zh) 2024-04-12

Family

ID=68343439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980102596.7A Active CN114761182B (zh) 2019-09-30 2019-09-30 机器人控制系统和用于训练所述机器人控制系统的方法

Country Status (4)

Country Link
US (1) US20220331955A1 (zh)
EP (1) EP4017689A1 (zh)
CN (1) CN114761182B (zh)
WO (1) WO2021066801A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115598985B (zh) * 2022-11-01 2024-02-02 南栖仙策(南京)高新技术有限公司 一种反馈控制器的训练方法、装置、电子设备及介质
CN118377304A (zh) * 2024-06-20 2024-07-23 华北电力大学（保定） 基于深度强化学习的多机器人分层编队控制方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1507617A (zh) * 2002-03-06 2004-06-23 ���ṫ˾ 学习器材和学习方法,以及机器人设备
US20080312771A1 (en) * 2007-03-23 2008-12-18 Honda Research Institute Europe Gmbh Robots with Occlusion Avoidance Functionality
JP2008304970A (ja) * 2007-06-05 2008-12-18 Sony Corp 制御装置および方法、並びにプログラム
US20110191277A1 (en) * 2008-06-16 2011-08-04 Agundez Dominguez Jose Luis Automatic data mining process control
US9008840B1 (en) * 2013-04-19 2015-04-14 Brain Corporation Apparatus and methods for reinforcement-guided supervised learning
KR101840833B1 (ko) * 2017-08-29 2018-03-21 엘아이지넥스원 주식회사 기계 학습 기반 착용로봇 제어장치 및 시스템
CN108284434A (zh) * 2017-01-10 2018-07-17 发那科株式会社 机器学习装置、示教装置的冲击抑制系统及机器学习方法
US20180225113A1 (en) * 2017-02-06 2018-08-09 Seiko Epson Corporation Control device, robot, and robot system
CN108406767A (zh) * 2018-02-13 2018-08-17 华南理工大学 面向人机协作的机器人自主学习方法
CN108789418A (zh) * 2018-08-03 2018-11-13 中国矿业大学 柔性机械臂的控制方法
CN109483526A (zh) * 2017-09-13 2019-03-19 北京猎户星空科技有限公司 虚拟环境和真实环境下机械臂的控制方法和系统
CN109491240A (zh) * 2018-10-16 2019-03-19 中国海洋大学 交互强化学习方法在水下机器人中的应用

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471381A (en) * 1990-09-20 1995-11-28 National Semiconductor Corporation Intelligent servomechanism controller
US9764468B2 (en) * 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
US20170132528A1 (en) * 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Joint model training

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1507617A (zh) * 2002-03-06 2004-06-23 ���ṫ˾ 学习器材和学习方法,以及机器人设备
US20080312771A1 (en) * 2007-03-23 2008-12-18 Honda Research Institute Europe Gmbh Robots with Occlusion Avoidance Functionality
JP2008304970A (ja) * 2007-06-05 2008-12-18 Sony Corp 制御装置および方法、並びにプログラム
US20110191277A1 (en) * 2008-06-16 2011-08-04 Agundez Dominguez Jose Luis Automatic data mining process control
US9008840B1 (en) * 2013-04-19 2015-04-14 Brain Corporation Apparatus and methods for reinforcement-guided supervised learning
CN108284434A (zh) * 2017-01-10 2018-07-17 发那科株式会社 机器学习装置、示教装置的冲击抑制系统及机器学习方法
US20180225113A1 (en) * 2017-02-06 2018-08-09 Seiko Epson Corporation Control device, robot, and robot system
KR101840833B1 (ko) * 2017-08-29 2018-03-21 엘아이지넥스원 주식회사 기계 학습 기반 착용로봇 제어장치 및 시스템
CN109483526A (zh) * 2017-09-13 2019-03-19 北京猎户星空科技有限公司 虚拟环境和真实环境下机械臂的控制方法和系统
CN108406767A (zh) * 2018-02-13 2018-08-17 华南理工大学 面向人机协作的机器人自主学习方法
CN108789418A (zh) * 2018-08-03 2018-11-13 中国矿业大学 柔性机械臂的控制方法
CN109491240A (zh) * 2018-10-16 2019-03-19 中国海洋大学 交互强化学习方法在水下机器人中的应用

Also Published As

Publication number Publication date
EP4017689A1 (en) 2022-06-29
WO2021066801A1 (en) 2021-04-08
US20220331955A1 (en) 2022-10-20
CN114761182B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
WO2020227383A8 (en) Combining machine learning with domain knowledge and first principles for modeling in the process industries
US10967505B1 (en) Determining robot inertial properties
CN114761182A (zh) 机器人控制系统和用于训练所述机器人控制系统的方法
US7509177B2 (en) Self-calibrating orienting system for a manipulating device
JP7541876B2 (ja) 航空機を制御するためのニューラルネットワークを訓練するためのシステム及び方法
JP2005310109A (ja) 自己較正センサー指向システム
EP3824358A1 (en) Real-time real-world reinforcement learning systems and methods
US11560908B2 (en) Control mapping for hydraulic machines
JP7447944B2 (ja) シミュレーション装置、シミュレーションプログラムおよびシミュレーション方法
CN111433689B (zh) 用于目标系统的控制系统的生成
WO2020254400A1 (en) Robust reinforcement learning for continuous control with model misspecification
US20180327191A1 (en) Controller and conveyance system
WO2020147949A1 (en) System for emulating remote control of a physical robot
CN113071657A (zh) 主动-主动冗余致动系统的前馈均衡控制
JP2020140641A5 (ja) 情報処理装置、方法、制御装置及び装置
CN113043266A (zh) 一种基于迭代学习的自适应力跟踪控制方法
CN109814095B (zh) 一种多目标红外仿真系统的动态空间位置模拟方法
CN101943889A (zh) 使电气传动系统调节器自动启动和/或运行的方法及装置
CN115070764B (zh) 机械臂运动轨迹规划方法、系统、存储介质和电子设备
JP2023027611A5 (zh)
CN114981732A (zh) 用于测试技术系统的自主行为控制装置的方法和测试装置
Hošovský et al. Improved modeling of pneumatic muscle actuator using recurrent neural network
JP2014009963A (ja) 試験装置
Wang et al. Reinforcement Learning based End-to-End Control of Bimanual Robotic Coordination
Algoet et al. Towards accelerated robotic deployment by supervised learning of latent space observer and policy from simulated experiments with expert policies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant