CN114872049B - 一种基于环境交互的机器人实时控制方法 - Google Patents

一种基于环境交互的机器人实时控制方法 Download PDF

Info

Publication number
CN114872049B
CN114872049B CN202210610733.1A CN202210610733A CN114872049B CN 114872049 B CN114872049 B CN 114872049B CN 202210610733 A CN202210610733 A CN 202210610733A CN 114872049 B CN114872049 B CN 114872049B
Authority
CN
China
Prior art keywords
robot
network
experience
action
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210610733.1A
Other languages
English (en)
Other versions
CN114872049A (zh
Inventor
刘全
吴光军
朱斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210610733.1A priority Critical patent/CN114872049B/zh
Publication of CN114872049A publication Critical patent/CN114872049A/zh
Application granted granted Critical
Publication of CN114872049B publication Critical patent/CN114872049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开的一种基于环境交互的机器人实时控制方法，包括初始化行动者网络参数，评论家网络为,目标网络行动者参数和目标评论家参数,经验缓冲池，各个阶段间隔时间步，使用K‑means对已有样本进行聚类学习至数据收敛；获取机器人初始状态st，判断机器人初始状态st所属类簇中心；通过摄像头采集的视频数据得出当前机器人的状态信息，然后将此信息通过以太网传输到后台服务器，得到机器人下一步该执行的动作a；执行动作a，获得立即奖赏，并获取机器人下一状态，将经验放入经验缓冲池；从经验缓冲池中随机采样小批量的n个经验转移样本；通过最小化损失函数更新评论家网络参数通过策略梯度方法更新行动者网络参数，更新目标网络参数。

Description

一种基于环境交互的机器人实时控制方法
技术领域
本发明涉及机器人控制领域，更具体的，涉及一种基于环境交互的机器人实时控制方法。
背景技术
强化学习是一种在环境中不断自主学习，寻找规律最大化未来累计奖赏，从而寻找到最优策略的方法。具体来说，强化学习是根据智能体的当前状态，寻找可执行的动作，使获得的收益最大化，因此强化学习适合解决序贯决策问题。在传统强化学习中，主要有基于值函数的SARSA和Q-Learning两种方法。在经典强化学习任务，如Cart-Pole和Mountain-Car等低维状态空间任务，基于值函数类的方法有不错的效果。但在高维动作空间环境表现却不尽如人意。随着深度学习的发展，深度神经网络有高效地识别高维数据的能力，因此将深度学习与强化学习相结合的深度强化学习方法能解决高维动作空间问题，并在自然语言处理、自动驾驶、推荐系统等复杂动作状态空间任务领域有着不错的效果。
深度确定性策略梯度方法使用深度神经网络表达确定性策略，采用确定性策略梯度来更新网络参数，能够有效应用于大规模或连续动作空间的强化学习任务中。深度确定性策略梯度方法的价值网络作为评论家，用于评估策略，学习Q函数，为策略网络提供梯度信息。策略网络作为行动者，利用评论家学习到的Q函数及梯度信息对策略进行改进，同时也增加了带噪声的探索机制和软更新方法。在深度确定性策略梯度方法中，动作的选取由行动者网络完成，该方法在小型连续动作空间任务上效果显著，且收敛较快。对于大型连续动作空间任务，效果却不尽如人意。这是因为深度确定性策略梯度方法在任务的整个状态空间中采用同一个行动者网络，而随着状态空间的增大，不同状态部分采用一个网络会导致单个行动者网络压力剧增难以学到优秀的目标策略。即使在耗费大量时间量时能学习到优秀的目标策略，训练过程也会存在巨大的波动，难以稳定收敛。
发明内容
为了解决上述至少一个技术问题，本发明提出了一种基于环境交互的机器人实时控制方法。
本发明第一方面提供了一种基于环境交互的机器人实时控制方法，包括如下步骤：
S1，初始化行动者网络参数为评论家网络为θQ,目标网络行动者参数为/>和目标评论家参数θQ′←θQ,经验缓冲池E1，E2，…，EN，各个阶段间隔时间步M，(其中，强化学习中，时间步为基本的时间单位，间隔时间步表示从第一阶段到下一个阶段即第二个阶段经历的时间步数)使用K-means对已有样本进行聚类学习至数据收敛；
S2,获取机器人初始状态st，判断机器人初始状态st所属类簇中心；
S3，通过摄像头采集的视频数据得出当前机器人的状态信息，然后将此信息通过以太网传输到后台服务器，得到机器人下一步该执行的动作a；
S3，执行动作a，获得立即奖赏rt+1，并获取机器人下一状态st+1，将经验(st，at，rt+1，st+1)放入经验缓冲池Ek；其中经验缓冲池用于存储经验转移样本
S4，从经验缓冲池Ek中随机采样小批量的n个经验转移样本(si，ai，ri+1，si+1)，计算其中，经验转移样本指代的是智能体训练过程中产生的一系列变化样本，主要包括智能体当前的状态，执行的动作，执行该动作后从环境反馈得到的奖赏和执行动作后的状态。
S5，通过最小化损失函数更新评论家网络参数通过策略梯度方法更新行动者网络参数，更新目标网络参数；
S6，如果到达下一阶段，(即在当前的阶段经历一定的时间步后达到的下一个阶段。)则将K-means判别器的类簇中心个数加一，并重新聚类至收敛，且重置阶段步长C(阶段步长指代的就是当前阶段到达下一阶段需要的时间步数)，如果状态是终止状态并且该情节步数已达到最大，则转入S2。
进一步的，在强化学习中，训练是以情节为单位的，一个情节以游戏为例就是游戏开始到游戏结束。情节步数就是在该情节已经经历过的时间步数。
本发明一个较佳实施例中，通过k-means方法对初始状态进行判断，输出对应类别，就是将初始状态当做输入，在K-means中判断对应类别，并将其作为输出。
本发明一个较佳实施例中，S3中摄像头采集的视频数据通过TMS320C6670芯片进行分析。
本发明一个较佳实施例中，更新行动者目标网络和评论家目标网络参数，策略函数和价值函数均使用双网络架构，即分别设置预测网络和目标网络，使方法的学习过程更加稳定，收敛更快。
本发明一个较佳实施例中，S3中服务器处理数据得到机器人下一步该执行的动作，然后将动作控制信息通过以太网再传回给芯片，控制机器人的执行。
本发明一个较佳实施例中，S5中最小化损失函数来更新价值网络(评论家网络)参数w，
本发明一个较佳实施例中，S5中根据最大化目标函数来更新策略网络(行动者网络)参数θ：
本发明的上述技术方案相比现有技术具有以下优点：
(1)本申请结合了基于K-means聚类方法与深度确定性策略梯度方法，与未知环境的不断交互获取实时信息，通过平衡数据处理的可行性和正确性，准确高效地在线控制机器人，去完成任务。本申请将机器学习中经典的k均值聚类方法(K-means clustering)引入到深度确定性策略梯度方法中，对任务的整个状态空间通过K-means聚类方法进行聚类。
(2)行动者网络的个数与K-means聚类方法中的类簇中心个数相等，对一个状态先通过K-means找到该状态所属的类别，再采取对应的行动者网络进行动作的选取。此外，在智能体的训练过程中，随着时间步的增加，智能体所能到达的状态空间更广，为了契合训练过程，本申请还采取分阶段的方法逐渐引入新行动者网络。
(3)在训练第一个阶段采用一个行动者网络，达到第二个阶段采用两个行动者网络，对应为有两个聚类中心的K-means，在选取动作时，先对状态用K-means进行类别的判断，再使用对应行动者网络选取动作。解决了单个行动者网络学习压力大以及不同状态区间存在的耦合性等问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的一些附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明优选实施例中机器人控制方法流程图；
图2为本发明机器人控制方法网络模型输入与输出表。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
如图1-2所示，本发明提供了一种基于环境交互的机器人实时控制方法，包括如下步骤：
S1，初始化行动者网络参数为评论家网络为θQ,目标网络行动者参数为/>和目标评论家参数θQ′←θQ,经验缓冲池E1，E2，…，EN，经验缓冲池用于存储经验转移样本，各个阶段间隔时间步M，使用K-means对已有样本进行聚类学习至数据收敛；
S2,获取机器人初始状态st，判断机器人初始状态st所属类簇中心；
S3，通过摄像头采集的视频数据得出当前机器人的状态信息，然后将此信息通过以太网传输到后台服务器，得到机器人下一步该执行的动作a；
S3，执行动作a，获得立即奖赏rt+1，并获取机器人下一状态st+1，将经验(st，at，rt+1，st+1)放入经验缓冲池Ek；
S4，从经验缓冲池Ek中随机采样小批量的n个经验转移样本(si，ai，ri+1，si+1)，计算其中，经验转移样本指代的是智能体训练过程中产生的一系列变化样本，主要包括智能体当前的状态，执行的动作，执行该动作后从环境反馈得到的奖赏和执行动作后的状态。
S5，通过最小化损失函数更新评论家网络参数通过策略梯度方法更新行动者网络参数，更新目标网络参数；
S6，如果到达下一阶段，(指代的是在当前的阶段经历一定的时间步后达到的下一个阶段。)则将K-means判别器的类簇中心个数加一，并重新聚类至收敛，且重置阶段步长C，如果状态是终止状态并且该情节步数已达到最大，则转入S2。
进一步的，强化学习中，时间步为基本的时间单位，间隔时间步表示从第一阶段到下一个阶段即第二个阶段经历的时间步数。
根据本发明实施例，通过K-means方法对初始状态进行判断对应了类簇中心。
根据本发明实施例，S3中摄像头采集的视频数据通过TMS320C6670芯片进行分析。
根据本发明实施例，S3中服务器处理数据得到机器人下一步该执行的动作，然后将动作控制信息通过以太网再传回给芯片，控制机器人的执行。
根据本发明实施例，S5中小化损失函数
根据本发明实施例，S5中策略梯度方法计算公式如下：
进一步的，本申请根据最小化损失函数来更新价值网络(评论家网络)参数w。θ′和w′分别表示目标策略网络μ′和目标值网络Q′的权重。每次更新时，DDPG使用经验回放机制从样本池中抽取固定数量(如N个)的转移样本，并将由Q值函数关于动作的梯度信息从评论家网络传递到行动者网络。
方法中使用的双网络架构，为价值网络和策略网络分别引入了目标网络：
(1)预测价值网络Q(s,a,w)，用于更新w；
(2)目标价值网络Q′(s,a,w′)，用于更新w′；
(3)预测策略网络μ(s,a,θ)，用于更新θ；
(4)目标策略网络μ′(s,a,θ′)，用于更新θ′
每次完成小批量经验转移样本的训练之后，利用小批量梯度上升法(Mini-batchBGA，MBGA)更新预测策略网络参数，利用最大化目标函数法更新预测价值网络参数，然后通过软更新方法更新目标网络的参数，方法的网络模型，如图2所示。
本申请结合了基于K-means聚类方法与深度确定性策略梯度方法，与未知环境的不断交互获取实时信息，通过平衡数据处理的可行性和正确性，准确高效地在线控制机器人，去完成任务。本申请将机器学习中经典的k均值聚类方法(K-means clustering)引入到深度确定性策略梯度方法中，对任务的整个状态空间通过K-means聚类方法进行聚类。
行动者网络的个数与K-means聚类方法中的类簇中心个数相等，对一个状态先通过K-means找到该状态所属的类别，再采取对应的行动者网络进行动作的选取。此外，在智能体的训练过程中，随着时间步的增加，智能体所能到达的状态空间更广，为了契合训练过程，本申请还采取分阶段的方法逐渐引入新行动者网络。
在训练第一个阶段采用一个行动者网络，达到第二个阶段采用两个行动者网络，对应为有两个聚类中心的K-means，在选取动作时，先对状态用K-means进行类别的判断，再使用对应行动者网络选取动作。解决了单个行动者网络学习压力大以及不同状态区间存在的耦合性等问题。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对上述实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的上述实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于环境交互的机器人实时控制方法，其特征在于，包括如下步骤：
S1，初始化行动者网络参数为评论家网络为θQ,目标网络行动者参数为/>和目标评论家参数θQ′←θQ,经验缓冲池E1，E2，…，EN，各个阶段间隔时间步M，使用K-means对已有样本进行聚类学习至数据收敛；
S2,获取机器人初始状态st，判断机器人初始状态st所属类别；
S3，通过摄像头采集的视频数据得出当前机器人的状态信息，然后将此信息通过以太网传输到后台服务器，得到机器人下一步该执行的动作a；
S3，执行动作a，获得立即奖赏rt+1，并获取机器人下一状态st+1，将经验(st，at，rt+1，st+1)放入经验缓冲池Ek，经验缓冲池用于存储经验转移样本；
S4，从经验缓冲池Ek中随机采样小批量的n个经验转移样本(si，ai，ri+1，si+1)，经验转移样本指代的是智能体训练过程中产生的一系列变化样本，主要包括智能体当前的状态，执行的动作，执行该动作后从环境反馈得到的奖赏和执行动作后的状态，计算式中ri为从环境处得到的立即奖赏，γ为折扣因子；
S5，通过最小化损失函数更新评论家网络参数通过策略梯度方法更新行动者网络参数，更新目标网络参数；
S6，如果到达下一阶段，则将K-means判别器的类簇中心个数加一，并重新聚类至收敛，且重置阶段步长C，如果状态是终止状态并且该情节步数已达到最大，则转入S2。
2.根据权利要求1所述的一种基于环境交互的机器人实时控制方法，其特征在于，通过k-means方法对初始状态进行判断，输出对应类别。
3.根据权利要求1所述的一种基于环境交互的机器人实时控制方法，其特征在于，S3中摄像头采集的视频数据通过TMS320C6670芯片进行分析。
4.根据权利要求1所述的一种基于环境交互的机器人实时控制方法，其特征在于，更新行动者目标网络和评论家目标网络参数，策略函数和价值函数均使用双网络架构，即分别设置预测网络和目标网络。
5.根据权利要求4所述的一种基于环境交互的机器人实时控制方法，其特征在于，S3中服务器处理数据得到机器人下一步该执行的动作，然后将动作控制信息通过以太网再传回给芯片，控制机器人的执行。
6.根据权利要求1所述的一种基于环境交互的机器人实时控制方法，其特征在于，S5中最小化损失函数来更新价值网络参数w，式中N为采样情节数。
7.根据权利要求1所述的一种基于环境交互的机器人实时控制方法，其特征在于，S5中根据最大化目标函数来更新策略网络参数θ：式中N为采样情节数。
CN202210610733.1A 2022-05-31 2022-05-31 一种基于环境交互的机器人实时控制方法 Active CN114872049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210610733.1A CN114872049B (zh) 2022-05-31 2022-05-31 一种基于环境交互的机器人实时控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210610733.1A CN114872049B (zh) 2022-05-31 2022-05-31 一种基于环境交互的机器人实时控制方法

Publications (2)

Publication Number Publication Date
CN114872049A CN114872049A (zh) 2022-08-09
CN114872049B true CN114872049B (zh) 2023-08-29

Family

ID=82679854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210610733.1A Active CN114872049B (zh) 2022-05-31 2022-05-31 一种基于环境交互的机器人实时控制方法

Country Status (1)

Country Link
CN (1) CN114872049B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105690392A (zh) * 2016-04-14 2016-06-22 苏州大学 基于行动者-评论家方法的机器人运动控制方法和装置
CN107292344A (zh) * 2017-06-26 2017-10-24 苏州大学 一种基于环境交互的机器人实时控制方法
WO2020056299A1 (en) * 2018-09-14 2020-03-19 Google Llc Deep reinforcement learning-based techniques for end to end robot navigation
CN111046181A (zh) * 2019-12-05 2020-04-21 贵州大学 一种用于自动分类法归纳的行动者—评论家算法
CN114065929A (zh) * 2021-07-26 2022-02-18 成都蓉奥科技有限公司 一种深度强化学习模型的训练方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105690392A (zh) * 2016-04-14 2016-06-22 苏州大学 基于行动者-评论家方法的机器人运动控制方法和装置
CN107292344A (zh) * 2017-06-26 2017-10-24 苏州大学 一种基于环境交互的机器人实时控制方法
WO2020056299A1 (en) * 2018-09-14 2020-03-19 Google Llc Deep reinforcement learning-based techniques for end to end robot navigation
CN111046181A (zh) * 2019-12-05 2020-04-21 贵州大学 一种用于自动分类法归纳的行动者—评论家算法
CN114065929A (zh) * 2021-07-26 2022-02-18 成都蓉奥科技有限公司 一种深度强化学习模型的训练方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
带最大熵修正的行动者评论家算法;姜玉斌;刘全;胡智慧;;计算机学报(第10期);全文 *

Also Published As

Publication number Publication date
CN114872049A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN110569443B (zh) 一种基于强化学习的自适应学习路径规划系统
Sun et al. Provably efficient imitation learning from observation alone
Xu et al. Learning to explore via meta-policy gradient
CN110488861A (zh) 基于深度强化学习的无人机轨迹优化方法、装置和无人机
CN112685165B (zh) 一种基于联合强化学习策略的多目标云工作流调度方法
CN111898728A (zh) 一种基于多Agent强化学习的团队机器人决策方法
Huang et al. Learning tailored adaptive bitrate algorithms to heterogeneous network conditions: A domain-specific priors and meta-reinforcement learning approach
CN110110858A (zh) 一种基于强化学习的自动化机器学习方法
Zha et al. Simplifying deep reinforcement learning via self-supervision
CN114872049B (zh) 一种基于环境交互的机器人实时控制方法
CN117202264A (zh) Mec环境中面向5g网络切片的计算卸载方法
KR20220014744A (ko) 강화 학습을 기반으로 한 데이터 전처리 시스템 및 방법
CN117056595A (zh) 一种交互式的项目推荐方法、装置及计算机可读存储介质
CN116975686A (zh) 训练学生模型的方法、行为预测方法和装置
CN113821323B (zh) 一种面向混合部署数据中心场景的离线作业任务调度算法
Teng et al. Self-organizing neural network for adaptive operator selection in evolutionary search
CN114154582A (zh) 基于环境动态分解模型的深度强化学习方法
WO2021140698A1 (ja) 情報処理装置、方法及びプログラム
WO2021130915A1 (ja) 学習装置、学習方法および学習プログラム
CN113360772A (zh) 一种可解释性推荐模型训练方法与装置
Huang et al. Elastic dnn inference with unpredictable exit in edge computing
CN111950691A (zh) 一种基于潜在动作表示空间的强化学习策略学习方法
Wöhlke et al. Learning Hierarchical Planning-Based Policies from Offline Data
CN118200257B (zh) 一种基于高速连接器的信号高速传输方法及系统
CN115033343B (zh) 一种云环境下遥感数据流程调度模型的建立方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant