CN115338610A - 双轴孔装配方法、装置、电子设备和存储介质 - Google Patents

双轴孔装配方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115338610A
CN115338610A CN202210788092.9A CN202210788092A CN115338610A CN 115338610 A CN115338610 A CN 115338610A CN 202210788092 A CN202210788092 A CN 202210788092A CN 115338610 A CN115338610 A CN 115338610A
Authority
CN
China
Prior art keywords
action
state
network
force sensor
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210788092.9A
Other languages
English (en)
Other versions
CN115338610B (zh
Inventor
严少华
徐德
陶显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202210788092.9A priority Critical patent/CN115338610B/zh
Publication of CN115338610A publication Critical patent/CN115338610A/zh
Application granted granted Critical
Publication of CN115338610B publication Critical patent/CN115338610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P21/00—Machines for assembling a multiplicity of different parts to compose units, with or without preceding or subsequent working of such parts, e.g. with programme control

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明提供一种双轴孔装配方法、装置、电子设备和存储介质，涉及自动化装配技术领域，所述方法包括：获取力传感器状态和状态目标值；基于力传感器状态，确定演示学习动作量和力反馈控制动作量；将力传感器状态和状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数；基于动作比例系数、网络动作量、演示学习动作量和力反馈控制动作量，确定实际动作量，并基于实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在实际动作量沿z轴方向的平移量之和不小于目标深度的情况下停止装配。本发明可实现双轴孔装配效率的大幅度提升，且同时具备较高稳定性和适应能力。

Description

双轴孔装配方法、装置、电子设备和存储介质
技术领域
本发明涉及自动化装配技术领域，尤其涉及一种双轴孔装配方法、装置、电子设备和存储介质。
背景技术
随着智能制造技术的快速发展，工业机器人被越来越多的应用在工业的各种装配领域中，其中，对工业机器人自动且高精度完成最基础的双轴孔装配任务的需求越来越多。
现有技术中，工业机器人自动完成双轴孔装配任务的方法多采用以下两种：
(1)、力反馈控制算法，可设计已知模型的控制策略，具有较高的稳定性，但其对装配环境的适应性较差；
(2)、演示学习算法，可以对人工示教数据进行学习，对装配环境的不确定性具有较强的适应能力，但其稳定性较差。
发明内容
本发明提供一种双轴孔装配方法、装置、电子设备和存储介质，用以解决现有技术中适应性和稳定性无法兼具的缺陷，实现双轴孔装配效率的大幅度提升，且同时具备较高稳定性和适应能力。
本发明提供一种双轴孔装配方法，包括：
获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述力反馈控制动作量在实际控制过程中的比例系数；
基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
根据本发明提供的双轴孔装配方法，所述收敛状态的装配学习模型是基于以下步骤训练得到的，包括：
将所述力传感器状态和所述状态目标值输入至初始装配学习模型的当前动作选取网络，输出当前时刻的所述网络动作量和动作比例系数；
基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数；
将所述力传感器状态和所述网络动作量输入至初始装配学习模型的当前动作评价网络，输出当前时刻所述网络动作量的动作价值函数；
基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数。
根据本发明提供的双轴孔装配方法，所述基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数，包括：
基于所述网络动作量，利用链式法则确定所述梯度变化量；
基于所述力传感器状态和状态目标值，确定所述奖励函数；
基于所述梯度变化量和所述奖励函数，更新所述当前动作选取网络的参数，在所述梯度变化量减小到使所述奖励函数收敛的情况下，结束所述当前动作选取网络的更新。
根据本发明提供的双轴孔装配方法，所述基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数，包括：
将所述当前动作选取网络的参数复制至所述装配学习模型的目标动作选取网络，将所述当前动作评价网络的参数复制至所述装配学习模型的目标动作评价网络，确定所述动作价值函数的价值目标值；
基于所述动作价值函数和所述价值目标值，确定所述当前动作评价网络的损失函数；
对所述损失函数求梯度下降，并更新所述当前动作评价网络的参数，在所述损失函数小于阈值的情况下，结束所述当前动作评价网络的更新。
根据本发明提供的双轴孔装配方法，所述基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量，包括：
基于高斯混合模型，确定所述力传感器状态下的演示学习动作量，其中，所述演示学习动作量用于表征力传感器状态下的动作量概率分布，所述高斯混合模型是基于示教过程中力传感器状态和动作量构建的；
基于力反馈控制模型，确定所述力传感器状态下的力反馈控制动作量，其中，所述力反馈控制模型是基于轴孔内部结构构建的。
根据本发明提供的双轴孔装配方法，所述力传感器状态包括位姿和受力信息。
本发明还提供一种双轴孔装配装置，包括：
获取模块，用于获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
第一确定模块，用于基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
输出模块，用于将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述演示学习动作量在实际控制过程中的比例系数；
第二确定模块，用于基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述双轴孔装配方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述双轴孔装配方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述双轴孔装配方法。
本发明提供的双轴孔装配方法、装置、电子设备和存储介质，通过将力传感器状态和状态目标值同时输入预先训练至收敛状态的装配学习模型，解决装配学习模型中奖励函数的设计难题，以状态目标值为装配目标，提高双轴孔装配效率；此外，基于装配学习模型收敛状态下的动作量和动作比例系数，结合演示学习动作量和力反馈控制动作量，确定用于装配的实际动作量，进一步增加轴孔装配的效率与安全性，同时具备较高稳定性和适应能力。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的双轴孔装配方法的流程示意图之一；
图2是本发明提供的双轴孔装配方法的流程示意图之二；
图3是现有技术的奖励函数示意图；
图4是本发明提供的双轴孔装配方法的奖励函数示意图；
图5是本发明提供的双轴孔装配装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着智能制造技术的快速发展，工业机器人被越来越多的应用在工业的各种装配领域中，其中，对工业机器人自动且高精度完成最基础的双轴孔装配任务的需求越来越多。
现有技术中，工业机器人自动完成双轴孔装配任务的方法多采用以下两种：
(1)、力反馈控制算法，可设计已知模型的控制策略，具有较高的稳定性，但其对装配环境的适应性较差；
(2)、演示学习算法，可以对人工示教数据进行学习，对装配环境的不确定性具有较强的适应能力，但其稳定性较差。
针对上述问题，本发明实施例提供一种双轴孔装配方法，图1是本发明提供的双轴孔装配方法的流程示意图之一，如图1所示，该方法包括：
步骤110、获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
步骤120、基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
步骤130、将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述力反馈控制动作量在实际控制过程中的比例系数；
步骤140、基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
具体地，由于现有双轴孔装配方法无法同时兼具稳定性和适应性的问题，本发明实施例中，获取力传感器状态，并确定力传感器状态的状态目标值，将力传感器状态和状态目标值同时输入预先训练至收敛状态的装配学习模型，得到当前时刻的网络动作量、动作比例系数和动作价值函数，动作价值函数用于评价当前时刻的网络动作量的优劣，且基于动作价值函数更新装配学习模型的参数，同时，结合力传感器状态确定的演示学习动作量、力反馈控制动作量、动作比例系数和当前时刻的网络动作量，确定实际动作量，并根据实际动作量进行双轴孔装配，迭代执行上述步骤，直至实际动作量沿z轴方向的平移量之和不小于目标深度的情况下停止装配，即，通过与实际环境进行交互，高效完成双轴孔装配。
可选地，所述力传感器状态包括位姿和受力信息。
具体地，对于双轴孔装配过程，力传感器状态为位姿和手里信息的有限集合，并由安装在轴上的力传感器获取数据，力传感器状态st具体可以为：st＝[Fx,Fy,Fz,Mx,My,Mz]，其中，Fx、Fy和Fz分别表示力传感器测量得到的沿x轴、y轴和z轴的受力信息，Mx、My和Mz分别表示沿x轴、y轴和z轴的力矩。
可选地，状态目标值为力传感器状态的目标值，状态目标值表示轴孔装配过程中最优受力状态和目标深度，代表了装配学习模型的训练目标和装配目标，即，在装配学习模型训练过程中，当装配学习模型处于收敛状态下时，力传感器状态无限逼近于状态目标值；在装配过程中，当实际动作量沿z轴方向的平移量之和不小于状态目标值中的目标深度时，表明装配到位，可停止装配。状态目标值可以表示为由最优受力状态和目标深度组成的键值对。
可选地，为了增加轴孔装配的效率和安全性，基于动作比例系数、网络动作量、演示学习动作量和力反馈控制动作量，确定实际动作量，实际动作量如式(1)所示，式(1)为：
Figure BDA0003729448430000071
其中，βt表示力反馈控制动作量在实际控制过程中的比例系数，(1-βt)表示演示学习动作量在实际控制过程中的比例系数，
Figure BDA0003729448430000072
表示当前时刻下的力反馈控制动作量，
Figure BDA0003729448430000081
表示当前时刻下的演示学习动作量，
Figure BDA0003729448430000082
表示当前时刻下的网络动作量，且
Figure BDA0003729448430000083
内部元素的值的限定范围均为：[-1，1]，
Figure BDA0003729448430000084
表示哈达玛积，使得矩阵对应位置元素相乘。
可选地，网络动作量可以为位置与姿态的控制量结合，网络动作量具体可以为：at＝[Δx,Δy,Δz,αx,αy,αz]，其中，Δx、Δy和Δz分别表示沿x轴、y轴、z轴的平移量系数，αx、αy和αz分别表示绕x轴、y轴、z轴的旋转量系数。
可选地，装配学习模型包括当前动作选取网络、当前动作评价网络、目标动作选取网络和目标动作评价网络。当前动作选取网络用于选取当前状态下的网络动作量，当前动作评价网络用于确定动作价值函数，对选取的网络动作量的价值进行评价，目标动作选取网络用于选取下一状态的新的网络动作量，目标动作评价网络用于确定动作价值函数的目标值，基于动作价值函数和目标值构建损失函数，对当前动作评价网络的参数进行更新。上述装配学习模型可以为Actor-Critic结构。
可选地，在执行步骤130之前，需对构建的初始装配学习模型进行训练至收敛状态，图2是本发明提供的双轴孔装配方法的流程示意图之二，如图2所示，所述收敛状态的装配学习模型是基于以下步骤训练得到的，包括：
将所述力传感器状态和所述状态目标值输入至初始装配学习模型的当前动作选取网络，输出当前时刻的所述网络动作量和动作比例系数；
基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数；
将所述力传感器状态和所述网络动作量输入至初始装配学习模型的当前动作评价网络，输出当前时刻所述网络动作量的动作价值函数；
基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数。
具体地，确定当前动作选取网络的输入和输出，构建梯度变化量和奖励函数，对当前动作选取网络进行参数更新；确定当前动作评价网络的输入和输出，构建损失函数，对当前动作评价网络进行参数更新，在少量样本情况下，通过与装配环境的交互，完成对初始装配学习模型的训练过程。
在初始装配学习模型训练之前，网络动作量的初始值为：
Figure BDA0003729448430000091
在初始时刻，通过式(1)计算实际动作量时，当β0＝0时，表示以演示学习动作量作为初始策略进行训练；当β0＝1时，表示以力反馈控制动作量作为初始策略进行训练。
可选地，所述基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数，包括：
基于所述网络动作量，利用链式法则确定所述梯度变化量；
基于所述力传感器状态和状态目标值，确定所述奖励函数；
基于所述梯度变化量和所述奖励函数，更新所述当前动作选取网络的参数，在所述梯度变化量减小到使所述奖励函数收敛的情况下，结束所述当前动作选取网络的更新。
具体地，当前动作选取网络输出当前时刻的网络动作量，即输出动作策略π(st,at,g|θπ)，其中，θπ表示当前动作选取网络的参数，st表示力传感器状态，at表示当前时刻t下的网络动作量，g表示状态目标值。利用链式法则确定梯度变化量，利用梯度下降法，使得梯度变化量逐渐减小，在计算得到的梯度变化量使得奖励函数收敛时，当前动作选取网络训练完成，即停止当前动作选取网络参数的更新。此外，基于力传感器状态和状态目标值构建奖励函数，并采用后经验池回放算法，每个回合先保存力传感器状态、网络动作量和奖励函数值，后进行采样学习，以每个回合达到的最终状态作为状态目标值进行保存，由此提高模型学习效率和轴孔装配效率。
可选地，利用链式法则依次对at和θπ求导后，得到梯度变化量，梯度变化量如式(2)所示，式(2)为：
Figure BDA0003729448430000101
其中，Qπ(st,π(st,at)∣θQ)表示当前动作策略π(st,at∣θπ)下的动作价值函数。
可选地，奖励函数可以为力传感器状态和状态目标值的欧式距离，奖励函数如式(3)所示，式(3)为：
rt(st,g)＝-||st-g||2
可选地，如图2所示，所述基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数，包括：
将所述当前动作选取网络的参数复制至所述装配学习模型的目标动作选取网络，将所述当前动作评价网络的参数复制至所述装配学习模型的目标动作评价网络，确定所述动作价值函数的价值目标值；
基于所述动作价值函数和所述价值目标值，确定所述当前动作评价网络的损失函数；
对所述损失函数求梯度下降，并更新所述当前动作评价网络的参数，在所述损失函数小于阈值的情况下，结束所述当前动作评价网络的更新。
具体地，力传感器状态和网络动作量输入当前动作评价网络，输出动作价值函数，同时，网络动作量作用于装配对象，与环境进行交互，获取力传感器新状态和新状态目标值，将当前动作选取网络的参数复制至动作选取目标，同时将当前动作评价网络的参数复制至动作评价目标，将力传感器新状态和新状态目标值输入目标动作选取网络，输出新网络动作量和新动作比例系数后，将力传感器新状态和新网络动作量输入目标动作评价网络，确定价值目标值，基于动作价值函数和价值目标值，确定损失函数，之后利用梯度下降法，求取最小损失函数值，并不断更新当前动作评价网络的参数，在取得最小损失函数值时，使得当前动作评价网络收敛，即停止对当前动作评价网络的更新。
可选地，动作价值函数具体如式(4)所示，式(4)为：
Qπ(s,a)＝E{rt+γrt+1+γ2rt+2+…|st＝s,at＝a,π}
其中，rt表示t时刻的奖励，π表示动作策略，γ表示折损系数，用于表示后续力传感器状态的奖励对当前力传感器状态的影响，且0≤γ≤1。
可选地，损失函数具体如式(5)所示，式(5)为：
L(θQ)＝Eπ[(Qπ(st,at,g∣θQ)-yt)2]
其中，Qπ(st,at,g∣θQ)表示当前时刻下的动作价值函数，θQ表示当前动作评价网络的参数，yt表示价值目标函数，且yt具体为：
yt＝rt(st,g)+γQπ(st+1,π(st+1)∣θQ)，rt(st,g)表示奖励函数。
在完成当前动作选取网络和当前动作评价网络同时收敛后，即装配学习模型处于收敛状态，训练完成，可采用训练至收敛状态的装配学习模型进行装配，其中，装配过程即通过与环境不断交互来进行装配，使初始状态逐渐向状态目标值逼近，装配过程可以视为马尔可夫决策过程(Markov Decision Process,MDP)，表示为一个五元组[S，A，P，R，γ]，其中，S为力传感器状态的有限集合，集合中某个状态表示为s∈S；A为网络动作量的有限集合，集合中某个动作表示为at∈A，A为力传感器状态s下可执行的动作量集合；P为状态转移方程，P(st+1∣st,at)表示在力传感器状态st执行动作量at后将以P(st+1∣st,at)的概率跳转到力传感器状态st+1；R为奖励函数；γ为折损系数，且0≤γ≤1。
可选地，图3是现有技术的奖励函数示意图，图4是本发明提供的双轴孔装配方法的奖励函数示意图，如图3至图4所示，本发明实施例中采用经典深度确定性策略梯度算法(Deep Deterministic Policy Gradient，DDPG)作为对照，如图3所示，DDPG算法在训练回合数量为200个左右时达到收敛，本发明实施例提供的双轴孔装配方法在训练回合数量为100个左右时达到收敛，大幅度提高学习效率。
可选地，所述基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量，包括：
基于高斯混合模型，确定所述力传感器状态下的演示学习动作量，其中，所述演示学习动作量用于表征力传感器状态下的动作量概率分布，所述高斯混合模型是基于示教过程中力传感器状态和动作量构建的；
基于力反馈控制模型，确定所述力传感器状态下的力反馈控制动作量，其中，所述力反馈控制模型是基于轴孔内部结构构建的。
具体地，确定演示学习动作量和力反馈控制动作量，并结合网络动作量和动作比例系数，进一步确定实际动作量，以完成装配，且使装配学习模型同时具备稳定性和对装配环境不确定性的适应能力。
可选地，利用示教过程中的力传感器状态和动作量，建立高斯混合模型(GaussianMixed Model,GMM)，基于高斯混合模型进行高斯混合回归(Gaussian Mixed Regression，GMR)，计算演示学习动作量，用于表示多维受力信息输入下的动作量概率分布，演示学习动作量
Figure BDA0003729448430000137
如式(6)所示，式(6)为：
Figure BDA0003729448430000131
其中，
Figure BDA0003729448430000132
为演示学习算法所得概率模型。
可选地，力反馈控制算法为根据轴孔模型内部结构设计的控制算法，通过力反馈控制算法计算力反馈控制动作量，力反馈控制动作量如式(7)所示，式(7)为：
Figure BDA0003729448430000133
其中，et＝(st-sref)，Kp表示比例控制系数矩阵，且
Figure BDA0003729448430000134
Kd表示微分控制系数矩阵，且
Figure BDA0003729448430000135
Figure BDA0003729448430000136
表示六维实数，st表示当前力传感器状态[Ftx,Fty,Ftz,Mtx,Mty,Mtz]，sref表示期望力传感器状态[Frx,Fry,Frz,Mrx,Mry,Mrz]。
本发明提供的双轴孔装配方法，通过将力传感器状态和状态目标值同时输入预先训练至收敛状态的装配学习模型，解决装配学习模型中奖励函数的设计难题，以状态目标值为装配目标，提高双轴孔装配效率；此外，基于装配学习模型收敛状态下的动作量和动作比例系数，结合演示学习动作量和力反馈控制动作量，确定用于装配的实际动作量，进一步增加轴孔装配的效率与安全性，同时具备较高稳定性和适应能力。
下面对本发明提供的双轴孔装配装置进行描述，下文描述的双轴孔装配装置与上文描述的双轴孔装配方法可相互对应参照。
本发明实施例还提供一种双轴孔装配装置，图5是本发明提供的双轴孔装配装置的结构示意图，如图5所示，该双轴孔装配装置200，包括：获取模块201、第一确定模块202、输出模块203和第二确定模块204，其中：
获取模块201，用于获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
第一确定模块202，用于基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
输出模块203，用于将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述演示学习动作量在实际控制过程中的比例系数；
第二确定模块204，用于基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
本发明提供的双轴孔装配装置，通过将力传感器状态和状态目标值同时输入预先训练至收敛状态的装配学习模型，解决装配学习模型中奖励函数的设计难题，以状态目标值为装配目标，提高双轴孔装配效率；此外，基于装配学习模型收敛状态下的动作量和动作比例系数，结合演示学习动作量和力反馈控制动作量，确定用于装配的实际动作量，进一步增加轴孔装配的效率与安全性，同时具备较高稳定性和适应能力。
可选地，获取模块201，具体用于：
所述力传感器状态包括位姿和受力信息。
可选地，第一确定模块202，具体用于：
所述收敛状态的装配学习模型是基于以下步骤训练得到的，包括：
基于高斯混合模型，确定所述力传感器状态下的演示学习动作量，其中，所述演示学习动作量用于表征力传感器状态下的动作量概率分布，所述高斯混合模型是基于示教过程中力传感器状态和动作量构建的；
基于力反馈控制模型，确定所述力传感器状态下的力反馈控制动作量，其中，所述力反馈控制模型是基于轴孔内部结构构建的。
可选地，输出模块203，具体用于：
所述将所述力传感器状态和所述状态目标值输入至装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，包括：
将所述力传感器状态和所述状态目标值输入至所述装配学习模型的当前动作选取网络，输出当前时刻的所述网络动作量和动作比例系数；
基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数；
将所述力传感器状态和所述网络动作量输入至所述装配学习模型的当前动作评价网络，输出当前时刻所述网络动作量的动作价值函数；
基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数。
可选地，输出模块203，具体用于：
所述基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数，包括：
基于所述网络动作量，利用链式法则确定所述梯度变化量；
基于所述力传感器状态和状态目标值，确定所述奖励函数；
基于所述梯度变化量和所述奖励函数，更新所述当前动作选取网络的参数，在所述梯度变化量减小到使所述奖励函数收敛的情况下，结束所述当前动作选取网络的更新。
可选地，输出模块203，具体用于：
所述基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数，包括：
将所述当前动作选取网络的参数复制至所述装配学习模型的目标动作选取网络，将所述当前动作评价网络的参数复制至所述装配学习模型的目标动作评价网络，确定所述动作价值函数的价值目标值；
基于所述动作价值函数和所述价值目标值，确定所述当前动作评价网络的损失函数；
对所述损失函数求梯度下降，并更新所述当前动作评价网络的参数，在所述损失函数小于阈值的情况下，结束所述当前动作评价网络的更新。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备300可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行双轴孔装配方法，该方法包括：
获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述力反馈控制动作量在实际控制过程中的比例系数；
基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的双轴孔装配方法，该方法包括：
获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述力反馈控制动作量在实际控制过程中的比例系数；
基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的双轴孔装配方法，该方法包括：
获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述力反馈控制动作量在实际控制过程中的比例系数；
基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种双轴孔装配方法，其特征在于，包括：
获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述力反馈控制动作量在实际控制过程中的比例系数；
基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，且在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
2.根据权利要求1所述的双轴孔装配方法，其特征在于，所述收敛状态的装配学习模型是基于以下步骤训练得到的：
将所述力传感器状态和所述状态目标值输入至初始装配学习模型的当前动作选取网络，输出当前时刻的所述网络动作量和动作比例系数；
基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数；
将所述力传感器状态和所述网络动作量输入至所述初始装配学习模型的当前动作评价网络，输出当前时刻所述网络动作量的动作价值函数；
基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数。
3.根据权利要求2所述的双轴孔装配方法，其特征在于，所述基于所述网络动作量，确定所述当前动作选取网络的梯度变化量和奖励函数，并更新所述当前动作选取网络的参数，包括：
基于所述网络动作量，利用链式法则确定所述梯度变化量；
基于所述力传感器状态和状态目标值，确定所述奖励函数；
基于所述梯度变化量和所述奖励函数，更新所述当前动作选取网络的参数，在所述梯度变化量减小到使所述奖励函数收敛的情况下，结束所述当前动作选取网络的更新。
4.根据权利要求2所述的双轴孔装配方法，其特征在于，所述基于所述动作价值函数，确定所述当前动作评价网络的损失函数，并基于所述损失函数更新所述当前动作评价网络的参数，包括：
将所述当前动作选取网络的参数复制至所述装配学习模型的目标动作选取网络，将所述当前动作评价网络的参数复制至所述装配学习模型的目标动作评价网络，确定所述动作价值函数的价值目标值；
基于所述动作价值函数和所述价值目标值，确定所述当前动作评价网络的损失函数；
对所述损失函数求梯度下降，并更新所述当前动作评价网络的参数，在所述损失函数小于阈值的情况下，结束所述当前动作评价网络的更新。
5.根据权利要求1所述的双轴孔装配方法，其特征在于，所述基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量，包括：
基于高斯混合模型，确定所述力传感器状态下的演示学习动作量，其中，所述演示学习动作量用于表征力传感器状态下的动作量概率分布，所述高斯混合模型是基于示教过程中力传感器状态和动作量构建的；
基于力反馈控制模型，确定所述力传感器状态下的力反馈控制动作量，其中，所述力反馈控制模型是基于轴孔内部结构构建的。
6.根据权利要求1至5任一项所述的双轴孔装配方法，其特征在于，所述力传感器状态包括位姿和受力信息。
7.一种双轴孔装配装置，其特征在于，包括：
获取模块，用于获取力传感器状态和状态目标值，所述状态目标值用于表征最优受力状态和目标深度；
第一确定模块，用于基于所述力传感器状态，确定演示学习动作量和力反馈控制动作量；
输出模块，用于将所述力传感器状态和所述状态目标值输入至预先训练至收敛状态的装配学习模型，输出动作价值函数、当前时刻力传感器状态下的网络动作量和动作比例系数，其中，所述动作价值函数用于表征力传感器状态下动作选取的优劣程度，所述动作比例系数用于表征所述演示学习动作量在实际控制过程中的比例系数；
第二确定模块，用于基于所述动作比例系数、所述网络动作量、所述演示学习动作量和所述力反馈控制动作量，确定实际动作量，并基于所述实际动作量进行双轴孔装配，迭代进行双轴孔装配，在所述实际动作量沿z轴方向的平移量之和不小于所述目标深度的情况下停止装配。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述双轴孔装配方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述双轴孔装配方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述双轴孔装配方法。
CN202210788092.9A 2022-07-04 2022-07-04 双轴孔装配方法、装置、电子设备和存储介质 Active CN115338610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210788092.9A CN115338610B (zh) 2022-07-04 2022-07-04 双轴孔装配方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210788092.9A CN115338610B (zh) 2022-07-04 2022-07-04 双轴孔装配方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN115338610A true CN115338610A (zh) 2022-11-15
CN115338610B CN115338610B (zh) 2024-02-13

Family

ID=83948851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210788092.9A Active CN115338610B (zh) 2022-07-04 2022-07-04 双轴孔装配方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115338610B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116000620A (zh) * 2022-12-29 2023-04-25 江苏环亚喷雾塑业有限公司 一种喷雾泵装配系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013146792A (ja) * 2012-01-17 2013-08-01 Seiko Epson Corp ロボット制御装置、ロボットシステム、センサー情報処理装置及びロボット制御方法
CN106112505A (zh) * 2016-07-04 2016-11-16 清华大学 双轴孔装配系统及其控制方法
CN108161934A (zh) * 2017-12-25 2018-06-15 清华大学 一种利用深度强化学习实现机器人多轴孔装配的方法
CN108196447A (zh) * 2017-12-25 2018-06-22 清华大学 一种利用基于学习遗传进化算法的机器人双轴孔装配方法
CN109382828A (zh) * 2018-10-30 2019-02-26 武汉大学 一种基于示教学习的机器人轴孔装配系统及方法
CN110238839A (zh) * 2019-04-11 2019-09-17 清华大学 一种利用环境预测优化非模型机器人多轴孔装配控制方法
CN110666793A (zh) * 2019-09-11 2020-01-10 大连理工大学 基于深度强化学习实现机器人方形零件装配的方法
CN111558937A (zh) * 2020-04-07 2020-08-21 向仲宇 基于深度学习的机器人运动控制方法
CN111983922A (zh) * 2020-07-13 2020-11-24 广州中国科学院先进技术研究所 一种基于元模仿学习的机器人演示示教方法
WO2021003869A1 (zh) * 2019-07-05 2021-01-14 清华大学 大尺寸轴孔工件装配的螺旋插装方法
CN112264995A (zh) * 2020-10-16 2021-01-26 清华大学 一种基于层级强化学习的机器人双轴孔装配方法
CN112548527A (zh) * 2020-12-08 2021-03-26 扬州舞指芯创智能科技有限公司 一种基于多相机视觉伺服的动态轴孔装配的装置和方法
CN113043275A (zh) * 2021-03-29 2021-06-29 南京工业职业技术大学 基于专家演示和强化学习的微零件装配方法
US20210205985A1 (en) * 2017-05-11 2021-07-08 Soochow University Large area surveillance method and surveillance robot based on weighted double deep q-learning
US20220105626A1 (en) * 2020-10-05 2022-04-07 Autodesk, Inc. Techniques for force and torque-guided robotic assembly

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013146792A (ja) * 2012-01-17 2013-08-01 Seiko Epson Corp ロボット制御装置、ロボットシステム、センサー情報処理装置及びロボット制御方法
CN106112505A (zh) * 2016-07-04 2016-11-16 清华大学 双轴孔装配系统及其控制方法
US20210205985A1 (en) * 2017-05-11 2021-07-08 Soochow University Large area surveillance method and surveillance robot based on weighted double deep q-learning
CN108161934A (zh) * 2017-12-25 2018-06-15 清华大学 一种利用深度强化学习实现机器人多轴孔装配的方法
CN108196447A (zh) * 2017-12-25 2018-06-22 清华大学 一种利用基于学习遗传进化算法的机器人双轴孔装配方法
CN109382828A (zh) * 2018-10-30 2019-02-26 武汉大学 一种基于示教学习的机器人轴孔装配系统及方法
CN110238839A (zh) * 2019-04-11 2019-09-17 清华大学 一种利用环境预测优化非模型机器人多轴孔装配控制方法
WO2021003869A1 (zh) * 2019-07-05 2021-01-14 清华大学 大尺寸轴孔工件装配的螺旋插装方法
CN110666793A (zh) * 2019-09-11 2020-01-10 大连理工大学 基于深度强化学习实现机器人方形零件装配的方法
CN111558937A (zh) * 2020-04-07 2020-08-21 向仲宇 基于深度学习的机器人运动控制方法
CN111983922A (zh) * 2020-07-13 2020-11-24 广州中国科学院先进技术研究所 一种基于元模仿学习的机器人演示示教方法
US20220105626A1 (en) * 2020-10-05 2022-04-07 Autodesk, Inc. Techniques for force and torque-guided robotic assembly
CN112264995A (zh) * 2020-10-16 2021-01-26 清华大学 一种基于层级强化学习的机器人双轴孔装配方法
CN112548527A (zh) * 2020-12-08 2021-03-26 扬州舞指芯创智能科技有限公司 一种基于多相机视觉伺服的动态轴孔装配的装置和方法
CN113043275A (zh) * 2021-03-29 2021-06-29 南京工业职业技术大学 基于专家演示和强化学习的微零件装配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王鹏;吴成东;张凤;: "机器人轴孔装配控制技术研究进展", 科技广场, no. 03, pages 8 - 12 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116000620A (zh) * 2022-12-29 2023-04-25 江苏环亚喷雾塑业有限公司 一种喷雾泵装配系统
CN116000620B (zh) * 2022-12-29 2024-02-02 江苏环亚喷雾塑业有限公司 一种喷雾泵装配系统

Also Published As

Publication number Publication date
CN115338610B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
US20220363259A1 (en) Method for generating lane changing decision-making model, method for lane changing decision-making of unmanned vehicle and electronic device
KR102242516B1 (ko) 복수의 기계 학습 태스크에 대해 기계 학습 모델들을 훈련
CN108803609B (zh) 基于约束在线规划的部分可观察自动驾驶决策方法
EP3571631A1 (en) Noisy neural network layers
CN113043275B (zh) 基于专家演示和强化学习的微零件装配方法
CN112085168A (zh) 一种基于动态键值门控循环网络的知识追踪方法及系统
CN111856925A (zh) 基于状态轨迹的对抗式模仿学习方法及装置
CN115338610A (zh) 双轴孔装配方法、装置、电子设备和存储介质
CN111415010A (zh) 一种基于贝叶斯神经网络的风电机组参数辨识方法
CN114261400A (zh) 一种自动驾驶决策方法、装置、设备和存储介质
CN114290339B (zh) 基于强化学习和残差建模的机器人现实迁移方法
EP4014162A1 (en) Controlling agents using causally correct environment models
CN115374933A (zh) 一种多节点探测器着陆行为智能规划及决策方法
CN111639388B (zh) 一种汽车弹性元件参数仿真方法及系统
CN111882062A (zh) 一种基于强化学习的Windows窗体应用程序自学习智能机器人及其工作方法
CN114967472A (zh) 一种无人机轨迹跟踪状态补偿深度确定性策略梯度控制方法
CN114571456A (zh) 基于机器人技能学习的电连接器装配方法及系统
Edson Applied systems thinking
Nguyen et al. A broad-persistent advising approach for deep interactive reinforcement learning in robotic environments
Globa et al. The effectiveness of parametric modelling and design ideation in architectural engineering
CN116766178A (zh) 轴孔装配方法及相关设备
Han et al. Finite-time robust stabilization for a class of high-order nonlinear systems with multiple uncertainties and external disturbances
CN115577766A (zh) 一种基于状态引导策略的离线强化学习方法及系统
CN108304625B (zh) 人工智能程序员书写数字飞行器代码的遗传编程决策方法
CN112131786B (zh) 基于多智能体强化学习的目标探测与分配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant