CN115918377A - 树果自动采摘机的控制方法、控制装置及树果自动采摘机 - Google Patents

树果自动采摘机的控制方法、控制装置及树果自动采摘机 Download PDF

Info

Publication number
CN115918377A
CN115918377A CN202211649415.2A CN202211649415A CN115918377A CN 115918377 A CN115918377 A CN 115918377A CN 202211649415 A CN202211649415 A CN 202211649415A CN 115918377 A CN115918377 A CN 115918377A
Authority
CN
China
Prior art keywords
joint
acceleration
tree fruit
human body
arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211649415.2A
Other languages
English (en)
Inventor
翟涌
石兆宁
张幽彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202211649415.2A priority Critical patent/CN115918377A/zh
Publication of CN115918377A publication Critical patent/CN115918377A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

本发明涉及树果采摘技术领域，具体而言，涉及一种树果自动采摘机的控制方法、控制装置及树果自动采摘机。树果自动采摘机的控制方法包括：获取树果待摘区域的图像，确定目标树果；将目标树果的位置输入预先训练的第一神经网络模型，得到对应的第一控制参数；基于第一控制参数，控制移动平台移动至目标位置；将目标树果与类人机械臂的机械手的相对位置，输入预先训练的第二神经网络模型，得到对应的第二控制参数；基于第二控制参数，控制机械手移动至目标采摘位置。本发明提供的树果自动采摘机的控制方法、控制装置及树果自动采摘机，采摘速度较快，更易满足用户对采摘速度的要求。

Description

树果自动采摘机的控制方法、控制装置及树果自动采摘机
技术领域
本发明涉及树果采摘技术领域，具体而言，涉及一种树果自动采摘机的控制方法、控制装置及树果自动采摘机。
背景技术
树果自动采摘机是一种通过控制机械臂与机械手动作，实现树果采摘的机器。
现有的树果自动采摘机，在控制机械臂动作时，一般都是利用PID实时闭环控制，使机械臂带动其末端的机械手逐渐靠近树果，这种PID实时闭环控制机械臂动作的方法，速度较慢，难以满足用户对采摘速度的要求。
发明内容
本发明的目的在于提供一种树果自动采摘机的控制方法、控制装置及树果自动采摘机，以缓解现有技术中的树果自动采摘机存在的采摘速度较慢的技术问题。
本发明提供的树果自动采摘机的控制方法，应用于树果自动采摘机，所述树果自动采摘机包括移动平台和安装于所述移动平台上的类人机械臂，所述方法包括：
获取树果待摘区域的图像，确定目标树果；
将所述目标树果的位置输入预先训练的第一神经网络模型，得到对应的第一控制参数；所述第一神经网络模型基于示教视频中的树果与人体肩部的相对位置作为样本训练得到；
基于所述第一控制参数，控制所述移动平台移动至目标位置；
将所述目标树果与所述类人机械臂的机械手的相对位置，输入预先训练的第二神经网络模型，得到对应的第二控制参数；所述第二神经网络模型包括加速度控制映射模型与轨迹模仿模型，所述加速度控制映射模型基于所述示教视频中的人体关节加速度作为样本训练得到，所述轨迹模仿模型基于所述示教视频中的人体关节轨迹作为样本训练得到；
基于所述第二控制参数，控制所述机械手移动至目标采摘位置。
作为一种可实施方式，所述轨迹模仿模型的训练方法包括：
输入所述示教视频中的人体手部与树果的相对位置，输出预测关节轨迹；
基于所述示教视频中的人体关节轨迹与所述预测关节轨迹，对所述轨迹模仿模型进行训练，直至第一损失函数的计算结果收敛至第一预设值。
作为一种可实施方式，所述第一损失函数为：
Figure BDA0004011282720000021
Figure BDA0004011282720000022
其中，
Figure BDA0004011282720000023
为预测关节加速度矢量时序序列，代表所述预测关节轨迹；A为人体关节加速度时序序列，代表所述人体关节轨迹；RGrab 为机械手是否可以摘取苹果，若是，RGrab 的值为0，若否，RGrab 的值为1；Crel1为类人机械臂的大臂相对肩关节的第一科氏加速度方向，若所述第一科氏加速度方向指向肩关节，则Crel1为0，若所述第一科氏加速度方向背离肩关节，则Crel1为1；Crel2为类人机械臂的小臂相对肘关节的第二科氏加速度方向，若所述第二科氏加速度方向指向肘关节，则Crel2为0，若所述第二科氏加速度方向背离肘关节，则Crel2为1；λ1、λ2为对应正则项的权重。
作为一种可实施方式，所述加速度控制映射模型的训练方法包括：
输入所述示教视频中的机械手与树果的相对位置，输出预测关节加速度；
基于所述示教视频中的人体关节加速度与所述预测关节加速度，对所述加速度控制映射模型进行训练，直至第二损失函数的计算结果收敛至第二预设值；
其中，所述预测关节加速度与所述预测关节轨迹构成双射。
作为一种可实施方式，所述类人机械臂具有多个电机，多个所述电机分别用于驱动所述类人机械臂的肩关节和肘关节转动。
所述第二损失函数为预测电机角加速度与所述示教视频中人体上下两臂角加速度的L2范数，其中，所述预测电机角加速度代表所述预测关节加速度，所述人体上下两臂角加速度代表所述人体关节加速度。
作为一种可实施方式，所述第一神经网络模型的训练方法包括：
输入所述示教视频中的树果与人体肩部的相对位置，输出所述移动平台的预测位置；
基于所述示教视频中的人体肩部与树果的相对位置与所述预测位置，对所述第一神经网络模型进行训练，直至第三损失函数的计算结果收敛至第三预设值。
作为一种可实施方式，所述第三损失函数为：
Figure BDA0004011282720000031
Figure BDA0004011282720000032
其中，α为距离误差权重，β为角度误差权重；
Figure BDA0004011282720000033
为所述预测位置与树果的间距，Lr为所述示教视频中的人体肩部与树果的间距；
Figure BDA0004011282720000034
为所述预测位置与树果的连线与平台坐标系的三个坐标轴的夹角，θZ，θY，θX为所述示教视频中的人体肩部与树果的连线与人体坐标系三个坐标轴的夹角。
所述人体坐标系的原点与人体肩部重合，所述平台坐标系的原点与所述类人机械臂的肩关节重合，所述人体坐标系的Y轴正向与人体躯干朝向一致，所述平台坐标系的Y轴正向与所述移动平台的朝向一致，所述平台坐标系的Z轴正向和所述人体坐标系的Z轴正向均竖直向上，所述平台坐标系中的X轴、Y轴、Z轴符合右手定则，所述人体坐标系中的X轴、Y轴、Z轴符合右手定则。
本发明还提供了一种控制装置，其包括：
目标确定模块，用于获取树果待摘区域的图像，确定目标树果；
平台控制模块，用于将所述目标树果的位置输入预先训练的第一神经网络模型，得到对应的第一控制参数，基于所述第一控制参数，控制所述移动平台移动至目标位置；所述第一神经网络模型基于示教视频中的树果与人体肩部的相对位置作为样本训练得到；
机械臂控制模块，用于将所述目标树果与所述类人机械臂的机械手的相对位置，输入预先训练的第二神经网络模型，得到对应的第二控制参数，基于所述第二控制参数，控制所述机械手移动至目标采摘位置；所述第二神经网络模型包括加速度控制映射模型与轨迹模仿模型，所述加速度控制映射模型基于所述示教视频中的人体关节加速度作为样本训练得到，所述轨迹模仿模型基于所述示教视频中的人体关节轨迹作为样本训练得到。
本发明还提供了一种树果自动采摘机，其包括移动平台、类人机械臂、存储有计算机程序的计算机可读存储介质和处理器，所述类人机械臂安装于所述移动平台，所述计算机程序被所述处理器读取并运行时，实现上述方法。
作为一种可实施方式，所述类人机械臂具有基座、大臂和小臂，所述基座固设于所述移动平台，所述大臂的一端通过肩关节铰接于所述基座，所述大臂的另一端通过肘关节与所述小臂的一端铰接，所述机械手铰接于所述小臂的另一端。
所述大臂的长度与所述示教视频中的人体大臂的长度相适配，所述小臂的长度与所述示教视频中的人体小臂的长度相适配。
与现有技术相比，本发明的有益效果在于：
本实施例提供的树果自动采摘机的控制方法，可在确定目标树果的位置后，利用第一神经网络模型直接输出移动平台的目标位置，控制移动平台直接朝向目标位置移动，并可使移动平台一次性移动到位，无需反复调节移动平台的位置；在移动平台移动至目标位置后，可在确定目标树果与类人机械臂的机械手的相对位置后，利用第二神经网络模型直接输出类人机械臂的关节加速度和关节轨迹，控制类人机械臂直接按照该关节加速度和关节轨迹动作，可使类人机械臂一次性将机械手送至目标采摘位置，无需反复调节机械手的位置，也就是说，在采摘动作之前，就已经规划好了移动平台和类人机械臂的移动轨迹、类人机械臂的移动速度和力度，在采摘过程中主要采用开环控制，从而，使得树果自动采摘机的采摘速度得到了很大的提高，更易满足用户对采摘速度的要求。
本发明提供的树果自动采摘机的控制装置及树果自动采摘机，与上述树果自动采摘机的控制方法具有一致的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的树果自动采摘机的控制方法的示意性流程图；
图2为本发明实施例提供的树果自动采摘机的结构示意图；
图3为本发明实施例中人体坐标系的结构示意图；
图4为本发明实施例提供的树果自动采摘机、人体与树果在训练过程中的相对位置示意图；
图5为本发明实施例提供的树果自动采摘机的控制装置的结构示意图。
附图标记说明：
210-移动平台；220-类人机械臂；221-机械手；222-肩关节；223-肘关节；224-大臂；225-小臂；226-基座；230-树果；240-人体肩部；
301-目标确定模块；302-平台控制模块；303-机械臂控制模块。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。
图1为本发明的一个实施例提供的树果自动采摘机的控制方法的示意性流程图，树果自动采摘机包括移动平台和安装于移动平台上的类人机械臂，上述方法包括：
S102，获取树果待摘区域的图像，确定目标树果。
具体地，可通过摄像机摄录待摘区域的图像，并利用图像识别模块识别摄像机摄录的图像中的树果，选取目标树果。
S104，将目标树果的位置输入预先训练的第一神经网络模型，得到对应的第一控制参数；第一神经网络模型基于示教视频中的树果与人体肩部的相对位置作为样本训练得到。
具体地，可利用视频识别模块对示教视频中的树果与人体肩部进行识别，并确定示教视频中的树果与人体肩部的相对位置，以将其作为样本对第一神经网络模型进行训练。可通过人体姿态骨架估计算法识别图像中人体的关键点与朝向，对于单人无遮挡的情况，姿态估计算法已经比较成熟。
S106，基于第一控制参数，控制移动平台移动至目标位置。
预先训练的第一神经网络模型，能够根据输入的目标树果的位置，输出类人机械臂的肩关节的理想位置，从而，可根据该肩关节的理想位置，得到第一控制参数，利用该第一控制参数快速控制移动平台移动至目标位置，以使得类人机械臂的肩关节与目标树果距离及方位均满足采摘要求，以使类人机械臂的采摘成为可能，避免因类人机械臂的肩关节与目标树果距离太远、距离太近或方位不合适，而导致类人机械臂的机械手无法够到目标树果的问题。
S108，将目标树果与类人机械臂的机械手的相对位置，输入预先训练的第二神经网络模型，得到对应的第二控制参数；第二神经网络模型包括加速度控制映射模型与轨迹模仿模型，加速度控制映射模型基于示教视频中的人体关节加速度作为样本训练得到，轨迹模仿模型基于示教视频中的人体关节轨迹作为样本训练得到。
具体地，可利用视频识别模块对示教视频中的人体关节加速度和人体关节轨迹进行分析识别，以将分析得到的人体关节加速度作为样本，对加速度控制映射模型进行训练，并将分析得到的人体关节轨迹作为样本，对轨迹模仿模型进行训练。
S110，基于第二控制参数，控制机械手移动至目标采摘位置。
在移动平台移动至目标位置之后，预先训练的第二神经网络模型，能够根据输入的目标树果与类人机械臂的相对位置，输出类人机械臂的关节加速度和关节轨迹，从而，可根据该关节加速度和关节轨迹，得到第二控制参数，利用该第二控制参数快速控制类人机械臂的关节动作，使类人机械臂的机械手快速移动至目标采摘位置，如此，处于目标采摘位置的机械手便可动作顺利摘取附近的树果。其中，机械手的控制无需模仿人类采摘行为，而是在朝向附近存在苹果时，使用现有技术中基于规则的控制算法以合适的力度进行抓取即可。
本实施例提供的树果自动采摘机的控制方法，可在确定目标树果的位置后，利用第一神经网络模型直接输出移动平台的目标位置，控制移动平台直接朝向目标位置移动，并可使移动平台一次性移动到位，无需反复调节移动平台的位置；在移动平台移动至目标位置后，可在确定目标树果与类人机械臂的机械手的相对位置后，利用第二神经网络模型直接输出类人机械臂的关节加速度和关节轨迹，控制类人机械臂直接按照该关节加速度和关节轨迹动作，可使类人机械臂一次性将机械手送至目标采摘位置，无需反复调节机械手的位置，也就是说，在采摘动作之前，就已经规划好了移动平台和类人机械臂的移动轨迹、类人机械臂的移动速度和力度，在采摘过程中主要采用开环控制，从而，使得树果自动采摘机的采摘速度得到了很大的提高，更易满足用户对采摘速度的要求。
上述方法通过模仿人类的采摘行为来学习类人机械臂的大部分控制方法与策略，大部分控制策略在执行前做出，减少了控制过程中制约速度的闭环，可以达到甚至超过人类的采摘速度；此外，上述方法也不同于模仿学习中的行为克隆，该方法只是学习示教动作中三个关键点的时空分布变化规律，对专家动作依赖小，受无关动作的影响小，易训练。因机器不存在疲劳问题，故可应用本实施例提供的控制方法控制树果自动采摘机长时间持续采摘树果，可超过人类采摘速度。此外，还可通过对示教视频适当加速的方法，进一步提高类人机械臂的树果采摘速度。
本实施例提供的树果自动采摘机的控制方法，可用于控制树果自动采摘机摘取类似苹果、桃子等树果。
上述轨迹模仿模型可采用以下训练方法进行预先训练：
A1，输入示教视频中的人体手部与树果的相对位置，输出预测关节轨迹；
A2，基于示教视频中的人体关节轨迹与预测关节轨迹，对轨迹模仿模型进行训练，直至第一损失函数的计算结果收敛至第一预设值。
上述第一损失函数如下：
Figure BDA0004011282720000091
Figure BDA0004011282720000092
其中，
Figure BDA0004011282720000093
为预测关节加速度矢量时序序列，代表上述预测关节轨迹；A为人体关节加速度时序序列，代表上述人体关节轨迹；RGrab apples为机械手是否可以摘取苹果，若是，RGrab apples的值为0，若否，RGrab apples的值为1；Crel1为类人机械臂的大臂相对肩关节的第一科氏加速度方向，若第一科氏加速度方向指向肩关节，则Crel1为0，若第一科氏加速度方向背离肩关节，则Crel1为1；Crel2为类人机械臂的小臂相对肘关节的第二科氏加速度方向，若第二科氏加速度方向指向肘关节，则Crel2为0，若第二科氏加速度方向背离肘关节，则Crel2为1；λ1、λ2为对应正则项的权重。通过以上第一损失函数训练得到的轨迹模仿模型，具有较高的计算精度，可保证类人机械臂的运动精准性，使机械手能够准确移动至目标采摘位置。
上述加速度控制映射模型可采用以下训练方法进行预先训练：
B1，输入示教视频中的机械手与树果的相对位置，输出预测关节加速度；
B2，基于示教视频中的人体关节加速度与预测关节加速度，对加速度控制映射模型进行训练，直至第二损失函数的计算结果收敛至第二预设值；其中，预测关节加速度与上述预测关节轨迹构成双射。
实际上，用于表示上述预测关节轨迹的节点加速度矢量时序序列中，包含若干按时序排列的节点加速度矢量，相应地，预测关节加速度为若干个，从而，若干预测关节加速度与若干关节加速度构成双射，上述预测关节轨迹的关节加速度矢量时序序列，经过关节加速度映射就可以对类人机械臂进行实际控制，为了减少人体运动的不均匀性对机械臂控制的影响，关节加速度矢量时序序列可设置为5个时序矢量，相应地，关节加速度也为5个，以能够与关节加速度矢量时序序列中的5个时序矢量构成双射。在此基础上，可将示教视频中的人体关节加速度简化为5部分的时序序列，形成上述人体关节加速度时序序列，以实现对第一损失函数的计算。
具体地，可在类人机械臂的具体结构中设置多个电机，利用多个电机分别驱动类人机械臂的肩关节和肘关节转动，在此基础上，上述第二损失函数可设置为预测电机角加速度与示教视频中人体上下两臂角加速度的L2范数，其中，预测电机角加速度代表预测关节加速度，人体上下两臂角加速度代表人体关节加速度。通过以上第二损失函数训练得到的加速度控制映射模型，具有较高的计算精度，从而，在使得类人机械臂以合适的力度动作。
上述第一神经网络模型可采用以下训练方法进行预先训练：
C1，输入示教视频中的树果与人体肩部的相对位置，输出移动平台的预测位置；
C2，基于示教视频中的人体肩部与树果的相对位置与所述预测位置，对第一神经网络模型进行训练，直至第三损失函数的计算结果收敛至第三预设值。
可建立人体坐标系，根据示教视频中的树果与人体肩部在人体坐标系中的坐标值，可计算得到树果与人体肩部的相对位置，当以人体肩部作为人体坐标系的原点时，可直接根据树果在人体坐标系中的坐标值，确定树果与人体肩部的相对位置，即第一神经网络模型可基于树果在人体坐标系中的坐标值作为样本训练得到。此外，还可根据人体手部在人体坐标系中的坐标值，以及树果在人体坐标系中的坐标值，计算得到人体手部与树果的相对位置。
相应地，还可建立平台坐标系，根据树果与人类机械臂的肩关节在平台坐标系中的坐标值，可计算得到树果与类人机械臂的肩关节的相对位置，间接得到移动平台的预测位置，当以类人机械臂的肩关节作为平台坐标系的原点时，可直接根据树果在平台坐标系中的坐标值，确定移动平台的预测位置。此外，还可根据机械手在平台坐标系中的坐标值，以及树果在平台坐标系中的坐标值，计算得到机械手与树果的相对位置。
参见图2-图4，可将上述人体坐标系与平台坐标系匹配设置，具体地，将人体坐标系的原点与人体肩部240重合设置，相应地，将平台坐标系的原点与类人机械臂220的肩关节222重合设置；将人体坐标系的Y轴正向与人体躯干朝向(相当于人体的前方)设置为一致，相应地，将平台坐标系的Y轴正向与移动平台210的朝向设置为一致；将平台坐标系的Z轴正向和人体坐标系的Z轴正向均设置为竖直向上，即人体坐标系的Z轴正向与人体高度方向设置为一致；人体坐标系中的X轴、Y轴、Z轴符合右手定则，相应地，平台坐标系中的X轴、Y轴、Z轴也符合右手定则。
上述第三损失函数如下：
Figure BDA0004011282720000111
Figure BDA0004011282720000112
其中，α为距离误差权重，β为角度误差权重；
Figure BDA0004011282720000113
为预测位置与树果230的间距，Lr为示教视频中的人体肩部240与树果230的间距；
Figure BDA0004011282720000114
为预测位置与树果230的连线与平台坐标系的三个坐标轴的夹角，θZ，θY，θX为示教视频中的人体肩部240与树果230的连线与人体坐标系三个坐标轴的夹角。通过以上第三损失函数训练得到的第一神经网络模型，具有较高的计算精度，可保证移动平台210的运动精准性，使移动平台210能够准确移动至目标位置，即能够使类人机械臂220的肩关节222移动至理想位置。
图5为本发明的一个实施例提供的树果自动采摘机的控制装置的结构示意图，上述装置包括：
目标确定模块301，用于获取树果待摘区域的图像，确定目标树果；
平台控制模块302，用于将目标树果的位置输入预先训练的第一神经网络模型，得到对应的第一控制参数，基于第一控制参数，控制移动平台移动至目标位置；第一神经网络模型基于示教视频中的树果与人体肩部的相对位置作为样本训练得到；
机械臂控制模块303，用于将目标树果与类人机械臂的机械手的相对位置，输入预先训练的第二神经网络模型，得到对应的第二控制参数，基于第二控制参数，控制机械手移动至目标采摘位置；第二神经网络模型包括加速度控制映射模型与轨迹模仿模型，加速度控制映射模型基于示教视频中的人体关节加速度作为样本训练得到，轨迹模仿模型基于示教视频中的人体关节轨迹作为样本训练得到。
本实施例提供的树果自动采摘机的控制装置，平台控制模块可在确定目标树果的位置后，利用第一神经网络模型直接输出移动平台的目标位置，控制移动平台直接朝向目标位置移动，并可使移动平台一次性移动到位，无需反复调节移动平台的位置；在移动平台移动至目标位置后，机械臂控制模块可在确定目标树果与类人机械臂的机械手的相对位置后，利用第二神经网络模型直接输出类人机械臂的关节加速度和关节轨迹，控制类人机械臂直接按照该关节加速度和关节轨迹动作，可使类人机械臂一次性将机械手送至目标采摘位置，无需反复调节机械手的位置，也就是说，在采摘动作之前，就已经规划好了移动平台和类人机械臂的移动轨迹、类人机械臂的移动速度和力度，在采摘过程中主要采用开环控制，从而，使得树果自动采摘机的采摘速度得到了很大的提高，更易满足用户对采摘速度的要求。
上述装置还包括轨迹训练模块，用于输入示教视频中的人体手部与树果的相对位置，输出预测关节轨迹；并基于示教视频中的人体关节轨迹与预测关节轨迹，对轨迹模仿模型进行训练，直至第一损失函数的计算结果收敛至第一预设值。
上述装置还包括加速度训练模块，用于输入示教视频中的机械手与树果的相对位置，输出预测关节加速度；基于示教视频中的人体关节加速度与预测关节加速度，对加速度控制映射模型进行训练，直至第二损失函数的计算结果收敛至第二预设值。
上述装置还包括移动训练模块，用于输入示教视频中的树果与人体肩部的相对位置，输出移动平台的预测位置；基于示教视频中的人体肩部与树果的相对位置与预测位置，对第一神经网络模型进行训练，直至第三损失函数的计算结果收敛至第三预设值。
图2为本发明的一个实施例提供的树果自动采摘机的结构示意图，该树果自动采摘机包括移动平台210、类人机械臂220、存储有计算机程序的计算机可读存储介质和处理器，所述类人机械臂220安装于移动平台210，计算机程序被处理器读取并运行时，实现上述树果自动采摘机的控制方法。
上述类人机械臂220具有基座226、大臂224和小臂225，将基座226固设在上述移动平台210上，将大臂224的一端通过肩关节222铰接于基座226，将大臂224的另一端通过肘关节222与小臂225的一端铰接，将机械手221铰接于小臂225的另一端，在此基础上，使大臂224的长度与示教视频中的人体大臂的长度相适配，并使小臂225的长度与示教视频中的人体小臂的长度相适配，由此可以建立类人机械臂220的基座226、肩关节222、肘关节223、机械手221与人体的肩部、肘部、手部的近似匹配，以使得类人机械臂220能够学习示教视频中的人体手臂的动作，实现采摘树果的目的。例如：当示教视频中的示教人员为亚洲人时，可将类人机械臂220的大臂224的长度范围设置为280～330mm，并将类人机械臂220的小臂225的长度范围设置为230～260mm。
上述肩关节222和肘关节223均可设置为转动副，将通过肩关节222与基座226相连的大臂224设置为三个旋转自由度，其中，大臂224对于Z轴的可旋转角度不小于180°，对于X轴、Y轴的可旋转角度为均180°；与大臂224相连的小臂225有两个旋转自由度，可分别在垂直于大臂224的平面与大臂224所在的平面上进行转动，从而，可使类人机械臂220在模仿人类采摘关键点移动时有足够的自由度。
当然，本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程度来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。术语“上”、“下”、“前”、“后”、“竖直”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种树果自动采摘机的控制方法，其特征在于，所述树果自动采摘机包括移动平台和安装于所述移动平台上的类人机械臂，所述方法包括：
获取树果待摘区域的图像，确定目标树果；
将所述目标树果的位置输入预先训练的第一神经网络模型，得到对应的第一控制参数；所述第一神经网络模型基于示教视频中的树果与人体肩部的相对位置作为样本训练得到；
基于所述第一控制参数，控制所述移动平台移动至目标位置；
将所述目标树果与所述类人机械臂机械手的相对位置，输入预先训练的第二神经网络模型，得到对应的第二控制参数；所述第二神经网络模型包括加速度控制映射模型与轨迹模仿模型，所述加速度控制映射模型基于所述示教视频中的人体关节加速度作为样本训练得到，所述轨迹模仿模型基于所述示教视频中的人体关节轨迹作为样本训练得到；
基于所述第二控制参数，控制所述机械手移动至目标采摘位置。
2.根据权利要求1所述的控制方法，其特征在于，所述轨迹模仿模型的训练方法包括：
输入所述示教视频中的人体手部与树果的相对位置，输出预测关节轨迹；
基于所述示教视频中的人体关节轨迹与所述预测关节轨迹，对所述轨迹模仿模型进行训练，直至第一损失函数的计算结果收敛至第一预设值。
3.根据权利要求2所述的控制方法，其特征在于，所述第一损失函数为：
Figure FDA0004011282710000011
其中，
Figure FDA0004011282710000012
为预测关节加速度矢量时序序列，代表所述预测关节轨迹；A为人体关节加速度时序序列，代表所述人体关节轨迹；RGrab为机械手是否可以摘取苹果，若是，RGrab的值为0，若否，RGrab的值为1；Crel1为类人机械臂的大臂相对肩关节的第一科氏加速度方向，若所述第一科氏加速度方向指向肩关节，则Crel1为0，若所述第一科氏加速度方向背离肩关节，则Crel1为1；Crel2为类人机械臂的小臂相对肘关节的第二科氏加速度方向，若所述第二科氏加速度方向指向肘关节，则Crel2为0，若所述第二科氏加速度方向背离肘关节，则Crel2为1；λ1、λ2为对应正则项的权重。
4.根据权利要求2所述的控制方法，其特征在于，所述加速度控制映射模型的训练方法包括：
输入所述示教视频中的机械手与树果的相对位置，输出预测关节加速度；
基于所述示教视频中的人体关节加速度与所述预测关节加速度，对所述加速度控制映射模型进行训练，直至第二损失函数的计算结果收敛至第二预设值；
其中，所述预测关节加速度与所述预测关节轨迹构成双射。
5.根据权利要求4所述的控制方法，其特征在于，所述类人机械臂具有多个电机，多个所述电机分别用于驱动所述类人机械臂的肩关节和肘关节转动；
所述第二损失函数为预测电机角加速度与所述示教视频中人体上下两臂角加速度的L2范数，其中，所述预测电机角加速度代表所述预测关节加速度，所述人体上下两臂角加速度代表所述人体关节加速度。
6.根据权利要求1-5任一项所述的控制方法，其特征在于，所述第一神经网络模型的训练方法包括：
输入所述示教视频中的树果与人体肩部的相对位置，输出所述移动平台的预测位置；
基于所述示教视频中的人体肩部与树果的相对位置与所述预测位置，对所述第一神经网络模型进行训练，直至第三损失函数的计算结果收敛至第三预设值。
7.根据权利要求6所述的控制方法，其特征在于，所述第三损失函数为：
Figure FDA0004011282710000031
其中，α为距离误差权重，β为角度误差权重；
Figure FDA0004011282710000032
为所述预测位置与树果的间距，Lr为所述示教视频中的人体肩部与树果的间距；
Figure FDA0004011282710000033
为所述预测位置与树果的连线与平台坐标系的三个坐标轴的夹角，θZ，θY，θX为所述示教视频中的人体肩部与树果的连线与人体坐标系三个坐标轴的夹角；
所述人体坐标系的原点与人体肩部重合，所述平台坐标系的原点与所述类人机械臂的肩关节重合，所述人体坐标系的Y轴正向与人体躯干朝向一致，所述平台坐标系的Y轴正向与所述移动平台的朝向一致，所述平台坐标系的Z轴正向和所述人体坐标系的Z轴正向均竖直向上，所述平台坐标系中的X轴、Y轴、Z轴符合右手定则，所述人体坐标系中的X轴、Y轴、Z轴符合右手定则。
8.一种控制装置，其特征在于，包括：
目标确定模块，用于获取树果待摘区域的图像，确定目标树果；
平台控制模块，用于将所述目标树果的位置输入预先训练的第一神经网络模型，得到对应的第一控制参数，基于所述第一控制参数，控制所述移动平台移动至目标位置；所述第一神经网络模型基于示教视频中的树果与人体肩部的相对位置作为样本训练得到；
机械臂控制模块，用于将所述目标树果与所述类人机械臂的机械手的相对位置，输入预先训练的第二神经网络模型，得到对应的第二控制参数，基于所述第二控制参数，控制所述机械手移动至目标采摘位置；所述第二神经网络模型包括加速度控制映射模型与轨迹模仿模型，所述加速度控制映射模型基于所述示教视频中的人体关节加速度作为样本训练得到，所述轨迹模仿模型基于所述示教视频中的人体关节轨迹作为样本训练得到。
9.一种树果自动采摘机，其特征在于，包括移动平台、类人机械臂、存储有计算机程序的计算机可读存储介质和处理器，所述类人机械臂安装于所述移动平台，所述计算机程序被所述处理器读取并运行时，实现权利要求1-7任一项所述的方法。
10.根据权利要求9所述的树果自动采摘机，其特征在于，所述类人机械臂具有基座、大臂和小臂，所述基座固设于所述移动平台，所述大臂的一端通过肩关节铰接于所述基座，所述大臂的另一端通过肘关节与所述小臂的一端铰接，所述机械手铰接于所述小臂的另一端；
所述大臂的长度与所述示教视频中的人体大臂的长度相适配，所述小臂的长度与所述示教视频中的人体小臂的长度相适配。
CN202211649415.2A 2022-12-21 2022-12-21 树果自动采摘机的控制方法、控制装置及树果自动采摘机 Pending CN115918377A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211649415.2A CN115918377A (zh) 2022-12-21 2022-12-21 树果自动采摘机的控制方法、控制装置及树果自动采摘机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211649415.2A CN115918377A (zh) 2022-12-21 2022-12-21 树果自动采摘机的控制方法、控制装置及树果自动采摘机

Publications (1)

Publication Number Publication Date
CN115918377A true CN115918377A (zh) 2023-04-07

Family

ID=86552076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211649415.2A Pending CN115918377A (zh) 2022-12-21 2022-12-21 树果自动采摘机的控制方法、控制装置及树果自动采摘机

Country Status (1)

Country Link
CN (1) CN115918377A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116985150A (zh) * 2023-09-28 2023-11-03 北京市农林科学院智能装备技术研究中心 串果柔顺收集轨迹规划方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150052433A (ko) * 2013-11-05 2015-05-14 국립대학법인 울산과학기술대학교 산학협력단 로봇팔을 이용한 과수 작업기
CN108029340A (zh) * 2017-12-05 2018-05-15 江苏科技大学 一种基于自适应神经网络的采摘机器人手臂及其控制方法
CN108200809A (zh) * 2017-11-21 2018-06-26 铜陵市棵松农业科技有限公司 一种果树采摘机器人及控制系统
CN112712128A (zh) * 2021-01-11 2021-04-27 中南民族大学 基于神经网络的智能采摘方法、设备、存储介质及装置
CN114648703A (zh) * 2022-04-08 2022-06-21 安徽工业大学 一种基于改进SiamFC的水果自动化采摘方法
CN115299245A (zh) * 2022-09-13 2022-11-08 南昌工程学院 一种智能水果采摘机器人的控制方法及控制系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150052433A (ko) * 2013-11-05 2015-05-14 국립대학법인 울산과학기술대학교 산학협력단 로봇팔을 이용한 과수 작업기
CN108200809A (zh) * 2017-11-21 2018-06-26 铜陵市棵松农业科技有限公司 一种果树采摘机器人及控制系统
CN108029340A (zh) * 2017-12-05 2018-05-15 江苏科技大学 一种基于自适应神经网络的采摘机器人手臂及其控制方法
CN112712128A (zh) * 2021-01-11 2021-04-27 中南民族大学 基于神经网络的智能采摘方法、设备、存储介质及装置
CN114648703A (zh) * 2022-04-08 2022-06-21 安徽工业大学 一种基于改进SiamFC的水果自动化采摘方法
CN115299245A (zh) * 2022-09-13 2022-11-08 南昌工程学院 一种智能水果采摘机器人的控制方法及控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王燕等: "四自由度关节型采摘机械手轨迹规划与实验研究", 现代制造工程, no. 07, 18 July 2013 (2013-07-18), pages 27 - 31 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116985150A (zh) * 2023-09-28 2023-11-03 北京市农林科学院智能装备技术研究中心 串果柔顺收集轨迹规划方法及装置
CN116985150B (zh) * 2023-09-28 2023-12-26 北京市农林科学院智能装备技术研究中心 串果柔顺收集轨迹规划方法及装置

Similar Documents

Publication Publication Date Title
CN110000785B (zh) 农业场景无标定机器人运动视觉协同伺服控制方法与设备
Sadeghi et al. Sim2real viewpoint invariant visual servoing by recurrent control
Gu et al. Deep reinforcement learning for robotic manipulation with asynchronous off-policy updates
Gu et al. Deep reinforcement learning for robotic manipulation
Kim et al. Catching objects in flight
US11654564B2 (en) Efficient data generation for grasp learning with general grippers
Breyer et al. Comparing task simplifications to learn closed-loop object picking using deep reinforcement learning
CN111203878A (zh) 一种基于视觉模仿的机器人序列任务学习方法
CN110378325B (zh) 一种机器人抓取过程中的目标位姿识别方法
CN108029340A (zh) 一种基于自适应神经网络的采摘机器人手臂及其控制方法
CN113341706B (zh) 基于深度强化学习的人机协作流水线系统
Hafez et al. Deep intrinsically motivated continuous actor-critic for efficient robotic visuomotor skill learning
Skoglund et al. Programming-by-Demonstration of reaching motions—A next-state-planner approach
Wu et al. On-line motion prediction and adaptive control in human-robot handover tasks
CN115918377A (zh) 树果自动采摘机的控制方法、控制装置及树果自动采摘机
CN107363834A (zh) 一种基于认知地图的机械臂抓取方法
CN113524186A (zh) 基于演示示例的深度强化学习双臂机器人控制方法及系统
Hazard et al. Automated design of robotic hands for in-hand manipulation tasks
De Farias et al. Dual quaternion-based visual servoing for grasping moving objects
Sidiropoulos et al. A human inspired handover policy using gaussian mixture models and haptic cues
Li et al. Intelligent control strategy for robotic arm by using adaptive inertia weight and acceleration coefficients particle swarm optimization
Gielniak et al. Stylized motion generalization through adaptation of velocity profiles
Maeda et al. Frequency response experiments of 3-d pose full-tracking visual servoing with eye-vergence hand-eye robot system
CN116276998A (zh) 基于强化学习的免手眼标定的机械臂抓取方法及系统
Skoglund Programming by demonstration of robot manipulators

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination