CN112454368A - 基于激光测距与深度强化学习的机械手臂控制系统及方法 - Google Patents

Abstract

本发明公开了一种基于激光测距与深度强化学习的机械手臂控制系统，包括由底座、基座、基座臂、后臂、前臂、抓握接口组成的机械手臂主体和中央控制器，基座下面有一个步进电机，控制基座的转动；基座臂与后臂接合转轴连接一个步进电机并由其控制后臂的转动；前臂与后臂接口转轴连接一个步进电机并由其控制前臂的转动，机械手臂主体还具有抓持结构；本发明提出的系统和方法可以增强机械手臂的自适应能力，使其自主地从环境与场景中学习最佳模型参数，实现自动地定位目标、拟合关节旋转角度与速度。

Description

基于激光测距与深度强化学习的机械手臂控制系统及方法

技术领域

本发明涉及机械手控制技术，具体是基于激光测距与深度强化学习的机械手臂控制系统及方法。

背景技术

随着人工智能技术的普及，各种各样的机器手臂开始被应用到分拣、物流、制造、医疗、教育等各个领域；机械臂与环境相互作用的各种部件和附件在不断增加；这类装置可以使机械手臂精确地抓握，执行一个或多个动作；机械手臂变得更加智能和高效，控制技术也变得更加先进和复杂；动作控制中的位姿估计是机器手臂实现自主运动所必需的，对提高机器人手臂的自动化水平具有重要意义。

现有的机械手臂的目标插口定位、关节旋转角度与速度大多通过固定动作的编程来实现，对于不同场景需要重新修改程控代码，灵活性差。

发明内容

本发明的目的在于提供基于激光测距与深度强化学习的机械手臂控制系统及方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于激光测距与深度强化学习的机械手臂控制系统，包括由底座、基座、基座臂、后臂、前臂、抓握接口组成的机械手臂主体和中央控制器，基座下面有一个步进电机，控制基座的转动；基座臂与后臂接合转轴连接一个步进电机并由其控制后臂的转动；前臂与后臂接口转轴连接一个步进电机并由其控制前臂的转动，机械手臂主体还具有抓持结构。

前臂的抓握接口上端、前臂与后臂的转轴附近安装有角度传感器；后臂与基座转轴附近处也安装了角度传感器；

所述中央控制器共有三台步进电机，一台AC电源，三台驱动器，一块arduinomega控制板，一块树莓4控制板、一个树莓4摄像头，一个激光测距仪，四个角度传感器和一台计算机主机；步进电机与驱动器连接，控制每个关节旋转角度与速度；驱动器连接AC电源和arduinomega控制板；arduinomega控制板与驱动器相连；计算机主机连接arduinomega控制板；激光测距仪、角度传感器通过数据线与计算机主机相连；树莓4控制板与可编程摄像头连接，计算机主机连结树莓4控制板；角度传感器连接计算机主机。

抓持结构为真空吸盘，摄像头模块和激光测距仪模块和吸管固定绑在一起；

抓持结构为抓手，摄像头模块和激光测距仪模块可以贴合在抓手的掌心内顶部。

如图8，对于机械手臂的控制方法，采用上述系统，包括控制步骤、目标定位步骤和分析流程步骤，其中控制步骤包括：

S1：启动计算机软件，选择要抓取的目标名称。

S2：对关节连接状态进行初始化；打开角度传感器，然后把机械手的前臂抬到最高位置，然后把后臂竖直，使后臂与底座成90度角，最后将基座旋转到最右边；打开抓手或者关闭真空吸盘；最右边的篮筐里装挑选出的东西。

S3：计算机通过软件将初始目标选择为篮框，并执行图像捕捉；定位初始化位置为篮框，将取得的关节旋转角度与速度参数保存在计算机中；这些参数将在后面的分拣操作中使用。

S4：对连接状态进行初始化；慢速旋转底座至最左侧；转动时开启程控摄像头；每次转动一度，暂停一次，摄像头抓拍一次；捕捉图像数据通过数据线返回到中央控制器的计算机上。

S5：计算机上的深度学习算法对图像进行目标定位分析，确定是否需要抓取目标；当图像中没有目标时，继续向左旋转底座。

S6：如果目标在图像中，则执行图像捕捉；根据深度强化学习拟合的电机旋转速度和角度，调用计算机控制程序，驱动各关节电机的旋转；关节电机的驱动顺序是：底座电机，第一关节电机，第二关节电机。

S6: 摄像头抓拍，重复S5步骤；当激光测距仪发射的激光与目标重合，且测到距离小于抓手高度时，打开抓手控制程序，驱动抓手抓住目标；若抓握机构为真空吸盘，当测得的距离小于吸盘可吸力距离时，开启吸盘控制程序，驱动吸盘吸住目标；

S7：开启计算机程序，驱动第一关节和第二关节的马达，使两个关节回到初始状态；

S8：打开激光测距仪和摄像头，如果抓握结构构抓住了目标，目标就会阻挡激光测距仪发出的激光；若传回的激光测距值小于抓手或吸盘力高度，且摄像头传回图像中激光定位于目标，则表明抓握成功，否则表明抓握失败；

S9：如果成功抓握，计算机驱动基座转向最右边；

S10：根据前后手臂关节的现有度数，将电机调整到篮框定位参数的初始角度；然后计算机驱动抓握结构松开，将抓握到的物体放入篮中，完整一次分拣。

控制方法中的目标定位步骤，包括：

SA1：在进行分拣任务之前，收集常用的分拣物品图像，并进行训练和测试；优化开放源代码模型FastR-CNN1，是用于训练分拣物品的图像模型。

SA2：在进行分类任务之前，先用摄像头拍摄激光测距仪投射出的红色激光图像，并进行训练和测试；过优化的开源模型FastR-CNN2，用于对标记的红色激光图像进行训练。

SA3：在进行分类时，摄像头拍下镜头正面的图像，然后传给计算机；利用训练过的FastR-CNN模型1在图像中定位目标；用红色方框标记图像中的目标物体。

SA4：激光测距仪激光头投射红色激光，红色激光投影上有一个豆粒大小的红色高亮显示区域；摄像头再次拍下镜头正面的照片，然后传给计算机。

SA5：利用训练过的FastR-CNN2模型实现激光区域的定位；用蓝框在图像上标记激光区域。

SA6：计算机软件将红色和蓝色方框区域进行比较；如蓝框区域与红框标志区域有50%以上重叠，判断目标物体在抓手或吸盘下方，可执行抓取任务；如果两个区域不重叠，执行强化分析学习分析流程步骤。

分析流程步骤，深度强化学习的Actor网络拟合出关节电动机旋转角度和速度，在拍摄图像中，当目标物体与红色激光重合时，可执行如下操作，具体步骤如下：

SB1：开户摄像头与激光测距仪，抓拍前臂抓握结构下方图像。

SB2：用红框中心点作为座标圆心，由计算机软件计算出蓝框中心点与红框中心点之间的座标偏移值(即 X和 Y轴偏移值)，并计算出偏移角(逆时针方向)；两个中心点距离的值是同时计算的；这些参数加上激光投影距离被称为5维的目标偏移参数。

SB3：开启角度传感器；根据目标定位步骤的方法计算出四个位置的座标角度与速度值，即四位置座标角度共8个参数。

SB4：目标偏移参数和接合角度参数构成了13维姿态参数。

SB5：在训练后的深度强化学习模型中，计算机软件将13维姿态参数拟合为3个关节电机的转角和速度参数。

SB6：计算机软件调用电机主控程序，向相应电机发出指令，以执行SB3拟合的转角和速度。

SB7：重复的目标定位步骤，直到激光投影点符合目标。

与现有技术相比，本发明的有益效果是：本发明提出的系统和方法可以增强机械手臂的自适应能力，使其自主地从环境与场景中学习最佳模型参数，实现自动地定位目标、拟合关节旋转角度与速度。

附图说明

图1是机械手臂的结构图。

图2是机械手臂的中央控制器结构图。

图3是机械手臂抓握结构为真空吸盘的示意图。

图4是机械手臂抓握结构为抓手的示意图。

图5是关节附近带有角度传感器的示意图。

图6是激光测距仪和摄像头组合结构的示意图。

图7是拟合关节处电机旋转角度和速度的深度强化学习结构图。

图8是激光测距仪和深度强化学习驱动机械手臂的流程图。

图9是用深度学习与激光测距仪定位目标的流程框图。

图10是拟合关节电机旋转角度和速度的流程框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参阅图1，本发明实施例中，一种基于激光测距与深度强化学习的机械手臂控制系统，包括由底座101、基座102、基座臂103、后臂104、前臂106、抓握接口107组成的机械手臂主体和中央控制器，基座102下面有一个步进电机，控制基座的转动；基座臂103与后臂104接合转轴连接一个步进电机并由其控制后臂104的转动；前臂106与后臂104接口转轴连接一个步进电机并由其控制前臂106的转动。

底座101固定在工作台或移动推车上；基座102能旋转一定的角度。

前臂106的抓握接口107上端、前臂106与后臂104的转轴附近安装有角度传感装置105；这两个传感器可分别测量抓握结构构和前臂关节的角度姿态数据；后臂104与基座103转轴附近处也安装了角度传感装置105；该角度传感装置105测量后臂关节的角度姿态数据；通过角度传感装置105得到一组座标角度值与速度值，然后通过深度强化学习模型对关节的角度值与速度值进行学习。

抓握接口107可连接真空吸盘和抓手两种类型的抓握结构；抓握结构上绑定有激光测距仪与摄像头。

图2，所述中央控制器共有三台步进电机201，一台AC电源202，三台驱动器203，一块arduinomega控制板204，一块树莓4控制板205、一个树莓4摄像头206，一个激光测距仪207，四个角度传感器208和一台计算机主机209；步进电机201与驱动器203连接，控制每个关节旋转角度与速度；驱动器203连接AC电源202和arduinomega控制板204；arduinomega控制板204与驱动器203相连，控制电机201的旋转速度与角度；一个AC电源202可以带三个步进电机201；计算机主机209连接arduinomega控制板204，下达控制电机命令；激光测距仪207、角度传感器208通过数据线与计算机主机209相连，受计算机209控制；树莓4控制板205与可编程摄像头206连接，计算机主机209连结树莓4控制板205，控制摄像头206抓拍图像。

具体的，所有主控核心语言都是用python编写，并安装在计算机主机209上，计算机主机209用python语言控制Arduinomega控制板204、激光测距仪207、角度传感器208和树莓4控制板205；Arduinomega控制板204使用Arduino语言控制电机；树莓4控制板使用python语言控制摄像头206，并向计算机主机209传送抓拍图像数据；计算机主机209还安装有pytorch环境，可以根据训练好的深度强化学习模型分析激光测距数据，拟合出每个关节的旋转角度和速度。

计算机主机209的最小配置为CPUi5-9400、GPUM4024G、RAM64G、1T硬盘。执行分拣前，深度强化学习模型分别在计算机主机上进行训练。

机械手臂主体还具有抓持结构，如图3所述，抓持结构为真空吸盘301，摄像头模块605和激光测距仪模块601和吸管302固定绑在一起，如图4，抓持结构为抓手401，摄像头模块605和激光测距仪模块601可以贴合在抓手401的掌心内顶部402。

如图5，在每个关节的活动轴501处设有角度传感装置105，角度传感装置105连接计算机主机209；角度传感装置105实时取得关节XYZ三个座标上旋转的角度与速度，并将角度与速度数据传送回计算机主机209。

如图6，激光测距仪与可编程摄像头平行放置，通过程序控制激光测距仪模块601的激光头602发光和不发光，激光头602发射红色闪烁激光，红光击中目标表面，形成红区，接收器603自动接收激光反射信号，激光测距仪601实时计算出激光投影距离，传送给计算机主机；通过程序控制摄像头模块605捕捉图像，摄像头606拍到高清彩色相片；抓拍的图像数据通过数据线返回到中央控制器计算机；如果计算机通过定位算法发现图像中有目标，则通过软件打开激光测距仪601以投射红色激光；再用摄像头606抓拍图像，该图像中将有红色激光区域，计算机软件再定位红色激光区域；计算机根据定位的目标区域与红色激光区域，计算目标中心点相对激光中心点的座标、角度、距离；同时，打开角度传感装置105，将关节处角度与速度数据传回计算机；计算机将激光中心点距离，目标区域座标、角度与距离，4位置角度和速度数据（组成13维向量）一起输入深度强化学习模型，拟合出关节电机旋转的速度和转角。

图7显示了拟合关节电机角度和速度的深度强化学习结构；本申请使用开放源码的DDPG深度强化学习。它是对角色（Actor）和评价（Critic）网络维度做过修改的 DDPG深度强化学习。

动作网络（Actor）是一个三层的全连接层FC，第一个全连层FC的输入参数是13维的姿态参数，输出维度是1024；另一个全连接层FC的输入输出维度是1024和512；最终的全连接层FC的输入尺寸为512，输出尺寸为6，代表三个关节电机的转角和速度；训练好的Actor网络可以根据激光测距数据来拟合各关节电机的转角和速度。

评价网络（Critic）是一个三层全连接层FC，第一个全连层FC的输入参数是13维的姿态参数，输出参数是1024；另一种全连接层FC的输入尺寸为1024+6，6维数据表示三关节电机的转角和速度，输出尺寸512；最终全连接层FC的输入维度为512，输出维度为1。

DDPG训练策略和参数为：1e-4，discount=0.99， tau=0.001，Adam=0.001，mse_loss方法；训练数据来自机械手臂的现实模拟操作取得的数据。

如图8，对于机械手臂的控制方法，采用上述系统，包括：

S1：启动计算机软件，选择要抓取的目标名称。

S2：对关节连接状态进行初始化；打开角度传感装置105，然后把机械手的前臂抬到最高位置，然后把后臂竖直，使后臂与底座成90度角，最后将基座旋转到最右边；打开抓手或者关闭真空吸盘；最右边的篮筐里装挑选出的东西。

S3：计算机通过软件将初始目标选择为篮框，并执行图像捕捉；定位初始化位置为篮框，将取得的关节旋转角度与速度参数保存在计算机中；这些参数将在后面的分拣操作中使用。

S4：对连接状态进行初始化；慢速旋转底座至最左侧；转动时开启程控摄像头；每次转动一度，暂停一次，摄像头抓拍一次；捕捉图像数据通过数据线返回到中央控制器的计算机上。

S5：计算机上的深度学习算法对图像进行目标定位分析，确定是否需要抓取目标；当图像中没有目标时，继续向左旋转底座。

S6：如果目标在图像中，则执行图像捕捉；根据深度强化学习拟合的电机旋转速度和角度，调用计算机控制程序，驱动各关节电机的旋转；关节电机的驱动顺序是：底座电机，第一关节电机，第二关节电机。

S6: 摄像头抓拍，重复S5步骤；当激光测距仪发射的激光与目标重合，且测到距离小于抓手高度时，打开抓手控制程序，驱动抓手抓住目标；若抓握机构为真空吸盘，当测得的距离小于吸盘可吸力距离时，开启吸盘控制程序，驱动吸盘吸住目标；

S7：开启计算机程序，驱动第一关节和第二关节的马达，使两个关节回到初始状态；

S8：打开激光测距仪和摄像头，如果抓握结构构抓住了目标，目标就会阻挡激光测距仪发出的激光；若传回的激光测距值小于抓手或吸盘力高度，且摄像头传回图像中激光定位于目标，则表明抓握成功，否则表明抓握失败；

S9：如果成功抓握，计算机驱动基座转向最右边；

S10：根据前后手臂关节的现有度数，将电机调整到篮框定位参数的初始角度；然后计算机驱动抓握结构松开，将抓握到的物体放入篮中，完整一次分拣。

如图9，为控制方法中的目标定位步骤，包括：

SA1：在进行分拣任务之前，收集常用的分拣物品图像，并进行训练和测试；优化开放源代码模型FastR-CNN1，是用于训练分拣物品的图像模型。

SA2：在进行分类任务之前，先用摄像头拍摄激光测距仪投射出的红色激光图像，并进行训练和测试；过优化的开源模型FastR-CNN2，用于对标记的红色激光图像进行训练。

SA3：在进行分类时，摄像头拍下镜头正面的图像，然后传给计算机；利用训练过的FastR-CNN模型1在图像中定位目标；用红色方框标记图像中的目标物体。

SA4：激光测距仪激光头投射红色激光，红色激光投影上有一个豆粒大小的红色高亮显示区域；摄像头再次拍下镜头正面的照片，然后传给计算机。

SA5：利用训练过的FastR-CNN2模型实现激光区域的定位；用蓝框在图像上标记激光区域。

SA6：计算机软件将红色和蓝色方框区域进行比较；如蓝框区域与红框标志区域有50%以上重叠，判断目标物体在抓手或吸盘下方，可执行抓取任务；如果两个区域不重叠，执行强化分析学习分析流程步骤。

图10显示了基于激光测距数据的深度强化学习分析流程步骤，深度强化学习的Actor网络拟合出关节电动机旋转角度和速度。在拍摄图像中，当目标物体与红色激光重合时，可执行如下操作，具体步骤如下：

SB1：开户摄像头与激光测距仪，抓拍前臂抓握结构下方图像。

SB2：用红框中心点作为座标圆心，由计算机软件计算出蓝框中心点与红框中心点之间的座标偏移值(即 X和 Y轴偏移值)，并计算出偏移角(逆时针方向)；两个中心点距离的值是同时计算的；这些参数加上激光投影距离被称为5维的目标偏移参数。

SB3：开启角度传感装置105；根据目标定位步骤的方法计算出四个位置的座标角度与速度值，即四位置座标角度共8个参数。

SB4：目标偏移参数和接合角度参数构成了13维姿态参数。

SB5：在训练后的深度强化学习模型中，计算机软件将13维姿态参数拟合为3个关节电机的转角和速度参数（6维向量）。

SB6：计算机软件调用电机主控程序，向相应电机发出指令，以执行SB3拟合的转角和速度。

SB7：重复图9中的目标定位步骤，直到激光投影点符合目标。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于激光测距与深度强化学习的机械手臂控制系统，包括由底座(101)、基座(102)、基座臂(103)、后臂(104)、前臂(106)、抓握接口(107)组成的机械手臂主体和中央控制器，基座(102)下面有一个步进电机，控制基座的转动；基座臂(103)与后臂(104)接合转轴连接一个步进电机并由其控制后臂(104)的转动；前臂(106)与后臂(104)接口转轴连接一个步进电机并由其控制前臂(106)的转动，机械手臂主体还具有抓持结构；前臂(106)的抓握接口(107)上端、前臂(106)与后臂(104)的转轴附近安装有角度传感装置(105)；后臂(104)与基座(103)转轴附近处也安装了角度传感装置(105)；其特征在于，所述中央控制器共有三台步进电机(201)，一台AC电源(202)，三台驱动器(203)，一块arduinomega控制板(204)，一块树莓4控制板(205)、一个树莓4摄像头(206)，一个激光测距仪(207)，四个角度传感器(208)和一台计算机主机(209)；步进电机(201)与驱动器(203)连接，控制每个关节旋转角度与速度；驱动器(203)连接AC电源(202)和arduinomega控制板(204)；arduinomega控制板(204)与驱动器(203)相连；计算机主机(209)连接arduinomega控制板(204)；激光测距仪(207)、角度传感器(208)通过数据线与计算机主机(209)相连；树莓4控制板(205)与可编程摄像头(206)连接，计算机主机(209)连结树莓4控制板(205)。

2.根据权利要求1所述的一种基于激光测距与深度强化学习的机械手臂控制系统，所述角度传感装置(105)连接计算机主机(209)。

3.根据权利要求1或2所述的一种基于激光测距与深度强化学习的机械手臂控制系统，其特征在于，所述抓持结构为真空吸盘(301)，摄像头模块(605)和激光测距仪模块(601)和吸管(302)固定绑在一起。

4.根据权利要求1或2所述的一种基于激光测距与深度强化学习的机械手臂控制系统及，其特征在于，抓持结构为抓手(401)，摄像头模块(605)和激光测距仪模块(601)可以贴合在抓手(401)的掌心内顶部(402)。

5.一种基于激光测距与深度强化学习的机械手臂控制方法，采用权利要求1或2中的控制系统，其特征在于，包括控制步骤、目标定位步骤和分析流程步骤，其中控制步骤包括：

S1：启动计算机软件，选择要抓取的目标名称；

S2：对关节连接状态进行初始化；打开角度传感器，然后把机械手的前臂抬到最高位置，然后把后臂竖直，使后臂与底座成90度角，最后将基座旋转到最右边；打开抓手或者关闭真空吸盘；最右边的篮筐里装挑选出的东西；

S3：计算机通过软件将初始目标选择为篮框，并执行图像捕捉；定位初始化位置为篮框，将取得的关节旋转角度与速度参数保存在计算机中；这些参数将在后面的分拣操作中使用；

S4：对连接状态进行初始化；慢速旋转底座至最左侧；转动时开启程控摄像头；每次转动一度，暂停一次，摄像头抓拍一次；捕捉图像数据通过数据线返回到中央控制器的计算机上；

S5：计算机上的深度学习算法对图像进行目标定位分析，确定是否需要抓取目标；当图像中没有目标时，继续向左旋转底座；

S6：如果目标在图像中，则执行图像捕捉；根据深度强化学习拟合的电机旋转速度和角度，调用计算机控制程序，驱动各关节电机的旋转；关节电机的驱动顺序是：底座电机，第一关节电机，第二关节电机；

S6: 摄像头抓拍，重复S5步骤；当激光测距仪发射的激光与目标重合，且测到距离小于抓手高度时，打开抓手控制程序，驱动抓手抓住目标；若抓握机构为真空吸盘，当测得的距离小于吸盘可吸力距离时，开启吸盘控制程序，驱动吸盘吸住目标；

S7：开启计算机程序，驱动第一关节和第二关节的马达，使两个关节回到初始状态；

S8：打开激光测距仪和摄像头，如果抓握结构构抓住了目标，目标就会阻挡激光测距仪发出的激光；若传回的激光测距值小于抓手或吸盘力高度，且摄像头传回图像中激光定位于目标，则表明抓握成功，否则表明抓握失败；

S9：如果成功抓握，计算机驱动基座转向最右边；

S10：根据前后手臂关节的现有度数，将电机调整到篮框定位参数的初始角度；然后计算机驱动抓握结构松开，将抓握到的物体放入篮中，完整一次分拣。

6.根据权利要求1所述的一种基于激光测距与深度强化学习的机械手臂控制方法，其特征在于，目标定位步骤，包括：

SA1：在进行分拣任务之前，收集常用的分拣物品图像，并进行训练和测试；优化开放源代码模型FastR-CNN1，是用于训练分拣物品的图像模型；

SA2：在进行分类任务之前，先用摄像头拍摄激光测距仪投射出的红色激光图像，并进行训练和测试；过优化的开源模型FastR-CNN2，用于对标记的红色激光图像进行训练；

SA3：在进行分类时，摄像头拍下镜头正面的图像，然后传给计算机；利用训练过的FastR-CNN模型1在图像中定位目标；用红色方框标记图像中的目标物体；

SA4：激光测距仪激光头投射红色激光，红色激光投影上有一个豆粒大小的红色高亮显示区域；摄像头再次拍下镜头正面的照片，然后传给计算机；

SA5：利用训练过的FastR-CNN2模型实现激光区域的定位；用蓝框在图像上标记激光区域；

SA6：计算机软件将红色和蓝色方框区域进行比较；如蓝框区域与红框标志区域有50%以上重叠，判断目标物体在抓手或吸盘下方，可执行抓取任务；如果两个区域不重叠，执行强化分析学习分析流程步骤。

7.根据权利要求1所述的一种基于激光测距与深度强化学习的机械手臂控制方法，其特征在于，所述分析流程步骤，深度强化学习的Actor网络拟合出关节电动机旋转角度和速度，在拍摄图像中，当目标物体与红色激光重合时，可执行如下操作，具体步骤如下：

SB1：开户摄像头与激光测距仪，抓拍前臂抓握结构下方图像；

SB2：用红框中心点作为座标圆心，由计算机软件计算出蓝框中心点与红框中心点之间的座标偏移值(即 X和 Y轴偏移值)，并计算出偏移角(逆时针方向)；两个中心点距离的值是同时计算的；这些参数加上激光投影距离被称为5维的目标偏移参数；

SB3：开启角度传感装置105；根据目标定位步骤的方法计算出四个位置的座标角度与速度值，即四位置座标角度共8个参数；

SB4：目标偏移参数和接合角度参数构成了13维姿态参数；

SB5：在训练后的深度强化学习模型中，计算机软件将13维姿态参数拟合为3个关节电机的转角和速度参数；

SB6：计算机软件调用电机主控程序，向相应电机发出指令，以执行SB3拟合的转角和速度；

SB7：重复的目标定位步骤，直到激光投影点符合目标。

Images