CN115008452B - 一种机械臂控制方法及其系统、电子设备、存储介质 - Google Patents

Abstract

本发明涉及自动控制技术领域，尤其是涉及一种机械臂控制方法及其系统、电子设备、存储介质。本发明实施例的机械臂控制方法，先采集目标物体所处空间位置的目标图像，再基于目标检测模型对目标图像进行解析，获取目标物体的目标位置信息，进一步，基于原始位姿数据，获取机械臂的臂位姿变换矩阵，然后基于目标位置信息与臂位姿变换矩阵，得到机械臂的关节角度调节量，最终根据关节角度调节量，控制机械臂从原始位姿调整至期望位姿。本发明通过目标检测模型获取目标物体的目标位置信息后，根据目标位置信息，将机械臂从原始位姿调整至机械臂抓取目标物体时的期望位姿，提升了机械臂的运行效率。

Description

一种机械臂控制方法及其系统、电子设备、存储介质

技术领域

本发明涉及自动控制技术领域，尤其是涉及一种机械臂控制方法及其系统、电子设备、存储介质。

背景技术

随着科技的发展，机械臂已成为工业生产中不可或缺的辅助工具。机械臂的出现和应用，对实现工业生产自动化，推动工业生产的进一步发展起着重要的作用，机械臂具有不断重复工作、不知疲劳、不怕危险的特点，如在工厂中完成焊接、装配、涂漆等工作，机械臂与各类工业生产的作业流程息息相关。

相关技术中，业内技术人员对机械臂提出了更高的要求——机械臂需要更加智能化，即要求机械臂能够根据图像采集装置捕捉到的目标物体所处位置，做出相应动作。控制系统对机械臂及其重要，其作用主要是指导机械臂应该如何运动，随着机械臂的广泛应用，也出现了一系列问题，如目前视觉技术已成功应用在机械臂上，但是相关技术中存在目标检测速度慢，目标检测速度与机械臂控制精度之间不能很好地平衡等问题，从而影响了机械臂的臂运行效率。因此，业内亟需一种机械臂控制方法，能够提升机械臂的运行效率。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种机械臂控制方法及其系统、电子设备、存储介质，能够提升机械臂的臂运行效率。

根据本发明的第一方面实施例的机械臂控制方法，包括：

采集目标物体所处空间位置的目标图像；

基于目标检测模型对所述目标图像进行解析，获取所述目标物体的目标位置信息；

基于原始位姿数据，获取所述机械臂的臂位姿变换矩阵，所述原始位姿数据反映所述机械臂的原始位置、原始姿态；

基于所述目标位置信息与所述臂位姿变换矩阵，得到所述机械臂的关节角度调节量；

根据所述关节角度调节量，控制所述机械臂从原始位姿调整至期望位姿，所述期望位姿为所述机械臂对所述目标物体进行操作动作时的期望位置与期望姿态。

可选的，根据本发明的一些实施例，所述机械臂包括多个连接部，所述基于原始位姿数据，获取所述机械臂的臂位姿变换矩阵，包括：

基于所述原始位姿数据，得到反映各个所述连接部在预设空间坐标系中运动状况的关节位姿变换矩阵

所述连接部序号i＝1，2，3，...，n，所述n表示所述连接部的总数量；

根据各个所述关节位姿变换矩阵，得到所述臂位姿变换矩阵

可选的，根据本发明的一些实施例，所述基于所述原始位姿数据，得到反映各个所述连接部在预设空间坐标系中运动状况的关节位姿变换矩阵

包括：

基于所述预设空间坐标系，获取所述关节位姿变换矩阵

的解析式：

其中，所述Trans(O，O，d_i)、所述Trans(a_i，O，O)反映所述连接部的平移运动过程，所述Rot(Z，θ_i)、所述Rot(X，α_i)反映所述连接部的旋转运动过程，所述d_i为所述机械臂的关节偏距，表示沿所述预设空间坐标系的Z轴，从x_i-1移动到x_i的距离，所述θ_i为所述机械臂的关节角度，表示绕所述Z轴，从x_i-1旋转到x_i的角度，所述a_i为所述机械臂的连杆长度，表示沿所述预设空间坐标系的X轴，从z_i移动到z_i+1的距离，所述α_i为机械臂的连杆转角，表示绕所述X轴，从z_i旋转到z_i+1的角度；

根据所述原始位姿数据分别获取所述Trans(O，O，d_i)、所述Rot(Z，θ_i)、所述Trans(a_i，O，O)、所述Rot(X，α_i)以及所述Rot(X，α_i)，并得到所述关节位姿变换矩阵

可选的，根据本发明的一些实施例，所述根据各个所述关节位姿变换矩阵，得到所述臂位姿变换矩阵

包括：

根据各个所述关节位姿变换矩阵

得到反映机械臂整体位姿变化过程的所述臂位姿变换矩阵

其中所述

可选的，根据本发明的一些实施例，所述目标位置信息包括所述目标物体的目的位置坐标，所述基于目标检测模型对所述目标图像进行解析，获取所述目标物体的目标位置信息，包括：

基于目标检测模型对所述目标图像进行解析，得到图像采集装置与所述目标物体之间的图像采集距离z_c；

获取所述目标物体在所述目标图像中的像素坐标(u，v)；

根据目标位置方程

得到所述目标物体的所述目的位置坐标(x_w，y_w，z_w)，其中，所述M为所述图像采集装置的内部参数，所述N为所述图像采集装置的外部参数。

可选的，根据本发明的一些实施例，所述基于所述目标位置信息与所述臂位姿变换矩阵，得到所述机械臂的关节角度调节量，包括：

根据所述臂位姿变换矩阵

所述目的位置坐标(x_w，y_w，z_w)，得到臂位姿正运动学方程：

基于所述臂位姿正运动学方程，对所述参数n_x、所述参数o_x、所述参数a_x、所述参数n_y、所述参数o_y、所述参数a_y、所述参数n_z、所述参数o_z、所述参数a_z进行求解；

根据

得出所述机械臂的各个所述关节角度调节量θ₁，θ₂，...，θ_n。

可选的，根据本发明的一些实施例，所述基于目标检测模型对所述目标图像进行解析，获取所述目标物体的目标位置信息之前，还包括：

获取训练数据集，所述训练数据集包括所述目标物体处于不同空间位置下的多张预设图像、所述目标物体在多张所述预设图像中对应的位置标签信息；

基于所述训练数据集对基础检测模型进行迭代训练，每一轮所述迭代训练中，将所述预设图像输入所述基础检测模型进行本轮训练处理，获取与所述目标物体对应的各个本轮位置信息；

每一轮所述迭代训练后，将各个所述本轮位置信息与各个所述位置标签信息进行比对，计算所述基础检测模型的损失函数输出值并对所述基础检测模型的参数进行更新；

统计所述损失函数输出值在每一轮所述迭代训练后的变化情况，当所述损失函数输出值收敛于第一定值，得到训练好的所述目标检测模型。

根据本发明的第二方面实施例的机械臂控制系统，包括：

图像采集模块，用于采集目标物体所处空间位置的目标图像；

图像解析模块，用于基于目标检测模型对所述目标图像进行解析，获取所述目标物体的目标位置信息；

位姿计算模块，用于基于原始位姿数据，获取所述机械臂的臂位姿变换矩阵，并基于所述目标位置信息与所述臂位姿变换矩阵，得到所述机械臂的关节角度调节量，所述原始位姿数据反映所述机械臂的原始位置、原始姿态；

驱动模块，用于根据所述关节角度调节量，控制所述机械臂从原始位姿调整至期望位姿，所述期望位姿为所述机械臂抓取所述目标物体时的期望位置与期望姿态。

第三方面，本发明实施例提供了一种电子设备，包括：存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如本发明第一方面实施例中任意一项所述的机械臂控制方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如本发明第一方面实施例中任意一项所述的机械臂控制方法。

根据本发明实施例的机械臂控制方法及其系统、电子设备、存储介质，至少具有如下有益效果：

本发明实施例的机械臂控制方法，先采集目标物体所处空间位置的目标图像，再基于目标检测模型对目标图像进行解析，获取目标物体的目标位置信息，进一步，基于原始位姿数据，获取机械臂的臂位姿变换矩阵，原始位姿数据反映机械臂的原始位置、原始姿态，然后基于目标位置信息与臂位姿变换矩阵，得到机械臂的关节角度调节量，最终根据关节角度调节量，控制机械臂从原始位姿调整至期望位姿，期望位姿为机械臂抓取目标物体时的期望位置与期望姿态。本发明通过目标检测模型获取目标物体的目标位置信息后，根据目标位置信息，将机械臂从原始位姿调整至机械臂抓取目标物体时的期望位姿，提升了机械臂的运行效率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例提供的机械臂控制方法流程示意图；

图2为本发明实施例提供的另一机械臂控制方法流程示意图；

图3为本发明实施例提供的另一机械臂控制方法流程示意图；

图4为本发明实施例提供的另一机械臂控制方法流程示意图；

图5为本发明实施例提供的另一机械臂控制方法流程示意图；

图6为本发明实施例提供的另一机械臂控制方法流程示意图；

图7为本发明实施例提供的另一机械臂控制方法流程示意图；

图8为本发明实施例提供的机械臂控制系统的模块示意图；

图9为本发明实施例提供的执行机械臂控制方法的电子设备示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、左、右、前、后等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。另外，下文中对于具体步骤的标识并不代表对于步骤顺序与执行逻辑的限定，各个步骤之间的执行顺序与执行逻辑应参照实施例所表述的内容进行理解与推定。

随着科技的发展，机械臂已成为工业生产中不可或缺的辅助工具。机械臂的出现和应用，对实现工业生产自动化，推动工业生产的进一步发展起着重要的作用，机械臂具有不断重复工作、不知疲劳、不怕危险的特点，如在工厂中完成焊接、装配、涂漆等工作，机械臂与各类工业生产的作业流程息息相关。

相关技术中，业内技术人员对机械臂提出了更高的要求——机械臂需要更加智能化，即要求机械臂能够根据图像采集装置捕捉到的目标物体所处位置，做出相应动作。控制系统对机械臂及其重要，其作用主要是指导机械臂应该如何运动，随着机械臂的广泛应用，也出现了一系列问题，如目前视觉技术已成功应用在机械臂上，但是相关技术中存在目标检测速度慢，目标检测速度与机械臂控制精度之间不能很好地平衡等问题，从而影响了机械臂的臂运行效率。因此，业内亟需一种机械臂控制方法，能够提升机械臂的运行效率。

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种机械臂控制方法及其系统、电子设备、存储介质，能够提升机械臂的臂运行效率。

下面结合附图作出进一步说明。

参照图1，根据本发明的第一方面实施例的机械臂控制方法，包括：

步骤S101，采集目标物体所处空间位置的目标图像；

需要说明的是，目标图像即反映目标物体空间位置的图像，采集目标图像的目的在于为后续锁定目标物体的目标位置信息提供解析基础。

步骤S102，基于目标检测模型对目标图像进行解析，获取目标物体的目标位置信息；

需要说明的是，目标检测模型用于对目标图像进行解析，从目标图像中明确目标物体的目标位置信息。应理解，当获得目标位置信息之后，目标位置信息随即能够为本发明中的机械臂确定一个操作目标的所处位置，故而，根据操作目标的所处位置，并经过后续步骤对机械臂位姿变化相关数据的计算得到臂位姿变换矩阵之后，即可驱动机械臂完成相应的操作动作，其中，机械臂能够执行的操作动作包括但不限于抓取、推动、按压等。

根据本发明提供的一些实施例，目标检测模型可以有多种选用方案，包括但不限于基于卷积神经网络(Convolutional Neural Networks，CNN)的目标检测模型、基于YOLO(You only look once)算法的目标检测模型与基于SSD(Single Shot MultiBoxDetector)算法的目标检测模型。其中，基于卷积神经网络的目标检测模型是一类包含卷积计算且具有深度结构的前馈神经网络，它是仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，具有表征学习的能力。其在工作时会运行一种分割算法将一幅图像分割为一个个小块，然后在这些小块上运行分类器，从而实现对图片中物体的识别，Fast R-CNN目标检测模型是典型的基于卷积神经网络的目标检测模型；其中，基于YOLO算法的目标检测模型是一种基于深度神经网络的对象识别和定位Python算法，它将单个卷积神经网络应用于整个图像，将图像分成网格，并预测每个网格的类概率和边界框。每个边界框可以用四个描述符进行描述：边界框的中心点、高度、宽度以及值映射到对象所属的类。如果一个对象的中心落在一个网格单元中，则该网格单元负责检测该对象。每个网格中将有多个边界框。在训练时，为了使得每个对象只有一个边界框，因此，需要根据各个边界框与分类标准框(Ground Truth Box，GT框)的重叠度，从而分配一个重叠度最高的边界框来负责预测对象，最后过滤掉置信度小于预设阈值的边界框，即可得出置信度最高边界框，完成对目标物体的预测，进而获取目标物体的目标位置信息。基于SSD算法的目标检测模型是在Fast R-CNN算法与YOLO算法的基础上略作修改，使其精度超过YOLO，识别速度超过Fast R-CNN。但是基于SSD算法的目标检测模型对于小尺寸的目标识别效果较差，达不到Fast R-CNN目标检测模型与基于YOLO算法的目标检测模型的高度，且SSD网络中预置框(Default Boxes)的基础大小和形状无法在学习中自动获取，必须要手动设置。因此，相比于Fast R-CNN目标检测模型和基于SSD算法的目标检测模型，基于YOLO算法的目标检测模型具备较高的识别精度，同时运行速度最快。因此，本发明一些较为优选的实施例中，选用基于YOLO算法的目标检测模型作为本发明的目标检测模型。

步骤S103，基于原始位姿数据，获取机械臂的臂位姿变换矩阵，原始位姿数据反映机械臂的原始位置、原始姿态；

需要说明的是，机械臂的臂位姿变换矩阵，用于描述机械臂各个连接部组成的整条机械手臂的位姿变换过程。需要说明的是，位姿包括位置、姿态，而原始位姿数据则反映的是机械臂的原始位置、原始姿态。应理解，机械臂的原始位姿不同，机械臂的位姿变换矩阵也会有差异。根据本发明提供的一些实施例，可以为机械臂预先设置一个原始位姿，每当机械臂执行完一个操作动作之后，随即进行位姿初始化，令机械臂回到预先设置的原始位姿，此情况下由于每次执行操作动作前的原始位姿都相同，因此臂位姿变换矩阵能够用统一的通用解析式加以表达。而本发明提供的另一些实施例中，每当机械臂执行完一个操作动作之后，随即对机械臂执行完操作动作后的位姿进行记录，从而将下一组操作动作对应的原始位姿数据进行生成，此情况下由于每次执行操作动作前的原始位姿都不尽相同，因此臂位姿变换矩阵的解析式也会对应于每一组新的操作动作而更新。应理解，基于原始位姿数据，获取机械臂的臂位姿变换矩阵，包括但不限于上述举出的具体实施例。

步骤S104，基于目标位置信息与臂位姿变换矩阵，得到机械臂的关节角度调节量；

需要说明是，当获得目标位置信息之后，目标位置信息随即能够为本发明中的机械臂确定一个操作目标的所处位置，故而，根据操作目标的所处位置与机械臂的臂位姿变换矩阵，即可驱动机械臂完成相应的操作动作。应理解，得到机械臂的关节角度调节量，其目的在于为驱动机械臂完成相应操作动作提供基本的调节参数，以落实到机械臂各个连接部(关节)。

步骤S105，根据关节角度调节量，控制机械臂从原始位姿调整至期望位姿，期望位姿为机械臂对目标物体进行操作动作时的期望位置与期望姿态。

本发明实施例的机械臂控制方法，先采集目标物体所处空间位置的目标图像，再基于目标检测模型对目标图像进行解析，获取目标物体的目标位置信息，进一步，基于原始位姿数据，获取机械臂的臂位姿变换矩阵，原始位姿数据反映机械臂的原始位置、原始姿态，然后基于目标位置信息与臂位姿变换矩阵，得到机械臂的关节角度调节量，最终根据关节角度调节量，控制机械臂从原始位姿调整至期望位姿，期望位姿为机械臂抓取目标物体时的期望位置与期望姿态。本发明通过目标检测模型获取目标物体的目标位置信息后，根据目标位置信息，将机械臂从原始位姿调整至机械臂抓取目标物体时的期望位姿，由于目标位置信息是通过目标检测模型获取的，因此本发明实施例的机械臂控制方法具备较快的目标检测速度，又由于本发明根据目标位姿信息来进行臂位姿变换矩阵的计算，因此本发明实施例的机械臂控制方法在控制精度上也具有良好的表现，故而，本发明集合较快的目标检测速度与较高的控制精度，二者之间具备良好的均衡性，进一实现对机械臂的运行效率的提升。

参照图2，根据本发明的一些实施例，机械臂包括多个连接部，基于原始位姿数据，获取机械臂的臂位姿变换矩阵，包括：

步骤S201，基于原始位姿数据，得到反映各个连接部在预设空间坐标系中运动状况的关节位姿变换矩阵

连接部序号i＝1，2，3，...，n，n表示连接部的总数量；

步骤S202，根据各个关节位姿变换矩阵，得到臂位姿变换矩阵

根据本发明提供的一些实施例，为了获取机械臂的臂位姿变换矩阵，首先要对机械臂的关节位姿变换矩阵

进行确定。需要说明的是，本发明中机械臂包括连杆、连接部，其中每两根连杆由一个连接部起到连接左右，其中，机械臂整体的位姿变换由机械臂各个连接部(即机械臂的各个关节)的位姿变换来决定。而

中的i-1、i即反映各个连接部在第i-1根、第i根的相邻两根连杆中起到位姿变换的作用。需要说明的是，本发明一些实施例中，臂位姿变换矩阵

的解析式为

应理解，该解析式表明各个关节位姿变换矩阵

共同组成机械臂的臂位姿变换矩阵

参照图3，根据本发明的一些实施例，基于原始位姿数据，得到反映各个连接部在预设空间坐标系中运动状况的关节位姿变换矩阵

包括：

步骤S301，基于预设空间坐标系，获取关节位姿变换矩阵

的解析式：

步骤S302，根据原始位姿数据分别获取解析式中的各个参数，得到关节位姿变换矩阵。

根据本发明提供的一些实施例，在获取关节位姿变换矩阵

的解析式之前，会预先设置一个预设空间坐标系。需要说明的是，预设空间坐标系预先设置于目标图像所反映的、目标物体所处的空间。应理解，预设空间坐标系用于表明目标物体在空间中的所处位置以及机械臂在空间中的位姿变换，因此，预设空间坐标系可以是笛卡尔三维坐标系、圆柱坐标系以及球面极坐标系等多种类型的空间坐标系。本发明一些是较为优选的实施例中，选用笛卡尔三维坐标系作为预设空间坐标系，并引入绕笛卡尔三维坐标系三个坐标轴旋转的自由度，以X、Y、Z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度来描述机械臂在空间中的位姿变换。

在本发明一些较为具体的实施例中，关节位姿变换矩阵

的解析式如下：

其中，Trans(O，O，d_i)、Trans(a_i，O，O)反映连接部的平移运动过程，Rot(Z，θ_i)、Rot(X，α_i)反映连接部的旋转运动过程，d_i为机械臂的关节偏距，表示沿预设空间坐标系的Z轴，从x_i-1移动到x_i的距离，θ_i为机械臂的关节角度，表示绕Z轴，从x_i-1旋转到x_i的角度，a_i为机械臂的连杆长度，表示沿预设空间坐标系的X轴，从z_i移动到z_i+1的距离，α_i为机械臂的连杆转角，表示绕X轴，从z_i旋转到z_i+1的角度；

根据原始位姿数据，分别获取Trans(O，O，d_i)、Rot(Z，θ_i)、Trans(a_i，O，O)、Rot(X，α_i)以及Rot(X，α_i)，即可得到关节位姿变换矩阵

例如，根据原始位姿数据，获取到：

即可得到关节位姿变换矩阵

根据本发明的一些实施例，根据各个关节位姿变换矩阵，得到臂位姿变换矩阵

包括：

根据各个关节位姿变换矩阵

得到反映机械臂整体位姿变化过程的臂位姿变换矩阵

其中

需要说明的是，本发明一些实施例中，臂位姿变换矩阵

的解析式为

应理解，该解析式表明各个关节位姿变换矩阵

共同组成机械臂的臂位姿变换矩阵

参照图4，根据本发明的一些实施例，目标位置信息包括目标物体的目的位置坐标，基于目标检测模型对目标图像进行解析，获取目标物体的目标位置信息，包括：

步骤S401，基于目标检测模型对目标图像进行解析，得到图像采集装置与目标物体之间的图像采集距离z_c；

步骤S402，获取目标物体在目标图像中的像素坐标(u，v)；

步骤S403，根据目标位置方程

得到目标物体的目的位置坐标(x_w，y_w，z_w)，其中，M为图像采集装置的内部参数，N为图像采集装置的外部参数。

根据本发明提供的一些实施例，目标检测模型可以基于卷积神经网络或者YOLO算法得到图像采集装置与目标物体之间的图像采集距离z_c，而后经由目标物体在目标图像中的像素坐标(u，v)，来带入目标位置方程

最终计算得到目标物体的目的位置坐标(x_w，y_w，z_w)。需要说明的是，图像采集装置的内部参数M、图像采集装置的外部参数N有多种获取方式，一些实施例中，可以查询与图像采集装置对应的M、N，另一些实施例中，也可以通过实测的方式获取M、N。本发明一些较为优选的实施例中，选用深度相机来作为图像采集装置。深度相机，又称之为3D相机，顾名思义，就是通过该相机能检测出拍摄空间的景深距离，这也是与普通摄像头最大的区别。普通的彩色相机拍摄到的图片能看到相机视角内的所有物体并记录下来，但是其所记录的数据不包含这些物体距离相机的距离。仅仅能通过图像的语义分析来判断哪些物体离我们比较远，哪些比较近，但是并没有确切的数据。而深度相机则恰恰解决了该问题，通过深度相机获取到的数据，我们能准确知道图像中每个点离摄像头距离，这样加上该点在2D图像中的坐标，就能获取图像中每个点的三维空间坐标。通过三维坐标就能还原真实场景，实现场景建模等应用。

参照图5，一些较为具体的实施例中，可以通过如下方式对图像采集装置的内部参数M、图像采集装置的外部参数N进行获取：

步骤S501，标定板制作，利用图像采集装置采集多张标定板图片；

步骤S502，将多张标定板图片导入到MATLAB的工具箱Camera Calibrator中，标定完成后得到图像采集装置的内部参数M、图像采集装置的外部参数N。

需要说明的是，步骤S501至步骤S502示出了对图像采集装置的内部参数M、图像采集装置的外部参数N进行实测获取的过程。应理解，获取图像采集装置的内部参数M、图像采集装置的外部参数N包括但不限于上述举出的具体实施例。

参照图6，根据本发明的一些实施例，基于目标位置信息与臂位姿变换矩阵，得到机械臂的关节角度调节量，包括：

步骤S601，根据臂位姿变换矩阵

目的位置坐标(x_w，y_w，z_w)，得到臂位姿正运动学方程：

步骤S602，基于臂位姿正运动学方程，对参数n_x、参数o_x、参数a_x、参数n_y、参数o_y、参数a_y、参数n_z、参数o_z、参数a_z进行求解；

步骤S603，根据臂位姿正运动学方程与臂位姿变换矩阵，即可进一步列出等式

得出机械臂的各个关节角度调节量θ₁，θ₂，...，θ_n。

根据本发明提供的一些较为具体的实施例，得到关节位姿变换矩阵

之后，进一步，当连接部的总数量为6时，有臂位姿正运动学方程：

其中，参数n_x、参数o_x、参数a_x、参数n_y、参数o_y、参数a_y、参数n_z、参数o_z、参数a_z是预先假设的参数，上述各参数的具体值由

相乘得到。

再进一步，将臂位姿正运动学方程左乘

得到：

令c1＝cosθ₁，c2＝cosθ₂，c3＝cosθ₃，c4＝cosθ₄，c5＝cosθ₅，c6＝cosθ₆；

令s1＝sinθ₁，s2＝sinθ₂，s3＝sinθ₃，s4＝sinθ₄，s5＝sinθ₅，s6＝sinθ₆；

令c23＝cos(θ₂+θ₃)，c234＝cos(θ₂+θ₃+θ₄)；

令s23＝sin(θ₂+θ₃)，s234＝sin(θ₂+θ₃+θ₄)；

得到：

最终得到，机械臂的6个关节角度分别为：

关节角1：

关节角2：

θ₂＝Atan2(s2，c2)

关节角3：

关节角4：

θ₄＝atan2(s23₄，c23₄)-θ2-θ3

关节角5：

θ₅＝Atan2(s5，c5)

关节角6：

θ₆＝Atan2(s6，c6)

在获取上述6个关节角度之后，即可基于θ₁至θ₆形成的关节角度调节量，控制机械臂从原始位姿调整至期望位姿。

参照图7，根据本发明的一些实施例，基于目标检测模型对目标图像进行解析，获取目标物体的目标位置信息之前，还包括：

步骤S701，获取训练数据集，训练数据集包括目标物体处于不同空间位置下的多张预设图像、目标物体在多张预设图像中对应的位置标签信息；

需要说明的是，训练数据集可以用现有的数据集也可以自行制作数据集。其中，预设图像指的是反映目标物体在各处空间位置的图片，用于训练模型的空间位置识别能力。本发明一些较为具体的实施例中，使用在线标注工具Make Sense为训练数据集中的多张预设图像进行标注，标注完成后得到每张图片的位置标签信息，即目标物体在空间中所处的位置，并以压缩包的形式导出。

步骤S702，基于训练数据集对基础检测模型进行迭代训练，每一轮迭代训练中，将预设图像输入基础检测模型进行本轮训练处理，获取与目标物体对应的各个本轮位置信息；

应理解，基础检测模型即尚未进行训练的、训练后可以用于识别物体空间位置的原始人工智能模型。一些实施例中，选用YOLOv3作为本发明实施例的基础检测模型，在YOLOv3模型结构中，检测阶段使用Darknets53作为骨干网络，其中Darknets53由ResNet和Darknet53构成，在ResNet网络中以Shortcut的方式连接到下一层，在Darknet53网络中包含53个卷积层。

步骤S703，每一轮迭代训练后，将各个本轮位置信息与各个位置标签信息进行比对，计算基础检测模型的损失函数输出值并对基础检测模型的参数进行更新；

步骤S704，统计损失函数输出值在每一轮迭代训练后的变化情况，当损失函数输出值收敛于第一定值，得到训练好的目标检测模型。

根据本发明提供的一些实施例，迭代训练中主要利用损失函数对基础检测模型进行优化，将预测值与真实值无限接近，当损失函数输出值收敛于第一定值，最终得到最优的权重模型，得到训练好的目标检测模型。其中，ResNet模块用于对输入的预设图像进行不同维度的特征提取，从而得到多维度的特征图。需要说明的是，损失函数，根据所述分类结果、回归结果和类别置信度进行损失计算，可以分别得到分类损失、回归损失和置信度损失，具体损失包括以下四个部分：

第一部分，目标中心坐标(xy)的损失为：

loss_xy＝bool(2-areaPred)·bce

其中，bool是目标的置信度，areaPred为预测框范围，bce是xy的二值交叉熵损失，这个值越小整个损失值越小，因此，这部分损失主要优化xy的预测值和置信度。

第二部分，anchor长宽回归值(wh)的损失为：

loss_wh＝bool(2-areaPred)(whtrue-whpred)²

其中，whtrue和whpred分别表示wh的真实值和预测值，这部分主要优化置信度(bool)，wh回归值(areaPred、whtrue)。

第三部分，置信度损失为：

loss_bg＝bool·bce+(1-bool)bce·ignore

其中，bool为目标的置信度，bce为预测值和实际置信度的二值交叉熵，ignore表示iou低于一定阈值的但确实存在的物体，既不是前景也不是背景，是忽略的、暂时不计的，这部分主要优化置信度；

第四部分，类别损失为：

loss_cls＝bool·bce

其中，bool为目标的置信度，bce为类别的二值交叉熵，这部分优化置信度损失和类别损失。

根据本发明提供的一些实施例，根据所述关节角度调节量，控制所述机械臂从原始位姿调整至期望位姿，可以基于TCP协议的socket通讯来控制机械臂，其中机械臂作为客户端，电脑作为服务器，服务器发送角度数据给机械臂各个关节的电机控制器，电机控制器将接收到关节角度数据转换为脉冲信号，脉冲信号驱动电机转过相应角度，通过6个电机的转动从而实现了对机械臂的控制；

一些较为具体的实施例中，基于TCP协议的socket通讯过程为：

S1：加载套接字库；

S2：创建套接字(socket)；

S3：将套接字绑定到一个本地地址和端口上(bind)；

S4：将套接字设为监听模式，准备接收客户请求(listen)；

S5：等待客户请求到来；当请求到来后，接受连接请求，返回一个新的对应于此次连接的套接字(accept)；

S6：用返回的套接字和客户端进行通信(send/recv)；

S7：返回，等待另一客户请求；

S8：关闭套接字。

综上步骤S1至S8，可以通过TCP协议发送角度数据到电机控制器，从而实现机械臂的运动控制。

参照图8，根据本发明的第二方面实施例的机械臂控制系统800，包括：

图像采集模块810，用于采集目标物体所处空间位置的目标图像；

图像解析模块820，用于基于目标检测模型对目标图像进行解析，获取目标物体的目标位置信息；

位姿计算模块830，用于基于原始位姿数据，获取机械臂的臂位姿变换矩阵，并基于目标位置信息与臂位姿变换矩阵，得到机械臂的关节角度调节量，原始位姿数据反映机械臂的原始位置、原始姿态；

驱动模块840，用于根据关节角度调节量，控制机械臂从原始位姿调整至期望位姿，期望位姿为机械臂抓取目标物体时的期望位置与期望姿态。

图9示出了本发明实施例提供的电子设备900。电子设备900包括：处理器901、存储器902及存储在存储器902上并可在处理器901上运行的计算机程序，计算机程序运行时用于执行上述的机械臂控制方法。

处理器901和存储器902可以通过总线或者其他方式连接。

存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本发明实施例描述的机械臂控制方法。处理器901通过运行存储在存储器902中的非暂态软件程序以及指令，从而实现上述的机械臂控制方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序。存储数据区可存储执行上述的机械臂控制方法。此外，存储器902可以包括高速随机存取存储器902，还可以包括非暂态存储器902，例如至少一个储存设备存储器件、闪存器件或其他非暂态固态存储器件。在一些实施方式中，存储器902可选包括相对于处理器901远程设置的存储器902，这些远程存储器902可以通过网络连接至该电子设备900。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述的机械臂控制方法所需的非暂态软件程序以及指令存储在存储器902中，当被一个或者多个处理器901执行时，执行上述的机械臂控制方法，例如，执行图1中的方法步骤S101至步骤S105、图2中的方法步骤S201至步骤S202、图3中的方法步骤S301至步骤S302、图4中的方法步骤S401至步骤S403、图5中的方法步骤S501至步骤S502、图6中的方法步骤S601至步骤S603、图7中的方法步骤S701至步骤S704。

本发明实施例还提供了计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述的机械臂控制方法。

在一实施例中，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，执行图1中的方法步骤S101至步骤S105、图2中的方法步骤S201至步骤S202、图3中的方法步骤S301至步骤S302、图4中的方法步骤S401至步骤S403、图5中的方法步骤S501至步骤S502、图6中的方法步骤S601至步骤S603、图7中的方法步骤S701至步骤S704。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、储存设备存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。还应了解，本发明实施例提供的各种实施方式可以任意进行组合，以实现不同的技术效果。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。

Claims (9)

1.一种机械臂控制方法，其特征在于，包括：

获取训练数据集，所述训练数据集包括目标物体处于不同空间位置下的多张预设图像、所述目标物体在多张所述预设图像中对应的位置标签信息；

基于所述训练数据集对基础检测模型进行迭代训练，每一轮所述迭代训练中，将所述预设图像输入所述基础检测模型进行本轮训练处理，获取与所述目标物体对应的各个本轮位置信息；

每一轮所述迭代训练后，将各个所述本轮位置信息与各个所述位置标签信息进行比对，计算所述基础检测模型的损失函数输出值并对所述基础检测模型的参数进行更新；

统计所述损失函数输出值在每一轮所述迭代训练后的变化情况，当所述损失函数输出值收敛于第一定值，得到训练好的目标检测模型；

采集目标物体所处空间位置的目标图像；

基于所述目标检测模型对所述目标图像进行解析，获取所述目标物体的目标位置信息；

基于原始位姿数据，获取所述机械臂的臂位姿变换矩阵，所述原始位姿数据反映所述机械臂的原始位置、原始姿态；

基于所述目标位置信息与所述臂位姿变换矩阵，得到所述机械臂的关节角度调节量；

根据所述关节角度调节量，控制所述机械臂从原始位姿调整至期望位姿，所述期望位姿为所述机械臂对所述目标物体进行操作动作时的期望位置与期望姿态。

2.根据权利要求1所述的方法，其特征在于，所述机械臂包括多个连接部，所述基于原始位姿数据，获取所述机械臂的臂位姿变换矩阵，包括：

基于所述原始位姿数据，得到反映各个所述连接部在预设空间坐标系中运动状况的关节位姿变换矩阵

所述连接部序号i＝1,2,3,...,n，所述n表示所述连接部的总数量；

根据各个所述关节位姿变换矩阵，得到所述臂位姿变换矩阵

3.根据权利要求2所述的方法，其特征在于，所述基于所述原始位姿数据，得到反映各个所述连接部在预设空间坐标系中运动状况的关节位姿变换矩阵

包括：

基于所述预设空间坐标系，获取所述关节位姿变换矩阵

的解析式：

其中，所述Trans(0，0，d_i)、所述Trans(a_i，0，0)反映所述连接部的平移运动过程，所述Rot(Z，θ_i)、所述Rot(X，α_i)反映所述连接部的旋转运动过程，所述d_i为所述机械臂的关节偏距，表示沿所述预设空间坐标系的Z轴，从x_i-1移动到x_i的距离，所述θ_i为所述机械臂的关节角度，表示绕所述Z轴，从x_i-1旋转到x_i的角度，所述a_i为所述机械臂的连杆长度，表示沿所述预设空间坐标系的X轴，从z_i移动到z_i+1的距离，所述α_i为机械臂的连杆转角，表示绕所述X轴，从z_i旋转到z_i+1的角度；

根据所述原始位姿数据分别获取所述Trans(0，0，d_i)、所述Rot(Z，θ_i)、所述Trans(a_i，0，0)、所述Rot(X，α_i)，并得到所述关节位姿变换矩阵

4.根据权利要求3所述的方法，其特征在于，所述根据各个所述关节位姿变换矩阵，得到所述臂位姿变换矩阵

包括：

根据各个所述关节位姿变换矩阵

得到反映机械臂整体位姿变化过程的所述臂位姿变换矩阵

其中所述

5.根据权利要求2至4任一项所述的方法，其特征在于，所述目标位置信息包括所述目标物体的目的位置坐标，所述基于目标检测模型对所述目标图像进行解析，获取所述目标物体的目标位置信息，包括：

基于目标检测模型对所述目标图像进行解析，得到图像采集装置与所述目标物体之间的图像采集距离z_c；

获取所述目标物体在所述目标图像中的像素坐标(u，v)；

根据目标位置方程

得到所述目标物体的所述目的位置坐标(x_w,y_w,z_w)，其中，所述M为所述图像采集装置的内部参数，所述N为所述图像采集装置的外部参数。

6.根据权利要求5所述的方法，其特征在于，所述基于所述目标位置信息与所述臂位姿变换矩阵，得到所述机械臂的关节角度调节量，包括：

根据所述臂位姿变换矩阵

所述目的位置坐标(x_w,y_w,z_w)，得到臂位姿正运动学方程：

基于所述臂位姿正运动学方程，对所述参数n_x、所述参数o_x、所述参数a_x、所述参数n_y、所述参数o_y、所述参数a_y、所述参数n_z、所述参数o_z、所述参数a_z进行求解；

根据

得出所述机械臂的各个所述关节角度调节量θ₁，θ₂，...，θ_n。

7.一种机械臂控制系统，其特征在于，包括：

图像采集模块，用于采集目标物体所处空间位置的目标图像；

图像解析模块，用于基于目标检测模型对所述目标图像进行解析，获取所述目标物体的目标位置信息；所述目标检测模型通过以下方式训练得到：获取训练数据集，所述训练数据集包括所述目标物体处于不同空间位置下的多张预设图像、所述目标物体在多张所述预设图像中对应的位置标签信息；基于所述训练数据集对基础检测模型进行迭代训练，每一轮所述迭代训练中，将所述预设图像输入所述基础检测模型进行本轮训练处理，获取与所述目标物体对应的各个本轮位置信息；每一轮所述迭代训练后，将各个所述本轮位置信息与各个所述位置标签信息进行比对，计算所述基础检测模型的损失函数输出值并对所述基础检测模型的参数进行更新；统计所述损失函数输出值在每一轮所述迭代训练后的变化情况，当所述损失函数输出值收敛于第一定值，得到训练好的目标检测模型；

位姿计算模块，用于基于原始位姿数据，获取所述机械臂的臂位姿变换矩阵，并基于所述目标位置信息与所述臂位姿变换矩阵，得到所述机械臂的关节角度调节量，所述原始位姿数据反映所述机械臂的原始位置、原始姿态；

驱动模块，用于根据所述关节角度调节量，控制所述机械臂从原始位姿调整至期望位姿，所述期望位姿为所述机械臂抓取所述目标物体时的期望位置与期望姿态。

8.一种电子设备，其特征在于，包括：存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的机械臂控制方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至6中任意一项所述的机械臂控制方法。

Images