CN112157657A - 机械臂定位方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种机械臂定位方法、装置、电子设备及存储介质，涉及机器控制技术领域。所述方法包括：采集待抓取的工件的待抓取图像；基于所述待抓取图像确定所述工件的中心位置和工件相对转角；基于所述中心位置和所述工件相对转角控制机械臂抓取所述工件；在所述机械臂抓取所述工件移动至指定位置时，采集所述工件的抓取图像；基于所述抓取图像确定所述工件的姿态误差，所述姿态误差为所述工件与所述指定位置对应的指定姿态的相对误差；基于所述姿态误差控制所述机械臂调整所述工件的姿态。通过初定位和精定位两次对工件进行定位并调整机械臂抓取工件的姿态，提高了机械臂抓取工件的定位及控制的准确性和适用性。

Description

机械臂定位方法、装置、电子设备及存储介质

技术领域

本申请涉及机器控制技术领域，具体而言，涉及一种机械臂定位方法、装置、电子设备及存储介质。

背景技术

在制造行业，加工装配流程中越来越多的运用自动化机械设备来代替人工，以提高制造效率，在非标自动化加工线或者装配线上，在工件上料后对工件进行高精度加工或者装配，这就需要工件在加工台面或装配台面上的放置精度。而将工件准确运送到下一个加工点，则需要对工件进行高精度的定位，现在行业内通常使用机械臂等装置对工件进行灵活、准确地夹持移动。但是现有的精密定位方法往往采用建立特殊的二次定位机构完成，这些定位方法非常依赖硬件机构和光照等环境条件，这就导致其硬件调校难度增大，定位受环境影响准确率不高的问题。

发明内容

有鉴于此，本申请实施例的目的在于提供一种机械臂定位方法、装置、电子设备及存储介质，以改善现有技术中存在的机械臂夹持工件定位准确度和适用性较低的问题。

本申请实施例提供了一种机械臂定位方法，所述方法包括：采集待抓取的工件的待抓取图像；基于所述待抓取图像确定所述工件的中心位置和工件相对转角；基于所述中心位置和所述工件相对转角控制机械臂抓取所述工件；在所述机械臂抓取所述工件移动至指定位置时，采集所述工件的抓取图像；基于所述抓取图像确定所述工件的姿态误差，所述姿态误差为所述工件与所述指定位置对应的指定姿态的相对误差；基于所述姿态误差控制所述机械臂调整所述工件的姿态。

在上述实现过程中，对机械臂抓取工件进行两次定位，即对待抓取工件中心位置和工件相对转角进行确定的初定位，以使机械臂能够准确抓取工件，以及对已抓取工件的姿态进行确定的精确定位，不需要过度依赖特殊硬件机构和光照条件，提高了机械臂工件定位的准确度和适用性。

可选地，所述基于所述待抓取图像确定所述工件的中心位置和工件相对转角，包括：基于所述待抓取图像，通过深度学习模型进行关键点检测确定所述工件的所述中心位置和所述工件相对转角。

在上述实现过程中，通过深度学习模型进行关键点检测对工件进行初定位，提高了初定位的精确度。

可选地，所述基于所述待抓取图像，通过深度学习模型进行关键点检测确定所述工件的所述中心位置和所述工件相对转角，包括：基于所述待抓取图像，通过高分辨率模型进行关键点检测，以确定所述工件的关键点，所述高分辨率模型基于高分辨率神经网络训练获得；基于所述关键点确定所述工件的所述中心位置和所述工件相对转角。

在上述实现过程中，基于高分辨率模型对工件进行关键点检测完成初定位，具有多尺度融合的特性，提高了定位精确度。

可选地，所述基于所述关键点确定所述工件的所述中心位置和所述工件相对转角，包括：基于所述关键点构建关键点矩形，所述关键点分布在所述关键点矩形的边；基于所述关键点中的指定关键点所处的直线和所述待抓取图像的指定轴构成的角作为所述工件相对转角；将所述关键点矩形的中心作为所述中心位置。

在上述实现过程中，通过关键点矩形对工件的中心位置和工件相对转角进行确定，不需要进行复杂的图像处理，提高了定位效率。

可选地，所述基于所述抓取图像确定所述工件的姿态误差，包括：获取模板图像，所述模板图像为所述指定姿态的所述工件在所述指定位置处的图像；计算所述抓取图像中所述工件的相邻的两条指定边的直线坐标；将所述直线坐标转换至机械臂坐标系中，获得直线转换坐标；基于所述直线转换坐标确定所述工件的姿态误差。

在上述实现过程中，将机械臂抓取样板工件在指定位置的图像作为模板图像，与抓取图像进行对比从而确定抓取图形中的工件与样板工件的姿态偏差，从而对机械臂抓取的工件进行精确定位，图像处理所需照明条件以及相关设备需求较低，提高了精确定位的适用性。

可选地，所述姿态误差包括角度误差，所述基于所述直线转换坐标确定所述工件的姿态误差，包括：基于第一直线的第一直线转换坐标和所述样板工件的指定模板直线坐标，确定所述抓取图像中的所述工件与所述样板工件的角度误差，所述第一直线为所述两条指定边的直线中的任意一条。

在上述实现过程中，在抓取图像和模板图像中分别取抓取工件和模板工件相对应的直线进行坐标比对，简单、迅速地实现了工件角度误差的确定，提高了定位效率。

可选地，所述姿态误差包括位置误差，所述基于所述直线转换坐标确定所述工件的姿态误差，包括：基于所述角度误差控制所述机械臂旋转所述工件至所述角度误差为零，获得旋转抓取图像；确定所述旋转抓取图像中所述工件的所述两条指定边的第一交点坐标；确定所述模板图像中所述样板工件与所述两条指定边对应的两条边的第二交点坐标；将所述第一交点坐标和所述第二交点坐标的坐标差作为所述位置误差。

在上述实现过程中，在机械臂抓取的角度误差被调整后，抓取工件和模板工件中相对应的第一交点坐标和第二交点坐标的横坐标及纵坐标的差距即表示抓取工件需要调整的横向及纵向距离，从而简单、迅速地实现了工件位置误差的确定，提高了定位效率。

本申请实施例还提供了一种机械臂定位装置，所述装置包括：第一采集模块，用于采集待抓取的工件的待抓取图像；初定位模块，用于基于所述待抓取图像确定所述工件的中心位置和工件相对转角；机械臂控制模块，用于基于所述中心位置和所述工件相对转角控制机械臂抓取所述工件；第二采集模块，用于在所述机械臂抓取所述工件移动至指定位置时，采集所述工件的抓取图像；精确定位模块，用于基于所述抓取图像确定所述工件的姿态误差，所述姿态误差为所述工件与所述指定位置对应的指定姿态的相对误差；所述机械臂控制模块，还用于基于所述姿态误差控制所述机械臂调整所述工件的姿态。

在上述实现过程中，对机械臂抓取工件进行两次定位，即对待抓取工件中心位置和工件相对转角进行确定的初定位，以使机械臂能够准确抓取工件，以及对已抓取工件的姿态进行确定的精确定位，不需要过度依赖特殊硬件机构和光照条件，提高了机械臂工件定位的准确度和适用性。

可选地，所述初定位模块具体用于：基于所述待抓取图像，通过深度学习模型进行关键点检测确定所述工件的所述中心位置和所述工件相对转角。

在上述实现过程中，通过深度学习模型进行关键点检测对工件进行初定位，提高了初定位的精确度。

可选地，所述初定位模块具体用于：基于所述待抓取图像，通过高分辨率模型进行关键点检测，以确定所述工件的关键点，所述高分辨率模型基于高分辨率神经网络训练获得；基于所述关键点确定所述工件的所述中心位置和所述工件相对转角。

在上述实现过程中，基于高分辨率模型对工件进行关键点检测完成初定位，具有多尺度融合的特性，提高了定位精确度。

可选地，所述初定位模块具体用于：基于所述关键点构建关键点矩形，所述关键点分布在所述关键点矩形的边；基于所述关键点中的指定关键点所处的直线和所述待抓取图像的指定轴构成的角作为所述工件相对转角；将所述关键点矩形的中心作为所述中心位置。

在上述实现过程中，通过关键点矩形对工件的中心位置和工件相对转角进行确定，不需要进行复杂的图像处理，提高了定位效率。

可选地，所述精确定位模块具体用于：获取模板图像，所述模板图像为所述指定姿态的样板工件在所述指定位置处的图像；计算所述抓取图像中所述工件的相邻的两条指定边的直线坐标；将所述直线坐标转换至机械臂坐标系中，获得直线转换坐标；基于所述直线转换坐标确定所述工件的姿态误差。

在上述实现过程中，将机械臂抓取样板工件在指定位置的图像作为模板图像，与抓取图像进行对比从而确定抓取图形中的工件与样板工件的姿态偏差，从而对机械臂抓取的工件进行精确定位，图像处理所需照明条件以及相关设备需求较低，提高了精确定位的适用性。

可选地，所述精确定位模块具体用于：基于第一直线的第一直线转换坐标和所述样板工件的指定模板直线坐标，确定所述抓取图像中的所述工件与所述样板工件的角度误差，所述第一直线为所述两条指定边的直线中的任意一条。

在上述实现过程中，在抓取图像和模板图像中分别取抓取工件和模板工件相对应的直线进行坐标比对，简单、迅速地实现了工件角度误差的确定，提高了定位效率。

可选地，所述精确定位模块具体用于：基于所述角度误差控制所述机械臂旋转所述工件至所述角度误差为零，获得旋转抓取图像；确定所述旋转抓取图像中所述工件的所述两条指定边的第一交点坐标；确定所述模板图像中所述样板工件与所述两条指定边对应的两条边的第二交点坐标；将所述第一交点坐标和所述第二交点坐标的坐标差作为所述位置误差。

在上述实现过程中，在机械臂抓取的角度误差被调整后，抓取工件和模板工件中相对应的第一交点坐标和第二交点坐标的横坐标及纵坐标的差距即表示抓取工件需要调整的横向及纵向距离，从而简单、迅速地实现了工件位置误差的确定，提高了定位效率。

本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行上述任一实现方式中的步骤。

本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种机械臂定位方法的流程示意图。

图2为本申请实施例提供的一种高分辨率神经网络的结构示意图。

图3为本申请实施例提供的一种基于关键点的初定位步骤的流程示意图。

图4为本申请实施例提供的一种关键点的分布示意图。

图5为本申请实施例提供的一种姿态误差确定步骤的流程示意图。

图6为本申请实施例提供的一种姿态误差的示意图。

图7为本申请实施例提供的一种机械臂定位装置的模块示意图。

图标：20－机械臂定位装置；21－第一采集模块；22－初定位模块；23－机械臂控制模块；24－第二采集模块；25－精确定位模块。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

本申请实施例提供了一种机械臂定位方法，请参考图1，图1为本申请实施例提供的一种机械臂定位方法的流程示意图。该机械臂定位方法的具体步骤可以如下：

步骤S11：采集待抓取的工件的待抓取图像。

本实施例中采集待抓取图像的第一图像采集设备的镜头对准待抓取的工件的放置位置，该第一图像采集设备的分辨率等参数可以根据工件定位的具体需求进行灵活选取。

步骤S12：基于待抓取图像确定工件的中心位置和工件相对转角。

具体地，步骤S12可包括：基于待抓取图像，通过高分辨率模型进行关键点检测，以确定工件的关键点，高分辨率模型基于高分辨率神经网络训练获得；基于关键点确定工件的中心位置和工件相对转角。

工件的姿态问题和人体姿态估计问题类似，着重于输出可靠的高分辨率表征(Reliable High Resolution Representations)。现有的大多数方法都是从高分辨率到低分辨率网络(High－to－Low Resolution Network)产生的低分辨率表征中恢复高分辨率表征，这样会导致样本的特征信息不断损失。因此本实施例中的高分辨率模型基于高分辨率神经网络训练获得，高分辨率神经网络为(High－Resolution Net)，其包含多个并行的高分辨率到低分辨率的子网络，实现跨多分辨率子网络的信息交换(即多尺度融合，Multi－Scale Fusions)。

高分辨率神经网络首先采用高分辨率的子网络作为第一阶段，然后逐渐添加高分辨率到低分辨率的子网络，得到多个阶段的输出，最后，并行的连接多分辨率子网络的输出。其进行了多次多尺度融合，因此，使得每一个高分辨率到低分辨率的特征图表示，都可以一次又一次地从其它并行表示分支接收信息，从而得到信息更丰富的高分辨率表示。最终，网络输出的关键点热度图(Heat Map)更精确，空间分辨率精度更高。

高分辨率神经网络并行地连接各高分辨率到低分辨率子网络的输出，而不是被较多采用的串行连接。因此，高分辨率神经网络能够一直保持高分辨率表示，而不是采用低分辨率到高分辨率的处理来重构高分辨率表示，故高分辨率神经网络的关键点热度图具有更高的空间精确度。

此外，特征融合一般采用的是，底层特征表示与高层特征表示的聚合融合，而高分辨率神经网络采用的重复性的多尺度融合，基于相同网络深度和相似特征层的低分辨率表示的辅助，来提升高分辨率的表示能力，以使得高分辨率的表示更有助于姿态估计。

请参考图2，图2为本申请实施例提供的一种高分辨率神经网络的结构示意图。该高分辨率神经网络中的四边形表示特征图，水平指向直线表示卷积，斜向下指向直线表示下采样，斜向上指向直线表示上采样。

具体地，本实施例提供的如图2所示的高分辨率神经网络对比传统的应用于人体姿态检测的高分辨率神经网络根据工件定位的场景做了改进。

首先，由于工业上下料过程中工件的复杂程度较低并且背景较为单调和简单，因此工件定位用高分辨率神经网络减少了中间的卷积层数，将特征下采样次数减少1次，这样虽然减少模型的高级特征学习能力，但已经能够满足工件定位需求。然后将并行阶段也减少了一次从而降低计算。最后，传统人体姿态检测的高分辨率神经网络在训练阶段使用了三种尺度的特征点热度图进行特征点检测，并计算损失函数，本实施例中的工件定位高分辨率神经网络在训练和推测阶段均使用一个尺度的特征点热度图进行估计，从而降低训练和推测时间。这样做不仅在不影响检测精度的情况下增加模型的检测速度，还可以降低模型的存储空间。

可选地，本实施例可以通过深度学习模型进行关键点检测确定工件的中心位置和工件相对转角，请参考图3，图3为本申请实施例提供的一种基于关键点的初定位步骤的流程示意图，该初定位步骤的具体步骤可以如下：

步骤S121：基于关键点构建关键点矩形，关键点分布在关键点矩形的边。

本实施例中的关键点检测的结果可以是根据不同工件的具体形状在工件上标注的任意数量的关键点，请参考图4，图4为本申请实施例提供的一种关键点的分布示意图，本实施例中的关键点在工件上大致分布在一个矩形的四条边上，以便于进行工件的中心位置和工件相对转角的确定，其中数字表示各个关键点的序号。

应当理解的是，在工件为三角形、五边形或其它任意形状的实施例中，关键点的分布可以根据工件的具体形状进行设置。

可选地，基于关键点检测的结果，利用如图4所示的5个关键点计算出五个点都位于其上的一个矩形作为关键点矩形。

步骤S122：基于关键点中的指定关键点所处的直线和待抓取图像的指定轴构成的角作为工件相对转角。

可选地，本实施例中的关键点3、4为指定关键点，指定轴为待抓取图像的水平坐标轴，将关键点3、4所在的直线和待抓取图像的水平坐标轴所构成的角作为特征点矩形的旋转角，该旋转角即为工件相对转角。

步骤S123：将关键点矩形的中心作为中心位置。

可选地，由于关键点和工件的中心位置的坐标是相对固定的，因此本实施例中基于关键点1、3、4的坐标确定工件的中心位置。

应当理解的是，通过图像处理获得的工件的中心位置是像素值，在后续需要控制机械臂基于该中心位置的数据对工件进行抓取时，还需要基于机械臂和第一图像采集设备进行外参标定，将像素坐标表示的中心位置转换为机械臂坐标系表示。

步骤S13：基于中心位置和工件相对转角控制机械臂抓取工件。

上述中心位置用于确定机械臂的抓取位置，工件相对转角用于确定机械臂的抓取角度。

机械臂的控制模式可以选用三环反馈伺服控制、带前馈指令值的三环反馈伺服控制、非线性控制以及柔性控制等。具体地，将机械臂坐标系下的中心位置和工件相对转角生成机械臂控制指令，机械臂基于该机械臂控制指令进行位移和抓取姿态确定，从而实现对待抓取工件的抓取，其中，具体地指令生成和机械臂驱动步骤为本领域常规技术手段，在此不再赘述。

由于产线运动、相机覆盖视野大和检测速度要求等原因，往往上述初定位会存在位置和角度误差，当下一步装配操作需要高精度时，初定位的定位精度就不能满足要求，此时需要一次精确定位。

本实施例是通过增加一个图像采集设备进行工件局部特征采集对比来计算初定位的误差，精确定位中用于采集图像的第二图像采集设备安装位置只需位于上料位置到下料位置的任意一点。具体做法是将一次定位精度满足要求的工件抓取作为模板，其他每次抓取只需计算和模板的位置差距和角度差距即可。

步骤S14：在机械臂抓取工件移动至指定位置时，采集工件的抓取图像。

本实施例中采集抓取图像的第二图像采集设备的镜头对准工件标准位移路线中的指定位置，该第二图像采集设备的分辨率等参数可以根据工件定位的具体需求进行灵活选取。

应当理解的是，该指定位置应当位于第二图像采集设备的图像采集区域内。

步骤S15：基于抓取图像确定工件的姿态误差，姿态误差为工件与指定位置对应的指定姿态的相对误差。

具体地，请参考图5，图5为本申请实施例提供的一种姿态误差确定步骤的流程示意图，该姿态误差确定步骤可以如下：

步骤S151：获取模板图像，模板图像为指定姿态的样板工件在指定位置处的图像。

在采集模板图像之前，将模板的位置在第二图像采集设备的拍摄范围中移动多次并采集对应的标定图像，并基于标定图像进行第二图像采集设备和机械臂的外参标定，以便将像素位置误差和角度误差等投射至机械臂坐标系下。其中，标定图像的移动采集次数与外参标定选用的方法对应，例如采用九点标定法进行外参标定时需要移动并采集九张标定图像，采用三点标定法进行外参标定时需要移动并采集三张标定图像。

可选地，上述标定图像、抓取图像和模板图像可以是工件的局部图像。

步骤S152：计算抓取图像中工件的相邻的两条指定边的直线坐标。

对抓取图像中工件的局部图像采用机器视觉检测该局部图像中的特征点或线，从而提取并计算抓取图像中的工件的相邻的两条指定边的直线坐标。

上述指定边可以是局部图像中工件被选定的角的两条边。

具体地，采用机器视觉检测该局部图像中的特征点或线，可以是对输入的局部图像进行预处理(灰度化、高斯滤波、二值化和边缘检测)，然后在预处理后的图像上进行霍夫变换并检测直线，对霍夫变换获得的直线进行过滤得到选定角对应的最外侧两条直线及其直线坐标，此时的直线坐标为像素坐标。

步骤S153：将直线坐标转换至机械臂坐标系中，获得直线转换坐标。

基于第二图像采集设备前步骤标定的外参将直线坐标转换至机械臂坐标系。

步骤S154：基于直线转换坐标确定工件的姿态误差。

应当理解的是，本实施例中的姿态误差可以包括抓取图像与模板图像中的工件的角度误差和位置误差。

本实施例中确定角度误差的具体方式可以包括：基于第一直线的第一直线转换坐标和样板工件的指定模板直线坐标，确定抓取图像中的工件与样板工件的角度误差，第一直线为两条指定边的直线中的任意一条。

可选地，上述第一直线可以是模板图像中的样板工件与样板图像的水平轴(水平坐标轴)平行的直线在抓取图像中所对应的直线，上述指定模板直线坐标可以是样板图像的水平轴坐标，则根据该第一直线转换坐标与水平轴坐标计算出抓取图像和模板图像中的工件的角度误差。

在对角度误差完成检测后，可以直接基于图像坐标计算确定抓取图像旋转后消除角度误差后的对应坐标，再基于该对应坐标进行位置误差的确定，也可以是通过机械臂旋转消除角度误差后再次进行图像采集后进行位置误差的确定。

具体地，确定位置误差的步骤可以如下：

步骤S155：基于角度误差控制机械臂旋转工件至角度误差为零，获得旋转抓取图像。

该旋转抓取图像由上述第二图像采集设备拍摄获得。

步骤S156：确定旋转抓取图像中工件的两条指定边的第一交点坐标。

步骤S157：确定模板图像中样板工件与两条指定边对应的两条边的第二交点坐标。

步骤S158：将第一交点坐标和第二交点坐标的坐标差作为位置误差。

请参考图6，图6为本申请实施例提供的一种姿态误差的示意图，其中，Δθ为角度误差，(Δx,Δy)为位置误差。

步骤S16：基于姿态误差控制机械臂调整工件的姿态。

为了配合上述机械臂定位方法，本实施例还提供了一种机械臂定位装置20。

请参考图7，图7为本申请实施例提供的一种机械臂定位装置的模块示意图。

机械臂定位装置20包括：

第一采集模块21，用于采集待抓取的工件的待抓取图像；

初定位模块22，用于基于待抓取图像确定工件的中心位置和工件相对转角；

机械臂控制模块23，用于基于中心位置和工件相对转角控制机械臂抓取工件；

第二采集模块24，用于在机械臂抓取工件移动至指定位置时，采集工件的抓取图像；

精确定位模块25，用于基于抓取图像确定工件的姿态误差，姿态误差为工件与指定位置对应的指定姿态的相对误差；

机械臂控制模块23，还用于基于姿态误差控制机械臂调整工件的姿态。

可选地，初定位模块22具体用于：基于待抓取图像，通过深度学习模型进行关键点检测确定工件的中心位置和工件相对转角。

可选地，初定位模块22具体用于：基于待抓取图像，通过高分辨率模型进行关键点检测，以确定工件的关键点，高分辨率模型基于高分辨率神经网络训练获得；基于关键点确定工件的中心位置和工件相对转角。

可选地，初定位模块22具体用于：基于关键点构建关键点矩形，关键点分布在关键点矩形的边；基于关键点中的指定关键点所处的直线和待抓取图像的指定轴构成的角作为工件相对转角；将关键点矩形的中心作为中心位置。

可选地，精确定位模块25具体用于：获取模板图像，模板图像为指定姿态的样板工件在指定位置处的图像；计算抓取图像中工件的相邻的两条指定边的直线坐标；将直线坐标转换至机械臂坐标系中，获得直线转换坐标；基于直线转换坐标确定工件的姿态误差。

可选地，精确定位模块25具体用于：基于第一直线的第一直线转换坐标和样板工件的指定模板直线坐标，确定抓取图像中的工件与样板工件的角度误差，第一直线为两条指定边的直线中的任意一条。

可选地，精确定位模块25具体用于：基于角度误差控制机械臂旋转工件至角度误差为零，获得旋转抓取图像；确定旋转抓取图像中工件的两条指定边的第一交点坐标；确定模板图像中样板工件与两条指定边对应的两条边的第二交点坐标；将第一交点坐标和第二交点坐标的坐标差作为位置误差。

本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行本实施例提供的机械臂定位方法中任一项所述方法中的步骤。

应当理解是，该电子设备可以是个人电脑(PpersonalComputer，PC)、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)等具有逻辑计算功能的电子设备。

本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行机械臂定位方法中的步骤。

综上所述，本申请实施例提供了一种机械臂定位方法、装置、电子设备及存储介质，所述方法包括：采集待抓取的工件的待抓取图像；基于所述待抓取图像确定所述工件的中心位置和工件相对转角；基于所述中心位置和所述工件相对转角控制机械臂抓取所述工件；在所述机械臂抓取所述工件移动至指定位置时，采集所述工件的抓取图像；基于所述抓取图像确定所述工件的姿态误差，所述姿态误差为所述工件与所述指定位置对应的指定姿态的相对误差；基于所述姿态误差控制所述机械臂调整所述工件的姿态。

在上述实现过程中，对机械臂抓取工件进行两次定位，即对待抓取工件中心位置和工件相对转角进行确定的初定位，以使机械臂能够准确抓取工件，以及对已抓取工件的姿态进行确定的精确定位，不需要过度依赖特殊硬件机构和光照条件，提高了机械臂工件定位的准确度和适用性。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，RanDom Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种机械臂定位方法，其特征在于，所述方法包括：

采集待抓取的工件的待抓取图像；

基于所述待抓取图像确定所述工件的中心位置和工件相对转角；

基于所述中心位置和所述工件相对转角控制机械臂抓取所述工件；

在所述机械臂抓取所述工件移动至指定位置时，采集所述工件的抓取图像；

基于所述抓取图像确定所述工件的姿态误差，所述姿态误差为所述工件与所述指定位置对应的指定姿态的相对误差；

基于所述姿态误差控制所述机械臂调整所述工件的姿态。

2.根据权利要求1所述的方法，其特征在于，所述基于所述待抓取图像确定所述工件的中心位置和工件相对转角，包括：

基于所述待抓取图像，通过深度学习模型进行关键点检测确定所述工件的所述中心位置和所述工件相对转角。

3.根据权利要求2所述的方法，其特征在于，所述基于所述待抓取图像，通过深度学习模型进行关键点检测确定所述工件的所述中心位置和所述工件相对转角，包括：

基于所述待抓取图像，通过高分辨率模型进行关键点检测，以确定所述工件的关键点，所述高分辨率模型基于高分辨率神经网络训练获得；

基于所述关键点确定所述工件的所述中心位置和所述工件相对转角。

4.根据权利要求3所述的方法，其特征在于，所述基于所述关键点确定所述工件的所述中心位置和所述工件相对转角，包括：

基于所述关键点构建关键点矩形，所述关键点分布在所述关键点矩形的边；

基于所述关键点中的指定关键点所处的直线和所述待抓取图像的指定轴构成的角作为所述工件相对转角；

将所述关键点矩形的中心作为所述中心位置。

5.根据权利要求1所述的方法，其特征在于，所述基于所述抓取图像确定所述工件的姿态误差，包括：

获取模板图像，所述模板图像为所述指定姿态的样板工件在所述指定位置处的图像；

计算所述抓取图像中所述工件的相邻的两条指定边的直线坐标；

将所述直线坐标转换至机械臂坐标系中，获得直线转换坐标；

基于所述直线转换坐标确定所述工件的姿态误差。

6.根据权利要求5所述的方法，其特征在于，所述姿态误差包括角度误差，所述基于所述直线转换坐标确定所述工件的姿态误差，包括：

基于第一直线的第一直线转换坐标和所述样板工件的指定模板直线坐标，确定所述抓取图像中的所述工件与所述样板工件的角度误差，所述第一直线为所述两条指定边的直线中的任意一条。

7.根据权利要求6所述的方法，其特征在于，所述姿态误差包括位置误差，所述基于所述直线转换坐标确定所述工件的姿态误差，包括：

基于所述角度误差控制所述机械臂旋转所述工件至所述角度误差为零，获得旋转抓取图像；

确定所述旋转抓取图像中所述工件的所述两条指定边的第一交点坐标；

确定所述模板图像中所述样板工件与所述两条指定边对应的两条边的第二交点坐标；

将所述第一交点坐标和所述第二交点坐标的坐标差作为所述位置误差。

8.一种机械臂定位装置，其特征在于，所述装置包括：

第一采集模块，用于采集待抓取的工件的待抓取图像；

初定位模块，用于基于所述待抓取图像确定所述工件的中心位置和工件相对转角；

机械臂控制模块，用于基于所述中心位置和所述工件相对转角控制机械臂抓取所述工件；

第二采集模块，用于在所述机械臂抓取所述工件移动至指定位置时，采集所述工件的抓取图像；

精确定位模块，用于基于所述抓取图像确定所述工件的姿态误差，所述姿态误差为所述工件与所述指定位置对应的指定姿态的相对误差；

所述机械臂控制模块，还用于基于所述姿态误差控制所述机械臂调整所述工件的姿态。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1－7中任一项所述方法中的步骤。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1－7任一项所述方法中的步骤。

Images