CN116330285A - 机械臂控制方法、装置、机械臂及存储介质 - Google Patents

Abstract

本发明公开了一种机械臂控制方法、机械臂控制装置、机械臂及存储介质，属于自动化技术领域。其中，所述机械臂设置有变焦摄像头，所述机械臂控制方法包括以下步骤：获取所述变焦摄像头在不同焦距下采集的目标物体的图像数据；将多于一个所述图像数据输入第一深度学习模型，根据所述第一深度学习模型的输出结果确定所述机械臂的位姿信息和所述目标物体的位置信息；根据所述位姿信息和所述位置信息控制机械臂抓取所述目标物体。本申请实现了在不影响生产线的情况下，提高机械臂的抓取精度。

Description

机械臂控制方法、装置、机械臂及存储介质

技术领域

本发明涉及自动化领域，尤其涉及发明名称机械臂控制方法、机械臂控制装置、机械臂及存储介质。

背景技术

随着自动化生产的发展，在生产精度要求高，质量要求高的设备时，一般使用机械臂进行安装，需要控制机械臂进行抓取运输等任务。目前，通过深度相机获取目标物体的位置信息，以提高抓取的精度。但是，将机械臂上的普通相机更换为深度相机的对生产线产生较大的改动，影响生产的效率。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种机械臂控制方法、机械臂控制装置、机械臂及存储介质，旨在不影响生产线的情况下，提高机械臂的抓取精度。

为实现上述目的，本发明提供一种机械臂控制方法，所述机械臂设置有变焦摄像头，所述机械臂控制方法包括以下步骤：

获取所述变焦摄像头在不同焦距下采集的目标物体的图像数据；

将多于一个所述图像数据输入第一深度学习模型，根据所述第一深度学习模型的输出结果确定所述机械臂的位姿信息和所述目标物体的位置信息；

根据所述位姿信息和所述位置信息控制机械臂抓取所述目标物体。

可选地，所述将多于一个所述图像数据输入第一深度学习模型，根据所述第一深度学习模型的输出结果确定所述机械臂的位姿信息和所述目标物体的位置信息的步骤包括：

将多于一个所述图像数据输入所述目标物体对应的第一深度学习模型，获得每个所述图像数据中所述目标物体的第一位置信息和所述目标物体以外的背景区域的第二位置信息，所述输出结果包括多于一个所述第一位置信息和对应的所述第二位置信息；

根据所述第一位置信息和对应的所述第二位置信息分割对应的所述图像数据，得到每个所述图像数据对应的物体图像数据和所述背景区域对应的背景图像数据；

根据所述多于一个物体图像数据确定所述位置信息，并根据所述多于一个背景图像数据确定所述位姿信息。

可选地，所述位置信息包括所述目标物体与所述机械臂之间的目标距离，所述根据所述多于一个物体图像数据确定所述位置信息的步骤包括：

根据边缘检测算法确定所述物体图像数据中边缘区域的变化梯度；

确定所述变化梯度最大的所述物体图像数据对应的焦距为目标焦距；

根据所述目标焦距确定所述目标距离。

可选地，所述根据所述目标焦距确定所述目标距离的步骤包括：

当所述第一位置信息为对应的所述图像数据的几何中心时，根据焦距与距离的对应关系和所述目标焦距确定所述目标距离；

当所述第一位置信息为对应的所述图像数据的几何中心以外的位置时，根据所述目标焦距、所述对应关系以及所述第一位置信息与所述几何中心的像素差确定所述目标距离。

可选地，所述根据所述多于一个背景图像数据确定所述位姿信息的步骤之前，还包括：

获取机械臂在不同预设位姿距离下拍摄背景区域的预设图像数据，并记录每个所述预设图像数据对应的第一背景焦距和第一朝向角度；

根据所有所述预设图像数据、所有所述第一背景焦距以及所有所述第一朝向角度训练预设深度学习模型，获得所述第二深度学习模型；

所述根据所述多于一个背景图像数据确定所述位姿信息的步骤包括：

将所述多于一个所述背景图像数据中清晰度最高的所述背景图像数据输入所述第二深度学习模型，获得所述机械臂当前对应的第二背景焦距和第二朝向角度；

根据所述第二背景焦距和所述第一背景焦距确定多于一个所述预设图像数据中的目标图像数据，确定所述目标图像数据对应的所述预设位姿距离为目标位姿距离；

根据所述目标位姿距离和所述第二朝向角度确定所述位姿信息。

可选地，所述根据所述位姿信息和所述位置信息控制机械臂抓取所述目标物体的步骤包括：

根据所述位姿信息、所述位置信息以及所述机械臂的尺寸参数确定所述机械臂的抓取方式；

根据所述抓取方式确定所述机械臂的旋转关节的旋转量和所述机械臂的伸缩量；

根据所述旋转量和所述伸缩量控制所述机械臂抓取目标物体。

可选地，所述获取所述变焦摄像头在不同焦距下采集的目标物体的图像数据的步骤之前，还包括：

根据所述目标物体的体积确定所述变焦摄像头的景深；

根据所述景深确定所述焦距的数量；

根据所述数量确定多于一个所述焦距。

此外，为实现上述目的，本发明还提供一种机械臂控制装置，所述机械臂设置有变焦摄像头，所述机械臂控制装置包括：

获取模块，用于获取所述变焦摄像头在不同焦距下采集的目标物体的图像数据；

计算模块，用于将多于一个所述图像数据输入第一深度学习模型，根据所述第一深度学习模型的输出结果确定所述机械臂的位姿信息和所述目标物体的位置信息；

控制模块，用于根据所述位姿信息和所述位置信息控制机械臂抓取所述目标物体。

此外，为实现上述目的，本发明还提供一种机械臂，所述机械臂包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机械臂控制程序，所述机械臂控制程序配置为实现如上述任一项所述的机械臂控制方法的步骤。

此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有机械臂控制程序，所述机械臂控制程序被处理器执行时实现上述任一项所述的机械臂控制方法的步骤。

本发明提出一种机械臂控制方法，该方法包括：获取所述变焦摄像头在不同焦距下采集的目标物体的图像数据；将多于一个所述图像数据输入第一深度学习模型，根据所述第一深度学习模型的输出结果确定所述机械臂的位姿信息和所述目标物体的位置信息；根据所述位姿信息和所述位置信息控制机械臂抓取所述目标物体。相比目前的深度相机，通过获取不同焦距的图像数据输入所述第一深度学习模型，根据所述第一深度学习模型的输出结果，确定出最优焦距下的图像数据对应的所述位姿信息和所述位置信息，从而在原有普通相机的基础上，使得到的所述位姿信息和所述位置信息精度更高，在不需要更换为深度相机的情况下，提高机械臂抓取的精度。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的机械臂的结构示意图；

图2为本发明机械臂控制方法的第一实施例的流程示意图；

图3为本发明机械臂控制方法的第二实施例的流程示意图；

图4为本发明机械臂控制方法的第三实施例的流程示意图；

图5为本发明机械臂控制方法的第五实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的机械臂结构示意图。

如图1所示，该机械臂可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、变焦摄像头1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。变焦摄像头1003可以包括相机、镜头模组，可选变焦摄像头1003还可以通过包括标准的有线接口、无线接口与通信总线连接。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

此外，所述机械臂的一端还可以包括：机械抓手、吸盘等。

本领域技术人员可以理解，图1中示出的结构并不构成对机械臂的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及机械臂控制程序。

在图1所示的机械臂中，网络接口1004主要用于与其他设备进行数据通信；变焦摄像头1003主要用于获取图像数据；本发明机械臂中的处理器1001、存储器1005可以设置在机械臂中，所述机械臂通过处理器1001调用存储器1005中存储的机械臂控制程序，并执行本发明实施例提供的机械臂控制方法。

本发明实施例提供了一种机械臂控制方法，参照图2，图2为本发明一种机械臂控制方法第一实施例的流程示意图。

本实施例中，所述机械臂控制方法包括：

步骤S10，获取所述变焦摄像头在不同焦距下采集的目标物体的图像数据；

控制变焦摄像头在其可调节的焦距中确定多个拍摄的拍摄焦距，当变焦摄像头调节到拍摄焦距时，采集目标物体的图像数据，获取所述变焦摄像头在不同焦距下采集的所述图像数据。并且在拍摄图像数据的过程中，保持所述机械臂在同一位姿下。在本实施例中一般使拍摄所述图像数据中目标物体的占据的像素与所述图像数据的总像素数量的比值不超过预设像素比例，在一些情况下可以使拍摄所述图像数据中目标物体的占据的像素与所述图像数据的总像素数量的比值超过预设像素比例，例如：当机械臂即将能抓取目标物体时，或，当机械臂与所述目标物体的距离小于预设距离时。

步骤S20，将多于一个所述图像数据输入第一深度学习模型，根据所述第一深度学习模型的输出结果确定所述机械臂的位姿信息和所述目标物体的位置信息；

这里的第一深度学习模型为由目标物体的图像训练得到的深度学习模型，这里的输出结果为目标物体的位置信息和目标物体的以外的背景区域的位置信息。这里的第一深度学习模型的算法可以为：卷积神经网络(Convolutional Neural Networks,CNN)。根据第一深度学习模型可以确定所述目标物体在所述图像数据中的成像位置。具体地，将所有所述变焦摄像头在不同焦距下采集的所述图像数据分别输入第一深度学习模型，根据所述第一深度学习模型的输出结果确定所述机械臂的位姿信息和所述目标物体的位置信息。由于所述图像数据中存在焦点不在目标物体的上的图像数据，因此，存在所述第一深度学习模型无法识别出目标物体的情况。

步骤S30，根据所述位姿信息和所述位置信息控制机械臂抓取所述目标物体。

这里的位姿信息为机械臂所在的位置信息，例如机械臂的俯仰情况、机械臂的朝向方向以及机械臂的伸缩量等。这里的位置信息为目标物体所在的位置的信息。根据所述位姿信息和所述位置信息控制机械臂移动至与目标物体紧邻，并控制抓手抓取所述目标物体。

在本实施例中，相比目前的深度相机，通过获取不同焦距的图像数据输入所述第一深度学习模型，根据所述第一深度学习模型的输出结果，确定出最优焦距下的图像数据对应的所述位姿信息和所述位置信息，从而在原有普通相机的基础上，使得到的所述位姿信息和所述位置信息精度更高，在不需要更换为深度相机的情况下，提高机械臂抓取的精度。

进一步的，基于第一实施例，提出本发明机械臂控制方法的第二实施例，在本实施例中，参照图3，所述将多于一个所述图像数据输入第一深度学习模型，根据所述第一深度学习模型的输出结果确定所述机械臂的位姿信息和所述目标物体的位置信息的步骤包括：

步骤S21，将多于一个所述图像数据输入所述目标物体对应的第一深度学习模型，获得每个所述图像数据中所述目标物体的第一位置信息和所述目标物体以外的背景区域的第二位置信息，所述输出结果包括多于一个所述第一位置信息和对应的所述第二位置信息；

将多于一个所述图像数据输入所述目标物体对应的第一深度学习模型，第一深度学习模型确定目标物体在所述图像数据中的对应占据像素，从而确定所述第一位置信息和所述第二位置信息。所述输出结果包括每个所述图像数据对应的第一位置信息和第二位置信息。

步骤S22，根据所述第一位置信息和对应的所述第二位置信息分割对应的所述图像数据，得到每个所述图像数据对应的物体图像数据和所述背景区域对应的背景图像数据；

这里的物体图像数据指在所述图像数据中第一位置信息对应的位置的像素值，这里的背景图像数据指在所述图像数据中第二位置信息对应的位置的像素值。根据所述第一位置信息和对应的所述第二位置信息分割所述图像数据，得到每个所述图像数据对应的物体图像数据和背景图像数据。

步骤S23，根据所述多于一个物体图像数据确定所述位置信息，并根据所述多于一个背景图像数据确定所述位姿信息。

通过对所述多于一个物体图像数据进行图像处理确定多于一个物体图像数据中清晰度最高的物体图像数据对应的焦距确定所述位置信息，并根据所述多于一个背景图像数据确定所述位姿信息。在其他实施例中，由于拍摄过程中，机械臂的位姿相同。可以使其中一个所述图像数据对应的第一位置信息和第二位置信息更新所有所述图像数据对应的第一位置信息和第二位置信息，通过所述多于一个物体图像数据中清晰度最高的物体图像数据对应的第一位置信息和第二位置信息分别作为所有所述图像信息的第一位置信息和第二位置信息，并返回执行根据所述第一位置信息和对应的所述第二位置信息分割对应的所述图像数据，得到每个所述图像数据对应的物体图像数据和所述背景区域对应的背景图像数据的步骤。

在本实施例中，通过所述第一位置信息和第二位置信息分割所述图像数据，确定所述物体图像数据和背景图像数据，并根据所述多于一个物体图像数据确定所述位置信息，并根据所述多于一个背景图像数据确定所述位姿信息，从而提高所述机械臂的精度。

进一步的，基于第二实施例，提出本发明机械臂控制方法的第三实施例，在本实施例中，参照图4，所述位置信息包括所述目标物体与所述机械臂之间的目标距离，所述根据所述多于一个物体图像数据确定所述位置信息的步骤包括：

步骤S231，根据边缘检测算法确定所述物体图像数据中边缘区域的变化梯度；

这里的边缘区域包括所述目标物体的轮廓在所述物体图像数据中的区域。获取所述物体图像数据中的各像素位置的像素值，并基于所述像素值求解一阶导数，得到所述边缘区域的变化梯度。

步骤S232，确定所述变化梯度最大的所述物体图像数据对应的焦距为目标焦距；

由于当焦距不在所述目标物体上时，所述物体图像数据中无法清晰地出现目标物体的轮廓。具体地，在本实施例中确定所述变化梯度最大的所述物体图像数据可以为计算边缘区域各像素点一阶导数的绝对值的总和为梯度总和，比较所有所述物体图像数据对应的梯度总和，确定最大梯度总和对应的所述物体图像数据对应的焦距为目标焦距。

步骤S233，根据所述目标焦距确定所述目标距离。

这里的所述目标物体与所述机械臂之间的目标距离，根据焦距与距离的对应关系和所述目标焦距确定目标距离。在其他实施例中，通过比较每个所述物体图像数据中亮度最低的像素点的像素亮度值，确定所述像素亮度值最低的像素所在的所述物体图像数据对应的焦距为目标焦距，根据所述目标焦距确定所述目标距离。具体地，计算所述目标距离的公式可以为：

u＝1÷(1÷f-1÷v)

其中，u为所述目标距离，f为所述目标焦距，v为所述变焦摄像头的镜头中的透镜与相机感光元件的距离，即像距。与一般的拍摄时先调整焦距再调整像距以达到清晰图像不同，本实施例中一般将所述像距固定设置，但需要大于一倍焦距，因此，一般可设置等于或大于所述变焦摄像头可调节的最大焦距。在一些实施例中，由于目标物体距离较近时，所述变焦摄像头不需要达到最大焦距，可根据实际拍摄的环境确定所述像距。

此外，在其他实施例中，还可以根据超分辨率重建算法处理所有所述物体图像数据，得到分辨率更高的处理图像。从而避免由于相机像素数量较低导致的成像质量较低的问题。在得到分辨率更高的处理图像后，通过用户或其他识别方法确定所有处理图像中清晰度最高的所述物体处理图像对应的焦距为目标焦距。这里的超分辨率重建算法包括：基于插值的超分辨率重建、基于退化模型的超分辨率重建以及基于深度学习方法的超分辨率重建等。由于在本申请中用于对一张低分辨率的图像进行重建，一般使用基于单张低分辨率的重建方法(Single Image Super-Resolution，SISR)对处理所有所述物体图像数据。通过超分辨率重建算法，使得即使在一些像素数量较低，成像质量较低的相机上也能实现本实施例的技术方案。

在本实施例中，通过比较所述变化梯度确定所述变化梯度最大的所述物体图像数据对应的焦距为目标焦距，确定了成像质量最好的物体图像数据对应的焦距为目标焦距，导致目标焦距的准确性较高，进而提高所述目标距离的准确性，从而提高所机械臂的精度。

进一步的，基于第三实施例，提出本发明机械臂控制方法的第四实施例，在本实施例中，所述根据所述目标焦距确定所述目标距离的步骤包括：

当所述第一位置信息为对应的所述图像数据的几何中心时，根据焦距与距离的对应关系和所述目标焦距确定所述目标距离；

当所述第一位置信息为对应的所述图像数据的几何中心以外的位置时，根据所述目标焦距、所述对应关系以及所述第一位置信息与所述几何中心的像素差确定所述目标距离。

在本实施例中，具体地，比较所述第一位置信息中所述目标物体对应的第一几何中心的第一像素位置与所述图像数据的几何中心的第二像素位置。当所述第一像素位置等于所述第二像素位置时，根据焦距与距离的对应关系和所述目标焦距确定所述目标距离。当所述第一像素位置不等于所述第二像素位置时，根据所述目标物体的两端的实际长度与所述目标物体在所述物体图像数据中两端对应的像素距离和所述像素差确定几何中心点与所述目标物体的实际偏差距离，根据所述目标焦距所述对应关系几何中心实际距离和所述实际偏差距离确定所述目标距离。

在本实施例中，通过判断第一位置信息是否为对应的所述图像数据的几何中心，确定计算所述目标距离的方法，从而提高计算目标距离的准确度，进而提高所述机械臂的精度。

进一步地，基于上述第二实施例至第四实施例，提出本发明机械臂控制方法的第五实施例，参照图5，在本实施例中，所述根据所述多于一个背景图像数据确定所述位姿信息的步骤之前，还包括：

步骤S2301，获取机械臂在不同预设位姿距离下拍摄背景区域的预设图像数据，并记录每个所述预设图像数据对应的第一背景焦距和第一朝向角度；

这里的预设位姿距离是机械臂当前位姿下与拍摄的背景区域之间的距离，这里的第一背景焦距是指在预设位姿距离下拍摄背景区域的过程中，调整所述变焦摄像头的焦距使背景区域清晰度最高时，所述变焦摄像头对应的焦距。例如：当所述背景区域中背景墙的清晰度最高时，确定所述变焦摄像头的焦距为所述第一背景焦距；当所述背景区域中占据背景区域最大面积的物体的清晰度最高时，确定所述变焦摄像头的焦距为所述第一背景焦距；这里的第一朝向角度是指机械臂的抓取处的角度，本实施例中所述变焦摄像头与所述第一朝向角度相同。

步骤S2302,根据所有所述预设图像数据、所有所述第一背景焦距以及所有所述第一朝向角度训练预设深度学习模型，获得所述第二深度学习模型；

将每个所述预设图像数据的作为训练输入，所述预设图像数据对应第一背景焦距和第一朝向角度作为训练输出形成训练集中的一组训练数据。根据所述训练集训练所述预设深度学习模型，获得所述第二深度学习模型。

所述根据所述多于一个背景图像数据确定所述位姿信息的步骤包括：

步骤S2303，将所述多于一个所述背景图像数据中清晰度最高的所述背景图像数据输入所述第二深度学习模型，获得所述机械臂当前对应的第二背景焦距和第二朝向角度；

在所有所述背景图像数据中确定清晰度最高的所述背景图像数据作为输入第二深度学习模型的数据。具体地，所述清晰度可以为所述背景图像数据中各像素点的一阶导数的绝对值总和。也可以为所述背景图像数据的其他参数。获取所述第二深度学习模型的输出得到所述机械臂当前对应的第二背景焦距和第二朝向角度。

步骤S2304，根据所述第二背景焦距和所述第一背景焦距确定多于一个所述预设图像数据中的目标图像数据，确定所述目标图像数据对应的所述预设位姿距离为目标位姿距离；

在本实施例中，比较所述第一背景焦距和所述第二背景焦距的数值，确定多于一个所述预设图像数据中的目标图像数据，并通过所述目标图像数据对应的第一朝向角度与第二朝向角度比较，验证所述目标图像是否正确。具体地，当所述目标图像数据对应的第一朝向角度与第二朝向角度相等时，确定所述目标图像数据验证正确。根据所述目标图像数据对应的所述预设位姿距离为目标位姿距离。

步骤S2305，根据所述目标位姿距离和所述第二朝向角度确定所述位姿信息。

具体地，以包括两子手臂的机械臂为例，第一子手臂两端分别与第二子手臂和机械臂基座连接，第二子手臂两端分别与抓手和第一子手臂连接。根据目标位姿距离和第二朝向角度确定第二子手臂在空间的位置与朝向，根据第二子手臂的尺寸参数确定第二子手臂与所述第一子手臂连接的关节位置，根据所述关节位置和所述基座确定第一子手臂在空间的位置与朝向。从而确定所述机械臂的位姿信息。对于包括两子手臂以上的机械臂，可以根据子手臂的数量确定变焦摄像头的数量。并将所述变焦摄像头对应设置在子手臂上。在其他实施例中，在背景区域中的不同位置设置对应不同颜色条纹的格栅，根据所述背景图像数据中格栅的颜色和条纹确定机械臂的第二朝向角度，根据所述格栅占所述背景图像数据的像素个数确定目标位姿距离，根据所述目标位姿距离和所述第二朝向角度确定所述位姿信息。

在本实施例中，通过输入所述背景图像数据至第二深度学习模型，得到第二背景焦距和第二朝向角度，提高了并根据确定目标位姿距离的准确性，从而提高确定得到的所述位姿信息的准确性，进而提高所述机械臂的精度。

进一步地，基于上述任一实施例，提出本发明机械臂控制方法的第六实施例，在本实施例中，所述根据所述位姿信息和所述位置信息控制机械臂抓取所述目标物体的步骤包括：

根据所述位姿信息、所述位置信息以及所述机械臂的尺寸参数确定所述机械臂的抓取方式；

根据所述抓取方式确定所述机械臂的旋转关节的旋转量和所述机械臂的伸缩量；

根据所述旋转量和所述伸缩量控制所述机械臂抓取目标物体。

根据所述位姿信息、所述位置信息以及所述机械臂的尺寸参数确定抓取物体的方向，具体地例如当所述位姿信息和所述机械臂的尺寸参数只能达到所述位置信息的第一侧面时，确定在第一侧面抓取所述目标物体。确定将抓手移动至第一侧面时，所述机械臂的旋转关节的旋转量和所述机械臂的伸缩量，根据所述旋转量和所述伸缩量控制所述机械臂抓取目标物体。在其他实施例中，所述位姿信息和所述位置信息确定机械臂移动至抓取所述目标物体的最小移动方式，根据所述最小移动方式控制所述机械臂移动至与所述位置信息紧邻的位置，并抓取所述目标物体。

在本实施例中，通过所述目标所述确定抓取方式，确定所述机械臂的旋转关节的旋转量和所述机械臂的伸缩量，从而提高抓取目标物体过程中的抓取效率。

进一步地，基于上述任一实施例，提出本发明机械臂控制方法的第六实施例，在本实施例中，所述获取所述变焦摄像头在不同焦距下采集的目标物体的图像数据的步骤之前，还包括：

根据所述目标物体的体积确定所述变焦摄像头的景深；

根据所述景深确定所述焦距的数量；

根据所述数量确定多于一个所述焦距。

在拍摄过程中除了合焦平面处能形成清晰的图像外，在前景深和后景深之间的区域也能形成清晰的图像。因此，根据所述目标物体的体积确定所述变焦摄像头的景深可以确定目标物体中个位置都能形成清晰的图像。具体地，可以调节光圈的大小使得在不同焦距下拍摄的景深相同，根据景深确定所述焦距的数量，随所述景深越小，所述焦距的数量越大。根据所述焦距的数量设置多于一个所述焦距。在其他实施例中，根据变焦摄像头的变焦范围确定多于一个所述焦距。

在本实施例中，通过所述目标物体的体积确定所述变焦摄像头的景深，从而确定出合适的焦距的数量，避免了设置过多的焦距，从而减少拍摄所述图像数据的次数和时间，从而提高机械臂抓取所述目标物体的效率。

此外，本发明实施例还提出一种机械臂控制装置，所述机械臂设置有变焦摄像头，所述机械臂控制装置包括：

获取模块，用于获取所述变焦摄像头在不同焦距下采集的目标物体的图像数据；

计算模块，用于将多于一个所述图像数据输入第一深度学习模型，根据所述第一深度学习模型的输出结果确定所述机械臂的位姿信息和所述目标物体的位置信息；

控制模块，用于根据所述位姿信息和所述位置信息控制机械臂抓取所述目标物体。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有机械臂控制程序，所述机械臂控制程序被处理器执行时实现上述任一项所述的机械臂控制方法的实施例的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种机械臂控制方法，其特征在于，所述机械臂设置有变焦摄像头，所述机械臂控制方法包括以下步骤：

获取所述变焦摄像头在不同焦距下采集的目标物体的图像数据；

将多于一个所述图像数据输入第一深度学习模型，根据所述第一深度学习模型的输出结果确定所述机械臂的位姿信息和所述目标物体的位置信息；

根据所述位姿信息和所述位置信息控制机械臂抓取所述目标物体。

2.如权利要求1所述的机械臂控制方法，其特征在于，所述将多于一个所述图像数据输入第一深度学习模型，根据所述第一深度学习模型的输出结果确定所述机械臂的位姿信息和所述目标物体的位置信息的步骤包括：

将多于一个所述图像数据输入所述目标物体对应的第一深度学习模型，获得每个所述图像数据中所述目标物体的第一位置信息和所述目标物体以外的背景区域的第二位置信息，所述输出结果包括多于一个所述第一位置信息和对应的所述第二位置信息；

根据所述第一位置信息和对应的所述第二位置信息分割对应的所述图像数据，得到每个所述图像数据对应的物体图像数据和所述背景区域对应的背景图像数据；

根据所述多于一个物体图像数据确定所述位置信息，并根据所述多于一个背景图像数据确定所述位姿信息。

3.如权利要求2所述的机械臂控制方法，其特征在于，所述位置信息包括所述目标物体与所述机械臂之间的目标距离，所述根据所述多于一个物体图像数据确定所述位置信息的步骤包括：

根据边缘检测算法确定所述物体图像数据中边缘区域的变化梯度；

确定所述变化梯度最大的所述物体图像数据对应的焦距为目标焦距；

根据所述目标焦距确定所述目标距离。

4.如权利要求3所述的机械臂控制方法，其特征在于，所述根据所述目标焦距确定所述目标距离的步骤包括：

当所述第一位置信息为对应的所述图像数据的几何中心时，根据焦距与距离的对应关系和所述目标焦距确定所述目标距离；

当所述第一位置信息为对应的所述图像数据的几何中心以外的位置时，根据所述目标焦距、所述对应关系以及所述第一位置信息与所述几何中心的像素差确定所述目标距离。

5.如权利要求2所述的机械臂控制方法，其特征在于，所述根据所述多于一个背景图像数据确定所述位姿信息的步骤之前，还包括：

获取机械臂在不同预设位姿距离下拍摄背景区域的预设图像数据，并记录每个所述预设图像数据对应的第一背景焦距和第一朝向角度；

根据所有所述预设图像数据、所有所述第一背景焦距以及所有所述第一朝向角度训练预设深度学习模型，获得所述第二深度学习模型；

所述根据所述多于一个背景图像数据确定所述位姿信息的步骤包括：

将所述多于一个所述背景图像数据中清晰度最高的所述背景图像数据输入所述第二深度学习模型，获得所述机械臂当前对应的第二背景焦距和第二朝向角度；

根据所述第二背景焦距和所述第一背景焦距确定多于一个所述预设图像数据中的目标图像数据，确定所述目标图像数据对应的所述预设位姿距离为目标位姿距离；

根据所述目标位姿距离和所述第二朝向角度确定所述位姿信息。

6.如权利要求1所述的机械臂控制方法，其特征在于，所述根据所述位姿信息和所述位置信息控制机械臂抓取所述目标物体的步骤包括：

根据所述位姿信息、所述位置信息以及所述机械臂的尺寸参数确定所述机械臂的抓取方式；

根据所述抓取方式确定所述机械臂的旋转关节的旋转量和所述机械臂的伸缩量；

根据所述旋转量和所述伸缩量控制所述机械臂抓取目标物体。

7.如权利要求1至6任一项所述的机械臂控制方法，其特征在于，所述获取所述变焦摄像头在不同焦距下采集的目标物体的图像数据的步骤之前，还包括：

根据所述目标物体的体积确定所述变焦摄像头的景深；

根据所述景深确定所述焦距的数量；

根据所述数量确定多于一个所述焦距。

8.一种机械臂控制装置，其特征在于，所述机械臂设置有变焦摄像头，所述机械臂控制装置包括：

获取模块，用于获取所述变焦摄像头在不同焦距下采集的目标物体的图像数据；

计算模块，用于将多于一个所述图像数据输入第一深度学习模型，根据所述第一深度学习模型的输出结果确定所述机械臂的位姿信息和所述目标物体的位置信息；

控制模块，用于根据所述位姿信息和所述位置信息控制机械臂抓取所述目标物体。

9.一种机械臂，其特征在于，所述机械臂包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机械臂控制程序，所述机械臂控制程序配置为实现如权利要求1至7中任一项所述的机械臂控制方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有机械臂控制程序，所述机械臂控制程序被处理器执行时实现如权利要求1至7任一项所述的机械臂控制方法的步骤。

Images