CN110181504A - 一种控制机械臂移动的方法、装置及控制设备 - Google Patents
一种控制机械臂移动的方法、装置及控制设备 Download PDFInfo
- Publication number
- CN110181504A CN110181504A CN201810154165.2A CN201810154165A CN110181504A CN 110181504 A CN110181504 A CN 110181504A CN 201810154165 A CN201810154165 A CN 201810154165A CN 110181504 A CN110181504 A CN 110181504A
- Authority
- CN
- China
- Prior art keywords
- target
- mechanical arm
- image
- positional relationship
- tail end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40005—Vision, analyse image at one station during manipulation at next station
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种控制机械臂移动的方法、装置及控制设备，所述方法包括：获取摄像机采集的包含目标物体的目标图像；提取目标图像的目标图像特征；根据目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定目标物体和机械臂末端的目标位置关系；根据目标位置关系确定机械臂的目标运动方向；控制机械臂按照目标运动方向移动预设距离。在控制机械臂移动过程中，无需采用深度摄像头，也不需要训练深度学习模型，控制机械臂移动时的计算量大大减少，抓取效率得到提高。
Description
技术领域
本发明涉及机械臂控制技术领域，特别是涉及一种控制机械臂移动的方法、装置及控制设备。
背景技术
利用机械臂抓取物体的应用越来越广泛，例如，分拣货物，自动装配零部件等。为了准确抓取物体，这些机械臂一般是基于视觉的，也就是说，机械臂末端安装摄像机，通过对物体进行拍摄得到的图像，确定机械臂的移动方向和距离。
比较常用的方式有两种，第一种是通过深度摄像头得到物体的深度图像，进而转化成点云数据，然后对点云数据进行处理和计算，采用3D视觉的方案获取待抓取物体的空间位置，确定机械臂的移动方向和距离。第二种是基于深度学习的方式，采用一般的RGB摄像机，采集特定场景下的大量图像样本，通过图像样本训练得到深度学习网络模型，进而，将当前采集的图像输入深度学习网络模型，可以得到机械臂与物体的位置关系，也就可以确定机械臂的移动方向和距离。
但是，深度摄像头一般体积较大，价格较贵，与机械臂安装在一起会限制机械臂的运动空间，且处理点云数据需要大量的计算和复杂的处理过程，抓取效率低。采用深度学习的方式则需要采集大量的图像样本，网络模型对不同场景下同一物体的泛化能力很差，也就是说，每次切换场景或者物体都需要重新采集大量的图像样本，重新进行网络模型的训练，处理数据量也非常大，抓取效率低。
发明内容
本发明实施例的目的在于提供一种控制机械臂移动的方法、装置及控制设备，以减少控制机械臂移动时的计算量，提高抓取效率。具体技术方案如下：
第一方面，本发明实施例提供了一种控制机械臂移动的方法，应用于与所述机械臂通信连接的控制设备，所述机械臂末端安装有摄像机，所述方法包括：
获取所述摄像机采集的包含目标物体的目标图像；
提取所述目标图像的目标图像特征；
根据所述目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定所述目标物体和所述机械臂末端的目标位置关系，其中，所述位置关系为图像中的物体与机械臂末端的相对位置关系；
根据所述目标位置关系确定所述机械臂的目标运动方向；
控制所述机械臂按照所述目标运动方向移动预设距离。
可选的，在所述控制所述机械臂按照所述目标运动方向移动预设距离的步骤之后，所述方法还包括：
控制所述机械臂抓取所述目标物体。
可选的，所述预设距离根据所述目标位置关系确定。
可选的，所述图像特征为图像特征向量；
所述根据所述目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，包括：
计算所述目标图像特征与预先建立的映射关系中的每一图像特征向量的距离；
根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系。
可选的，所述根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，包括：
将与所述目标图像特征距离最近的K个图像特征向量确定为近邻特征向量，其中，K为大于1的正整数；
根据所述映射关系，确定每个所述近邻特征向量对应的位置关系；
根据所确定的位置关系，确定所述目标物体和所述机械臂末端的目标位置关系。
可选的，所述根据所确定的位置关系，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，包括：
将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
可选的，在所述将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系的步骤之前，所述方法还包括：
确定所述比例最高的位置关系的比例达到预设比例。
可选的，所述根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，包括：
确定与所述目标图像特征距离最近的一个图像特征向量；
根据所述映射关系，确定所述与所述目标图像特征距离最近的一个图像特征向量对应的位置关系；
将所确定的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
可选的，所述图像特征与位置关系的映射关系的建立方式，包括：
获取所述摄像机采集的每个预设场景下的预设数量的图像样本，其中，所述图像样本中包含物体；
根据所述机械臂末端与所述物体的实际位置关系，确定每一预设场景对应的位置关系；
提取所述图像样本的图像特征；
将每一预设场景对应的图像样本的图像特征与其对应的位置关系建立映射关系。
第二方面，本发明实施例提供了一种控制机械臂移动的装置，应用于与所述机械臂通信连接的控制设备，所述机械臂末端安装有摄像机，所述装置包括：
目标图像获取模块，用于获取所述摄像机采集的包含目标物体的目标图像；
图像特征提取模块，用于提取所述目标图像的目标图像特征；
目标位置关系确定模块，用于根据所述目标图像特征以及映射关系建立模块预先建立的图像特征与位置关系的映射关系，确定所述目标物体和所述机械臂末端的目标位置关系，其中，所述位置关系为图像中的物体与机械臂末端的相对位置关系；
目标运动方向确定模块，用于根据所述目标位置关系确定所述机械臂的目标运动方向；
移动控制模块，用于控制所述机械臂按照所述目标运动方向移动预设距离。
可选的，所述装置还包括：
抓取控制模块，用于在控制所述机械臂按照所述目标运动方向移动预设距离之后，控制所述机械臂抓取所述目标物体。
可选的，所述预设距离根据所述目标位置关系确定。
可选的，所述图像特征为图像特征向量；
所述目标位置关系确定模块包括：
距离计算子模块，用于计算所述目标图像特征与预先建立的映射关系中的每一图像特征向量的距离；
目标位置关系确定子模块，用于根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系。
可选的，所述目标位置关系确定子模块包括：
近邻特征向量确定单元，用于将与所述目标图像特征距离最近的K个图像特征向量确定为近邻特征向量，其中，K为大于1的正整数；
第一位置关系确定单元，用于根据所述映射关系，确定每个所述近邻特征向量对应的位置关系；
第一目标位置关系确定单元，用于根据所确定的位置关系，确定所述目标物体和所述机械臂末端的目标位置关系。
可选的，所述第一目标位置关系确定单元包括：
目标位置关系确定子单元，用于将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
可选的，所述第一目标位置关系确定单元还包括：
比例确定确定子单元，用于在将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系之前，确定所述比例最高的位置关系的比例达到预设比例。
可选的，所述目标位置关系确定子模块包括：
图像特征向量确定单元，用于确定与所述目标图像特征距离最近的一个图像特征向量；
第二位置关系确定单元，用于根据所述映射关系，确定所述与所述目标图像特征距离最近的一个图像特征向量对应的位置关系；
第二目标位置关系确定单元，用于将所确定的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
可选的，所述映射关系建立模块包括：
图像样本获取子模块，用于获取所述摄像机采集的每个预设场景下的预设数量的图像样本，其中，所述图像样本中包含物体；
场景位置关系确定子模块，用于根据所述机械臂末端与所述物体的实际位置关系，确定每一预设场景对应的位置关系；
样本图像特征提取子模块，用于提取所述图像样本的图像特征；
映射关系建立子模块，用于将每一预设场景对应的图像样本的图像特征与其对应的位置关系建立映射关系。
第三方面，本发明实施例还提供了一种控制设备，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现任一上述的控制机械臂移动的方法步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一上述的控制机械臂移动的方法步骤。
本发明是实施例所提供的方案中，控制设备首先获取机械臂末端安装的摄像机采集的包含目标物体的目标图像，提取目标图像的目标图像特征，然后根据目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定目标物体和机械臂末端的目标位置关系，再根据目标位置关系确定机械臂的目标运动方向，最后控制机械臂按照目标运动方向移动预设距离。在控制机械臂移动过程中，无需采用深度摄像头，也不需要训练深度学习模型，控制机械臂移动时的计算量大大减少，抓取效率得到提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种控制机械臂移动的方法的流程图；
图2为图1所示实施例中目标位置关系确定方的一种流程图；
图3为图1所示实施例中目标位置关系确定方的另一种流程图；
图4为图1所示实施例中映射关系建立方式的一种流程图；
图5为图像特征与位置关系的映射关系的一种示意图；
图6为本发明实施例所提供的一种控制机械臂移动的装置的结构示意图；
图7为本发明实施例所提供的一种控制设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了减少控制机械臂移动时的计算量，提高抓取效率，本发明实施例提供了一种控制机械臂移动的方法、装置、控制设备及计算机可读存储介质。
下面首先对本发明实施例所提供的一种控制机械臂移动的方法进行介绍。
本发明实施例所提供的一种控制机械臂移动的方法可以应用于任意与机械臂通信连接的控制设备，以下简称控制设备，例如，可以为处理器、电脑、平板电脑、手机等控制设备，在此不做具体限定。其中，机械臂末端可以安装有摄像机，用于采集图像。
如图1所示，一种控制机械臂移动的方法，所述方法包括：
S101，获取所述摄像机采集的包含目标物体的目标图像；
S102，提取所述目标图像的目标图像特征；
S103，根据所述目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定所述目标物体和所述机械臂末端的目标位置关系；
其中，所述位置关系为图像中的物体与机械臂末端的相对位置关系。
S104，根据所述目标位置关系确定所述机械臂的目标运动方向；
S105，控制所述机械臂按照所述目标运动方向移动预设距离。
可见，本发明是实施例所提供的方案中，控制设备首先获取机械臂末端安装的摄像机采集的包含目标物体的目标图像，提取目标图像的目标图像特征，然后根据目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定目标物体和机械臂末端的目标位置关系，再根据目标位置关系确定机械臂的目标运动方向，最后控制机械臂按照目标运动方向移动预设距离。在控制机械臂移动过程中，无需采用深度摄像头，也不需要训练深度学习模型，控制机械臂移动时的计算量大大减少，抓取效率得到提高。
在上述步骤S101中，控制设备可以获取机械臂末端安装的摄像机所采集的目标图像，该目标图像包含目标物体。目标物体一般为机械臂所要抓取的物体，例如，机械臂所要抓取的物体为杯子，那么杯子即为目标物体，目标图像中便包含该杯子。目标图像所指代的即为包含目标物体的图像，并不具有其他限定意义。其中，控制设备所获取的目标图像可以是摄像机当前时刻采集的图像，也可以是摄像机所保存的当前时刻之前采集的图像，这都是合理的。
如果目标物体相对于机械臂末端的位置是实时改变的，需要实时确定机械臂的移动方向及距离，那么控制设备所获取的目标图像便可以是摄像机当前时刻采集的目标图像，这样目标图像中包含的目标物体的状态即为当前时刻的状态。
接下来，控制设备可以提取目标图像的目标图像特征，具体来说，控制设备可以通过卷积神经网络等提取目标图像的目标图像特征。例如，控制设备可以采用VGG16、VGG19、RESNET等已有卷积神经网络提取目标图像的目标图像特征，这都是合理的，在此不做具体限定。
在另一种实施方式中，可以构建一个卷积神经网络模型，进行模型训练，拿掉最后一层输出层，获取卷积神经网络对所输入的图像进行多次抽象提取的图像特征即可。由于构建及训练卷积神经网络模型为本领域常用的技术手段，在此不做具体限定及说明，只要训练得到的卷积神经网络模型可以对图像进行提取得到图像特征即可。
当然，卷积神经网络仅为一种实现方式，并不用于限定本发明，在本发明的其它实施例中，也可以采用其它类型的神经网络模型来实现目标网络模型，只要能够实现提取图像特征向量即可。
提取目标图像的目标图像特征后，在步骤S103中，控制设备便可以根据目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定目标物体和机械臂末端的目标位置关系。其中，该位置关系为图像中的物体与机械臂末端的相对位置关系。
上述映射关系中的图像特征可以为是预先获取的各种场景下的图像样本的图像特征，上述映射关系中的位置关系可以为各种场景下采集的图像样本中的物体与机械臂末端的相对位置关系的标识。该相对位置关系可以为物体在机械臂末端的左、右、上、下、前、中央等，在此不做具体限定。为了方案清楚及布局清晰，对于该映射关系的建立方式，后续将会举例介绍。
在一种实施方式中，预先建立的映射关系可以通过构建一个表格实现，例如，可以如下表所示：
这样，控制设备提取目标图像特征后，便可以根据目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定目标物体和机械臂末端的目标位置关系，例如，可以采用K近邻算法等。
需要说明的是，在本文中所说的左、右、上、下、前及中央，均是相对于机械臂而言的，左、右、上、下、前及中央的具体方位即为与通常理解的左、右、上、下、前及中央是一致的。
控制设备确定上述目标位置关系后，便可以根据目标位置关系确定机械臂的目标运动方向。进而，在步骤S105中，控制设备便可以控制机械臂按照目标运动方向移动预设距离。其中，该预设距离可以根据机械臂当前状态以及目标物体大小以及目标位置关系等因素确定，在此不作具体限定。例如，可以为10厘米、5厘米、1厘米、0.5厘米等。
例如，如果目标位置关系为左，那么说明目标物体处于机械臂末端的左侧，那么显然机械臂需要向左移动，才能最终成功抓取目标物体，所以目标运动方向即为左。进而，控制设备便可以控制机械臂向左移动预设距离。
又例如，如果目标位置关系为前，那么说明目标物体处于机械臂末端的前方，那么显然机械臂需要向前移动，才能最终成功抓取目标物体，所以目标运动方向即为前。进而，控制设备便可以控制机械臂向前移动预设距离。
作为本发明实施例的一种实施方式，上述预设距离可以根据上述目标位置关系确定。具体来说，由于目标位置关系表征了目标图像中的目标物体与机械臂末端的相对位置关系，机械臂需要移动的距离明显与目标物体与机械臂末端的相对位置关系有关，因此，控制设备可以根据上述目标位置关系确定预设距离。
举例来说，如果目标位置关系为“左A”，其中，“左A”表示目标物体处于机械臂末端的左侧且比较远的位置，此时，机械臂需要进行大范围的移动，那么预设距离便可以为10厘米、15厘米、20厘米等较长的距离，这样可以使机械臂移动的次数较少便可以到达目标物体附近。
如果目标位置关系为“左a”，其中，“左a”表示目标物体处于机械臂末端的左侧且比较近的位置，此时，机械臂需要进行小范围的移动，那么预设距离便可以为1厘米、1.5厘米、2.0厘米等较近的距离，也就是对机械臂进行微调，这样可以保证机械臂移动时不会碰撞目标物体。
如果目标位置关系为“中a”，其中，“中a”表示目标物体处于机械臂末端的中央且非常近的位置，此时，机械臂不需要进行移动，那么预设距离便可以为0厘米。
可见，在本实施例中，控制设备可以根据目标位置关系确定预设距离，这样，可以根据目标物体与机械臂末端的相对位置关系，确定机械臂移动的距离，保证机械臂不发生无效的移动，同时保证机械臂在移动时不会碰撞目标物体，进一步提高机械臂的抓取效率。
作为本发明实施例的一种实施方式，在上述控制所述机械臂按照所述目标运动方向移动预设距离的步骤之后，上述方法还可以包括：控制所述机械臂抓取所述目标物体。可以理解的是，机械臂用来抓取物体的一般是机械爪，上述机械臂末端可以理解为机械爪的末端。
在机械臂移动至抓取点时，控制设备便可以控制机械臂通过机械爪抓取目标物体，其中，抓取点可以为距离目标物体在预设范围内的点，该预设范围即为可以保证机械爪能够抓取到目标物体的范围，具体可以根据目标物体的大小，机械爪的大小等因素确定，在此不做具体限定。
在一种实施方式中，当上述目标运动方向为中央，预设距离为0时，说明目标物体当前处在相对于机械臂末端的中央位置，且二者距离非常近，那么上述控制机械臂按照目标运动方向移动预设距离的步骤具体可以为：控制机械臂进行移动的距离为0，也就是不进行移动。那么，此时机械臂末端的机械爪已经可以对目标物体进行抓取，所以控制设备便可以控制机械臂通过机械爪抓取目标物体。
在另一种实施方式中，当上述目标运动方向不为中央时，说明机目标物体当前处在相对于械臂末端的非中央位置，那么机械臂需要继续移动，以最终移动至上述抓取点位置。在这种情况下，控制设备在控制机械臂按照目标运动方向移动预设距离后，可以返回步骤S101，循环执行步骤S101-步骤S105，直到确定目标运动方向为中央，预设距离为0时，控制设备便可以控制机械臂通过机械爪抓取目标物体。
为了方便控制机械臂移动，可以将机械臂移动过程划分为两个子过程，第一个子过程中，一般机械臂距离目标物体较远，需要进行大范围的移动，在此过程中，控制设备可循环执行步骤S101-步骤S105，直到确定目标运动方向为中央，预设距离为0时，便可以进入第二个子过程。
在第一个子过程中，控制设备可以控制机械臂向左、右、前、上及下等方向进行移动，对于向不同方向移动的顺序，并不会影响机械臂的移动和抓取，因此不做具体限定。如果目标物体是放置于固定平台上的，目标物体的高度是固定不变的，那么为了进一步减少计算量，机械臂可以在与目标物体高度相同的平面内移动，在移动过程中也就不需要进行上下方向的移动。
在第二个子过程中，一般机械臂距离目标物体较近，需要进行小范围的移动，即微调过程，在此过程中，控制设备可循环执行步骤S101-步骤S105，直到确定目标运动方向为中央，预设距离为0时，便可以控制机械臂抓取目标物体。需要说明的是，在微调过程中，机械臂每次移动的预设距离一般是较小的，例如，0.5厘米、0.8厘米、1厘米等，小于第一个子过程中机械臂每次移动的距离。
在该子过程中，控制设备同样可以控制机械臂向左、右、前、上及下等方向进行移动，对于向不同方向移动的顺序，并不会影响机械臂的移动和抓取，因此不做具体限定。如果目标物体是放置于固定平台上的，目标物体的高度是固定不变的，那么为了进一步减少计算量，机械臂可以在与目标物体高度相同的平面内移动，在移动过程中也就不需要进行上下方向的移动。
可见，在本实施例中，控制设备可以在机械臂到达目标物体附近，满足抓取条件时，控制机械臂对目标物体进行抓取，整个抓取过程中不需要深度摄像头及深度学习网络模型的训练，计算量大大减少，抓取效率进一步提高。
针对上述图像特征为图像特征向量的情况而言，作为本发明实施例的一种实施方式，上述根据所述目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，可以包括：
计算所述目标图像特征与预先建立的映射关系中的每一图像特征向量的距离；根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系。
其中，图像特征向量一般为可以表征目标图像的图像特征的向量，一般情况下为一高维向量。
首先控制设备可以计算目标图像特征与预先建立的映射关系中的每一图像特征向量的距离。也就是说，控制设备可以逐一计算目标图像特征与预先建立的映射关系中的每一图像特征向量的距离。
例如，预先建立的映射关系中的图像特征向量共有50个，那么控制设备便可以逐一计算目标图像特征与该50个图像特征向量的距离，共得到50个距离值。
本方案中所说的图像特征向量之间的距离可以理解为图像特征向量之间的相似性，图像特征向量之间的相似度越高，则距离越近，反之，图像特征向量之间的相似度越低，则距离越远。
由于两个单位向量a、b的数量积的表达式为|a||b|cosθ，其中，θ为两个向量之间的夹角。该数量积可以表示两个单位向量的相似性，具体来说，θ越接近0度，两个向量越接近重合，说明两个向量的相似度越高，也就是说，数量积越接近1，说明两个单位向量的相似度越高，距离越近。
同理的，目标图像特征与预先建立的映射关系中的每个图像特征向量之间的距离也可以用向量的数量积表示，例如，目标图像特征用A表示，预先建立的映射关系中的一个图像特征向量用B表示，那么二者的距离即为A·B＝|A||B|cosθ，其中，θ为向量A、B之间的夹角。目标图像特征与上述映射关系中的每个图像特征向量之间的距离均可以通过同样的方式计算得到，在此不再赘述。
进而，控制设备便可以根据计算得到的距离，确定目标物体和机械臂末端的目标位置关系。例如，可以采用K近邻算法来确定目标物体和机械臂末端的目标位置关系。为了方案清楚及布局清晰，后续将会对确定目标物体和机械臂末端的目标位置关系的具体方式进行距离介绍。
可见，在本实施例中，控制设备可以计算目标图像特征与预先建立的映射关系中的每一图像特征向量的距离，进而，根据计算得到的距离，确定目标物体和机械臂末端的目标位置关系，可以快速准确地确定目标位置关系，便于后续步骤的进行，提高抓取效率。
针对上述图像特征为图像特征向量的情况而言，作为本发明实施例的一种实施方式，如图2所示，上述根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，可以包括：
S201，将与所述目标图像特征距离最近的K个图像特征向量确定为近邻特征向量；
控制设备计算得到目标图像特征与预先建立的图像特征与位置关系的映射关系中的每个图像特征向量之间的距离后，控制设备便可以将与目标图像特征距离最近的K个图像特征向量确定为近邻特征向量，其中，K可以为大于1的正整数，例如可以为3、5、10、12等，在此不做具体限定。
由上述描述可知，两个向量的数量积越接近1，说明两个单位向量的相似度越高，距离越近，因此，控制设备便可以确定与目标图像特征的数量积最接近1的K个图像特征向量，将这K个图像特征向量确定为近邻特征向量，可以理解的是，该K个近邻特征向量与目标图像特征的相似度最高。
S202，根据所述映射关系，确定每个所述近邻特征向量对应的位置关系；
在上述预先建立的映射关系中，每个图像特征向量对应有位置关系，因此确定了上述近邻特征向量后，控制设备便可以根据该映射关系，确定每个近邻特征向量对应的位置关系。
如上述表格所示，预先建立的映射关系可以通过构建一个表格实现。示例性的，如果在步骤S201中控制设备确定的近邻向量为X1、X2及X6，那么根据上表中的对应关系可以得到近邻向量X1、X2及X6对应的位置关系依次为：左A、前A及左A。
S203，根据所确定的位置关系，确定所述目标物体和所述机械臂末端的目标位置关系。
确定近邻特征向量对应的位置关系后，控制设备便可以根据所确定的位置关系，确定上述目标物体和机械臂末端的目标位置关系。在一种实施方式中，控制设备可以根据所确定的位置关系中各位置关系所占比例，确定目标物体和机械臂末端的目标位置关系。
可见，在本实施例中，控制设备可以采用K近邻算法，计算目标图像特征与预先建立的图像特征与位置关系的映射关系中的每一图像特征向量的距离，确定近邻特征向量，进而确定目标物体和机械臂末端的目标位置关系，计算量小，耗费时间短，可以快速确定目标物体和机械臂末端的目标位置关系。
作为本发明实施例的一种实施方式，上述根据所确定的位置关系，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，可以包括：
将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
控制设备确定近邻特征向量对应的位置关系后，可以得出所确定的位置关系中比例最高的位置关系，由于对于该比例最高的位置关系来说，说明与目标图像的目标图像特征最为相似的近邻特征向量所对应的位置关系大多数为该比例最高的位置关系，那么说明目标图像与这些最为相似的近邻特征向量对应的图像的特征最为相似，因此，目标图像所对应的位置关系与这些最为相似的近邻特征向量对应的图像所对应的位置关系也就最为相近，进而，控制设备便可以将该比例最高的位置关系确定为目标位置关系。
依然以上述步骤S202中的例子为例，近邻向量X1、X2及X6对应的位置关系依次为：左A、前A及左A。可以看出，位置关系左A对应的比例为2/3，位置关系前A对应的比例为1/3，显然，比例最高的位置关系为左A，那么控制设备便可以将左A确定为目标物体和机械臂末端的目标位置关系。假如位置关系左A为“物体在机械臂末端的左侧较远处”，那么目标物体和机械臂末端的目标位置关系也就是“目标物体在机械臂末端的左侧较远处”。
可见，在本实施例中，控制设备可以将所确定的位置关系中比例最高的位置关系确定为目标物体和机械臂末端的目标位置关系，能够快速准确地确定目标物体和机械臂末端的目标位置关系，进一步减少计算量，提高抓取效率。
为了更准确地确定目标位置关系，作为本发明实施例的一种实施方式，在上述将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系的步骤之前，上述方法还可以包括：
确定所述比例最高的位置关系的比例达到预设比例。
由于在一些情况下，上述比例最高的位置关系也可能对应一个很低的比例，例如10％、20％、25％等，那么说明该比例最高的位置关系所对应的图像的特征与目标图像的特征的相似度也不是很高，此时如果将该比例最高的位置关系确定为目标位置关系，目标位置关系的确定可能是不够准确的，因此，在将所确定的位置关系中比例最高的位置关系，确定为目标位置关系之前，控制设备可以确定该比例最高的位置关系的比例是否达到预设比例。
其中，该预设比例可以根据实际抓取所需的准确率等因素确定，例如，可以为50％、60％、70％等，在此不做具体限定。这样，如果上述比例最高的位置关系的比例达到预设比例，那么控制设备便可以确定该比例最高的位置关系为目标位置关系。如果上述比例最高的位置关系的比例未达到预设比例，那么控制设备可以输出提示信息，提示用户目标位置关系确定异常等。
示例性的，如果预设比例为70％，在上述步骤中所确定的比例最高的位置关系的比例为80％，那么控制设备便可以确定比例最高的位置关系为目标位置关系。在上述步骤中所确定的比例最高的位置关系的比例为40％，那么控制设备可以输出提示信息，提示用户目标位置关系确定异常。
可见，在本实施例中，控制设备在将所确定的位置关系中比例最高的位置关系，确定为目标位置关系之前，可以确定比例最高的位置关系的比例达到预设比例，这样可以更准确地确定目标位置关系。
针对上述图像特征为图像特征向量的情况而言，作为本发明实施例的一种实施方式，如图3所示，上述根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，包括：
S301，确定与所述目标图像特征距离最近的一个图像特征向量；
控制设备计算目标图像特征与预先建立的映射关系中的每一图像特征向量的距离后，便可以确定与目标图像特征距离最近的一个特征向量，可以理解的是，该与目标图像特征距离最近的一个特征向量与目标图像特征最为相似。
S302，根据所述映射关系，确定所述与所述目标图像特征距离最近的一个图像特征向量对应的位置关系；
接下来，控制设备便可以根据上述预先建立的映射关系，确定该与目标图像特征距离最近的一个图像特征向量对应的位置关系。假设该预先建立的映射关系如上表所示，控制设备确定的与目标图像特征距离最近的一个图像特征向量为X3，那么可以看出，其对应的位置关系为中a。
S303，将所确定的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
由于与目标图像特征距离最近的一个图像特征向量与目标图像特征相似性最高，因此其对应的图像的特征与目标图像的特征最为相似，其对应的图像所对应的位置关系也就与目标图像所对应的位置关系最为相近，因此，控制设备可以将步骤S302中所确定的位置关系，确定为目标物体和机械臂末端的目标位置关系。
可见，在本实施例中，控制设备可以计算目标图像特征与预先建立的图像特征与位置关系的映射关系中的每一图像特征的距离，确定与目标图像特征距离最近的一个图像特征向量，进而确定目标物体和机械臂末端的目标位置关系，计算量进一步减少小，耗费时间更短，可以更加快速地确定目标物体和机械臂末端的目标位置关系。
作为本发明实施例的一种实施方式，如图4所示，上述图像特征与位置关系的映射关系的建立方式，可以包括：
S401，获取所述摄像机采集的每个预设场景下的预设数量的图像样本；
其中，上述图像样本中包含物体，一般为了后续准确确定目标位置关系，图像样本中包含的物体可以为机械臂所要抓取的目标物体。
在机械臂移动的过程中，目标物体可能处于机械臂末端的不同位置，例如，在机械臂末端的左、右、上、下、前、中央等，那么这些可能出现的场景便可以作为预设场景，在建立映射关系时，控制设备可以分别获取这些预设场景下的预设数量的图像样本，预设数量可以为20、30、50等，为了减少计算量，一般可以不超过100，在此不做具体限定。
具体来说，控制设备可以获取摄像机在目标物体处于机械臂末端的左、右、上、下、前、中央六种情况时采集的图像样本，例如，可以获取摄像机采集的每种情况下的30张图像，作为图像样本。
当然，目标物体可能处于机械臂末端的不同位置的场景有多少，控制设备便可以获取所有预设场景下的图像样本，对于预设场景的数量在此并不做具体限定。
S402，根据所述机械臂末端与所述物体的实际位置关系，确定每一预设场景对应的位置关系；
获取图像样本后，控制设备可以根据机械臂末端与物体的实际位置关系，确定每一预设场景对应的位置关系。例如，在某一预设场景中，物体处于机械臂末端的上方，且较近的位置，那么，该预设场景对应的位置关系即可以为“上方，且较近”。
在一种实施方式中，可以为预设场景设置对应的标识，作为该预设场景对应位置关系。其中，标识可以采用数字、字母或二者的结合，只要可以不重复地标识每一预设场景对应的位置关系即可，在此不做具体限定。
例如，对于“物体处于机械臂末端的左侧，且较远的位置”、“物体处于机械臂末端的右侧，且较近的位置”及“物体处于机械臂末端的上方，且较远的位置”三种预设场景，可以分别确定其类别为左A、右a及上A，也可以分别确定其类别为1、2及3，还可以为x、y、z，这都是合理的，在此不做具体限定。
S403，提取所述图像样本的图像特征；
获取图像样本后，控制设备可以提取图像样本的图像特征，由于提取图像样本的图像特征的方式与上述提取目标图像的目标图像特征的方式相同，因此具体提取图像样本的图像特征的方式可以参见上述提取目标图像的目标图像特征部分的描述，在此不再赘述。
S404，将每一预设场景对应的图像样本的图像特征与其对应的位置关系建立映射关系。
控制设备提取图像样本的图像特征后，便可以将每一预设场景对应的图像样本的图像特征与其对应的位置关系建立映射关系。
例如图5所示，针对上述“物体处于机械臂末端的左侧，且较远的位置”、“物体处于机械臂末端的右侧，且较近的位置”及“物体处于机械臂末端的上方，且较远的位置”三种预设场景，图5中分别以场景A、场景B及场景C表示，其分别对应的位置关系以A1、A2及A3表示。
那么对在场景A中获取的图像样本进行图像特征提取，得到每个图像样本对应的图像特征，得到图像特征集，图5中以f1表示，则这些图像特征对应的位置关系为A1；对在场景B中获取的图像样本进行图像特征提取，得到每个图像样本对应的图像特征，得到图像特征集，图5中以f2表示，则这些图像特征对应的位置关系为A2；对在场景C中获取的图像样本进行图像特征提取，得到每个图像样本对应的图像特征，得到图像特征集，图5中以f3表示，则这些图像特征对应的位置关系为A3。
假设图像特征集f1包括20个图像特征，以f10，f11…f120表示，图像特征集f2包括20个图像特征，以f20，f21…f220表示，图像特征集f3包括20个图像特征，以f30，f31…f320表示，映射关系的具体表示方式可以如下表所示：
可见，在本实施例中，控制设备可以获取预设场景的图像样本，进而建立图像特征与位置关系的映射关系，后续控制机械臂移动过程中，控制设备便可以根据该映射关系，确定目标位置关系，可以快速且准确地控制机械臂的移动，便于后续抓取目标物体，提高抓取效率。
相应于上述方法实施例，本发明实施例还提供了一种控制机械臂移动的装置。下面对本发明实施例所提供的一种控制机械臂移动的装置进行介绍。
如图6所示，一种控制机械臂移动的装置，应用于与所述机械臂通信连接的控制设备，所述机械臂末端安装有摄像机，所述装置包括：
目标图像获取模块610，用于获取所述摄像机采集的包含目标物体的目标图像；
图像特征提取模块620，用于提取所述目标图像的目标图像特征；
目标位置关系确定模块630，用于根据所述目标图像特征以及映射关系建立模块预先建立的图像特征与位置关系的映射关系，确定所述目标物体和所述机械臂末端的目标位置关系；
其中，所述位置关系为图像中的物体与机械臂末端的相对位置关系。
目标运动方向确定模块640，用于根据所述目标位置关系确定所述机械臂的目标运动方向；
移动控制模块650，用于控制所述机械臂按照所述目标运动方向移动预设距离。
可见，本发明是实施例所提供的方案中，控制设备首先获取机械臂末端安装的摄像机采集的包含目标物体的目标图像，提取目标图像的目标图像特征，然后根据目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定目标物体和机械臂末端的目标位置关系，再根据目标位置关系确定机械臂的目标运动方向，最后控制机械臂按照目标运动方向移动预设距离。在控制机械臂移动过程中，无需采用深度摄像头，也不需要训练深度学习模型，控制机械臂移动时的计算量大大减少，抓取效率得到提高。
作为本发明实施例的一种实施方式，上述装置还可以包括：
抓取控制模块(图6中未示出)，用于在控制所述机械臂按照所述目标运动方向移动预设距离之后，控制所述机械臂抓取所述目标物体。
作为本发明实施例的一种实施方式，上述预设距离可以根据所述目标位置关系确定。
作为本发明实施例的一种实施方式，上述图像特征可以为图像特征向量；
上述目标位置关系确定模块630可以包括：
距离计算子模块(图6中未示出)，用于计算所述目标图像特征与预先建立的映射关系中的每一图像特征向量的距离；
目标位置关系确定子模块(图6中未示出)，用于根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系。
作为本发明实施例的一种实施方式，上述目标位置关系确定子模块可以包括：
近邻特征向量确定单元(图6中未示出)，用于将与所述目标图像特征距离最近的K个图像特征向量确定为近邻特征向量，其中，K为大于1的正整数；
第一位置关系确定单元(图6中未示出)，用于根据所述映射关系，确定每个所述近邻特征向量对应的位置关系；
第一目标位置关系确定单元(图6中未示出)，用于根据所确定的位置关系，确定所述目标物体和所述机械臂末端的目标位置关系。
作为本发明实施例的一种实施方式，上述第一目标位置关系确定单元可以包括：
目标位置关系确定子单元(图6中未示出)，用于将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
作为本发明实施例的一种实施方式，上述第一目标位置关系确定单元还可以包括：
比例确定确定子单元(图6中未示出)，用于在将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系之前，确定所述比例最高的位置关系的比例达到预设比例。
作为本发明实施例的一种实施方式，上述目标位置关系确定子模块可以包括：
图像特征向量确定单元(图6中未示出)，用于确定与所述目标图像特征距离最近的一个图像特征向量；
第二位置关系确定单元(图6中未示出)，用于根据所述映射关系，确定所述与所述目标图像特征距离最近的一个图像特征向量对应的位置关系；
第二目标位置关系确定单元(图6中未示出)，用于将所确定的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
作为本发明实施例的一种实施方式，上述映射关系建立模块可以包括：
图像样本获取子模块(图6中未示出)，用于获取所述摄像机采集的每个预设场景下的预设数量的图像样本，其中，所述图像样本中包含物体；
场景位置关系确定子模块(图6中未示出)，用于根据所述机械臂末端与所述物体的实际位置关系，确定每一预设场景对应的位置关系；
样本图像特征提取子模块(图6中未示出)，用于提取所述图像样本的图像特征；
映射关系建立子模块(图6中未示出)，用于将每一预设场景对应的图像样本的图像特征与其对应的位置关系建立映射关系。
本发明实施例还提供了一种控制设备，所述控制设备与机械臂通信连接，所述机械臂末端安装有摄像机，如图7所示，所述控制设备包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：
获取所述摄像机采集的包含目标物体的目标图像；
提取所述目标图像的目标图像特征；
根据所述目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定所述目标物体和所述机械臂末端的目标位置关系，其中，所述位置关系为图像中的物体与机械臂末端的相对位置关系；
根据所述目标位置关系确定所述机械臂的目标运动方向；
控制所述机械臂按照所述目标运动方向移动预设距离。
可见，本发明是实施例所提供的方案中，控制设备首先获取机械臂末端安装的摄像机采集的包含目标物体的目标图像，提取目标图像的目标图像特征，然后根据目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定目标物体和机械臂末端的目标位置关系，再根据目标位置关系确定机械臂的目标运动方向，最后控制机械臂按照目标运动方向移动预设距离。在控制机械臂移动过程中，无需采用深度摄像头，也不需要训练深度学习模型，控制机械臂移动时的计算量大大减少，抓取效率得到提高。
上述控制设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述控制设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
其中，在上述控制所述机械臂按照所述目标运动方向移动预设距离的步骤之后，上述方法还可以包括：
控制所述机械臂抓取所述目标物体。
其中，上述预设距离可以根据所述目标位置关系确定。
其中，上述图像特征可以为图像特征向量；
上述根据所述目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，可以包括：
计算所述目标图像特征与预先建立的映射关系中的每一图像特征向量的距离；
根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系。
其中，上述根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，可以包括：
将与所述目标图像特征距离最近的K个图像特征向量确定为近邻特征向量，其中，K为大于1的正整数；
根据所述映射关系，确定每个所述近邻特征向量对应的位置关系；
根据所确定的位置关系，确定所述目标物体和所述机械臂末端的目标位置关系。
其中，上述根据所确定的位置关系，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，可以包括：
将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
其中，在上述将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系的步骤之前，上述方法还可以包括：
确定所述比例最高的位置关系的比例达到预设比例。
其中，上述根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，可以包括：
确定与所述目标图像特征距离最近的一个图像特征向量；
根据所述映射关系，确定所述与所述目标图像特征距离最近的一个图像特征向量对应的位置关系；
将所确定的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
其中，上述图像特征与位置关系的映射关系的建立方式，可以包括：
获取所述摄像机采集的每个预设场景下的预设数量的图像样本，其中，所述图像样本中包含物体；
根据所述机械臂末端与所述物体的实际位置关系，确定每一预设场景对应的位置关系；
提取所述图像样本的图像特征；
将每一预设场景对应的图像样本的图像特征与其对应的位置关系建立映射关系。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取摄像机采集的包含目标物体的目标图像；
提取所述目标图像的目标图像特征；
根据所述目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定所述目标物体和所述机械臂末端的目标位置关系，其中，所述位置关系为图像中的物体与机械臂末端的相对位置关系；
根据所述目标位置关系确定所述机械臂的目标运动方向；
控制所述机械臂按照所述目标运动方向移动预设距离。
可见，本发明实施例所提供的方案中，计算机程序被处理器执行时，首先获取机械臂末端安装的摄像机采集的包含目标物体的目标图像，提取目标图像的目标图像特征，然后根据目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定目标物体和机械臂末端的目标位置关系，再根据目标位置关系确定机械臂的目标运动方向，最后控制机械臂按照目标运动方向移动预设距离。在控制机械臂移动过程中，无需采用深度摄像头，也不需要训练深度学习模型，控制机械臂移动时的计算量大大减少，抓取效率得到提高。
其中，在上述控制所述机械臂按照所述目标运动方向移动预设距离的步骤之后，上述方法还可以包括：
控制所述机械臂抓取所述目标物体。
其中，上述预设距离可以根据所述目标位置关系确定。
其中，上述图像特征可以为图像特征向量；
上述根据所述目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，可以包括：
计算所述目标图像特征与预先建立的映射关系中的每一图像特征向量的距离；
根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系。
其中，上述根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，可以包括：
将与所述目标图像特征距离最近的K个图像特征向量确定为近邻特征向量，其中，K为大于1的正整数；
根据所述映射关系，确定每个所述近邻特征向量对应的位置关系；
根据所确定的位置关系，确定所述目标物体和所述机械臂末端的目标位置关系。
其中，上述根据所确定的位置关系，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，可以包括：
将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
其中，在上述将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系的步骤之前，上述方法还可以包括：
确定所述比例最高的位置关系的比例达到预设比例。
其中，上述根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，可以包括：
确定与所述目标图像特征距离最近的一个图像特征向量；
根据所述映射关系，确定所述与所述目标图像特征距离最近的一个图像特征向量对应的位置关系；
将所确定的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
其中，上述图像特征与位置关系的映射关系的建立方式，可以包括：
获取所述摄像机采集的每个预设场景下的预设数量的图像样本，其中，所述图像样本中包含物体；
根据所述机械臂末端与所述物体的实际位置关系，确定每一预设场景对应的位置关系；
提取所述图像样本的图像特征；
将每一预设场景对应的图像样本的图像特征与其对应的位置关系建立映射关系。
需要说明的是，对于上述装置、控制设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
进一步需要说明的是，在本文中，诸如和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种控制机械臂移动的方法，其特征在于，应用于与所述机械臂通信连接的控制设备，所述机械臂末端安装有摄像机，所述方法包括：
获取所述摄像机采集的包含目标物体的目标图像；
提取所述目标图像的目标图像特征；
根据所述目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定所述目标物体和所述机械臂末端的目标位置关系，其中，所述位置关系为图像中的物体与机械臂末端的相对位置关系；
根据所述目标位置关系确定所述机械臂的目标运动方向；
控制所述机械臂按照所述目标运动方向移动预设距离。
2.如权利要求1所述的方法，其特征在于，在所述控制所述机械臂按照所述目标运动方向移动预设距离的步骤之后，所述方法还包括：
控制所述机械臂抓取所述目标物体。
3.如权利要求1所述的方法，其特征在于，所述预设距离根据所述目标位置关系确定。
4.如权利要求1所述的方法，其特征在于，所述图像特征为图像特征向量；
所述根据所述目标图像特征以及预先建立的图像特征与位置关系的映射关系，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，包括：
计算所述目标图像特征与预先建立的映射关系中的每一图像特征向量的距离；
根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系。
5.如权利要求4所述的方法，其特征在于，所述根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，包括：
将与所述目标图像特征距离最近的K个图像特征向量确定为近邻特征向量，其中，K为大于1的正整数；
根据所述映射关系，确定每个所述近邻特征向量对应的位置关系；
根据所确定的位置关系，确定所述目标物体和所述机械臂末端的目标位置关系。
6.如权利要求5所述的方法，其特征在于，所述根据所确定的位置关系，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，包括：
将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
7.如权利要求6所述的方法，其特征在于，在所述将所确定的位置关系中比例最高的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系的步骤之前，所述方法还包括：
确定所述比例最高的位置关系的比例达到预设比例。
8.如权利要求4所述的方法，其特征在于，所述根据计算得到的距离，确定所述目标物体和所述机械臂末端的目标位置关系的步骤，包括：
确定与所述目标图像特征距离最近的一个图像特征向量；
根据所述映射关系，确定所述与所述目标图像特征距离最近的一个图像特征向量对应的位置关系；
将所确定的位置关系，确定为所述目标物体和所述机械臂末端的目标位置关系。
9.一种控制机械臂移动的装置，其特征在于，应用于与所述机械臂通信连接的控制设备，所述机械臂末端安装有摄像机，所述装置包括：
目标图像获取模块，用于获取所述摄像机采集的包含目标物体的目标图像；
图像特征提取模块，用于提取所述目标图像的目标图像特征；
目标位置关系确定模块，用于根据所述目标图像特征以及映射关系建立模块预先建立的图像特征与位置关系的映射关系，确定所述目标物体和所述机械臂末端的目标位置关系，其中，所述位置关系为图像中的物体与机械臂末端的相对位置关系；
目标运动方向确定模块，用于根据所述目标位置关系确定所述机械臂的目标运动方向；
移动控制模块，用于控制所述机械臂按照所述目标运动方向移动预设距离。
10.一种控制设备，其特征在于，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810154165.2A CN110181504B (zh) | 2018-02-22 | 2018-02-22 | 一种控制机械臂移动的方法、装置及控制设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810154165.2A CN110181504B (zh) | 2018-02-22 | 2018-02-22 | 一种控制机械臂移动的方法、装置及控制设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110181504A true CN110181504A (zh) | 2019-08-30 |
| CN110181504B CN110181504B (zh) | 2021-03-02 |
Family
ID=67713449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810154165.2A Active CN110181504B (zh) | 2018-02-22 | 2018-02-22 | 一种控制机械臂移动的方法、装置及控制设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110181504B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110154037A (zh) * | 2019-06-25 | 2019-08-23 | 深兰科技（上海）有限公司 | 一种机器人动作控制方法、装置、机器人和存储口介质 |
| CN111975783A (zh) * | 2020-08-31 | 2020-11-24 | 广东工业大学 | 一种机器人抓取检测方法及系统 |
| CN112077841A (zh) * | 2020-08-10 | 2020-12-15 | 北京大学 | 一种提升机器人手臂操纵精度的多关节联动方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100298978A1 (en) * | 2009-05-19 | 2010-11-25 | Canon Kabushiki Kaisha | Manipulator with camera |
| JP2014161950A (ja) * | 2013-02-25 | 2014-09-08 | Dainippon Screen Mfg Co Ltd | ロボットシステム、ロボット制御方法、ロボット較正方法 |
| CN105956632A (zh) * | 2016-05-20 | 2016-09-21 | 浙江宇视科技有限公司 | 一种检测目标的方法和装置 |
| CN107234625A (zh) * | 2017-07-07 | 2017-10-10 | 中国科学院自动化研究所 | 视觉伺服定位和抓取的方法 |
| CN107414832A (zh) * | 2017-08-08 | 2017-12-01 | 华南理工大学 | 一种基于机器视觉的移动机械臂抓取控制系统及方法 |
-
2018
- 2018-02-22 CN CN201810154165.2A patent/CN110181504B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100298978A1 (en) * | 2009-05-19 | 2010-11-25 | Canon Kabushiki Kaisha | Manipulator with camera |
| JP2014161950A (ja) * | 2013-02-25 | 2014-09-08 | Dainippon Screen Mfg Co Ltd | ロボットシステム、ロボット制御方法、ロボット較正方法 |
| CN105956632A (zh) * | 2016-05-20 | 2016-09-21 | 浙江宇视科技有限公司 | 一种检测目标的方法和装置 |
| CN107234625A (zh) * | 2017-07-07 | 2017-10-10 | 中国科学院自动化研究所 | 视觉伺服定位和抓取的方法 |
| CN107414832A (zh) * | 2017-08-08 | 2017-12-01 | 华南理工大学 | 一种基于机器视觉的移动机械臂抓取控制系统及方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110154037A (zh) * | 2019-06-25 | 2019-08-23 | 深兰科技（上海）有限公司 | 一种机器人动作控制方法、装置、机器人和存储口介质 |
| CN112077841A (zh) * | 2020-08-10 | 2020-12-15 | 北京大学 | 一种提升机器人手臂操纵精度的多关节联动方法及系统 |
| CN111975783A (zh) * | 2020-08-31 | 2020-11-24 | 广东工业大学 | 一种机器人抓取检测方法及系统 |
| CN111975783B (zh) * | 2020-08-31 | 2021-09-03 | 广东工业大学 | 一种机器人抓取检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110181504B (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020119684A1 (zh) | 一种3d导航语义地图更新方法、装置及设备 | |
| CN108108754A (zh) | 重识别网络的训练、重识别方法、装置和系统 | |
| CN111179419B (zh) | 三维关键点预测及深度学习模型训练方法、装置及设备 | |
| CN110181504A (zh) | 一种控制机械臂移动的方法、装置及控制设备 | |
| CN104683685A (zh) | 自动对焦方法、其自动对焦装置和其影像提取装置 | |
| CN108537837A (zh) | 一种深度信息确定的方法及相关装置 | |
| KR20180004898A (ko) | 딥러닝 기반의 이미지 처리 기술 및 그 방법 | |
| CN111291768B (zh) | 图像特征匹配方法及装置、设备、存储介质 | |
| CN109559341A (zh) | 一种机械臂抓取方案的生成方法及装置 | |
| CN108830892A (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112085123A (zh) | 基于显著点采样的点云数据分类和分割方法 | |
| CN113329179B (zh) | 拍摄对位方法、装置、设备及存储介质 | |
| CN109313806A (zh) | 图像处理装置、图像处理系统、图像处理方法和程序 | |
| CN109389649A (zh) | 双目相机的快速标定方法和装置 | |
| CN110149476A (zh) | 一种延时摄影方法、装置、系统及终端设备 | |
| CN110070503A (zh) | 基于卷积神经网络的尺度校准方法、系统及介质 | |
| CN111179309B (zh) | 一种跟踪方法及设备 | |
| CN110298877A (zh) | 一种物体三维位姿的确定方法、装置及电子设备 | |
| CN109089102A (zh) | 一种基于双目视觉的机器人物品识别分类方法及系统 | |
| WO2023279584A1 (zh) | 一种目标检测方法、目标检测装置及机器人 | |
| CN114677350A (zh) | 连接点提取方法、装置、计算机设备及存储介质 | |
| CN113034666B (zh) | 一种基于金字塔视差优化代价计算的立体匹配方法 | |
| CN109981967B (zh) | 用于智能机器人的拍摄方法、装置、终端设备及介质 | |
| CN103546680A (zh) | 一种无变形的全方位鱼眼摄像装置及实现方法 | |
| CN112307799A (zh) | 姿态识别方法、装置、系统、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |