CN109407603A - 一种控制机械臂抓取物体的方法及装置 - Google Patents
一种控制机械臂抓取物体的方法及装置 Download PDFInfo
- Publication number
- CN109407603A CN109407603A CN201710700003.XA CN201710700003A CN109407603A CN 109407603 A CN109407603 A CN 109407603A CN 201710700003 A CN201710700003 A CN 201710700003A CN 109407603 A CN109407603 A CN 109407603A
- Authority
- CN
- China
- Prior art keywords
- target
- mechanical arm
- label
- image
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
- G05B19/054—Input/output
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/10—Plc systems
- G05B2219/11—Plc I-O input output
- G05B2219/1103—Special, intelligent I-O processor, also plc can only access via processor
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明实施例提供了一种控制机械臂抓取物体的方法及装置，所述方法包括：获取摄像头采集的目标物体当前时刻的目标图像；将目标图像输入预先训练完成的目标卷积神经网络，得到目标图像对应的标签；判断目标图像对应的标签是否与预设结束标签相同；如果否，根据预设的标签与运动方向的对应关系，确定目标图像对应的标签所对应的目标运动方向；控制机械臂按照目标运动方向及预设距离移动，并返回获取目标物体当前时刻的目标图像的步骤；如果是，控制机械臂抓取所述目标物体。由于在抓取目标物体时采用步进的方式，即使在抓取过程中目标物体的位置发生改变，机械臂也可以准确抓取目标物体，提高了机械臂抓取物体的准确率和成功率。
Description
技术领域
本发明涉及机械臂控制领域，特别是涉及一种控制机械臂抓取物体的方法及装置。
背景技术
目前，利用机械臂抓取物体的应用场景非常之多，例如，自动分拣货物，自动装配零部件等。利用机械臂进行物体的抓取，会极大的提高生产产能，降低人工成本。控制机械臂抓取物体的方式，目前可以分为两大类，一类是基于被抓取物体几何外形的方法，另一类是基于数据驱动的方法。基于几何外形的方法通过分析目标物体的三维形状信息，来得到一个合适的抓取方案。基于数据驱动的方法通过采集目标物体的大量三维或者二维数据，利用卷积神经网络得到抓取方案。
基于数据驱动的方法的过程一般为：控制设备获得机械臂上安装的摄像头采集的目标物体的图像，将该图像输入到预先训练完成的卷积神经网络中，该卷积神经网络根据图像中物体的位置以及机械臂当前的位置，计算所有可能的抓取方案，并选择最佳方案(例如机械臂移动距离最短的方案)进行输出，控制设备便可以控制机械臂按照该最佳抓取方案移动并进行抓取动作。
可见，上述控制机械臂抓取物体的方法存在如下缺点：由于抓取方案是根据机械臂当前状态，计算得出的一个最佳的抓取方案，所以一旦最佳方案确定，便不能再根据当前场景进行调整，如果在抓取过程中，目标物体的位置发生变化，或者机械臂位置的移动不够准确，抓取方案很显然会失败，抓取的准确率和成功率都较低。
发明内容
本发明实施例的目的在于提供一种控制机械臂抓取物体的方法及装置，以提高机械臂抓取物体的准确率和成功率。具体技术方案如下：
第一方面，本发明实施例提供了一种控制机械臂抓取物体的方法，应用于与所述机械臂通信连接的控制设备，所述机械臂上安装有摄像头，所述方法包括：
获取所述摄像头采集的目标物体当前时刻的目标图像；
将所述目标图像输入预先训练完成的目标卷积神经网络，得到目标图像对应的标签，其中，所述目标卷积神经网络为：基于图像样本及其对应的标签，对预先构建的初始卷积神经网络进行训练所得到的卷积神经网络，所述目标卷积神经网络包含所述图像样本的图像特征与标签的对应关系，所述标签用于标识所述机械臂与所述目标物体的相对位置关系；
判断所述目标图像对应的标签是否与预设结束标签相同；
如果否，根据预设的标签与运动方向的对应关系，确定所述目标图像对应的标签所对应的目标运动方向；
控制所述机械臂按照所述目标运动方向及预设距离移动，并返回所述获取目标物体当前时刻的目标图像的步骤；
如果是，控制所述机械臂抓取所述目标物体。
可选的，所述目标卷积神经网络的训练方式，包括：
构建初始卷积神经网络；
获取所述摄像头采集的所述目标物体的多个图像样本；
根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签；
将所述图像样本及其对应的标签输入所述初始卷积神经网络进行训练；
当所述初始卷积神经网络的目标函数的值不再变化或所述图像样本对应的输出结果的准确率达到预设准确率时，完成训练，得到所述包含所述图像样本的图像特征与标签的对应关系的目标卷积神经网络。
可选的，所述目标物体的位置信息表示为(x1，y1，z1)，所述机械臂的位置信息表示为(x2，y2，z2)；
所述根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签的步骤，包括：
根据采集每个图像样本时，所述机械臂的位置信息中x2与所述目标物体的位置信息中x1的大小关系、y2与y1的大小关系以及z2与z1的大小关系，按照预设标签生成规则，确定每个图像样本对应的标签。
可选的，所述预设标签生成规则包括：
当所述机械臂的位置信息及所述目标物体的位置信息满足预设组合条件时，生成该预设组合条件对应的标签，其中，所述预设组合条件为第一组预设条件中任一条件、第二组预设条件中任一条件及第三组预设条件中任一条件的组合，所述第一组预设条件包括：|x2-x1|不大于预设值、|x2-x1|大于预设值且x2＞x1及|x2-x1|大于预设值且x2＜x1三种条件，所述第二组预设条件包括：|y2-y1|不大于预设值、|y2-y1|大于预设值且y2＞y1及|y2-y1|大于预设值且y2＜y1三种条件,所述第三组预设条件包括：|z2-z1|不大于预设值、|z2-z1|大于预设值且z2＞z1及|z2-z1|大于预设值且z2＜z1三种条件。
可选的，所述获取所述摄像头采集的所述目标物体的多个图像样本的步骤，包括：
将所述目标物体放置于预设位置；
改变所述机械臂的位置；
获取所述摄像头在所述机械臂处于每一位置时所采集的所述目标物体的图像样本。
可选的，当所述机械臂抓取所述目标物体成功时，所述方法还包括：
输出抓取成功信息。
第二方面，本发明实施例提供了一种控制机械臂抓取物体的装置，应用于与所述机械臂通信连接的控制设备，所述机械臂上安装有摄像头，所述装置包括：
目标图像获取模块，用于获取所述摄像头采集的目标物体当前时刻的目标图像；
标签确定模块，用于将所述目标图像输入由卷积神经网络训练模块预先训练完成的目标卷积神经网络，得到目标图像对应的标签，其中，所述目标卷积神经网络为：基于图像样本及其对应的标签，对预先构建的初始卷积神经网络进行训练所得到的卷积神经网络，所述目标卷积神经网络包含所述图像样本的图像特征与标签的对应关系，所述标签用于标识所述机械臂与所述目标物体的相对位置关系；
标签判断模块，用于判断所述目标图像对应的标签是否与预设结束标签相同；
运动方向确定模块，用于在目标图像对应的标签与所述预设结束标签不同时，根据预设的标签与运动方向的对应关系，确定所述目标图像对应的标签所对应的目标运动方向；
机械臂移动模块，用于控制所述机械臂按照所述目标运动方向及预设距离移动，并触发所述目标图像获取模块；
机械臂抓取模块，用于在目标图像对应的标签与所述预设结束标签相同时，控制所述机械臂抓取所述目标物体。
可选的，所述卷积神经网络训练模块包括：
模型构建单元，用于构建初始卷积神经网络；
图像样本获取单元，用于获取所述摄像头采集的所述目标物体的多个图像样本；
标签生成单元，用于根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签；
模型训练单元，用于将所述图像样本及其对应的标签输入所述初始卷积神经网络进行训练；
完成训练单元，用于当所述初始卷积神经网络的目标函数的值不再变化或所述图像样本对应的输出结果的准确率达到预设准确率时，完成训练，得到所述包含所述图像样本的图像特征与标签的对应关系的目标卷积神经网络。
可选的，所述目标物体的位置信息表示为(x1，y1，z1)，所述机械臂的位置信息表示为(x2，y2，z2)；
所述标签生成单元包括：
标签生成子单元，用于根据采集每个图像样本时，所述机械臂的位置信息中x2与所述目标物体的位置信息中x1的大小关系、y2与y1的大小关系以及z2与z1的大小关系，按照预设标签生成规则，确定每个图像样本对应的标签。
可选的，所述预设标签生成规则包括：
当所述机械臂的位置信息及所述目标物体的位置信息满足预设组合条件时，生成该预设组合条件对应的标签，其中，所述预设组合条件为第一组预设条件中任一条件、第二组预设条件中任一条件及第三组预设条件中任一条件的组合，所述第一组预设条件包括：|x2-x1|不大于预设值、|x2-x1|大于预设值且x2＞x1及|x2-x1|大于预设值且x2＜x1三种条件，所述第二组预设条件包括：|y2-y1|不大于预设值、|y2-y1|大于预设值且y2＞y1及|y2-y1|大于预设值且y2＜y1三种条件,所述第三组预设条件包括：|z2-z1|不大于预设值、|z2-z1|大于预设值且z2＞z1及|z2-z1|大于预设值且z2＜z1三种条件。
可选的，所述图像样本获取单元包括：
目标物体放置子单元，用于将所述目标物体放置于预设位置；
机械臂调整子单元，用于改变所述机械臂的位置；
图像样本获取子单元，用于获取所述摄像头在所述机械臂处于每一位置时所采集的所述目标物体的图像样本。
可选的，所述装置还包括：
成功信息输出模块，用于在所述机械臂抓取所述目标物体成功时，输出抓取成功信息。
第三方面，本发明实施例还提供了一种控制设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述控制机械臂抓取物体的方法步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述控制机械臂抓取物体的方法步骤。
本发明实施例所提供的方案中，控制设备获取摄像头采集的目标物体当前时刻的目标图像，将目标图像输入预先训练完成的目标卷积神经网络，得到目标图像对应的标签，然后判断目标图像对应的标签是否与预设结束标签相同，如果否，根据预设的标签与运动方向的对应关系，确定目标图像对应的标签所对应的目标运动方向，并控制机械臂按照目标运动方向及预设距离移动，返回获取目标物体当前时刻的目标图像的步骤，如果是，控制机械臂抓取目标物体。由于在抓取目标物体时采用步进的方式，即使在抓取过程中目标物体的位置发生改变，机械臂也可以准确抓取目标物体，提高了机械臂抓取物体的准确率和成功率。同时，由于只需输入单幅图像至目标卷积神经网络，并且得到的标签对应了机械臂最佳运动方向，因而不需要将图像或者运动方向等信息多次输入目标卷积神经网络，极大的减少了运算量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种控制机械臂抓取物体的方法的流程图；
图2为图1所示实施例中目标卷积神经网络的训练方式的流程图；
图3为本发明实施例所提供的一种控制机械臂抓取物体的装置的结构示意图；
图4为本发明实施例所提供的一种控制设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高机械臂抓取物体的准确率和成功率，本发明实施例提供了一种控制机械臂抓取物体的方法、装置、控制设备及计算机可读存储介质。
下面首先对本发明实施例提供的一种控制机械臂抓取物体的方法进行介绍。
首先需要说明的是，本发明实施例所提供的一种控制机械臂抓取物体的方法可以应用于与机械臂建立通信连接的任意控制设备，可以理解的是，控制设备与机械臂之间可以发送数据和指令。该控制设备可以为电脑等电子设备，在此不做具体限定。一般情况下，该机械臂上安装有摄像头，用于对所要抓取的物体进行拍摄，采集图像。
如图1所示，一种控制机械臂抓取物体的方法，应用于与所述机械臂通信连接的控制设备，所述机械臂上安装有摄像头，所述方法包括：
S101，获取所述摄像头采集的目标物体当前时刻的目标图像；
可以理解的是，机械臂上安装的摄像头采集目标物体当前时刻的目标图像后，将该目标图像发送至控制设备，控制设备也就获得了该目标图像。需要说明的是，目标物体所指代的即为机械臂所要抓取的物体，并不具有其他限定意义；同样的，目标图像所指代的即为摄像头所采集的当前时刻的目标物体的图像，同样不具有其他限定意义。
在一种实施方式中，摄像头可以实时采集目标物体的图像，并将所采集的图像发送至控制设备，那么控制设备接收到目标物体当前时刻的图像即为目标图像。在另一种实施方式中，摄像头可以在接收到控制设备的拍摄指令时采集目标物体当前时刻的图像，并发送至控制设备，那么，控制设备也可以接收到该图像，即目标图像。当然，摄像头也可以实时采集目标物体的图像，在接收到控制设备的获取指令时，再将当前时刻所采集的目标物体的目标图像发送至控制设备，这也是合理的。
S102，将所述目标图像输入预先训练完成的目标卷积神经网络，得到目标图像对应的标签；
控制设备获取上述目标图像后，便可以将该目标图像输入预先训练完成的目标卷积神经网络，进而，得到目标图像对应的标签。
具体来说，目标卷积神经网络为：基于图像样本及其对应的标签，对预先构建的初始卷积神经网络进行训练所得到的卷积神经网络。其中，图像样本即为预先获取的目标物体的图像，在图像样本中目标物体位于各种不同的位置，目标物体在图像样本中的形态也可以不相同。例如，目标物体为一个杯子，在图像样本中，该杯子可能在图像样本中央、边缘等位置，杯子在图像样本中可能为正立、倒立、横放、斜放等形态。
标签则用于标识机械臂与目标物体的相对位置关系。可以理解的是，在获取图像样本时，机械臂当前位置及目标物体所在位置均是已知的，这样，控制设备便可以根据机械臂当前位置及目标物体所在位置，也就是机械臂与目标物体的相对位置关系，确定每个图像样本对应的标签，这样，标签则可以用于标识机械臂与目标物体的相对位置关系。
这样，经过训练得到的目标卷积神经网络即包含图像样本的图像特征与标签的对应关系，进而，控制设备将目标图像输入目标卷积神经网络，目标卷积神经网络便可以根据其包含的图像样本的图像特征与标签的对应关系，以及目标图像的图像特征，得到目标图像对应的标签。
为了方案清楚及布局清晰，后续将会对目标卷积神经网络的具体训练方式以及标签的具体生成方式进行举例介绍。
S103，判断所述目标图像对应的标签是否与预设结束标签相同，如果否，执行步骤S104，如果是，执行步骤S106；
控制设备得到目标图像对应的标签后，需要判断目标图像对应的标签与预设结束标签是否相同。在一般情况下，该预设结束标签所标识的机械臂与目标物体的相对位置关系为：机械臂末端与目标物体的距离在预设范围内。此时机械臂可以对物体进行抓取动作。该预设范围可以根据目标物体的大小等因素确定，在此不做具体限定。
如果目标图像对应的标签与预设结束标签不同，那么说明机械臂末端与目标物体的距离较远，此时进行抓取，很容易失败，那么便可以执行步骤S104；如果目标图像对应的标签与预设结束标签相同，那么说明机械臂末端与目标物体的距离较近，甚至重合，也就可以进行抓取动作，那么此时控制设备便可以执行步骤S106。
S104，根据预设的标签与运动方向的对应关系，确定所述目标图像对应的标签所对应的目标运动方向；
控制设备在确定目标图像对应的标签与预设结束标签不同时，由于此时机械臂末端与目标物体的距离较远，所以机械臂需要向目标物体移动，便于进行抓取动作。那么控制设备便可以根据预设的标签与运动方向的对应关系，确定目标图像对应的标签所对应的目标运动方向。
由于标签标识了机械臂与目标物体的相对位置关系，那么控制设备可以预先建立标签与运动方向的对应关系，每一个标签对应一个运动方向。举例来说，假设标签为数字0-26，共27个，标签1标识机械臂与目标物体的相对位置关系为：目标物体位于机械臂末端的左偏下30度方向，那么标签1与运动方向的对应关系即为：标签1对应左偏下30度方向。进而，当标签为1时，目标运动方向即为左偏下30度方向。
S105，控制所述机械臂按照所述目标运动方向及预设距离移动，并返回步骤S101；
确定了上述目标运动方向后，控制设备便可以控制机械臂按照目标运动方向及预设距离移动。其中，该预设距离可以根据实际机械臂的抓取场景确定，可以理解的是，目标物体一般被放置于工作台上，以供机械臂进行抓取。如果机械臂末端停放位置一般距离目标物体较远，那么预设距离可以设置的较大，例如可以为20厘米、25厘米、30厘米等。如果机械臂末端停放位置一般距离目标物体较近，那么预设距离可以设置的较小，例如可以为10厘米、8厘米、5厘米等，在此不做具体限定。
举例而言，假设目标运动方向为右偏下50度方向，预设距离为10厘米，那么控制设备便可以控制机械臂向右偏下50度方向移动10厘米。
控制设备控制机械臂按照目标运动方向及预设距离移动后，便可以返回步骤S101，继续获取目标图像，进而获得该目标图像对应的标签，当标签与预设结束标签不同时，再次控制机械臂按照目标运动方向及预设距离移动，循环执行步骤S101-步骤S105，直到目标图像对应的标签与预设结束标签相同。可以理解的是，每循环执行一次步骤S101-步骤S105，机械臂便向目标物体移动了一定距离，即控制机械臂采用步进的方式移动。
S106，控制所述机械臂抓取所述目标物体。
如果目标图像对应的标签与预设结束标签相同，那么说明机械臂末端与目标物体的距离较近，甚至重合，便可以进行抓取动作，所以此时控制设备便可以控制机械臂抓取目标物体，进而完成对目标物体的抓取。
可见，本发明实施例所提供的方案中，控制设备获取摄像头采集的目标物体当前时刻的目标图像，将目标图像输入预先训练完成的目标卷积神经网络，得到目标图像对应的标签，然后判断目标图像对应的标签是否与预设结束标签相同，如果否，根据预设的标签与运动方向的对应关系，确定目标图像对应的标签所对应的目标运动方向，并控制机械臂按照目标运动方向及预设距离移动，返回获取目标物体当前时刻的目标图像的步骤，如果是，控制机械臂抓取目标物体。由于在抓取目标物体时采用步进的方式，即使在抓取过程中目标物体的位置发生改变，机械臂也可以准确抓取目标物体，提高了机械臂抓取物体的准确率和成功率。同时，由于只需输入单幅图像至目标卷积神经网络，并且得到的标签对应了机械臂最佳运动方向，因而不需要将图像或者运动方向等信息多次输入目标卷积神经网络，极大的减少了运算量。
作为本发明实施例的一种实施方式，如图2所示，上述目标卷积神经网络的训练方式可以包括以下步骤：
S201，构建初始卷积神经网络；
可以理解的是，控制设备首先需要构建一个初始卷积神经网络，然后对其进行训练，进而得到目标卷积神经网络。在一种实施方式中，可以利用caffe工具构建一个包括多个卷积层的初始卷积神经网络。
S202，获取所述摄像头采集的所述目标物体的多个图像样本；
图像样本即为摄像头采集的目标物体的图像，一般情况下，在各图像样本中目标物体位于各种不同的位置，目标物体在图像样本中的形态也可以不同。这样，图像样本可以表征目标物体在各种形态下的特征，便于后续训练初始卷积神经网络。例如，目标物体为一个杯子，在图像样本中，该杯子可能在图像样本中央、边缘等位置，杯子在图像样本中可能为正立、倒立、横放、斜放等形态。采集图像样本时的光线等条件也可以是不同的。
在一种实施方式中，获取多个图像样本的方式可以包括：
将所述目标物体放置于预设位置；改变所述机械臂的位置；获取所述摄像头在所述机械臂处于每一位置时所采集的所述目标物体的图像样本。
在采集上述多个图像样本时，可以将目标物体放置于预设位置，然后改变机械臂的位置，从而使安装在机械臂上的摄像头采集机械臂处于每一位置时目标物体的图像样本。例如，可以将目标物体放置于操作台之类的平台上，然后控制机械臂不断改变位置，进而便可以获取多个图像样本。
S203，根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签；
可以理解的是，在获取每个图像样本时，机械臂当前位置及目标物体所在位置均是已知的，这样，控制设备便可以根据机械臂当前位置及目标物体所在位置，按照预设标签生成规则，确定每个图像样本对应的标签。
具体来说，在一种实施方式中，目标物体的位置信息可以表示为(x1，y1，z1)，机械臂的位置信息可以表示为(x2，y2，z2)，确定每个图像样本对应的标签的方式可以为：
根据采集每个图像样本时，所述机械臂的位置信息中x2与所述目标物体的位置信息中x1的大小关系、y2与y1的大小关系以及z2与z1的大小关系，按照预设标签生成规则，确定每个图像样本对应的标签。
一般来说，(x1，y1，z1)及(x2，y2，z2)可以分别为环境坐标系中目标物体中心及机械臂末端的坐标。该环境坐标系可以为预设的三维坐标系，只要可以表示目标物体及机械臂的位置即可，在此不做具体限定。
也就是说，针对每个图像样本，控制设备可以根据当前时刻机械臂末端的坐标及目标物体中心的坐标中的三个坐标值的大小关系，来确定图像样本对应的标签。可以理解的是，由于机械臂末端的坐标及目标物体中心的坐标表征了机械臂及目标物体所在位置，因此根据二者大小关系生成的标签即标识了机械臂与目标物体的相对位置关系。为了方案清楚及布局清晰，后续将会对标签的具体生成方式进行举例介绍。
S204，将所述图像样本及其对应的标签输入所述初始卷积神经网络进行训练；
确定了每个图像样本对应的标签后，控制设备便可以将图像样本及其对应的标签输入上述初始卷积神经网络进行训练。具体来说，初始卷积神经网络根据图像样本的图像特征预测其对应的标签，为了描述清楚，在此步骤中将初始卷积神经网络根据图像样本的图像特征预测的标签称为预测标签，在上述步骤S203中确定的图像样本对应的标签称为真实标签。
初始卷积神经网络得到图像样本的预测标签后，将其与该图像样本的真实标签进行对比，通过预先定义的目标函数计算二者的差异值，并根据该差异值通过反向传播法调整初始卷积神经网络的参数。在训练过程中，可以循环遍历所有图像样本，并不断调整初始卷积神经网络的参数。
对于反向传播法的具体实现方式可以采用相关技术中任意反向传播方式，在此不做具体限定及说明。对定义目标函数的方式及目标函数的具体表达式，可以根据抓取精度等因素进行设定，在此不做具体限定。
S205，当所述初始卷积神经网络的目标函数的值不再变化或所述图像样本对应的输出结果的准确率达到预设准确率时，完成训练，得到所述包含所述图像样本的图像特征与标签的对应关系的目标卷积神经网络。
当初始卷积神经网络的目标函数的值不再变化，或者图像样本对应的输出结果的准确率达到预设准确率时，说明此时的初始卷积神经网络已经可以适用于大部分图像样本，获得准确的结果，那么便可以停止训练，不再调整初始卷积神经网络的参数，进而得到目标卷积神经网络，可以理解的是，训练得到的目标卷积神经网络包含图像样本的图像特征与标签的对应关系。
其中，预设准确率可以根据抓取所需的准确度进行确定，例如可以为85％、90％、95％等，在此不做具体限定。
可见，通过上述训练方式对初始卷积神经网络进行训练，可以得到包含图像样本的图像特征与标签的对应关系的目标卷积神经网络，通过该目标卷积神经网络可以得到目标图像对应的标签，进而确定机械臂的运动方向。
针对目标物体的位置信息表示为(x1，y1，z1)，机械臂的位置信息表示为(x2，y2，z2)的情况而言，作为本发明实施例的一种实施方式，预设标签生成规则包括：
当所述机械臂的位置信息及所述目标物体的位置信息满足预设组合条件时，生成该预设组合条件对应的标签，其中，所述预设组合条件为第一组预设条件中任一条件、第二组预设条件中任一条件及第三组预设条件中任一条件的组合，所述第一组预设条件包括：|x2-x1|不大于预设值、|x2-x1|大于预设值且x2＞x1及|x2-x1|大于预设值且x2＜x1三种条件，所述第二组预设条件包括：|y2-y1|不大于预设值、|y2-y1|大于预设值且y2＞y1及|y2-y1|大于预设值且y2＜y1三种条件,所述第三组预设条件包括：|z2-z1|不大于预设值、|z2-z1|大于预设值且z2＞z1及|z2-z1|大于预设值且z2＜z1三种条件。
具体来说，目标物体中心的坐标为(x1，y1，z1)，机械臂末端的坐标为(x2，y2，z2)，那么|x2-x1|表示了目标物体与机械臂末端在x轴方向上的距离。同理的，|y2-y1|表示了目标物体与机械臂末端在y轴方向上的距离，|z2-z1|表示了目标物体与机械臂末端在z轴方向上的距离。
那么，当|x2-x1|不大于预设值时，说明目标物体与机械臂末端在x轴方向上的距离很近，当|x2-x1|大于预设值时，说明目标物体与机械臂末端在x轴方向上的距离较远，那么此时，如果x2＞x1，说明在x轴方向上，目标物体在机械臂末端右侧，如果x2＜x1，说明在x轴方向上，目标物体在机械臂末端左侧。
同样的，当|y2-y1|不大于预设值时，说明目标物体与机械臂末端在y轴方向上的距离很近，当|y2-y1|大于预设值时，说明目标物体与机械臂末端在y轴方向上的距离较远，那么此时，如果y2＞y1，说明在y轴方向上，目标物体在机械臂末端前方，如果y2＜y1，说明在y轴方向上，目标物体在机械臂末端后方。当|z2-z1|不大于预设值时，说明目标物体与机械臂在z轴方向上的距离很近，当|z2-z1|大于预设值时，说明目标物体与机械臂末端在z轴方向上的距离较远，那么此时，如果z2＞z1，说明在z轴方向上，目标物体在机械臂末端上方，如果z2＜z1，说明在z轴方向上，目标物体在机械臂末端下方。
需要说明的是，上述预设值可以根据抓取精度以及目标物体的种类、大小等因素确定，如果目标物体较小，那么该预设值便可以较小，例如为3厘米、5厘米、7厘米等；如果目标物体较大，那么该预设值便可以较大，例如为10厘米、15厘米、18厘米等，在此不做具体限定。当然该预设值也可以设置为0，那么|x2-x1|不大于预设值时，即|x2-x1|为0，说明此时在x轴方向上，机械臂末端的位置与目标物体中心的位置重合，此时抓取精度较高。
那么可以理解的是，针对上述第一组预设条件、第二组预设条件及第三组预设条件，每组预设条件中包括三个条件，这样便可以组合成为27种预设组合条件。该27种预设组合条件对应机械臂与目标物体的27种位置关系，该27种位置关系由上述机械臂末端与目标物体中心的坐标值确定。该27种预设组合条件对应27种标签，在一种实施方式中，该27种标签可以为数字0-26，当然，该27种标签也可以采用其他形式的标签，只要可以表示上述27种位置关系即可，例如，可以为a1、a2…a27等，这都是合理的。
例如，如果某预设组合条件包括：|x2-x1|不大于预设值、|y2-y1|不大于预设值及|z2-z1|大于预设值且z2＜z1三种条件，那么说明此时目标物体位于机械臂末端在z轴方向上的下方，如果该预设组合条件对应的标签为5，那么可以理解的是，标签5对应的运动方向即为正下方。又例如，某预设组合条件包括：|x2-x1|不大于预设值、|y2-y1|不大于预设值及|z2-z1|不大于预设值，那么说明此时目标物体与机械臂末端的距离很近，可以进行抓取动作，如果该预设组合条件对应的标签为0，那么可以理解的是，标签0即为上述预设结束标签。
可见，通过上述标签生成规则生成的标签，可以标识机械臂与目标物体的27种位置关系，该27个标签对应27个运动方向，在控制机械臂抓取目标物体的过程中，根据这27个标签可以得到当前时刻机械臂的最佳运动方向，进而控制机械臂采用步进的方式移动，即使在抓取过程中目标物体位置发生改变，控制设备也可以根据当前时刻得到的标签所对应的运动方向，控制机械臂移动，进而成功抓取目标物体，准确率和成功率显著提高。
为了方便用户查看目标物体的抓取状态，作为本发明实施例的一种实施方式，当机械臂抓取目标物体成功时，上述方法还可以包括：
输出抓取成功信息。
在机械臂成功抓取到目标物体时，控制设备可以输出抓取成功信息，以提示用户抓取成功。当然，控制设备也可以记录抓取成功信息，以便后续统计抓取准确率及成功率等信息。
对于控制设备输出抓取成功信息的具体方式，本发明实施例在此不做具体限定，只要可以使用户能够获知该抓取成功信息即可。例如，控制设备可以通过显示屏幕显示该抓取成功信息，也可以通过语音播报等形式输出抓取成功信息，这都是合理的。
相应于上述方法实施例，本发明实施例还提供了一种控制机械臂抓取物体的装置。
下面对本发明实施例所提供的一种控制机械臂抓取物体的装置进行介绍。
如图3所示，一种控制机械臂抓取物体的装置，应用于与所述机械臂通信连接的控制设备，所述机械臂上安装有摄像头，所述装置包括：
目标图像获取模块310，用于获取所述摄像头采集的目标物体当前时刻的目标图像；
标签确定模块320，用于将所述目标图像输入由卷积神经网络训练模块预先训练完成的目标卷积神经网络，得到目标图像对应的标签，其中，所述目标卷积神经网络为：基于图像样本及其对应的标签，对预先构建的初始卷积神经网络进行训练所得到的卷积神经网络，所述目标卷积神经网络包含所述图像样本的图像特征与标签的对应关系，所述标签用于标识所述机械臂与所述目标物体的相对位置关系；
标签判断模块330，用于判断所述目标图像对应的标签是否与预设结束标签相同；
运动方向确定模块340，用于在目标图像对应的标签与所述预设结束标签不同时，根据预设的标签与运动方向的对应关系，确定所述目标图像对应的标签所对应的目标运动方向；
机械臂移动模块350，用于控制所述机械臂按照所述目标运动方向及预设距离移动，并触发所述目标图像获取模块310；
机械臂抓取模块360，用于在目标图像对应的标签与所述预设结束标签相同时，控制所述机械臂抓取所述目标物体。
可见，本发明实施例所提供的方案中，控制设备获取摄像头采集的目标物体当前时刻的目标图像，将目标图像输入预先训练完成的目标卷积神经网络，得到目标图像对应的标签，然后判断目标图像对应的标签是否与预设结束标签相同，如果否，根据预设的标签与运动方向的对应关系，确定目标图像对应的标签所对应的目标运动方向，并控制机械臂按照目标运动方向及预设距离移动，返回获取目标物体当前时刻的目标图像的步骤，如果是，控制机械臂抓取目标物体。由于在抓取目标物体时采用步进的方式，即使在抓取过程中目标物体的位置发生改变，机械臂也可以准确抓取目标物体，提高了机械臂抓取物体的准确率和成功率。同时，由于只需输入单幅图像至目标卷积神经网络，并且得到的标签对应了机械臂最佳运动方向，因而不需要将图像或者运动方向等信息多次输入目标卷积神经网络，极大的减少了运算量。
作为本发明实施例的一种实施方式，上述卷积神经网络训练模块(图3中未示出)可以包括：
模型构建单元(图3中未示出)，用于构建初始卷积神经网络；
图像样本获取单元(图3中未示出)，用于获取所述摄像头采集的所述目标物体的多个图像样本；
标签生成单元(图3中未示出)，用于根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签；
模型训练单元(图3中未示出)，用于将所述图像样本及其对应的标签输入所述初始卷积神经网络进行训练；
完成训练单元(图3中未示出)，用于当所述初始卷积神经网络的目标函数的值不再变化或所述图像样本对应的输出结果的准确率达到预设准确率时，完成训练，得到所述包含所述图像样本的图像特征与标签的对应关系的目标卷积神经网络。
作为本发明实施例的一种实施方式，上述目标物体的位置信息可以表示为(x1，y1，z1)，所述机械臂的位置信息可以表示为(x2，y2，z2)；
上述标签生成单元可以包括：
标签生成子单元(图3中未示出)，用于根据采集每个图像样本时，所述机械臂的位置信息中x2与所述目标物体的位置信息中x1的大小关系、y2与y1的大小关系以及z2与z1的大小关系，按照预设标签生成规则，确定每个图像样本对应的标签。
作为本发明实施例的一种实施方式，所述预设标签生成规则包括：
当所述机械臂的位置信息及所述目标物体的位置信息满足预设组合条件时，生成该预设组合条件对应的标签，其中，所述预设组合条件为第一组预设条件中任一条件、第二组预设条件中任一条件及第三组预设条件中任一条件的组合，所述第一组预设条件包括：|x2-x1|不大于预设值、|x2-x1|大于预设值且x2＞x1及|x2-x1|大于预设值且x2＜x1三种条件，所述第二组预设条件包括：|y2-y1|不大于预设值、|y2-y1|大于预设值且y2＞y1及|y2-y1|大于预设值且y2＜y1三种条件,所述第三组预设条件包括：|z2-z1|不大于预设值、|z2-z1|大于预设值且z2＞z1及|z2-z1|大于预设值且z2＜z1三种条件。
作为本发明实施例的一种实施方式，上述图像样本获取单元可以包括：
目标物体放置子单元(图3中未示出)，用于将所述目标物体放置于预设位置；
机械臂调整子单元(图3中未示出)，用于改变所述机械臂的位置；
图像样本获取子单元(图3中未示出)，用于获取所述摄像头在所述机械臂处于每一位置时所采集的所述目标物体的图像样本。
作为本发明实施例的一种实施方式，上述装置还可以包括：
成功信息输出模块(图3中未示出)，用于在所述机械臂抓取所述目标物体成功时，输出抓取成功信息。
本发明实施例还提供了一种控制设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：
获取所述摄像头采集的目标物体当前时刻的目标图像；
将所述目标图像输入预先训练完成的目标卷积神经网络，得到目标图像对应的标签，其中，所述目标卷积神经网络为：基于图像样本及其对应的标签，对预先构建的初始卷积神经网络进行训练所得到的卷积神经网络，所述目标卷积神经网络包含所述图像样本的图像特征与标签的对应关系，所述标签用于标识所述机械臂与所述目标物体的相对位置关系；
判断所述目标图像对应的标签是否与预设结束标签相同；
如果否，根据预设的标签与运动方向的对应关系，确定所述目标图像对应的标签所对应的目标运动方向；
控制所述机械臂按照所述目标运动方向及预设距离移动，并返回所述获取目标物体当前时刻的目标图像的步骤；
如果是，控制所述机械臂抓取所述目标物体。
可见，本发明实施例所提供的方案中，控制设备获取摄像头采集的目标物体当前时刻的目标图像，将目标图像输入预先训练完成的目标卷积神经网络，得到目标图像对应的标签，然后判断目标图像对应的标签是否与预设结束标签相同，如果否，根据预设的标签与运动方向的对应关系，确定目标图像对应的标签所对应的目标运动方向，并控制机械臂按照目标运动方向及预设距离移动，返回获取目标物体当前时刻的目标图像的步骤，如果是，控制机械臂抓取目标物体。由于在抓取目标物体时采用步进的方式，即使在抓取过程中目标物体的位置发生改变，机械臂也可以准确抓取目标物体，提高了机械臂抓取物体的准确率和成功率。同时，由于只需输入单幅图像至目标卷积神经网络，并且得到的标签对应了机械臂最佳运动方向，因而不需要将图像或者运动方向等信息多次输入目标卷积神经网络，极大的减少了运算量。
上述控制设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述控制设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
其中，上述目标卷积神经网络的训练方式可以包括：
构建初始卷积神经网络；
获取所述摄像头采集的所述目标物体的多个图像样本；
根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签；
将所述图像样本及其对应的标签输入所述初始卷积神经网络进行训练；
当所述初始卷积神经网络的目标函数的值不再变化或所述图像样本对应的输出结果的准确率达到预设准确率时，完成训练，得到所述包含所述图像样本的图像特征与标签的对应关系的目标卷积神经网络。
其中，上述目标物体的位置信息可以表示为(x1，y1，z1)，所述机械臂的位置信息可以表示为(x2，y2，z2)；
上述根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签的步骤可以包括：
根据采集每个图像样本时，所述机械臂的位置信息中x2与所述目标物体的位置信息中x1的大小关系、y2与y1的大小关系以及z2与z1的大小关系，按照预设标签生成规则，确定每个图像样本对应的标签。
其中，上述预设标签生成规则可以包括：
当所述机械臂的位置信息及所述目标物体的位置信息满足预设组合条件时，生成该预设组合条件对应的标签，其中，所述预设组合条件为第一组预设条件中任一条件、第二组预设条件中任一条件及第三组预设条件中任一条件的组合，所述第一组预设条件包括：|x2-x1|不大于预设值、|x2-x1|大于预设值且x2＞x1及|x2-x1|大于预设值且x2＜x1三种条件，所述第二组预设条件包括：|y2-y1|不大于预设值、|y2-y1|大于预设值且y2＞y1及|y2-y1|大于预设值且y2＜y1三种条件,所述第三组预设条件包括：|z2-z1|不大于预设值、|z2-z1|大于预设值且z2＞z1及|z2-z1|大于预设值且z2＜z1三种条件。
其中，上述获取所述摄像头采集的所述目标物体的多个图像样本的步骤可以包括：
将所述目标物体放置于预设位置；
改变所述机械臂的位置；
获取所述摄像头在所述机械臂处于每一位置时所采集的所述目标物体的图像样本。
其中，当所述机械臂抓取所述目标物体成功时，上述方法还可以包括：
输出抓取成功信息。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取所述摄像头采集的目标物体当前时刻的目标图像；
将所述目标图像输入预先训练完成的目标卷积神经网络，得到目标图像对应的标签，其中，所述目标卷积神经网络为：基于图像样本及其对应的标签，对预先构建的初始卷积神经网络进行训练所得到的卷积神经网络，所述目标卷积神经网络包含所述图像样本的图像特征与标签的对应关系，所述标签用于标识所述机械臂与所述目标物体的相对位置关系；
判断所述目标图像对应的标签是否与预设结束标签相同；
如果否，根据预设的标签与运动方向的对应关系，确定所述目标图像对应的标签所对应的目标运动方向；
控制所述机械臂按照所述目标运动方向及预设距离移动，并返回所述获取目标物体当前时刻的目标图像的步骤；
如果是，控制所述机械臂抓取所述目标物体。
可见，本发明实施例所提供的方案中，计算机程序被处理器执行时，获取摄像头采集的目标物体当前时刻的目标图像，将目标图像输入预先训练完成的目标卷积神经网络，得到目标图像对应的标签，然后判断目标图像对应的标签是否与预设结束标签相同，如果否，根据预设的标签与运动方向的对应关系，确定目标图像对应的标签所对应的目标运动方向，并控制机械臂按照目标运动方向及预设距离移动，返回获取目标物体当前时刻的目标图像的步骤，如果是，控制机械臂抓取目标物体。由于在抓取目标物体时采用步进的方式，即使在抓取过程中目标物体的位置发生改变，机械臂也可以准确抓取目标物体，提高了机械臂抓取物体的准确率和成功率。同时，由于只需输入单幅图像至目标卷积神经网络，并且得到的标签对应了机械臂最佳运动方向，因而不需要将图像或者运动方向等信息多次输入目标卷积神经网络，极大的减少了运算量。
其中，上述目标卷积神经网络的训练方式可以包括：
构建初始卷积神经网络；
获取所述摄像头采集的所述目标物体的多个图像样本；
根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签；
将所述图像样本及其对应的标签输入所述初始卷积神经网络进行训练；
当所述初始卷积神经网络的目标函数的值不再变化或所述图像样本对应的输出结果的准确率达到预设准确率时，完成训练，得到所述包含所述图像样本的图像特征与标签的对应关系的目标卷积神经网络。
其中，上述目标物体的位置信息可以表示为(x1，y1，z1)，所述机械臂的位置信息可以表示为(x2，y2，z2)；
上述根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签的步骤可以包括：
根据采集每个图像样本时，所述机械臂的位置信息中x2与所述目标物体的位置信息中x1的大小关系、y2与y1的大小关系以及z2与z1的大小关系，按照预设标签生成规则，确定每个图像样本对应的标签。
其中，上述预设标签生成规则可以包括：
当所述机械臂的位置信息及所述目标物体的位置信息满足预设组合条件时，生成该预设组合条件对应的标签，其中，所述预设组合条件为第一组预设条件中任一条件、第二组预设条件中任一条件及第三组预设条件中任一条件的组合，所述第一组预设条件包括：|x2-x1|不大于预设值、|x2-x1|大于预设值且x2＞x1及|x2-x1|大于预设值且x2＜x1三种条件，所述第二组预设条件包括：|y2-y1|不大于预设值、|y2-y1|大于预设值且y2＞y1及|y2-y1|大于预设值且y2＜y1三种条件,所述第三组预设条件包括：|z2-z1|不大于预设值、|z2-z1|大于预设值且z2＞z1及|z2-z1|大于预设值且z2＜z1三种条件。
其中，上述获取所述摄像头采集的所述目标物体的多个图像样本的步骤可以包括：
将所述目标物体放置于预设位置；
改变所述机械臂的位置；
获取所述摄像头在所述机械臂处于每一位置时所采集的所述目标物体的图像样本。
其中，当所述机械臂抓取所述目标物体成功时，上述方法还可以包括：
输出抓取成功信息。
需要说明的是，对于上述装置、控制设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要进一步说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种控制机械臂抓取物体的方法，其特征在于，应用于与所述机械臂通信连接的控制设备，所述机械臂上安装有摄像头，所述方法包括：
获取所述摄像头采集的目标物体当前时刻的目标图像；
将所述目标图像输入预先训练完成的目标卷积神经网络，得到目标图像对应的标签，其中，所述目标卷积神经网络为：基于图像样本及其对应的标签，对预先构建的初始卷积神经网络进行训练所得到的卷积神经网络，所述目标卷积神经网络包含所述图像样本的图像特征与标签的对应关系，所述标签用于标识所述机械臂与所述目标物体的相对位置关系；
判断所述目标图像对应的标签是否与预设结束标签相同；
如果否，根据预设的标签与运动方向的对应关系，确定所述目标图像对应的标签所对应的目标运动方向；
控制所述机械臂按照所述目标运动方向及预设距离移动，并返回所述获取目标物体当前时刻的目标图像的步骤；
如果是，控制所述机械臂抓取所述目标物体。
2.如权利要求1所述的方法，其特征在于，所述目标卷积神经网络的训练方式，包括：
构建初始卷积神经网络；
获取所述摄像头采集的所述目标物体的多个图像样本；
根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签；
将所述图像样本及其对应的标签输入所述初始卷积神经网络进行训练；
当所述初始卷积神经网络的目标函数的值不再变化或所述图像样本对应的输出结果的准确率达到预设准确率时，完成训练，得到所述包含所述图像样本的图像特征与标签的对应关系的目标卷积神经网络。
3.如权利要求2所述的方法，其特征在于，所述目标物体的位置信息表示为(x1，y1，z1)，所述机械臂的位置信息表示为(x2，y2，z2)；
所述根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签的步骤，包括：
根据采集每个图像样本时，所述机械臂的位置信息中x2与所述目标物体的位置信息中x1的大小关系、y2与y1的大小关系以及z2与z1的大小关系，按照预设标签生成规则，确定每个图像样本对应的标签。
4.如权利要求3所述的方法，其特征在于，所述预设标签生成规则包括：
当所述机械臂的位置信息及所述目标物体的位置信息满足预设组合条件时，生成该预设组合条件对应的标签，其中，所述预设组合条件为第一组预设条件中任一条件、第二组预设条件中任一条件及第三组预设条件中任一条件的组合，所述第一组预设条件包括：|x2-x1|不大于预设值、|x2-x1|大于预设值且x2＞x1及|x2-x1|大于预设值且x2＜x1三种条件，所述第二组预设条件包括：|y2-y1|不大于预设值、|y2-y1|大于预设值且y2＞y1及|y2-y1|大于预设值且y2＜y1三种条件,所述第三组预设条件包括：|z2-z1|不大于预设值、|z2-z1|大于预设值且z2＞z1及|z2-z1|大于预设值且z2＜z1三种条件。
5.如权利要求2所述的方法，其特征在于，所述获取所述摄像头采集的所述目标物体的多个图像样本的步骤，包括：
将所述目标物体放置于预设位置；
改变所述机械臂的位置；
获取所述摄像头在所述机械臂处于每一位置时所采集的所述目标物体的图像样本。
6.如权利要求1-5任一项所述的方法，其特征在于，当所述机械臂抓取所述目标物体成功时，所述方法还包括：
输出抓取成功信息。
7.一种控制机械臂抓取物体的装置，其特征在于，应用于与所述机械臂通信连接的控制设备，所述机械臂上安装有摄像头，所述装置包括：
目标图像获取模块，用于获取所述摄像头采集的目标物体当前时刻的目标图像；
标签确定模块，用于将所述目标图像输入由卷积神经网络训练模块预先训练完成的目标卷积神经网络，得到目标图像对应的标签，其中，所述目标卷积神经网络为：基于图像样本及其对应的标签，对预先构建的初始卷积神经网络进行训练所得到的卷积神经网络，所述目标卷积神经网络包含所述图像样本的图像特征与标签的对应关系，所述标签用于标识所述机械臂与所述目标物体的相对位置关系；
标签判断模块，用于判断所述目标图像对应的标签是否与预设结束标签相同；
运动方向确定模块，用于在目标图像对应的标签与所述预设结束标签不同时，根据预设的标签与运动方向的对应关系，确定所述目标图像对应的标签所对应的目标运动方向；
机械臂移动模块，用于控制所述机械臂按照所述目标运动方向及预设距离移动，并触发所述目标图像获取模块；
机械臂抓取模块，用于在目标图像对应的标签与所述预设结束标签相同时，控制所述机械臂抓取所述目标物体。
8.如权利要求7所述的装置，其特征在于，所述卷积神经网络训练模块包括：
模型构建单元，用于构建初始卷积神经网络；
图像样本获取单元，用于获取所述摄像头采集的所述目标物体的多个图像样本；
标签生成单元，用于根据采集每个图像样本时，所述机械臂的位置信息及所述目标物体的位置信息，按照预设标签生成规则，确定每个图像样本对应的标签；
模型训练单元，用于将所述图像样本及其对应的标签输入所述初始卷积神经网络进行训练；
完成训练单元，用于当所述初始卷积神经网络的目标函数的值不再变化或所述图像样本对应的输出结果的准确率达到预设准确率时，完成训练，得到所述包含所述图像样本的图像特征与标签的对应关系的目标卷积神经网络。
9.如权利要求8所述的装置，其特征在于，所述目标物体的位置信息表示为(x1，y1，z1)，所述机械臂的位置信息表示为(x2，y2，z2)；
所述标签生成单元包括：
标签生成子单元，用于根据采集每个图像样本时，所述机械臂的位置信息中x2与所述目标物体的位置信息中x1的大小关系、y2与y1的大小关系以及z2与z1的大小关系，按照预设标签生成规则，确定每个图像样本对应的标签。
10.如权利要求9所述的装置，其特征在于，所述预设标签生成规则包括：
当所述机械臂的位置信息及所述目标物体的位置信息满足预设组合条件时，生成该预设组合条件对应的标签，其中，所述预设组合条件为第一组预设条件中任一条件、第二组预设条件中任一条件及第三组预设条件中任一条件的组合，所述第一组预设条件包括：|x2-x1|不大于预设值、|x2-x1|大于预设值且x2＞x1及|x2-x1|大于预设值且x2＜x1三种条件，所述第二组预设条件包括：|y2-y1|不大于预设值、|y2-y1|大于预设值且y2＞y1及|y2-y1|大于预设值且y2＜y1三种条件,所述第三组预设条件包括：|z2-z1|不大于预设值、|z2-z1|大于预设值且z2＞z1及|z2-z1|大于预设值且z2＜z1三种条件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710700003.XA CN109407603B (zh) | 2017-08-16 | 2017-08-16 | 一种控制机械臂抓取物体的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710700003.XA CN109407603B (zh) | 2017-08-16 | 2017-08-16 | 一种控制机械臂抓取物体的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109407603A true CN109407603A (zh) | 2019-03-01 |
| CN109407603B CN109407603B (zh) | 2020-03-06 |
Family
ID=65454389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710700003.XA Active CN109407603B (zh) | 2017-08-16 | 2017-08-16 | 一种控制机械臂抓取物体的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109407603B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110076772A (zh) * | 2019-04-03 | 2019-08-02 | 浙江大华技术股份有限公司 | 一种机械臂的抓取方法及装置 |
| CN110125930A (zh) * | 2019-04-18 | 2019-08-16 | 华中科技大学 | 一种基于机器视觉和深度学习的机械臂抓取控制方法 |
| CN110210367A (zh) * | 2019-05-28 | 2019-09-06 | 深圳前海达闼云端智能科技有限公司 | 一种训练数据的获取方法、电子设备及存储介质 |
| CN110238840A (zh) * | 2019-04-24 | 2019-09-17 | 中山大学 | 一种基于视觉的机械臂自主抓取方法 |
| CN110253581A (zh) * | 2019-06-25 | 2019-09-20 | 华北水利水电大学 | 一种基于视觉识别的辅助抓取方法 |
| CN111618848A (zh) * | 2020-04-28 | 2020-09-04 | 平安科技（深圳）有限公司 | 多机器人的协作控制方法、装置及计算机设备 |
| CN111702761A (zh) * | 2020-06-12 | 2020-09-25 | 珠海格力智能装备有限公司 | 码垛机器人的控制方法、控制装置、处理器和分拣系统 |
| CN111899629A (zh) * | 2020-08-04 | 2020-11-06 | 菲尼克斯(南京)智能制造技术工程有限公司 | 柔性机器人教学系统和方法 |
| WO2022021156A1 (zh) * | 2020-07-29 | 2022-02-03 | 西门子（中国）有限公司 | 用于机器人抓取三维物体的方法和装置 |
| CN116002323A (zh) * | 2022-12-29 | 2023-04-25 | 上海邺洋生物技术应用有限公司 | 一种基于机械臂的生物实验室智能搬运方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160184997A1 (en) * | 2014-12-25 | 2016-06-30 | Keyence Corporation | Image Processing Apparatus, Image Processing System, Image Processing Method, And Computer Program |
| CN106094516A (zh) * | 2016-06-08 | 2016-11-09 | 南京大学 | 一种基于深度强化学习的机器人自适应抓取方法 |
| CN106553195A (zh) * | 2016-11-25 | 2017-04-05 | 中国科学技术大学 | 工业机器人抓取过程中的物体6自由度定位方法及系统 |
| CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
| US20170173798A1 (en) * | 2013-06-28 | 2017-06-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
| CN106960099A (zh) * | 2017-03-28 | 2017-07-18 | 清华大学 | 一种基于深度学习的机械手抓取稳定性识别方法 |
-
2017
- 2017-08-16 CN CN201710700003.XA patent/CN109407603B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170173798A1 (en) * | 2013-06-28 | 2017-06-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
| US20160184997A1 (en) * | 2014-12-25 | 2016-06-30 | Keyence Corporation | Image Processing Apparatus, Image Processing System, Image Processing Method, And Computer Program |
| CN106094516A (zh) * | 2016-06-08 | 2016-11-09 | 南京大学 | 一种基于深度强化学习的机器人自适应抓取方法 |
| CN106553195A (zh) * | 2016-11-25 | 2017-04-05 | 中国科学技术大学 | 工业机器人抓取过程中的物体6自由度定位方法及系统 |
| CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
| CN106960099A (zh) * | 2017-03-28 | 2017-07-18 | 清华大学 | 一种基于深度学习的机械手抓取稳定性识别方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110076772A (zh) * | 2019-04-03 | 2019-08-02 | 浙江大华技术股份有限公司 | 一种机械臂的抓取方法及装置 |
| CN110125930B (zh) * | 2019-04-18 | 2021-05-11 | 华中科技大学 | 一种基于机器视觉和深度学习的机械臂抓取控制方法 |
| CN110125930A (zh) * | 2019-04-18 | 2019-08-16 | 华中科技大学 | 一种基于机器视觉和深度学习的机械臂抓取控制方法 |
| CN110238840A (zh) * | 2019-04-24 | 2019-09-17 | 中山大学 | 一种基于视觉的机械臂自主抓取方法 |
| CN110210367A (zh) * | 2019-05-28 | 2019-09-06 | 深圳前海达闼云端智能科技有限公司 | 一种训练数据的获取方法、电子设备及存储介质 |
| CN110253581A (zh) * | 2019-06-25 | 2019-09-20 | 华北水利水电大学 | 一种基于视觉识别的辅助抓取方法 |
| CN111618848A (zh) * | 2020-04-28 | 2020-09-04 | 平安科技（深圳）有限公司 | 多机器人的协作控制方法、装置及计算机设备 |
| CN111702761A (zh) * | 2020-06-12 | 2020-09-25 | 珠海格力智能装备有限公司 | 码垛机器人的控制方法、控制装置、处理器和分拣系统 |
| CN111702761B (zh) * | 2020-06-12 | 2022-05-27 | 珠海格力智能装备有限公司 | 码垛机器人的控制方法、控制装置、处理器和分拣系统 |
| WO2022021156A1 (zh) * | 2020-07-29 | 2022-02-03 | 西门子（中国）有限公司 | 用于机器人抓取三维物体的方法和装置 |
| EP4166281A4 (en) * | 2020-07-29 | 2024-03-13 | Siemens Ltd China | METHOD AND APPARATUS ALLOWING A ROBOT TO GRIP A THREE-DIMENSIONAL OBJECT |
| CN111899629A (zh) * | 2020-08-04 | 2020-11-06 | 菲尼克斯(南京)智能制造技术工程有限公司 | 柔性机器人教学系统和方法 |
| CN111899629B (zh) * | 2020-08-04 | 2022-06-10 | 菲尼克斯(南京)智能制造技术工程有限公司 | 柔性机器人教学系统和方法 |
| CN116002323A (zh) * | 2022-12-29 | 2023-04-25 | 上海邺洋生物技术应用有限公司 | 一种基于机械臂的生物实验室智能搬运方法及系统 |
| CN116002323B (zh) * | 2022-12-29 | 2024-05-14 | 北京斯普脉生物技术有限公司 | 一种基于机械臂的生物实验室智能搬运方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109407603B (zh) | 2020-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109407603A (zh) | 一种控制机械臂抓取物体的方法及装置 | |
| CN109909998A (zh) | 一种控制机械臂运动的方法及装置 | |
| CN110298370A (zh) | 网络模型训练方法、装置及物体位姿确定方法、装置 | |
| CN101970184B (zh) | 动作教导系统以及动作教导方法 | |
| CN109483573A (zh) | 机器学习装置、机器人系统以及机器学习方法 | |
| CN107498558A (zh) | 全自动手眼标定方法及装置 | |
| CN112258567A (zh) | 物体抓取点的视觉定位方法、装置、存储介质及电子设备 | |
| EP1881383A2 (en) | Simulation device of robot system | |
| CN109559341A (zh) | 一种机械臂抓取方案的生成方法及装置 | |
| JP6671694B1 (ja) | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 | |
| CN110293553A (zh) | 控制机械臂操作物体的方法、装置及模型训练方法、装置 | |
| CN108748149B (zh) | 一种复杂环境下基于深度学习的无标定机械臂抓取方法 | |
| CN110298878A (zh) | 一种目标物体三维位姿的确定方法、装置及电子设备 | |
| CN103780835A (zh) | 标识设备和方法 | |
| CN113664835B (zh) | 机器人自动手眼标定方法与系统 | |
| CN109961471A (zh) | 一种图像中物体位置的标注方法、装置及电子设备 | |
| JP2014137644A (ja) | 認識プログラム評価装置および認識プログラム評価方法 | |
| CN110293549A (zh) | 机械臂控制方法、装置及神经网络模型训练方法、装置 | |
| CN110503012A (zh) | 鸟类喂食的方法、装置及系统 | |
| CN110399822A (zh) | 基于深度学习的举手动作识别方法、装置及存储介质 | |
| CN109814434A (zh) | 控制程序的校准方法及装置 | |
| CN113664838A (zh) | 机器人定位放置控制方法、装置、电子设备及存储介质 | |
| CN110298877A (zh) | 一种物体三维位姿的确定方法、装置及电子设备 | |
| CN110080326A (zh) | 一种卸料方法、控制器、挖掘机、电子设备及存储介质 | |
| CN112633187B (zh) | 基于图像分析的机器人自动搬运方法、系统和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |