CN110293553B - 控制机械臂操作物体的方法、装置及模型训练方法、装置 - Google Patents

Abstract

本发明实施例提供了一种控制机械臂操作物体的方法及深度神经网络模型的训练方法，控制机械臂操作物体的方法包括：获取图像传感器当前时刻采集的目标图像；将目标图像输入预先训练完成的深度神经网络模型进行检测，得到目标图像对应的标签；判断目标图像对应的标签是否与预设的操作标签相同；如果否，控制末端工具按照目标标签对应的目标运动方向移动预设距离，并返回获取图像传感器当前时刻采集的目标图像的步骤；如果是，控制末端工具对待操作物体进行目标操作。由于深度神经网络模型是基于通过多个角度不同的图像传感器采集的图像样本训练得到的，可以消除摄像机的内参和外参的估计造成的误差，使机械臂对物体操作的准确率大大提高。

Description

控制机械臂操作物体的方法、装置及模型训练方法、装置

技术领域

本发明涉及人工智能技术领域，特别是涉及一种控制机械臂操作物体的方法、装置及一种深度神经网络模型的训练方法、装置。

背景技术

机械臂在进行基于视觉的物体操作时，要解决的首要问题就是准确率问题。机械臂在进行物体操作时，为了保证操作准确率，通常都要对摄像机的内参和外参进行校准，保证视觉检测得到的物体位置的准确，才能保证机械臂可以进行精准的基于视觉的操作。

摄像机的内参一般指的是摄像机的焦距和畸变参数，摄像机的外参一般是指摄像机与机械臂的末端工具的相对位置关系。由于基于距离传感器获取的距离数据存在误差，同时，摄像机的内参和外参的标定过程中都会存在误差，因此，采用现有方式均无法精确估计摄像机的内参和外参。

可见，由于摄像机的内参和外参的估计存在误差，摄像机的内参和外参无法准确确定，从而造成机械臂在基于视觉进行物体操作时也产生误差，操作准确率降低。

发明内容

本发明实施例的目的在于提供一种控制机械臂操作物体的方法、装置及一种深度神经网络模型的训练方法、装置，以提高机械臂对物体操作的准确率。具体技术方案如下：

第一方面，本发明实施例提供了一种控制机械臂操作物体的方法，所述机械臂末端安装有末端工具，所述方法包括：

获取图像传感器当前时刻采集的目标图像，其中，所述目标图像包括待操作物体及所述末端工具，所述图像传感器与放置所述待操作物体平面构成俯视视角；

将所述目标图像输入预先训练完成的深度神经网络模型进行检测，得到所述目标图像对应的标签，其中，所述深度神经网络模型基于通过多个角度不同的图像传感器采集的图像样本训练得到，用于根据图像特征确定对应的标签，所述标签用于标识所述末端工具的运动方向；

判断所述目标图像对应的标签是否与预设的操作标签相同；

如果否，控制所述末端工具按照所述目标标签对应的目标运动方向移动预设距离，并返回所述获取图像传感器当前时刻采集的目标图像的步骤，其中，所述目标标签为所述目标图像对应的标签；

如果是，控制所述末端工具对所述待操作物体进行目标操作。

可选的，在所述获取图像传感器当前时刻采集的目标图像的步骤之前，所述方法还包括：

控制所述末端工具移动至预操作点位置，其中，所述预操作点为距离所述待操作物体在预设范围内的点。

可选的，所述深度神经网络模型的训练方式，包括：

获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

将所述图像样本及其对应的标签输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。

可选的，所述根据每个图像样本中的物体与末端工具的相对位置关系，确定每个图像样本对应的标签的步骤，包括：

根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

可选的，所述物体与末端工具的相对位置关系包括：物体在末端工具的左侧、右侧、前方及正中。

第二方面，本发明实施例提供了一种深度神经网络模型的训练方法，所述方法包括：

构建初始深度神经网络模型；

获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

将所述图像样本及其对应的标签输入所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。

可选的，每个图像传感器与放置所述物体平面构成的俯视视角的角度不同，且各角度的差异值不大于预设值。

可选的，所述获取多个角度不同的图像传感器采集的多个图像样本的步骤，包括：

获取多个角度不同的图像传感器采集的多个图像，其中，每个图像中包括物体及末端工具；

标注每个图像中物体的边框；

将每个图像中包括边框的预设范围区域作为图像样本，其中，所述预设范围区域包括末端工具。

可选的，所述根据每个图像样本中的物体与末端工具的相对位置关系，确定每个图像样本对应的标签的步骤，包括：

根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

可选的，所述物体与末端工具的相对位置关系包括：物体在末端工具的左侧、右侧、前方及正中。

第三方面，本发明实施例还提供了一种控制机械臂操作物体的装置，所述机械臂末端安装有末端工具，所述装置包括：

目标图像获取模块，用于获取图像传感器当前时刻采集的目标图像，其中，所述目标图像包括待操作物体及所述末端工具，所述图像传感器与放置所述待操作物体平面构成俯视视角；

图像检测模块，用于将所述目标图像输入预先通过模型训练模块训练完成的深度神经网络模型进行检测，得到所述目标图像对应的标签，其中，所述深度神经网络模型基于通过多个角度不同的图像传感器采集的图像样本训练得到，用于根据图像特征确定对应的标签，所述标签用于标识所述末端工具的运动方向；

操作标签确定模块，用于判断所述目标图像对应的标签是否与预设的操作标签相同；

控制移动模块，用于在所述目标图像对应的标签与预设的操作标签不同时，控制所述末端工具按照所述目标标签对应的目标运动方向移动预设距离，并触发所述目标图像获取模块，其中，所述目标标签为所述目标图像对应的标签；

控制操作模块，用于在所述目标图像对应的标签与预设的操作标签相同时，控制所述末端工具对所述待操作物体进行目标操作。

可选的，所述装置还包括：

预操作点移动模块，用于在所述获取图像传感器当前时刻采集的目标图像之前，控制所述末端工具移动至预操作点位置，其中，所述预操作点为距离所述待操作物体在预设范围内的点。

可选的，所述模型训练模块，包括：

图像样本获取单元，用于获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

标签确定单元，用于根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

模型训练单元，用于将所述图像样本及其对应的标签输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。

可选的，所述标签确定单元包括：

运动方向确定子单元，用于根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

标签确定子单元，用于根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

可选的，所述物体与末端工具的相对位置关系包括：物体在末端工具的左侧、右侧、前方及正中。

第四方面，本发明实施例还提供了一种深度神经网络模型的训练装置，所述装置包括：

网络模型构建模块，用于构建初始深度神经网络模型；

图像样本获取模块，用于获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

标签确定模块，用于根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

模型训练模块，用于将所述图像样本及其对应的标签输入所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。

可选的，每个图像传感器与放置所述物体平面构成的俯视视角的角度不同，且各角度的差异值不大于预设值。

可选的，所述图像样本获取模块包括：

图像获取单元，用于获取多个角度不同的图像传感器采集的多个图像，其中，每个图像中包括物体及末端工具；

边框标注单元，用于标注每个图像中物体的边框；

图像样本确定单元，用于将每个图像中包括边框的预设范围区域作为图像样本，其中，所述预设范围区域包括末端工具。

可选的，所述标签确定模块包括：

运动方向确定单元，用于根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

标签确定单元，用于根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

可选的，所述物体与末端工具的相对位置关系包括：物体在末端工具的左侧、右侧、前方及正中。

另外，本发明实施例还提供了一种电子设备，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一控制机械臂操作物体的方法步骤。

另外，本发明实施例还提供了另一种电子设备，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一深度神经网络模型的训练方法步骤。

另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一控制机械臂操作物体的方法步骤。

另外，本发明实施例还提供了另一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一深度神经网络模型的训练方法。

本发明实施例所提供的方案中，首先获取图像传感器当前时刻采集的目标图像，将所述目标图像输入预先训练完成的深度神经网络模型进行检测，得到目标图像对应的标签，然后判断目标图像对应的标签是否与预设的操作标签相同，如果否，控制末端工具按照目标标签对应的目标运动方向移动预设距离，并返回获取图像传感器当前时刻采集的目标图像的步骤，如果是，控制末端工具对待操作物体进行目标操作。由于深度神经网络模型是基于通过多个角度不同的图像传感器采集的图像样本训练得到的，可以消除摄像机的内参和外参的估计造成的误差，可以根据图像特征准确确定其对应的标签，从而消除机械臂在基于视觉进行物体操作时的误差，使机械臂对物体操作的准确率大大提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的一种控制机械臂操作物体的方法的流程图；

图2为图1所示实施例中目标图像的一种示意图；

图3为图1所示实施例中深度神经网络模型的训练方式的流程图；

图4为图3所示实施例中步骤S302的具体流程图；

图5为本发明实施例所提供的一种深度神经网络模型的训练方法的流程图；

图6为图5所示实施例中步骤S501的具体流程图；

图7为本发明实施例所提供的一种控制机械臂操作物体的装置的结构示意图；

图8为本发明实施例所提供的一种深度神经网络模型的训练装置的结构示意图；

图9为本发明实施例所提供的一种电子设备的装置的结构示意图；

图10为本发明实施例所提供的另一种电子设备的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了消除摄像机内参及外参的误差造成的影响，提高机械臂操作物体的准确率，本发明实施例提供了一种控制机械臂操作物体的方法、装置、电子设备及计算机可读存储介质，以及一种深度神经网络模型的训练方法、装置、电子设备及计算机可读存储介质。

下面首先对本发明实施例所提供的一种控制机械臂操作物体的方法进行介绍。

本发明实施例所提供的一种控制机械臂操作物体的方法可以应用于任意与机械臂通信连接的电子设备，以下简称电子设备，例如，可以为控制器、电脑、平板电脑等电子设备，在此不做具体限定。

如图1所示，一种控制机械臂操作物体的方法，所述机械臂末端安装有末端工具，所述方法包括：

S101，获取图像传感器当前时刻采集的目标图像；

其中，所述目标图像包括待操作物体及所述末端工具，所述图像传感器与放置所述待操作物体平面构成俯视视角。

S102，将所述目标图像输入预先训练完成的深度神经网络模型进行检测，得到所述目标图像对应的标签；

其中，所述深度神经网络模型基于通过多个角度不同的图像传感器采集的图像样本训练得到，用于根据图像特征确定对应的标签，所述标签用于标识所述末端工具的运动方向。

S103，判断所述目标图像对应的标签是否与预设的操作标签相同，如果否，则执行步骤S104；如果是，则执行步骤S105；

S104，控制所述末端工具按照所述目标标签对应的目标运动方向移动预设距离，并返回步骤S101；

其中，所述目标标签为所述目标图像对应的标签。

S105，控制所述末端工具对所述待操作物体进行目标操作。

可见，本发明实施例所提供的方案中，电子设备首先获取图像传感器当前时刻采集的目标图像，将所述目标图像输入预先训练完成的深度神经网络模型进行检测，得到目标图像对应的标签，然后判断目标图像对应的标签是否与预设的操作标签相同，如果否，控制末端工具按照目标标签对应的目标运动方向移动预设距离，并返回获取图像传感器当前时刻采集的目标图像的步骤，如果是，控制末端工具对待操作物体进行目标操作。由于深度神经网络模型是基于通过多个角度不同的图像传感器采集的图像样本训练得到的，可以消除摄像机的内参和外参的估计造成的误差，可以根据图像特征准确确定其对应的标签，从而消除机械臂在基于视觉进行物体操作时的误差，使机械臂对物体操作的准确率大大提高。

机械臂的末端工具即为安装于机械臂末端，用于对物体进行操作的工具。根据需要对物体进行的操作的不同，末端工具可以为不同的工具，例如，可以为机械爪、刀、勺子、笔等，在此不做具体限定。待操作物体则为机械臂需要对其进行目标操作的物体，例如，可以为杯子、按钮、食物等，在此也不做具体限定。而目标操作则可以根据实际需要确定，例如，可以为抓取、按动、切割、推动等，在此也不做具体限定。

在上述步骤S101中，电子设备首先可以获取图像传感器当前时刻采集的目标图像。其中，目标图像包括待操作物体及上述末端工具。该图像传感器与放置待操作物体平面构成俯视视角，也就是说，图像传感器用于采集待操作物体的俯视图。当然，图像传感器与放置待操作物体平面只要构成俯视视角即可，并不必一定垂直于放置待操作物体平面，采集的目标图像也不必一定是待操作物体的正投影俯视图。图2所示为目标图像的一种示意图，图2中包括待操作物体201及末端工具202，可见，图2是待操作物体201的俯视视角的图像。

如果图像传感器为光学图像传感器，那么图像传感器的光轴与垂直于放置待操作物体平面的方向之间的夹角可以在预设范围内，预设范围可以根据待操作物体形状、大小等因素确定，例如，可以为5度、15度、20度等，在此不做具体限定。

获取上述目标图像后，在步骤S102中，电子设备便可以将目标图像输入预先训练完成的深度神经网络模型进行检测，进而，得到目标图像对应的标签。其中，该深度神经网络模型可以为基于通过多个角度不同的图像传感器采集的图像样本，对预先构建的初始卷积神经网络进行训练所得到的深度神经网络模型，其包含图像样本中待操作物体及机械臂末端工具的图像特征与标签的对应关系，用于根据图像特征确定对应的标签，标签则用于标识机械臂的末端工具的运动方向，运动方向可以包括向前、向左、向右等。

上述深度神经网络模型可以为Faster RCNN、RFCN、YOLO等深度神经网络模型，只要可以根据图像特征确定对应的标签即可，在此不做具体限定。用于训练该深度神经网络模型的图像样本可以通过多个角度不同的图像传感器采集得到，该多个角度不同的图像传感器采集的图像样本也可以是俯视视角的，每个图像传感器与放置训练物体的平面构成的俯视视角不同，这样可以消除误差，更利于提高深度神经网络模型的检测准确率。为了方案清楚及布局清晰，后续将会对深度神经网络模型的训练方式进行举例介绍。

在上述步骤S103中，电子设备便可以判断目标图像对应的标签是否与预设的操作标签相同。该预设操作标签标识机械臂的末端工具已经到达待操作物体位置，不需要再移动。

因此，如果目标图像对应的标签与预设的操作标签不同，那么说明此时机械臂的末端工具还未到达待操作物体位置，还需要继续移动，电子设备则可以控制末端工具按照目标图像对应的标签，即目标标签对应的目标运动方向移动预设距离，并返回步骤S101，继续获取图像传感器当前时刻采集的目标图像，循环执行上述步骤S101-步骤S103，直到目标图像对应的标签与预设的操作标签相同。其中，该预设距离可以根据待操作物体的大小、目标操作的具体内容等因素确定，例如，可以为1厘米、2厘米、2.5厘米等，在此不做具体限定。

如果目标图像对应的标签与预设的操作标签相同，那么说明此时机械臂的末端工具已到达待操作物体位置，不需要继续移动，电子设备则可以执行步骤S105，即控制末端工具对待操作物体进行目标操作。

例如，假设机械臂的末端工具为机械爪，待操作物体为杯子，预设距离为2厘米，目标操作为“推倒”，预设的操作标签为标签A。标签与运动方向的对应关系为：标签B对应运动方向向左；标签C对应运动方向向右；标签D对应运动方向向前。那么如果目标标签为C，其对应的目标运动方向也就为向右，此时，电子设备便可以控制机械臂的机械爪向右移动2厘米，并返回步骤S101。如果目标标签为A，其与预设的操作标签相同，此时，电子设备便可以控制机械臂的机械爪对杯子进行推倒操作。

由于在机械臂的末端工具距离待操作物体较远时，机械臂的末端工具的移动一般不会触碰到待操作物体，因此不需要特别精准的移动，那么，为了提高对待操作物体的整个操作过程的效率及准确度，作为本发明实施例的一种实施方式，在上述获取图像传感器当前时刻采集的目标图像的步骤之前，上述方法还可以包括：

控制所述末端工具移动至预操作点位置。

其中，预操作点为距离上述待操作物体在预设范围内的点。该预设范围可以根据待操作物体的大小，放置位置等实际因素确定，在此不做具体限定，例如可以为5厘米、10厘米、13厘米等。

在执行上述步骤S101-步骤S105之前，电子设备可以控制机械臂的末端工具移动至预操作点位置，也就是距离待操作物体较近的位置，通过上述步骤S101-步骤S105对末端工具的位置进行微调，保证不会对待操作物体造成损伤，同时保证能够准确地对待操作物体进行准确地目标操作。

在一种实施方式中，由于一般情况下，待操作物体放置于固定平面上，例如桌子、操作台等位置，因此待操作物体所处高度即为确定的，那么为了减少计算量，提高效率，机械臂的末端工具的高度可以固定在与待操作物体所处高度相同的高度，这样，机械臂的末端工具便可以只在左右及前后方向上移动，可以提高计算速度和操作效率。

相应的，在这种情况下，上述预操作点也就为高度与待操作物体的高度相同，且距离待操作物体在预设范围内的点。

可见，在本实施例中，电子设备可以在执行上述步骤S101-步骤S105之前，电子设备可以控制机械臂的末端工具移动至预操作点位置，这样可以通过步骤S101-步骤S105对机械臂的末端工具进行微调，进而提高对待操作物体的整个操作过程的效率及准确度。

作为本发明实施例的一种实施方式，如图3所示，上述深度神经网络模型的训练方式，可以包括：

S301，获取多个角度不同的图像传感器采集的多个图像样本；

其中，图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置该物体平面构成俯视视角。该物体为上述待操作物体，这样可以保证深度神经网络模型的检测精度。可以理解的是，每个图像样本中物体的位姿是不同的，图像样本的背景也可以是不同的，这样可以使训练得到的深度神经网络模型可以对各种位姿及背景下的待操作物体进行检测。

例如，上述待操作物体为杯子，那么图像样本中包括的物体即为该杯子。如果待操作物体为多个，包括杯子A、杯子B、杯子C、杯子D，那么图像样本中包括的物体也为杯子A、杯子B、杯子C、杯子D。

同理的，图像样本中包括的机械臂的末端工具与图1所示实施例中的机械臂的末端工具相同。

多个角度不同的图像传感器可以包括上述采集目标图像的图像传感器，也可以为不包括上述采集目标图像的图像传感器，只要与放置该物体平面构成俯视视角，能够采集图样样本即可，在此不做具体限定。对于俯视视角的说明已在上述对于图像传感器与放置待抓取物体平面构成俯视视角的部分说明，可以参见上述对于图像传感器与放置待抓取物体平面构成俯视视角的部分说明，在此不再赘述。

为了提高图像样本的多样性，尽量消除误差，每个图像传感器与放置物体平面构成的俯视视角的角度可以均不同，且各角度的差异值不大于预设值，该预设值可以根据图像传感器的大小、物体大小等因素确定，例如可以为1度、2度、5度等，在此不做具体限定。

S302，根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

在每个图像样本中，物体与末端工具的相对位置关系是确定的，物体可能在末端工具的左侧、右侧、前方、正中等位置，根据物体与末端工具的相对位置关系，电子设备可以确定每个图像样本对应的标签，该标签则用于标识对应的图像样本中末端工具想要移动至物体所在位置所需运动的方向。

S303，将所述图像样本及其对应的标签输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。

得到上述图像样本及其对应的标签后，可以将图像样本及其对应的标签输入预先构建的初始深度神经网络模型进行训练，在训练过程中，初始深度神经网络模型可以学习图像样本中包括物体及末端工具的图像特征，输出图像样本对应的标签，经过对大量图像样本的学习，初始深度神经网络模型逐步建立物体及末端工具的图像特征与标签的对应关系，进而得到深度神经网络模型。

可见，本实施例中，通过上述训练方式对初始深度神经网络模型进行训练，可以得到包含图像样本中物体及末端工具的图像特征与标签的对应关系的深度神经网络模型，通过该深度神经网络模型可以得到目标图像对应的标签，进而确定机械臂的末端工具的运动方向。

作为本发明实施例的一种实施方式，如图4所示，上述根据每个图像样本中的物体与末端工具的相对位置关系，确定每个图像样本对应的标签的步骤，可以包括：

S401，根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

在每个图像样本中，物体与末端工具的相对位置关系是确定的，物体可能在末端工具的左侧、右侧、前方、正中等位置，电子设备可以根据物体与末端工具的相对位置关系，确定每个图像样本对应的末端工具的运动方向。

具体来说，每个图像样本对应的末端工具的运动方向即为该图像样本中的末端工具想要移动至物体所在位置所需运动的方向。例如，在图像样本a中，物体处于末端工具的左侧，那么末端工具想要移动至物体所在位置所需运动的方向即为向左。又例如，在图像样本b中，物体处于末端工具的前方，那么末端工具想要移动至物体所在位置所需运动的方向即为向前。再例如，在图像样本c中，物体处于末端工具的正中，那么末端工具并不需要移动。

S402，根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

确定了每个图像样本对应的末端工具的运动方向后，电子设备便可以确定每个图像样本对应的标签，标签的形式可以为汉字、英文字母、数字或者其中至少两种的组合，只要可以标识末端工具的运动方向即可。

仍然以上述步骤S401中的图像样本a-c为例，对于图像样本a，其标签可以为“左”、对于图像样本b，其标签可以为“前”，对于图像样本c，其标签可以为“不动”，标签“不动”则可以为上述预设的操作标签。

对于图像样本a，其标签也可以为“Z”、对于图像样本b，其标签可以为“Q”，对于图像样本c，其标签可以为“ND”，标签“ND”则可以为上述预设的操作标签。

可见，本实施例中，电子设备可以根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向，然后根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签，图像样本的标签标识末端工具的运动方向，可以快速确定每个图像样本对应的标签。

对于训练得到的深度神经网络模型用于检测包括的待操作物体放置于固定高度的图像的情况而言，作为本发明实施例的一种实施方式，上述物体与末端工具的相对位置关系可以包括：物体在末端工具的左侧、右侧、前方及正中。

由于待操作物体放置于固定高度，因此末端工具在移动过程中并不需要在高度方向，也就是上下方向进行移动，因此，为了减少计算量，缩短深度神经网络模型的训练时间，上述物体与末端工具的相对位置关系可以包括：物体在末端工具的左侧、右侧、前方及正中，而不必包括上下位置关系。

可见，在本实施例中，图像样本中包括的物体与末端工具的相对位置关系可以包括物体在末端工具的左侧、右侧、前方及正中，以减少计算量，缩短深度神经网络模型的训练时间。

相应于上述控制机械臂操作物体的方法实施例，本发明实施例还提供了一种深度神经网络模型的训练方法。

下面对本发明实施例所提供的一种深度神经网络模型的训练方法进行介绍。

本发明实施例所提供的一种深度神经网络模型的训练方法可以应用于任意电子设备，例如，可以为控制器、电脑、平板电脑等电子设备，在此不做具体限定。该电子设备可以是执行上述控制机械臂操作物体的方法的电子设备，也可以是了其他的电子设备，这都是合理的。为了描述清楚，以下称为训练设备。

如图5所示，一种深度神经网络模型的训练方法，所述方法包括：

S501，构建初始深度神经网络模型；

S502，获取多个角度不同的图像传感器采集的多个图像样本；

其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角。

S503，根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

S504，将所述图像样本及其对应的标签输入所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。

可见，本发明实施例所提供的方案中，训练设备首先构建初始深度神经网络模型，获取多个角度不同的图像传感器采集的多个图像样本，然后根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签，再将图像样本及其对应的标签输入初始深度神经网络模型进行训练，当初始深度神经网络模型的输出结果的准确率达到预设准确率时，完成训练。由于深度神经网络模型是基于通过多个角度不同的图像传感器采集的图像样本训练得到的，可以消除摄像机的内参和外参的估计造成的误差，可以根据图像特征准确确定其对应的标签。

机械臂的末端工具即为安装于机械臂末端，用于对物体进行操作的工具。根据需要对物体进行的操作的不同，末端工具不同，例如，可以为机械爪、刀、勺子、笔等，在此不做具体限定。上述物体则可以为机械臂需要对其进行操作的物体，例如，可以为杯子、按钮、食物等，在此也不做具体限定。

在上述步骤S501中，训练设备首先需要构建一个初始深度神经网络模型，然后对其进行训练，进而得到深度神经网络模型。在一种实施方式中，可以利用caffe等工具构建一个初始深度神经网络模型。

在上述步骤S502中，训练设备可以获取多个角度不同的图像传感器采集的多个图像样本。其中，这些图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置该物体平面构成俯视视角。

多个角度不同的图像传感器与放置该物体平面构成俯视视角，也就是说，多个角度不同的图像传感器用于采集物体及机械臂末端工具的俯视图。当然，这些图像传感器与放置物体平面只要构成俯视视角即可，并不必一定垂直于放置物体平面，采集的图像样本也不必一定是物体的正投影俯视图。为了提高图像样本的多样性，尽量消除误差，每个图像传感器与放置物体平面构成的俯视视角的角度可以均不同。

进而，训练设备可以根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签，该标签则用于标识对应的图像样本中末端工具想要移动至物体所在位置所需运动的方向。

接下来，训练可以将图像样本及其对应的标签输入初始深度神经网络模型进行训练，即执行步骤S504，在训练过程中，初始深度神经网络模型可以学习图像样本中包括物体及末端工具的图像特征，输出图像样本对应的标签，经过对大量图像样本的学习，初始深度神经网络模型逐步建立物体及末端工具的图像特征与标签的对应关系，进而得到深度神经网络模型。

作为本发明实施例的一种实施方式，每个图像传感器与放置所述物体平面构成的俯视视角的角度不同，且各角度的差异值不大于预设值。

为了提高图像样本的多样性，尽量消除误差，每个图像传感器与放置物体平面构成的俯视视角的角度可以均不同，且各角度的差异值不大于预设值，该预设值可以根据图像传感器的大小、物体大小等因素确定，例如可以为1度、2度、5度等，在此不做具体限定。

作为本发明实施例的一种实施方式，如图6所示，上述获取多个角度不同的图像传感器采集的多个图像样本的步骤，可以包括：

S601，获取多个角度不同的图像传感器采集的多个图像；

多个角度不同的图像传感器采集的多个图像中包括物体及末端工具，训练设备可以获取该多个图像，可以理解的是，这些图像也是俯视视角的图像。

S602，标注每个图像中物体的边框；

得到上述多个图像后，训练设备可以标注每个图像中物体的边框，该边框可以为一矩形框。标注图像中物体的边框的具体方式可以采用图像识别领域中任意可以标注物体边框的方式，在此不做具体限定及说明。每个图像中物体的边框包括的区域即为物体在对应图像中所处区域。

S603，将每个图像中包括边框的预设范围区域作为图像样本。

多个角度不同的图像传感器采集的多个图像可能包括较大的范围，其中除包括物体及末端工具外，可能还包括其他目标，由于深度神经网络模型并不需要学习其他目标的图像特征，所以为了降低模型训练的复杂度，缩短训练时间，提高检测精度，训练设备可以将每个图像中包括物体的边框的预设范围区域作为图像样本，可以理解的是，该预设范围区域是包括末端工具的一部分或全部的。

具体来说，对于每一个标注后的图像来说，训练设备可以将边框向外扩展一定范围，使扩展后范围包括末端工具的主要特征部分，以保证图像样本中可以包括物体的特征及末端工具的主要特征。扩展后的范围即为上述预设范围。在将边框向外扩展时，可以向物体的边框的左方、右方、上方、下方等各种不同位置扩展，得到的图像样本可以是对应的图像的偏左、偏右、中心、偏上、偏下等各种位置的部分，这样可以增加图像样本的多样性。

可见，在本实施例中，训练设备获取图像样本的方式可以为：获取多个角度不同的图像传感器采集的多个图像，然后标注每个图像中物体的边框，将每个图像中包括边框的预设范围区域作为图像样本。这样，获取的图像样本包括躯体的特征以及末端工具的主要特征，且图像样本多样性高。

作为本发明实施例的一种实施方式，上述根据每个图像样本中的物体与末端工具的相对位置关系，确定每个图像样本对应的标签的步骤，可以包括：

根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

在每个图像样本中，物体与末端工具的相对位置关系是确定的，物体可能在末端工具的左侧、右侧、前方、正中等位置，训练设备可以根据物体与末端工具的相对位置关系，确定每个图像样本对应的末端工具的运动方向。

具体来说，每个图像样本对应的末端工具的运动方向即为该图像样本中的末端工具想要移动至物体所在位置所需运动的方向。例如，在图像样本1中，物体处于末端工具的左侧，那么末端工具想要移动至物体所在位置所需运动的方向即为向左。又例如，在图像样本2中，物体处于末端工具的前方，那么末端工具想要移动至物体所在位置所需运动的方向即为向前。再例如，在图像样本3中，物体处于末端工具的正中，那么末端工具并不需要移动。

确定了每个图像样本对应的末端工具的运动方向后，训练设备便可以确定每个图像样本对应的标签，标签的形式可以为汉字、英文字母、数字或者其中至少两种的组合，只要可以标识末端工具的运动方向即可。

以上述图像样本1-3为例，对于图像样本1，其标签可以为“左”、对于图像样本2，其标签可以为“前”，对于图像样本3，其标签可以为“不动”，标签“不动”则可以为上述预设的操作标签。

对于图像样本1，其标签也可以为“Z0”、对于图像样本2，其标签可以为“Q0”，对于图像样本3，其标签可以为“ND0”，标签“ND0”则可以为上述预设的操作标签。

可见，本实施例中，训练设备可以根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向，然后根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签，图像样本的标签标识末端工具的运动方向，可以快速确定每个图像样本对应的标签。

对于训练得到的深度神经网络模型用于检测包括的物体放置于固定高度的图像的情况而言，作为本发明实施例的一种实施方式，上述物体与末端工具的相对位置关系包括：物体在末端工具的左侧、右侧、前方及正中。

由于所需检测的图像中包括的物体放置于固定高度，因此末端工具在移动过程中并不需要在高度方向，也就是上下方向进行移动，因此，为了减少计算量，缩短深度神经网络模型的训练时间，上述物体与末端工具的相对位置关系可以包括：物体在末端工具的左侧、右侧、前方及正中，而不必包括上下位置关系。

可见，在本实施例中，图像样本中包括的物体与末端工具的相对位置关系可以包括物体在末端工具的左侧、右侧、前方及正中，以减少计算量，缩短深度神经网络模型的训练时间。

需要说明的是，通过上述深度神经网络模型的训练方法训练得到的深度神经网络模型不仅可以用于上述控制机械臂操作物体的方法中，还可以用于任意需要检测两个物体之间的相对位置关系，进而输出标识其中一个物体的运动方向的标签的方案中。

相应于上述控制机械臂操作物体的方法实施例，本发明实施例还提供了一种控制机械臂操作物体的装置。

下面对本发明实施例所提供的一种控制机械臂操作物体的装置进行介绍。

如图7所示，一种控制机械臂操作物体的装置，所述机械臂末端安装有末端工具，所述装置包括：

目标图像获取模块710，用于获取图像传感器当前时刻采集的目标图像；

其中，所述目标图像包括待操作物体及所述末端工具，所述图像传感器与放置所述待操作物体平面构成俯视视角；

图像检测模块720，用于将所述目标图像输入预先通过模型训练模块(图7中未示出)训练完成的深度神经网络模型进行检测，得到所述目标图像对应的标签；

其中，所述深度神经网络模型基于通过多个角度不同的图像传感器采集的图像样本训练得到，用于根据图像特征确定对应的标签，所述标签用于标识所述末端工具的运动方向；

操作标签确定模块730，用于判断所述目标图像对应的标签是否与预设的操作标签相同；

控制移动模块740，用于在所述目标图像对应的标签与预设的操作标签不同时，控制所述末端工具按照所述目标标签对应的目标运动方向移动预设距离，并触发所述目标图像获取模块710；

其中，所述目标标签为所述目标图像对应的标签.

控制操作模块750，用于在所述目标图像对应的标签与预设的操作标签相同时，控制所述末端工具对所述待操作物体进行目标操作。

可见，本发明实施例所提供的方案中，电子设备首先获取图像传感器当前时刻采集的目标图像，将所述目标图像输入预先训练完成的深度神经网络模型进行检测，得到目标图像对应的标签，然后判断目标图像对应的标签是否与预设的操作标签相同，如果否，控制末端工具按照目标标签对应的目标运动方向移动预设距离，并返回获取图像传感器当前时刻采集的目标图像的步骤，如果是，控制末端工具对待操作物体进行目标操作。由于深度神经网络模型是基于通过多个角度不同的图像传感器采集的图像样本训练得到的，可以消除摄像机的内参和外参的估计造成的误差，可以根据图像特征准确确定其对应的标签，从而消除机械臂在基于视觉进行物体操作时的误差，使机械臂对物体操作的准确率大大提高。

作为本发明实施例的一种实施方式，上述装置还可以包括：

预操作点移动模块(图7中未示出)，用于在所述获取图像传感器当前时刻采集的目标图像之前，控制所述末端工具移动至预操作点位置；

其中，所述预操作点为距离所述待操作物体在预设范围内的点。

作为本发明实施例的一种实施方式，上述模型训练模块，可以包括：

图像样本获取单元(图7中未示出)，用于获取多个角度不同的图像传感器采集的多个图像样本；

其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角。

标签确定单元(图7中未示出)，用于根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

模型训练单元(图7中未示出)，用于将所述图像样本及其对应的标签输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。

作为本发明实施例的一种实施方式，上述标签确定单元可以包括：

运动方向确定子单元(图7中未示出)，用于根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

标签确定子单元(图7中未示出)，用于根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

作为本发明实施例的一种实施方式，上述物体与末端工具的相对位置关系可以包括：物体在末端工具的左侧、右侧、前方及正中。

相应于上述深度神经网络模型的训练方法实施例，本发明实施例还提供了一种深度神经网络模型的训练装置。

下面对本发明实施例所提供的一种深度神经网络模型的训练装置进行介绍。

如图8所示，一种深度神经网络模型的训练装置，所述装置包括：

网络模型构建模块810，用于构建初始深度神经网络模型；

图像样本获取模块820，用于获取多个角度不同的图像传感器采集的多个图像样本；

其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角.

标签确定模块830，用于根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

模型训练模块840，用于将所述图像样本及其对应的标签输入所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。

可见，本发明实施例所提供的方案中，首先构建初始深度神经网络模型，获取多个角度不同的图像传感器采集的多个图像样本，然后根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签，再将图像样本及其对应的标签输入初始深度神经网络模型进行训练，当初始深度神经网络模型的输出结果的准确率达到预设准确率时，完成训练。由于深度神经网络模型是基于通过多个角度不同的图像传感器采集的图像样本训练得到的，可以消除摄像机的内参和外参的估计造成的误差，可以根据图像特征准确确定其对应的标签。

作为本发明实施例的一种实施方式，每个图像传感器与放置所述物体平面构成的俯视视角的角度不同，且各角度的差异值不大于预设值。

作为本发明实施例的一种实施方式，上述图像样本获取模块810可以包括：

图像获取单元(图8中未示出)，用于获取多个角度不同的图像传感器采集的多个图像，其中，每个图像中包括物体及末端工具；

边框标注单元(图8中未示出)，用于标注每个图像中物体的边框；

图像样本确定单元(图8中未示出)，用于将每个图像中包括边框的预设范围区域作为图像样本，其中，所述预设范围区域包括末端工具。

作为本发明实施例的一种实施方式，上述标签确定模块830可以包括：

运动方向确定单元(图8中未示出)，用于根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

标签确定单元(图8中未示出)，用于根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

作为本发明实施例的一种实施方式，上述物体与末端工具的相对位置关系可以包括：物体在末端工具的左侧、右侧、前方及正中。

本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，

存储器903，用于存放计算机程序；

处理器901，用于执行存储器903上所存放的程序时，实现如下步骤：

获取图像传感器当前时刻采集的目标图像，其中，所述目标图像包括待操作物体及所述末端工具，所述图像传感器与放置所述待操作物体平面构成俯视视角；

将所述目标图像输入预先训练完成的深度神经网络模型进行检测，得到所述目标图像对应的标签，其中，所述深度神经网络模型基于通过多个角度不同的图像传感器采集的图像样本训练得到，用于根据图像特征确定对应的标签，所述标签用于标识所述末端工具的运动方向；

判断所述目标图像对应的标签是否与预设的操作标签相同；

如果否，控制所述末端工具按照所述目标标签对应的目标运动方向移动预设距离，并返回所述获取图像传感器当前时刻采集的目标图像的步骤，其中，所述目标标签为所述目标图像对应的标签；

如果是，控制所述末端工具对所述待操作物体进行目标操作。

可见，本发明实施例所提供的方案中，电子设备首先获取图像传感器当前时刻采集的目标图像，将所述目标图像输入预先训练完成的深度神经网络模型进行检测，得到目标图像对应的标签，然后判断目标图像对应的标签是否与预设的操作标签相同，如果否，控制末端工具按照目标标签对应的目标运动方向移动预设距离，并返回获取图像传感器当前时刻采集的目标图像的步骤，如果是，控制末端工具对待操作物体进行目标操作。由于深度神经网络模型是基于通过多个角度不同的图像传感器采集的图像样本训练得到的，可以消除摄像机的内参和外参的估计造成的误差，可以根据图像特征准确确定其对应的标签，从而消除机械臂在基于视觉进行物体操作时的误差，使机械臂对物体操作的准确率大大提高。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

其中，在上述获取图像传感器当前时刻采集的目标图像的步骤之前，上述方法还包括：

控制所述末端工具移动至预操作点位置，其中，所述预操作点为距离所述待操作物体在预设范围内的点。

其中，上述深度神经网络模型的训练方式，可以包括：

获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

将所述图像样本及其对应的标签输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。

其中，上述根据每个图像样本中的物体与末端工具的相对位置关系，确定每个图像样本对应的标签的步骤，可以包括：

根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

其中，上述物体与末端工具的相对位置关系可以包括：物体在末端工具的左侧、右侧、前方及正中。

本发明实施例还提供了另一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信，

存储器1003，用于存放计算机程序；

处理器1001，用于执行存储器1003上所存放的程序时，实现如下步骤：

构建初始深度神经网络模型；

获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

将所述图像样本及其对应的标签输入所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。

可见，本发明实施例所提供的方案中，电子设备首先构建初始深度神经网络模型，获取多个角度不同的图像传感器采集的多个图像样本，然后根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签，再将图像样本及其对应的标签输入初始深度神经网络模型进行训练，当初始深度神经网络模型的输出结果的准确率达到预设准确率时，完成训练。由于深度神经网络模型是基于通过多个角度不同的图像传感器采集的图像样本训练得到的，可以消除摄像机的内参和外参的估计造成的误差，可以根据图像特征准确确定其对应的标签。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

其中，每个图像传感器与放置所述物体平面构成的俯视视角的角度不同，且各角度的差异值不大于预设值。

其中，上述获取多个角度不同的图像传感器采集的多个图像样本的步骤，可以包括：

获取多个角度不同的图像传感器采集的多个图像，其中，每个图像中包括物体及末端工具；

标注每个图像中物体的边框；

将每个图像中包括边框的预设范围区域作为图像样本，其中，所述预设范围区域包括末端工具。

其中，上述根据每个图像样本中的物体与末端工具的相对位置关系，确定每个图像样本对应的标签的步骤，可以包括：

根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

其中，上述物体与末端工具的相对位置关系可以包括：物体在末端工具的左侧、右侧、前方及正中。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取图像传感器当前时刻采集的目标图像，其中，所述目标图像包括待操作物体及所述末端工具，所述图像传感器与放置所述待操作物体平面构成俯视视角；

将所述目标图像输入预先训练完成的深度神经网络模型进行检测，得到所述目标图像对应的标签，其中，所述深度神经网络模型基于通过多个角度不同的图像传感器采集的图像样本训练得到，用于根据图像特征确定对应的标签，所述标签用于标识所述末端工具的运动方向；

判断所述目标图像对应的标签是否与预设的操作标签相同；

如果否，控制所述末端工具按照所述目标标签对应的目标运动方向移动预设距离，并返回所述获取图像传感器当前时刻采集的目标图像的步骤，其中，所述目标标签为所述目标图像对应的标签；

如果是，控制所述末端工具对所述待操作物体进行目标操作。

可见，本发明实施例所提供的方案中，计算机程序被处理器执行时，首先获取图像传感器当前时刻采集的目标图像，将所述目标图像输入预先训练完成的深度神经网络模型进行检测，得到目标图像对应的标签，然后判断目标图像对应的标签是否与预设的操作标签相同，如果否，控制末端工具按照目标标签对应的目标运动方向移动预设距离，并返回获取图像传感器当前时刻采集的目标图像的步骤，如果是，控制末端工具对待操作物体进行目标操作。由于深度神经网络模型是基于通过多个角度不同的图像传感器采集的图像样本训练得到的，可以消除摄像机的内参和外参的估计造成的误差，可以根据图像特征准确确定其对应的标签，从而消除机械臂在基于视觉进行物体操作时的误差，使机械臂对物体操作的准确率大大提高。

其中，在上述获取图像传感器当前时刻采集的目标图像的步骤之前，上述方法还包括：

控制所述末端工具移动至预操作点位置，其中，所述预操作点为距离所述待操作物体在预设范围内的点。

其中，上述深度神经网络模型的训练方式，可以包括：

获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

将所述图像样本及其对应的标签输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。

其中，上述根据每个图像样本中的物体与末端工具的相对位置关系，确定每个图像样本对应的标签的步骤，可以包括：

根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

其中，上述物体与末端工具的相对位置关系可以包括：物体在末端工具的左侧、右侧、前方及正中。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

构建初始深度神经网络模型；

获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

将所述图像样本及其对应的标签输入所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。

可见，本发明实施例所提供的方案中，计算机程序被处理器执行时，首先构建初始深度神经网络模型，获取多个角度不同的图像传感器采集的多个图像样本，然后根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签，再将图像样本及其对应的标签输入初始深度神经网络模型进行训练，当初始深度神经网络模型的输出结果的准确率达到预设准确率时，完成训练。由于深度神经网络模型是基于通过多个角度不同的图像传感器采集的图像样本训练得到的，可以消除摄像机的内参和外参的估计造成的误差，可以根据图像特征准确确定其对应的标签。

其中，每个图像传感器与放置所述物体平面构成的俯视视角的角度不同，且各角度的差异值不大于预设值。

其中，上述获取多个角度不同的图像传感器采集的多个图像样本的步骤，可以包括：

获取多个角度不同的图像传感器采集的多个图像，其中，每个图像中包括物体及末端工具；

标注每个图像中物体的边框；

将每个图像中包括边框的预设范围区域作为图像样本，其中，所述预设范围区域包括末端工具。

其中，上述根据每个图像样本中的物体与末端工具的相对位置关系，确定每个图像样本对应的标签的步骤，可以包括：

根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

其中，上述物体与末端工具的相对位置关系可以包括：物体在末端工具的左侧、右侧、前方及正中。

需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于对应的方法实施例，所以描述的比较简单，相关之处参见对应的方法实施例的部分说明即可。

需要进一步说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (22)

1.一种控制机械臂操作物体的方法，其特征在于，所述机械臂末端安装有末端工具，所述方法包括：

获取图像传感器当前时刻采集的目标图像，其中，所述目标图像包括待操作物体及所述末端工具，所述图像传感器与放置所述待操作物体平面构成俯视视角；

将所述目标图像输入预先训练完成的深度神经网络模型进行检测，得到所述目标图像对应的标签，其中，所述深度神经网络模型基于通过多个角度不同的图像传感器采集的图像样本及其对应的标签训练得到，所述图像样本对应的标签为根据所述图像样本中末端工具与物体的相对位置关系确定的，所述标签用于标识所述末端工具的运动方向；

判断所述目标图像对应的标签是否与预设的操作标签相同；

如果否，控制所述末端工具按照目标标签对应的目标运动方向移动预设距离，并返回所述获取图像传感器当前时刻采集的目标图像的步骤，其中，所述目标标签为所述目标图像对应的标签；

如果是，控制所述末端工具对所述待操作物体进行目标操作。

2.如权利要求1所述的方法，其特征在于，在所述获取图像传感器当前时刻采集的目标图像的步骤之前，所述方法还包括：

控制所述末端工具移动至预操作点位置，其中，所述预操作点为距离所述待操作物体在预设范围内的点。

3.如权利要求1所述的方法，其特征在于，所述深度神经网络模型的训练方式，包括：

获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

将所述图像样本及其对应的标签输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。

4.如权利要求3所述的方法，其特征在于，所述根据每个图像样本中的物体与末端工具的相对位置关系，确定每个图像样本对应的标签的步骤，包括：

根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

5.如权利要求3或4所述的方法，其特征在于，所述物体与末端工具的相对位置关系包括：物体在末端工具的左侧、右侧、前方及正中。

6.一种深度神经网络模型的训练方法，其特征在于，所述方法包括：

构建初始深度神经网络模型；

获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签；

将所述图像样本及其对应的标签输入所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。

7.如权利要求6所述的方法，其特征在于，每个图像传感器与放置所述物体平面构成的俯视视角的角度不同，且各角度的差异值不大于预设值。

8.如权利要求6所述的方法，其特征在于，所述获取多个角度不同的图像传感器采集的多个图像样本的步骤，包括：

获取多个角度不同的图像传感器采集的多个图像，其中，每个图像中包括物体及末端工具；

标注每个图像中物体的边框；

将每个图像中包括边框的预设范围区域作为图像样本，其中，所述预设范围区域包括末端工具。

9.如权利要求6-8任一项所述的方法，其特征在于，所述物体与末端工具的相对位置关系包括：物体在末端工具的左侧、右侧、前方及正中。

10.一种控制机械臂操作物体的装置，其特征在于，所述机械臂末端安装有末端工具，所述装置包括：

目标图像获取模块，用于获取图像传感器当前时刻采集的目标图像，其中，所述目标图像包括待操作物体及所述末端工具，所述图像传感器与放置所述待操作物体平面构成俯视视角；

图像检测模块，用于将所述目标图像输入预先通过模型训练模块训练完成的深度神经网络模型进行检测，得到所述目标图像对应的标签，其中，所述深度神经网络模型基于通过多个角度不同的图像传感器采集的图像样本及其对应的标签训练得到，所述图像样本对应的标签为根据所述图像样本中末端工具与物体的相对位置关系确定的，所述标签用于标识所述末端工具的运动方向；

操作标签确定模块，用于判断所述目标图像对应的标签是否与预设的操作标签相同；

控制移动模块，用于在所述目标图像对应的标签与预设的操作标签不同时，控制所述末端工具按照目标标签对应的目标运动方向移动预设距离，并触发所述目标图像获取模块，其中，所述目标标签为所述目标图像对应的标签；

控制操作模块，用于在所述目标图像对应的标签与预设的操作标签相同时，控制所述末端工具对所述待操作物体进行目标操作。

11.如权利要求10所述的装置，其特征在于，所述装置还包括：

预操作点移动模块，用于在所述获取图像传感器当前时刻采集的目标图像之前，控制所述末端工具移动至预操作点位置，其中，所述预操作点为距离所述待操作物体在预设范围内的点。

12.如权利要求10所述的装置，其特征在于，所述模型训练模块，包括：

图像样本获取单元，用于获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

标签确定单元，用于根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

模型训练单元，用于将所述图像样本及其对应的标签输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。

13.如权利要求12所述的装置，其特征在于，所述标签确定单元包括：

运动方向确定子单元，用于根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

标签确定子单元，用于根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

14.如权利要求12或13所述的装置，其特征在于，所述物体与末端工具的相对位置关系包括：物体在末端工具的左侧、右侧、前方及正中。

15.一种深度神经网络模型的训练装置，其特征在于，所述装置包括：

网络模型构建模块，用于构建初始深度神经网络模型；

图像样本获取模块，用于获取多个角度不同的图像传感器采集的多个图像样本，其中，所述图像样本中包括物体及机械臂的末端工具，每个图像传感器与放置所述物体平面构成俯视视角；

标签确定模块，用于根据每个图像样本中物体与末端工具的相对位置关系，确定每个图像样本对应的标签；

模型训练模块，用于将所述图像样本及其对应的标签输入所述初始深度神经网络模型进行训练，得到所述深度神经网络模型；

其中，所述标签确定模块包括：

运动方向确定单元，用于根据每个图像样本中末端工具与物体的相对位置关系，确定每个图像样本对应的末端工具的运动方向；

标签确定单元，用于根据每个图像样本对应的末端工具的运动方向，确定每个图像样本对应的标签。

16.如权利要求15所述的装置，其特征在于，每个图像传感器与放置所述物体平面构成的俯视视角的角度不同，且各角度的差异值不大于预设值。

17.如权利要求15所述的装置，其特征在于，所述图像样本获取模块包括：

图像获取单元，用于获取多个角度不同的图像传感器采集的多个图像，其中，每个图像中包括物体及末端工具；

边框标注单元，用于标注每个图像中物体的边框；

图像样本确定单元，用于将每个图像中包括边框的预设范围区域作为图像样本，其中，所述预设范围区域包括末端工具。

18.如权利要求15-17任一项所述的装置，其特征在于，所述物体与末端工具的相对位置关系包括：物体在末端工具的左侧、右侧、前方及正中。

19.一种电子设备，其特征在于，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。

20.一种电子设备，其特征在于，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求6-9任一所述的方法步骤。

21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。

22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求6-9任一所述的方法步骤。

Images