CN110293549B - 机械臂控制方法、装置及神经网络模型训练方法、装置 - Google Patents

机械臂控制方法、装置及神经网络模型训练方法、装置 Download PDF

Info

Publication number
CN110293549B
CN110293549B CN201810235562.2A CN201810235562A CN110293549B CN 110293549 B CN110293549 B CN 110293549B CN 201810235562 A CN201810235562 A CN 201810235562A CN 110293549 B CN110293549 B CN 110293549B
Authority
CN
China
Prior art keywords
training
target
mechanical arm
action
controlling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810235562.2A
Other languages
English (en)
Other versions
CN110293549A (zh
Inventor
赵哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Orion Star Technology Co Ltd
Original Assignee
Beijing Orion Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Orion Star Technology Co Ltd filed Critical Beijing Orion Star Technology Co Ltd
Priority to CN201810235562.2A priority Critical patent/CN110293549B/zh
Publication of CN110293549A publication Critical patent/CN110293549A/zh
Application granted granted Critical
Publication of CN110293549B publication Critical patent/CN110293549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明实施例提供了一种机械臂控制方法、装置及一种深度神经网络模型的训练方法、装置，该机械臂控制方法包括：获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度；将目标图像及关节角度输入预先训练完成的深度神经网络模型进行检测，得到目标机械臂的目标状态信息，其中，目标状态信息为标识目标机械臂所需执行的目标动作的信息；控制所述目标机械臂执行目标动作。采用该方式控制机械臂时，根据深度神经网络模型输出的目标状态信息，可以控制机械臂执行所需执行的目标动作，无需人工编程，人工工作量小，机械臂移动过程的整体速度大大提高。

Description

机械臂控制方法、装置及神经网络模型训练方法、装置
技术领域
本发明涉及人工智能技术领域，特别是涉及一种机械臂控制方法、装置及一种深度神经网络模型的训练方法、装置。
背景技术
目前随着人工智能技术的快速发展，越来越多的智能机器人出现在人们的生活工作中，例如，工业机器人、服务机器人等等。在这些领域中，机械臂对物体的操作都是不可或缺的技术之一。
机械臂在进行物体操作时，例如抓取桌面小物体，堆积木等等。都需要人工进行编程及调试，以使机械臂能够按照人工编程的程序，对物体进行各种操作。由于机械臂对物体进行一种操作的过程往往需要进行多个动作，机械臂需要移动多次，每次移动的关节角度都需要确定，机械臂才能准确地对物体进行操作。而各种不同的操作中，机械臂所进行的动作不同，每次移动的关节角度也就不同。
可见，目前机械臂在进行物体操作时，即机械臂在移动时，针对每一种操作都需要进行人工编程，工作量非常大，且耗费时间长，导致机械臂移动过程的整体速度很慢。
发明内容
本发明实施例的目的在于提供一种机械臂控制方法、装置及一种深度神经网络模型的训练方法、装置，以减少人工工作量，提高机械臂移动过程的整体速度。具体技术方案如下：
第一方面，本发明实施例提供了一种机械臂控制方法，所述方法包括：
获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度；
将所述目标图像及所述关节角度输入预先训练完成的深度神经网络模型进行检测，得到所述目标机械臂的目标状态信息，其中，所述目标状态信息为标识所述目标机械臂所需执行的目标动作的信息；
控制所述目标机械臂执行所述目标动作。
可选的，当所述目标状态信息为目标关节角度时，所述控制所述目标机械臂执行所述目标动作的步骤，包括：
控制所述目标机械臂运动至所述目标关节角度对应的状态。
可选的，所述方法还包括：
返回所述获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度的步骤。
可选的，当所述目标状态信息为预设操作标签时，所述控制所述目标机械臂执行所述目标动作的步骤，包括：
控制所述目标机械臂对所述目标物体进行预设操作。
可选的，所述第一图像传感器安装于所述目标机械臂末端或安装于环境中预设位置。
可选的，所述深度神经网络模型的训练方式，包括：
控制训练机械臂执行训练动作；
在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本，其中，所述训练样本包括：第二图像传感器采集的包括目标物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息；
基于所述训练样本对预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
可选的，所述标注数据为所述训练机械臂的目标关节角度及预设操作标签中的至少一个。
可选的，所述控制训练机械臂执行训练动作的步骤，包括：
通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
在实际环境中，控制训练机械臂执行训练动作。
可选的，所述通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作的步骤，包括：
在虚拟环境中设置所述目标物体的模型；
通过预设设备控制所述训练机械臂的模型对所述目标物体的模型进行操作。
可选的，所述在实际环境中，控制训练机械臂执行训练动作的步骤，包括：
将所述目标物体放置在预定位置；
设置所述训练机械臂对所述目标物体进行操作的任务；
控制所述训练机械臂执行所述任务，以对所述目标物体进行所述操作。
第二方面，本发明实施例提供了一种深度神经网络模型的训练方法，所述方法包括：
构建初始深度神经网络模型；
控制训练机械臂执行训练动作；
在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本，其中，所述训练样本包括：第二图像传感器采集的包括训练物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息；
基于所述训练样本对所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。
可选的，所述标注数据为所述训练机械臂的目标关节角度及预设操作标签中的至少一个。
可选的，所述控制训练机械臂执行训练动作的步骤，包括：
通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
在实际环境中，控制训练机械臂执行训练动作。
可选的，所述通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作的步骤，包括：
在虚拟环境中设置所述训练物体的模型；
通过预设设备控制所述训练机械臂的模型对所述训练物体的模型进行操作。
可选的，所述在实际环境中，控制训练机械臂执行训练动作的步骤，包括：
将所述训练物体放置在预定位置；
设置所述训练机械臂对所述训练物体进行操作的任务；
控制所述训练机械臂执行所述任务，以对所述训练物体进行所述操作。
第三方面，本发明实施例提供了一种机械臂控制装置，所述装置包括：
数据获取模块，用于获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度；
模型检测模块，用于将所述目标图像及所述关节角度输入通过模型训练模块预先训练完成的深度神经网络模型进行检测，得到所述目标机械臂的目标状态信息，其中，所述目标状态信息为标识所述目标机械臂所需执行的目标动作的信息；
机械臂控制模块，用于控制所述目标机械臂执行所述目标动作。
可选的，所述机械臂控制模块包括：
角度控制子模块，用于当所述目标状态信息为目标关节角度时，控制所述目标机械臂运动至所述目标关节角度对应的状态。
可选的，所述装置还包括：
返回模块，用于所述数据获取模块。
可选的，所述机械臂控制模块包括：
操作控制子模块，用于当所述目标状态信息为预设操作标签时，控制所述目标机械臂对所述目标物体进行预设操作。
可选的，所述第一图像传感器安装于所述目标机械臂末端或安装于环境中预设位置。
可选的，所述模型训练模块包括：
训练动作执行子模块，用于控制训练机械臂执行训练动作；
训练样本获取子模块，用于在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本，其中，所述训练样本包括：第二图像传感器采集的包括目标物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息；
模型训练子模块，用于基于所述训练样本对预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
可选的，所述标注数据为所述训练机械臂的目标关节角度及预设操作标签中的至少一个。
可选的，所述训练动作执行子模块包括：
虚拟控制单元，用于通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
现实控制单元，用于在实际环境中，控制训练机械臂执行训练动作。
可选的，所述虚拟控制单元包括：
物体模型设置子单元，用于在虚拟环境中设置所述目标物体的模型；
虚拟操作子单元，用于通过预设设备控制所述训练机械臂的模型对所述目标物体的模型进行操作。
可选的，所述现实控制单元包括：
物体放置子单元，用于将所述目标物体放置在预定位置；
任务设置子单元，用于设置所述训练机械臂对所述目标物体进行操作的任务；
控制操作子单元，用于控制所述训练机械臂执行所述任务，以对所述目标物体进行所述操作。
第四方面，本发明实施例提供了一种深度神经网络模型的训练装置，所述装置包括：
模型构建模块，用于构建初始深度神经网络模型；
训练动作执行模块，用于控制训练机械臂执行训练动作；
训练样本获取模块，用于在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本，其中，所述训练样本包括：第二图像传感器采集的包括训练物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息；
模型训练模块，用于基于所述训练样本对所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。
可选的，所述标注数据为所述训练机械臂的目标关节角度及预设操作标签中的至少一个。
可选的，所述训练动作执行模块包括：
虚拟控制子模块，用于通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
现实控制子模块，用于在实际环境中，控制训练机械臂执行训练动作。
可选的，所述虚拟控制子模块包括：
物体模型设置单元，用于在虚拟环境中设置所述训练物体的模型；
虚拟操作单元，用于通过预设设备控制所述训练机械臂的模型对所述训练物体的模型进行操作。
可选的，所述现实控制子模块包括：
物体放置单元，用于将所述训练物体放置在预定位置；
任务设置单元，用于设置所述训练机械臂对所述训练物体进行操作的任务；
控制操作单元，用于控制所述训练机械臂执行所述任务，以对所述训练物体进行所述操作。
另外，本发明实施例还提供了一种电子设备，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一机械臂控制方法步骤。
另外，本发明实施例还提供了另一种电子设备，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一深度神经网络模型的训练方法步骤。
另外，本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一机械臂控制方法步骤。
另外，本发明实施例还提供了另一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一深度神经网络模型的训练方法步骤。
本发明实施例所提供的方案中，首先获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度，然后将目标图像及关节角度输入预先训练完成的深度神经网络模型进行检测，得到目标机械臂的目标状态信息，其中，目标状态信息为标识目标机械臂所需执行的目标动作的信息，进而，控制目标机械臂执行目标动作。采用该方式控制机械臂时，根据深度神经网络模型输出的目标状态信息，可以控制机械臂执行所需执行的目标动作，无需人工编程，人工工作量小，机械臂移动过程的整体速度大大提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种机械臂控制方法的流程图；
图2为图1所示实施例中深度神经网络模型的训练方式的流程图；
图3为图2所示实施例中执行训练动作方式的流程图；
图4为本发明实施例所提供的一种深度神经网络模型的训练方法的流程图；
图5为图4所示实施例中执行训练动作方式的流程图；
图6为本发明实施例所提供的一种机械臂控制装置的结构示意图；
图7为本发明实施例所提供的一种深度神经网络模型的训练装置的结构示意图；
图8为本发明实施例所提供的一种电子设备的结构示意图；
图9为本发明实施例所提供的另一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了减少人工工作量，提高机械臂移动过程的整体速度，本发明实施例提供了一种机械臂控制方法、装置、电子设备及计算机可读存储介质，以及一种深度神经网络模型的训练方法、装置、电子设备及计算机可读存储介质。
下面首先对本发明实施例所提供的一种机械臂控制方法进行介绍。
本发明实施例所提供的一种机械臂控制方法可以应用于任意与机械臂通信连接的电子设备，以下简称电子设备，例如，可以为控制器、电脑、平板电脑等电子设备，在此不做具体限定。
如图1所示，一种机械臂控制方法，所述方法包括：
S101，获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度；
S102，将所述目标图像及所述关节角度输入预先训练完成的深度神经网络模型进行检测，得到所述目标机械臂的目标状态信息；
其中，所述目标状态信息为标识所述目标机械臂所需执行的目标动作的信息。
S103，控制所述目标机械臂执行所述目标动作。
可见，本发明实施例所提供的方案中，电子设备首先获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度，然后将目标图像及关节角度输入预先训练完成的深度神经网络模型进行检测，得到目标机械臂的目标状态信息，其中，目标状态信息为标识目标机械臂所需执行的目标动作的信息，进而，控制目标机械臂执行目标动作。采用该方式控制机械臂时，根据深度神经网络模型输出的目标状态信息，可以控制机械臂执行所需执行的目标动作，无需人工编程，人工工作量小，机械臂移动过程的整体速度大大提高。
在上述步骤S101中，电子设备可以获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度。其中，目标物体可以为任意与机械臂的运动有关的物体，例如，可以为机械臂所需抓取的物体，也可以机械臂所要对其进行操作的物体等。具体可以为杯子、苹果、玩具等，在此不做具体限定。目标图像指代的即为第一图像传感器采集的包括目标物体的图像，并不具有其他限定意义。
同理的，目标机械臂指代的即为电子设备所要控制的机械臂，并不具有其他限定意义。目标机械臂的关节角度即为目标机械臂当前时刻的所有关节角度，可以理解的是，机械臂一般具有多个关节，在当前时刻，每个关节均有关节角度，机械臂的关节角度也表征了机械臂当前时刻的位姿。
获取上述目标图像及目标机械臂的关节角度后，电子设备可以将目标图像及关节角度输入预先训练完成的深度神经网络模型进行检测，进而，得到目标机械臂的目标状态信息。其中，该深度神经网络模型可以为基于包括标识采集图像样本时训练机械臂所需执行的训练动作的信息的标注数据的训练样本，对预先构建的初始深度神经网络进行训练所得到的深度神经网络模型，训练样本包括图像样本及标注数据，训练得到的深度神经网络模型包含图像样本中物体的图像特征与训练机械臂的所需执行的动作的信息的对应关系，可以用于根据图像特征确定机械臂的所需执行的动作的信息。因此，深度神经网络模型输出的目标状态信息即为标识目标机械臂所需执行的目标动作的信息。
上述深度神经网络模型可以为Faster RCNN、RFCN、YOLO等深度神经网络模型，只要可以根据图像特征确定对应的动作的信息即可，对于采用何种深度神经网络模型在此不做具体限定。为了方案清楚及布局清晰，后续将会对深度神经网络模型的训练方式进行举例介绍。
进而，确定了上述目标状态信息后，在上述步骤S103中，电子设备便可以控制目标机械臂执行目标动作。例如，目标状态信息为标识目标机械臂所需执行的目标动作的信息，那么电子设备便可以控制目标机械臂执行移动动作。又例如，目标状态信息为标识目标机械臂所需执行的抓取动作的信息，那么电子设备便可以控制目标机械臂执行抓取动作。
目标状态信息可以包括目标关节角度及预设操作标签中的至少一个，其中，目标关节角度标识目标机械臂所需执行的目标动作为运动至目标关节角度对应的状态；预设操作标签标识目标机械臂所需执行的目标动作为对目标物体进行预设操作。
针对上述目标状态信息为目标关节角度的情况而言，作为本发明实施例的一种实施方式，上述控制所述目标机械臂执行所述目标动作的步骤，可以包括：
控制所述目标机械臂运动至所述目标关节角度对应的状态。
在这种情况下，目标状态信息可以为目标关节角度，可以理解的是，在训练深度神经网络模型时，只要深度神经网络模型学习过图像与关节角度的对应关系，深度神经网络模型便可以对图像进行检测，进而输出目标关节角度。目标关节角度指代的仅仅是深度神经网络模型输出的与目标图像对应的关节角度，并不具有其他限定意义。
由于在训练深度神经网络模型时，深度神经网络模型所学习的图像特征与关节角度的对应关系中，关节角度一般标识机械臂所需运动到的关节角度，所以深度神经网络模型输出的目标关节角度即标识目标机械臂所需运动到的关节角度，因此，在目标状态信息为目标关节角度时，电子设备便可以控制目标机械臂运动至目标关节角度对应的状态。
可见，本实施例中，在目标状态信息为目标关节角度的情况下，电子设备可以控制目标机械臂运动至目标关节角度对应的状态，从而改变目标机械臂的关节角度，控制机械臂向目标位置进行移动。
针对上述目标状态信息为目标关节角度的情况而言，作为本发明实施例的一种实施方式，上述方法还可以包括：
返回上述获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度的步骤。
为了使目标机械臂运动至所要到达的位置，也就是目标位置，电子设备控制目标机械臂运动至目标关节角度对应的状态后，可以返回上述获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度的步骤，也就是上述步骤S101，继续获取目标图像，循环执行上述步骤S101-步骤S103，以及上述控制所述目标机械臂运动至所述目标关节角度对应的状态的步骤。
可以理解的是，每执行一次上述步骤，目标机械臂便运动一次，如此循环，直到机械臂运动至目标位置。在一种实施方式中，当目标图像的图像特征标识机械臂已到达目标位置时，深度神经网络模型输出的目标关节角度可以为0，那么当深度神经网络模型输出的目标关节角度为0时，说明目标机械臂已经运动至目标位置，不需要继续进行运动，那么也就可以停止循环执行上述步骤。
在此时，电子设备可以控制机械臂进行预设的动作，该预设的动作可以根据实际情况确定，在此不做具体限定。例如，目标机械臂需要移动至目标位置，对放置与目标位置的物体进行抓取，那么预设的动作便可以为抓取动作；又例如，目标机械臂需要将某个物体移动至目标位置，那么预设的动作便可以为放下动作。
可见，在本实施例中，电子设备可以在控制目标机械臂运动至目标关节角度对应的状态后，返回上述获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度的步骤。可以实现目标机械臂的连续运动，直到运动至目标位置。
针对上述目标状态信息为预设操作标签的情况而言，作为本发明实施例的一种实施方式，上述控制所述目标机械臂执行所述目标动作的步骤，可以包括：
控制所述目标机械臂对所述目标物体进行预设操作。
在一种情况下，目标状态信息可以为预设操作标签，可以理解的是，在训练深度神经网络模型时，只要深度神经网络模型学习过图像与预设操作标签的对应关系，深度神经网络模型便可以对图像进行检测，进而输出预设操作标签。
该预设操作标签即标识目标机械臂所需执行的目标动作为预设操作，那么如果目标图像对应的目标状态信息为预设操作标签，电子设备便可以控制目标机械臂对目标物体进行预设操作。
由于在实际应用场景中，目标机械臂需要进行的预设操作可能有多种，因此为了方便控制目标机械臂进行预设操作，电子设备可以预先建立预设操作标签与预设操作的对应关系，这样，当深度神经网络模型输出预设操作标签时，电子设备便可以根据该预先建立的对应关系，查找预设操作标签对应的预设操作，进而控制目标机械臂对目标物体进行预设操作。
例如，预设操作标签A、B、C对应的预设操作分别为抓取、按动、推倒，那么当目标状态信息为预设操作标签A时，电子设备便可以控制机械臂对目标物体进行按动操作。
在另一种情况下，目标状态信息可以包括目标关节角度和预设操作标签，那么当深度神经网络模型输出目标状态信息为目标关节角度时，电子设备便可以控制目标机械臂运动至目标关节角度对应的状态，并返回上述获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度的步骤，循环执行以上步骤，直到深度神经网络模型输出目标状态信息为预设操作标签时，控制目标机械臂对目标物体进行预设操作，从而完成控制目标机械臂移动及对目标物体进行操作的整个过程。
可见，在本实施例中，在目标状态信息为预设操作标签的情况下，电子设备可以控制目标机械臂对目标物体进行预设操作，从而完成目标机械臂所需对目标物体执行的动作。
作为本发明实施例的一种实施方式，上述第一图像传感器可以安装于目标机械臂末端或安装于环境中预设位置。
其中，环境中预设位置指代的是目标机械臂的工作环境中的预设位置。例如，目标机械臂对应的操作台的上方，目标机械臂所在场所的角落等，在此不做具体限定，只要可以采集包括目标物体的目标图像即可。
第一图像传感器也可以安装于目标机械臂末端，那么在机械臂移动过程中，第一图像传感器便也会随着目标机械臂末端位置的改变而移动，进行采集包括目标物体的目标图像。
可见，在本实施例中，第一图像传感器可以安装于目标机械臂末端或安装于环境中预设位置，只要可以采集包括目标物体的目标图像即可，并不影响后续目标机械臂执行目标动作，可以根据实际情况灵活设置第一图像传感器的安装位置。
作为本发明实施例的一种实施方式，如图2所示，上述深度神经网络模型的训练方式，可以包括：
S201，控制训练机械臂执行训练动作；
其中，训练机械臂可以为与上述目标机械臂为同一种类、同一型号的机械臂，这样，二者的各关节的型号是一致的，可以保证控制目标机械臂执行目标动作的准确性。
该训练动作可以根据目标机械臂所需执行的目标动作确定，例如，目标机械臂所需执行的目标动作为从位置1移动至位置2，然后对物体a进行抓取，那么训练动作便可以为位置1移动至位置2，然后对物体a进行抓取。又例如，目标机械臂所需执行的目标动作为将积木N1-N5进行堆放，那么训练动作便可以为将积木N1-N5进行堆放。
S202，在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本；
在上述控制训练机械臂执行训练动作的过程中，电子设备可以按照预定规则获取训练样本。该训练样本可以包括：第二图像传感器采集的包括目标物体的图像样本、采集图像样本时训练机械臂的所有关节角度及标注数据，该标注数据可以为标识采集图像样本时训练机械臂所需执行的训练动作的信息。一般可以为训练机械臂的目标关节角度及预设操作标签中的至少一个。其中，第二图像传感器可以与第一图像传感器相同，也可以与第一图像传感器不同。
其中，采集图像样本时训练机械臂所需执行的训练动作的信息即为按照预定规则，采集该图像样本之后训练机械臂所执行的训练动作的信息。在控制训练机械臂执行训练动作的过程中，电子设备可以记录在每一时刻的训练机械臂的所有关节角度以及训练机械臂所需执行的训练动作的信息，那么在采集一个图像样本的时刻所对应的下一时刻训练机械臂所需执行的训练动作的信息便可以作为该图像样本对应的标注数据。
例如，在预定规则中，训练机械臂执行训练动作的过程中依次经历时刻S0、S1、S2、S3，那么在控制训练机械臂执行训练动作的过程中，电子设备可以记录在该四个时刻的训练机械臂的所有关节角度G0、G1、G2、G3，在该四个时刻分别采集图像样本T0、T1、T2、T3，那么由于机械臂在时刻S0至时刻S1这段时间内，由关节角度G0运动至关节角度G1，那么时刻S0对应的训练机械臂所需执行的训练动作的信息即为关节角度G1，那么图像样本T0及关节角度G0对应的标注数据即为关节角度G1，进而图像样本T0、关节角度G0以及关节角度G1构成训练样本X1。
同理的，图像样本T1、关节角度G1以及关节角度G2构成训练样本X2，图像样本T2、关节角度G2以及关节角度G3构成训练样本X3。可见，该例中标注数据为训练机械臂的目标关节角度。训练样本包括的图像样本、关节角度及标注数据如下表所示：
训练样本 图像样本 关节角度 标注数据
X1 T0 G0 G1
X2 T1 G1 G2
X3 T2 G2 G3
又例如，在预定规则中，训练机械臂执行训练动作的过程中依次经历时刻S0、S1、S2、S3、S4，那么在控制训练机械臂执行训练动作的过程中，在时刻S4时，训练机械臂到达目标位置，对目标物体进行抓取操作，可以设置抓取操作对应的预设操作标签为Z，那么电子设备可以记录在S0-S3四个时刻的训练机械臂的所有关节角度G0、G1、G2、G3以及时刻S4对应的预设操作标签Z，在该五个时刻分别采集图像样本T0、T1、T2、T3、T4，那么由于机械臂在时刻S0至时刻S5这段时间内，由关节角度G0运动至关节角度G1，并目标物体进行抓取操作操作，那么时刻S0对应的训练机械臂所需执行的训练动作的信息即为关节角度G1，那么图像样本T0及关节角度G0对应的标注数据即为关节角度G1，进而图像样本T0、关节角度G0以及关节角度G1构成训练样本X1。
同理的，图像样本T1、关节角度G1以及关节角度G2构成训练样本X2，图像样本T2、关节角度G2以及关节角度G3构成训练样本X3，图像样本T3、关节角度G3以及预设操作标签Z构成训练样本X4。可见，该例中标注数据为训练机械臂的目标关节角度及预设操作标签。训练样本包括的图像样本、关节角度及标注数据如下表所示：
训练样本 图像样本 关节角度 标注数据
X1 T0 G0 G1
X2 T1 G1 G2
X3 T2 G2 G3
X4 T3 G3 Z
S203，基于所述训练样本对预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
获取上述训练样本后，可以将训练样本输入预先构建的初始深度神经网络模型进行训练。在训练过程中，初始深度神经网络模型可以学习图像样本中包括的目标物体的图像特征，输出图像样本对应的标识采集图像样本时训练机械臂所需执行的训练动作的信息，经过对大量图像样本的学习，初始深度神经网络模型逐步建立目标物体的图像特征与标识采集图像样本时训练机械臂所需执行的训练动作的信息的对应关系，进而得到深度神经网络模型。
如果标识采集图像样本时训练机械臂所需执行的训练动作的信息为训练机械臂的目标关节角度，初始深度神经网络模型也就逐步建立目标物体的图像特征与目标关节角度的对应关系，进而得到深度神经网络模型。如果标识采集图像样本时训练机械臂所需执行的训练动作的信息为预设操作标签，初始深度神经网络模型也就逐步建立目标物体的图像特征与预设操作标签的对应关系，进而得到深度神经网络模型。
如果标识采集图像样本时训练机械臂所需执行的训练动作的信息即包括训练机械臂的目标关节角度，又包括预设操作标签，那么初始深度神经网络模型就逐步建立目标物体的图像特征与目标关节角度的对应关系，以及训练物体的图像特征与预设操作标签的对应关系，进而得到深度神经网络模型。
可见，本实施例中，通过上述训练方式对初始深度神经网络模型进行训练，可以得到包含图像样本中的目标物体的图像特征与标识采集图像样本时训练机械臂所需执行的训练动作的信息的对应关系的深度神经网络模型，通过该深度神经网络模型可以得到目标图像对应的输出结果，也就是目标机械臂的目标状态信息，进而电子设备可以根据控制目标机械臂执行目标状态信息所标识的目标动作。
作为本发明实施例的一种实施方式，上述控制训练机械臂执行训练动作的步骤，可以包括：
通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；或，在实际环境中，控制训练机械臂执行训练动作。
在一种实施方式中，电子设备可以通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作。该预设设备可以为虚拟现实显示设备、增加现实显示设备等可以模拟真实环境的设备。通过该预设设备，可以在虚拟环境中控制训练机械臂的模型执行上述训练动作。
在另一种实施方式中，电子设备可以在实际环境中控制训练机械臂执行上述训练动作，两种方式都是可行的，并不影响训练样本的获取。
可见，在本实施例中，电子设备可以通过两种方式控制训练机械臂执行上述训练动作，以获取训练样本。即电子设备可以通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作，可以快速高效地获取大量训练样本，也可以在实际环境中，控制训练机械臂执行训练动作，提高获取训练样本的方式的多样性和灵活性。
作为本发明实施例的一种实施方式，上述通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作的步骤，可以包括：
在虚拟环境中设置所述目标物体的模型；通过预设设备控制所述训练机械臂的模型对所述目标物体的模型进行操作。
首先电子设备可以在虚拟环境中设置上述目标物体的模型，接下来，电子设备可以通过预设设备控制训练机械臂的模型对目标物体的模型进行操作。由于在虚拟环境中，可以通过预设设备模仿基于人眼视觉对物体进行操作。
例如，训练机械臂的模型所要执行训练动作为抓取目标物体模型，由于通过预设设备看到虚拟环境中目标物体模型所在位置，所以可以控制训练机械臂模型对目标物体模型进行抓取操作，而不需要确定目标物体模型及训练机械臂模型所在位置。在通过预设设备控制训练机械臂的模型对目标物体的模型进行操作过程中，便可以获取训练样本。在虚拟环境中，还可以设置图像传感器模型，用于采集虚拟环境中的图像样本。
可见，在本实施例中，电子设备可以在虚拟环境中设置目标物体的模型，然后通过预设设备控制训练机械臂的模型对目标物体的模型进行操作，进而完成训练动作，由于在虚拟环境中无需确定目标物体模型及训练机械臂模型的位置，可以大大减少获取训练样本的难度，可以快速获取大量训练样本。
作为本发明实施例的一种实施方式，如图3所示，上述在实际环境中，控制训练机械臂执行训练动作的步骤，可以包括：
S301，将所述目标物体放置在预定位置；
由于在现实环境中需要确定目标物体的位置，才能控制机械臂对目标物体进行操作，所以首先可以将目标物体放置在预定位置，该预定位置可以为与训练机械臂距离确定的位置，只要可以获知目标物体的位置即可。
S302，设置所述训练机械臂对所述目标物体进行操作的任务；
接下来，电子设备便可以设置训练机械臂对目标物体进行操作的任务，由于训练机械臂需要执行训练动作，以获得训练样本，因此，电子设备设置的训练机械臂对目标物体进行操作的任务为与训练动作对应的任务。
例如，训练动作从位置W1移动至位置W2，并对目标物体进行按动操作，那么电子设备便可以设置训练机械臂对目标物体进行操作的任务为：从位置W1移动至位置W2，并对目标物体进行按动操作。可以理解的是，位置W2一般即为上述预定位置，这样便于训练机械臂执行该任务。
S303，控制所述训练机械臂执行所述任务，以对所述目标物体进行所述操作。
设置训练机械臂对目标物体进行操作的任务后，电子设备便可以控制训练机械臂执行该任务，以对目标物体进行操作。
依然以训练机械臂对目标物体进行操作的任务为：从位置W1移动至位置W2，并对目标物体进行按动操作为例，由于目标物体所在的预定位置已知，训练机械臂所在位置也是已知的，因此，如果训练机械臂当前位置为位置W1，那么电子设备便可以确定从位置W1移动至位置W2的移动方案，并控制训练机械臂从位置W1移动至位置W2，并对目标物体进行按动操作。
如果训练机械臂当前位置不为位置W1，那么电子设备可以控制机械臂从当前位置移动至位置W1，进而再按照该移动方案，控制训练机械臂从位置W1移动至位置W2，并对目标物体进行按动操作。
可见，在本实施例中，在现实环境中，电子设备将目标物体放置在预定位置，然后设置训练机械臂对目标物体进行操作的任务，再控制训练机械臂执行该任务，以对目标物体进行操作，进而完成训练动作，以获取训练样本。
相应于上述机械臂控制方法实施例，本发明实施例还提供了一种深度神经网络模型的训练方法。
下面对本发明实施例所提供的一种深度神经网络模型的训练方法进行介绍。
本发明实施例所提供的一种深度神经网络模型的训练方法可以应用于任意电子设备，例如，可以为控制器、电脑、平板电脑等电子设备，在此不做具体限定。该电子设备可以是执行上述机械臂控制的方法的电子设备，也可以是了其他的电子设备，这都是合理的。为了描述清楚，以下称为训练设备。
如图4所示，一种深度神经网络模型的训练方法，所述方法包括：
S401，构建初始深度神经网络模型；
S402，控制训练机械臂执行训练动作；
S403，在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本；
其中，所述训练样本包括：第二图像传感器采集的包括训练物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息。
S404，基于所述训练样本对所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。
可见，本发明实施例所提供的方案中，训练设备首先构建初始深度神经网络模型，控制训练机械臂执行训练动作，在训练机械臂执行训练动作过程中，按照预定规则获取训练样本，再基于训练样本对初始深度神经网络模型进行训练，得到深度神经网络模型。由于深度神经网络模型是基于训练样本训练得到的，训练样本包括图像样本、采集图像样本时训练机械臂的所有关节角度及标注数据，标注数据为标识采集图像样本时训练机械臂所需执行的训练动作的信息，因此该深度神经网络模型可以根据图像特征输出标识机械臂所需执行的动作的信息。
在上述步骤S401中，训练设备首先需要构建一个初始深度神经网络模型，然后对其进行训练，进而得到深度神经网络模型。在一种实施方式中，可以利用caffe等工具构建一个初始深度神经网络模型。
在上述步骤S402中，训练设备可以控制训练机械臂执行训练动作，其中，该训练动作可以根据深度神经网络模型的检测目的确定，例如，深度神经网络模型的检测目的是确定目标机械臂从位置1移动至位置2过程中目标机械臂的关节角度，那么训练动作便可以为位置1移动至位置2。又例如，深度神经网络模型的检测目的是确定目标机械臂将积木N1-N5进行堆放过程中目标机械臂的关节角度，那么训练动作便可以为将积木N1-N5进行堆放。
在上述控制训练机械臂执行训练动作的过程中，电子设备可以按照预定规则获取训练样本。该训练样本可以包括：第二图像传感器采集的包括训练物体的图像样本、采集图像样本时训练机械臂的所有关节角度及标注数据，该标注数据可以为标识采集图像样本时训练机械臂所需执行的训练动作的信息。一般可以为训练机械臂的目标关节角度及预设操作标签中的至少一个。其中，第二图像传感器可以与第一图像传感器相同，也可以与第一图像传感器不同。
其中，采集图像样本时训练机械臂所需执行的训练动作的信息即为按照预定规则，采集该图像样本之后训练机械臂所执行的训练动作的信息。在控制训练机械臂执行训练动作的过程中，电子设备可以记录在每一时刻的训练机械臂的所有关节角度以及训练机械臂所需执行的训练动作的信息，那么在采集一个图像样本的时刻所对应的下一时刻训练机械臂所需执行的训练动作的信息便可以作为该图像样本对应的标注数据。
例如，在预定规则中，训练机械臂执行训练动作的过程中依次经历时刻S0、S1、S2、S3，那么在控制训练机械臂执行训练动作的过程中，电子设备可以记录在该四个时刻的训练机械臂的所有关节角度G0、G1、G2、G3，在该四个时刻分别采集图像样本T0、T1、T2、T3，那么由于机械臂在时刻S0至时刻S1这段时间内，由关节角度G0运动至关节角度G1，那么时刻S0对应的训练机械臂所需执行的训练动作的信息即为关节角度G1，那么图像样本T0及关节角度G0对应的标注数据即为关节角度G1，进而图像样本T0、关节角度G0以及关节角度G1构成训练样本X1。
同理的，图像样本T1、关节角度G1以及关节角度G2构成训练样本X2，图像样本T2、关节角度G2以及关节角度G3构成训练样本X3。可见，该例中标注数据为训练机械臂的目标关节角度。训练样本包括的图像样本、关节角度及标注数据如下表所示：
训练样本 图像样本 关节角度 标注数据
X1 T0 G0 G1
X2 T1 G1 G2
X3 T2 G2 G3
又例如，在预定规则中，训练机械臂执行训练动作的过程中依次经历时刻S0、S1、S2、S3、S4，那么在控制训练机械臂执行训练动作的过程中，在时刻S4时，训练机械臂到达目标位置，对训练物体进行抓取操作，可以设置抓取操作对应的预设操作标签为Z，那么电子设备可以记录在S0-S3四个时刻的训练机械臂的所有关节角度G0、G1、G2、G3以及时刻S4对应的预设操作标签Z，在该五个时刻分别采集图像样本T0、T1、T2、T3、T4，那么由于机械臂在时刻S0至时刻S5这段时间内，由关节角度G0运动至关节角度G1，并训练物体进行抓取操作操作，那么时刻S0对应的训练机械臂所需执行的训练动作的信息即为关节角度G1，那么图像样本T0及关节角度G0对应的标注数据即为关节角度G1，进而图像样本T0、关节角度G0以及关节角度G1构成训练样本X1。
同理的，图像样本T1、关节角度G1以及关节角度G2构成训练样本X2，图像样本T2、关节角度G2以及关节角度G3构成训练样本X3，图像样本T3、关节角度G3以及预设操作标签Z构成训练样本X4。可见，该例中标注数据为训练机械臂的目标关节角度及预设操作标签。训练样本包括的图像样本、关节角度及标注数据如下表所示：
训练样本 图像样本 关节角度 标注数据
X1 T0 G0 G1
X2 T1 G1 G2
X3 T2 G2 G3
X4 T3 G3 Z
获取上述训练样本后，便可以执行上述步骤S404，即可以将训练样本输入预先构建的初始深度神经网络模型进行训练。在训练过程中，初始深度神经网络模型可以学习图像样本中包括的训练物体的图像特征，输出图像样本对应的标识采集图像样本时训练机械臂所需执行的训练动作的信息，经过对大量图像样本的学习，初始深度神经网络模型逐步建立训练物体的图像特征与标识采集图像样本时训练机械臂所需执行的训练动作的信息的对应关系，进而得到深度神经网络模型。
如果标识采集图像样本时训练机械臂所需执行的训练动作的信息为训练机械臂的目标关节角度，初始深度神经网络模型也就逐步建立训练物体的图像特征与目标关节角度的对应关系，进而得到深度神经网络模型。如果标识采集图像样本时训练机械臂所需执行的训练动作的信息为预设操作标签，初始深度神经网络模型也就逐步建立训练物体的图像特征与预设操作标签的对应关系，进而得到深度神经网络模型。
如果标识采集图像样本时训练机械臂所需执行的训练动作的信息即包括训练机械臂的目标关节角度，又包括预设操作标签，那么初始深度神经网络模型就逐步建立训练物体的图像特征与目标关节角度的对应关系，以及训练物体的图像特征与预设操作标签的对应关系，进而得到深度神经网络模型。
作为本发明实施例的一种实施方式，上述控制训练机械臂执行训练动作的步骤，可以包括：
通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；或，在实际环境中，控制训练机械臂执行训练动作。
在一种实施方式中，电子设备可以通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作。该预设设备可以为虚拟现实显示设备、增加现实显示设备等可以模拟真实环境的设备。通过该预设设备，可以在虚拟环境中控制训练机械臂的模型执行上述训练动作。
在另一种实施方式中，电子设备可以在实际环境中控制训练机械臂执行上述训练动作，两种方式都是可行的，并不影响训练样本的获取。
可见，在本实施例中，电子设备可以通过两种方式控制训练机械臂执行上述训练动作，以获取训练样本。即电子设备可以通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作，可以快速高效地获取大量训练样本，也可以在实际环境中，控制训练机械臂执行训练动作，提高获取训练样本的方式的多样性和灵活性。
作为本发明实施例的一种实施方式，上述通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作的步骤，可以包括：
在虚拟环境中设置所述训练物体的模型；通过预设设备控制所述训练机械臂的模型对所述训练物体的模型进行操作。
首先电子设备可以在虚拟环境中设置上述训练物体的模型，接下来，电子设备可以通过预设设备控制训练机械臂的模型对训练物体的模型进行操作。由于在虚拟环境中，可以通过预设设备模仿基于人眼视觉对物体进行操作。
例如，训练机械臂的模型所要执行训练动作为抓取训练物体模型，由于通过预设设备看到虚拟环境中训练物体模型所在位置，所以可以控制训练机械臂模型对训练物体模型进行抓取操作，而不需要确定训练物体模型及训练机械臂模型所在位置。在通过预设设备控制训练机械臂的模型对训练物体的模型进行操作过程中，便可以获取训练样本。在虚拟环境中，还可以设置图像传感器模型，用于采集虚拟环境中的图像样本。
可见，在本实施例中，电子设备可以在虚拟环境中设置训练物体的模型，然后通过预设设备控制训练机械臂的模型对训练物体的模型进行操作，进而完成训练动作，由于在虚拟环境中无需确定训练物体模型及训练机械臂模型的位置，可以大大减少获取训练样本的难度，可以快速获取大量训练样本。
作为本发明实施例的一种实施方式，如图5所示，上述在实际环境中，控制训练机械臂执行训练动作的步骤，可以包括：
S501，将所述训练物体放置在预定位置；
由于在现实环境中需要确定训练物体的位置，才能控制机械臂对训练物体进行操作，所以首先可以将训练物体放置在预定位置，该预定位置可以为与训练机械臂距离确定的位置，只要可以获知训练物体的位置即可。
S502，设置所述训练机械臂对所述训练物体进行操作的任务；
接下来，电子设备便可以设置训练机械臂对训练物体进行操作的任务，由于训练机械臂需要执行训练动作，以获得训练样本，因此，电子设备设置的训练机械臂对训练物体进行操作的任务为与训练动作对应的任务。
例如，训练动作从位置P3移动至位置P4，并对训练物体进行按动操作，那么电子设备便可以设置训练机械臂对训练物体进行操作的任务为：从位置P3移动至位置P4，并对训练物体进行按动操作。可以理解的是，位置P4一般即为上述预定位置，这样便于训练机械臂执行该任务。
S503，控制所述训练机械臂执行所述任务，以对所述训练物体进行所述操作。
设置训练机械臂对训练物体进行操作的任务后，电子设备便可以控制训练机械臂执行该任务，以对训练物体进行操作。
依然以训练机械臂对训练物体进行操作的任务为：从位置P3移动至位置P4，并对训练物体进行按动操作为例，由于训练物体所在的预定位置已知，训练机械臂所在位置也是已知的，因此，如果训练机械臂当前位置为位置P3，那么电子设备便可以确定从位置P3移动至位置P4的移动方案，并控制训练机械臂从位置P3移动至位置P4，并对训练物体进行按动操作。
如果训练机械臂当前位置不为位置P3，那么电子设备可以控制机械臂从当前位置移动至位置P3，进而再按照该移动方案，控制训练机械臂从位置P3移动至位置P4，并对训练物体进行按动操作。
可见，在本实施例中，在现实环境中，电子设备将训练物体放置在预定位置，然后设置训练机械臂对训练物体进行操作的任务，再控制训练机械臂执行该任务，以对训练物体进行操作，进而完成训练动作，以获取训练样本。
需要说明的是，通过上述深度神经网络模型的训练方法训练得到的深度神经网络模型不仅可以用于上述机械臂控制方法中，还可以用于任意需要检测图像特征，进而输出标识机械臂所需执行的动作的信息的方案中。
相应于上述机械臂控制方法，本发明实施例还提供了一种机械臂控制装置。
下面对本发明实施例所提供的一种机械臂控制装置进行介绍。
如图6所示，一种机械臂控制装置，其特征在于，所述装置包括：
数据获取模块610，用于获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度；
模型检测模块620，用于将所述目标图像及所述关节角度输入通过模型训练模块(图6中未示出)预先训练完成的深度神经网络模型进行检测，得到所述目标机械臂的目标状态信息；
其中，所述目标状态信息为标识所述目标机械臂所需执行的目标动作的信息。
机械臂控制模块630，用于控制所述目标机械臂执行所述目标动作。
可见，本发明实施例所提供的方案中，首先获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度，然后将目标图像及关节角度输入预先训练完成的深度神经网络模型进行检测，得到目标机械臂的目标状态信息，其中，目标状态信息为标识目标机械臂所需执行的目标动作的信息，进而，控制目标机械臂执行目标动作。采用该方式控制机械臂时，根据深度神经网络模型输出的目标状态信息，可以控制机械臂执行所需执行的目标动作，无需人工编程，人工工作量小，机械臂移动过程的整体速度大大提高。
作为本发明实施例的一种实施方式，上述机械臂控制模块630可以包括：
角度控制子模块(图6中未示出)，用于当所述目标状态信息为目标关节角度时，控制所述目标机械臂运动至所述目标关节角度对应的状态。
作为本发明实施例的一种实施方式，所述装置还可以包括：
返回模块(图6中未示出)，用于所述数据获取模块。
作为本发明实施例的一种实施方式，上述机械臂控制模块630可以包括：
操作控制子模块(图6中未示出)，用于当所述目标状态信息为预设操作标签时，控制所述目标机械臂对所述目标物体进行预设操作。
作为本发明实施例的一种实施方式，上述第一图像传感器可以安装于所述目标机械臂末端或安装于环境中预设位置。
作为本发明实施例的一种实施方式，上述模型训练模块可以包括：
训练动作执行子模块(图6中未示出)，用于控制训练机械臂执行训练动作；
训练样本获取子模块(图6中未示出)，用于在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本；
其中，所述训练样本包括：第二图像传感器采集的包括目标物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息。
模型训练子模块(图6中未示出)，用于基于所述训练样本对预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
作为本发明实施例的一种实施方式，上述标注数据可以为所述训练机械臂的目标关节角度及预设操作标签中的至少一个。
作为本发明实施例的一种实施方式，上述训练动作执行子模块可以包括：
虚拟控制单元(图6中未示出)，用于通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
现实控制单元(图6中未示出)，用于在实际环境中，控制训练机械臂执行训练动作。
作为本发明实施例的一种实施方式，上述虚拟控制单元可以包括：
物体模型设置子单元(图6中未示出)，用于在虚拟环境中设置所述目标物体的模型；
虚拟操作子单元(图6中未示出)，用于通过预设设备控制所述训练机械臂的模型对所述目标物体的模型进行操作。
作为本发明实施例的一种实施方式，上述现实控制单元可以包括：
物体放置子单元(图6中未示出)，用于将所述目标物体放置在预定位置；
任务设置子单元(图6中未示出)，用于设置所述训练机械臂对所述目标物体进行操作的任务；
控制操作子单元(图6中未示出)，用于控制所述训练机械臂执行所述任务，以对所述目标物体进行所述操作。
相应于上述深度神经网络模型的训练方法，本发明实施例还提供了一种深度神经网络模型的训练装置。
下面对本发明实施例所提供的一种深度神经网络模型的训练装置进行介绍。
如图7所示，一种深度神经网络模型的训练装置，所述装置包括：
模型构建模块710，用于构建初始深度神经网络模型；
训练动作执行模块720，用于控制训练机械臂执行训练动作；
训练样本获取模块730，用于在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本；
其中，所述训练样本包括：第二图像传感器采集的包括训练物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息。
模型训练模块740，用于基于所述训练样本对所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。
可见，本发明实施例所提供的方案中，训练设备首先构建初始深度神经网络模型，控制训练机械臂执行训练动作，在训练机械臂执行训练动作过程中，按照预定规则获取训练样本，再基于训练样本对初始深度神经网络模型进行训练，得到深度神经网络模型。由于深度神经网络模型是基于训练样本训练得到的，训练样本包括图像样本、采集图像样本时训练机械臂的所有关节角度及标注数据，标注数据为标识采集图像样本时训练机械臂所需执行的训练动作的信息，因此该深度神经网络模型可以根据图像特征输出标识机械臂所需执行的动作的信息。
作为本发明实施例的一种实施方式，上述标注数据可以为所述训练机械臂的目标关节角度或预设操作标签。
作为本发明实施例的一种实施方式，上述训练动作执行模块720可以包括：
虚拟控制子模块(图7中未示出)，用于通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
现实控制子模块(图7中未示出)，用于在实际环境中，控制训练机械臂执行训练动作。
作为本发明实施例的一种实施方式，上述虚拟控制子模块可以包括：
物体模型设置单元(图7中未示出)，用于在虚拟环境中设置所述训练物体的模型；
虚拟操作单元(图7中未示出)，用于通过预设设备控制所述训练机械臂的模型对所述训练物体的模型进行操作。
作为本发明实施例的一种实施方式，上述现实控制子模块可以包括：
物体放置单元(图7中未示出)，用于将所述训练物体放置在预定位置；
任务设置单元(图7中未示出)，用于设置所述训练机械臂对所述训练物体进行操作的任务；
控制操作单元(图7中未示出)，用于控制所述训练机械臂执行所述任务，以对所述训练物体进行所述操作。
本发明实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，
存储器803，用于存放计算机程序；
处理器801，用于执行存储器803上所存放的程序时，实现如下步骤：
获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度；
将所述目标图像及所述关节角度输入预先训练完成的深度神经网络模型进行检测，得到所述目标机械臂的目标状态信息，其中，所述目标状态信息为标识所述目标机械臂所需执行的目标动作的信息；
控制所述目标机械臂执行所述目标动作。
可见，本发明实施例所提供的方案中，电子设备首先获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度，然后将目标图像及关节角度输入预先训练完成的深度神经网络模型进行检测，得到目标机械臂的目标状态信息，其中，目标状态信息为标识目标机械臂所需执行的目标动作的信息，进而，控制目标机械臂执行目标动作。采用该方式控制机械臂时，根据深度神经网络模型输出的目标状态信息，可以控制机械臂执行所需执行的目标动作，无需人工编程，人工工作量小，机械臂移动过程的整体速度大大提高。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
其中，当所述目标状态信息为目标关节角度时，所述控制所述目标机械臂执行所述目标动作的步骤，可以包括：
控制所述目标机械臂运动至所述目标关节角度对应的状态。
其中，上述方法还可以包括：
返回所述获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度的步骤。
其中，当所述目标状态信息为预设操作标签时，所述控制所述目标机械臂执行所述目标动作的步骤，可以包括：
控制所述目标机械臂对所述目标物体进行预设操作。
其中，上述第一图像传感器可以安装于所述目标机械臂末端或安装于环境中预设位置。
其中，上述深度神经网络模型的训练方式，可以包括：
控制训练机械臂执行训练动作；
在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本，其中，所述训练样本包括：第二图像传感器采集的包括目标物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息；
基于所述训练样本对预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
其中，上述标注数据可以为所述训练机械臂的目标关节角度及预设操作标签中的至少一个。
其中，上述控制训练机械臂执行训练动作的步骤，可以包括：
通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
在实际环境中，控制训练机械臂执行训练动作。
其中，上述通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作的步骤，可以包括：
在虚拟环境中设置所述目标物体的模型；
通过预设设备控制所述训练机械臂的模型对所述目标物体的模型进行操作。
其中，上述在实际环境中，控制训练机械臂执行训练动作的步骤，可以包括：
将所述目标物体放置在预定位置；
设置所述训练机械臂对所述目标物体进行操作的任务；
控制所述训练机械臂执行所述任务，以对所述目标物体进行所述操作。
本发明实施例还提供了另一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现如下步骤：
构建初始深度神经网络模型；
控制训练机械臂执行训练动作；
在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本，其中，所述训练样本包括：第二图像传感器采集的包括训练物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息；
基于所述训练样本对所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。
可见，本发明实施例所提供的方案中，电子设备首先构建初始深度神经网络模型，控制训练机械臂执行训练动作，在训练机械臂执行训练动作过程中，按照预定规则获取训练样本，再基于训练样本对初始深度神经网络模型进行训练，得到深度神经网络模型。由于深度神经网络模型是基于训练样本训练得到的，训练样本包括图像样本、采集图像样本时训练机械臂的所有关节角度及标注数据，标注数据为标识采集图像样本时训练机械臂所需执行的训练动作的信息，因此该深度神经网络模型可以根据图像特征输出标识机械臂所需执行的动作的信息。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
其中，上述标注数据可以为所述训练机械臂的目标关节角度或预设操作标签。
其中，上述控制训练机械臂执行训练动作的步骤，可以包括：
通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
在实际环境中，控制训练机械臂执行训练动作。
其中，上述通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作的步骤，可以包括：
在虚拟环境中设置所述训练物体的模型；
通过预设设备控制所述训练机械臂的模型对所述训练物体的模型进行操作。
其中，上述在实际环境中，控制训练机械臂执行训练动作的步骤，可以包括：
将所述训练物体放置在预定位置；
设置所述训练机械臂对所述训练物体进行操作的任务；
控制所述训练机械臂执行所述任务，以对所述训练物体进行所述操作。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度；
将所述目标图像及所述关节角度输入预先训练完成的深度神经网络模型进行检测，得到所述目标机械臂的目标状态信息，其中，所述目标状态信息为标识所述目标机械臂所需执行的目标动作的信息；
控制所述目标机械臂执行所述目标动作。
可见，本发明实施例所提供的方案中，计算机程序被处理器执行时，首先获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度，然后将目标图像及关节角度输入预先训练完成的深度神经网络模型进行检测，得到目标机械臂的目标状态信息，其中，目标状态信息为标识目标机械臂所需执行的目标动作的信息，进而，控制目标机械臂执行目标动作。采用该方式控制机械臂时，根据深度神经网络模型输出的目标状态信息，可以控制机械臂执行所需执行的目标动作，无需人工编程，人工工作量小，机械臂移动过程的整体速度大大提高。
其中，当所述目标状态信息为目标关节角度时，所述控制所述目标机械臂执行所述目标动作的步骤，可以包括：
控制所述目标机械臂运动至所述目标关节角度对应的状态。
其中，上述方法还可以包括：
返回所述获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度的步骤。
其中，当所述目标状态信息为预设操作标签时，所述控制所述目标机械臂执行所述目标动作的步骤，可以包括：
控制所述目标机械臂对所述目标物体进行预设操作。
其中，上述第一图像传感器可以安装于所述目标机械臂末端或安装于环境中预设位置。
其中，上述深度神经网络模型的训练方式，可以包括：
控制训练机械臂执行训练动作；
在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本，其中，所述训练样本包括：第二图像传感器采集的包括目标物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息；
基于所述训练样本对预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
其中，上述标注数据可以为所述训练机械臂的目标关节角度及预设操作标签中的至少一个。
其中，上述控制训练机械臂执行训练动作的步骤，可以包括：
通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
在实际环境中，控制训练机械臂执行训练动作。
其中，上述通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作的步骤，可以包括：
在虚拟环境中设置所述目标物体的模型；
通过预设设备控制所述训练机械臂的模型对所述目标物体的模型进行操作。
其中，上述在实际环境中，控制训练机械臂执行训练动作的步骤，可以包括：
将所述目标物体放置在预定位置；
设置所述训练机械臂对所述目标物体进行操作的任务；
控制所述训练机械臂执行所述任务，以对所述目标物体进行所述操作。
本发明实施例还提供了另一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
构建初始深度神经网络模型；
控制训练机械臂执行训练动作；
在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本，其中，所述训练样本包括：第二图像传感器采集的包括训练物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息；
基于所述训练样本对所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。
可见，本发明实施例所提供的方案中，计算机程序被处理器执行时，首先构建初始深度神经网络模型，控制训练机械臂执行训练动作，在训练机械臂执行训练动作过程中，按照预定规则获取训练样本，再基于训练样本对初始深度神经网络模型进行训练，得到深度神经网络模型。由于深度神经网络模型是基于训练样本训练得到的，训练样本包括图像样本、采集图像样本时训练机械臂的所有关节角度及标注数据，标注数据为标识采集图像样本时训练机械臂所需执行的训练动作的信息，因此该深度神经网络模型可以根据图像特征输出标识机械臂所需执行的动作的信息。
其中，上述标注数据可以为所述训练机械臂的目标关节角度或预设操作标签。
其中，上述控制训练机械臂执行训练动作的步骤，可以包括：
通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
在实际环境中，控制训练机械臂执行训练动作。
其中，上述通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作的步骤，可以包括：
在虚拟环境中设置所述训练物体的模型；
通过预设设备控制所述训练机械臂的模型对所述训练物体的模型进行操作。
其中，上述在实际环境中，控制训练机械臂执行训练动作的步骤，可以包括：
将所述训练物体放置在预定位置；
设置所述训练机械臂对所述训练物体进行操作的任务；
控制所述训练机械臂执行所述任务，以对所述训练物体进行所述操作。
需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于对应的方法实施例，所以描述的比较简单，相关之处参见对应的方法实施例的部分说明即可。
需要进一步说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (32)

1.一种机械臂控制方法，其特征在于，所述方法包括：
获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度；
将所述目标图像及所述关节角度输入预先训练完成的深度神经网络模型进行检测，得到所述目标机械臂的目标状态信息，其中，所述目标状态信息为标识所述目标机械臂所需执行的目标动作的信息，所述目标状态信息包括目标关节角度及预设操作标签中的至少一个，所述目标关节角度标识所述目标机械臂所需执行的目标动作为运动至目标关节角度对应的状态，所述预设操作标签标识所述目标机械臂所需执行的目标动作为对目标物体进行预设操作；
控制所述目标机械臂执行所述目标动作。
2.如权利要求1所述的方法，其特征在于，当所述目标状态信息为目标关节角度时，所述控制所述目标机械臂执行所述目标动作的步骤，包括：
控制所述目标机械臂运动至所述目标关节角度对应的状态。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
返回所述获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度的步骤。
4.如权利要求1所述的方法，其特征在于，当所述目标状态信息为预设操作标签时，所述控制所述目标机械臂执行所述目标动作的步骤，包括：
控制所述目标机械臂对所述目标物体进行预设操作。
5.如权利要求1所述的方法，其特征在于，所述第一图像传感器安装于所述目标机械臂末端或安装于环境中预设位置。
6.如权利要求1-5任一项所述的方法，其特征在于，所述深度神经网络模型的训练方式，包括：
控制训练机械臂执行训练动作；
在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本，其中，所述训练样本包括：第二图像传感器采集的包括目标物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息；
基于所述训练样本对预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
7.如权利要求6所述的方法，其特征在于，所述标注数据为所述训练机械臂的目标关节角度及预设操作标签中的至少一个。
8.如权利要求6所述的方法，其特征在于，所述控制训练机械臂执行训练动作的步骤，包括：
通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
在实际环境中，控制训练机械臂执行训练动作。
9.如权利要求8所述的方法，其特征在于，所述通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作的步骤，包括：
在虚拟环境中设置所述目标物体的模型；
通过预设设备控制所述训练机械臂的模型对所述目标物体的模型进行操作。
10.如权利要求8所述的方法，其特征在于，所述在实际环境中，控制训练机械臂执行训练动作的步骤，包括：
将所述目标物体放置在预定位置；
设置所述训练机械臂对所述目标物体进行操作的任务；
控制所述训练机械臂执行所述任务，以对所述目标物体进行所述操作。
11.一种深度神经网络模型的训练方法，其特征在于，所述方法包括：
构建初始深度神经网络模型；
控制训练机械臂执行训练动作；
在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本，其中，所述训练样本包括：第二图像传感器采集的包括训练物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息，所述标注数据为所述训练机械臂的目标关节角度及预设操作标签中的至少一个，所述目标关节角度标识训练机械臂所需执行的训练动作为运动至目标关节角度对应的状态，所述预设操作标签标识训练机械臂所需执行的训练动作为对目标物体进行预设操作；
基于所述训练样本对所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。
12.如权利要求11所述的方法，其特征在于，所述控制训练机械臂执行训练动作的步骤，包括：
通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
在实际环境中，控制训练机械臂执行训练动作。
13.如权利要求12所述的方法，其特征在于，所述通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作的步骤，包括：
在虚拟环境中设置所述训练物体的模型；
通过预设设备控制所述训练机械臂的模型对所述训练物体的模型进行操作。
14.如权利要求12所述的方法，其特征在于，所述在实际环境中，控制训练机械臂执行训练动作的步骤，包括：
将所述训练物体放置在预定位置；
设置所述训练机械臂对所述训练物体进行操作的任务；
控制所述训练机械臂执行所述任务，以对所述训练物体进行所述操作。
15.一种机械臂控制装置，其特征在于，所述装置包括：
数据获取模块，用于获取第一图像传感器当前时刻采集的包括目标物体的目标图像及目标机械臂的关节角度；
模型检测模块，用于将所述目标图像及所述关节角度输入通过模型训练模块预先训练完成的深度神经网络模型进行检测，得到所述目标机械臂的目标状态信息，其中，所述目标状态信息为标识所述目标机械臂所需执行的目标动作的信息，所述目标状态信息包括目标关节角度及预设操作标签中的至少一个，所述目标关节角度标识所述目标机械臂所需执行的目标动作为运动至目标关节角度对应的状态，所述预设操作标签标识所述目标机械臂所需执行的目标动作为对目标物体进行预设操作；
机械臂控制模块，用于控制所述目标机械臂执行所述目标动作。
16.如权利要求15所述的装置，其特征在于，所述机械臂控制模块包括：
角度控制子模块，用于当所述目标状态信息为目标关节角度时，控制所述目标机械臂运动至所述目标关节角度对应的状态。
17.如权利要求16所述的装置，其特征在于，所述装置还包括：
返回模块，用于触发所述数据获取模块。
18.如权利要求15所述的装置，其特征在于，所述机械臂控制模块包括：
操作控制子模块，用于当所述目标状态信息为预设操作标签时，控制所述目标机械臂对所述目标物体进行预设操作。
19.如权利要求15所述的装置，其特征在于，所述第一图像传感器安装于所述目标机械臂末端或安装于环境中预设位置。
20.如权利要求15-19任一项所述的装置，其特征在于，所述模型训练模块包括：
训练动作执行子模块，用于控制训练机械臂执行训练动作；
训练样本获取子模块，用于在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本，其中，所述训练样本包括：第二图像传感器采集的包括目标物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息；
模型训练子模块，用于基于所述训练样本对预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
21.如权利要求20所述的装置，其特征在于，所述标注数据为所述训练机械臂的目标关节角度及预设操作标签中的至少一个。
22.如权利要求20所述的装置，其特征在于，所述训练动作执行子模块包括：
虚拟控制单元，用于通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
现实控制单元，用于在实际环境中，控制训练机械臂执行训练动作。
23.如权利要求22所述的装置，其特征在于，所述虚拟控制单元包括：
物体模型设置子单元，用于在虚拟环境中设置所述目标物体的模型；
虚拟操作子单元，用于通过预设设备控制所述训练机械臂的模型对所述目标物体的模型进行操作。
24.如权利要求22所述的装置，其特征在于，所述现实控制单元包括：
物体放置子单元，用于将所述目标物体放置在预定位置；
任务设置子单元，用于设置所述训练机械臂对所述目标物体进行操作的任务；
控制操作子单元，用于控制所述训练机械臂执行所述任务，以对所述目标物体进行所述操作。
25.一种深度神经网络模型的训练装置，其特征在于，所述装置包括：
模型构建模块，用于构建初始深度神经网络模型；
训练动作执行模块，用于控制训练机械臂执行训练动作；
训练样本获取模块，用于在所述训练机械臂执行所述训练动作过程中，按照预定规则获取训练样本，其中，所述训练样本包括：第二图像传感器采集的包括训练物体的图像样本、采集所述图像样本时所述训练机械臂的所有关节角度及标注数据，所述标注数据为标识采集所述图像样本时所述训练机械臂所需执行的训练动作的信息，所述标注数据为所述训练机械臂的目标关节角度及预设操作标签中的至少一个，所述目标关节角度标识训练机械臂所需执行的训练动作为运动至目标关节角度对应的状态，所述预设操作标签标识训练机械臂所需执行的训练动作为对目标物体进行预设操作；
模型训练模块，用于基于所述训练样本对所述初始深度神经网络模型进行训练，得到所述深度神经网络模型。
26.如权利要求25所述的装置，其特征在于，所述训练动作执行模块包括：
虚拟控制子模块，用于通过预设设备在虚拟环境中控制训练机械臂的模型执行训练动作；
或，
现实控制子模块，用于在实际环境中，控制训练机械臂执行训练动作。
27.如权利要求26所述的装置，其特征在于，所述虚拟控制子模块包括：
物体模型设置单元，用于在虚拟环境中设置所述训练物体的模型；
虚拟操作单元，用于通过预设设备控制所述训练机械臂的模型对所述训练物体的模型进行操作。
28.如权利要求26所述的装置，其特征在于，所述现实控制子模块包括：
物体放置单元，用于将所述训练物体放置在预定位置；
任务设置单元，用于设置所述训练机械臂对所述训练物体进行操作的任务；
控制操作单元，用于控制所述训练机械臂执行所述任务，以对所述训练物体进行所述操作。
29.一种电子设备，其特征在于，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-10任一所述的方法步骤。
30.一种电子设备，其特征在于，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求11-14任一所述的方法步骤。
31.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一所述的方法步骤。
32.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求11-14任一所述的方法步骤。
CN201810235562.2A 2018-03-21 2018-03-21 机械臂控制方法、装置及神经网络模型训练方法、装置 Active CN110293549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810235562.2A CN110293549B (zh) 2018-03-21 2018-03-21 机械臂控制方法、装置及神经网络模型训练方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810235562.2A CN110293549B (zh) 2018-03-21 2018-03-21 机械臂控制方法、装置及神经网络模型训练方法、装置

Publications (2)

Publication Number Publication Date
CN110293549A CN110293549A (zh) 2019-10-01
CN110293549B true CN110293549B (zh) 2021-06-22

Family

ID=68025426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810235562.2A Active CN110293549B (zh) 2018-03-21 2018-03-21 机械臂控制方法、装置及神经网络模型训练方法、装置

Country Status (1)

Country Link
CN (1) CN110293549B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114945925A (zh) * 2020-01-24 2022-08-26 西门子医疗有限公司 用于根据可配置模块的医学机器人生成的机器学习网络
CN112476489B (zh) * 2020-11-13 2021-10-22 哈尔滨工业大学（深圳） 基于自然特征的柔性机械臂同步测量方法及系统
CN112767479A (zh) * 2021-01-13 2021-05-07 深圳瀚维智能医疗科技有限公司 位置信息检测方法、装置、系统及计算机可读存储介质
CN117032262B (zh) * 2023-09-12 2024-03-19 南栖仙策(南京)科技有限公司 机器控制方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104808490A (zh) * 2015-03-10 2015-07-29 浙江工业大学 一种面向模具保护的基于回声状态网络估计图像雅克比矩阵的无标定视觉伺服控制方法
CN106094516A (zh) * 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN107609598A (zh) * 2017-09-27 2018-01-19 武汉斗鱼网络科技有限公司 图像鉴别模型训练方法、装置及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104808490A (zh) * 2015-03-10 2015-07-29 浙江工业大学 一种面向模具保护的基于回声状态网络估计图像雅克比矩阵的无标定视觉伺服控制方法
CN106094516A (zh) * 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN107609598A (zh) * 2017-09-27 2018-01-19 武汉斗鱼网络科技有限公司 图像鉴别模型训练方法、装置及可读存储介质

Also Published As

Publication number Publication date
CN110293549A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110293549B (zh) 机械臂控制方法、装置及神经网络模型训练方法、装置
CN104858876B (zh) 机器人任务的可视调试
CN105082132B (zh) 力‑扭矩任务的快速机器人模仿学习
Magrini et al. Estimation of contact forces using a virtual force sensor
Ciocarlie et al. Towards reliable grasping and manipulation in household environments
EP3166084B1 (en) Method and system for determining a configuration of a virtual robot in a virtual environment
CN109397285B (zh) 一种装配方法、装配装置及装配设备
CN110293553B (zh) 控制机械臂操作物体的方法、装置及模型训练方法、装置
CN110463376B (zh) 一种插机方法及插机设备
JP2020508888A5 (zh)
JP2019206041A5 (ja) 情報処理装置、ロボット制御装置、情報処理方法及びプログラム
Liu et al. Understanding multi-modal perception using behavioral cloning for peg-in-a-hole insertion tasks
El Zaatari et al. iTP-LfD: Improved task parametrised learning from demonstration for adaptive path generation of cobot
CN117103277A (zh) 一种基于多模态数据融合的机械手臂感知方法
CN114683251A (zh) 机器人抓取方法、装置、电子设备及可读取存储介质
Maeda et al. Teaching of grasp/graspless manipulation for industrial robots by human demonstration
Tajima et al. Robust bin-picking system using tactile sensor
CN117773913A (zh) 机器人控制方法、装置、存储介质及机器人
Pedersen et al. Using human gestures and generic skills to instruct a mobile robot arm in a feeder filling scenario
US20220032468A1 (en) Robotic drawing
US20220172107A1 (en) Generating robotic control plans
Klecker et al. Robotic trajectory tracking: Bio-inspired position and torque control
Sillang et al. The Development of Robot Arm with Smartphone Control Using Arduino
US20240025035A1 (en) Robotic simulations using multiple levels of fidelity
Elachkar et al. An Experimental Setup for Robot Learning From Human Observation using Deep Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant