CN109397285A - 一种装配方法、装配装置及装配设备 - Google Patents

一种装配方法、装配装置及装配设备 Download PDF

Info

Publication number
CN109397285A
CN109397285A CN201811079680.5A CN201811079680A CN109397285A CN 109397285 A CN109397285 A CN 109397285A CN 201811079680 A CN201811079680 A CN 201811079680A CN 109397285 A CN109397285 A CN 109397285A
Authority
CN
China
Prior art keywords
pose
assembly
accessory
instruction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811079680.5A
Other languages
English (en)
Other versions
CN109397285B (zh
Inventor
何德裕
朱文飞
何国斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luban's Robot (shenzhen) Co Ltd
Original Assignee
Luban's Robot (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luban's Robot (shenzhen) Co Ltd filed Critical Luban's Robot (shenzhen) Co Ltd
Priority to CN201811079680.5A priority Critical patent/CN109397285B/zh
Publication of CN109397285A publication Critical patent/CN109397285A/zh
Priority to PCT/CN2019/105700 priority patent/WO2020057440A1/zh
Application granted granted Critical
Publication of CN109397285B publication Critical patent/CN109397285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

发明提供一种装配方法、装配装置及装配设备。其中，所述装配方法包括基于获取的装配件和待装配件的第一图像，结合获取的装配相关的参数信息，经过预先经过训练的第一模型生成指向所述机械手的第一指令，通过所述指令控制机械手移动到所述待装配件附近，抓取所述待装配件，带动所述待装配件移动到所述装配件的装配位置附近和带动所述待装配件装配到所述装配位置。采用本发明的技术方案，通过机器学习的方法进行装配，能够提高装配的工作效率及准确率。

Description

一种装配方法、装配装置及装配设备
技术领域
本发明涉及自动化技术领域，具体涉及一种装配方法、装配装置及装配设备。
背景技术
现有的自动化技术领域中，可以通过自动化设备实现各种装配的动作，比如：将销钉插入插孔中，将不同外形或种类的零部件插入对应的目标插孔中等等。
现有的自动化的装配设备，柔性化程度较低，因此当需要彼此装配的结构件的结构、种类或环境等等发生改变时，通常需要重新修改程序，造成成本的增加。并且，在一些装配难度比较大的动作中，通过自动化设备很难完成装配，或者在装配过程中失误率很高。
发明内容
有鉴于此，本发明提供一种装配方法、装配装置及装配设备。
本发明第一方面提供一种装配方法，所述装配方法包括：
基于获取的装配件和待装配件的第一图像或第一位姿，结合获取的装配相关的参数信息，经过预先经过训练的第一模型生成指向所述机械手的第一指令，通过所述指令控制机械手移动到所述待装配件附近，抓取所述待装配件，带动所述待装配件移动到所述装配件的装配位置附近和带动所述待装配件装配到所述装配位置；其中，所述第一位姿为基于所述第一图像获取的所述装配件和待装配件的位姿。
进一步，所述参数信息包括：机械手的位姿信息、力/力矩反馈信号、和/或所述装配件和/或所述待装配件的物理信息。
进一步，所述第一模型为NN模型、CNN模型、CNN模型与其它模型的结合或NN模型与其它模型的结合。
进一步，所述预先经过训练的第一模型通过包括如下训练方法步骤获取：
监督学习、强化学习或模仿学习。
本发明第二方面提供一种装配方法，所述装配方法包括：
基于获取的待装配件的第二图像或第二位姿，结合获取的装配相关的参数信息，生成第二指令，通过所述第二指令控制机械手移动到所述待装配件附近，抓取所述待装配件；其中，所述第二位姿为基于所述第二图像获取的所述待装配件的位姿；
基于获取的装配件的装配位置第三图像或第三位姿，结合获取的装配相关的参数信息，生成第三指令，通过所述第三指令带动所述待装配件移动到所述装配件的装配位置附近，带动所述待装配件装配到所述装配位置；其中，所述第三位姿为基于所述第三图像获取的所述装配件的位姿；
所述第二指令经过预先经过训练的第二模型生成；和/或
所述第三指令经过预先经过训练的第三模型生成。
进一步，所述参数信息包括：机械手的位姿信息、力/力矩反馈信号、和/或所述装配件和/或所述待装配件的物理信息。
进一步，所述第二模型和/或第三模型为NN模型、CNN模型、CNN模型与其它模型的结合或NN模型与其它模型的结合。
进一步，所述预先经过训练的第二模型和/或所述预先经过训练的第三模型通过包括如下训练方法步骤获取：
监督学习、强化学习或模仿学习。
本发明第三方面提供一种装配方法，所述装配方法包括:
基于获取的待装配件的第二图像或第二位姿，生成第四指令，通过所述第四指令控制机械手移动到所述装配件附近；其中，所述第二位姿为基于所述第二图像获取的所述待装配件的位姿；
基于获取的机械手移动到所述装配件附近后的待装配件的第四图像或第四位姿,结合获取的装配相关的参数信息，生成第五指令，通过所述第五指令控制机械手抓取所述装配件；其中，所述第四位姿为基于所述第四图像获取的所述机械手移动到所述装配件附近后的待装配件的位姿；
基于获取的装配件上的装配位置的第三图像或第三位姿，生成第六指令，通过所述第六指令控制机械手带动所述装配件移动到待装配位置附近；其中，所述第三位姿为基于所述第三图像获取的所述装配件上的装配位置的位姿；
基于获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置第五图像或第五位姿,结合获取的装配相关的参数信息，生成第七指令,通过所述第七指令控制所述机械手带动所述待装配件装配到所述装配位置；其中，所述第五位姿为基于所述第五图像获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置的位姿；
所述第五指令经过预先经过训练的第四模型生成；和/或
所述第六指令经过预先经过训练的第五模型生成；和/或
所述第七指令经过预先经过训练的第六模型生成；和/或
所述第八指令经过预先经过训练的第七模型生成。
进一步，所述参数信息包括：机械手的位姿信息、力/力矩反馈信号、和/或所述装配件和/或所述待装配件的物理信息。
进一步，所述预先经过训练的第四模型、预先经过训练的第五模型、预先经过训练的第六模型和/或预先经过训练的第七模型为NN模型、CNN模型、CNN模型与其它模型的结合或NN模型与其它模型的结合。
进一步，所述预先经过训练的第四模型、预先经过训练的第五模型、预先经过训练的第六模型和/或预先经过训练的第七模型通过包括如下训练方法步骤获取：
监督学习、强化学习或模仿学习。
本发明第五方面提供一种装配装置，所述装配装置包括第一指令生成模块；
所述第一指令生成模块，用于基于获取的装配件和待装配件的第一图像或第一位姿，结合获取的装配相关的参数信息，经过预先经过训练的第一模型生成指向所述机械手的第一指令，通过所述指令控制机械手移动到所述待装配件附近，抓取所述待装配件，带动所述待装配件移动到所述装配件的装配位置附近和带动所述待装配件装配到所述装配位置；其中，所述第一位姿为基于所述第一图像获取的所述装配件和待装配件的位姿；或
所述装配装置包括第二指令生成模块和第三指令生成模块；
所述第二指令生成模块，用于基于获取的待装配件的第二图像或第二位姿，结合获取的装配相关的参数信息，生成第二指令，通过所述第二指令控制机械手移动到所述待装配件附近，抓取所述待装配件；其中，所述第二位姿为基于所述第二图像获取的所述待装配件的位姿；
所述第三指令生成模块，用于基于获取的装配件的装配位置第三图像或第三位姿，结合获取的装配相关的参数信息，生成第三指令，通过所述第三指令带动所述待装配件移动到所述装配件的装配位置附近，带动所述待装配件装配到所述装配位置；其中，所述第三位姿为基于所述第三图像获取的所述装配件的位姿；
所述第二指令生成模块为经过预先经过训练的第二模型；和/或所述第三指令生成模块为经过预先经过训练的第三模型；或
所述装配装置包括第四指令生成模块、第五指令生成模块、第六指令生成模块、第七指令生成模块；
所述第四指令生成模块，用于基于获取的待装配件的第二图像或第二位姿，生成第四指令，通过所述第四指令控制机械手移动到所述装配件附近；其中，所述第二位姿为基于所述第二图像获取的所述待装配件的位姿；
所述第五指令生成模块，用于基于获取的机械手移动到所述装配件附近后的待装配件的第四图像或第四位姿,结合获取的装配相关的参数信息，生成第五指令，通过所述第五指令控制机械手抓取所述装配件；其中，所述第四位姿为基于所述第四图像获取的所述机械手移动到所述装配件附近后的待装配件的位姿；
所述第六指令生成模块，用于基于获取的装配件上的装配位置的第三图像或第三位姿，生成第六指令，通过所述第六指令控制机械手带动所述装配件移动到待装配位置附近；其中，所述第三位姿为基于所述第三图像获取的所述装配件上的装配位置的位姿；
所述第七指令生成模块，用于基于获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置第五图像或第五位姿,结合获取的装配相关的参数信息，生成第七指令,通过所述第七指令控制所述机械手带动所述待装配件装配到所述装配位置；其中，所述第五位姿为基于所述第五图像获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置的位姿；
所述第五指令生成模块为预先经过训练的第四模型；和/或所述第六指令生成模块为预先经过训练的第六模型；和/或所述第六指令生成模块为预先经过训练的第六模型；和/或所述第六指令生成模块为预先经过训练的第六模型。
本发明第六方面提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上面任意一项所述的装配方法。
本发明第七方面提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上面任意一项所述的装配方法。
本发明第八方面提供一种装配设备，所述装配设备包括机械手、图像传感器和控制装置；
所述机械手，用于根据所述控制装置的控制，执行装配相关的动作；
所述图像传感器，用于获取并发送给控制装置装配相关的第一图像、第二图像、第三图像、第四图像和/或第五图像；
所述控制装置，用于基于获取的装配件和待装配件的所述第一图像或第一位姿，结合获取的装配相关的参数信息，经过预先经过训练的第一模型生成指向机械手的第一指令，通过所述指令控制所述机械手移动到所述待装配件附近，抓取所述待装配件，带动所述待装配件移动到所述装配件的装配位置附近和带动所述待装配件装配到所述装配位置；其中，所述第一位姿为基于所述第一图像获取的所述装配件和所述待装配件的位姿；或
基于获取的待装配件的所述第二图像或第二位姿，结合获取的装配相关的参数信息，生成第二指令，通过所述第二指令控制机械手移动到所述待装配件附近，抓取所述待装配件；其中，所述第二位姿为基于所述第二图像获取的所述待装配件的位姿；
基于获取的装配件的装配位置所述第三图像或第三位姿，结合获取的装配相关的参数信息，生成第三指令，通过所述第三指令带动所述待装配件移动到所述装配件的装配位置附近，带动所述待装配件装配到所述装配位置；其中，所述第三位姿为基于所述第三图像获取的所述装配件的装配位置的位姿；
所述第二指令经过预先经过训练的第二模型生成；和/或
所述第三指令经过预先经过训练的第三模型生成；
基于获取的待装配件的所述第二图像或第二位姿，生成第四指令，通过所述第四指令控制机械手移动到所述装配件附近；其中，所述第二位姿为基于所述第二图像获取的所述待装配件的位姿；或
基于获取的机械手移动到所述装配件附近后的待装配件的所述第四图像或第四位姿,结合获取的装配相关的参数信息，生成第五指令，通过所述第五指令控制机械手抓取所述装配件；其中，所述第四位姿为基于所述第四图像获取的所述机械手移动到所述装配件附近后的所述待装配件的位姿；
基于获取的装配件上的装配位置的所述第三图像或第三位姿，生成第六指令，通过所述第六指令控制机械手带动所述装配件移动到待装配位置附近；其中，所述第三位姿为基于所述第三图像获取的所述装配件上的装配位置的位姿；
基于获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置的所述第五图像或第五位姿,结合获取的装配相关的参数信息，生成第七指令,通过所述第七指令控制所述机械手带动所述待装配件装配到所述装配位置；其中，所述第五位姿为基于所述第五图像获取的机械手带动所述装配件移动到所述待装配位置附近后的所述装配件上的所述装配位置的位姿；
所述第五指令经过预先经过训练的第四模型生成；和/或
所述第六指令经过预先经过训练的第五模型生成；和/或
所述第七指令经过预先经过训练的第六模型生成；和/或
所述第八指令经过预先经过训练的第七模型生成。
进一步，所述参数信息包括：机械手的位姿信息、和/或力/力矩反馈信号。
进一步，所述装配设备还包括藕接所述控制装置的力传感器，所述力传感器用于获取力/力矩反馈信息，并发送给所述控制装置。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其它的附图。
图1为本发明实施例的装配设备的实施例的结构框图。
图2为本发明提供的装配方法的实施例的第一流程图。
图3为本发明提供的装配方法的实施例的第二流程图。
图4为本发明提供的装配方法的实施例的第三流程图。
图5为本发明提供的装配装置的实施例的第一结构框图。
图6为本发明提供的装配装置的实施例的第二结构框图。
图7为本发明提供的装配装置的实施例的第三结构框图。
图8为本发明提供的第一模型的实施例的结构示意图。
图9为发明提供的计算机设备的实施例的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其它实施例，都应当属于本发明保护的范围。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1为本发明实施例的装配设备的实施例的结构框图。
如图1所示，本发明实施例提供一种装配设备，所述装配设备10包括机械手11、图像传感器12和控制装置14。
所述机械手11，用于执行控制装置14发送的控制指令或信息，从而完成装配相关的动作，比如：抓取待装配件A、带动待装配件A装配到装配件B的装配位置A'上。机械手可以包括但不限于串联机械手或并联机械手；其中，串联机械手可以包括但不限于：四轴机械手、六轴机械手等等。机械手包括由多个串联或并联轴构成的操作臂111和设置在操作臂111末端用于执行具体工作的末端执行器112，末端执行器可以为人形手、夹爪(如图1所示)、吸盘或者工具等等。由于机械手是通过末端执行器去抓取待装配件，因此本实施例所述的机械手的位姿实际上指的是机械手的末端执行器的位姿。
在一些实施中，机械手上(比如：末端执行器上)还可以设置力传感器13，力传感器13藕接控制装置14，当抓取物体或者进行装配的动作时，物体会给末端执行器112上设置的力传感器13一定的作用力，通过力传感器13获取的力/力矩的反馈信号并发送给后端控制装置14。
图像传感器12，用于获取装配相关的图像，比如：后面实施例所述的第一图像、第二图像、第三图像、第四图像和/或第五图像；图像传感器12可以包括但不限于：照相机、摄像机、扫描仪或其他带有相关功能的设备(手机、电脑等)等等。该图像可以包括静态图像或者视频图像(连续的静态图像)数据，当为视频图像时，可以从视频图像中截取任意一帧或几帧静态图像。获取的图像可以是二维图像，也可以是三维图像。
控制装置14通过有线或者无线的方式分别藕接机械手11、图像传感器12和力传感器13。
无线方式可以包括但不限于：3G/4G、WIFI、蓝牙、WiMAX、Zigbee、UWB(ultrawideband),以及其它现在已知或将来开发的无线连接方式。
有关控制装置14的限定可以参见下面实施例中关于装配方法的限定。控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图2为本发明提供的装配方法的实施例的第一流程图。
如图2所示，本发明实施例提供一种装配方法，该装配方法包括如下方法步骤：
S11获取待装配件和装配件的装配位置的第一图像或第一位姿，其中，所述第一位姿为基于所述图像获取的所述装配件和待装配件的位姿；
根据第一图像可以基于传统的视觉方法，识别出第一图像中的第一位姿，也可以基于预先经过训练的模型，即机器学习的方法获取第一图像中的第一位姿。
控制装置获取图像传感器拍摄并发送的第一图像，该第一图像包括待装配件和装配件；或者进一步，在一些实施例中，还可对获取的图像进行各种处理，比如：目标识别提取，从而使得第一图像仅包括待装配件和装配件。
S12基于所述第一图像或第一位姿，结合获取的装配相关的参数信息，经过预先经过训练的第一模型生成第一指令，通过所述第一指令控制机械手执行包括但不限于如下动作步骤：移动到所述待装配件附近，抓取所述待装配件，带动所述待装配件移动到所述装配件的装配位置附近，带动所述待装配件装配到所述装配位置。
可以将第一图像直接输入预先经过训练的第一模型；也可以将第一图像进行处理提取出第一图像中的装配件和待装配件的第一位姿，将第一位姿输入预先经过训练的第一模型。
需要说明的是，当输入第一模型的包括第一图像，则第一模型的结构可以为卷积神经网络(Convolutional Neural Network,CNN)模型，以及现在开发或将来开发的基于图像进行机器学习的模型。
CNN是一种卷积层神经网络，常见的(Convolutional Neural Network,CNN)模型可以包括各种网络结构，比如：LeNet，AlexNet，ZFNet，VGG，GoogLeNet，Residual Net，DenseNet，R-CNN，SPP-NET，Fast-RCNN，Faster-RCNN，FCN，Mask-RCNN，YOLO，SSD,YOLO2，以及其它现在已知或将来开发的网络模型结构。
CNN属于神经网络(Neural Network NN)中的一种，当输入第一模型的不包括第一图像(比如是：第一位姿)，则第一模型的结构并不限于CNN，可以为NN中的任意需要的模型结构。
在一些实施例中，所述第一模型的结构也可以是CNN模型与其它模型的结合，比如:循环神经网络(Recurrent Neural Network RNN)。
需要说明的是，所述参数信息包括但不限于机械手的位姿信息、力/力矩反馈信号、和/或所述装配件和/或所述待装配件的物理信息。所述机械手的位姿，是指获取第一图像时对应的机械手的位姿。其可以是在此之前完成最后一次控制机械手的运动后获取的机械手的位姿，比如：需要控制机械手移动到某一位姿处，则对应知道最后一次运动控制后的机械手的位姿。
物理信息是指装配件和/装配件的物理结构信息，比如：根据装配件和/或待装配件的CAD结构图可以了解物理结构信息。
如图8所示，图8为本发明提供的第一模型的实施例的第一结构示意图。在一些实施例中，单纯的图像输入的问题可以直接使用CNN模型，当输入既有图像，又有其他参数信息时(具体表达为一组向量)，通常模型会有所修改，网络的第一部分L1与普通的CNN类似，依然是卷积层、池化层的叠加，第一部分L1的输出(一个多通道的图像)会被“拉伸”成一个向量，然后与其他参数信息向量链接在一起，再进入网络的第二部分L2(例如普通的全连接层网络)，最后到达输出,例如,表示机械手下一个指令的一个6维向量(x，y，z，u，v，w)。
图3为本发明提供的装配方法的实施例的第二流程图。
通常将一个复杂的动作采用一个模型实现的方法，训练起来比较困难，训练后的模型的准确度可能也不是很高，因此，可以将一个复杂的动作拆分成多个分动作实现。每个分动作可以基于传统的编程方法实现，也可以基于经过训练的模型实现。
如图3所示，本发明实施例还提供一种装配方法，该装配方法包括如下方法步骤：
S21获取待装配件的第二图像或第二位姿；基于所述第二图像或第二位姿，结合获取的装配相关的参数信息，生成第二指令，通过所述第二指令控制机械手移动到所述待装配件附近，抓取所述待装配件；其中，所述第二位姿为基于所述第二图像获取的待装配件的位姿；
S22获取装配件的装配位置的第三图像或第三位姿，基于所述第三图像或第三位姿，结合获取的装配相关的参数信息，生成第三指令，通过所述第三指令带动所述待装配件移动到所述装配件的装配位置附近，带动所述待装配件装配到所述装配位置；其中，所述第三位姿为基于所述第三图像获取的装配件的装配位置的位姿；
所述第二指令基于预先经过训练的第二模型获取；和/或
所述第三指令基于预先经过训练的第三模型获取。
第二模型或第三模型的结构可以参照上面的第一模型所述，即除了输入的图像，还需要结合某些参数信息，在此不再重复赘述。
上述步骤S21或步骤22中至少有一个(一个或者两个)方法步骤是基于预先经过训练的模型获取的指令，当其中一个步骤采用预先经过训练的模型，另外一个步骤可以基于传统的视觉识别下的编程方式实现指令的获取。比如：第二指令是基于预先经过训练的第二模型获取，而第三指令是基于传统的视觉识别下的编程方式实现指令的获取。
图4为本发明提供的装配方法的实施例的第三流程图。
根据上面实施例所述，所述装配动作可以进一步分成更多的分动作。同样每个分动作可以基于传统的编程方法实现，也可以基于经过训练的模型实现。
如图4所示，本发明实施例还提供一种装配方法，该装配方法包括如下方法步骤：
S31基于获取的待装配件的第二图像或第二位姿，生成第四指令，通过所述第四指令控制机械手移动到所述装配件附近；其中，所述第二位姿为基于所述待装配件的第二图像获取的位姿；
在一些实施例中，步骤S31可以再细分为2步，第一步是基于获取的第二图像识别出机械手目标位置，这一步既可以基于预先经过训练的模型(具体可以采用监督学习的训练方法)实现；也可以用传统视觉算法实现。第二步是基于第一步计算出来的目标位置，控制机械手移动到目标，这一步既可以基于预先经过训练的模型，也可以用普通的轨迹规划算法。
S32基于获取的机械手移动到所述装配件附近后的待装配件的第四图像或第四位姿,结合获取的装配相关的参数信息，生成第五指令，通过所述第五指令控制机械手抓取所述装配件；其中，所述第四位姿为基于所述第四图像获取的机械手移动到所述装配件附近后的待装配件的位姿；
S33基于获取的装配件上的装配位置的第三图像或第三位姿，生成第六指令，通过所述第六指令控制机械手带动所述装配件移动到待装配位置附近；其中，所述第三位姿为基于所述第三图像获取的所述装配件上的装配位置的位姿；
S34基于获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置的第五图像或第五位姿,结合获取的装配相关的参数信息，生成第七指令,通过所述第七指令控制所述机械手带动所述待装配件装配到所述装配位置；其中，所述第五位姿为基于所述第五图像获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置的位姿
所述第五指令经过预先经过训练的第四模型生成；和/或
所述第六指令经过预先经过训练的第五模型生成；和/或
所述第七指令经过预先经过训练的第六模型生成；和/或
所述第八指令经过预先经过训练的第七模型生成。
上述步骤S21或步骤22中至少有一个方法步骤是基于采用预先经过训练的模型获取的指令；如果其中某些步骤没有采用预先经过训练的模型获取指令，则可以基于传统的编程方式实现指令的获取。比如：第六指令是基于预先经过训练的第五模型获取，而第五指令是基于传统的视觉识别下的编程方式实现指令的获取的。
上述S31、S32、S33、S34个环节对人当采用经过预先经过训练的模型，即机器学习的方法时，其本质是一样的，区别在于某些环节如果需要很好地实现的话，可能需要结合其它的参数信息，比如：力/力矩传感器(即感知系统)的力/力矩参数信息、力矩控制和设计好的末端执行器(即执行系统)的位姿信息。例如S31与S33只是单纯的移动机械臂到目标位置，而S32与S34则涉及一些物体接触，因此S32、S34与S31、S33相比对感知系统和执行系统可能有更高的要求。
上述第二位姿、第三位姿、第四位姿和第五位姿的相关获取方法参见第一位姿的获取方法，在此不再重复赘述。
需要说明的是，上述第二模型、第三模型、第四模型、第五模型、第六模型或第七模型的模型结构可以参见第一模型中的相关描述，在此不再重复赘述。
在一些实施例中，上述预先经过训练的第一模型、第二模型、第三模型、第四模型、第五模型、第六模型和/或第七模型的训练方法可以包括但不限于监督学习、强化学习和模仿学习。
通常，对于单纯的图像中的目标识别基于监督学习的方法更方便，而对于一个动作策略的学习，则采用强化学习或模仿学习的方法更好。
其中，强化学习(Reinforcement Learning)，(可以在仿真环境中/真实环境中)初始化一个策略(给定当前图像以及机械手的姿态，输出一个动作指令，具体形式为CNN，因为我们有图像作为输入；注意，与分步方法的第二步不一样的地方是强化学习时预想目标位置并不作为策略的输入)，让机械手按照该策略进行运动，每进行一条轨迹(或者每一个动作)的采集的同时会给予这条轨迹(动作)一个分数。(例如该轨迹是否运动到预想的目标位置，该轨迹的终点与预想的目标位置的空间距离等)。当数据采集到一定阶段，则根据这些轨迹及对应的分数对策略进行优化。反复进行上述的采样以及优化过程，直到最终策略能走出分数高的轨迹。
其中，模仿学习(Imitation learning)，(在仿真环境中/真实环境中)提供一些专家轨迹，初始化一个机械手策略(输入输出同强化学习，具体形式仍然为CNN)，进行轨迹采样，注意模仿学习中不需要为轨迹提供分数(实际上这也是模仿学习与强化学习相比的优势所在，因为轨迹奖励分数的设计是非常讲究技巧的，设计不好的话强化学习绝大多数情况下都不会学习出好的策略)。通过模仿学习的算法去优化策略，重复上述采样与优化过程，使得最终机械手策略所走出来的轨迹与专家轨迹相似。
为了判断机械手策略所走出的轨迹是否与专家轨迹相似，可以引入分类器，通过分类器对模型学习出的轨迹和专家轨迹进行分类，结合分类器的loss function优化上述各个模型。
其中，监督学习(Supervised Learning)是使用已知正确答案的示例来训练网络。
进一步，在另一些实施例中，对于CNN模型，为了节省训练时间，我们也可以用别人训练好的模型的参数来初始化自己的模型，然后在这个基础上进行微调(finetune)。
图5为本发明提供的装配装置的实施例的第一结构框图。图6为本发明提供的装配装置的实施例的第二结构框图。图7为本发明提供的装配装置的实施例的第三结构框图。
对应上面方法的实施例，本发明实施例还提供一种装配装置，下文描述的装配装置和上文描述的装配方法可相互对应参照。
如图5所示，在一些实施例中，所述装配装置200包括第一指令生成模块210。
第一指令生成模块210，用于基于获取装配件和待装配件的第一图像或第一位姿，结合获取的装配相关的参数信息，经过预先经过训练的第一模型生成第一指令，通过所述第一指令控制机械手移动到所述待装配件附近，抓取所述待装配件，带动所述待装配件移动到所述装配件的装配位置附近，带动所述待装配件装配到所述装配位置；其中，所述第一位姿为基于所述第一图像获取的装配件和待装配件的位姿。
如图6所示，在另一些实施例中，所述装配装置300包括如下程序模块：第二指令生成模块310、第三指令生成模块320。
第二指令生成模块310，用于基于获取的待装配件的第二图像或第二位姿，结合获取的装配相关的参数信息，生成第二指令，通过所述第二指令控制机械手移动到所述待装配件附近，抓取所述待装配件；其中，所述第二位姿为基于所述第二图像获取的待装配件的位姿；
第三指令生成模块320，用于基于获取装配件的装配位置的第三图像或第三位姿，结合获取的装配相关的参数信息，生成第三指令，通过所述第三指令带动所述待装配件移动到所述装配件的装配位置附近，带动所述待装配件装配到所述装配位置；其中，所述第三位姿为基于所述第三图像获取的装配件的装配位置的位姿；
第二指令生成模块310为基于预先经过训练的第二模型获取；和/或
第三指令生成模块320为基于预先经过训练的第三模型获取。
如图7所示，在另一些实施例中，所述装配装置400包括如下程序模块：第四指令生成模块410、第五指令生成模块420、第六指令生成模块430、第七指令生成模块440。
第四指令生成模块410，用于基于获取的待装配件的第二图像或第二位姿，生成第四指令，通过所述第四指令控制机械手移动到所述装配件附近；其中，所述第二位姿为基于所述第二图像获取的待装配件的位姿；
第五指令生成模块420，用于基于机械手移动到所述装配件附近后的待装配件的第四图像或第四位姿,结合获取的装配相关的参数信息，生成第五指令，通过所述第五指令控制机械手抓取所述装配件；其中，所述第四位姿为基于所述第四图像获取的机械手移动到所述装配件附近后的待装配件的位姿；
第六指令生成模块430，用于基于获取的装配件上的装配位置的第三图像或第三位姿，生成第六指令，通过所述第六指令控制机械手带动所述装配件移动到待装配位置附近；其中，第三位姿为基于所述第三图像获取的装配件上的装配位置的位姿；
第七指令生成模块440，用于基于获取机械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置的第五图像或第五位姿,结合获取的装配相关的参数信息，生成第七指令,通过所述第七指令控制所述机械手带动所述待装配件装配到所述装配位置；其中，第五位姿位姿为基于所述第五图像获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置的位姿；
其中，第四指令生成模块450，用于基于预先经过训练的第四模型生成第四指令；和/或
第五指令生成模块460，用于基于预先经过训练的第五模型生成第五指令；和/或
第六指令生成模块470，用于基于预先经过训练的第六模型生成第六指令；和/或
第七指令生成模块480,用于基于预先经过训练的第七模型模型生成第七指令。
在一些实施例中，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上面实施例所述的装配方法的相关方法步骤。
图9是本发明一实施例提供的计算机设备的结构示意图。
如图9所示，该实施例的计算机设备3包括：处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32。所述处理器30执行所述计算机程序32时实现上述各个装配方法的步骤.
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器(图未示意出)中，并由所述处理器740执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序装配的过程。例如，所述计算机程序可以被分割成第一指令生成模块，用于基于获取装配件和待装配件的第一图像或第一位姿，结合获取的装配相关的参数信息，经过预先经过训练的第一模型生成第一指令，通过所述第一指令控制机械手移动到所述待装配件附近，抓取所述待装配件，带动所述待装配件移动到所述装配件的装配位置附近，带动所述待装配件装配到所述装配位置；其中，所述第一位姿为基于所述第一图像获取的所述待装配件和装配件的位姿。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是所述计算机设备内置的存储设备，例如硬盘或内存。所述存储器也可以是所述插机设备的外部存储设备，例如所述插机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述计算机设备3的内部存储单元，也包括外部存储设备。所述存储器用于存储所述计算机程序以及所述插机设备所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本文术语中“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如：A和/或B,可以表示单独存在A,同时存在A和B,单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (18)

1.一种装配方法，其特征在于，所述装配方法包括：
基于获取的装配件和待装配件的第一图像或第一位姿，结合获取的装配相关的参数信息，经过预先经过训练的第一模型生成指向机械手的第一指令，通过所述指令控制所述机械手移动到所述待装配件附近，抓取所述待装配件，带动所述待装配件移动到所述装配件的装配位置附近和带动所述待装配件装配到所述装配位置；其中，所述第一位姿为基于所述第一图像获取的所述装配件和所述待装配件的位姿。
2.根据权利要求1所述的装配方法，其特征在于，所述参数信息包括：机械手的位姿信息、力/力矩反馈信号、和/或所述装配件和/或所述待装配件的物理信息。
3.根据权利要求1或2所述的装配方法，其特征在于，所述第一模型为NN模型、CNN模型或CNN模型与其它模型的结合。
4.根据权利要求1或2所述的装配方法，其特征在于，所述预先经过训练的第一模型通过包括如下训练方法步骤获取：
监督学习、强化学习或模仿学习。
5.一种装配方法，其特征在于，所述装配方法包括：
基于获取的待装配件的第二图像或第二位姿，结合获取的装配相关的参数信息，生成第二指令，通过所述第二指令控制机械手移动到所述待装配件附近，抓取所述待装配件；其中，所述第二位姿为基于所述第二图像获取的所述待装配件的位姿；
基于获取的装配件的装配位置第三图像或第三位姿，结合获取的装配相关的参数信息，生成第三指令，通过所述第三指令带动所述待装配件移动到所述装配件的装配位置附近，带动所述待装配件装配到所述装配位置；其中，所述第三位姿为基于所述第三图像获取的所述装配件的装配位置的位姿；
所述第二指令经过预先经过训练的第二模型生成；和/或
所述第三指令经过预先经过训练的第三模型生成。
6.根据权利要求5所述的装配方法，其特征在于，所述参数信息包括：机械手的位姿信息、力/力矩反馈信号、和/或所述装配件和/或所述待装配件的物理信息。
7.根据权利要求5或6所述的装配方法，其特征在于，所述第二模型和/或所述第三模型为NN模型、CNN模型、CNN模型与其它模型的结合或NN模型与其它模型的结合。
8.根据权利要求5或6所述的装配方法，其特征在于，所述预先经过训练的第二模型和/或所述预先经过训练的第三模型通过包括如下训练方法步骤获取：
监督学习、强化学习或模仿学习。
9.一种装配方法，其特征在于，所述装配方法包括:
基于获取的待装配件的第二图像或第二位姿，生成第四指令，通过所述第四指令控制机械手移动到所述装配件附近；其中，所述第二位姿为基于所述第二图像获取的所述待装配件的位姿；
基于获取的机械手移动到所述装配件附近后的待装配件的第四图像或第四位姿,结合获取的装配相关的参数信息，生成第五指令，通过所述第五指令控制机械手抓取所述装配件；其中，所述第四位姿为基于所述第四图像获取的所述机械手移动到所述装配件附近后的所述待装配件的位姿；
基于获取的装配件上的装配位置的第三图像或第三位姿，生成第六指令，通过所述第六指令控制机械手带动所述装配件移动到待装配位置附近；其中，所述第三位姿为基于所述第三图像获取的所述装配件上的装配位置的位姿；
基于获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置第五图像或第五位姿,结合获取的装配相关的参数信息，生成第七指令,通过所述第七指令控制所述机械手带动所述待装配件装配到所述装配位置；其中，所述第五位姿为基于所述第五图像获取的机械手带动所述装配件移动到所述待装配位置附近后的所述装配件上的所述装配位置的位姿；
所述第五指令经过预先经过训练的第四模型生成；和/或
所述第六指令经过预先经过训练的第五模型生成；和/或
所述第七指令经过预先经过训练的第六模型生成；和/或
所述第八指令经过预先经过训练的第七模型生成。
10.根据权利要求9所述的装配方法，其特征在于，所述参数信息包括：机械手的位姿信息、力/力矩反馈信号、和/或所述装配件和/或所述待装配件的物理信息。
11.根据权利要求9或10所述的装配方法，其特征在于，所述预先经过训练的第四模型、预先经过训练的第五模型、预先经过训练的第六模型和/或预先经过训练的第七模型为NN模型、CNN模型、CNN模型与其它模型的结合或NN模型与其它模型的结合。
12.根据权利要求9或10所述的装配方法，其特征在于，所述预先经过训练的第四模型、预先经过训练的第五模型、预先经过训练的第六模型和/或预先经过训练的第七模型通过包括如下训练方法步骤获取：
监督学习、强化学习或模仿学习。
13.一种装配装置，其特征在于，所述装配装置包括第一指令生成模块；
所述第一指令生成模块，用于基于获取的装配件和待装配件的第一图像或第一位姿，结合获取的装配相关的参数信息，经过预先经过训练的第一模型生成指向所述机械手的第一指令，通过所述指令控制机械手移动到所述待装配件附近，抓取所述待装配件，带动所述待装配件移动到所述装配件的装配位置附近和带动所述待装配件装配到所述装配位置；其中，所述第一位姿为基于所述第一图像获取的所述装配件和待装配件的位姿；或
所述装配装置包括第二指令生成模块和第三指令生成模块；
所述第二指令生成模块，用于基于获取的待装配件的第二图像或第二位姿，结合获取的装配相关的参数信息，生成第二指令，通过所述第二指令控制机械手移动到所述待装配件附近，抓取所述待装配件；其中，所述第二位姿为基于所述第二图像获取的所述待装配件的位姿；
所述第三指令生成模块，用于基于获取的装配件的装配位置第三图像或第三位姿，结合获取的装配相关的参数信息，生成第三指令，通过所述第三指令带动所述待装配件移动到所述装配件的装配位置附近，带动所述待装配件装配到所述装配位置；其中，所述第三位姿为基于所述第三图像获取的所述装配件的位姿；
所述第二指令生成模块为经过预先经过训练的第二模型；和/或所述第三指令生成模块为经过预先经过训练的第三模型；或
所述装配装置包括第四指令生成模块、第五指令生成模块、第六指令生成模块、第七指令生成模块；
所述第四指令生成模块，用于基于获取的待装配件的第二图像或第二位姿，生成第四指令，通过所述第四指令控制机械手移动到所述装配件附近；其中，所述第二位姿为基于所述第二图像获取的所述待装配件的位姿；
所述第五指令生成模块，用于基于获取的机械手移动到所述装配件附近后的待装配件的第四图像或第四位姿,结合获取的装配相关的参数信息，生成第五指令，通过所述第五指令控制机械手抓取所述装配件；其中，所述第四位姿为基于所述第四图像获取的所述机械手移动到所述装配件附近后的待装配件的位姿；
所述第六指令生成模块，用于基于获取的装配件上的装配位置的第三图像或第三位姿，生成第六指令，通过所述第六指令控制机械手带动所述装配件移动到待装配位置附近；其中，所述第三位姿为基于所述第三图像获取的所述装配件上的装配位置的位姿；
所述第七指令生成模块，用于基于获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置第五图像或第五位姿,结合获取的装配相关的参数信息，生成第七指令,通过所述第七指令控制所述机械手带动所述待装配件装配到所述装配位置；其中，所述第五位姿为基于所述第五图像获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置的位姿；
所述第五指令生成模块为预先经过训练的第四模型；和/或所述第六指令生成模块为预先经过训练的第六模型；和/或所述第六指令生成模块为预先经过训练的第六模型；和/或所述第六指令生成模块为预先经过训练的第六模型。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-12任意一项所述的装配方法。
15.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-12任意一项所述的装配方法。
16.一种装配设备，其特征在于，所述装配设备包括机械手、图像传感器和控制装置；
所述机械手，用于根据所述控制装置的控制，执行装配相关的动作；
所述图像传感器，用于获取并发送给控制装置装配相关的第一图像、第二图像、第三图像、第四图像和/或第五图像；
所述控制装置，用于基于获取的装配件和待装配件的所述第一图像或第一位姿，结合获取的装配相关的参数信息，经过预先经过训练的第一模型生成指向机械手的第一指令，通过所述指令控制所述机械手移动到所述待装配件附近，抓取所述待装配件，带动所述待装配件移动到所述装配件的装配位置附近和带动所述待装配件装配到所述装配位置；其中，所述第一位姿为基于所述第一图像获取的所述装配件和所述待装配件的位姿；或
基于获取的待装配件的所述第二图像或第二位姿，结合获取的装配相关的参数信息，生成第二指令，通过所述第二指令控制机械手移动到所述待装配件附近，抓取所述待装配件；其中，所述第二位姿为基于所述第二图像获取的所述待装配件的位姿；
基于获取的装配件的装配位置所述第三图像或第三位姿，结合获取的装配相关的参数信息，生成第三指令，通过所述第三指令带动所述待装配件移动到所述装配件的装配位置附近，带动所述待装配件装配到所述装配位置；其中，所述第三位姿为基于所述第三图像获取的所述装配件的装配位置的位姿；
所述第二指令经过预先经过训练的第二模型生成；和/或
所述第三指令经过预先经过训练的第三模型生成；
基于获取的待装配件的所述第二图像或第二位姿，生成第四指令，通过所述第四指令控制机械手移动到所述装配件附近；其中，所述第二位姿为基于所述第二图像获取的所述待装配件的位姿；或
基于获取的机械手移动到所述装配件附近后的待装配件的所述第四图像或第四位姿,结合获取的装配相关的参数信息，生成第五指令，通过所述第五指令控制机械手抓取所述装配件；其中，所述第四位姿为基于所述第四图像获取的所述机械手移动到所述装配件附近后的所述待装配件的位姿；
基于获取的装配件上的装配位置的所述第三图像或第三位姿，生成第六指令，通过所述第六指令控制机械手带动所述装配件移动到待装配位置附近；其中，所述第三位姿为基于所述第三图像获取的所述装配件上的装配位置的位姿；
基于获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置的所述第五图像或第五位姿,结合获取的装配相关的参数信息，生成第七指令,通过所述第七指令控制所述机械手带动所述待装配件装配到所述装配位置；其中，所述第五位姿为基于所述第五图像获取的机械手带动所述装配件移动到所述待装配位置附近后的所述装配件上的所述装配位置的位姿；
所述第五指令经过预先经过训练的第四模型生成；和/或
所述第六指令经过预先经过训练的第五模型生成；和/或
所述第七指令经过预先经过训练的第六模型生成；和/或
所述第八指令经过预先经过训练的第七模型生成。
17.根据权利要求16所述的装配设备，其特征在于，所述参数信息包括：机械手的位姿信息、力/力矩反馈信号、和/或所述装配件和/或所述待装配件的物理信息。
18.根据权利要求17所述的装配设备，其特征在于，所述装配设备还包括藕接所述控制装置的力传感器，所述力传感器用于获取所述力/力矩反馈信号，并发送给所述控制装置。
CN201811079680.5A 2018-09-17 2018-09-17 一种装配方法、装配装置及装配设备 Active CN109397285B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811079680.5A CN109397285B (zh) 2018-09-17 2018-09-17 一种装配方法、装配装置及装配设备
PCT/CN2019/105700 WO2020057440A1 (zh) 2018-09-17 2019-09-12 一种装配方法、装配装置及装配设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811079680.5A CN109397285B (zh) 2018-09-17 2018-09-17 一种装配方法、装配装置及装配设备

Publications (2)

Publication Number Publication Date
CN109397285A true CN109397285A (zh) 2019-03-01
CN109397285B CN109397285B (zh) 2021-09-07

Family

ID=65464783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811079680.5A Active CN109397285B (zh) 2018-09-17 2018-09-17 一种装配方法、装配装置及装配设备

Country Status (2)

Country Link
CN (1) CN109397285B (zh)
WO (1) WO2020057440A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110026987A (zh) * 2019-05-28 2019-07-19 广东工业大学 一种机械臂抓取轨迹的生成方法、装置、设备及存储介质
CN110712202A (zh) * 2019-09-24 2020-01-21 鲁班嫡系机器人（深圳）有限公司 异形元器件抓取方法、装置、系统、控制装置及存储介质
CN110756462A (zh) * 2019-09-24 2020-02-07 鲁班嫡系机器人（深圳）有限公司 电源适配器测试方法、装置、系统、控制装置及存储介质
WO2020057440A1 (zh) * 2018-09-17 2020-03-26 鲁班嫡系机器人（深圳）有限公司 一种装配方法、装配装置及装配设备
CN110989525A (zh) * 2019-12-09 2020-04-10 北京航空航天大学 一种基于fpga的产品智能装配生产线监控系统及方法
CN111331607A (zh) * 2020-04-03 2020-06-26 山东大学 一种基于机械臂的自主抓取与码垛方法及系统
CN113043275A (zh) * 2021-03-29 2021-06-29 南京工业职业技术大学 基于专家演示和强化学习的微零件装配方法
WO2022007588A1 (zh) * 2020-07-08 2022-01-13 华为技术有限公司 装配设备的系统、方法和装置
CN114029723A (zh) * 2021-11-05 2022-02-11 江苏昱博自动化设备有限公司 一种基于多源传感的装配机械手用高精度装配方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608847A (en) * 1981-05-11 1997-03-04 Sensor Adaptive Machines, Inc. Vision target based assembly
JPH11123683A (ja) * 1997-10-22 1999-05-11 Fanuc Ltd 引き抜き分解機能を有する力制御ロボット
CN101293352A (zh) * 2007-04-24 2008-10-29 发那科株式会社 配合装置
EP2189753A2 (en) * 2008-11-24 2010-05-26 Politechnika Slaska Assembly stand for mineral cutting head
CN101913076A (zh) * 2010-06-23 2010-12-15 中国科学院自动化研究所 基于工业机器人的活塞、活塞销和连杆装配方法及装置
WO2011068227A1 (en) * 2009-12-02 2011-06-09 Canon Kabushiki Kaisha Dual arm robot
CN102107352A (zh) * 2010-12-08 2011-06-29 中国科学院自动化研究所 涡旋式空调压缩机的轴承-曲柄轴智能压装方法及系统
CN105499953A (zh) * 2016-01-12 2016-04-20 中国科学院自动化研究所 基于工业机器人的汽车发动机活塞、缸体装配系统及方法
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
CN106584463A (zh) * 2016-12-29 2017-04-26 南京天祥智能设备科技有限公司 基于惯性测量的装配系统及装配方法
CN106625673A (zh) * 2016-12-29 2017-05-10 南京天祥智能设备科技有限公司 狭小空间装配系统及装配方法
CN106926241A (zh) * 2017-03-20 2017-07-07 深圳市智能机器人研究院 一种基于视觉引导的双臂机器人装配方法及系统
CN206899244U (zh) * 2017-04-25 2018-01-19 无锡黎曼机器人科技有限公司 视觉导引汽车后隔板装配机器人
CN107921620A (zh) * 2015-08-25 2018-04-17 川崎重工业株式会社 远程操作机器人系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003039253A (ja) * 2001-07-24 2003-02-12 Fuji Photo Film Co Ltd 組付部品の位置調整方法
CN104057290B (zh) * 2014-06-24 2016-09-14 中国科学院自动化研究所 一种基于视觉和力反馈控制的机器人装配方法与系统
CN106228563B (zh) * 2016-07-29 2019-02-26 杭州鹰睿科技有限公司 基于三维视觉的自动装配系统
CN207155172U (zh) * 2017-07-27 2018-03-30 陕西科技大学 一种基于视觉的装配系统
CN107748890A (zh) * 2017-09-11 2018-03-02 汕头大学 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN108098776B (zh) * 2017-12-29 2020-08-25 深圳市越疆科技有限公司 一种自动抓取方法、装置、机械手及存储介质
CN109397285B (zh) * 2018-09-17 2021-09-07 鲁班嫡系机器人（深圳）有限公司 一种装配方法、装配装置及装配设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608847A (en) * 1981-05-11 1997-03-04 Sensor Adaptive Machines, Inc. Vision target based assembly
JPH11123683A (ja) * 1997-10-22 1999-05-11 Fanuc Ltd 引き抜き分解機能を有する力制御ロボット
CN101293352A (zh) * 2007-04-24 2008-10-29 发那科株式会社 配合装置
EP2189753A2 (en) * 2008-11-24 2010-05-26 Politechnika Slaska Assembly stand for mineral cutting head
WO2011068227A1 (en) * 2009-12-02 2011-06-09 Canon Kabushiki Kaisha Dual arm robot
CN101913076A (zh) * 2010-06-23 2010-12-15 中国科学院自动化研究所 基于工业机器人的活塞、活塞销和连杆装配方法及装置
CN102107352A (zh) * 2010-12-08 2011-06-29 中国科学院自动化研究所 涡旋式空调压缩机的轴承-曲柄轴智能压装方法及系统
CN107921620A (zh) * 2015-08-25 2018-04-17 川崎重工业株式会社 远程操作机器人系统
CN105499953A (zh) * 2016-01-12 2016-04-20 中国科学院自动化研究所 基于工业机器人的汽车发动机活塞、缸体装配系统及方法
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
CN106584463A (zh) * 2016-12-29 2017-04-26 南京天祥智能设备科技有限公司 基于惯性测量的装配系统及装配方法
CN106625673A (zh) * 2016-12-29 2017-05-10 南京天祥智能设备科技有限公司 狭小空间装配系统及装配方法
CN106926241A (zh) * 2017-03-20 2017-07-07 深圳市智能机器人研究院 一种基于视觉引导的双臂机器人装配方法及系统
CN206899244U (zh) * 2017-04-25 2018-01-19 无锡黎曼机器人科技有限公司 视觉导引汽车后隔板装配机器人

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020057440A1 (zh) * 2018-09-17 2020-03-26 鲁班嫡系机器人（深圳）有限公司 一种装配方法、装配装置及装配设备
CN110026987A (zh) * 2019-05-28 2019-07-19 广东工业大学 一种机械臂抓取轨迹的生成方法、装置、设备及存储介质
CN110026987B (zh) * 2019-05-28 2022-04-19 广东工业大学 一种机械臂抓取轨迹的生成方法、装置、设备及存储介质
CN110756462B (zh) * 2019-09-24 2022-04-08 鲁班嫡系机器人（深圳）有限公司 电源适配器测试方法、装置、系统、控制装置及存储介质
CN110712202A (zh) * 2019-09-24 2020-01-21 鲁班嫡系机器人（深圳）有限公司 异形元器件抓取方法、装置、系统、控制装置及存储介质
CN110756462A (zh) * 2019-09-24 2020-02-07 鲁班嫡系机器人（深圳）有限公司 电源适配器测试方法、装置、系统、控制装置及存储介质
CN110989525A (zh) * 2019-12-09 2020-04-10 北京航空航天大学 一种基于fpga的产品智能装配生产线监控系统及方法
CN110989525B (zh) * 2019-12-09 2023-06-30 北京航空航天大学 一种基于fpga的产品智能装配生产线监控系统及方法
CN111331607B (zh) * 2020-04-03 2021-04-23 山东大学 一种基于机械臂的自主抓取与码垛方法及系统
CN111331607A (zh) * 2020-04-03 2020-06-26 山东大学 一种基于机械臂的自主抓取与码垛方法及系统
WO2022007588A1 (zh) * 2020-07-08 2022-01-13 华为技术有限公司 装配设备的系统、方法和装置
US11890707B2 (en) * 2020-07-08 2024-02-06 Huawei Technologies Co., Ltd. Device assembling system, method, and apparatus
CN113043275A (zh) * 2021-03-29 2021-06-29 南京工业职业技术大学 基于专家演示和强化学习的微零件装配方法
CN113043275B (zh) * 2021-03-29 2022-05-24 南京工业职业技术大学 基于专家演示和强化学习的微零件装配方法
CN114029723A (zh) * 2021-11-05 2022-02-11 江苏昱博自动化设备有限公司 一种基于多源传感的装配机械手用高精度装配方法

Also Published As

Publication number Publication date
CN109397285B (zh) 2021-09-07
WO2020057440A1 (zh) 2020-03-26

Similar Documents

Publication Publication Date Title
CN109397285A (zh) 一种装配方法、装配装置及装配设备
Liu et al. A digital twin-based sim-to-real transfer for deep reinforcement learning-enabled industrial robot grasping
Breyer et al. Comparing task simplifications to learn closed-loop object picking using deep reinforcement learning
WO2011065035A1 (ja) ロボットの教示データを作成する方法およびロボット教示システム
CN109483534A (zh) 一种物体抓取方法、装置和系统
CN109444146A (zh) 一种工业加工产品的缺陷检测方法、装置及设备
CN108983979A (zh) 一种手势跟踪识别方法、装置和智能设备
Ottenhaus et al. Visuo-haptic grasping of unknown objects based on gaussian process implicit surfaces and deep learning
Valarezo Anazco et al. Natural object manipulation using anthropomorphic robotic hand through deep reinforcement learning and deep grasping probability network
CN109910018A (zh) 具有视觉语义感知的机器人虚实交互操作执行系统及方法
Raessa et al. Teaching a robot to use electric tools with regrasp planning
Park et al. Transfer of skills between human operators through haptic training with robot coordination
Teng et al. Multidimensional deformable object manipulation based on DN-transporter networks
Chen et al. Towards generalization and data efficient learning of deep robotic grasping
Jiang et al. Mastering the complex assembly task with a dual-arm robot based on deep reinforcement learning: A novel reinforcement learning method
Xu et al. Dexterous manipulation from images: Autonomous real-world rl via substep guidance
Brock et al. A framework for learning and control in intelligent humanoid robots
CN111360819B (zh) 机器人的控制方法及装置、计算机设备、存储介质
WO2021100267A1 (ja) 情報処理装置、および、情報処理方法
Zanella et al. Robot learning-based pipeline for autonomous reshaping of a deformable linear object in cluttered backgrounds
Tian et al. Fruit Picking Robot Arm Training Solution Based on Reinforcement Learning in Digital Twin
Kopp et al. Imitation learning and response facilitation in embodied agents
CN115730475B (zh) 一种云边端协同的柔性产线机器人学习系统及方法
Steil et al. Learning issues in a multi-modal robot-instruction scenario
加瀬敬唯 Predictive Learning Framework for Subtask Modularization and Generation by Robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant