CN111504328A - 机器人运动规划方法、路径规划方法、抓取方法及其装置 - Google Patents

机器人运动规划方法、路径规划方法、抓取方法及其装置 Download PDF

Info

Publication number
CN111504328A
CN111504328A CN202010440673.4A CN202010440673A CN111504328A CN 111504328 A CN111504328 A CN 111504328A CN 202010440673 A CN202010440673 A CN 202010440673A CN 111504328 A CN111504328 A CN 111504328A
Authority
CN
China
Prior art keywords
robot
collision
degree
model
grabbing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010440673.4A
Other languages
English (en)
Other versions
CN111504328B (zh
Inventor
李玺
朱溪女
丁有爽
邵天兰
段文杰
刘冰
王正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mech Mind Robotics Technologies Co Ltd
Original Assignee
Mech Mind Robotics Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202110866359.7A priority Critical patent/CN114061580B/zh
Application filed by Mech Mind Robotics Technologies Co Ltd filed Critical Mech Mind Robotics Technologies Co Ltd
Priority to CN202010440673.4A priority patent/CN111504328B/zh
Publication of CN111504328A publication Critical patent/CN111504328A/zh
Priority to EP20936812.5A priority patent/EP4155675A1/en
Priority to JP2022506756A priority patent/JP7410270B2/ja
Priority to KR1020227003435A priority patent/KR20220025887A/ko
Priority to PCT/CN2020/122219 priority patent/WO2021232669A1/zh
Priority to US17/574,798 priority patent/US20220134559A1/en
Application granted granted Critical
Publication of CN111504328B publication Critical patent/CN111504328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/06Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/06Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • B25J15/0683Details of suction cup structure, e.g. grooves or ridges
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39536Planning of hand motion, grasping
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40442Voxel map, 3-D grid map

Abstract

本申请公开了一种机器人运动规划方法、路径规划方法、抓取方法及其装置,其中,该方法包括:在机器人对待操作物体的进行操作时,结合物体所在现实场景的空间模型,对物体与该空间模型内的碰撞对象进行碰撞检测,并根据物体的碰撞敏感度、碰撞对象的碰撞敏感度确定相应碰撞检测的结果所对应的机器人操作物体所形成的机器人的运动规划方案,从而使得机器人对对应物体进行操作时,可基于该运动规划方案进行运动,避免了机器人操作该物体的过程中,机器人运动过程中出现卡顿现象,流畅化机器人运动,提高了机器人工业操作的智能程度。

Description

机器人运动规划方法、路径规划方法、抓取方法及其装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种机器人运动规划方法、路径规划方法、抓取方法及其装置。
背景技术
随着工业智能化的发展,通过机器人代替人工对物体(例如工业零件、工业箱体)进行操作(例如抓取、移动、放置等)的情况越来越普及。在机器人操作时,一般需要将物体从一种状态变换为另一种状态,此过程应避免机器人所抓取的物体与其他物体发生碰撞,且使机器人运动高效流畅,避免危险的发生。
相关技术中,通过在实体机器人手臂上安装传感器的方式进行实时碰撞检测。然而,这种方式容易导致机器人运动出现卡顿现象,影响实现工业自动化。
发明内容
本申请的目的旨在至少在一定程度上解决上述的技术问题之一。
为此,本申请的第一个目的在于提出一种机器人运动规划方法。
本申请的第二个目的在于提出一种基于碰撞程度检测的机器人路径规划方法。
本申请的第三个目的在于提出一种基于碰撞程度检测的机器人抓取方法。
本申请的第四个目的在于提出一种机器人运动规划装置。
本申请的第五个目的在于提出一种基于碰撞程度检测的机器人路径规划装置。
本申请的第六个目的在于提出一种基于碰撞程度检测的机器人抓取装置。
本申请的第七个目的在于提出一种电子设备。
本申请的第八个目的在于提出一种计算机可读存储介质。
为达上述目的,本申请第一方面实施例提出了一种机器人运动规划方法,对物体进行碰撞程度检测,所述方法包括:加载所述物体所在现实场景的空间模型;对所述物体与所述空间模型内的碰撞对象进行碰撞检测;根据所述物体的碰撞敏感度、碰撞对象的碰撞敏感度确定相应碰撞检测的结果所对应的机器人操作所述物体所形成的所述机器人的运动规划方案。
在本申请的一个实施例中,所述对所述物体与所述空间模型内的碰撞对象进行碰撞检测,包括:确定所述物体的碰撞模型与碰撞对象的对象模型的重叠程度;根据重叠程度以及所述空间模型内的各模型分辨率确定相应碰撞对象的碰撞程度。
在本申请的一个实施例中,所述碰撞模型包括在所述空间模型中以第一分辨率将所述物体所占据的空间分割而成的小正方体集合,对象模型包括在所述空间模型中以第二分辨率将相应碰撞对象所占据的空间分割而成的小正方体集合。
在本申请的一个实施例中,所述根据重叠程度以及所述空间模型内的各模型分辨率确定碰撞对象的碰撞程度,包括:确定所述碰撞模型与对象模型间的重叠正方体集合;根据相应重叠正方体集合中各小正方体距相应模型表面的距离确定各小正方体的深度权重,进而结合重叠程度确定所述碰撞模型与对象模型的碰撞程度,其中,重叠程度为相应重叠正方体集合内的小正方体数量。
在本申请的一个实施例中,碰撞对象包括运动规划方案中所述机器人对所述物体完成抓取操作后至放置操作前的各移动路径上与所述物体所占据空间重叠的多个对象;和/或碰撞对象包括对所述物体抓取操作过程中所述机器人的操作末端的夹具;和/或碰撞对象包括所述机器人进行放置操作过程中放置所述物体的接触物。
本申请实施例的机器人运动规划方法,在机器人对待操作物体的进行操作时,结合物体所在现实场景的空间模型,对物体与该空间模型内的碰撞对象进行碰撞检测,并根据物体的碰撞敏感度、碰撞对象的碰撞敏感度确定相应碰撞检测的结果所对应的机器人操作物体所形成的机器人的运动规划方案,从而使得机器人对对应物体进行操作时,可基于该运动规划方案进行运动,避免了机器人操作该物体的过程中,机器人运动过程中出现卡顿现象,流畅化机器人运动提高了机器人工业操作的智能程度。
为达上述目的,本申请第二方面实施例提出了一种基于碰撞程度检测的机器人路径规划方法,所述方法包括:当所述机器人完成对物体的抓取操作时,基于碰撞程度检测对所述机器人进行移动路径规划,并将移动路径规划结果所对应的移动路径离散化,同时发送离散化后的各离散轨迹点使所述机器人移动;根据所述机器人移动速度确定各离散轨迹点对应的机器人走位时间点,在各走位时间点对所述物体进行碰撞检测;若某一时间点碰撞程度高于所述物体的碰撞敏感度则停止所述机器人移动,以防止危险的发生。
在本申请的一个实施例中,所述在各走位时间点对所述物体进行碰撞检测,包括:在各走位时间点对所述物体与所在现实场景对应的空间模型内的碰撞对象进行碰撞检测,其中,所述空间模型与各走位时间点相应时刻的现实场景情况相对应;所述若某一时间点碰撞程度高于所述物体的碰撞敏感度则停止所述机器人移动,包括:若某一时间点碰撞程度高于所述物体的碰撞敏感度或碰撞对象的碰撞敏感度则停止所述机器人移动。
本申请实施例的基于碰撞程度检测的机器人路径规划方法,在机器人完成对物体的抓取操作时,基于碰撞程度检测对机器人进行移动路径规划,并将移动路径规划结果所对应的移动路径离散化,同时发送离散化后的各离散轨迹点使机器人移动;根据机器人移动速度确定各离散轨迹点对应的机器人走位时间点,在各走位时间点对物体进行碰撞检测;若某一时间点碰撞程度高于物体的碰撞敏感度则停止机器人移动,以防止危险的发生。
由此,在保证机器人运动顺畅的情况下,基于碰撞程度检测的方式在机器人的各个走位时间点对物体进行碰撞检测,并在确定对应走位时间点所对应的碰撞程度高于物体的碰撞敏感度时,控制机器人停止移动,保证了机器人操作的安全以及对所操作物体提供完好保障,从而在保证机器人运动顺畅的情况下,进一步提高了机器人的智能程度。
为达上述目的,本申请第三方面实施例提出了一种基于碰撞程度检测的机器人抓取方法,所述方法包括:根据所述机器人的操作末端的夹具、以及待抓取的物体,计算所述机器人抓取所述物体的所有抓取位姿;根据所述物体的第一对称程度、以及所述夹具与所述物体的接触点集合的第二对称程度,在抓取位姿中确定与所述机器人的当前位姿间相比变换程度最小的目标位姿;对所述夹具进行碰撞程度检测进而确定由当前位姿至所述目标位姿的移动路径,进而将所述移动路径离散化后的各轨迹点发送至所述机器人完成抓取操作。
在本申请的一个实施例中,所述对称程度为角度值,所述物体沿所述第一对称程度相应角度值旋转后与旋转前重合,所述接触点集合沿所述第二对称程度相应角度值旋转后与旋转前重合。
在本申请的一个实施例中,所述夹具包括吸盘,所述物体包括箱体,若所述吸盘面积与所述箱体的被抓取面的面积不同,则所述根据所述机器人的操作末端的夹具、以及待抓取的物体,计算所述机器人抓取所述物体的所有抓取位姿,包括:以所述吸盘的中心对准所述被抓取面的中心以在所述被抓取面上确定吸附区域;或者以所述吸盘的顶角对准所述被抓取面的顶角以在所述被抓取面上确定吸附区域;或者以所述吸盘的长边对准所述被抓取面的长边以在所述被抓取面上确定吸附区域;或者以所述吸盘的短边对准所述被抓取面的短边以在所述被抓取面上确定吸附区域;根据所确定的吸附区域计算所述机器人的所有抓取位姿,其中,吸附区域包括所述箱体的质心在所述被抓取面上的正交投影点。
在本申请的一个实施例中,所述目标位姿包括所述夹具的位置以及姿态,所述姿态包括所述夹具面向所述物体的抓取朝向;所述在抓取位姿中确定与所述机器人的当前位姿间相比变换程度最小的目标位姿之后,还包括:基于所述夹具的形变能力调整所述抓取朝向,以减小所述抓取朝向与所述夹具的当前朝向间的差异。
本申请实施例的基于碰撞程度检测的机器人抓取方法,在机器人抓取待抓取物体时,结合机器人的操作末端的夹具、以及待抓取的物体,计算机器人抓取物体的所有抓取位姿,并结合物体的第一对称程度、以及夹具与物体的接触点集合的第二对称程度,在抓取位姿中确定与机器人的当前位姿间相比变换程度最小的目标位姿,以及对夹具进行碰撞程度检测进而确定由当前位姿至目标位姿的移动路径,进而将移动路径离散化后的各轨迹点发送至机器人完成抓取操作。由此,基于碰撞程度检测实现了对机器人的抓取路径的规划,在避免发生碰撞的同时,使得机器人可基于所得到的抓取路径流畅地完成对物体的抓取,进一步提高了机器人的智能程度。
为达上述目的,本申请第四方面实施例提出了一种机器人运动规划装置,其特征在于,对物体进行碰撞程度检测,所述装置包括:加载模块,用于加载所述物体所在现实场景的空间模型;第一碰撞检测模块,用于对所述物体与所述空间模型内的碰撞对象进行碰撞检测;第一确定模块,用于根据所述物体的碰撞敏感度、碰撞对象的碰撞敏感度确定相应碰撞检测的结果所对应的机器人操作所述物体所形成的所述机器人的运动规划方案。
在本申请的一个实施例中,所述第一碰撞检测模块,包括:第一确定单元,用于确定所述物体的碰撞模型与碰撞对象的对象模型的重叠程度;第二确定单元,用于根据重叠程度以及所述空间模型内的各模型分辨率确定相应碰撞对象的碰撞程度。
在本申请的一个实施例中,所述碰撞模型包括在所述空间模型中以第一分辨率将所述物体所占据的空间分割而成的小正方体集合,对象模型包括在所述空间模型中以第二分辨率将相应碰撞对象所占据的空间分割而成的小正方体集合。
在本申请的一个实施例中,所述第二确定单元,包括:第一确定子单元,用于确定所述碰撞模型与对象模型间的重叠正方体集合;第二确定子单元,用于根据相应重叠正方体集合中各小正方体距相应模型表面的距离确定各小正方体的深度权重,进而结合重叠程度确定所述碰撞模型与对象模型的碰撞程度,其中,重叠程度为相应重叠正方体集合内的小正方体数量。
在本申请的一个实施例中,碰撞对象包括运动规划方案中所述机器人对所述物体完成抓取操作后至放置操作前的各移动路径上与所述物体所占据空间重叠的多个对象;和/或碰撞对象包括对所述物体抓取操作过程中所述机器人的操作末端的夹具;和/或碰撞对象包括所述机器人进行放置操作过程中放置所述物体的接触物。
本申请实施例的机器人运动规划装置,在机器人对待操作物体的进行操作时,结合物体所在现实场景的空间模型,对物体与该空间模型内的碰撞对象进行碰撞检测,并根据物体的碰撞敏感度、碰撞对象的碰撞敏感度确定相应碰撞检测的结果所对应的机器人操作物体所形成的机器人的运动规划方案,从而使得机器人对对应物体进行操作时,可基于该运动规划方案进行运动,避免了机器人操作该物体的过程中,机器人运动过程中出现卡顿现象,流畅化机器人运动,提高了机器人工业操作的智能程度。
为达上述目的,本申请第五方面实施例提出了一种基于碰撞程度检测的机器人路径规划装置,所述装置包括:第一控制模块,用于当所述机器人完成对物体的抓取操作时,基于碰撞程度检测对所述机器人进行移动路径规划,并将移动路径规划结果所对应的移动路径离散化,同时发送离散化后的各离散轨迹点使所述机器人移动;第二碰撞检测模块,用于根据所述机器人移动速度确定各离散轨迹点对应的机器人走位时间点,在各走位时间点对所述物体进行碰撞检测;第二控制模块,用于若某一时间点碰撞程度高于所述物体的碰撞敏感度则停止所述机器人移动,以防止危险的发生。
在本申请的一个实施例中,所述第二碰撞检测模块,具体用于:在各走位时间点对所述物体与所在现实场景对应的空间模型内的碰撞对象进行碰撞检测,其中,所述空间模型与各走位时间点相应时刻的现实场景情况相对应;所述第二控制模块,具体用于:若某一时间点碰撞程度高于所述物体的碰撞敏感度或碰撞对象的碰撞敏感度则停止所述机器人移动。
本申请实施例的基于碰撞程度检测的机器人路径规划装置,在机器人完成对物体的抓取操作时,基于碰撞程度检测对机器人进行移动路径规划,并将移动路径规划结果所对应的移动路径离散化,同时发送离散化后的各离散轨迹点使机器人移动;根据机器人移动速度确定各离散轨迹点对应的机器人走位时间点,在各走位时间点对物体进行碰撞检测;若某一时间点碰撞程度高于物体的碰撞敏感度则停止机器人移动,以防止危险的发生。由此,在保证机器人运动顺畅的情况下,基于碰撞程度检测的方式在机器人的各个走位时间点对物体进行碰撞检测,并在确定对应走位时间点所对应的碰撞程度高于物体的碰撞敏感度时,控制机器人停止移动,保证了机器人操作的安全以及对所操作物体提供完好保障,从而在保证机器人运动顺畅的情况下,进一步提高了机器人的智能程度。
为达上述目的,本申请第六方面实施例提出了一种基于碰撞程度检测的机器人抓取装置,所述装置包括:计算模块,用于根据所述机器人的操作末端的夹具、以及待抓取的物体,计算所述机器人抓取所述物体的所有抓取位姿;第二确定模块,用于根据所述物体的第一对称程度、以及所述夹具与所述物体的接触点集合的第二对称程度,在抓取位姿中确定与所述机器人的当前位姿间相比变换程度最小的目标位姿;第三控制模块,用于对所述夹具进行碰撞程度检测进而确定由当前位姿至所述目标位姿的移动路径,进而将所述移动路径离散化后的各轨迹点发送至所述机器人完成抓取操作。
在本申请的一个实施例中,所述对称程度为角度值,所述物体沿所述第一对称程度相应角度值旋转后与旋转前重合,所述接触点集合沿所述第二对称程度相应角度值旋转后与旋转前重合。
在本申请的一个实施例中,所述夹具包括吸盘,所述物体包括箱体,若所述吸盘面积与所述箱体的被抓取面的面积不同,所述计算模块,具体用于:以所述吸盘的中心对准所述被抓取面的中心以在所述被抓取面上确定吸附区域;或者以所述吸盘的顶角对准所述被抓取面的顶角以在所述被抓取面上确定吸附区域;或者以所述吸盘的长边对准所述被抓取面的长边以在所述被抓取面上确定吸附区域;或者以所述吸盘的短边对准所述被抓取面的短边以在所述被抓取面上确定吸附区域;根据所确定的吸附区域计算所述机器人的所有抓取位姿,其中,吸附区域包括所述箱体的质心在所述被抓取面上的正交投影点。
在本申请的一个实施例中,所述目标位姿包括所述夹具的位置以及姿态,所述姿态包括所述夹具面向所述物体的抓取朝向;所述装置还包括:调整模块,用于在所述第二确定模块在抓取位姿中确定与所述机器人的当前位姿间相比变换程度最小的目标位姿之后,基于所述夹具的形变能力调整所述抓取朝向,以减小所述抓取朝向与所述夹具的当前朝向间的差异。
本申请实施例的基于碰撞程度检测的机器人抓取装置,在机器人抓取待抓取物体时,结合机器人的操作末端的夹具、以及待抓取的物体,计算机器人抓取物体的所有抓取位姿,并结合物体的第一对称程度、以及夹具与物体的接触点集合的第二对称程度,在抓取位姿中确定与机器人的当前位姿间相比变换程度最小的目标位姿,以及对夹具进行碰撞程度检测进而确定由当前位姿至目标位姿的移动路径,进而将移动路径离散化后的各轨迹点发送至机器人完成抓取操作。由此,基于碰撞程度检测实现了对机器人的抓取路径的规划,在避免发生碰撞的同时,使得机器人可基于所得到的抓取路径流畅地完成对物体的抓取,提高了机器人的智能程度。
为达上述目的,本申请第七方面实施例提出了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的机器人运动规划方法,或者,上述基于碰撞程度检测的机器人路径规划方法,或者,上述基于碰撞程度检测的机器人抓取方法。
为了实现上述目的,本申请第八方面实施例提出一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的机器人运动规划方法,或者,上述的基于碰撞程度检测的机器人路径规划方法,或者,上述的基于碰撞程度检测的机器人抓取方法。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1a为本申请实施例提供的一种机器人运动规划方法的流程示意图;
图1b为本申请实施例的移动路径的示例图;
图1c为本申请实施例的机器人的示意图;
图2为对物体与空间模型内的碰撞对象进行碰撞检测的具体流程示意图;
图3为本申请实施例提供的一种基于碰撞程度检测的机器人路径规划方法的流程示意图;
图4a为本申请实施例提供的一种基于碰撞程度检测的机器人抓取方法的流程示意图;
图4b为间断接触点集合的示意性示例图;
图4c为连续接触点集合的示意性示例图;
图4d为接触点集合的旋转参考点的示例图一;
图4e为接触点集合的旋转参考点的示例图二;
图4f为夹爪的抓取位姿的示例图;
图4g为吸附区域包括接触点集合的示例图;
图5为本申请实施例提供的一种机器人运动规划装置的结构示意图;
图6为本申请实施例提供的另一种机器人运动规划装置的结构示意图;
图7为本申请实施例提供的一种基于碰撞程度检测的机器人路径规划装置的结构示意图;
图8为本申请实施例提供的一种基于碰撞程度检测的机器人抓取装置的结构示意图;
图9为本申请实施例提供的另一种基于碰撞程度检测的机器人抓取装置的结构示意图;
图10为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的机器人运动规划方法、装置、电子设备和存储介质。
第一方面,介绍本申请的机器人运动规划方法。
一些实施例中,机器人运动规划基于碰撞程度检测,碰撞程度检测定义为针对某一待机器人操作的物体(或机器人的某一部位)进行的、与其所在空间模型内的碰撞对象之间的碰撞检测,碰撞程度检测输出物体、碰撞对象间的碰撞程度,用以作为机器人对物体进行各种类型操作对应的机器人运动参考。一些实施例中,碰撞程度检测可以基于虚拟场景中的模拟仿真进行。
图1为本申请实施例提供的一种机器人运动规划方法的流程示意图。其中,需要说明的是,本实施例的机器人运动规划方法的执行主体为机器人运动规划装置,该机器人运动规划装置配置在电子设备,该电子设备用于与机器人进行通信进而对机器人待操作的物体(或机器人本身)进行碰撞程度检测,并根据碰撞检测结果对机器人进行运动规划。其中,电子设备可以包括但不限于终端设备、服务器等,本申请对此不作限定。此外,一些实施例中,机器人可选地涉及机器人手臂,对于机器人手臂的形式不做具体限定,六轴机器人、四轴机器人、以及本申请未提及的机器人手臂等进行的本申请的相关操作,都列为本发明保护范围内。
可选地,如图1a所示,该机器人运动规划方法可以包括:
步骤101,加载物体所在现实场景的空间模型。
在控制机器人对物体进行操作时,可将待操作物体与机器人的操作末端固定,通过电子设备对机器人进行运动规划,以得到机器人的运动规划方案。规划可以通过安装在电子设备上的机器人运动模拟仿真平台进行。一些实施例中,运动规划方案包括抓取方案、移动路径规划方案、放置方案,部分实施例中移动路径规划方案包括如图1b中示意的多个移动路径的选取方案,部分实施例中移动路径规划方案包括如图1c中示意的机器人进行操作过程中机器人姿态设定方案。
在一些相关实施例中,机器人对物体进行的操作可以包括对物体的抓取操作,在另一些相关实施例中操作可以包括移动操作,在又一些相关实施例中操作可以包括放置操作;或者,在其他一些实施例中,操作包括抓取、移动、放置三者的任意结合。
在进行相关操作前,具体地,可以加载待操作的物体所在现实场景的空间模型。一些实施例中,空间模型具体为现实场景在相关电子设备中的虚拟场景内的体现方式,其描述现实空间情况。在一些可选实施例中,空间模型的具体形式可以为某一数据类型;或者,在一些可选实施例中,空间模型可以体现为电子设备渲染某一数据类型显示出效果。部分实施例中,空间模型依据传感器所采集的现实场景的数据而建立。
在一些实施例中,空间模型可以与现实场景情况保持高度对应。例如,现实场景中包括操作台、工件、机器人,则空间模型也包括操作台、工件、机器人;若现实场景包括传送台、工件、上料台、机器人,则空间模型也包括传送台、工件、上料台、机器人;若现实场景包括传送台、托盘、箱体、机器人,则空间模型也包括传送台、托盘、箱体、机器人;若现实场景包括料框、小型物体、传送台、机器人,则空间模型也包括料框、小型物体、传送台、机器人;若现实场景包括传送台、包裹,则空间模型也包括传送台、包裹,诸如此类。若现实场景中情况发生改变,则空间模型内相应情况也随之改变。一些实施例中,改变的情况可以包括位置改变、姿态改变、本身形状改变等其他未列出情况。在一些实施例中,步骤101的空间模型可以包括机器人、待操作物体。
可选地,待操作物体可以为机器人所能操作的任意物体,例如,箱体、工业零件、物流小型实体、物流包裹、探测器、胶枪、切割工具等,以对相关物体进行碰撞检测。物体甚至可以为机器人本身的部位,进而对机器人各部位进行碰撞检测防止碰撞,本申请对待操作物体不作具体限定。
在某些实施例中,空间模型可以是二维平面模型,例如是现实中俯视角度的平面,或者现实中侧视角度的平面。对应的二维维度可以以笛卡尔坐标系的两轴向进行描述,两轴形成平面例如XOY、YOZ、XOZ平面。
在一些情况下,空间模型可以在二维平面模型基础上随时间改变,一些情况下改变内容与以相应视角的现实场景所改变内容相匹配对应,一些情况下改变内容与以相应视角的现实场景所改变的内容中的一部分内容相匹配对应。
在某些实施例中,空间模型可以是三维立体模型,三维立体模型可以通过笛卡尔坐标系以任意实际空间点作为参考进行描述。
在一些情况下,空间模型可以在三维立体模型基础上随时间改变,一些情况下改变内容与现实场景所改变内容相匹配对应,一些情况下改变内容与现实场景所改变内容中的一部分内容相匹配对应。
可选地,待操作物体所在现实场景的空间模型是基于物体所在现实场景的场景图像而预先建立的。
其中,建立基于物体所在现实场景的场景图像的示例性的实现方式可以为:可基于视觉传感器(例如三维工业相机、智能工业相机、高精度工业相机)对该现实场景进行图像采集,并根据所采集到的场景图像,得到该现实场景的空间模型。
可选地,可基于视觉传感器对该现实场景进行图像采集,并根据所采集到的场景图像,得到该现实场景的点云数据,并可基于该现实场景的点云数据,以得到该现实场景的三维空间模型。
步骤102,对物体与空间模型内的碰撞对象进行碰撞检测。
一些实施例中,碰撞对象包括可能与物体发生碰撞的任何其他物体。
一些实施例中,碰撞检测基于物体与碰撞对象的距离而进行。
一些实施例中,碰撞检测基于虚拟场景内所模拟仿真的物体与碰撞对象的距离而进行。
一些实施例中,碰撞检测基于机器人的多个运动规划方案进行。说明性地,运动规划方案包括移动方案。示意性实施例如图1b,若需要机器人抓取物体从起始点移动至结束点,假设路径A、路径B、路径C为运动规划方案的全部结果,则基于:若物体沿路径A移动时的方案、若物体沿路径B移动时的方案、若物体沿路径C移动时的方案,而进行物体与图中障碍的碰撞检测,获得各碰撞检测结果,进而完成碰撞程度检测。需要说明的是,本实施例只是列举一种最为简单情况,实际情况下从起始点到结束点可能存在更多运动规划方案。另一些示意性实施例中,运动规划方案包括机器人沿一路径移动过程中各关节、各部分机械臂以及其他部分的姿态改变方案,示意性地,部分实施例中机器人将物体从一起始点(或初始点)移动至目标点(或最终点),可以通过机器人各关节不同旋转状态的组合实现,机器人的结构示意图可如图1c所示,各关节可按照周围标出的箭头所示方向实现旋转,在一个组合中各关节分别对应一个角度,进而使关节间的机械臂处于一种姿态,多个组合对应多种姿态,在周围存在障碍物的情况下可能部分组合的姿态会与障碍物发生碰撞。
一些实施例中,碰撞对象可以为物体移动中的任何障碍、或者机器人姿态改变过程中的任何障碍。
说明性地,运动规划方案包括抓取方案。实际操作中,机器人会以不同的抓取力度在物体的各位置以夹取或吸取等的方式进行抓取操作,对应不同抓取方案。进而,基于抓取力度不同的各抓取方案进行物体与机器人间的碰撞检测,获得各方案碰撞检测结果,进而完成碰撞程度检测。
说明性地,运动规划方案包括放置方案。在一些实施例中,机器人以不同速度或者从不同高度、姿态放置物体,导致物体与其所接触物发生碰撞,对应不同放置方案,基于各放置方案进行物体与被放置面间的碰撞检测,获得各碰撞检测结果,进而完成碰撞程度检测。
在一些实施例中,碰撞检测的结果可以体现为物体与碰撞对象间是否碰撞;或者一些实施例中,碰撞检测结果可以体现为物体与碰撞对象间的碰撞程度,部分实施例可能包括碰撞程度为零的情况。
一些实施例中,物体与碰撞对象间的碰撞程度可以体现为物体与碰撞对象间的撞击力;一些实施例中,物体与碰撞对象间的碰撞程度可以体现为空间模型内物体与碰撞对象间重合程度等,部分实施例中重合程度表现为重合面积,另一些实施例中重合程度体现为重合体积。
步骤103,根据物体的碰撞敏感度、碰撞对象的碰撞敏感度确定相应碰撞检测的结果所对应的机器人操作该物体所形成的机器人的运动规划方案。
一些实施例中,碰撞敏感度是用于衡量对应物体或者碰撞对象对于碰撞的可接纳程度。
一些实施例中,碰撞敏感度高则说明对于碰撞的可接纳程度低,应尽量选择没有碰撞的运动规划方案;碰撞敏感度低则说明碰撞的可接纳程度高,可以选择带有一定碰撞的运动规划方案。在一些实施例中,碰撞敏感度处于高与低之间的状态,则可以在相应可接纳的运动方案中,参考实际情况结合其他对于节拍、稳定度、运动流畅度、安全度等方面要求从优选择相应方案。
一些实施例中,碰撞敏感度可以体现为相对应事物的撞击力承受阈值;一些实施例中,碰撞敏感度可以体现为相对应事物所能承受的重合度阈值等,部分实施例中重合度阈值表现为重合面积,另一些实施例中重合度体现为重合体积。
一些实施例中,运动规划方案可以包括机器人操作该物体的移动轨迹信息、移动速度信息、抓取力度信息、放置姿态信息、以及这些实施例中未列出的其他机器人运动学相关的信息等、以及以上信息的任意组合。或者,运动规划方案可以包括机器人进行相关操作过程中其各部位角度的确定、或者其姿态的确定。
本申请实施例的机器人运动规划方法,在机器人对待操作物体的进行操作时,结合物体所在现实场景的空间模型,对物体与该空间模型内的碰撞对象进行碰撞检测,并根据物体的碰撞敏感度、碰撞对象的碰撞敏感度确定相应碰撞检测的结果所对应的机器人操作物体所形成的机器人的运动规划方案,从而使得机器人对对应物体进行操作时,可基于该运动规划方案进行运动,避免了机器人操作该物体的过程中,机器人运动过程中出现卡顿现象,流畅化机器人运动,提高了机器人工业操作的智能程度。
在本申请的一些实施例中,可基于物体的碰撞模型和碰撞对象的对象模型进行碰撞检测,进而本申请一些实施例中包括的碰撞检测的具体实现方式,示例性地可如图2所示的步骤进行,可以包括:
步骤201,确定物体的碰撞模型与碰撞对象的对象模型的重叠程度。
在一些实施例中,碰撞模型(和/或对象模型)可以为物体在电子设备中的虚拟场景内的体现方式,以体现物体(和/或碰撞对象)的相应情况,一些实施例中碰撞模型(和/或对象模型)可以体现物体(和/或碰撞对象)的以下任意方面、以及任意方面的组合:形状、位置、姿态、运动状态等其他物体信息。
一些实施例中,碰撞模型(和/或对象模型)的具体形式可以为某一数据类型;或者,在一些可选实施例中,碰撞模型(和/或对象模型)可以体现为电子设备渲染某一数据类型显示出效果。
部分实施例中,碰撞模型(和/或对象模型)依据传感器所采集的现实场景的数据而建立。
在某些实施例中,碰撞模型(和/或对象模型)可以是二维平面模型,例如是现实中俯视角度的平面,或者现实中侧视角度的平面。对应的二维维度可以以笛卡尔坐标系的两轴向进行描述,两轴形成平面例如XOY、YOZ、XOZ平面。
在一些情况下,碰撞模型(和/或对象模型)可以在二维平面模型基础上随时间改变,一些情况下改变内容与以相应视角的物体(和/或碰撞对象)所改变内容相匹配对应,一些情况下改变内容与以相应视角的物体(和/或碰撞对象)所改变内容中的一部分内容相匹配对应。
在某些实施例中,碰撞模型(和/或对象模型)可以是三维立体模型,三维立体模型的可以通过笛卡尔坐标系以物体(和/或碰撞对象)上任意实际点作为参考进行描述。
在一些情况下,碰撞模型(和/或对象模型)可以在三维立体模型基础上随时间改变,一些情况下改变内容与模型(和/或对象模型)所改变内容相匹配对应,一些情况下改变内容与模型(和/或对象模型)所改变内容中的一部分内容相匹配对应。
在本申请的一些实施例中,在碰撞模型(和/或对象模型)包括几何模型、三角面片模型时,可检测物体的碰撞模型与碰撞对象的对象模型表面所围成的空间占据情况,进而确定重叠程度。可选地,空间占据情况可以为重合区域的面积或者体积。
一些实施例中,物体的碰撞模型(和/或对象模型)还可以为八叉树模型等其他相类似数据形式,进而一些实施方式中可检测碰撞模型与对象模型表面所围成的空间占据情况,进而计算重叠程度。
其中,物体和碰撞对象两者在空间上相互占据越多,其对应重叠程度越高。
在本申请的一些实施例中,碰撞模型包括空间模型中的与待操作物体情况相匹配的小正方体集合,对象模型包括空间模型中的与碰撞对象情况相匹配的小正方体集合。
一些实施例中重叠程度的具体确定方式包括:针对该物体的小正方体集合中的每个小正方体,判断碰撞对象的小正方体集合是否存在与该小正方体在空间上有至少一个点相交的相应小正方体,如果存在,则确定该物体的小正方体集合中的该小正方体与碰撞对象的小正方体集合中的相应小正方体发生碰撞,并统计出物体和碰撞对象之间发生碰撞的小正方体数量,并基于小正方体数量,确定两者之间的重叠程度。
步骤202,根据重叠程度以及空间模型内的各模型分辨率确定相应碰撞对象的碰撞程度。
在一些实施例中,碰撞模型包括在空间模型中以某一分辨率将物体所占据的空间分割而成的像素集合,对象模型包括在空间模型中以另一分辨率将相应碰撞对象所占据的空间分割而成的像素集合。
一些实施中,碰撞程度的具体确定方式为:确定碰撞模型与对象模型间的重叠像素集合;根据相应重叠像素集合中各像素距相应模型表面的距离确定各像素的深度权重,进而结合重叠程度确定碰撞模型与对象模型的碰撞程度,其中,重叠程度为相应重叠像素集合内的像素数量。
在一些实施中,碰撞模型包括在空间模型中以第一分辨率将物体所占据的空间分割而成的小正方体集合,对象模型包括在空间模型中以第二分辨率将相应碰撞对象所占据的空间分割而成的小正方体集合。
一些实施中,碰撞程度的具体确定方式为:确定碰撞模型与对象模型间的重叠正方体集合;根据相应重叠正方体集合中各小正方体距相应模型表面的距离确定各小正方体的深度权重,进而结合重叠程度确定碰撞模型与对象模型的碰撞程度,其中,重叠程度为相应重叠正方体集合内的小正方体数量。
其中,可以理解的是,在不同应用场景中,机器人对物体可执行不同的操作,其不同操作时所对应的碰撞对象通常是不同的,在本申请的一些实施例中,在机器人对物体所进行的操作包括移动操作时,上述碰撞对象可以包括运动规划方案中机器人对物体完成抓取操作后至放置操作前的各移动路径上与物体所占据空间重叠的多个对象。
在本申请的可选实施例中,在机器人对物体所进行的操作还包括抓取操作时,上述碰撞对象还可以包括对物体抓取操作过程中机器人的操作末端的夹具。
在本申请的可选实施例中,在机器人对物体所执行的操作还包括放置操作时,所碰撞对象还可以包括机器人进行放置操作过程中放置物体的接触物,部分实施例中接触物包括物体被放置的一瞬间所接触到的事物,例如,机器人在此次操作前放置的、位于此次放置物体的下方或者侧方的其他物体,或者不是被机器人放置的、位于此次放置物体的下方或者侧方的其他物体,或者为放置物体的平台等等。
或者,碰撞对象可以包括运动规划方案中机器人进行相关操作时机器人本身姿态变换过程中与机器人任意部位所占据空间重叠的多个对象。
第二方面,介绍本申请的基于碰撞程度检测的机器人路径规划方法。
图3为本申请实施例提供的一种基于碰撞程度检测的机器人路径规划方法的流程示意图。其中,需要说明的是,本实施例的基于碰撞程度检测的机器人路径规划方法的执行主体为机器人路径规划装置,一些实施例中该机器人路径规划装置配置电子设备中,该电子设备用于与机器人进行通信进而对机器人进行移动路径规划。
如图3所示,该机器人移动路径规划方法可以包括:
步骤301,当机器人完成对物体的抓取操作时,基于碰撞程度检测对机器人进行移动路径规划,并将移动路径规划结果所对应的移动路径离散化,同时发送离散化后的各离散轨迹点使机器人移动。
在本申请的可选实施例中,当机器人完成对物体的抓取操作时,可基于碰撞程度检测对机器人进行移动路径规划,以得到机器人的移动路径规划结果,然后,将移动路径规划结果所对应的移动路径进行离散化处理,以得到各个离散轨迹点。
移动路径规划可以包括移动方案规划。示意性实施例如图1b,若需要机器人抓取物体从起始点移动至结束点,假设路径A、路径B、路径C为移动方案规划的全部结果。则部分实施例中,基于碰撞程度检测对机器人进行移动路径规划的具体过程包括:基于物体沿路径A移动时的方案、以及物体沿路径B移动时的方案、以及物体沿路径C移动时的方案,进行物体与移动过程中的碰撞对象,例如图1b中障碍,的碰撞检测,获得各碰撞程度,进而完成碰撞程度检测。需要说明的是,本实施例只是列举一种最为简单情况,实际情况下从起始点到结束点可能存在更多运动规划方案。
另一些示意性实施例中,移动路径规划可以包括机器人沿一路径移动过程中各关节、各部分机械臂以及其他部分的姿态改变方案,示意性地,部分实施例中机器人将物体从一起始点(或初始点)移动至目标点(或最终点),可以通过机器人各关节不同旋转状态的组合实现,机器人的结构示意图可如图1c所示,各关节可按照周围标出的箭头所示方向实现旋转,在一个组合中各关节分别对应一个角度,进而使关节间的机械臂处于一种姿态,多个组合对应多种姿态。则部分实施例中,基于多个组合中机器人的不同姿态,对机器人各部位,例如第一关节、第二关节、或者第五关节、第六关节、或者各关节之间的机械臂,进行与姿态变化移动过程中碰撞对象的碰撞检测,获得各碰撞程度,进而完成碰撞程度检测。
具体碰撞检测的方法可参见第一方面机器人运动规划方法实施例中的相关描述,此处不再赘述。
具体路径离散化过程所离散的离散点可以选取路径的特征点,并通过现有技术中机器人运动学相关离散方式实现,本申请不再赘述。
步骤302,根据机器人移动速度确定各离散轨迹点对应的机器人走位时间点,在各走位时间点对物体进行碰撞检测。
一些实施例中,在各走位时间点对物体与所在现实场景对应的空间模型内的碰撞对象进行碰撞检测,其中,空间模型与各走位时间点相应时刻的现实场景情况相对应。
部分实施例中,物体与空间模型中的碰撞对象进行碰撞检测的相关描述可参见第一方面的机器人运动规划方法实施例中的相关描述,此处不再赘述。
其中,上述空间模型的建立过程可参见第一方面机器人运动规划方法实施例中的相关描述,此处不再赘述。
步骤303,若某一时间点碰撞程度高于物体的碰撞敏感度则停止机器人移动,以防止危险的发生。
在一些实施例中,若某一时间点碰撞程度高于物体的碰撞敏感度或碰撞对象的碰撞敏感度则停止机器人移动。
需要说明的是,在相关实施例中,碰撞程度高于碰撞敏感度可以示意性地理解为对于当前碰撞程度,相应碰撞敏感度的事物无法接受,进而为保证相应事物的完好、安全,停止机器人移动。
碰撞敏感度的相关描述可参见第一方面机器人运动规划方法实施例中的相关描述,此处不再赘述。
也就是说,本实施例中,在机器人对物体执行移动操作的过程中,对于机器人的各走位时间点,在各走位时间点对物体进行碰撞检测,并基于碰撞检测结果对机器人移动操作过程进行控制,从而提供了基于该碰撞过程检测对机器人进行移动路径规划的方法,提高了机器人智能程度。
本申请实施例的基于碰撞程度检测的机器人路径规划方法,在机器人完成对物体的抓取操作时,基于碰撞程度检测对机器人进行移动路径规划,并将移动路径规划结果所对应的移动路径离散化,同时发送离散化后的各离散轨迹点使机器人移动;根据机器人移动速度确定各离散轨迹点对应的机器人走位时间点,在各走位时间点对物体进行碰撞检测;若某一时间点碰撞程度高于物体的碰撞敏感度则停止机器人移动,以防止危险的发生。由此,在保证机器人运动顺畅的情况下,基于碰撞程度检测的方式在机器人的各个走位时间点对物体进行碰撞检测,并在确定对应走位时间点所对应的碰撞程度高于物体的碰撞敏感度时,控制机器人停止移动,保证了机器人操作的安全以及对所操作物体提供完好保障,从而在保证机器人运动顺畅的情况下,进一步提高了机器人的智能程度。
第三方面,介绍本申请的基于碰撞程度检测的机器人抓取方法。
图4a为本申请实施例提供的一种基于碰撞程度检测的机器人抓取方法的流程示意图。其中,需要说明的是,本实施例的基于碰撞程度检测的机器人抓取方法的执行主体为基于碰撞程度检测的机器人抓取装置,该基于碰撞程度检测的机器人抓取装置配置在电子设备中,该电子设备用于与机器人进行通信进而对机器人进行抓取方案规划。
如图4a所示,该基于碰撞程度检测的机器人抓取方法可以包括:
步骤401,根据机器人的操作末端的夹具、以及待抓取的物体,计算机器人抓取物体的所有抓取位姿。
说明性地,实际应用中需要机器人进行抓取操作,机器人操作末端(即机器人操作端的关节角)与夹具固定,夹具用于抓取物体。
一些实施例中,一些实施例中,上述夹具可以为抓手、夹子、或者吸盘、或其组合等,用于获取物体、以使得物体随机器人进行相关移动、或进行相关操作。
一些具体实施例中,参考物体实际形状、实际尺寸、实际重量确定抓取点(和/或抓取力度),进而匹配相应夹具种类。
在一些实施例中,可根据物体位姿、以及夹具种类确定所有抓取位姿。抓取位姿即抓取位置及姿态。
步骤402,根据物体的第一对称程度、以及夹具与物体的接触点集合的第二对称程度,在抓取位姿中确定与机器人的当前位姿间相比变换程度最小的目标位姿。
部分实施例中,物体(和/或接触点集合)具有对称性,进而机器人所有抓取位姿中包括不同抓取位姿可以达到相同抓取效果的情况。示意性实施例如图4f所示,夹爪的两个抓取位姿,即夹指的左右顺序不同,都可以使两个夹指落在抓取接触点A、B上,达到相同的抓取效果。部分较佳实施例中,依据对称程度,在夹爪多个抓取位姿中选取一个与当前位姿相近的、或移动更为顺畅的目标位姿进行抓取操作,有利于机器人运动的流畅化,提高了机器人智能化程度。
一些实施例中,对称程度包括对称性的程度,若一个事物本体沿穿过其所划定范围内的某方向向量形成镜像则称其具有对称性;若一个对称性事物本体沿穿过其所划定范围内的多个方向向量均可形成镜像,则称其对程度高,简单示意性示例例如圆形、球体;若一个对称性事物本体沿个别方向向量可形成镜像,则称其对程度低,简单示意性示例例如矩形、长方体;而例如等边三角形、正方形、等边六边形等各边相等的多边形,则根据其本体形成镜像可参考的方向向量数量相应确定其对称程度。
一些实施例中,对称程度包括对称性的程度,若一个事物本体沿其所划定范围内的某一旋转参考点旋转0°、或旋转360°才可以与旋转前重合,则称其对称度低;若一事物本体沿其所划定范围内的某一旋转参考点旋转任意角度都可以与旋转前重合,则称其对称程度高;若一事物本体沿其所划定范围内的某一旋转参考点旋转角度越小(除0°以外)可以与旋转前重合,则其对称程度越高。较佳实施例中,旋转参考点包括相应范围内的中心点,可选地可以包括质心。部分实施例中,旋转参考点为相应范围观察视角的平面中心点,示例性地如球体的俯视视角对应的圆的圆心、圆环轴向视角中心等;部分实施例中,旋转点为物体三维立体结构的中心点,例如球体中心点、长方体中心点。
一些实施例中,上述对称程度体现为角度值,进而物体沿第一对称程度相应角度值旋转后与旋转前重合,接触点集合沿第二对称程度相应角度值旋转后与旋转前重合。
其中,上述位姿包括位置以及姿态。
部分实施例中,物体对称性包括其质量分布对称性,另一些实施例中,物体对称性包括物体形态对称性。
可以理解的是,部分实施例中的接触点集合可以是连续的,或者;另一些实施例中的接触点集合可以是间断的。列举简单示意性实施例如下,间断接触点集合的示意性实施例可以见图4b中各种各物体相应点A、点B组成情况。连续接触点集合的示意性实施例可以见图4c中各物体上阴影加重显示部分。
部分实施例中,接触点集合的对称程度可如图4d-图4e所示。图4d中接触点集合沿旋转参考点旋转90°可达到与旋转前重合,图4e中接触点集合沿旋转参考点旋转180°可达到与旋转前重合,相对来讲,图4d中所示接触点集合对称程度大于图4e中所示接触点集合对称程度。
在一些实施例中,为了在抓取物体的过程中,使得机器人各关节角旋转最小,在获取机器人抓取物体的所有抓取位姿后,可结合物体的第一对称程度、以及夹具与物体的接触点集合的第二对称程度,从所有抓取位姿中,确定与机器人的当前位姿间相比变换程度最小的目标位姿。
步骤403,对夹具进行碰撞程度检测进而确定由当前位姿至目标位姿的移动路径,进而将移动路径离散化后的各轨迹点发送至机器人完成抓取操作。
在本申请相应实施例中,基于碰撞程度检测确定机器人抓取方案,在获取机器人的当前位姿和目标位姿后,对夹具进行碰撞程度检测进而在可容忍的碰撞程度内选取抓取方案,增加了可选取的方案数量,使可选方案中包括流畅可行抓取方案的可能性增大,一定程度上提高了机器人移动的流畅度减小了奇异点发生的概率进而提高了机器人智能程度,此外,上述目标位姿基于对称程度确定,这可以进一步增加了可选取的方案数量,帮助机器人确定相对有利于流畅移动的目标位姿,以用于抓取操作,进一步提高机器人移动的流畅程度,进一步提高了机器人智能程度。
其中,空间模型为夹具所在现实场景所对应的空间模型。
部分实施例中,对夹具进行碰撞程度检测进而确定由当前位姿至目标位姿的移动路径的具体实现方式为:获取机器人当前位姿至目标位姿的多个候选移动路径,针对每个候选移动路径,对夹具进行碰撞程度检测,以得到每个候选移动路径对应的碰撞检测结果,选择碰撞检测结果中夹爪(和/或被碰撞对象)所能承受的碰撞程度所对应的候选移动路径为由当前位姿至目标位姿的移动路径,并将该移动路径发送至机器人完成抓取操作。
在本申请的部分实施例中,上述夹具包括吸盘,上述物体包括箱体。
部分实施例中,吸盘以阵列形式排布,形成矩形面积吸盘。
部分实施例中,可判断吸盘的面积与箱体的被抓取面的面积是否相同,若吸盘面积与箱体的被抓取面的面积不同,上述机器人的抓取位姿可通过下述方式确定。
方式一:以吸盘的中心对准被抓取面的中心以在被抓取面上确定吸附区域;或者方式二:以吸盘的顶角对准被抓取面的顶角以在被抓取面上确定吸附区域;或者方式三:以吸盘的长边对准被抓取面的长边以在被抓取面上确定吸附区域;或者方式四:以吸盘的短边对准被抓取面的短边以在被抓取面上确定吸附区域。根据以上方式确定吸附区域后,根据所确定的吸附区域计算机器人的所有抓取位姿,其中,吸附区域包括箱体的质心在被抓取面上的正交投影点。
部分实施例中,被抓取面包括箱体的俯视面,或者另一些实施例中,被抓取面包括箱体的侧视面。
部分实施例中,吸附区域包括接触点集合,示例性地如图4g。
部分实施例中,吸盘以阵列形式排布,形成矩形面积吸盘,吸盘的顶角包括矩形面积吸盘的顶角,部分实施例中吸盘的长边包括矩形面积吸盘的长边,部分实施例中吸盘的短边包括矩形面积吸盘的短边。
部分实施例中,吸盘以阵列形式排布,形成矩形面积吸盘且,吸盘的面积大于被抓取面,则:吸盘的长边包括矩形面积吸盘的、向矩形面积吸盘内部平移跨越一排吸盘的长边;吸盘的短边包括矩形面积吸盘的、向矩形面积吸盘内部平移跨越一排吸盘的短边;吸盘的顶角包括平移后长边和短边所形成的顶角。当然部分实施例中,可在吸盘阵列范围内平移跨越两排、甚至多排吸盘。部分实施例中,长边、短边跨越的排数可以相异。
部分实施例中,上述目标位姿可以包括夹具的位置以及姿态,上述姿态包括夹具面向物体的抓取朝向,在本申请的部分实施例中,夹具以正向面向物体完成抓取操作,具体地夹具沿待抓取物体抓取面的法向抓取物体;或者在一些实施例中,为了使得机器人的夹具可方便地抓取待抓取的物体,可以使夹具偏离待抓取物体抓取面的法向,具体在抓取位姿中确定与机器人的当前位姿间相比变换程度最小的目标位姿之后,可基于夹具的形变能力调整抓取朝向,以进一步减小抓取朝向与夹具的当前朝向间的差异,帮助机器人确定更加有利于流畅移动的目标位姿,以用于抓取操作,进一步提高机器人移动的流畅程度,进一步提高了机器人智能程度。
本申请部分实施例中,通过基于变形能力的夹具对待抓取的物体执行抓取操作,从而使得机器人通过夹具抓取待抓取的物体时,机器人的夹具的朝向无需严格对准抓取表面的法向,进而使得目标位姿可以更加接近于初始位姿,进一步提高机器人智能程度。
本申请实施例的基于碰撞程度检测的机器人抓取方法,在机器人抓取待抓取物体时,结合机器人的操作末端的夹具、以及待抓取的物体,计算机器人抓取物体的所有抓取位姿,并结合物体的第一对称程度、以及夹具与物体的接触点集合的第二对称程度,在抓取位姿中确定与机器人的当前位姿间相比变换程度最小的目标位姿,以及对夹具进行碰撞程度检测进而确定由当前位姿至目标位姿的移动路径,进而将移动路径离散化后的各轨迹点发送至机器人完成抓取操作。由此,基于碰撞程度检测实现了对机器人的抓取路径的规划,在避免发生碰撞的同时,使得机器人可基于所得到的抓取路径流畅地完成对物体的抓取,进一步提高了机器人的智能程度。
图5为本申请实施例提供的一种机器人运动规划装置的结构示意图。
如图5所示,该机器人运动规划装置,对物体进行碰撞程度检测,该装置可以包括:加载模块510、第一碰撞检测模块520和第一确定模块530,其中:
加载模块510,用于加载物体所在现实场景的空间模型。
第一碰撞检测模块520,用于对物体与空间模型内的碰撞对象进行碰撞检测。
第一确定模块530,用于根据物体的碰撞敏感度、碰撞对象的碰撞敏感度确定相应碰撞检测的结果所对应的机器人操作物体所形成的机器人的运动规划方案。
其中,需要说明的是,上述对机器人运动规划方法实施例的解释说明也适用于该实施例的机器人运动规划装置,此处不再赘述。
本申请实施例的机器人运动规划装置,在机器人对待操作物体的进行操作时,结合物体所在现实场景的空间模型,对物体与该空间模型内的碰撞对象进行碰撞检测,并根据物体的碰撞敏感度、碰撞对象的碰撞敏感度确定相应碰撞检测的结果所对应的机器人操作物体所形成的机器人的运动规划方案,从而使得机器人对对应物体进行操作时,可基于该运动规划方案进行运动,避免了机器人操作该物体的过程中,机器人运动过程中出现卡顿现象,流畅化机器人运动,提高了机器人工业操作的智能程度。
在本申请的一个实施例中,在图5所示的装置实施例的基础上,如图6所示,上述第一碰撞检测模块520,包括:
第一确定单元521,用于确定物体的碰撞模型与碰撞对象的对象模型的重叠程度。
第二确定单元522,用于根据重叠程度以及空间模型内的各模型分辨率确定相应碰撞对象的碰撞程度。
在本申请的一个实施例中,碰撞模型包括在空间模型中以第一分辨率将物体所占据的空间分割而成的小正方体集合,对象模型包括在空间模型中以第二分辨率将相应碰撞对象所占据的空间分割而成的小正方体集合。
在本申请的一个实施例中,上述第二确定单元522可以包括:
第一确定子单元5221,用于确定碰撞模型与对象模型间的重叠正方体集合。
第二确定子单元5222,用于根据相应重叠正方体集合中各小正方体距相应模型表面的距离确定各小正方体的深度权重,进而结合重叠程度确定碰撞模型与对象模型的碰撞程度,其中,重叠程度为相应重叠正方体集合内的小正方体数量。
在本申请的一个实施例中,上述碰撞对象包括机器人对物体完成抓取操作后至放置操作前的各移动路径上与物体所占据空间重叠的多个对象。和/或碰撞对象包括对物体抓取操作过程中机器人的操作末端的夹具。和/或碰撞对象包括机器人进行放置操作过程中放置物体的接触物。
图7为本申请实施例提供的一种基于碰撞程度检测的机器人路径规划装置的结构示意图。
如图7所示,该基于碰撞程度检测的机器人路径规划装置可以包括第一控制模块710、第二碰撞检测模块720和第二控制模块730,其中:
第一控制模块710,用于当机器人完成对物体的抓取操作时,基于碰撞程度检测对机器人进行移动路径规划,并将移动路径规划结果所对应的移动路径离散化,同时发送离散化后的各离散轨迹点使机器人移动。
第二碰撞检测模块720,用于根据机器人移动速度确定各离散轨迹点对应的机器人走位时间点,在各走位时间点对物体进行碰撞检测。
第二控制模块730,用于若某一时间点碰撞程度高于物体的碰撞敏感度则停止机器人移动,以防止危险的发生。
在本申请的一个实施例中,上述第二碰撞检测模块720,具体用于:在各走位时间点对物体与所在现实场景对应的空间模型内的碰撞对象进行碰撞检测,其中,空间模型与各走位时间点相应时刻的现实场景情况相对应。
第二控制模块730,具体用于:若某一时间点碰撞程度高于物体的碰撞敏感度或碰撞对象的碰撞敏感度则停止机器人移动。
其中,需要说明的是,上述对基于碰撞程度检测的机器人路径规划方法实施例的解释说明也适用于该实施例的基于碰撞程度检测的机器人路径规划装置,此处不再赘述。
本申请实施例的基于碰撞程度检测的机器人路径规划装置,在机器人完成对物体的抓取操作时,基于碰撞程度检测对机器人进行移动路径规划,并将移动路径规划结果所对应的移动路径离散化,同时发送离散化后的各离散轨迹点使机器人移动;根据机器人移动速度确定各离散轨迹点对应的机器人走位时间点,在各走位时间点对物体进行碰撞检测;若某一时间点碰撞程度高于物体的碰撞敏感度则停止机器人移动,以防止危险的发生。由此,在保证机器人运动顺畅的情况下,基于碰撞程度检测的方式在机器人的各个走位时间点对物体进行碰撞检测,并在确定对应走位时间点所对应的碰撞程度高于物体的碰撞敏感度时,控制机器人停止移动,保证了机器人操作的安全以及对所操作物体提供完好保障,从而在保证机器人运动顺畅的情况下,进一步提高了机器人的智能程度。
图8为本申请实施例提供的一种基于碰撞程度检测的机器人抓取装置的结构示意图。
如图8所示,该基于碰撞程度检测的机器人抓取装置可以包括计算模块810、第二确定模块820和第三控制模块830,其中:
计算模块810,用于根据机器人的操作末端的夹具、以及待抓取的物体,计算机器人抓取物体的所有抓取位姿。
第二确定模块820,用于根据物体的第一对称程度、以及夹具与物体的接触点集合的第二对称程度,在抓取位姿中确定与机器人的当前位姿间相比变换程度最小的目标位姿。
第三控制模块830,用于对夹具进行碰撞程度检测进而确定由当前位姿至目标位姿的移动路径,进而将移动路径离散化后的各轨迹点发送至机器人完成抓取操作。
在本申请的一个实施例中,对称程度为角度值,物体沿第一对称程度相应角度值旋转后与旋转前重合,接触点集合沿第二对称程度相应角度值旋转后与旋转前重合。
在本申请的一个实施例中,夹具包括吸盘,物体包括箱体,若吸盘面积与箱体的被抓取面的面积不同,计算模块810,具体用于:以吸盘的中心对准被抓取面的中心以在被抓取面上确定吸附区域。或者以吸盘的顶角对准被抓取面的顶角以在被抓取面上确定吸附区域。或者以吸盘的长边对准被抓取面的长边以在被抓取面上确定吸附区域。或者以吸盘的短边对准被抓取面的短边以在被抓取面上确定吸附区域。根据所确定的吸附区域计算机器人的所有抓取位姿,其中,吸附区域包括箱体的质心在被抓取面上的正交投影点。
在本申请的一个实施例中,目标位姿包括夹具的位置以及姿态,姿态包括夹具面向物体的抓取朝向,在图8所示的实施例的基础上,如图9所示,该装置还可以包括:
调整模块840,用于在第二确定模块820在抓取位姿中确定与机器人的当前位姿间相比变换程度最小的目标位姿之后,基于夹具的形变能力调整抓取朝向,以减小抓取朝向与夹具的当前朝向间的差异。
其中,需要说明的是,上述对基于碰撞程度检测的机器人抓取方法实施例的解释说明也适用于该实施例的基于碰撞程度检测的机器人抓取装置,此处不再赘述。
本申请实施例的基于碰撞程度检测的机器人抓取装置,在机器人抓取待抓取物体时,结合机器人的操作末端的夹具、以及待抓取的物体,计算机器人抓取物体的所有抓取位姿,并结合物体的第一对称程度、以及夹具与物体的接触点集合的第二对称程度,在抓取位姿中确定与机器人的当前位姿间相比变换程度最小的目标位姿,以及对夹具进行碰撞程度检测进而确定由当前位姿至目标位姿的移动路径,进而将移动路径离散化后的各轨迹点发送至机器人完成抓取操作。由此,基于碰撞程度检测实现了对机器人的抓取路径的规划,在避免发生碰撞的同时,使得机器人可基于所得到的抓取路径流畅地完成对物体的抓取,进一步提高了机器人智能程度。
图10为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括:
存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行程序时实现上述实施例中提供的机器人运动规划方法。
在本申请的一个实施例中,上述处理器1002执行程序时实现上述实施例中提供的基于碰撞程度检测的机器人路径规划方法。
在本申请的一个实施例中,上述处理器1002执行程序时实现上述实施例中提供的基于碰撞程度检测的机器人抓取方法。
进一步地,电子设备还包括:
通信接口1003,用于存储器1001和处理器1002之间的通信。
存储器1001,用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器1002,用于执行程序时实现上述实施例的喷胶轨迹信息确定方法。
如果存储器1001、处理器1002和通信接口1003独立实现,则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(PeripheralComponent,简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器1001、处理器1002及通信接口1003,集成在一块芯片上实现,则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如上的机器人运动规划方法,或者,基于碰撞程度检测的机器人路径规划方法,或者,基于碰撞程度检测的机器人抓取方法。
在本申请的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (16)

1.一种机器人运动规划方法,其特征在于,对物体进行碰撞程度检测,所述方法包括:
加载所述物体所在现实场景的空间模型;
对所述物体与所述空间模型内的碰撞对象进行碰撞检测;
根据所述物体的碰撞敏感度、碰撞对象的碰撞敏感度确定相应碰撞检测的结果所对应的机器人操作所述物体所形成的所述机器人的运动规划方案。
2.根据权利要求1所述的方法,其特征在于,所述对所述物体与所述空间模型内的碰撞对象进行碰撞检测,包括:
确定所述物体的碰撞模型与碰撞对象的对象模型的重叠程度;
根据重叠程度以及所述空间模型内的各模型分辨率确定相应碰撞对象的碰撞程度。
3.根据权利要求2所述的方法,其特征在于,所述碰撞模型包括在所述空间模型中以第一分辨率将所述物体所占据的空间分割而成的小正方体集合,对象模型包括在所述空间模型中以第二分辨率将相应碰撞对象所占据的空间分割而成的小正方体集合。
4.根据权利要求3所述的方法,其特征在于,所述根据重叠程度以及所述空间模型内的各模型分辨率确定碰撞对象的碰撞程度,包括:
确定所述碰撞模型与对象模型间的重叠正方体集合;
根据相应重叠正方体集合中各小正方体距相应模型表面的距离确定各小正方体的深度权重,进而结合重叠程度确定所述碰撞模型与对象模型的碰撞程度,其中,重叠程度为相应重叠正方体集合内的小正方体数量。
5.根据权利要求1-4任一项所述的方法,其特征在于,
碰撞对象包括运动规划方案中所述机器人对所述物体完成抓取操作后至放置操作前的各移动路径上与所述物体所占据空间重叠的多个对象;和/或
碰撞对象包括对所述物体抓取操作过程中所述机器人的操作末端的夹具;和/或
碰撞对象包括所述机器人进行放置操作过程中放置所述物体的接触物。
6.一种基于碰撞程度检测的机器人路径规划方法,其特征在于,所述方法包括:
当所述机器人完成对物体的抓取操作时,基于碰撞程度检测对所述机器人进行移动路径规划,并将移动路径规划结果所对应的移动路径离散化,同时发送离散化后的各离散轨迹点使所述机器人移动;
根据所述机器人移动速度确定各离散轨迹点对应的机器人走位时间点,在各走位时间点对所述物体进行碰撞检测;
若某一时间点碰撞程度高于所述物体的碰撞敏感度则停止所述机器人移动,以防止危险的发生。
7.根据权利要求6所述的方法,其特征在于,所述在各走位时间点对所述物体进行碰撞检测,包括:
在各走位时间点对所述物体与所在现实场景对应的空间模型内的碰撞对象进行碰撞检测,其中,所述空间模型与各走位时间点相应时刻的现实场景情况相对应;
所述若某一时间点碰撞程度高于所述物体的碰撞敏感度则停止所述机器人移动,包括:
若某一时间点碰撞程度高于所述物体的碰撞敏感度或碰撞对象的碰撞敏感度则停止所述机器人移动。
8.一种基于碰撞程度检测的机器人抓取方法,其特征在于,所述方法包括:
根据所述机器人的操作末端的夹具、以及待抓取的物体,计算所述机器人抓取所述物体的所有抓取位姿;
根据所述物体的第一对称程度、以及所述夹具与所述物体的接触点集合的第二对称程度,在抓取位姿中确定与所述机器人的当前位姿间相比变换程度最小的目标位姿;
对所述夹具进行碰撞程度检测进而确定由当前位姿至所述目标位姿的移动路径,进而将所述移动路径离散化后的各轨迹点发送至所述机器人完成抓取操作。
9.根据权利要求8所述的方法,其特征在于,所述对称程度为角度值,所述物体沿所述第一对称程度相应角度值旋转后与旋转前重合,所述接触点集合沿所述第二对称程度相应角度值旋转后与旋转前重合。
10.根据权利要求8或9所述的方法,其特征在于,所述夹具包括吸盘,所述物体包括箱体,若所述吸盘面积与所述箱体的被抓取面的面积不同,则所述根据所述机器人的操作末端的夹具、以及待抓取的物体,计算所述机器人抓取所述物体的所有抓取位姿,包括:
以所述吸盘的中心对准所述被抓取面的中心以在所述被抓取面上确定吸附区域;或者
以所述吸盘的顶角对准所述被抓取面的顶角以在所述被抓取面上确定吸附区域;或者
以所述吸盘的长边对准所述被抓取面的长边以在所述被抓取面上确定吸附区域;或者
以所述吸盘的短边对准所述被抓取面的短边以在所述被抓取面上确定吸附区域;
根据所确定的吸附区域计算所述机器人的所有抓取位姿,其中,吸附区域包括所述箱体的质心在所述被抓取面上的正交投影点。
11.根据权利要求8或9所述的方法,其特征在于,所述目标位姿包括所述夹具的位置以及姿态,所述姿态包括所述夹具面向所述物体的抓取朝向;所述在抓取位姿中确定与所述机器人的当前位姿间相比变换程度最小的目标位姿之后,还包括:
基于所述夹具的形变能力调整所述抓取朝向,以减小所述抓取朝向与所述夹具的当前朝向间的差异。
12.一种机器人运动规划装置,其特征在于,对物体进行碰撞程度检测,所述装置包括:
加载模块,用于加载所述物体所在现实场景的空间模型;
第一碰撞检测模块,用于对所述物体与所述空间模型内的碰撞对象进行碰撞检测;
第一确定模块,用于根据所述物体的碰撞敏感度、碰撞对象的碰撞敏感度确定相应碰撞检测的结果所对应的机器人操作所述物体所形成的所述机器人的运动规划方案。
13.一种基于碰撞程度检测的机器人路径规划装置,其特征在于,所述装置包括:
第一控制模块,用于当所述机器人完成对物体的抓取操作时,基于碰撞程度检测对所述机器人进行移动路径规划,并将移动路径规划结果所对应的移动路径离散化,同时发送离散化后的各离散轨迹点使所述机器人移动;
第二碰撞检测模块,用于根据所述机器人移动速度确定各离散轨迹点对应的机器人走位时间点,在各走位时间点对所述物体进行碰撞检测;
第二控制模块,用于若某一时间点碰撞程度高于所述物体的碰撞敏感度则停止所述机器人移动,以防止危险的发生。
14.一种基于碰撞程度检测的机器人抓取装置,其特征在于,所述装置包括:
计算模块,用于根据所述机器人的操作末端的夹具、以及待抓取的物体,计算所述机器人抓取所述物体的所有抓取位姿;
第二确定模块,用于根据所述物体的第一对称程度、以及所述夹具与所述物体的接触点集合的第二对称程度,在抓取位姿中确定与所述机器人的当前位姿间相比变换程度最小的目标位姿;
第三控制模块,用于对所述夹具进行碰撞程度检测进而确定由当前位姿至所述目标位姿的移动路径,进而将所述移动路径离散化后的各轨迹点发送至所述机器人完成抓取操作。
15.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的机器人运动规划方法,或者,权利要求6至7中任一项所述的基于碰撞程度检测的机器人路径规划方法,或者,权利要求8至11中任一项所述的基于碰撞程度检测的机器人抓取方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的机器人运动规划方法,或者,权利要求6至7中任一项所述的基于碰撞程度检测的机器人路径规划方法,或者,权利要求8至11中任一项所述的基于碰撞程度检测的机器人抓取方法。
CN202010440673.4A 2020-05-22 2020-05-22 机器人运动规划方法、路径规划方法、抓取方法及其装置 Active CN111504328B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN202010440673.4A CN111504328B (zh) 2020-05-22 2020-05-22 机器人运动规划方法、路径规划方法、抓取方法及其装置
CN202110866359.7A CN114061580B (zh) 2020-05-22 2020-05-22 基于对称程度的机器人抓取方法、装置、电子设备及介质
EP20936812.5A EP4155675A1 (en) 2020-05-22 2020-10-20 Robot motion planning method, path planning method, grabbing method and devices thereof
JP2022506756A JP7410270B2 (ja) 2020-05-22 2020-10-20 ロボット動作計画方法、経路計画方法、把持方法及びその装置
KR1020227003435A KR20220025887A (ko) 2020-05-22 2020-10-20 로봇 운동 계획 방법, 경로 계획 방법, 그립핑 방법 및 그 장치
PCT/CN2020/122219 WO2021232669A1 (zh) 2020-05-22 2020-10-20 机器人运动规划方法、路径规划方法、抓取方法及其装置
US17/574,798 US20220134559A1 (en) 2020-05-22 2022-01-13 Method and apparatus for motion planning of robot, method and apparatus for path planning of robot, and method and apparatus for grasping of robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010440673.4A CN111504328B (zh) 2020-05-22 2020-05-22 机器人运动规划方法、路径规划方法、抓取方法及其装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110866359.7A Division CN114061580B (zh) 2020-05-22 2020-05-22 基于对称程度的机器人抓取方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN111504328A true CN111504328A (zh) 2020-08-07
CN111504328B CN111504328B (zh) 2022-07-08

Family

ID=71878547

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110866359.7A Active CN114061580B (zh) 2020-05-22 2020-05-22 基于对称程度的机器人抓取方法、装置、电子设备及介质
CN202010440673.4A Active CN111504328B (zh) 2020-05-22 2020-05-22 机器人运动规划方法、路径规划方法、抓取方法及其装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110866359.7A Active CN114061580B (zh) 2020-05-22 2020-05-22 基于对称程度的机器人抓取方法、装置、电子设备及介质

Country Status (6)

Country Link
US (1) US20220134559A1 (zh)
EP (1) EP4155675A1 (zh)
JP (1) JP7410270B2 (zh)
KR (1) KR20220025887A (zh)
CN (2) CN114061580B (zh)
WO (1) WO2021232669A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112025701A (zh) * 2020-08-11 2020-12-04 浙江大华技术股份有限公司 抓取物体的方法、装置、计算设备和存储介质
CN112258576A (zh) * 2020-10-16 2021-01-22 青岛滨海学院 一种基于图像处理的重叠细导线抓取系统及方法
CN112464410A (zh) * 2020-12-02 2021-03-09 熵智科技(深圳)有限公司 一种工件抓取顺序的确定方法、装置、计算机设备及介质
CN112802093A (zh) * 2021-02-05 2021-05-14 梅卡曼德(北京)机器人科技有限公司 对象抓取方法及装置
CN113246143A (zh) * 2021-06-25 2021-08-13 视比特(长沙)机器人科技有限公司 一种机械臂动态避障轨迹规划方法及装置
WO2021232669A1 (zh) * 2020-05-22 2021-11-25 梅卡曼德(北京)机器人科技有限公司 机器人运动规划方法、路径规划方法、抓取方法及其装置
CN113741454A (zh) * 2021-08-31 2021-12-03 浙江大学 一种基于搜索的多智能体路径规划方法及系统
CN113954073A (zh) * 2021-11-08 2022-01-21 北京华航唯实机器人科技股份有限公司 机器人活动部件的轨迹分析方法及装置、机器人设备
CN114129263A (zh) * 2021-11-29 2022-03-04 武汉联影智融医疗科技有限公司 手术机器人路径规划方法、系统、设备及存储介质
CN114310892A (zh) * 2021-12-31 2022-04-12 梅卡曼德(北京)机器人科技有限公司 基于点云数据碰撞检测的物体抓取方法、装置和设备
CN114872043A (zh) * 2022-05-09 2022-08-09 苏州艾利特机器人有限公司 一种机器人碰撞检测方法、存储介质及电子设备
CN115576332A (zh) * 2022-12-07 2023-01-06 广东省科学院智能制造研究所 一种任务级多机器人协同运动规划系统与方法
CN117562661A (zh) * 2024-01-15 2024-02-20 深圳惟德精准医疗科技有限公司 检测机械臂碰撞的方法及相关产品

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240058961A1 (en) 2021-01-12 2024-02-22 Kawasaki Jukogyo Kabushiki Kaisha Path generation device, path generation method, and path generation program
JP2024034216A (ja) * 2022-08-31 2024-03-13 オムロン株式会社 ロボットの動作経路を生成する装置、方法およびプログラム
KR102650464B1 (ko) * 2022-10-31 2024-03-25 한국철도기술연구원 자율 주행 로봇을 이용한 이미지 학습 기반 지도 업데이트 방법 및 이를 활용한 주행 모니터링 시스템
CN117444989B (zh) * 2023-12-25 2024-03-22 常州微亿智造科技有限公司 一种用于路径规划的碰撞检测方法及装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101512453A (zh) * 2006-09-14 2009-08-19 Abb研究有限公司 避免工业机器人与物体之间碰撞的方法和设备
DE102013019450A1 (de) * 2013-11-21 2015-05-21 Daimler Ag Verfahren zum Vermeiden einer Kollision eines Roboters mit einem Objekt
CN104850699A (zh) * 2015-05-19 2015-08-19 天津市天锻压力机有限公司 冲压线搬运机器人防碰撞控制方法
WO2016122840A1 (en) * 2015-01-26 2016-08-04 Duke University Specialized robot motion planning hardware and methods of making and using same
CN105945942A (zh) * 2016-04-05 2016-09-21 广东工业大学 一种机器人离线编程系统及方法
CN106166750A (zh) * 2016-09-27 2016-11-30 北京邮电大学 一种改进型d*机械臂动态避障路径规划方法
CN106695802A (zh) * 2017-03-19 2017-05-24 北京工业大学 基于多自由度机械臂的改进式rrt*的避障运动规划方法
CN107803831A (zh) * 2017-09-27 2018-03-16 杭州新松机器人自动化有限公司 一种aoaae层次包围盒碰撞检测方法
CN108196453A (zh) * 2018-01-24 2018-06-22 中南大学 一种机械臂运动规划群体智能计算方法
WO2018193130A1 (de) * 2017-04-21 2018-10-25 Roboception Gmbh Verfahren zur erstellung einer datenbank mit greiferposen, verfahren zum steuern eines roboters, computerlesbares speichermedium und handhabungssystem
CN109816730A (zh) * 2018-12-20 2019-05-28 先临三维科技股份有限公司 工件抓取方法、装置、计算机设备和存储介质
CN110340890A (zh) * 2019-06-27 2019-10-18 北京控制工程研究所 一种空间机械臂全局无碰轨迹规划系统
WO2020040979A1 (en) * 2018-08-23 2020-02-27 Realtime Robotics, Inc. Collision detection useful in motion planning for robotics
US20200078939A1 (en) * 2018-09-10 2020-03-12 Kindred Systems Inc. System and method for robotic gripping utilizing dynamic collision modeling for vacuum suction and finger control
CN111015655A (zh) * 2019-12-18 2020-04-17 深圳市优必选科技股份有限公司 机械臂抓取方法、装置、计算机可读存储介质及机器人

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH103308A (ja) * 1996-06-18 1998-01-06 Fanuc Ltd 産業用ロボットの干渉回避方法
CN102773858B (zh) * 2012-07-17 2015-06-03 北京航空航天大学 一种码垛机器人的避障方法
CN105598965B (zh) * 2015-11-26 2018-03-16 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
CN106166749B (zh) * 2016-06-29 2018-09-18 北京控制工程研究所 一种空间移动多臂机器人的移动轨迹规划方法
CN107253180B (zh) * 2017-01-22 2023-06-16 梅卡曼德(北京)机器人科技有限公司 一种基于工业机器人的物体姿态调整装置及姿态调整方法
JP6598814B2 (ja) * 2017-04-05 2019-10-30 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
WO2018218438A1 (zh) * 2017-05-27 2018-12-06 深圳配天智能技术研究院有限公司 一种机器人及调整机器人姿态的方法
CN110411446B (zh) * 2018-04-28 2023-09-08 深圳果力智能科技有限公司 一种机器人的路径规划方法
CN112041125B (zh) 2018-05-10 2023-11-24 松下知识产权经营株式会社 机器人的控制方法
US10456915B1 (en) * 2019-01-25 2019-10-29 Mujin, Inc. Robotic system with enhanced scanning mechanism
CN109986560B (zh) * 2019-03-19 2023-02-14 埃夫特智能装备股份有限公司 一种面向多目标种类的机械臂自适应抓取方法
CN114061580B (zh) * 2020-05-22 2023-12-29 梅卡曼德(北京)机器人科技有限公司 基于对称程度的机器人抓取方法、装置、电子设备及介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101512453A (zh) * 2006-09-14 2009-08-19 Abb研究有限公司 避免工业机器人与物体之间碰撞的方法和设备
DE102013019450A1 (de) * 2013-11-21 2015-05-21 Daimler Ag Verfahren zum Vermeiden einer Kollision eines Roboters mit einem Objekt
WO2016122840A1 (en) * 2015-01-26 2016-08-04 Duke University Specialized robot motion planning hardware and methods of making and using same
CN104850699A (zh) * 2015-05-19 2015-08-19 天津市天锻压力机有限公司 冲压线搬运机器人防碰撞控制方法
CN105945942A (zh) * 2016-04-05 2016-09-21 广东工业大学 一种机器人离线编程系统及方法
CN106166750A (zh) * 2016-09-27 2016-11-30 北京邮电大学 一种改进型d*机械臂动态避障路径规划方法
CN106695802A (zh) * 2017-03-19 2017-05-24 北京工业大学 基于多自由度机械臂的改进式rrt*的避障运动规划方法
WO2018193130A1 (de) * 2017-04-21 2018-10-25 Roboception Gmbh Verfahren zur erstellung einer datenbank mit greiferposen, verfahren zum steuern eines roboters, computerlesbares speichermedium und handhabungssystem
CN107803831A (zh) * 2017-09-27 2018-03-16 杭州新松机器人自动化有限公司 一种aoaae层次包围盒碰撞检测方法
CN108196453A (zh) * 2018-01-24 2018-06-22 中南大学 一种机械臂运动规划群体智能计算方法
WO2020040979A1 (en) * 2018-08-23 2020-02-27 Realtime Robotics, Inc. Collision detection useful in motion planning for robotics
US20200078939A1 (en) * 2018-09-10 2020-03-12 Kindred Systems Inc. System and method for robotic gripping utilizing dynamic collision modeling for vacuum suction and finger control
CN109816730A (zh) * 2018-12-20 2019-05-28 先临三维科技股份有限公司 工件抓取方法、装置、计算机设备和存储介质
CN110340890A (zh) * 2019-06-27 2019-10-18 北京控制工程研究所 一种空间机械臂全局无碰轨迹规划系统
CN111015655A (zh) * 2019-12-18 2020-04-17 深圳市优必选科技股份有限公司 机械臂抓取方法、装置、计算机可读存储介质及机器人

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021232669A1 (zh) * 2020-05-22 2021-11-25 梅卡曼德(北京)机器人科技有限公司 机器人运动规划方法、路径规划方法、抓取方法及其装置
CN112025701A (zh) * 2020-08-11 2020-12-04 浙江大华技术股份有限公司 抓取物体的方法、装置、计算设备和存储介质
CN112258576A (zh) * 2020-10-16 2021-01-22 青岛滨海学院 一种基于图像处理的重叠细导线抓取系统及方法
CN112464410A (zh) * 2020-12-02 2021-03-09 熵智科技(深圳)有限公司 一种工件抓取顺序的确定方法、装置、计算机设备及介质
CN112802093B (zh) * 2021-02-05 2023-09-12 梅卡曼德(北京)机器人科技有限公司 对象抓取方法及装置
CN112802093A (zh) * 2021-02-05 2021-05-14 梅卡曼德(北京)机器人科技有限公司 对象抓取方法及装置
CN113246143A (zh) * 2021-06-25 2021-08-13 视比特(长沙)机器人科技有限公司 一种机械臂动态避障轨迹规划方法及装置
CN113741454A (zh) * 2021-08-31 2021-12-03 浙江大学 一种基于搜索的多智能体路径规划方法及系统
CN113954073A (zh) * 2021-11-08 2022-01-21 北京华航唯实机器人科技股份有限公司 机器人活动部件的轨迹分析方法及装置、机器人设备
CN113954073B (zh) * 2021-11-08 2024-03-22 北京华航唯实机器人科技股份有限公司 机器人活动部件的轨迹分析方法及装置、机器人设备
CN114129263A (zh) * 2021-11-29 2022-03-04 武汉联影智融医疗科技有限公司 手术机器人路径规划方法、系统、设备及存储介质
CN114129263B (zh) * 2021-11-29 2023-07-25 武汉联影智融医疗科技有限公司 手术机器人路径规划方法、系统、设备及存储介质
CN114310892A (zh) * 2021-12-31 2022-04-12 梅卡曼德(北京)机器人科技有限公司 基于点云数据碰撞检测的物体抓取方法、装置和设备
CN114872043A (zh) * 2022-05-09 2022-08-09 苏州艾利特机器人有限公司 一种机器人碰撞检测方法、存储介质及电子设备
CN114872043B (zh) * 2022-05-09 2023-11-17 苏州艾利特机器人有限公司 一种机器人碰撞检测方法、存储介质及电子设备
CN115576332A (zh) * 2022-12-07 2023-01-06 广东省科学院智能制造研究所 一种任务级多机器人协同运动规划系统与方法
CN115576332B (zh) * 2022-12-07 2023-03-24 广东省科学院智能制造研究所 一种任务级多机器人协同运动规划系统与方法
CN117562661A (zh) * 2024-01-15 2024-02-20 深圳惟德精准医疗科技有限公司 检测机械臂碰撞的方法及相关产品
CN117562661B (zh) * 2024-01-15 2024-03-22 深圳惟德精准医疗科技有限公司 检测机械臂碰撞的方法及相关产品

Also Published As

Publication number Publication date
CN114061580B (zh) 2023-12-29
KR20220025887A (ko) 2022-03-03
JP7410270B2 (ja) 2024-01-09
CN111504328B (zh) 2022-07-08
JP2022543115A (ja) 2022-10-07
CN114061580A (zh) 2022-02-18
WO2021232669A1 (zh) 2021-11-25
EP4155675A1 (en) 2023-03-29
US20220134559A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
CN111504328B (zh) 机器人运动规划方法、路径规划方法、抓取方法及其装置
US10894324B2 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
Song et al. CAD-based pose estimation design for random bin picking using a RGB-D camera
US9393693B1 (en) Methods and systems for determining and modeling admissible gripper forces for robotic devices
US9333649B1 (en) Object pickup strategies for a robotic device
EP3222393B1 (en) Automated guidance system and method for a coordinated movement machine
JP6771744B2 (ja) ハンドリングシステム及びコントローラ
JP5250858B2 (ja) 複数ロボットの衝突検知方法及びロボット装置
Kaipa et al. Addressing perception uncertainty induced failure modes in robotic bin-picking
US11701777B2 (en) Adaptive grasp planning for bin picking
JP7454132B2 (ja) ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
WO2023187006A1 (en) Controlling a robotic manipulator for packing an object
Dyrstad et al. Bin picking of reflective steel parts using a dual-resolution convolutional neural network trained in a simulated environment
De Gregorio et al. Robotfusion: Grasping with a robotic manipulator via multi-view reconstruction
CN117794704A (zh) 机器人控制设备、机器人控制系统以及机器人控制方法
CN108858162B (zh) 四轴机械臂的位置确定方法和装置
JP7415013B2 (ja) ロボットの構成部材の干渉を検出するロボット装置
JP7398662B2 (ja) ロボット多面グリッパアセンブリ及びその操作方法
JP7218881B1 (ja) 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法
Costanzo et al. Flexible Motion Planning for Object Manipulation in Cluttered Scenes.
Mendoza et al. Online 3-d trajectory estimation of a flying object from a monocular image sequence for catching
CN113021333A (zh) 一种物体的抓取方法、系统及终端设备
Herrejon et al. Trajectory estimation of a flying object using high speed vision for catching
Herrejon et al. Composite visual servoing for catching a 3-D flying object using RLS trajectory estimation from a monocular image sequence
Abhishek et al. Grasp planning for a two-fingered parallel-jawed gripper

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant