CN111015662A - 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备 - Google Patents

一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备 Download PDF

Info

Publication number
CN111015662A
CN111015662A CN201911360447.9A CN201911360447A CN111015662A CN 111015662 A CN111015662 A CN 111015662A CN 201911360447 A CN201911360447 A CN 201911360447A CN 111015662 A CN111015662 A CN 111015662A
Authority
CN
China
Prior art keywords
grabbing
conveyor belt
pose
real
dynamically
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911360447.9A
Other languages
English (en)
Other versions
CN111015662B (zh
Inventor
王凯翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dorabot Robotics Co ltd
Original Assignee
Shenzhen Dorabot Robotics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dorabot Robotics Co ltd filed Critical Shenzhen Dorabot Robotics Co ltd
Priority to CN201911360447.9A priority Critical patent/CN111015662B/zh
Publication of CN111015662A publication Critical patent/CN111015662A/zh
Application granted granted Critical
Publication of CN111015662B publication Critical patent/CN111015662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Abstract

本发明公开了一种动态抓取物体的方法、系统以及设备。该方法包括传送带上的物体完成视觉识别，获得物体的信息和初步抓取位姿，将此时物体在传送带上的位置标记为起始位置；根据预设的时间周期，轮询是否有物体在可抓取范围内，如果已有至少一个物体在可抓取范围，则选择一个物体做抓取规划，如果没有物体在可抓取范围，则对第一个即将进入可抓取范围的物体做抓取规划；根据物体的初步抓取位姿、起始位置、传送带的运动速度，计算物体在传送带的实时位置和物体的实时抓取位姿；机械臂运动至物体的实时位置的上方，对物体进行抓取。通过本发明，能够对运动中的物体进行智能实时抓取，极大程度提高了动态抓取物体的效率和准确性。

Description

一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系 统、设备
技术领域
本发明涉及垃圾分拣技术领域，尤其涉及一种动态抓取物体的方法、系统设备和动态抓取垃圾的方法、系统、设备。
背景技术
随着现代人们生活水平的提高和各项消费的增加，城市垃圾产生量日益增多，环境状况也逐渐恶化。面对此种局面，垃圾分类是解决日益增多垃圾的最有效方式，也是对垃圾进行有效处置的一种科学管理方法。如何通过垃圾分类管理，最大限度地实现垃圾资源利用，减少垃圾处置的数量，改善生存环境状态，是当前中国乃至世界各国共同关注的迫切问题。
垃圾分类在源头将垃圾分类投放，目前垃圾主要分为可回收垃圾、有害垃圾、干垃圾、湿垃圾等。其中，可回收垃圾又主要包括废纸、塑料、玻璃、金属等几大类。可回收垃圾是可以再生循环的垃圾。因此对可回收垃圾进行分类回收再利用十分的有必要。
目前，可回收垃圾的分类回收方法主要包括人工拣选、风选等，其人工成本高，处理效率低，准确度也不高。
发明内容
有鉴于此，本发明的目的在于提供一种抓取可回收垃圾的方法、设备以及存储介质，以解决人工拣选可回收垃圾导致的效率低的问题。
本发明解决上述技术问题所采用的技术方案如下：
根据本发明的第一个方面，提供一种动态抓取物体的方法，所述方法包括：
对传送带上的物体完成视觉识别，获得物体的信息和初步抓取位姿，将此时物体在传送带上的位置标记为起始位置；
根据预设的时间周期，轮询是否有物体在可抓取范围内，如果已有至少一个物体在可抓取范围，则选择一个物体做抓取规划，如果没有物体在可抓取范围，则对第一个即将进入可抓取范围的物体做抓取规划；
根据物体的初步抓取位姿、起始位置、传送带的运动速度，计算物体在传送带的实时位置和物体的实时抓取位姿；
根据抓取规划获得运动轨迹，机械臂运动至物体的实时位置的上方，对物体进行抓取。
根据本发明的第二个方面，提供一种动态抓取物体的系统，所述系统包括：
传送带，用于传送物体；
视觉识别装置，用于对传送带上的物体完成视觉识别，获得物体的信息，发送给服务器；
服务器，用于根据物体的信息，计算初步抓取位姿，将此时物体在传送带上的位置标记为起始位置；
机械臂，用于根据预设的时间周期，轮询是否有物体在可抓取范围内，如果已有至少一个物体在可抓取范围，则选择一个物体做抓取规划，如果没有物体在可抓取范围，则对第一个即将进入可抓取范围的物体做抓取规划，根据物体的初步抓取位姿、起始位置、传送带的运动速度，计算得出物体在传送带的实时位置和物体的实时抓取位姿，根据抓取规划获得运动轨迹，机械臂运动至物体的实时位置的上方，对物体进行抓取。
根据本发明的第三个方面，提供一种动态抓取物体的设备，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现动态抓取物体的步骤。
根据本发明的第四个方面，提供一种动态抓取垃圾的方法，所述方法包括：
获取传送带上物体的信息；
根据物体信息，计算初步抓取位姿，将此时物体在传送带上的位置标记为起始位置；
对传送带上物体做抓取规划；
根据物体的初步抓取位姿、起始位置、传送带的运动速度，计算物体在传送带的实时位置和物体的实时抓取位姿；
根据物体的实时抓取位姿和抓取规划，机械臂对物体进行抓取；
根据物体的种类，机械臂将物体放置在对应的垃圾桶中。
根据本发明的第五个方面，提供一种动态抓取垃圾的系统，所述系统包括：
传送带，用于传送物体，所述物体为可回收垃圾；
垃圾桶，用于分类收纳可回收垃圾；
视觉识别装置，用于获取传送带上物体的信息，并发送给服务器；
服务器，用于根据物体信息，计算初步抓取位姿，将此时物体在传送带上的位置标记为起始位置，对传送带上物体做抓取规划，根据物体的初步抓取位姿、起始位置、传送带的运动速度，计算物体在传送带的实时位置和物体的实时抓取位姿；
机械臂，用于根据根据物体的实时抓取位姿和抓取规划，对物体进行抓取，并根据物体的种类将物体放置在对应的垃圾桶中。
根据本发明的第六个方面，提供一种动态抓取垃圾的设备，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现动态抓取垃圾的步骤。
本发明实施例的动态抓取物体的方法、系统、设备和动态抓取垃圾的方法、系统、设备，能够对运动中的物体尤其是可回收垃圾进行智能实时抓取，极大程度提高了动态抓取物体的效率和准确性。
附图说明
图1为本发明实施例一提供的动态抓取物体方法的流程图；
图2为本发明实施例二提供的动态抓取物体系统的示意图；
图3为本发明实施例四提供的动态抓取垃圾方法的流程图；
图4为本发明实施例五提供的动态抓取垃圾方法系统的示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，如果使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
本发明实施例一提供了一种动态抓取物体的的方法。如图1所示，所述动态抓取物体方法包括：
步骤S101、对传送带上的物体完成视觉识别，获得物体的信息和初步抓取位姿，将此时物体在传送带上的位置标记为起始位置；
可以通过RGB相机拍摄传送带上的物体完成视觉识别，获取传送带上物体的原始图像RGB图像和深度信息。
优选地，获得物体的初步抓取位姿，具体方式为：
通过视觉识别获得物体的世界坐标点云，计算得到物体的初步抓取位姿，初步抓取位姿G由Gx,Gy,Gz,Gα,Gβ,Gθ六个变量表示，其中(Gx,Gy,Gz)表示抓取位姿的空间位置坐标，(Gα,Gβ,Gθ)表示抓取位姿的单位方向向量。
其中，如何获得物体的世界坐标点云，在后面的实施例中会一一详细说明，这里不再赘述。
步骤S102、根据预设的时间周期，轮询是否有物体在可抓取范围内，如果已有至少一个物体在可抓取范围，则选择一个物体做抓取规划，如果没有物体在可抓取范围，则对第一个即将进入可抓取范围的物体做抓取规划；
具体地，如果已有至少一个物体在可抓取范围，则选择一个物体做抓取规划，其具体方式为：
选择第一个即将离开可抓取范围内的物体做抓取规划；
或者，选择可抓取范围内抓取效率最优化的物体做抓取规划。比如选择离机械臂当前位置最近的物体、或者形状最适合夹取的物体等等其它抓取效率最优化的物体准备抓取。
步骤S103、根据物体的初步抓取位姿、起始位置、传送带的运动速度，计算物体在传送带的实时位置和物体的实时抓取位姿；
优选地，所述计算得出物体的实时抓取位姿，具体方式为：
设传送带的传输速度恒定为V，在x和y方向的速度分别为Vx和Vy，G(T)为根据T时刻获取的RGB图像和深度图像计算得到的初步抓取位姿，则各物体的实时抓取位姿G(t)的计算公式为：
Gx(t)＝Gx(T)+Vxⅹ(t-T),
Gy(t)＝Gy(T)+Vyⅹ(t-T),
GZ(t)＝GZ，Gα(t)＝Gα，Gβ(t)＝Gβ，Gθ(t)＝Gθ。
步骤S104、根据抓取规划获得运动轨迹，机械臂运动至物体的实时位置的上方，对物体进行抓取。
优选地，根据抓取规划的运动轨迹，机械臂运动至物体的实时位置的上方，对物体进行抓取，具体方式为：
机械臂运动至物体的实时位置上方，在水平方向上机械臂跟随物体匀速运动，在竖直方向上，先将末端执行器向下移动不断接近物体的上表面，然后末端执行器张开抓取物体，关闭末端执行器在设定时间内实现稳定抓取，再抬起末端执行器完成移动抓取。
请继续参阅图2，为本发明实施例二提供的一种动态抓取物体的系统的示意图。如图2所示，所述动态抓取物体的系统包括：
传送带201，用于传送物体；
视觉识别装置202，用于对传送带201上的物体完成视觉识别，获得物体的信息，发送给服务器203；
优选地，视觉识别装置202可以为RGB相机。获得的物体信息包括物体的原始图像RGB图像和深度信息。
服务器203，用于根据视觉识别装置202获得的物体信息，计算初步抓取位姿，将此时物体在传送带上的位置标记为起始位置；
具体地，通过视觉识别装置202获得物体信息，通过物体信息得到物体的世界坐标点云，再根据世界坐标点，计算得到物体的初步抓取位姿，初步抓取位姿G由Gx,Gy,Gz,Gα,Gβ,Gθ六个变量表示，其中(Gx,Gy,Gz)表示抓取位姿的空间位置坐标，(Gα,Gβ,Gθ)表示抓取位姿的单位方向向量。
机械臂204，用于根据预设的时间周期，轮询是否有物体在可抓取范围内，如果已有至少一个物体在可抓取范围，则选择一个物体做抓取规划，如果没有物体在可抓取范围，则对第一个即将进入可抓取范围的物体做抓取规划，根据服务器203计算得到的物体的初步抓取位姿、起始位置、传送带的运动速度，计算得出物体在传送带的实时位置和物体的实时抓取位姿，根据抓取规划获得运动轨迹，机械臂204运动至物体的实时位置的上方，对物体进行抓取。
优选地，机械臂201运动至物体的实时位置的上方，对物体进行抓取，具体方式为：
机械臂204运动至物体的实时位置上方，在水平方向上机械臂跟随物体匀速运动，在竖直方向上，先将末端执行器向下移动不断接近物体的上表面，然后末端执行器张开抓取物体，关闭末端执行器在设定时间内实现稳定抓取，再抬起末端执行器完成移动抓取。
在本实施例中，机械臂204的末端执行器为夹爪。可以自动适应不同形状的物品抓取。夹爪由一个气动的平行夹控制五对手指的打开，并由每对手指上的弹簧提供夹力。在实际应用中，末端执行器还可以是其他形式的抓具或者吸盘。
其中，轮询的时间周期可以根据需要预先设定。
通过实施例一和二提供的动态抓取物体的方法、系统，对运动中的物体进行视觉识别和抓取抓取规划，实现了智能实时抓取，极大程度提高了动态抓取物体的效率和准确性。
在前述实施例的基础上，本发明实施例三提供了一种动态抓取物体的设备，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现第一实施例和第二实施例的动态抓取物体的步骤。
动态抓取物体的方法可以适用于许多种应用场景。例如抓取可回收垃圾、抓取邮政包裹等等。下面以抓取传送带上移动的可回收垃圾为例，详细进行说明。
请参阅图3，为本发明实施例四提供的一种动态抓取垃圾的方法的流程图。
如图3所示，所述动态抓取垃圾的方法包括：
步骤S301、获取传送带上物体的信息；
获取传送带上各物体的信息包括获取传送带上物体的RGB图像和深度信息。
优选地，可以通过RGB相机拍摄传送带上的物体，来获取传送带上物体的原始图像RGB图像和深度信息。
步骤S302、根据物体信息，计算初步抓取位姿，将此时物体在传送带上的位置标记为起始位置；
优选地，计算物体的初步抓取位姿，具体包括：
根据获取的物体的RGB图像，对RGB图像进行分割和分类；
将分割后的RGB图像与对应的深度信息匹配，获取各物体在世界坐标的点云；
根据所述各物体在世界坐标的点云，计算物体的初步抓取位姿。
进一步地，所述对RGB图像进行分割和分类，具体方式为：
通过基于深度卷积神经网络模型的实例分割算法，对RGB图像进行分割，得到各个物体在RGB图像中的区域、各个物体所属的垃圾种类。
其中，神经网路模型预先进行过训练。
对神经网络预先进行训练，可以采用下面的方法：
神经网络获得多个物体的训练图像；
根据当前垃圾回收任务的定义，获得训练图像中完整度达到70％的物体的标注；
根据所述训练图像和对应的标注对神经网络进行训练。
其中，训练图像可以是成千上万个不同种类的可回收垃圾物体的图像，通过越多的训练图像能够训练出越精确的分类模型。训练图像中的物体包括处于不同形态、不同角度、不同距离和不同光线下的物体。再通过人工进行标注，即在训练图像中标注所要分类的物体的像素点。这里，完整度是指，在训练图像中，物体仅部分暴露在外，通过判断暴露在外的区域是否达到物体本身的70％，若是，则表示完整度达到70％。经过预先训练的神经网络能够根据RGB图像信息进行分割和分类。
进一步地，根据所述各物体在世界坐标的点云，计算物体的初步抓取位姿，具体包括：
根据所述各物体在世界坐标的点云，计算得到物体的初步抓取位姿，初步抓取位姿G由Gx,Gy,Gz,Gα,Gβ,Gθ六个变量表示，其中(Gx,Gy,Gz)表示抓取位姿的空间位置坐标，(Gα,Gβ,Gθ)表示抓取位姿的单位方向向量。
步骤S303、对传送带上物体做抓取规划；
优选地，对传送带上物体做抓取规划具体方式为：
根据预设的时间周期，轮询是否有物体在可抓取范围内，如果已有至少一个物体在可抓取范围，则选择一个物体做抓取规划，如果没有物体在可抓取范围，则对第一个即将进入可抓取范围的物体做抓取规划。
步骤S304、根据物体的初步抓取位姿、起始位置、传送带的运动速度，计算物体在传送带的实时位置和物体的实时抓取位姿；
优选地，所述计算得出物体的实时抓取位姿，具体方式为：
设传送带的传输速度恒定为V，在x和y方向的速度分别为Vx和Vy，G(T)为根据T时刻获取的RGB图像和深度图像计算得到的初步抓取位姿，计算实时抓取位姿的耗时为T，则各物体的实时抓取位姿G(t)的计算公式为：
Gx(t)＝Gx(T)+Vxⅹ(t-T),
Gy(t)＝Gy(T)+Vyⅹ(t-T),
GZ(t)＝GZ，Gα(t)＝Gα，Gβ(t)＝Gβ，Gθ(t)＝Gθ。
由于物体在传送带上跟随传送带向前匀速运动，因此当获取了各物体的初步抓取位姿后，可以根据传送带运动速度和运动时间，计算得到物体在实时抓取时刻所处传送带的位置，根据物体在实时抓取时所处的传送带上的位置和初步抓取位姿，即可以计算得到各物体的实时抓取位姿。
步骤S305、根据物体的实时抓取位姿和抓取规划，机械臂对物体进行抓取；
优选地，机械臂对物体进行抓取，具体包括：
机械臂运动至物体的实时位置上方，在水平方向上机械臂跟随物体匀速运动，在竖直方向上，先将末端执行器向下移动不断接近物体的上表面，然后末端执行器张开抓取物体，关闭末端执行器在设定时间内实现稳定抓取，再抬起末端执行器完成移动抓取。
在本实施例中，机械臂的末端执行器为夹爪。可以自动适应不同形状的物品抓取。夹爪由一个气动的平行夹控制五对手指的打开，并由每对手指上的弹簧提供夹力。在实际应用中，末端执行器还可以是其他形式的抓具或者吸盘。
步骤S306、根据物体的种类，机械臂将物体放置在对应的垃圾桶中。
请继续参阅图4，为本发明实施例五提供的一种动态抓取垃圾的系统的示意图。
如图4所示，所述动态抓取垃圾的系统包括：
传送带401，用于传送物体，所述物体为可回收垃圾；
垃圾桶402，用于分类收纳可回收垃圾；
视觉识别装置403，用于获取传送带401上物体的信息，并发送给服务器404；
服务器404，用于根据物体信息，计算初步抓取位姿，将此时物体在传送带上的位置标记为起始位置，对传送带上物体做抓取规划，根据物体的初步抓取位姿、起始位置、传送带的运动速度，计算物体在传送带的实时位置和物体的实时抓取位姿；
机械臂405，用于根据根据服务器404计算得到的物体的实时抓取位姿和抓取规划，对物体进行抓取，并根据物体的种类将物体放置在对应的垃圾桶402中。
在本实施例中，机械臂405的末端执行器为夹爪。可以自动适应不同形状的物品抓取。夹爪由一个气动的平行夹控制五对手指的打开，并由每对手指上的弹簧提供夹力。在实际应用中，末端执行器还可以是其他形式的抓具或者吸盘。
通过上述实施例四和五提供的动态抓取垃圾的方法和系统，能够对运动中的可回收垃圾进行识别分类和实时抓取，极大程度提高了动态抓取垃圾的效率和准确性。
在前述实施例的基础上，本发明实施例六提供了一种动态抓取垃圾的设备，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现第四和第五实施例的动态抓取垃圾的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (17)

1.一种动态抓取物体的方法，其特征在于，所述方法包括以下步骤：
对传送带上的物体完成视觉识别，获得物体的信息和初步抓取位姿，将此时物体在传送带上的位置标记为起始位置；
根据预设的时间周期，轮询是否有物体在可抓取范围内，如果已有至少一个物体在可抓取范围，则选择一个物体做抓取规划，如果没有物体在可抓取范围，则对第一个即将进入可抓取范围的物体做抓取规划；
根据物体的初步抓取位姿、起始位置、传送带的运动速度，计算物体在传送带的实时位置和物体的实时抓取位姿；
根据抓取规划获得运动轨迹，机械臂运动至物体的实时位置的上方，对物体进行抓取。
2.如权利要求1所述的动态抓取物体的方法，其特征在于，根据抓取规划的运动轨迹，机械臂运动至物体的实时位置的上方，对物体进行抓取，具体方式为：
机械臂运动至物体的实时位置上方，在水平方向上机械臂跟随物体匀速运动，在竖直方向上，先将末端执行器向下移动不断接近物体的上表面，然后末端执行器张开抓取物体，关闭末端执行器在设定时间内实现稳定抓取，再抬起末端执行器完成移动抓取。
3.如权利要求1所述的动态抓取物体的方法，其特征在于，如果已有至少一个物体在可抓取范围，则选择一个物体做抓取规划，具体方式为：
选择第一个即将离开可抓取范围内的物体做抓取规划；
或者，选择可抓取范围内抓取效率最优化的物体做抓取规划。
4.如权利要求1所述的动态抓取物体的方法，其特征在于，所述获得物体的初步抓取位姿，具体方式为：
通过视觉识别获得物体的世界坐标点云，计算得到物体的初步抓取位姿，初步抓取位姿G由Gx,Gy,Gz,Gα,Gβ,Gθ六个变量表示，其中(Gx,Gy,Gz)表示抓取位姿的空间位置坐标，(Gα,Gβ,Gθ)表示抓取位姿的单位方向向量。
5.如权利要求4所述的动态抓取物体的方法，其特征在于，所述计算得出物体的实时抓取位姿，具体方式为：
设传送带的传输速度恒定为V，在x和y方向的速度分别为Vx和Vy，G(T)为根据T时刻获取的RGB图像和深度图像计算得到的抓取位姿，则各物体的实时抓取位姿G(t)的计算公式为：
Gx(t)＝Gx(T)+Vxⅹ(t-T),
Gy(t)＝Gy(T)+Vyⅹ(t-T),
GZ(t)＝GZ，Gα(t)＝Gα，Gβ(t)＝Gβ，Gθ(t)＝Gθ。
6.一种动态抓取物体的系统，其特征在于，所述系统包括：
传送带，用于传送物体；
视觉识别装置，用于对传送带上的物体完成视觉识别，获得物体的信息，发送给服务器；
服务器，用于根据物体的信息，计算初步抓取位姿，将此时物体在传送带上的位置标记为起始位置；
机械臂，用于根据预设的时间周期，轮询是否有物体在可抓取范围内，如果已有至少一个物体在可抓取范围，则选择一个物体做抓取规划，如果没有物体在可抓取范围，则对第一个即将进入可抓取范围的物体做抓取规划，根据物体的初步抓取位姿、起始位置、传送带的运动速度，计算得出物体在传送带的实时位置和物体的实时抓取位姿，根据抓取规划获得运动轨迹，机械臂运动至物体的实时位置的上方，对物体进行抓取。
7.一种动态抓取物体的设备，其特征在于，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一所述的步骤。
8.一种动态抓取垃圾的方法，其特征在于，所述方法包括以下步骤：
获取传送带上物体的信息；
根据物体信息，计算初步抓取位姿，将此时物体在传送带上的位置标记为起始位置；
对传送带上物体做抓取规划；
根据物体的初步抓取位姿、起始位置、传送带的运动速度，计算物体在传送带的实时位置和物体的实时抓取位姿；
根据物体的实时抓取位姿和抓取规划，机械臂对物体进行抓取；
根据物体的种类，机械臂将物体放置在对应的垃圾桶中。
9.如权利要求8所述的动态抓取垃圾的方法，其特征在于，对传送带上物体做抓取规划，具体方式为：
根据预设的时间周期，轮询是否有物体在可抓取范围内，如果已有至少一个物体在可抓取范围，则选择一个物体做抓取规划，如果没有物体在可抓取范围，则对第一个即将进入可抓取范围的物体做抓取规划。
10.如权利要求8所述的动态抓取垃圾的方法，其特征在于，获取传送带上物体的信息包括获取传送带上物体的RGB图像和深度信息。
11.如权利要求10所述的动态抓取垃圾的方法，其特征在于，计算物体的初步抓取位姿，具体包括：
根据获取的物体的RGB图像，对RGB图像进行分割和分类；
将分割后的RGB图像与对应的深度信息匹配，获取各物体在世界坐标的点云；
根据所述各物体在世界坐标的点云，计算物体的初步抓取位姿。
12.如权利要求11所述的动态抓取垃圾的方法，其特征在于，根据所述各物体在世界坐标的点云，计算物体的初步抓取位姿，具体包括：
根据所述各物体在世界坐标的点云，计算得到物体的初步抓取位姿，初步抓取位姿G由Gx,Gy,Gz,Gα,Gβ,Gθ六个变量表示，其中(Gx,Gy,Gz)表示抓取位姿的空间位置坐标，(Gα,Gβ,Gθ)表示抓取位姿的单位方向向量。
13.如权利要求12所述的动态抓取垃圾的方法，其特征在于，所述计算得出物体的实时抓取位姿，具体方式为：
设传送带的传输速度恒定为V，在x和y方向的速度分别为Vx和Vy，G(T)为根据T时刻获取的RGB图像和深度图像计算得到的初步抓取位姿，则各物体的实时抓取位姿G(t)的计算公式为：
Gx(t)＝Gx(T)+Vxⅹ(t-T),
Gy(t)＝Gy(T)+Vyⅹ(t-T),
GZ(t)＝GZ，Gα(t)＝Gα，Gβ(t)＝Gβ，Gθ(t)＝Gθ。
14.如权利要求8所述的动态抓取垃圾的方法，其特征在于，所述对传送带上物体做抓取规划，具体方式为：
根据预设的时间周期，轮询是否有物体在可抓取范围内，如果已有至少一个物体在可抓取范围，则选择一个物体做抓取规划，如果没有物体在可抓取范围，则对第一个即将进入可抓取范围的物体做抓取规划。
15.如权利要求14所述的动态抓取垃圾的方法，其特征在于，根据物体的实时抓取位姿和抓取规划，机械臂对物体进行抓取，具体包括：
机械臂运动至物体的实时位置上方，在水平方向上机械臂跟随物体匀速运动，在竖直方向上，先将末端执行器向下移动不断接近物体的上表面，然后末端执行器张开抓取物体，关闭末端执行器在设定时间内实现稳定抓取，再抬起末端执行器完成移动抓取。
16.一种动态抓取垃圾的系统，其特征在于，所述系统包括：
传送带，用于传送物体，所述物体为可回收垃圾；
垃圾桶，用于分类收纳可回收垃圾；
视觉识别装置，用于获取传送带上物体的信息，并发送给服务器；
服务器，用于根据物体信息，计算初步抓取位姿，将此时物体在传送带上的位置标记为起始位置，对传送带上物体做抓取规划，根据物体的初步抓取位姿、起始位置、传送带的运动速度，计算物体在传送带的实时位置和物体的实时抓取位姿；
机械臂，用于根据根据物体的实时抓取位姿和抓取规划，对物体进行抓取，并根据物体的种类将物体放置在对应的垃圾桶中。
17.一种动态抓取垃圾的设备，其特征在于，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求8至15中任一所述的步骤。
CN201911360447.9A 2019-12-25 2019-12-25 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备 Active CN111015662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911360447.9A CN111015662B (zh) 2019-12-25 2019-12-25 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911360447.9A CN111015662B (zh) 2019-12-25 2019-12-25 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备

Publications (2)

Publication Number Publication Date
CN111015662A true CN111015662A (zh) 2020-04-17
CN111015662B CN111015662B (zh) 2021-09-07

Family

ID=70213445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911360447.9A Active CN111015662B (zh) 2019-12-25 2019-12-25 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备

Country Status (1)

Country Link
CN (1) CN111015662B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111890386A (zh) * 2020-08-19 2020-11-06 江苏昱博自动化设备有限公司 一种六路旋转座式助力机械手
CN112053398A (zh) * 2020-08-11 2020-12-08 浙江大华技术股份有限公司 物体抓取方法、装置、计算设备和存储介质
CN112297049A (zh) * 2020-11-05 2021-02-02 泉州装备制造研究所 一种复合抓手
CN112565616A (zh) * 2021-03-01 2021-03-26 民航成都物流技术有限公司 一种目标抓取方法、系统、装置以及可读存储介质
CN112871682A (zh) * 2020-12-08 2021-06-01 梅卡曼德(上海)机器人科技有限公司 快递供包系统、方法、设备及存储介质
CN113601501A (zh) * 2021-07-19 2021-11-05 中国科学院自动化研究所 机器人柔性作业方法、装置及机器人
CN114193425A (zh) * 2022-02-18 2022-03-18 浙江博城机器人科技有限公司 一种基于视觉检测的巡检装置及方法
CN114347033A (zh) * 2022-01-27 2022-04-15 达闼机器人有限公司 机器人物品抓取方法、装置、机器人及存储介质
TWI771004B (zh) * 2021-05-14 2022-07-11 財團法人工業技術研究院 物件姿態估測系統及其執行方法與圖案化使用者介面

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016024043A1 (en) * 2014-08-13 2016-02-18 Metrosense Oy Method, apparatus and system for sorting waste
CN106000904A (zh) * 2016-05-26 2016-10-12 北京新长征天高智机科技有限公司 一种生活垃圾自动分拣系统
CN107212976A (zh) * 2017-05-08 2017-09-29 深拓科技（深圳）有限公司 一种物体抓取设备的物体抓取方法、装置及物体抓取设备
CN109086736A (zh) * 2018-08-17 2018-12-25 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
CN109249402A (zh) * 2018-10-15 2019-01-22 深圳蓝胖子机器人有限公司 机器人、机器人自动回收垃圾方法、装置和存储介质
WO2019028528A1 (en) * 2017-08-11 2019-02-14 Bucher Municipal Pty Ltd WASTE COLLECTION SYSTEM
CN109731793A (zh) * 2018-12-17 2019-05-10 上海航天电子有限公司 一种小批量片式散料器件智能分拣设备
CN109834712A (zh) * 2019-03-01 2019-06-04 广东工业大学 一种机器人抓取顺序优化的方法
CN109927033A (zh) * 2019-04-01 2019-06-25 杭州电子科技大学 一种应用于传送带分拣的目标物体动态适配方法
CN110322512A (zh) * 2019-06-28 2019-10-11 中国科学院自动化研究所 结合小样本实例分割和三维匹配的物体位姿估计方法
WO2019218877A1 (zh) * 2018-05-18 2019-11-21 北京极智嘉科技有限公司 货物分拣系统及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016024043A1 (en) * 2014-08-13 2016-02-18 Metrosense Oy Method, apparatus and system for sorting waste
CN106000904A (zh) * 2016-05-26 2016-10-12 北京新长征天高智机科技有限公司 一种生活垃圾自动分拣系统
CN107212976A (zh) * 2017-05-08 2017-09-29 深拓科技（深圳）有限公司 一种物体抓取设备的物体抓取方法、装置及物体抓取设备
WO2019028528A1 (en) * 2017-08-11 2019-02-14 Bucher Municipal Pty Ltd WASTE COLLECTION SYSTEM
WO2019218877A1 (zh) * 2018-05-18 2019-11-21 北京极智嘉科技有限公司 货物分拣系统及方法
CN109086736A (zh) * 2018-08-17 2018-12-25 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
CN109249402A (zh) * 2018-10-15 2019-01-22 深圳蓝胖子机器人有限公司 机器人、机器人自动回收垃圾方法、装置和存储介质
CN109731793A (zh) * 2018-12-17 2019-05-10 上海航天电子有限公司 一种小批量片式散料器件智能分拣设备
CN109834712A (zh) * 2019-03-01 2019-06-04 广东工业大学 一种机器人抓取顺序优化的方法
CN109927033A (zh) * 2019-04-01 2019-06-25 杭州电子科技大学 一种应用于传送带分拣的目标物体动态适配方法
CN110322512A (zh) * 2019-06-28 2019-10-11 中国科学院自动化研究所 结合小样本实例分割和三维匹配的物体位姿估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张笑: "仿人机器人抓取算法的研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053398A (zh) * 2020-08-11 2020-12-08 浙江大华技术股份有限公司 物体抓取方法、装置、计算设备和存储介质
CN112053398B (zh) * 2020-08-11 2021-08-27 浙江大华技术股份有限公司 物体抓取方法、装置、计算设备和存储介质
CN111890386B (zh) * 2020-08-19 2021-09-28 江苏昱博自动化设备有限公司 一种六路旋转座式助力机械手
CN111890386A (zh) * 2020-08-19 2020-11-06 江苏昱博自动化设备有限公司 一种六路旋转座式助力机械手
CN112297049A (zh) * 2020-11-05 2021-02-02 泉州装备制造研究所 一种复合抓手
CN112871682A (zh) * 2020-12-08 2021-06-01 梅卡曼德(上海)机器人科技有限公司 快递供包系统、方法、设备及存储介质
CN112565616A (zh) * 2021-03-01 2021-03-26 民航成都物流技术有限公司 一种目标抓取方法、系统、装置以及可读存储介质
TWI771004B (zh) * 2021-05-14 2022-07-11 財團法人工業技術研究院 物件姿態估測系統及其執行方法與圖案化使用者介面
CN113601501A (zh) * 2021-07-19 2021-11-05 中国科学院自动化研究所 机器人柔性作业方法、装置及机器人
CN113601501B (zh) * 2021-07-19 2022-10-28 中国科学院自动化研究所 机器人柔性作业方法、装置及机器人
CN114347033A (zh) * 2022-01-27 2022-04-15 达闼机器人有限公司 机器人物品抓取方法、装置、机器人及存储介质
WO2023143408A1 (zh) * 2022-01-27 2023-08-03 达闼机器人股份有限公司 机器人物品抓取方法、装置、机器人、程序及存储介质
CN114347033B (zh) * 2022-01-27 2023-12-08 达闼机器人股份有限公司 机器人物品抓取方法、装置、机器人及存储介质
CN114193425A (zh) * 2022-02-18 2022-03-18 浙江博城机器人科技有限公司 一种基于视觉检测的巡检装置及方法

Also Published As

Publication number Publication date
CN111015662B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN111015662B (zh) 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备
CN109483554B (zh) 基于全局和局部视觉语义的机器人动态抓取方法及系统
CN110516570B (zh) 一种基于视觉的垃圾分类识别方法和装置
CN109249402B (zh) 机器人、机器人自动回收垃圾方法、装置和存储介质
CN111723782A (zh) 基于深度学习的视觉机器人抓取方法及系统
CN111445368B (zh) 基于机器视觉与深度学习的垃圾分类方法、装置及设备
CN111003380A (zh) 一种智能回收垃圾的方法、系统、设备
CN110395515B (zh) 一种货物识别抓取方法、设备以及存储介质
CN112845143A (zh) 一种生活垃圾分类智能分拣系统及方法
CN111144480A (zh) 一种可回收垃圾视觉分类方法、系统、设备
CN114029243B (zh) 一种用于分拣机器手的软物抓取识别方法
CN111626117A (zh) 基于目标检测的垃圾分拣系统及方法
CN113666028B (zh) 一种基于激光雷达和相机融合的垃圾桶检测抓取方法
CN113183138A (zh) 一种垃圾搬运分拣机器人及其控制方法
CN114952809A (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
CN110516625A (zh) 一种垃圾识别分类的方法、系统、终端及存储介质
CN112102368A (zh) 一种基于深度学习的机器人垃圾分类分拣方法
CN113469264A (zh) 一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统
CN110497419A (zh) 建筑废弃物分拣机器人
CN113420746A (zh) 机器人视觉分拣方法、装置、电子设备和存储介质
CN114029951A (zh) 基于深度相机的机器人自主识别智能抓取方法
CN113602799B (zh) 一种航空港行李箱搬运系统及其控制方法
CN113762159B (zh) 一种基于有向箭头模型的目标抓取检测方法及系统
CN113664828A (zh) 一种基于深度强化学习的机器人抓取-抛掷方法
CN113894058A (zh) 基于深度学习的品质检测与分拣方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 h6-1, H6 reservoir, Chiwan oil base, H6 reservoir, Chiwan left battery Road, Chiwan community, zhaoshang street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Lan pangzi machine intelligence Co., Ltd

Address before: B701-702, industrialization building, Shenzhen Virtual University Park, No.2, Yuexing Third Road, Nanshan District, Shenzhen, Guangdong Province

Applicant before: SHENZHEN DORABOT ROBOTICS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant