CN115384971A - 透明对象料箱拾取 - Google Patents

透明对象料箱拾取 Download PDF

Info

Publication number
CN115384971A
CN115384971A CN202210488483.9A CN202210488483A CN115384971A CN 115384971 A CN115384971 A CN 115384971A CN 202210488483 A CN202210488483 A CN 202210488483A CN 115384971 A CN115384971 A CN 115384971A
Authority
CN
China
Prior art keywords
image
objects
picking
identifying
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210488483.9A
Other languages
English (en)
Inventor
汤特
加藤哲朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN115384971A publication Critical patent/CN115384971A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/14—Other constructional features; Accessories
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/10—Refuse receptacles; Accessories therefor with refuse filling means, e.g. air-locks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/14—Other constructional features; Accessories
    • B65F1/1484—Other constructional features; Accessories relating to the adaptation of receptacles to carry identification means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/902—Devices for picking-up and depositing articles or materials provided with drive systems incorporating rotary and rectilinear movements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/138—Identification means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2240/00—Types of refuse collected
    • B65F2240/112—Bottles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35084—Geometric feature extraction, concave and convex regions, object recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Fuzzy Systems (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

一种识别待由机器人从对象的料箱中拾取的诸如透明对象的对象的系统和方法。该方法包括使用3D相机获得多个对象的2D红‑绿‑蓝(RGB)彩色图像和2D深度图图像，其中深度图图像中的像素被分配识别从相机到该多个对象的距离的值。该方法使用深度学习掩码R‑CNN(卷积神经网络)生成该多个对象的分割图像，深度学习掩码R‑CNN执行图像分割过程，图像分割过程从RGB图像中提取特征并向像素分配标签，使得分割图像中的每个对象具有相同的标签。然后该方法使用分割图像和深度图图像识别用于拾取对象的位置。

Description

透明对象料箱拾取
技术领域
本公开一般地涉及用于识别待由机器人从多个对象的料箱中拾取的对象的系统和方法，并且更具体地涉及用于识别待由机器人从多个对象的料箱中拾取的诸如透明对象之类的对象的系统和方法，其中所述方法采用将标签分配至料箱的图像中的每个像素的图像分割过程。
背景技术
机器人执行包括拾取和放置操作的多个任务，其中机器人从例如料箱之类的一个位置拾取和移动对象至诸如传送机之类的另一位置。为了识别待从料箱中拾取的对象，一些机器人系统使用产生料箱的2D红-绿-蓝(RGB)彩色图像和料箱的2D灰度深度图图像的3D相机，其中在深度图图像中的每个像素具有限定从相机到具体对象的距离的值，即越靠近对象的像素其值越低。深度图图像识别到相机视场中点云中的点的距离测量值，其中点云是由某个坐标系限定的数据点的集合，每个点都有x、y和z值。
为此目的，有两种常规类型的点云分析，即无模型点云分析和基于模型的点云分析。无模型点云分析包括识别点云中自相机的法线方向的点簇并相对于彼此分割这些簇，其中每个点云段都被识别为一个对象。基于模型的点云分析包括从对象的CAD模型创建模板，然后在点云中搜索该模板。然而，如果正被机器人拾取的对象是透明的，则光会穿过对象传播并且不会从对象的表面有效地反射。因此，相机生成的点云并不是对象的有效表示，并且深度图图像也不可靠，因此不能正确识别对象以进行拾取。
发明内容
以下讨论公开并描述了用于识别待由机器人从多个对象的料箱中拾取的对象的系统和方法。该方法包括使用3D相机获得该多个对象的2D红-绿-蓝(RGB)彩色图像和2D深度图图像，其中深度图图像中的各个像素被分配识别从相机到该多个对象的距离的值。该方法使用深度学习掩码R-CNN(卷积神经网络)生成该多个对象的分割图像，该深度学习掩码R-CNN执行图像分割过程，图像分割过程从RGB图像中提取特征并向该各个像素分配标签，使得分割图像中的每个对象具有相同的标签。然后，该方法使用分割图像和深度图图像识别用于拾取对象的位置，其中每次机器人从该多个对象的组中拾取对象时，执行获取彩色图像、获取深度图图像、生成分割图像和识别用于拾取对象的位置。
本发明的附加特征将结合附图从以下描述和所附权利要求中变得显而易见。
附图说明
图1是包括从料箱中拾取出对象的机器人的机器人系统的图示；
图2是图1示出的机器人系统中的从料箱中拾取对象的料箱拾取系统的示意性框图；以及
图3是与图2示出的系统分离的分割模块的示意性框图。
具体实施方式
对本公开实施例的对涉及用于识别待由机器人从多个对象的料箱中拾取的对象的系统和方法的以下讨论，其中该方法采用将标签分配给料箱的图像中的每个像素的图像分割过程，本质上仅仅是示例性的，并且决不旨在限制本发明或其应用或用途。例如，该系统和方法具有用于识别待被机器人拾取的透明对象的应用。然而，该系统和方法可以具有其它应用。
图1是包括机器人12的机器人系统10的图示，该机器人12具有末端执行器14，该末端执行器14被示为从料箱18拾取例如为透明瓶子的多个对象16。系统10旨在表示可以从这里的讨论中受益的任何类型的机器人系统，其中机器人12可以是适用于该目的的任何机器人。3D相机20被定位以拍摄料箱18的自上而下的图像并将它们提供给控制机器人12的运动的机器人控制器22。因为该多个对象16可以是透明的，所以控制器22不能依赖于由相机20提供的深度图图像来识别该多个对象16在料箱18中的位置。
如以下将详细讨论的，机器人控制器22采用允许机器人12拾取该多个对象16而不必依赖准确的深度图图像的算法。更具体地说，该算法使用来自3D相机20的RGB图像中的像素的不同颜色来执行图像分割过程。图像分割是将标签分配给图像中的每个像素以使得具有相同标签的像素共享某些特征的过程。因此，分割过程预测哪个像素属于该多个对象16中的哪个。
现代图像分割技术可以采用深度学习技术。深度学习是一种特殊类型的机器学习，它通过将某个现实世界环境表示为不断增加的复杂概念的层次结构来提供更好的学习性能。深度学习通常采用一种软件结构，该软件结构包括执行非线性处理的几层神经网络，其中每个连续层接收来自上一层的输出。通常，这些层包括从传感器接收原始数据的输入层、从数据中提取抽象特征的多个隐藏层，以及基于来自隐藏层的特征提取来识别特定事物的输出层。神经网络包括神经元或节点，每个神经元或节点都有一个“权重”，该“权重”乘以节点的输入，以获得某事是否正确的概率。更具体地说，每个节点都有一个权重，该权重是一个浮点数，其与该节点的输入相乘以生成该节点的输出，该输出占输入的某个比例。通过使神经网络在监督处理下分析一组已知数据并通过最小化成本函数以允许网络获得正确输出的最高概率来初始“训练”或设置权重。
图2是料箱拾取系统30的示意性框图，该系统是机器人系统10中的控制器22的一部分，该系统操作以从料箱18中拾取该多个对象16。系统30从相机20接收料箱18的顶视图的2D RGB图像32和料箱18的顶视图的2D深度图图像34，其中深度图图像34可能不可靠，因为该多个对象16能够是透明的。图像32被提供给执行图像分割过程的分割模块36，其中图像32中的每个像素被分配特定标签并且其中与相同对象16相关联的像素具有相同标签。
图3是与系统30分离的模块36的示意框图。RGB图像32被提供给特征提取模块42，其执行从图像32中提取特征的滤波过程。例如，模块42可以包括基于学习的神经网络，其从图像32中提取梯度、边缘、轮廓、基本形状等，并以已知的方式提供RGB图像32的提取特征图像44。特征图像44被提供给区域提议模块50，其使用神经网络分析RGB图像32中的识别的特征并提议或识别边界框图像54中的多个边界框52，这些边界框52识别该多个对象16中的一个存在于图像54中边界框52的位置处的概率。边界框图像54被提供给二元分割模块56，其使用神经网络评估像素是否属于该多个边界框52中的一个。像素被分配用于特定对象16的值，从而生成2D分割图像58，其通过诸如颜色的不同标记来识别该多个对象16。因此，所描述的图像分割过程是深度学习掩码R-CNN(卷积神经网络)的改进形式。
然后将具有x-y像素坐标的2D分割图像58提供给中心像素模块60，其确定在图像58中该多个对象16的一个的中心像素的x-y坐标，其中初步提供对象16被拾取的次序的预安排过程。选定对象16的所识别的中心像素与计算该对象16的中心像素的x-y-z笛卡尔坐标的深度图图像34一起被提供给笛卡尔坐标模块62，其中深度图图像34评估或预测每个像素在现实世界中的位置，尽管该预测不是很可靠。该对象16的中心像素的x-y-z坐标然后用于在抓取位置模块64中识别用于定位末端执行器14的x-y-z抓取位置。选定对象16的中心像素的x-y坐标也被发送到抓取定向模块66，其使用例如为本领域技术人员所熟知的针孔相机模型基于从相机24到对象16的中心像素的射线方向确定机器人12的抓取定向，即滚动、俯仰和偏航，其中末端执行器14在其正在拾取对象16时的运动将沿着射线方向移动并与射线方向对齐。因为深度图图像34不能提供相机24和对象16之间的准确距离，所以需要确定自相机24的射线方向。
末端执行器14的抓取位置和末端执行器14的抓取定向在抓取姿势模块68中组合以提供末端执行器14的抓取姿势，其中抓取姿势包括末端执行器14的x-y-z坐标以及偏航、俯仰和滚动位置，以提供末端执行器14沿射线方向到对象16的接近方向。碰撞检查模块70确定抓取姿势是否将导致末端执行器14沿计算的射线方向与料箱18的底部发生碰撞，其中到料箱18底部的距离是已知的。如果抓取姿势会导致沿射线方向与料箱18发生碰撞，则在安全缓冲区模块72中创建安全缓冲区以限制机器人12沿射线方向的运动。
当末端执行器14沿射线方向移动时，它最终会接触到被拾取的对象16，其中，在这个实施例中，末端执行器14使用真空吸盘(未示出)来拾取对象16。接触检测模块74通过检测真空中的压力差来检测真空吸盘已经与对象16接触。机器人12停止其运动并在拾取模块76处拾取对象16或到达缓冲距离，在此它将不会拾取对象16。一旦对象16被机器人12拾取并移动，相机20将拍摄料箱18的新图像以拾取下一个对象16。这个过程一直持续到该多个对象16的全部都已经被拾取。
如本领域技术人员将充分理解的，这里讨论的用于描述本公开的若干和各种步骤和处理可以指由计算机、处理器或其它电子计算设备使用电现象操纵和/或转换数据来执行的操作。那些计算机和电子设备可以使用各种易失性和/或非易失性存储器，其包括具有存储在其上的可执行程序的非瞬态计算机可读介质，该可执行程序包括能够由计算机或处理器执行的各种代码或可执行指令，其中存储器和/或计算机可读介质可以包括所有形式和类型的存储器和其它计算机可读介质。
前述讨论仅公开和描述了本公开的示例性实施例。本领域的技术人员将从这样的讨论以及从附图和权利要求中容易地认识到，可以在其中做出各种改变、修改和变化而不背离如在所附权利要求中限定的本发明的精神和范围。

Claims (20)

1.一种用于从多个对象的组中拾取对象的方法，所述方法包括：
使用3D相机获取所述多个对象的2D红-绿-蓝(RGB)彩色图像；
使用所述3D相机获取所述多个对象的2D深度图图像，其中在所述深度图图像中的各个像素被分配识别从所述相机到所述多个对象的距离的值；
通过执行图像分割过程来生成所述多个对象的分割图像，所述图像分割过程从所述RGB图像中提取特征并且将标签分配给所述分割图像中的各个像素，使得所述分割图像中的每个对象具有相同的标签；以及
使用所述分割图像和所述深度图图像来识别用于拾取所述对象的位置。
2.根据权利要求1所述的方法，其中，生成分割图像包括使用深度学习掩码R-CNN(卷积神经网络)。
3.根据权利要求1所述的方法，其中，生成分割图像包括根据所提取的特征来生成多个边界框，所述多个边界框识别所述多个对象中的一个存在于特定位置的概率。
4.根据权利要求3所述的方法，其中，生成多个边界框包括使用区域提议过程。
5.根据权利要求3所述的方法，其中，生成分割图像包括提供二元分割，其确定哪些图像像素属于哪个边界框。
6.根据权利要求1所述的方法，其中，识别用于拾取所述对象的位置包括识别在所述分割图像中所述对象的中心像素以及使用所述分割图像和所述深度图图像来计算所述中心像素的x-y-z坐标。
7.根据权利要求6所述的方法，其中，识别用于拾取所述对象的位置包括确定用于拾取所述对象的x-y-z抓取位置。
8.根据权利要求7所述的方法，其中，识别用于拾取所述对象的位置包括识别用于拾取所述对象的抓取定向，所述抓取定向由从所述相机到所述中心像素的射线方向限定。
9.根据权利要求8所述的方法，其中，所述射线方向由针孔相机模型确定。
10.根据权利要求8所述的方法，其中，识别用于拾取所述对象的位置包括使用所述抓取位置和所述抓取定向来确定用于拾取所述对象的抓取姿势。
11.根据权利要求10所述的方法，其中，所述对象被机器人拾取并且所述抓取姿势确定机器人末端执行器的姿势。
12.根据权利要求11所述的方法，还包括为所述末端执行器提供碰撞限制。
13.根据权利要求1所述的方法，其中，每次从所述多个对象的组中拾取对象时执行获取彩色图像、获取深度图图像和生成分割图像。
14.根据权利要求1所述的方法，其中，所述多个对象是透明的。
15.根据权利要求1所述的方法，其中，所述多个对象具有多于一个形状。
16.一种用于使用机器人从多个透明对象的组中拾取透明对象的方法，所述方法包括：
使用3D相机获得所述多个对象的2D红-绿-蓝(RGB)彩色图像；
使用3D相机获得所述多个对象的2D深度图图像，其中在所述深度图图像中的各个像素被分配识别从所述相机到所述多个对象的距离的值；
使用深度学习掩码R-CNN(卷积神经网络)通过执行图像分割过程来生成所述多个对象的分割图像，，所述图像分割过程从所述RGB图像中提取特征并向所述分割图像中的各个像素分配标签，使得所述分割图像中的每个对象具有相同的标签；和
使用所述分割图像和所述深度图图像来识别用于拾取所述对象的位置，其中，每次由所述机器人从所述多个对象的组中拾取对象时执行获取彩色图像、获取深度图图像、生成分割图像和识别用于拾取所述对象的位置。
17.根据权利要求16所述的方法，其中，生成分割图像包括使用区域提议过程根据所提取的特征生成多个边界框，以及提供确定哪些图像像素属于哪个边界框的二元分割，所述多个边界框识别所述多个对象中的一个存在于特定位置的概率。
18.根据权利要求16所述的方法，其中，识别用于拾取所述对象的位置包括识别在所述分割图像中所述对象的中心像素，使用所述分割图像和所述深度图图像计算所述中心像素的x-y-z坐标，确定所述机器人的用于拾取所述对象的x-y-z抓取位置，使用针孔相机模型来识别所述机器人的用于拾取所述对象的抓取定向，并使用所述抓取位置和所述抓取定向来确定所述机器人的用于拾取所述对象的抓取姿势，所述抓取定向由从所述相机到所述中心像素的射线方向限定。
19.一种用于使用机器人从多个对象的组中拾取对象的机器人系统，所述系统包括：
3D相机，其提供所述多个对象的2D红-绿-蓝(RGB)彩色图像和2D深度图图像；
深度学习掩码R-CNN(卷积神经网络)，其通过执行图像分割过程生成所述多个对象的分割图像，所述图像分割过程从所述RGB图像中提取特征并向所述分割图像中的各个像素分配标签，使得所述分割图像中的每个对象具有相同的标签；和
用于使用所述分割图像和所述深度图图像识别用于拾取所述对象的位置的装置，其中每次所述机器人从所述多个对象的组中拾取对象时执行获取彩色图像、获取深度图图像、生成分割图像和识别用于拾取所述对象的位置。
20.根据权利要求19所述的系统，其中，所述用于识别用于拾取所述对象的位置的装置识别在所述分割图像中所述对象的中心像素，使用所述分割图像和所述深度图图像计算所述中心像素的x-y-z坐标，确定所述机器人的用于拾取所述对象的x-y-z抓取位置，使用针孔相机模型来识别所述机器人的用于拾取所述对象的抓取定向，并使用所述抓取位置和所述抓取定向来确定所述机器人的用于拾取所述对象的抓取姿势，所述抓取定向由从所述相机到所述中心像素的射线方向限定。
CN202210488483.9A 2021-05-25 2022-05-06 透明对象料箱拾取 Pending CN115384971A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/329,513 2021-05-25
US17/329,513 US20220379475A1 (en) 2021-05-25 2021-05-25 Transparent object bin picking

Publications (1)

Publication Number Publication Date
CN115384971A true CN115384971A (zh) 2022-11-25

Family

ID=83997366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210488483.9A Pending CN115384971A (zh) 2021-05-25 2022-05-06 透明对象料箱拾取

Country Status (4)

Country Link
US (1) US20220379475A1 (zh)
JP (1) JP2022181173A (zh)
CN (1) CN115384971A (zh)
DE (1) DE102022107311A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612357A (zh) * 2023-07-11 2023-08-18 睿尔曼智能科技（北京）有限公司 一种无监督rgbd多模态数据集的构建方法、系统和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240741B (zh) * 2021-05-06 2023-04-07 青岛小鸟看看科技有限公司 基于图像差异的透明物体追踪方法、系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073243B2 (en) * 2008-05-30 2011-12-06 General Instrument Corporation Replacing image information in a captured image
US10275892B2 (en) * 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
JP7163115B2 (ja) * 2018-09-12 2022-10-31 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、物品の製造方法、制御装置、操作装置、撮像装置、制御プログラム及び記録媒体
US11312020B2 (en) * 2018-11-20 2022-04-26 Beijing Jingdong Shangke Information Technology Co System and method for fast object detection in robot picking
CN109658413B (zh) * 2018-12-12 2022-08-09 达闼机器人股份有限公司 一种机器人目标物体抓取位置检测的方法
GB2581808B (en) * 2019-02-26 2022-08-10 Imperial College Innovations Ltd Scene representation using image processing
US20220152825A1 (en) * 2020-11-13 2022-05-19 Armstrong Robotics, Inc. Automated manipulation of objects using a vision-based method for determining collision-free motion planning

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612357A (zh) * 2023-07-11 2023-08-18 睿尔曼智能科技（北京）有限公司 一种无监督rgbd多模态数据集的构建方法、系统和存储介质
CN116612357B (zh) * 2023-07-11 2023-11-24 睿尔曼智能科技（北京）有限公司 一种无监督rgbd多模态数据集的构建方法、系统和存储介质

Also Published As

Publication number Publication date
JP2022181173A (ja) 2022-12-07
DE102022107311A1 (de) 2022-12-01
US20220379475A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
CN107507167B (zh) 一种基于点云平面轮廓匹配的货物托盘检测方法及系统
CN115384971A (zh) 透明对象料箱拾取
US11475589B2 (en) 3D pose estimation by a 2D camera
US20220084238A1 (en) Multiple transparent objects 3d detection
CN112164115B (zh) 物体位姿识别的方法、装置及计算机存储介质
CN113657551B (zh) 一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法
Liu et al. 6D pose estimation of occlusion-free objects for robotic Bin-Picking using PPF-MEAM with 2D images (occlusion-free PPF-MEAM)
JP2022045905A (ja) 混合サイズデパレタイジング
Höfer et al. Object detection and autoencoder-based 6d pose estimation for highly cluttered bin picking
Holz et al. Fast edge-based detection and localization of transport boxes and pallets in rgb-d images for mobile robot bin picking
CN113496526A (zh) 通过多个2d相机的3d姿态检测
US11554496B2 (en) Feature detection by deep learning and vector field estimation
US11875528B2 (en) Object bin picking with rotation compensation
Fontana et al. A comparative assessment of parcel box detection algorithms for industrial applications
JP2019153309A (ja) 画像処理装置、ビンピッキングシステム、画像処理方法、画像処理プログラム
Bhuyan et al. Structure‐aware multiple salient region detection and localization for autonomous robotic manipulation
US20230169675A1 (en) Algorithm for mix-size depalletizing
CN109492685B (zh) 一种用于对称特征的目标物体视觉检测方法
US20230245293A1 (en) Failure detection and failure recovery for ai depalletizing
US20230169324A1 (en) Use synthetic dataset to train robotic depalletizing
Furukawa et al. Grasping position detection using template matching and differential evolution for bulk bolts
US20240029394A1 (en) Object detection method, object detection device, and program
Sileo Collaborative and Cooperative Robotics Applications using Visual Perception
CN116883321A (zh) 一种堆叠荧光免疫层析试剂卡的分拣整理方法及系统
CN118135607A (zh) 一种用于室内环境的vslam动态对象剔除方法及检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination