CN110640730A - 生成用于机器人场景的三维模型的方法和系统 - Google Patents
生成用于机器人场景的三维模型的方法和系统 Download PDFInfo
- Publication number
- CN110640730A CN110640730A CN201910565836.9A CN201910565836A CN110640730A CN 110640730 A CN110640730 A CN 110640730A CN 201910565836 A CN201910565836 A CN 201910565836A CN 110640730 A CN110640730 A CN 110640730A
- Authority
- CN
- China
- Prior art keywords
- robot
- scanning
- industrial scene
- collision
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40323—Modeling robot environment for sensor based robot system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40424—Online motion planning, in real time, use vision to detect workspace changes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40476—Collision, planning for collision free path
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本公开的实施例涉及生成用于机器人场景的三维模型的方法和系统。机器人被配置为使用用于生成足以确定无碰撞路径并且识别工业场景中的对象的3D模型的方法来在对象上执行任务。该方法包括确定预定义的无碰撞路径并且扫描机器人周围的工业场景。工业场景的被存储的图像从存储器中被检索并且被分析以构建新的3D模型。在新的3D模型中检测到对象之后,机器人可以在沿无碰撞路径移动的同时进一步扫描工业场景中的图像,直到对象以预定义的确定性级别被识别。然后机器人可以在对象上执行机器人任务。
Description
技术领域
本申请总体上涉及由机器人对工业场景进行建模,并且更具体地但非排他地,涉及利用与机器人相关联的视觉传感器进行扫描来构建工业场景的3D模型。
背景技术
随着机器人技术领域的不断发展,越来越多的关注被放在允许机器人实时确定无碰撞路径以及工件或其它对象的位置的技术的发展上。在机器人工作区域或工业场景内随机放置的对象可能会对机器人的某些运动造成干扰并且妨碍工作任务完成。一些现有系统关于某些应用具有各种缺点。因此,仍需要在这一技术领域作出进一步贡献。
发明内容
本申请的一个实施例是用于生成机器人工作区域或工业场景的实时3D模型的独特系统和方法。其它实施例包括用于为在工业场景中的机器人操作而生成无碰撞路径的装置、系统、设备、硬件、方法和组合。根据本文提供的描述和附图,本申请的进一步的实施例、形式、特征、方面、益处和优点将变得显而易见。
附图说明
图1是根据本公开的一个示例性实施例的机器人系统的示意图;
图2是根据本公开的一个示例性实施例的工业机器人场景的示意图;
图3是针对根据本公开的一个实施例的用于生成用于无碰撞机器人运动的扫描路径的方法的流程图;
图4是针对用于工业场景中的对象的识别的方法的流程图;
图5是针对用于生成足以减小对象的模糊性的3D模型的方法的流程图,使得可以由机器人对对象执行工作任务;
图6是针对用于改进对象识别和规划用于无碰撞运动的下一个扫描路径的方法的流程图,以便机器人可以在被检测到的对象上执行任务;以及
图7A和图7B定义了针对用于改进对象识别、改进抓持置信度和规划用于无碰撞运动的下一个扫描路径的方法的流程图。
具体实施方式
为了促进对本申请原理的理解,现在将参考附图中所示的实施例,并且将使用特定语言来描述这些实施例。然而,应该理解的是,不旨在因此而限制本申请的范围。本申请所涉及领域的技术人员通常会设想到所描述的实施例中的任何改变和进一步修改,以及如本文所描述的本申请的原理的任何进一步应用。
随着机器人领域的不断发展,越来越多的关注被放在允许更紧密地耦合的人机交互(HRI)的技术的发展上。HRI技术的应用有助于机器人理解关于其周围环境的信息,并且允许操作员理解或接收关于机器人已达到的理解水平的反馈。在操作员和机器人之间发生交互之前,可以获得对工作环境或工业场景的初始理解。随着机器人对场景的理解增加,人类交互的水平可以降低(即,操作员不必在操作之前将所有信息编程到机器人中,这最小化了设置时间)。
本文所公开的机器人系统提供了控制方法,以从工业场景中检索可由机器人的存储器识别的有效信息。控制方法使得机器人能够获得信息并且理解场景中的元素或对象,同时优化机器人运动以在工业场景内执行任务。该机器人路径对场景的变化起反应,并且帮助机器人理解周围的边界。机器人从场景中自主地检索信息的能力有助于对象的检测、建设性的机器人运动生成、用于整体发现过程所需的时间的减小,并且最小化人类参与设置和机器人编程。工业机器人可以使用示教盒和操纵杆来“点动机器人”并教授机器人点,但是如果操作员在机器人移动通过工业场景时非常靠近机器人,则这可能是麻烦、耗时并且危险的。3D视觉和隐式编程可用于通过生成机器人周围未知场景的3D模型来改进机器人路径编程,这需要时间来教授机器人握住3D传感器以扫描工业场景。可能难以手动生成扫描路径以从场景和对象收集足够的数据而没有机器人碰撞和/或引起可达性问题。
本公开包括用于自动地生成针对机器人应用的工业场景的完整3D模型的方法和系统,其相比于手动编程机器人减少了工程时间和成本。该方法和系统自动地生成扫描路径以收集关于场景和对象位置的足够数据,而不会引起碰撞或可达性问题。机器人扫描系统被可操作地连接到机器人路径规划算法、连接到3D对象识别算法,以便向机器人提供控制输入以对在工业场景内的对象上执行任务。
现在参考图1,示例性的机器人系统10被示出在示例性的工作环境或工业场景中。应当理解的是,本文所示的机器人系统本质上是示例性的,并且本文设想了机器人和/或工业场景中的变化。机器人系统10可以包括具有视觉系统36的机器人12,视觉系统36具有一个或多个摄像机38。在一种形式中,摄像机38中的一个或多个摄像机可以被安装在机器人12的可移动臂16a、16b中的一个可移动臂上。在其它形式中,一个或多个摄像机38可以被定位为与机器人12分隔开。包括具有CPU、存储器、以及输入/输出系统的电子控制器的控制系统14被可操作地耦合到机器人12并且被耦合到视觉系统36。控制系统14可操作用于接收和分析由视觉系统36捕获的图像和用于机器人12的操作的其它传感器数据。在一些形式中,控制系统14被限定在机器人12的一部分内。
机器人12可以包括可移动基座20以及与其连接的多个可移动部分。可移动部分可以在任何期望的方向上平移或旋转。作为示例而非限制,示例性机器人12可以采用由箭头18、26、28、30、32和34示出的可移动部分。用于保持待检索和/或待由机器人12操作的工件或其它对象42的箱40可以构成示例性工业场景的至少一部分。诸如抓握或抓持机构或其它工作工具的末端执行器24可以被附接到可移动臂16a并且被用于抓持对象42和/或根据需要在对象42上执行其它工作任务。应当理解,术语“箱”本质上是示例性的,并且如本文所用,是指但不限于任何容器、纸箱、箱子、托盘或能够容纳和/或保持工件、零件或其它对象的其它结构。附加的部件44可以与视觉系统36相关联。这些部件44可以包括照明系统、反射器、折射器和光束扩展器等。
现在参考图2,示出了另一示例性工业场景50。视觉系统36可与机器人12一起操作以确定机器人12附近内的各种物品的位置。作为示例而非限制,场景50包括:拾取箱60a、60b,潜在障碍物62a、62b,以及投放箱64a、64b。视觉系统36可被用于确定拾取箱60a、60b和/或投放箱64a、64b中的对象位置和取向。视觉系统36可以识别拾取箱60a内的对象,并且将对象的位置和取向传送给机器人控制器14(参见图1)。然后机器人控制器(未示出)向机器人12提供命令以控制包括抓持机构(未示出)的机器人12的部分的运动,以便抓持和移动所选对象并且避免潜在的障碍物。
教授和训练机器人以自主地发现和理解工业场景并执行机器人工作任务(诸如,从箱中提取随机布置的对象)是复杂的任务。给定2D RGB(红色、绿色、蓝色)传感器图像,可以训练机器人12以识别场景50内的拾取箱60a和投放箱64a以及障碍物62a、62b。此外,2D图像可以与校准的3D摄像机传感器结合,以生成某些所识别的对象的精确的空间位置。在一些方面中,基于3D点云的场景重建可能是耗时的,但是可以使用3D点云数据的一些部分重建用于在来自点云数据的虚拟环境中训练的机器人的场景,以重建可以被用于实时训练机器人的虚拟3D场景。下面更详细地描述用于以自主方式确定这种机器人命令的方法。
用于定义自动机器人路径的控制方法从机器人12的初始视点开始。控制方法指导机器人12以一种示例性形式摇摄可以被安装在机器人夹持器24的尖端上的3D传感器。接下来,利用3D传感器数据和机器人12移动信息(3D传感器姿势、时间戳等)来重建机器人12周围的场景的初始3D模型。针对诸如占用、缺失信息,被遮挡对象,未知区域等参数,将分析场景的初始3D模型。场景重建在机器人12操作期间不断地被更新。用于场景重建的计算机处理计算可以被独立地并且与机器人12的工作任务(诸如,拾取或投放工作任务)并行地完成。如果系统不能基于先前已收集的信息识别对象42,则可以仅生成新的扫描角度。可以或可以不单独地执行新扫描和机器人12移动路径计算以完成场景重建过程。基于来自场景理解的先前知识生成新的扫描角度。基于所观察到的数据,可以计算后验预测分布,并且可以使用概率的最大似然估计来确定新视角,新视角将产生最有用的信息以促进机器人12的理解。
现在参考图3,流程图示出了根据本公开的一个实施例的用于生成用于无碰撞机器人运动的扫描路径的控制方法100。控制方法100开始于步骤102处,其中机器人以无碰撞路径的预定义3D扫描开始。在步骤104处,机器人利用3D扫描设备重建场景和机器人周围的环境。扫描设备将所扫描到的图像发送到存储器,使得控制系统然后可以在步骤处分析3D场景模型。然后在步骤108处,控制方法100确定机器人周围的场景的3D模型是否足够地被完成以使机器人执行期望的任务。如果对在步骤108处查询的回答是“否”,则控制方法100将为3D扫描仪生成下一个扫描视点以获得附加的图像。在步骤112处,控制方法100基于最新的3D场景模型利用机器人无碰撞运动规划器规划下一个扫描路径。在步骤114处,机器人将沿下一个无碰撞路径扫描工业场景,以从不同的视点获得扫描到的图像。在步骤116处,控制方法100生成机器人周围的完整的3D场景模型。返回参考步骤108,如果对查询的回答是“是”,则控制方法100移动到步骤116并且生成机器人周围的完整的3D场景模型而不处理步骤110、112和114。
现在参考图4,示出了控制方法200,机器人由此学习以识别工业场景内的对象。控制方法200在步骤202处开始,其中机器人利用3D扫描设备确定预定义的无碰撞路径。在步骤204处,机器人重建包括机器人周围环境的场景。在步骤206处,控制方法200运行对象检测和识别程序。在步骤208处,控制方法200的查询使得要确定场景的3D模型是否足以检测并且识别对象到了在其上执行机器人任务所需的程度。如果对查询208的回答是“否”,则控制方法200在步骤210处将生成下一个扫描视点,以利用检测和识别程序减小对象的模糊性。在步骤212处,机器人将沿新的无碰撞路径执行3D扫描。返回参考步骤208,如果对查询的回答是“是”,则控制方法200移动到步骤214,其中控制方法200生成针对所识别对象的用于机器人在其上执行机器人任务的局部场景模型。
现在参考图5,示出了在步骤302处开始的控制方法300,其中机器人使用3D扫描来定义预定义的无碰撞路径。在步骤304处,控制方法300指导机器人重建机器人周围的工业场景。然后在步骤306处,控制方法300使用对象检测和识别程序来分析由机器人获得的场景构造,并且在查询308处,系统确定场景是否足以肯定地检测和识别对象。如果对查询308的回答是“否”,则在步骤310处,控制方法300将指导机器人以生成附加的扫描视点,以便减小对象的模糊性。在步骤312处,控制方法300基于最新的3D场景模型利用机器人无碰撞运动规划器规划下一个扫描路径。然后,机器人在步骤314处执行新的3D扫描路径。在步骤316处,使用新路径上的最新的3D扫描来生成新的局部场景模型并且确定对象的类型。返回参考查询308,如果关于3D模型是否足以检测和识别对象的回答是“是”,然后控制方法300向下移动到步骤316,以便允许机器人在所识别的对象上执行机器人工作任务。
现在参考图6,提供了操作400的控制方法,其用于机器人在对象上执行工作任务(诸如,拾取或抓持)。在步骤402处,机器人从3D扫描获得预定义的无碰撞路径。然后在步骤404处,机器人重建机器人周围的工业场景,以确定是否在场景内检测到对象。在步骤406处,机器人将使用3D对象检测和识别程序来确定机器人周围的3D场景是否具有位于其中的期望的对象,如果是,则在步骤408处,控制方法400运行对象抓持和定位分析以确定场景的3D模型是否足以用于在查询410处抓持对象。如果对查询410的回答是“否”,则在步骤412处,控制方法400将生成下一个扫描视点,以改进抓持分析的置信度。在步骤414处,控制方法400将确定用于机器人沿其移动的无碰撞路径,使得视觉系统可以获得环境的3D扫描。在步骤416处,在确定3D模型足以执行这样的任务之后,机器人将在对象上执行工作任务(诸如,抓持或拾取对象)。如果在410处的场景的3D模型足以使机器人执行工作任务,则控制方法400移动到步骤416,并且然后指导机器人在所检测到的对象上执行任务。
现在参考图7A和7B,示出了用于改进对象识别、改进抓握置信度和用于规划用于机器人的无碰撞运动的扫描路径的控制方法500。控制方法500在步骤502处开始,其中机器人从工作环境的先前3D扫描获得预定义的无碰撞路径。然后在步骤504处,机器人重建机器人周围的工业场景,并且在步骤506处执行3D对象检测和识别分析。在对象被识别之后,机器人将在步骤508处执行对象抓持和定位分析。在查询510处,控制方法500将确定工业场景的3D模型是否足以检测和识别对象。如果不是,则在步骤512处,控制方法500将生成新的扫描视点以减小对象的模糊性。在步骤514处,机器人将规划新的路径并且基于在步骤512处的扫描视点,机器人将沿该路径移动并且产生附加的3D扫描图像。然后控制方法500将返回到步骤504并且重复步骤504、506和508,直到场景模型在查询510处是足够地完整的。如果场景的3D模型足以检测和识别对象,则在步骤516处,再次运行对象抓持定位分析。在步骤518处,执行查询以确定工业场景的3D模型是否足以使抓持分析指导机器人抓持对象。如果针对查询518的回答是“否”,则在步骤520处,控制方法500将生成新的扫描视点,并使机器人在步骤522处沿新的路径移动以在不同的视点处提供新的3D扫描。然后控制方法500循环回到步骤504,并且重复步骤504、506、508、510、516和518,直到针对步骤510和518处的每个查询的回答是“是”。控制方法500在步骤524处分析3D场景模型,并且在查询526处确定机器人周围的场景的3D模型是否完整。如果不是,则控制方法500在步骤528处生成下一个扫描视点,指导机器人在步骤530处扫描新的无碰撞路径,并且然后返回到步骤504以重复到对查询526的回答是“是”。在那时,在步骤532处,指导机器人抓持并拾取所检测到的对象或在对象上执行其它工作任务。
在一个方面中,本公开包括方法,方法包括:确定预定义的无碰撞机器人路径;使机器人沿预定义的机器人路径移动;在沿预定义的机器人路径移动的同时,利用被定位在机器人上的扫描传感器扫描工业场景;将工业场景的所扫描的图像存储在存储器中;基于被存储在存储器中的图像构建工业场景的3D模型;基于3D模型规划下一个无碰撞机器人路径;使机器人沿下一个无碰撞机器人路径移动;在沿下一个机器人路径移动的同时,利用被定位在机器人上的扫描传感器扫描工业场景;并且将新的扫描的图像存储在存储器中;并且基于新的扫描的图像重建工业场景的3D模型。
在细化的方面中,方法进一步包括重复规划、扫描、存储和重建步骤,直到完整的3D工业场景被构建;进一步包括在完成3D工业场景模型之后利用机器人执行工作任务;其中扫描传感器是3D摄像机;进一步包括当确定预定义的无碰撞路径时,使扫描传感器关于机器人移动;其中扫描传感器的移动包括关于机器人的摇摄、倾斜、旋转和平移运动;其中扫描传感器的移动包括在机器人的基座保持静止的同时使机器人的臂移动;进一步包括利用具有无碰撞运动规划算法的控制器规划无碰撞路径;其中无碰撞路径的规划实时发生而无需离线计算机分析。
本公开的另一方面包括方法,方法包括:确定预定义的无碰撞机器人路径;利用被定位在机器人上的扫描传感器沿预定义的无碰撞机器人路径扫描工业场景;将工业场景的所扫描的图像存储在存储器中;基于被存储在存储器中的图像构建工业场景的3D模型;检测工业场景的3D模型内的对象;使机器人沿无碰撞机器人路径移动以生成所检测的对象的下一个扫描视点;扫描工业场景以获得对象的新的扫描图像;将新的扫描图像存储在存储器中;并且重复移动和扫描步骤,直到对象被识别至阈值确定性级别。
在本公开的细化方面,其中扫描包括:利用3D摄像机捕获图像;进一步包括在对象已经被识别至阈值确定性级别之后在对象上执行机器人任务;其中机器人任务包括抓持对象;进一步包括摇摄、倾斜和旋转扫描传感器以从不同有利点捕获图像,以生成工业场景的新的3D模型;进一步包括在生成工业场景的新的3D模型之前规划下一个扫描路径;其中规划包括利用具有无碰撞运动规划器算法的控制器分析新的3D模型;并且进一步包括基于来自无碰撞运动规划算法的结果确定下一个扫描路径。
本公开的另一个方面包括方法,方法包括:确定预定义的无碰撞机器人路径;利用扫描传感器扫描靠近机器人的工业场景;将工业场景的所扫描的图像存储在存储器中;基于被存储在存储器中的图像构建工业场景的3D模型;检测工业场景内的对象;确定对象是否以足够的精度被识别;确定机器人任务是否能够在对象上被执行;以及在对象以足够的确定性被识别之后,在对象上执行一个或多个机器人任务。
在本公开的细化方面中,方法进一步包括:如果对象没有以足够的确定性被识别,则生成下一个扫描视点并且重新扫描工业场景;进一步包括:如果工业场景的3D模型不足以用于抓持分析,则生成下一个扫描视点并且重新扫描工业场景;进一步包括:如果工业场景的3D模型不完整,则生成下一个扫描视点并且重新扫描工业场景;其中工业场景的扫描包括使扫描传感器关于机器人摇摄、倾斜、旋转和平移;进一步包括:通过具有无碰撞运动规划算法的控制器规划无碰撞路径;并且其中规划实时发生而无需离线计算机分析。
虽然已经在附图和前面的描述中详细说明和描述了本申请,但是同样的内容被认为是说明性的而不是限制性的,应当理解,仅示出和描述了优选实施例,并且在申请的精神范围内的所有变更和修改期望被保护。应当理解,由于在本申请的范围内,范围由所附权利要求限定,因此,虽然在上面的描述中诸如可优选的、可优选地、优选的或更优选的词语的使用指示如此描述的特征可能是更期望的,但是它可能不是必需的并且缺少相同的特征的实施例被设想为在本申请的范围内,该范围由所附权利要求限定。在阅读权利要求时,意图是,当使用诸如“一个”、“一个”、“至少一个”或“至少一部分”的词语时,除非在权利要求中另有明确说明,否则无意将权利要求仅限于一个项目。当使用语言“至少一部分”和/或“一部分”时,除非另有明确说明,否则该项目可以包括一部分和/或整个项目。
除非另有说明或限制,否则术语“安装”、“连接”、“支撑”和“耦合”及其变型被广泛地使用并且包括直接的和间接的安装、连接、支撑和耦合。此外,“连接”和“耦合”不限于物理的或机械的连接或耦合。
Claims (24)
1.一种方法,包括:
确定预定义的无碰撞机器人路径;
使机器人沿所述预定义的机器人路径移动;
在沿所述预定义的机器人路径移动的同时,利用被定位在机器人上的扫描传感器扫描工业场景;
将所述工业场景的所扫描的图像存储在存储器中;
基于被存储在所述存储器中的所述图像构建所述工业场景的3D模型;
基于所述3D模型规划下一个无碰撞机器人路径;
使所述机器人沿所述下一个无碰撞机器人路径移动;
在沿所述下一个机器人路径移动的同时,利用被定位在所述机器人上的所述扫描传感器扫描工业场景;以及
将新的扫描的图像存储在所述存储器中;以及
基于所述新的扫描的图像重建所述工业场景的所述3D模型。
2.根据权利要求1所述的方法,进一步包括重复规划、扫描、存储和重建步骤,直到完整的3D工业场景被构建。
3.根据权利要求2所述的方法,进一步包括在完成所述3D工业场景模型之后,利用所述机器人执行工作任务。
4.根据权利要求1所述的方法,其中所述扫描传感器是3D摄像机。
5.根据权利要求1所述的方法,进一步包括当确定所述预定义的无碰撞路径时,使所述扫描传感器关于所述机器人移动。
6.根据权利要求5所述的方法,其中所述扫描传感器的所述移动包括关于所述机器人的摇摄、倾斜、旋转和平移运动。
7.根据权利要求5所述的方法,其中所述扫描传感器的所述移动包括在所述机器人的基座保持静止的同时使所述机器人的臂移动。
8.根据权利要求1所述的方法,进一步包括利用具有无碰撞运动规划算法的控制器规划所述无碰撞路径。
9.根据权利要求1所述的方法,其中所述无碰撞路径的所述规划实时发生而无需离线计算机分析。
10.一种方法,包括:
确定预定义的无碰撞机器人路径;
利用被定位在机器人上的扫描传感器沿所述预定义的无碰撞机器人路径扫描工业场景;
将所述工业场景的所扫描的图像存储在存储器中;
基于被存储在存储器中的所述图像构建所述工业场景的3D模型;
检测所述工业场景的所述3D模型内的对象;
使所述机器人沿所述无碰撞机器人路径移动以生成所检测的对象的下一个扫描视点;
扫描所述工业场景以获得所述对象的新的扫描的图像;
将所述新的扫描的图像存储在所述存储器中;以及
重复所述移动和扫描步骤,直到所述对象被识别至阈值确定性级别。
11.根据权利要求10所述的方法,其中所述扫描包括利用3D摄像机捕获图像。
12.根据权利要求10所述的方法,进一步包括在所述对象已经被识别至所述阈值确定性级别之后,在所述对象上执行机器人任务。
13.根据权利要求12所述的方法,其中所述机器人任务包括抓持所述对象。
14.根据权利要求10所述的方法,进一步包括摇摄、倾斜和旋转所述扫描传感器以从不同有利点捕获图像,以生成所述工业场景的新的3D模型。
15.根据权利要求14所述的方法,进一步包括在生成所述工业场景的所述新的3D模型之前,规划下一个扫描路径。
16.根据权利要求15所述的方法,其中所述规划包括利用具有无碰撞运动规划器算法的控制器分析所述新的3D模型。
17.根据权利要求16所述的方法,进一步包括基于来自无碰撞运动规划算法的结果确定所述下一个扫描路径。
18.一种方法,包括:
确定预定义的无碰撞机器人路径;
利用扫描传感器扫描靠近机器人的工业场景;
将所述工业场景的所扫描的图像存储在存储器中;
基于被存储在存储器中的所述图像构建所述工业场景的3D模型;
检测所述工业场景内的对象;
确定所述对象是否以足够的精度被识别;
确定机器人任务是否能够在所述对象上被执行;以及
在所述对象以足够的确定性被识别之后,在所述对象上执行一个或多个机器人任务。
19.根据权利要求18所述的方法,进一步包括:如果所述对象没有以足够的确定性被识别,则生成下一个扫描视点并且重新扫描所述工业场景。
20.根据权利要求18所述的方法,进一步包括:如果所述工业场景的所述3D模型不足以用于抓持分析,则生成下一个扫描视点并且重新扫描所述工业场景。
21.根据权利要求18所述的方法,进一步包括:如果所述工业场景的所述3D模型不完整,则生成下一个扫描视点并且重新扫描所述工业场景。
22.根据权利要求18所述的方法,其中所述工业场景的所述扫描包括使所述扫描传感器关于所述机器人摇摄、倾斜、旋转和平移。
23.根据权利要求18所述的方法,进一步包括通过具有无碰撞运动规划算法的控制器规划所述无碰撞路径。
24.根据权利要求23所述的方法,其中所述规划实时发生而无需离线计算机分析。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/019,768 | 2018-06-27 | ||
US16/019,768 US11407111B2 (en) | 2018-06-27 | 2018-06-27 | Method and system to generate a 3D model for a robot scene |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110640730A true CN110640730A (zh) | 2020-01-03 |
CN110640730B CN110640730B (zh) | 2023-02-17 |
Family
ID=67105914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910565836.9A Active CN110640730B (zh) | 2018-06-27 | 2019-06-27 | 生成用于机器人场景的三维模型的方法和系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11407111B2 (zh) |
EP (1) | EP3587050A1 (zh) |
CN (1) | CN110640730B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113511503A (zh) * | 2021-06-17 | 2021-10-19 | 北京控制工程研究所 | 一种自主智能的地外探测不确定物体采集与归集装箱方法 |
CN114633256A (zh) * | 2022-03-23 | 2022-06-17 | 南开大学 | 一种自主实时实景三维重建与检测机器人系统 |
US11407111B2 (en) * | 2018-06-27 | 2022-08-09 | Abb Schweiz Ag | Method and system to generate a 3D model for a robot scene |
CN118418192A (zh) * | 2024-07-03 | 2024-08-02 | 中联重科股份有限公司 | 臂载随动感知系统、臂架作业方法及作业机械 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11241795B2 (en) * | 2018-09-21 | 2022-02-08 | Beijing Jingdong Shangke Information Technology Co., Ltd. | Soft package, robot system for processing the same, and method thereof |
JP7490349B2 (ja) * | 2018-11-01 | 2024-05-27 | キヤノン株式会社 | 入力装置、入力装置の制御方法、ロボットシステム、ロボットシステムを用いた物品の製造方法、制御プログラム及び記録媒体 |
JP7241517B2 (ja) * | 2018-12-04 | 2023-03-17 | 三菱電機株式会社 | 航法装置、航法パラメータ計算方法およびプログラム |
US20200201268A1 (en) * | 2018-12-19 | 2020-06-25 | Abb Schweiz Ag | System and method for guiding a sensor around an unknown scene |
CN109977466B (zh) * | 2019-02-20 | 2021-02-02 | 深圳大学 | 一种三维扫描视点规划方法、装置及计算机可读存储介质 |
EP3872587A1 (de) * | 2020-02-25 | 2021-09-01 | Carl Zeiss Industrielle Messtechnik GmbH | Kollisionsvermeidung im arbeitsraum eines koordinatenmessgeräts |
CN111906778B (zh) * | 2020-06-24 | 2023-04-28 | 深圳市越疆科技有限公司 | 基于多重感知的机器人安全控制方法及装置 |
CN112091973A (zh) * | 2020-08-27 | 2020-12-18 | 广东技术师范大学天河学院 | 一种机械臂防护门防撞检测方法及系统 |
CN112464410B (zh) * | 2020-12-02 | 2021-11-16 | 熵智科技(深圳)有限公司 | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 |
US11607809B2 (en) * | 2020-12-22 | 2023-03-21 | Intrinsic Innovation Llc | Robot motion planning accounting for object pose estimation accuracy |
JP2022174815A (ja) * | 2021-05-12 | 2022-11-25 | 東京ロボティクス株式会社 | 情報処理装置、システム、方法及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104944168A (zh) * | 2015-05-19 | 2015-09-30 | 电子科技大学 | 一种基于图像三维重构的码垛机器人安全控制方法 |
US20160129592A1 (en) * | 2014-11-11 | 2016-05-12 | Google Inc. | Dynamically Maintaining A Map Of A Fleet Of Robotic Devices In An Environment To Facilitate Robotic Action |
WO2016172718A1 (en) * | 2015-04-24 | 2016-10-27 | Abb Technology Ltd. | System and method of remote teleoperation using a reconstructed 3d scene |
CN107065790A (zh) * | 2015-09-25 | 2017-08-18 | 西门子工业软件有限公司 | 用于确定虚拟环境中的虚拟机器人的配置的方法和系统 |
CN107206592A (zh) * | 2015-01-26 | 2017-09-26 | 杜克大学 | 专用机器人运动规划硬件及其制造和使用方法 |
US20170355078A1 (en) * | 2016-06-09 | 2017-12-14 | Shmuel Ur Innovation Ltd. | System, Method and Product for Utilizing Prediction Models of an Environment |
CN107530881A (zh) * | 2015-01-29 | 2018-01-02 | Abb瑞士股份有限公司 | 用于机器人应用的3d分割 |
Family Cites Families (94)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8720331D0 (en) * | 1987-08-28 | 1987-10-07 | Caplin Cybernetics Corp | Control system |
DE10080012B4 (de) | 1999-03-19 | 2005-04-14 | Matsushita Electric Works, Ltd., Kadoma | Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens |
US6526373B1 (en) | 1999-10-08 | 2003-02-25 | Dassault Systemes | Optimization tool for robot placement |
US6456234B1 (en) * | 2000-06-07 | 2002-09-24 | William J. Johnson | System and method for proactive content delivery by situation location |
JP2005515910A (ja) | 2002-01-31 | 2005-06-02 | ブレインテック カナダ インコーポレイテッド | シングルカメラ3dビジョンガイドロボティクスの方法および装置 |
US10300601B2 (en) * | 2014-11-14 | 2019-05-28 | Ge Global Sourcing Llc | Vehicle control system with task manager |
US7079924B2 (en) | 2002-11-07 | 2006-07-18 | The Regents Of The University Of California | Vision-based obstacle avoidance |
JP3994950B2 (ja) | 2003-09-19 | 2007-10-24 | ソニー株式会社 | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 |
US7236854B2 (en) | 2004-01-05 | 2007-06-26 | Abb Research Ltd. | Method and a system for programming an industrial robot |
US20060016066A1 (en) * | 2004-07-21 | 2006-01-26 | Cyberoptics Corporation | Pick and place machine with improved inspection |
WO2006093652A2 (en) | 2005-02-25 | 2006-09-08 | Abb Research Ltd. | Method of and apparatus for automated path learning |
US20100179689A1 (en) | 2009-01-09 | 2010-07-15 | National Taiwan University Of Science And Technology | Method of teaching robotic system |
JP5328979B2 (ja) | 2009-05-12 | 2013-10-30 | トヨタ自動車株式会社 | 物体認識方法、物体認識装置、自律移動ロボット |
US9008841B2 (en) * | 2009-08-27 | 2015-04-14 | Abb Research Ltd. | Robotic picking of parts from a parts holding bin |
EP2493664B1 (en) * | 2009-10-27 | 2019-02-20 | Battelle Memorial Institute | Semi-autonomous multi-use robot system and method of operation |
FR2954518B1 (fr) | 2009-12-18 | 2012-03-23 | Aripa Service Innovation Ind | " systeme anticollision pour le deplacement d'un objet dans un environnement encombre." |
DE102010007458A1 (de) | 2010-02-10 | 2011-08-11 | KUKA Laboratories GmbH, 86165 | Verfahren für eine kollisionsfreie Bahnplanung eines Industrieroboters |
US8918209B2 (en) * | 2010-05-20 | 2014-12-23 | Irobot Corporation | Mobile human interface robot |
FI20105732A0 (fi) | 2010-06-24 | 2010-06-24 | Zenrobotics Oy | Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä |
WO2012064106A2 (en) * | 2010-11-12 | 2012-05-18 | Samsung Electronics Co., Ltd. | Method and apparatus for video stabilization by compensating for view direction of camera |
CN103582851B (zh) * | 2011-04-06 | 2016-05-11 | 皇家飞利浦有限公司 | 针对动态3d健康护理环境中的安全性的系统和方法 |
US9205886B1 (en) * | 2011-05-06 | 2015-12-08 | Google Inc. | Systems and methods for inventorying objects |
CN102323822B (zh) | 2011-05-09 | 2013-07-03 | 无锡引域智能机器人有限公司 | 一种避免工业机器人碰撞工人的方法 |
US20120290130A1 (en) | 2011-05-10 | 2012-11-15 | Agile Planet, Inc. | Method to Model and Program a Robotic Workcell |
EP2807526B1 (en) * | 2012-01-25 | 2020-07-01 | Omron Robotics and Safety Technologies, Inc. | Autonomous mobile robot for handling job assignments in a physical environment inhabited by stationary and non-stationary obstacles |
US8942468B1 (en) | 2012-04-17 | 2015-01-27 | Google Inc. | Object recognition |
US9434072B2 (en) | 2012-06-21 | 2016-09-06 | Rethink Robotics, Inc. | Vision-guided robots and methods of training them |
US9031317B2 (en) | 2012-09-18 | 2015-05-12 | Seiko Epson Corporation | Method and apparatus for improved training of object detecting system |
US8793205B1 (en) | 2012-09-20 | 2014-07-29 | Brain Corporation | Robotic learning and evolution apparatus |
EP2928648B1 (en) | 2012-12-10 | 2019-12-04 | ABB Schweiz AG | Robot program generation for robotic processes |
US10406686B2 (en) | 2012-12-14 | 2019-09-10 | Abb Schweiz Ag | Bare hand robot path teaching |
US9227323B1 (en) | 2013-03-15 | 2016-01-05 | Google Inc. | Methods and systems for recognizing machine-readable information on three-dimensional objects |
KR102096398B1 (ko) | 2013-07-03 | 2020-04-03 | 삼성전자주식회사 | 자율 이동 로봇의 위치 인식 방법 |
US20150071488A1 (en) * | 2013-09-11 | 2015-03-12 | Sony Corporation | Imaging system with vanishing point detection using camera metadata and method of operation thereof |
US9471206B2 (en) | 2013-12-12 | 2016-10-18 | Uptime Solutions | System and method for multi-dimensional modeling of an industrial facility |
US9272417B2 (en) * | 2014-07-16 | 2016-03-01 | Google Inc. | Real-time determination of object metrics for trajectory planning |
US9424470B1 (en) * | 2014-08-22 | 2016-08-23 | Google Inc. | Systems and methods for scale invariant 3D object detection leveraging processor architecture |
US9457477B1 (en) * | 2014-08-25 | 2016-10-04 | Google Inc. | Variable stiffness suction gripper |
JP5905549B1 (ja) * | 2014-09-16 | 2016-04-20 | ファナック株式会社 | バラ積みされた物品を取出す物品取出装置 |
US11312018B2 (en) * | 2014-11-14 | 2022-04-26 | Transportation Ip Holdings, Llc | Control system with task manager |
CN104484522B (zh) | 2014-12-11 | 2017-10-27 | 西南科技大学 | 一种基于现实场景的机器人模拟演练系统的构建方法 |
US9694498B2 (en) * | 2015-03-30 | 2017-07-04 | X Development Llc | Imager for detecting visual light and projected patterns |
US9919421B2 (en) | 2015-04-15 | 2018-03-20 | Abb Schweiz Ag | Method and apparatus for robot path teaching |
US9746852B1 (en) | 2015-08-17 | 2017-08-29 | X Development Llc | Using laser sensors to augment stereo sensor readings for robotic devices |
US20170092000A1 (en) | 2015-09-25 | 2017-03-30 | Moshe Schwimmer | Method and system for positioning a virtual object in a virtual simulation environment |
US10341639B2 (en) | 2015-11-16 | 2019-07-02 | Abb Schweiz Ag | Automatically scanning and representing an environment with collision avoidance |
US10705528B2 (en) * | 2015-12-15 | 2020-07-07 | Qualcomm Incorporated | Autonomous visual navigation |
US11772270B2 (en) * | 2016-02-09 | 2023-10-03 | Cobalt Robotics Inc. | Inventory management by mobile robot |
US20170326443A1 (en) * | 2016-05-13 | 2017-11-16 | Universal Entertainment Corporation | Gaming machine |
US20190160677A1 (en) | 2016-06-21 | 2019-05-30 | Abb Schweiz Ag | Method Of Building A Geometric Representation Over A Working Space Of A Robot |
EP4273655A3 (en) * | 2016-11-08 | 2023-12-20 | Dogtooth Technologies Limited | A robotic fruit picking system |
IT201600114161A1 (it) * | 2016-11-11 | 2018-05-11 | Info Solution S P A | Metodo e dispositivo di pilotaggio di un veicolo semovente e relativo sistema di pilotaggio |
US11518051B2 (en) * | 2017-02-07 | 2022-12-06 | Veo Robotics, Inc. | Dynamic, interactive signaling of safety-related conditions in a monitored environment |
US11097422B2 (en) * | 2017-02-07 | 2021-08-24 | Veo Robotics, Inc. | Safety-rated multi-cell workspace mapping and monitoring |
CA3052961A1 (en) * | 2017-02-07 | 2018-08-16 | Veo Robotics, Inc. | Workspace safety monitoring and equipment control |
US11541543B2 (en) * | 2017-02-07 | 2023-01-03 | Veo Robotics, Inc. | Dynamic, interactive signaling of safety-related conditions in a monitored environment |
US10204423B2 (en) * | 2017-02-13 | 2019-02-12 | Adobe Inc. | Visual odometry using object priors |
JP6846950B2 (ja) * | 2017-03-03 | 2021-03-24 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2018144155A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP6846949B2 (ja) * | 2017-03-03 | 2021-03-24 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
WO2018183961A1 (en) * | 2017-03-31 | 2018-10-04 | Canvas Construction, Inc. | Automated drywall sanding system and method |
US11151992B2 (en) * | 2017-04-06 | 2021-10-19 | AIBrain Corporation | Context aware interactive robot |
US10766140B2 (en) * | 2017-04-13 | 2020-09-08 | Battelle Memorial Institute | Teach mode collision avoidance system and method for industrial robotic manipulators |
CA3062101A1 (en) * | 2017-05-03 | 2018-11-08 | Taiga Robotics Corp. | Systems and methods for remotely controlling a robotic device |
CN206775653U (zh) * | 2017-05-26 | 2017-12-19 | 碰海科技(北京)有限公司 | 多深度摄像头紧凑型全景扫描设备 |
CN107030733B (zh) * | 2017-06-19 | 2023-08-04 | 合肥虹慧达科技有限公司 | 一种轮式机器人 |
US20190176341A1 (en) * | 2017-06-19 | 2019-06-13 | Jungeng Mei | Movable robot capable of providing a projected interactive user interface |
EP3658340A2 (en) * | 2017-07-25 | 2020-06-03 | MBL Limited | Systems and methods for operating a robotic system and executing robotic interactions |
US11117262B2 (en) * | 2017-08-01 | 2021-09-14 | eBots Inc. | Intelligent robots |
JP6713587B2 (ja) * | 2017-09-06 | 2020-06-24 | 株式会社Fuji | ワーク搬送ロボット |
US10060857B1 (en) * | 2017-11-16 | 2018-08-28 | General Electric Company | Robotic feature mapping and motion control |
BR112019022798A2 (pt) * | 2017-12-14 | 2020-05-26 | Canon Kabushiki Kaisha | Dispositivo de geração, método de geração e programa para modelo tridimensional |
US11194994B2 (en) * | 2017-12-20 | 2021-12-07 | X Development Llc | Semantic zone separation for map generation |
JP6879238B2 (ja) * | 2018-03-13 | 2021-06-02 | オムロン株式会社 | ワークピッキング装置及びワークピッキング方法 |
JP6725587B2 (ja) * | 2018-05-18 | 2020-07-22 | ファナック株式会社 | バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法 |
MX2020014187A (es) * | 2018-06-26 | 2021-03-09 | Teradyne Inc | Metodo y sistema para extraccion robotica de recipientes. |
US11407111B2 (en) * | 2018-06-27 | 2022-08-09 | Abb Schweiz Ag | Method and system to generate a 3D model for a robot scene |
US10803314B2 (en) * | 2018-10-10 | 2020-10-13 | Midea Group Co., Ltd. | Method and system for providing remote robotic control |
US10678264B2 (en) * | 2018-10-10 | 2020-06-09 | Midea Group Co., Ltd. | Method and system for providing remote robotic control |
US10816994B2 (en) * | 2018-10-10 | 2020-10-27 | Midea Group Co., Ltd. | Method and system for providing remote robotic control |
US11396101B2 (en) * | 2018-11-08 | 2022-07-26 | Kabushiki Kaisha Toshiba | Operating system, control device, and computer program product |
AT521997B1 (de) * | 2018-11-21 | 2021-11-15 | Tgw Logistics Group Gmbh | Optimierungsverfahren zur Verbesserung der Zuverlässigkeit einer Warenkommissionierung mit einem Roboter |
US20200184196A1 (en) * | 2018-12-11 | 2020-06-11 | X Development Llc | Volumetric substitution of real world objects |
US10872459B2 (en) * | 2019-02-05 | 2020-12-22 | X Development Llc | Scene recognition using volumetric substitution of real world objects |
JP7156067B2 (ja) * | 2019-02-07 | 2022-10-19 | トヨタ自動車株式会社 | 把持誤差補正方法、装置、及び、プログラム |
CN113727819A (zh) * | 2019-02-22 | 2021-11-30 | 聪慧公司 | 非刚性包装中软体产品的机器人搬运 |
US11030766B2 (en) * | 2019-03-25 | 2021-06-08 | Dishcraft Robotics, Inc. | Automated manipulation of transparent vessels |
US11179852B2 (en) * | 2019-03-25 | 2021-11-23 | Dishcraft Robotics, Inc. | Automated manipulation of transparent vessels |
US11813758B2 (en) * | 2019-04-05 | 2023-11-14 | Dexterity, Inc. | Autonomous unknown object pick and place |
CN110660101B (zh) * | 2019-08-19 | 2022-06-07 | 浙江理工大学 | 基于rgb图像和坐标系变换的物体6d姿势预测方法 |
US20210092464A1 (en) * | 2019-09-24 | 2021-03-25 | Rovi Guides, Inc. | Systems and methods for providing content based on multiple angles |
WO2021101561A1 (en) * | 2019-11-22 | 2021-05-27 | Siemens Aktiengesellschaft | Sensor-based construction of complex scenes for autonomous machines |
CN111090688B (zh) * | 2019-12-23 | 2023-07-28 | 北京奇艺世纪科技有限公司 | 一种时序数据的平滑处理方法和装置 |
US11006039B1 (en) * | 2020-02-13 | 2021-05-11 | Mujin, Inc. | Method and system for determining occlusion within a camera field of view |
-
2018
- 2018-06-27 US US16/019,768 patent/US11407111B2/en active Active
-
2019
- 2019-06-27 EP EP19182955.5A patent/EP3587050A1/en active Pending
- 2019-06-27 CN CN201910565836.9A patent/CN110640730B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160129592A1 (en) * | 2014-11-11 | 2016-05-12 | Google Inc. | Dynamically Maintaining A Map Of A Fleet Of Robotic Devices In An Environment To Facilitate Robotic Action |
CN107206592A (zh) * | 2015-01-26 | 2017-09-26 | 杜克大学 | 专用机器人运动规划硬件及其制造和使用方法 |
CN107530881A (zh) * | 2015-01-29 | 2018-01-02 | Abb瑞士股份有限公司 | 用于机器人应用的3d分割 |
WO2016172718A1 (en) * | 2015-04-24 | 2016-10-27 | Abb Technology Ltd. | System and method of remote teleoperation using a reconstructed 3d scene |
CN104944168A (zh) * | 2015-05-19 | 2015-09-30 | 电子科技大学 | 一种基于图像三维重构的码垛机器人安全控制方法 |
CN107065790A (zh) * | 2015-09-25 | 2017-08-18 | 西门子工业软件有限公司 | 用于确定虚拟环境中的虚拟机器人的配置的方法和系统 |
US20170355078A1 (en) * | 2016-06-09 | 2017-12-14 | Shmuel Ur Innovation Ltd. | System, Method and Product for Utilizing Prediction Models of an Environment |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11407111B2 (en) * | 2018-06-27 | 2022-08-09 | Abb Schweiz Ag | Method and system to generate a 3D model for a robot scene |
CN113511503A (zh) * | 2021-06-17 | 2021-10-19 | 北京控制工程研究所 | 一种自主智能的地外探测不确定物体采集与归集装箱方法 |
CN113511503B (zh) * | 2021-06-17 | 2022-09-23 | 北京控制工程研究所 | 一种自主智能的地外探测不确定物体采集与归集装箱方法 |
CN114633256A (zh) * | 2022-03-23 | 2022-06-17 | 南开大学 | 一种自主实时实景三维重建与检测机器人系统 |
CN118418192A (zh) * | 2024-07-03 | 2024-08-02 | 中联重科股份有限公司 | 臂载随动感知系统、臂架作业方法及作业机械 |
Also Published As
Publication number | Publication date |
---|---|
US20200001458A1 (en) | 2020-01-02 |
US11407111B2 (en) | 2022-08-09 |
EP3587050A1 (en) | 2020-01-01 |
CN110640730B (zh) | 2023-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110640730B (zh) | 生成用于机器人场景的三维模型的方法和系统 | |
US7966094B2 (en) | Workpiece picking apparatus | |
US8244402B2 (en) | Visual perception system and method for a humanoid robot | |
JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
CN111085997A (zh) | 基于点云获取和处理的抓取训练方法及系统 | |
WO2012066819A1 (ja) | ワーク取り出し装置 | |
JP4665857B2 (ja) | アームを誘導可能な移動体およびアームを誘導する方法 | |
CN111745640B (zh) | 物体检测方法、物体检测装置以及机器人系统 | |
JP2009523623A (ja) | ワーク自動把持の方法と装置 | |
US11694452B1 (en) | Crane-mounted system for automated object detection and identification | |
US20230330764A1 (en) | Autonomous assembly robots | |
JP6328796B2 (ja) | マニプレータ制御方法、システム、およびマニプレータ | |
CN115338856A (zh) | 用于控制机器人装置的方法 | |
Hegedus et al. | Towards an integrated autonomous data-driven grasping system with a mobile manipulator | |
US20230330858A1 (en) | Fine-grained industrial robotic assemblies | |
US20210197391A1 (en) | Robot control device, robot control method, and robot control non-transitory computer readable medium | |
KR102267514B1 (ko) | 작업대상물의 피킹 및 플레이스 방법 | |
CN114187312A (zh) | 目标物的抓取方法、装置、系统、存储介质及设备 | |
WO2023286138A1 (ja) | ロボット制御システム、ロボットシステム、ロボット制御方法、およびロボット制御プログラム | |
US20240208069A1 (en) | Automatic pick and place system | |
Wu et al. | Application of visual servoing for grasping and placing operation in slaughterhouse | |
Fröhlig et al. | Three-dimensional pose estimation of deformable linear object tips based on a low-cost, two-dimensional sensor setup and AI-based evaluation | |
US20220301209A1 (en) | Device and method for training a neural network for controlling a robot | |
US12097627B2 (en) | Control apparatus for robotic system, control method for robotic system, computer-readable storage medium storing a computer control program, and robotic system | |
WO2023100282A1 (ja) | データ生成システム、モデル生成システム、推定システム、学習済みモデルの製造方法、ロボット制御システム、データ生成方法、およびデータ生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |