CN111618842A - 用于机器人纸箱卸载的视觉校准系统 - Google Patents

用于机器人纸箱卸载的视觉校准系统 Download PDF

Info

Publication number
CN111618842A
CN111618842A CN202010115685.XA CN202010115685A CN111618842A CN 111618842 A CN111618842 A CN 111618842A CN 202010115685 A CN202010115685 A CN 202010115685A CN 111618842 A CN111618842 A CN 111618842A
Authority
CN
China
Prior art keywords
calibration object
carton
pose
markers
transformation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010115685.XA
Other languages
English (en)
Other versions
CN111618842B (zh
Inventor
张峰
斯里兰·帕万·坦卡萨拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligrated Headquarters LLC
Original Assignee
Intelligrated Headquarters LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligrated Headquarters LLC filed Critical Intelligrated Headquarters LLC
Priority to CN202311419370.4A priority Critical patent/CN117506892A/zh
Publication of CN111618842A publication Critical patent/CN111618842A/zh
Application granted granted Critical
Publication of CN111618842B publication Critical patent/CN111618842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G67/00—Loading or unloading vehicles
    • B65G67/02—Loading or unloading land vehicles
    • B65G67/24—Unloading land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G67/00—Loading or unloading vehicles
    • B65G67/02—Loading or unloading land vehicles
    • B65G67/24—Unloading land vehicles
    • B65G67/30—Unloading land vehicles using transportable tipping apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

本公开题为“用于机器人纸箱卸载的视觉校准系统”。本公开涉及一种用于校准纸箱检测系统的方法和系统。方法包括：接收校准对象的三维(3D)点云；通过将3D点云与点云模板进行比较来确定校准对象的3D目标姿态；接收校准对象的二维(2D)光学图像；基于2D光学图像来识别校准对象的一个或多个标记；基于2D光学图像来确定一个或多个标记中的每一个的标记姿态；基于一个或多个标记中的每一个的标记姿态来确定2D目标姿态；基于3D目标姿态和2D目标姿态来生成变换矩阵；以及基于变换矩阵来校准纸箱检测系统。

Description

用于机器人纸箱卸载的视觉校准系统
技术领域
本发明的示例性实施方案整体涉及物料搬运系统，并且更具体地涉及机器视觉系统。
背景技术
在大容量配送和物流中心，大型卡车装运物可能由人工手动卸载(一种可能需要体力且成本高的操作)，或者在物料搬运系统的帮助下卸载。在辅助环境中，由于对配送中心的总体效率的影响，因此必须对物料搬运系统部件的位置、取向和/或定位进行控制，以避免卸载错误。申请人已识别出与卸载系统相关联的若干技术挑战以及其他相关联的系统和方法。通过所付努力、智慧和创新，包括在本发明的实施方案中的开发解决方案已经克服了许多这些识别的挑战，本文详细描述了这些解决方案的许多示例。
发明内容
下文给出了简要发明内容，以提供对所公开的物料搬运系统的一些方面的基本理解。该发明内容不是详尽综述，并且既非旨在识别关键元件或重要元件，亦非描写此类元件的范围。其目的在于作为后文所提供的具体实施方式的序言，以简化形式给出所述特征的一些概念。
本公开的实施方案涉及用于在物料搬运环境中卸载纸箱的系统和方法。根据本公开的至少一个方面，提供了一种校准纸箱检测系统的方法。所述方法可包括：接收校准对象的三维(3D)点云；通过将所述校准对象的所述3D点云与点云模板进行比较来确定所述校准对象的3D目标姿态；接收所述校准对象的二维(2D)光学图像；基于所述校准对象的所述2D光学图像来识别所述校准对象的一个或多个标记；基于所述2D光学图像来确定所述校准对象的所述一个或多个标记中的每一个的标记姿态；基于所述校准对象的所述一个或多个标记中的每一个的所述标记姿态来确定2D目标姿态；基于所述3D目标姿态和所述2D目标姿态来生成变换矩阵；以及基于所述变换矩阵来校准所述纸箱检测系统。
根据本公开的一个或多个实施方案，识别所述校准对象的所述一个或多个标记可包括从所述2D光学图像检测所述一个或多个标记的一个或多个边缘和拐角。
根据本公开的一个或多个实施方案，确定所述一个或多个标记中的每一个的所述标记姿态可包括基于相机焦点和标记大小中的至少一者来估计所述标记姿态。
根据本公开的一个或多个实施方案，基于所述标记姿态来确定所述2D目标姿态还可包括确定所述一个或多个标记中的每一个的标记位置。
根据本公开的一个或多个实施方案，生成所述变换矩阵可包括生成旋转子矩阵和平移子矩阵。所述方法还可包括基于滚转角、俯仰角和/或偏转角中的一者或多者来生成所述旋转子矩阵。根据本公开的一个或多个实施方案，所述方法还可包括基于所述3D点云、所述2D光学图像和所述点云模板中的一者或多者之间的平移来生成所述平移子矩阵。
根据本公开的一个或多个实施方案，生成所述变换矩阵还可包括基于所述3D目标姿态生成3D_到_目标变换矩阵，基于所述2D目标姿态生成2D_到_目标变换矩阵，以及基于所述3D_到_目标变换矩阵和所述2D_到_目标变换矩阵生成所述变换矩阵。
根据本公开的一个或多个实施方案，校准所述纸箱检测系统可包括基于所述变换矩阵来将所述3D点云中的一个或多个点投影到所述2D光学图像上。
根据本公开的另一方面，提供了一种用于卸载纸箱的机器人纸箱搬运系统。所述机器人纸箱搬运系统可包括移动主体和附接到所述移动主体的可移动机器人操纵器。所述可移动机器人操纵器可包括用于从所述纸箱堆卸载一个或多个纸箱的端部执行器。所述机器人纸箱搬运系统还可包括纸箱检测系统，所述纸箱检测系统包括分别联接到所述移动主体和所述可移动机器人操纵器中的一者的一个或多个传感器，以生成校准对象的二维(2D)光学图像和三维(3D)点云。所述纸箱检测系统还可包括与所述一个或多个传感器通信的处理子系统，所述处理子系统可从所述一个或多个传感器接收所述校准对象的所述3D点云，通过将所述校准对象的所述3D点云与点云模板进行比较来确定所述校准对象的3D目标姿态，接收所述校准对象的所述2D光学图像，基于所述校准对象的所述2D光学图像来识别所述校准对象的一个或多个标记，基于所述2D光学图像来确定所述校准对象的所述一个或多个标记中的每一个的标记姿态，基于所述校准对象的所述一个或多个标记中的每一个的所述标记姿态来确定2D目标姿态，基于所述3D目标姿态和所述2D目标姿态来生成变换矩阵，以及基于所述变换矩阵来校准所述纸箱检测系统。
根据本公开的一个或多个实施方案，所述一个或多个传感器可生成限定一个或多个标记的I形目标的所述2D光学图像和所述3D点云。
根据本公开的一个或多个实施方案，所述一个或多个传感器可生成与所述校准对象的形状相关的数据。
根据本公开的一个或多个实施方案，所述处理子系统还可从所述2D光学图像检测所述一个或多个标记的一个或多个边缘和拐角。
根据本公开的一个或多个实施方案，所述处理子系统还可基于相机焦点和标记大小中的至少一者来估计标记姿态。
根据本公开的一个或多个实施方案，生成所述变换矩阵的所述处理子系统可生成旋转子矩阵和平移子矩阵。
根据本公开的一个或多个实施方案，所述处理子系统还可基于所述3D目标姿态生成3D_到_目标变换矩阵，基于所述2D目标姿态生成2D_到_目标变换矩阵，以及基于所述3D_到_目标变换矩阵和所述2D_到_目标变换矩阵生成所述变换矩阵。
根据本公开的一个或多个实施方案，所述处理子系统还可基于所述变换矩阵将所述3D点云的一个或多个点投影到所述2D光学图像上。
根据本公开的另一方面，提供了一种物料搬运系统。所述物料搬运系统可包括用于卸载纸箱堆中的纸箱的机器人纸箱搬运系统。所述机器人纸箱搬运系统可包括移动主体和附接到所述移动主体的可移动机器人操纵器。所述可移动机器人操纵器可包括用于从所述纸箱堆卸载一个或多个纸箱的端部执行器。所述机器人纸箱搬运系统可包括校准对象。所述机器人纸箱搬运系统还可包括纸箱检测系统，所述纸箱检测系统具有联接到所述移动主体或所述可移动机器人操纵器中的至少一者的一个或多个传感器，以生成校准对象的二维(2D)光学图像和三维(3D)点云。所述纸箱检测系统还可包括与所述一个或多个传感器通信的处理子系统，所述处理子系统可从所述一个或多个传感器接收所述校准对象的所述3D点云，通过将所述校准对象的所述3D点云与点云模板进行比较来确定所述校准对象的3D目标姿态，接收所述校准对象的所述2D光学图像，基于所述校准对象的所述2D光学图像来识别所述校准对象的一个或多个标记，基于所述2D光学图像来确定所述校准对象的所述一个或多个标记中的每一个的标记姿态，基于所述校准对象的所述一个或多个标记中的每一个的所述标记姿态来确定2D目标姿态，基于所述3D目标姿态和所述2D目标姿态来生成变换矩阵，以及基于所述变换矩阵来校准所述纸箱检测系统。
根据本公开的一个或多个实施方案，所述校准对象可包括限定一个或多个标记的I形目标。
根据本公开的一个或多个实施方案，所述一个或多个传感器可生成与所述校准对象的形状相关的数据。
提供上述发明内容仅是为了概述一些示例性实施方案的目的，以提供对本公开一些方面的基本了解。因此，应当理解，上述实施方案仅为示例并且不应理解为以任何方式缩小本公开的范围或实质。应当理解，除了这里总结的那些，本公开的范围还涵盖了很多可能的实施方案，这些实施方案中的一些实施方案将在下面进一步描述。
附图说明
可结合附图阅读例示性实施方案的描述。应当理解，为了说明的简单和清晰，图中所示的元件不一定按比例绘制。例如，元件中的一些元件的尺寸相对于其他元件被夸大。结合本公开的教导的实施方案相对于文中给出的附图示出和描述，在附图中：
图1示出了根据一个或多个实施方案的机器人纸箱搬运系统和功能框图的侧视图；
图2示出了根据一个或多个实施方案的图1的机器人纸箱搬运系统的顶部等轴视图；
图3示出了根据本公开的一个或多个实施方案的图1的机器人纸箱搬运系统的一部分的透视图；
图4A示出了根据本公开的一个或多个实施方案的校准对象的前视图；
图4B示出了根据本公开的另一个实施方案的校准对象的透视图；并且
图5示出了根据本公开的一个或多个实施方案的用于校准机器人搬运系统的纸箱检测系统的示例性方法。
具体实施方式
在下文中将参考附图更全面地描述本发明的一些实施方案，附图中示出了本发明的一些实施方案，但未示出全部实施方案。实际上，本公开可以以许多不同的形式体现，并且不应该被解释为限于本文阐述的实施方案；相反，提供这些实施方案是为了使本公开满足适用的法律要求。除非另外指明，否则术语“或”和“任选地”在另选和结合意义上均用于本文。术语“例示性”和“示例性”是用于没有质量水平指示的示例。在全篇内容中，类似的标号指代类似的元件。此外，虽然本文参考物料搬运环境中的机器人纸箱卸载器进行了描述，但本公开设想本文所述的校准系统和技术也可适用于其他视觉系统。
附图中示出的部件表示在本文描述的本发明的各种实施方案中可以存在或可以不存在的部件，使得实施方案可以包括比图中所示的部件更少或更多的部件，而不脱离本发明的范围。
现在转到附图，下文结合附图示出的具体实施方式旨在描述各种构型并且不旨在表示其中可实践本文所述概念的唯一构型。具体实施方式包括具体细节，以用于提供对各种概念的全面理解，其中类似的附图标记表示在整个几个视图中类似的部件。然而，对于本领域的技术人员显而易见的是，可以在没有这些具体细节的情况下实践这些概念。
如上所述，用于卸载大型卡车装运物的方法和系统在大容量配送和物流中心的总体效率中起着重要的作用。常规的卸载系统可包括机器人臂和作为机器视觉操作来引导机器人臂的多个传感器。如参考本文的实施方案所述，多传感器对象定位是机器人操作中的重要方面。使用多个传感器进行定位的过程中的一个步骤是传感器数据的对准或数据对齐。在示例性卡车卸载器应用中，视觉系统可使用三维(3D)传感器和/或相机以及二维(2D)传感器和/或相机两者来检测拖车中的纸箱和/或对象。还可能需要校准用于传感器数据对齐的3D传感器和/或相机以及2D传感器和/或相机，因为未校准传感器可能会导致工具碰撞和产品损坏。
虽然传感器数据对齐对于卸载应用中的可靠对象定位起着关键作用，但校准用于工业规模机器人应用的3D和2D传感器数据是一项具有挑战性的任务。手动校准3D和2D传感器需要对两个传感器和/或相机之间的距离变化(例如，δ)进行物理测量。此外，对相机、相机角度和/或3D和2D相机的焦点之间的偏移的测量可能具有挑战性和/或不准确。为了解决这些挑战和其他问题，本公开的校准方法和系统描述了用于传感器数据对齐的定制校准对象和变换矩阵。常规应用涉及具有非常复杂的校准过程的传感器的离线校准。相比之下，所提出的解决方案具有成本效益且结果可靠。校准对象也可容易地随机器人一起装运以进行现场校准。
图1示出了根据本公开的一个或多个实施方案的具有功能框图的机器人纸箱搬运系统100的透视图。如图所示，图1示出了机器人纸箱搬运系统100，该机器人纸箱搬运系统具有操纵器诸如机器人臂组件102(例如，可移动机器人操纵器)，该操纵器被构造成从纸箱堆容器108(例如，拖车、装运容器、储存单元等)内的纸箱堆106卸载纸箱104。机器人臂组件102将纸箱104放置在机器人纸箱搬运系统100的传送机系统110上，该传送机系统将纸箱104传送到可延伸的传送机112，该可延伸的传送机跟随机器人纸箱搬运系统100的移动主体114进入纸箱堆容器108中。可延伸传送机112又将纸箱104传送到物料搬运系统116诸如仓库、商店、配送中心等。
在一个或多个实施方案中，机器人纸箱搬运系统100可自动地卸载搁置在纸箱堆容器108的底板159上的纸箱堆106。移动主体114可以是自推进的，并且能够在底板159上从纸箱堆容器108的外部移动到最内部。机器人臂组件102的右下臂和左下臂120可分别在下端122枢转地附接到在其间穿过的传送机系统110的相对侧向侧上的移动主体114。右下臂和左下臂120可围绕与传送机系统110的纵向轴线126垂直的下臂轴线124旋转。机器人臂组件102的上臂组件128可包括后端130，该后端分别枢转地附接在右下臂和左下臂120的上端132，以围绕垂直于传送机系统110的纵向轴线126且平行于下臂轴线124的上臂轴线134枢转地旋转。操纵器头部(端部执行器)136附接到上臂组件128的前端138，并且可被构造成从搁置在底板159上的纸箱堆106接合至少一个纸箱104，以便移动到传送机系统110。右下臂和左下臂120的枢转和同时的镜像运动将上臂轴线134保持在传送机系统110上方的相对高度，以使该至少一个纸箱104能够被传送机系统110传送，而不会在操纵器头部136畅通时受到机器人臂组件102的阻碍。在一个或多个实施方案中，机器人纸箱搬运系统100可包括升降器140，该升降器附接在移动主体114与传送机系统110的前部142之间。升降器140可被构造成使传送机系统110的前部142相对于底板159移动，以在从纸箱堆106移动到传送机系统110期间减小至少一个纸箱104下方的间距。虽然本文参考机器人纸箱搬运系统100进行了描述，但本公开设想本文所述的校准技术可适用于任何类型或构型的机器人臂组件、卸载系统等。
更高级别的系统可将机器人纸箱搬运系统100的自主机器人车辆控制器144分配给特定的纸箱堆容器108，并且可接收有关装载/卸载进度的信息，并提供用于遥控的通道。在装载或卸载过程中遇到错误时，人类操作者还可以选择性地进行干预。更高级别的系统可包括主机系统146，该主机系统处理将由物料搬运系统116执行的外部订单交易。另选地或除此之外，仓库执行系统(WES)148可提供仓库管理系统(WMS)150的垂直整合，该仓库管理系统执行设施152诸如配送中心的订单履行、劳动管理和/或库存跟踪。WES 148可包括垂直集成的仓库控制系统(WCS)154，其控制自动化以执行WMS 150所请求的订单履行和库存移动。
在一个或多个实施方案中，一旦由WES 148分配或手动启用，则机器人纸箱搬运系统100可在机器人车辆控制器154的控制下进行以下自主操作：(i)移入纸箱容器108，(ii)执行装载或卸载纸箱堆容器108中的一者，以及(iii)从纸箱堆容器108中移出。为了在纸箱堆容器108内导航并在其中快速搬运纸箱104，机器人车辆控制器154的纸箱检测系统166可包括传感器157，这些传感器分别附接到移动主体114和可移动机器人操纵器(例如，机器人臂组件102)中的一者，以提供搁置在纸箱堆容器108的底板159上的纸箱堆106的至少一个定位的二维(2D)光学图像和三维(3D)点云。纸箱堆容器108可以是静止的或移动的，诸如公路、铁路或在通航水域上运输的运输载体。
控制器144提供环境，在该环境中可实现本公开的各种实施方案的所述特征中的一个或多个。示例性控制器144可实现为一体式设备或分布式处理系统。控制器144可包括跨一个或多个导体或光纤结构的系统互连件通信的功能部件。为了清楚和方便地描述，将这些示例性系统互连件描述为系统总线156。系统总线156可包括数据总线、地址总线和控制总线，用于在这些耦接的单元的任一者之间传送数据、地址和控制信息。控制器144的功能部件可包括处理器子系统158，该处理器子系统由一个或多个中央处理单元(CPU)、数字信号处理器(DSP)和处理器存储器构成。处理器子系统158可包括任何工具或工具的聚集体，这些工具用于对业务、科学、控制或其他目的(包括控制物料搬运系统的自动化设备)的任何形式的信息、情报或数据进行计算、分类、处理、传输、接收、检索、发起、切换、存储、显示、表明、检测、记录、复制、运用或利用。
根据本公开的各种方面，元件、或元件的任何部分，或元件的任何组合可以用处理器子系统158实现，该处理器子系统包括包含处理器的一个或多个物理设备。处理器的非限制性示例包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、可编程逻辑控制器(PLC)、状态机、门控逻辑、分立硬件电路，以及被配置为执行贯穿本公开内容描述的各种功能的其他合适的硬件。处理系统中的一个或多个处理器可执行指令。执行指令以影响结果的处理系统是被配置为执行导致结果的任务的处理系统，诸如通过向处理系统的一个或多个部件提供指令，这些指令将使这些部件执行动作，这些动作本身或与处理系统的其他部件执行的其他动作相结合将导致结果。
控制器144可包括网络接口(I/F)设备160，其使控制器144能够与位于控制器144外部的其他设备、服务和部件(诸如WES 148)进行通信或接合。这些联网设备、服务和部件可使用一个或多个通信协议，经由外部网络(诸如示例性网络162)与控制器144接合。网络162可为局域网、广域网、个域网等，并且指向网络162和控制器144和/或二者之间的连接可为有线、无线或它们的组合。为了清楚和方便地描述，网络162被表示为单个集合部件。然而，应当理解网络162可包括一个或多个指向其他设备的直接连接以及更复杂的互连集合，这些互连可存在于广域网中，诸如互联网或专用内联网。例如，编程工作站可通过网络162远程修改控制器144的编程或参数设置。网络162中的各种链路可为有线的或无线的。控制器144可经由设备接口168与许多机载设备通信，诸如灯、指示器、手动控件等。设备接口168可包括无线链路和有线链路。例如，控制器144可指引可延长传送机112跟随机器人纸箱搬运系统100进入纸箱堆容器108或者将机器人纸箱搬运系统100引出纸箱堆容器108。
控制器144可包括管理机器人纸箱搬运系统100的特定功能的若干分布式子系统。自动化控制器170可从纸箱检测系统166接收位置和空间校准信息，并使用该数据经由车辆接口172协调移动主体114的移动以及有效载荷部件进行的移动，有效载荷部件诸如机器人臂组件102和移动传送机系统110的前部142的升降器140。
纸箱检测系统166可包括使用双目原理、激光雷达原理、雷达原理和/或声纳原理的深度感测。为了避免对一致的环境照明条件的依赖，照明器169可在一个或多个光谱带宽诸如可见光或红外光中提供一致或可调节的照明量。照明可被狭义地限定在可见光谱中，使得能够对大部分环境光进行过滤。另选地，照明可在可视距离之外，使得照明不会分散人类操作者的注意力。纸箱检测系统166可从前部3D/2D传感器176接收2D和3D传感器数据，该前部3D/2D传感器观察纸箱堆容器108的内部和纸箱堆106。纸箱检测系统166可从前部RGB-D传感器接收2D和3D传感器数据，该前部RGB-D传感器观察纸箱堆容器108的内部和纸箱堆106。出于这些和其他目的，纸箱检测系统166可包括执行下文所述过程的各种应用或部件。
处理器子系统158可使用系统存储器164来保存功能组件，诸如数据和软件(例如，纸箱检测系统166)。软件可被广泛地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用程序、软件应用程序、软件包、例程、子例程、对象、可执行文件、执行线程、过程、函数等等，而无论是被称为软件、固件、中间件、微代码、硬件描述语言、功能框图(FBD)、梯形图(LD)、结构化文本(ST)、指令表(IL)和顺序功能图(SFC)还是其他。该软件可以驻留在计算机可读介质上。为清楚起见，系统存储器164可包括随机存取存储器，它们可以是或可以不是易失性、非易失性数据存储。系统存储器164可包含一个或多个类型的计算机可读介质，该介质可为非暂态的或暂态的。以举例的方式，计算机可读介质包括磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，高密度磁盘(CD)、数字通用盘(DVD))、智能卡、闪存存储器设备(例如，卡、杆、按键驱动器)、随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、寄存器、可移动磁盘，以及用于存储可由计算机访问和读取的软件和/或指令的任何其他合适的介质。计算机可读介质可以驻留在处理系统中，在处理系统外部，以及/或者分布在包括处理系统的多个实体上。计算机可读介质可以体现在计算机程序产品中。以举例的方式，计算机程序产品可以包括包装材料中的计算机可读介质。根据本公开，对于本领域的普通技术人员将显而易见的是，可基于特定应用和强加于整个系统的总体设计约束来调节本文所述的功能的实现。
图2示出了根据一个或多个实施方案的图1的机器人纸箱搬运系统100的等轴视图。如图2所示，机器人纸箱搬运系统100的上臂组件128可包括可旋转机架201，该可旋转机架的后端130在上臂轴线134处枢转地附接到左右下臂120。可旋转机架201在延伸端205处限定侧向引导件203。上臂组件128可包括端臂207，该端臂在近侧附接以侧向运动到可旋转机架201的侧向引导件203并且在远侧附接到操纵器头部136。端臂207可侧向平移以便达到增大的侧向区域。由此可以采用更轻的重量和更易操作的操纵器头部136。
在一个实施方案中，纸箱检测系统166可包括后部3D/2D传感器178。后部3D/2D传感器178可包括2D红外传感器211、3D深度传感器213和2D光学传感器215。前部3D/2D传感器176可包括在不同光谱和尺寸下操作的空间上分离的传感器，以便在多种堆叠布置、照明条件下检测物品，诸如产品、纸箱、盒子、箱子、手提袋等(纸箱104)。将传感器安装在端部执行器(操纵器头136)上还可改变有利位置，诸如向下看向纸箱堆106，以更好地区分最顶部的纸箱104。在示例性实施方案中，前部3D/2D传感器176包括位于操纵器头136上的左上2D传感器217、左上3D传感器219、右上2D传感器221和右上3D传感器223。前部3D/2D传感器176包括位于移动主体114的前端上的左下2D传感器227、左下3D传感器229、右下2D传感器231和右下3D传感器233。
图3示出了根据本公开的一个或多个实施方案的图1的机器人纸箱搬运系统100的透视图。如图3所示，机器人纸箱搬运系统100可包括移动主体114和可移动机器人操纵器102。可移动机器人操纵器102可包括端部执行器136，如图所示。如上所述，一个或多个3D和/或2D传感器(未示出)可安装在端部执行器136上和/或移动主体114的前端上。3D和/或2D传感器可提供传感器数据以生成用于操作机器人纸箱搬运系统100的机器视觉。
此外，如上所述，对于传感器数据对齐，3D和/或2D传感器的校准是必不可少的。就这一点而言，本公开描述了用于传感器数据对齐以准确地定位用于机器人应用的对象的校准对象302。校准对象302可指可用于校准机器人纸箱搬运系统100的3D和/或2D传感器的任何目标对象。在示例性实施方案中，校准对象302可为具有独特形状特征的定制设计的目标。例如，如图3所示，校准对象302可为I形对象。另外，校准对象302可包括一个或多个标记304，如图3所示。一个或多个标记304可为校准对象302上可被3D和/或2D传感器容易地检测到的任何标记、补片和/或特征。在一个实施方案中，如图3所示，一个或多个标记304可为校准对象302上的一个或多个黑色正方形。具有I形的校准对象302的使用还可用于提供改善标记304的定位的独特形状。即，可更准确地确定具有I形的校准对象302的中心的定位。
另外，在一个实施方案中，单个校准对象302(诸如I形对象)可用于3D-2D相机和/或传感器对。为了对齐机器人纸箱搬运系统100的所有四对3D-2D相机和/或传感器，可使用多校准对象设置(诸如如图3所示的多I形对象设置)来对齐位于端部执行器136上和/或移动主体114的前端上的3D和/或2D传感器。另外，在校准过程期间，校准对象302可被定位在机器人纸箱搬运系统100的前面，使得校准对象可处于机器人纸箱搬运系统100的所有3D和/或2D相机的视场中。在一个实施方案中，如图3所示，校准对象302可安装在机器人纸箱搬运系统100的前部142上，以提高校准对象302的可见性和稳定性。
图4A至图4B示出了根据本公开的一个或多个实施方案的校准对象302的前视图。根据本公开的一个或多个实施方案，图4A示出了校准对象302的前视图，并且图4B示出了多个校准对象302a、302b、302c和302d的设置的前视图。如图4A所示，校准对象302可为具有不同形状特征的I形对象。应当指出的是，校准对象302不限于I形对象，并且可包括可由机器人纸箱搬运系统100的3D和/或2D传感器清楚地识别的任何形状的对象。
此外，如上所述，校准对象302可包括一个或多个标记304，如图4A至图4B中所示的黑色正方形。一个或多个标记304用于使2D传感器和/或相机能够定位校准对象302，如下文将描述的。图4B示出了安装在机器人纸箱搬运系统100的前部142上的多个校准对象302a、302b、302c和302d的设置，如上文参考图3所述。多个校准对象302a、302b、302c和302d的设置可用于对齐位于端部执行器136(未示出)上和/或移动主体114的前端(未示出)上的3D和/或2D传感器对。
图5示出了根据本公开的一个或多个实施方案的用于校准机器人纸箱搬运系统100的纸箱检测系统166的示例性方法500。方法500可包括在框502处，由机器人纸箱搬运系统100的纸箱检测系统166和/或处理子系统158来接收校准对象302的三维(3D)点云。按照本公开，对于本领域的普通技术人员将显而易见的是，3D点云可指由于由3D传感器和/或相机进行3D扫描而产生的在空间中的一组数据点。根据本公开，3D点云可由前部3D/2D传感器176和/或后部3D/2D传感器178单独地或与处理子系统158组合地生成。如图4A所示，校准对象302的3D点云可包括空间中的可示出I形对象的多个点。
方法500还可包括在框504处，由机器人纸箱搬运系统100的纸箱检测系统166和/或处理子系统158通过将校准对象302的三维(3D)点云与点云模板进行比较来确定校准对象302的3D目标姿态。纸箱检测系统166、处理子系统158和/或机器人纸箱搬运系统100可包括对应于校准对象302的点云模板。当使用校准对象302例如在装运机器之前和/或在现场设置机器之后对机器人纸箱搬运系统100的3D/2D传感器进行初始校准时，可生成点云模板。点云模板可稍后在需要校准的任何时间使用，以将点云模板与在校准过程期间生成的3D点云进行比较，从而计算方差。在一个实施方案中，机器人纸箱搬运系统100的纸箱检测系统166和/或处理子系统158可使用迭代最近点(ICP)算法来计算3D目标姿态。根据本公开，对于本领域的普通技术人员将显而易见的是，ICP可利用上述点云模板来与由机器人纸箱搬运系统100的3D/2D传感器生成的3D点云进行匹配，从而计算方差。3D目标姿态可包括X、Y、Z坐标以及校准对象302的滚转角、俯仰角和/或偏转角。
方法500还可包括在框506处，由机器人纸箱搬运系统100的纸箱检测系统166和/或处理子系统158来接收校准对象302的二维(2D)光学图像。根据本公开，校准对象302的2D光学图像可由前部3D/2D传感器176和/或后部3D/2D传感器178生成。另外，方法500可包括在框508处，由机器人纸箱搬运系统100的纸箱检测系统166和/或处理子系统158基于校准对象302的2D光学图像来识别校准对象302上的一个或多个标记304。在示例性实施方案中，由机器人纸箱搬运系统100的2D传感器和/或相机生成的2D光学图像可包括校准对象302的RGB图像。如上文参考图4A至图4B所述，一个或多个标记304可包括可由机器人纸箱搬运系统100的纸箱检测系统166和/或处理子系统158识别的校准对象302上的任何标记、补片和/或显著特征。在一个示例性实施方案中，如上所述，一个或多个标记304可包括黑色正方形，如图4A至图4B所示，这些黑色正方形可在2D光学图像(例如，校准对象302的RGB图像)中清晰可见。在一些实施方案中，纸箱检测系统166和/或处理子系统158可通过从2D光学图像中检测一个或多个标记304的一个或多个边缘和拐角来识别校准对象302上的一个或多个标记304。纸箱检测系统166和/或处理子系统158可例如使用高斯差(DOG)或Canny检测算法，以便检测一个或多个标记304的边缘和拐角。因此，纸箱检测系统166和/或处理子系统158可基于校准对象302的2D光学图像来识别校准对象302上的一个或多个标记304。
方法500还可包括在框510处，由机器人纸箱搬运系统100的纸箱检测系统166和/或处理子系统158基于2D光学图像来确定校准对象上的一个或多个标记304中的每一个的标记姿态。在示例性实施方案中，纸箱检测系统166和/或处理子系统158可基于标记大小和2D相机焦点来确定每个标记304的标记姿态(即，X、Y、Z坐标以及滚转角、俯仰角和偏转角)。一旦由纸箱检测系统166和/或处理子系统158确定了校准对象302上的每个标记304的标记姿态，则方法500可包括在框512处，基于校准对象302上的一个或多个标记304中每一个的标记姿态来确定2D目标姿态。在一些实施方案中，纸箱检测系统166和/或处理子系统158可对所有标记304的标记姿态进行平均，以确定校准对象302的2D目标姿态。因此，纸箱检测系统166和/或处理子系统158在校准过程期间确定校准对象302的3D目标姿态和2D目标姿态。
此外，方法500可以包括在框514处，由纸箱检测系统166和/或处理子系统158基于3D目标姿态和2D目标姿态生成变换矩阵。变换矩阵可用于示出两个帧(例如，3D相机帧、2D相机帧和/或目标帧)之间的姿态关系。根据本公开，变换矩阵可用于描绘3D相机帧和2D相机帧之间的姿态关系，使得来自3D相机的3D点云的所有点可被投影在2D相机上。在示例性实施方案中，变换矩阵可为包括旋转子矩阵和平移子矩阵的4×4矩阵。例如，变换矩阵的格式可为：
Figure BDA0002391424170000141
如果旋转滚转角、俯仰角、偏转角为α,β,γ，则旋转矩阵可为：
Figure BDA0002391424170000142
此外，平移子矩阵可为：
Figure BDA0002391424170000143
平移子矩阵可示出两个帧(例如，3D相机帧、2D相机帧和/或目标帧)之间的平移。
在一个实施方案中，在3D传感器和/或相机以及2D传感器和/或相机检测到校准对象302之后，纸箱检测系统166和/或处理子系统158可基于3D目标姿态生成3D_到_目标变换矩阵(T3D_到_目标)，以及基于2D目标姿态生成2D_到_目标变换矩阵(T2D_到_目标)。
3D_到_目标变换矩阵T3D_到_目标可示出从3D相机帧到目标帧的旋转和平移。2D_到_目标变换矩阵T2D_到_目标可示出从2D相机帧到目标帧的旋转和平移。
此外，纸箱检测系统166和/或处理子系统158可计算从3D相机帧到2D相机帧的变换矩阵，如：
Figure BDA0002391424170000151
(T-1表示变换矩阵的逆矩阵T)
因此，从2D相机帧到3D相机帧的变换矩阵可以是从3D相机帧到2D相机帧的变换矩阵的逆矩阵。
Figure BDA0002391424170000152
在生成该变换矩阵之后，纸箱检测系统166和/或处理子系统158可基于以下公式将来自3D相机的3D点云的所有点投影到2D相机上：
P2D上的点＝T2D_到_3D*P3D上的点
Figure BDA0002391424170000153
P2D上的x、P2D上的y、P2D上的z示出2D相机上的点x、y、z定位。P2D上的z为深度值。
Figure BDA0002391424170000154
P3D上的x、P3D上的y、P3D上的z示出3D相机上的点x、y、z定位。
此外，纸箱检测系统166和/或处理子系统158可使用如下所提供的投影公式将所有3D点投影到2D图像上，以用于机器人应用的进一步对象检测。
Figure BDA0002391424170000161
Figure BDA0002391424170000162
其中，fx和fy为2D相机的x轴和y轴的聚焦值；并且
cx和cy为2D相机的x轴和y轴的中心值。
利用上述公式和2D相机上的已知深度值P2D上的z，纸箱检测系统166和/或处理子系统158可将点从2D相机转换到3D相机，如：
Figure BDA0002391424170000163
Figure BDA0002391424170000164
然后，可将3D相机帧上的2D点计算为P3D上的点＝T3D_到_2D*P2D上的点
因此，在框516处，纸箱检测系统166和/或处理子系统158可基于变换矩阵自动地校准纸箱检测系统166，如上所述。
必须注意，如在本说明书和所附权利要求中所使用的，单数形式“一”、“一个”和“该”包括复数指示物，除非内容另有明确说明。
在本说明书中对“一个实施方案”、“实施方案”、“多个实施方案”或“一个或多个实施方案”的引用意在指示结合该实施方案描述的特定特征、结构或特性包括在本公开的至少一个实施方案中。此类短语在说明书中的各个地方的出现不一定都指代相同的实施方案，也不是与其他实施方案互斥的单独或另选实施方案。此外，描述了可以由一些实施方案而不是由其他实施方案呈现的各种特征。类似地，描述了各种要求，这些要求可能是一些实施方案的要求而不是其他实施方案的要求。
应当指出的是，当在本公开中采用时，术语“包含”、“包括”和来自根术语“包含”的其他衍生词旨在是开放式术语，其指定存在任何所述特征、元素、整数、步骤或部件，并且不旨在排除一个或多个其他特征、元素、整数、步骤、部件或其组的存在或添加。
根据需要，本文公开了本发明的详细实施方案；然而，应当理解，本公开的实施方案仅仅是本发明的示例性实施方案，其可以各种形式体现。因此，本文所公开的具体结构和功能细节不应解释为是限制性的，而仅仅是作为权利要求的基础，并且是教导本领域技术人员以实质上任何适当的详细结构不同地采用本发明的代表性基础。
虽然显而易见的是，本文所公开的本发明的例示性实施方案实现了上述目标，但应当理解，本领域的普通技术人员可设计出许多修改形式和其他实施方案。因此，应当理解，所附权利要求书旨在涵盖属于本发明的实质和范围内的所有此类修改形式和实施方案。

Claims (10)

1.一种校准纸箱检测系统的方法，所述方法包括：
接收校准对象的三维(3D)点云；
通过将所述校准对象的所述3D点云与点云模板进行比较来确定所述校准对象的3D目标姿态；
接收所述校准对象的二维(2D)光学图像；
基于所述校准对象的所述2D光学图像来识别所述校准对象的一个或多个标记；
基于所述2D光学图像来确定所述校准对象的所述一个或多个标记中的每一个的标记姿态；
基于所述校准对象的所述一个或多个标记中的每一个的所述标记姿态来确定2D目标姿态；
基于所述3D目标姿态和所述2D目标姿态来生成变换矩阵；以及
基于所述变换矩阵来校准所述纸箱检测系统。
2.根据权利要求1所述的方法，其中识别所述校准对象的所述一个或多个标记包括从所述2D光学图像检测所述一个或多个标记的一个或多个边缘和拐角。
3.根据权利要求1所述的方法，其中确定所述一个或多个标记中的每一个的所述标记姿态包括基于相机焦点和标记大小中的至少一者来估计所述标记姿态。
4.根据权利要求1所述的方法，其中基于所述标记姿态来确定所述2D目标姿态还包括确定所述一个或多个标记中的每一个的标记位置。
5.根据权利要求1所述的方法，其中生成所述变换矩阵包括生成旋转子矩阵和平移子矩阵。
6.根据权利要求5所述的方法，还包括基于滚转角、俯仰角或偏转角中的一者或多者来生成所述旋转子矩阵。
7.根据权利要求5所述的方法，还包括基于所述3D点云、所述2D光学图像和所述点云模板中的一者或多者之间的平移来生成所述平移子矩阵。
8.根据权利要求1所述的方法，其中生成所述变换矩阵还包括：
基于所述3D目标姿态来生成3D_到_目标变换矩阵；
基于所述2D目标姿态来生成2D_到_目标变换矩阵；以及
基于所述3D_到_目标变换矩阵和所述2D_到_目标变换矩阵来生成所述变换矩阵。
9.根据权利要求1所述的方法，其中校准所述纸箱检测系统包括基于所述变换矩阵来将所述3D点云中的一个或多个点投影到所述2D光学图像上。
10.一种用于卸载纸箱的机器人纸箱搬运系统，所述机器人纸箱搬运系统包括：
移动主体；
可移动机器人操纵器，所述可移动机器人操纵器附接到所述移动主体，其中所述可移动机器人操纵器包括端部执行器，所述端部执行器被配置为从纸箱堆卸载一个或多个纸箱；和
纸箱检测系统，所述纸箱检测系统包括：
一个或多个传感器，所述一个或多个传感器联接到所述移动主体或所述可移动机器人操纵器中的至少一者，其中所述一个或多个传感器被配置为提供校准对象的二维(2D)光学图像和三维(3D)点云；和
处理子系统，所述处理子系统与所述一个或多个传感器通信，其中所述处理子系统被配置为：
从所述一个或多个传感器接收所述校准对象的所述3D点云；
通过将所述校准对象的所述3D点云与点云模板进行比较来确定所述校准对象的3D目标姿态；
接收所述校准对象的所述2D光学图像；
基于所述校准对象的所述2D光学图像来识别所述校准对象的一个或多个标记；
基于所述2D光学图像来确定所述校准对象的所述一个或多个标记中的每一个的标记姿态；
基于所述校准对象的所述一个或多个标记中的每一个的所述标记姿态来确定2D目标姿态；
基于所述3D目标姿态和所述2D目标姿态来生成变换矩阵；以及
基于所述变换矩阵来校准所述纸箱检测系统。
CN202010115685.XA 2019-02-28 2020-02-25 用于机器人纸箱卸载的视觉校准系统 Active CN111618842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311419370.4A CN117506892A (zh) 2019-02-28 2020-02-25 用于机器人纸箱卸载的视觉校准系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/288,953 US11049282B2 (en) 2019-02-28 2019-02-28 Vision calibration system for robotic carton unloading
US16/288,953 2019-02-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311419370.4A Division CN117506892A (zh) 2019-02-28 2020-02-25 用于机器人纸箱卸载的视觉校准系统

Publications (2)

Publication Number Publication Date
CN111618842A true CN111618842A (zh) 2020-09-04
CN111618842B CN111618842B (zh) 2023-10-13

Family

ID=69902972

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311419370.4A Pending CN117506892A (zh) 2019-02-28 2020-02-25 用于机器人纸箱卸载的视觉校准系统
CN202010115685.XA Active CN111618842B (zh) 2019-02-28 2020-02-25 用于机器人纸箱卸载的视觉校准系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311419370.4A Pending CN117506892A (zh) 2019-02-28 2020-02-25 用于机器人纸箱卸载的视觉校准系统

Country Status (3)

Country Link
US (1) US11049282B2 (zh)
EP (1) EP3706079A1 (zh)
CN (2) CN117506892A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112623602A (zh) * 2021-03-10 2021-04-09 泓昇(天津)科技有限公司 一种物流仓库自动卸货码垛方法
CN114291482A (zh) * 2020-10-08 2022-04-08 因特利格雷特总部有限责任公司 在物料搬运环境中的基于LiDAR的监测
CN114332231A (zh) * 2022-03-04 2022-04-12 成都创像科技有限公司 视觉检测设备中机械手与相机的定位方法、装置及介质
CN117140539A (zh) * 2023-11-01 2023-12-01 成都交大光芒科技股份有限公司 基于空间坐标变换矩阵的机器人三维协同巡检方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3139261A1 (en) 2016-12-09 2018-06-14 Berkshire Grey, Inc. Systems and methods for processing objects provided in vehicles
US11789350B2 (en) * 2020-05-11 2023-10-17 Anthony Goolab Celestial body image projection system
CN112164112B (zh) * 2020-09-14 2024-05-17 北京如影智能科技有限公司 一种获取机械臂位姿信息的方法及装置
CN112561998B (zh) * 2020-12-16 2024-02-20 国网江苏省电力有限公司检修分公司 一种基于三维点云配准的机器人定位和自主充电方法
US20230215049A1 (en) * 2022-01-06 2023-07-06 Liberty Reach Inc. Method and System for Registering a 3D Sensor with an Autonomous Manipulator
CN113138596A (zh) * 2021-03-31 2021-07-20 深圳市优必选科技股份有限公司 机器人自动充电方法、系统、终端设备及存储介质
CN113378626A (zh) * 2021-04-22 2021-09-10 北京铁科首钢轨道技术股份有限公司 弹条视觉抓取方法
WO2023059485A1 (en) 2021-10-06 2023-04-13 Berkshire Grey Operating Company, Inc. Dynamic processing of objects provided in elevated vehicles with evacuation systems and methods for receiving objects
US20230278221A1 (en) * 2022-02-15 2023-09-07 Symbotic Canada, Ulc Apparatus and method for automatic pallet builder calibration
EP4385677A1 (en) * 2022-12-16 2024-06-19 Siemens Aktiengesellschaft Method and calibration system for calibrating autonomous mobile machines
CN115965628B (zh) * 2023-03-16 2023-06-02 湖南大学 一种工件涂装质量在线动态检测方法及检测系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101096101A (zh) * 2006-06-26 2008-01-02 北京航空航天大学 机器人足目标定方法和标定装置
CN101698303A (zh) * 2009-09-11 2010-04-28 大连理工大学 一种三维激光和单目视觉间的自动标定方法
DE102009058802A1 (de) * 2009-12-18 2011-06-22 EADS Deutschland GmbH, 85521 Anordnung zur kombinierten Darstellung eines realen und eines virtuellen Modells im Kontext eines realen Modells sowie ein Verfahren zur Simulation eines virtuellen Modells in Verbindung mit virtuell als auch real vorhandenen Werkzeugen im Kontext eines realen Modells
CN102218736A (zh) * 2010-04-14 2011-10-19 株式会社神户制钢所 工业用机器人的手臂的基准位置定位方法及工业用机器人
CN102322816A (zh) * 2011-06-13 2012-01-18 北京航空航天大学 一种三维冰形数字图像系统的标定靶装置及标定方法
CN102750687A (zh) * 2011-09-23 2012-10-24 新奥特（北京）视频技术有限公司 一种摄像机参数标定和三维点云生成方法和装置
US9002098B1 (en) * 2012-01-25 2015-04-07 Hrl Laboratories, Llc Robotic visual perception system
CN106426158A (zh) * 2015-08-11 2017-02-22 冯黎 一种与三维测量组合应用的机器人作业程序自动修正系统
CN107221003A (zh) * 2017-07-17 2017-09-29 太微恒道新科技（深圳）有限公司 一种活植物体编码艺术画生产系统及其生产方法
CN107962549A (zh) * 2016-10-20 2018-04-27 因特利格雷特总部有限责任公司 用于机器人纸箱卸载的3d-2d视觉系统
CN109159113A (zh) * 2018-08-14 2019-01-08 西安交通大学 一种基于视觉推理的机器人作业方法
CN109249392A (zh) * 2018-08-31 2019-01-22 先临三维科技股份有限公司 工件抓取系统的校准方法、标定件、装置、设备和介质
CA3042819A1 (en) * 2018-05-09 2019-11-09 Postureco, Inc. Method and system for postural analysis and measuring anatomical dimensions from a digital image using machine learning

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4681856B2 (ja) 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置
US8026929B2 (en) 2006-06-26 2011-09-27 University Of Southern California Seamlessly overlaying 2D images in 3D model
US8401276B1 (en) * 2008-05-20 2013-03-19 University Of Southern California 3-D reconstruction and registration
US8290305B2 (en) * 2009-02-13 2012-10-16 Harris Corporation Registration of 3D point cloud data to 2D electro-optical image data
JP5714232B2 (ja) * 2009-03-12 2015-05-07 オムロン株式会社 キャリブレーション装置および３次元計測のためのパラメータの精度の確認支援方法
CN102713671A (zh) * 2009-12-11 2012-10-03 株式会社拓普康 点群数据处理装置、点群数据处理方法和点群数据处理程序
US9650215B2 (en) * 2013-05-17 2017-05-16 Intelligrated Headquarters Llc Robotic carton unloader
US9616569B2 (en) * 2015-01-22 2017-04-11 GM Global Technology Operations LLC Method for calibrating an articulated end effector employing a remote digital camera
US20180374239A1 (en) * 2015-11-09 2018-12-27 Cognex Corporation System and method for field calibration of a vision system imaging two opposite sides of a calibration object
US9990535B2 (en) * 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
CN109313015B (zh) * 2016-05-12 2021-09-03 康耐视股份有限公司 用于视觉系统的校准
CN109313799B (zh) * 2016-12-21 2021-02-26 华为技术有限公司 图像处理方法及设备
CN206441237U (zh) 2016-12-29 2017-08-25 深圳超多维光电子有限公司 一种立体摄像头模组的标定装置
US10507002B2 (en) * 2017-05-23 2019-12-17 Siemens Healthcare Gmbh X-ray system and method for standing subject
WO2019028075A1 (en) * 2017-08-01 2019-02-07 Enova Technology, Inc. INTELLIGENT ROBOTS
AU2017225023A1 (en) * 2017-09-05 2019-03-21 Canon Kabushiki Kaisha System and method for determining a camera pose
EP3457357B1 (en) * 2017-09-13 2021-07-07 Tata Consultancy Services Limited Methods and systems for surface fitting based change detection in 3d point-cloud
CN109559349B (zh) * 2017-09-27 2021-11-09 虹软科技股份有限公司 一种用于标定的方法和装置
WO2019071512A1 (en) * 2017-10-12 2019-04-18 Intel Corporation CALIBRATION OF CAMERAS
CN109754426B (zh) * 2017-11-01 2021-04-23 虹软科技股份有限公司 一种用于摄像标定参数验证的方法、系统和装置
TWI672207B (zh) * 2017-11-03 2019-09-21 財團法人工業技術研究院 機械設備之定位系統及其方法
JP2019158414A (ja) * 2018-03-08 2019-09-19 東芝テック株式会社 情報処理装置
US10719953B1 (en) * 2018-03-27 2020-07-21 Facebook Technologies, Llc Passive object tracking using camera
US11259000B2 (en) * 2018-07-02 2022-02-22 Lumierev Inc. Spatiotemporal calibration of RGB-D and displacement sensors
WO2020139942A1 (en) * 2018-12-26 2020-07-02 Nike Innovate C.V. Resilient dynamic projection mapping system and methods

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101096101A (zh) * 2006-06-26 2008-01-02 北京航空航天大学 机器人足目标定方法和标定装置
CN101698303A (zh) * 2009-09-11 2010-04-28 大连理工大学 一种三维激光和单目视觉间的自动标定方法
DE102009058802A1 (de) * 2009-12-18 2011-06-22 EADS Deutschland GmbH, 85521 Anordnung zur kombinierten Darstellung eines realen und eines virtuellen Modells im Kontext eines realen Modells sowie ein Verfahren zur Simulation eines virtuellen Modells in Verbindung mit virtuell als auch real vorhandenen Werkzeugen im Kontext eines realen Modells
CN102218736A (zh) * 2010-04-14 2011-10-19 株式会社神户制钢所 工业用机器人的手臂的基准位置定位方法及工业用机器人
CN102322816A (zh) * 2011-06-13 2012-01-18 北京航空航天大学 一种三维冰形数字图像系统的标定靶装置及标定方法
CN102750687A (zh) * 2011-09-23 2012-10-24 新奥特（北京）视频技术有限公司 一种摄像机参数标定和三维点云生成方法和装置
US9002098B1 (en) * 2012-01-25 2015-04-07 Hrl Laboratories, Llc Robotic visual perception system
CN106426158A (zh) * 2015-08-11 2017-02-22 冯黎 一种与三维测量组合应用的机器人作业程序自动修正系统
CN107962549A (zh) * 2016-10-20 2018-04-27 因特利格雷特总部有限责任公司 用于机器人纸箱卸载的3d-2d视觉系统
CN107221003A (zh) * 2017-07-17 2017-09-29 太微恒道新科技（深圳）有限公司 一种活植物体编码艺术画生产系统及其生产方法
CA3042819A1 (en) * 2018-05-09 2019-11-09 Postureco, Inc. Method and system for postural analysis and measuring anatomical dimensions from a digital image using machine learning
CN109159113A (zh) * 2018-08-14 2019-01-08 西安交通大学 一种基于视觉推理的机器人作业方法
CN109249392A (zh) * 2018-08-31 2019-01-22 先临三维科技股份有限公司 工件抓取系统的校准方法、标定件、装置、设备和介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114291482A (zh) * 2020-10-08 2022-04-08 因特利格雷特总部有限责任公司 在物料搬运环境中的基于LiDAR的监测
CN114291482B (zh) * 2020-10-08 2024-05-14 因特利格雷特总部有限责任公司 在物料搬运环境中的基于LiDAR的监测
CN112623602A (zh) * 2021-03-10 2021-04-09 泓昇(天津)科技有限公司 一种物流仓库自动卸货码垛方法
CN112623602B (zh) * 2021-03-10 2021-07-23 泓昇(天津)科技有限公司 一种物流仓库自动卸货码垛方法
CN114332231A (zh) * 2022-03-04 2022-04-12 成都创像科技有限公司 视觉检测设备中机械手与相机的定位方法、装置及介质
CN114332231B (zh) * 2022-03-04 2022-06-14 成都创像科技有限公司 视觉检测设备中机械手与相机的定位方法、装置及介质
CN117140539A (zh) * 2023-11-01 2023-12-01 成都交大光芒科技股份有限公司 基于空间坐标变换矩阵的机器人三维协同巡检方法
CN117140539B (zh) * 2023-11-01 2024-01-23 成都交大光芒科技股份有限公司 基于空间坐标变换矩阵的机器人三维协同巡检方法

Also Published As

Publication number Publication date
US20200276713A1 (en) 2020-09-03
US11049282B2 (en) 2021-06-29
CN111618842B (zh) 2023-10-13
EP3706079A1 (en) 2020-09-09
CN117506892A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN111618842B (zh) 用于机器人纸箱卸载的视觉校准系统
US10662007B2 (en) 3D-2D vision system for robotic carton unloading
US10239701B2 (en) Conveyor screening during robotic article unloading
US9738463B2 (en) Autonomous controls for a robotic carton unloader
EP3484667B1 (en) Robotic carton unloader with integral extraction mechanism
US10906742B2 (en) Carton unloader tool for jam recovery
US10597234B2 (en) Carton unloader tool for jam recovery
CN109562513B (zh) 机器人纸箱卸载器的自主控制
CN110837814A (zh) 车辆导航方法、装置及计算机可读存储介质
US20220097243A1 (en) Closed loop solution for loading/unloading cartons by truck unloader
CN116972748A (zh) 传送机上的测量系统
JPH09255158A (ja) 物体配置認識装置
EP3653546B1 (en) Robotic material handling system
CN110997530B (zh) 用于卡塞恢复的纸箱卸载工具
TW202319946A (zh) 學習資料的生成裝置及學習資料的生成方法、以及使用學習資料的機械學習裝置及機械學習方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant