CN112204593B - 确定包裹放置位置的系统和方法 - Google Patents

确定包裹放置位置的系统和方法 Download PDF

Info

Publication number
CN112204593B
CN112204593B CN201980033147.1A CN201980033147A CN112204593B CN 112204593 B CN112204593 B CN 112204593B CN 201980033147 A CN201980033147 A CN 201980033147A CN 112204593 B CN112204593 B CN 112204593B
Authority
CN
China
Prior art keywords
depth data
parcel
occlusion
depth
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980033147.1A
Other languages
English (en)
Other versions
CN112204593A (zh
Inventor
D·科罗博夫
J·J·威廉姆斯
C·M·塔斯基兰
张燕
S·戈哈里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zebra Technologies Corp
Original Assignee
Zebra Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zebra Technologies Corp filed Critical Zebra Technologies Corp
Publication of CN112204593A publication Critical patent/CN112204593A/zh
Application granted granted Critical
Publication of CN112204593B publication Critical patent/CN112204593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Auxiliary Devices For And Details Of Packaging Control (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

一种在成像控制器中确定包裹的放置位置的方法，包括：获取表示包裹空间的深度数据；检测表示被遮挡物阻挡的该包裹空间的面积的该深度数据的被遮挡部分；检取表示在遮挡物不存在的情况下的该包裹空间的该面积的所存储的无阻挡深度数据；用该无阻挡深度数据替换该被遮挡部分以成修补深度数据；基于该修补深度数据来获取该包裹空间内用于放置包裹的位置；以及呈现该位置的指示。

Description

确定包裹放置位置的系统和方法
背景技术
对象(诸如包裹)的运输和存储通常要求包裹由装载操作员(也称为装载员)手动地装载到集装箱(例如，拖车、运输集装箱等)中。当用包裹装载集装箱时，装载员通常寻求使集装箱内空间的利用最大化，以减少处理包裹所需的集装箱的数量(以及与每一个集装箱相关联的成本)。通常由装载员在装载过程期间评估空间的利用，因此，基于装载员的经验，空间的利用可能有很大差异。向装载员提供自动化协助以评估空间的利用和选择包裹放置位置的尝试可能会受到包裹和集装箱的可变大小和形状的阻碍，并且难以获得集装箱的当前状态的精确机器可用表示。
附图说明
附图(其中类同的附图标记在全部单独的视图中表示相同的或功能类似的要素)连同下面的详细描述被并入于此并形成说明书的一部分，并用来进一步阐述包括所要求保护的发明的构思的实施例，以及解释那些实施例的各种原理和优势。
图1是包裹放置系统的示意图。
图2是图1的系统中的计算设备的某些内部部件的框图。
图3是确定用于包裹的放置位置的方法的流程图。
图4描绘了用于执行图3的方法的框310的方法的实施例。
图5描绘了在图4的方法中所采用的噪声过滤。
图6描绘了用于执行图3的方法的框315和320的方法的实施例。
图7描绘了图6的方法的执行结果。
图8描绘了用于执行图3的方法的框335的方法的实施例。
图9描绘了图8的方法的执行结果。
本领域技术人员将理解附图中的要素出于简化和清楚而示出，并且不一定按比例绘制。例如，附图中的要素中的一些要素的尺寸可以相对于其他要素被放大以帮助提升对本发明的实施例的理解。
已在附图中通过常规符号在合适位置对装置和方法构成进行了表示，所述表示仅示出与理解本发明的实施例有关的那些特定细节，以免因得益于本文的描述对本领域技术人员显而易见的细节而混淆本公开。
具体实施方式
本文所公开的示例针对一种在成像控制器中确定包裹的放置位置的方法。该方法包括：获取表示包裹空间的深度数据；检测表示被遮挡物阻挡的该包裹空间的面积的该深度数据的被遮挡部分；检取表示在该遮挡物不存在的情况下的该包裹空间的该面积的所存储的无阻挡深度数据；用该无阻挡深度数据替换该被遮挡部分以成修补深度数据；基于该修补深度数据来获取该包裹空间内用于放置包裹的位置；以及呈现该位置的指示。
本文所公开的附加示例针对一种用于确定包裹的放置位置的计算设备，该计算设备包括：通信接口，该通信接口耦合到数据捕获设备；存储器；以及成像控制器，该成像控制器连接到该存储器和该通信接口，该成像控制器被配置为：获取表示包裹空间的深度数据；检测表示被遮挡物阻挡的该包裹空间的面积的该深度数据的被遮挡部分；检取表示在该遮挡物不存在的情况下的该包裹空间的该面积的所存储的无阻挡深度数据；用该无阻挡深度数据替换该被遮挡部分以生成修补深度数据；基于该修补深度数据来获取该包裹空间内用于放置包裹的位置；以及呈现该位置的指示。
图1描绘了根据本公开的教导的包裹放置系统100。该系统100包括经由通信链路107与成像设备103和反馈设备106通信的计算设备101。在所示的示例中，该系统100被部署在包裹空间110中用于装载包裹。该包裹空间110包括集装箱，该集装箱具有侧壁、天花板、地板、后壁和装载端。该包裹空间110包括包裹壁112，该包裹壁112包括已装载的包裹114-1、114-2等(统称为已装载的包裹114，一般是指已装载包裹114)、集装箱的后壁、或已装载包裹114和后壁的组合，如成像设备103可见的。该包裹空间110可以进一步包括多个暂存或排队的包裹116-1、116-2等(统称为包裹116，一般是指包裹116)。装载员108在包裹空间110中，阻挡包裹壁112的一部分。因此，成像设备103被定位在装载端以捕获表示包裹空间110的图像数据和深度数据。例如，成像设备103可以被定位在集装箱中，或在面向包裹壁112的集装箱的后门处。
更具体地，成像设备103被部署以捕获包裹空间110的图像数据和深度数据，并且与计算设备101通信以供后处理。设备103包括图像传感器104(例如，一个或多个数码照相机)和深度传感器105(例如，一个或多个光检测和测距(LIDAR)传感器或一个或多个深度照相机，包括那些采用结构光模式的深度照相机，诸如红外光和/或立体图像传感器)。替代地或另外，可以基于成像设备103的光学器件的焦距来确定深度。在本示例中，设备103，特别是深度传感器105被配置为捕获深度数据(也称为帧或深度数据集)，该深度数据包括对应于包裹114或包裹116或其他对象(诸如将包裹放置在包裹空间110中的装载员108)的多个深度测量。每一个测量限定从深度传感器105到包裹空间110的图像数据(本文也称为帧或图像数据集)。设备103可以是具有集成的深度传感器105和图像传感器104的深度照相机。在其他实施例中，图像传感器104和深度传感器105可以被实现为独立的传感器而不是集成的设备103。
计算设备101可以是台式计算机、膝上型计算机、服务器、自助服务终端或其他合适的设备。在其他示例中，计算设备101包括移动计算设备，诸如平板电脑、智能电话等。计算设备101包括专用成像控制器，诸如处理器120，该专用成像控制器被专门设计为控制成像设备103以捕获数据(例如，上文提及的深度数据和/或图像数据)、经由通信接口124获取所捕获的数据并将该所捕获的数据存储在存储器122中的储存库132中。计算设备101进一步被配置成对所捕获的数据执行各种后处理操作，以检测所捕获的数据中的某些结构特征(诸如装载员108)。下面将更详细地讨论由计算设备101对所捕获的数据的后处理。
处理器120与非瞬态计算机可读存储介质(诸如上文提及的存储器122)互连，该非瞬态计算机可读存储介质上存储有用于执行设备101的控制以捕获数据的计算机可读指令，以及上文提及的后处理功能，如下面进一步详细讨论的。存储器122包括易失性存储器(例如，随机存取存储器或RAM)和非易失性存储器(例如，只读存储器或ROM、电可擦除可编程只读存储器或EEPROM、闪存存储器)的组合。处理器120和存储器122各自包括一个或多个集成电路。在实施例中，处理器120包括一个或多个中央处理单元(CPU)和/或图形处理单元(GPU)。在实施例中，替代地或者除了成像控制器/处理器120和存储器122之外，专门设计的集成电路(诸如现场可编程门阵列(FPGA))被设计为执行本文所描述的功能。如本领域技术人员将认识到的，成像设备103还包括与控制器120通信的一个或多个控制器或处理器和/或FPGA，其具体被配置为控制设备103的数据捕获方面。反馈设备106还包括与控制器120通信的一个或多个控制器或处理器和/或FPGA，其具体被配置为呈现(例如，显示)从计算设备101接收的位置指示。反馈设备106可以是移动计算设备(诸如平板电脑，智能电话)，或者可以是计算设备101外围的显示器(诸如监视器)。
计算设备101还包括上文提及的与处理器120互连的通信接口124。通信接口124包括合适的硬件(例如，发射器、接收器、网络接口控制器等)，从而允许计算设备101经由链路107与其他计算设备(特别是设备103和反馈设备106)进行通信。链路107可以是直接链路，或者是穿越一个或多个网络(包括局域网和广域网)的链路。基于需要计算设备101进行通信的网络或其他链路的类型来选择通信接口124的特定部件。
存储器122存储了多个应用，每一个应用包括可由处理器120执行的多个计算机可读指令。处理器120执行上文提及的指令将计算设备101配置为执行本文所描述的各种动作。存储在存储器122中的应用包括控制应用128，该控制应用128也可以被实现为一系列逻辑上不同的应用。通常，经由执行控制应用128或其子部件，处理器120被配置为实现各种功能。如经由执行控制应用128配置的处理器120在本文也称为控制器120。如现在将显而易见的是，以下描述的由控制器120实现的功能中的一些或全部也可以由预先配置的硬件元件(例如，一个或多个专用集成电路(ASIC))来执行，而不是通过由处理器120执行控制应用128来执行。
在本示例中，具体地，经由处理器120执行控制应用128来配置计算设备101，以处理由设备103捕获的图像和深度数据，以检测和替换包裹空间110中的遮挡(诸如装载员108)，以及确定放置包裹116的位置。
存储器122将图像数据和深度数据存储在储存库132中。对于由图像传感器104和/或深度传感器105捕获的每一个帧(即，形成点云的深度测量集和表示包裹空间110的图像像素集)，成像设备103与计算设备101相接以将当前图像数据和当前深度数据存储在储存库132中。储存库132还存储用于修补被遮挡部分的无阻挡深度数据和无阻挡图像数据，如下面将进一步描述的。储存库132还存储已装载的包裹114和要装载的包裹116的包裹元数据。包裹元数据包括包裹尺寸、重量、目的地等。
根据(例如，由设备103)所采用的用于捕获深度数据的深度传感器，该深度数据可以采取多种形式。例如，设备103可以包括深度照相机，诸如包括结构化投光器(例如，该结构化投光器将红外光的图案投射到包裹空间上)的立体照相机。在此类示例中，设备103捕捉深度数据集。该深度数据集各自都包括深度测量数组(例如，以米或其他合适单位表示的深度值数组)。该数组还可以包含映射到深度值的强度值(例如，值的数组，其中每一个值的范围为0到255)，而不是深度值本身。因此，该深度数据限定3D点云。类似地，根据(例如，由设备103)所采用的用于捕获图像数据的图像传感器，该图像数据可以采取多种形式。例如，图像传感器104可以捕捉图像数据集，每一个都包括像素数组，其中每个像素包含图像值(例如，RGB颜色值)。
在一些示例中，设备103可以被配置为分别使用图像传感器104和深度传感器105同时捕获图像数据和深度数据。设备103可以进一步被配置为在储存库132中存储图像数据和深度数据的关联。例如，储存库132可以存储来自图像数据像素数组的图像像素到来自深度数据数组的深度像素的映射。在一些示例中，该映射可以是像素数组之间的一对一映射，而在其他示例中，根据图像传感器104和深度传感器105相应的分辨率，该映射可以是一对多映射或多对一映射。更一般地，深度数据和图像数据彼此配准，使得给定深度测量通过其在深度测量数组中的位置对应于(即，表示包裹空间110的相同部分)图像数据中的已知图像像素或像素组。
现在转向图2，在描述应用128确定包裹放置位置的操作之前，将更详细地描述应用128的某些部件。对于本领域技术人员将显而易见的是，在其他示例中，应用128的部件可以被分离到不同的应用中，或者被组合到其他部件的集合中。图2中示出的部件中的一些或全部还可以被实现为专用硬件部件，诸如一个或多个ASIC或FPGA。例如，在一个实施例中，为了提高可靠性和处理速度，图2的部件中的至少一些被直接编程到成像控制器120中，该成像控制器120可以是具有专门设计为优化从成像设备103接收的大量传感器数据的图像处理的电路和存储器配置的FPGA或ASIC。在此类实施例中，下面讨论的控制应用128中的一些或全部是FPGA或ASIC芯片。
控制应用128包括预处理器200，该预处理器200被配置为获取表示包裹空间110的图像数据和深度数据，并对所捕获的数据执行过滤操作。控制应用128还包括被配置为检测和替换所捕获的数据的被遮挡部分的遮挡处理器204。控制应用128还包括包裹放置模块208，该包裹放置模块208被配置为裁剪包裹杂波，生成2D占据矩阵，并且基于该占据矩阵生成用于放置包裹的位置。包裹的放置位置针对负载质量和稳定性以及包裹空间110内的空间而优化。控制应用128还包括输出模块212，该输出模块212被配置为呈现包裹的放置位置的指示。
现在将更详细地描述控制应用128的功能。转到图3，示出了确定用于包裹的放置位置的方法300。将结合方法300在系统100上的执行并参考图2所示的部件来描述方法300。换句话说，在下面的讨论中，包裹是包裹116，并且要确定的放置位置是包裹空间110中的位置。在其他示例中，可以经由方法300的执行来确定用于在其他包裹空间中其他包裹的放置位置。
在框303处，控制器120，特别是预处理器200被配置为接收要装载的包裹116的条形码扫描。条形码扫描可以对应于包裹116的包裹标识符。例如，装载员108可以操作条形码扫描仪来扫描与包裹116相关联的条形码。在其他示例中，预处理器200可以接收包裹116的包裹标识符的不同指示。例如，包裹标识符可以被手动地输入、从列表中选择、经由相对应的读取设备从读取RFID(射频标识)或NFC(近场通信)标签接收包裹标识符，或者以其他方式被提供给预处理器200。在一些示例中，条形码扫描仪或其他包裹标识符提供者可以与反馈设备106集成(例如，智能电话的条形码扫描应用或包裹管理应用)。预处理器200被配置为在储存库132中查找标识符并且获取与包裹标识符相关联的并存储在该储存库132中的包裹元数据，诸如包裹重量、尺寸、目的地等。在其他示例中，包裹元数据可以远程存储(诸如在远程服务器上)，并且计算设备101可以被配置为从远程服务器请求包裹元数据。
在框305处，控制器120，特别是预处理器200，被配置为获取分别由图像传感器104和深度传感器105捕获并对应于包裹空间110的图像数据和深度数据。换句话说，在本示例中，深度数据对应于包裹空间110，该包裹空间110包含已装载包裹114、要装载的暂存或排队的包裹116、集装箱以及装载员108或包裹空间110中的任何其他遮挡，其中已装载包裹114与包裹壁112相关联。例如，在框305处获取的深度数据由成像设备103捕获并存储在储存库132中。因此，在以上示例中，预处理器200被配置为通过从储存库132中检索数据来获取深度数据。在其他示例中，预处理器200被配置为控制设备103捕获图像数据和深度数据。
然后，控制应用128被配置为行进到框310。在框310处，预处理器200被配置为对深度数据执行一个或多个预处理操作。在本示例中，预处理操作包括校准深度数据、噪声过滤、以及丢弃具有高比例的缺失深度值的深度数据集。
参考图4，描绘了执行预处理操作的方法400。
在框405处，预处理器200确定缺失的深度数据的比例。缺失的深度数据可以包括数组中未获取深度值的深度测量(例如，由于阻挡物足够靠近传感器105从而阻止传感器105获取读数)，或者数组中被丢弃的深度测量。例如，当装载员或其他遮挡靠近传感器105时，获取的深度值可以低于预定义的最小阈值距离，因此被推定为不精确并被丢弃。
在框410处，当该比例高于预定义阈值(例如，50％-60％)时，预处理器200被配置为丢弃该深度数据并返回到方法300的框305以获得新的深度数据。当该比例低于该预定义阈值时，预处理器200被配置为行进到框415。
在框415处，预处理器200被配置为校准深度数据并旋转点云，使得包裹壁112的平面垂直于成像设备103的视角。在本示例中，预处理器200使用随机样本共识(RANSAC)平面拟合的两次迭代。在第一次迭代中，将RANSAC平面拟合应用于在框305处获取的深度数据的全部集合，以获取表示定义集装箱的主平面(即，集装箱侧壁、地板和天花板)的大致位置的深度数据的子集。在第二次迭代中，将RANSAC平面拟合应用于该深度数据的子集，以获取更精确的平面拟合。然后，预处理器200确定一个或多个平面(例如，后壁的平面)的角度，并将该角度与预设角度(例如，与深度传感器105成90度)进行比较以确定旋转角度。然后，预处理器200以该旋转角度旋转点云。因此，在本示例中，后壁的平面被旋转以与照相机角度正交。
在框420处，预处理器200被配置为从深度数据中过滤噪声。具体地，对于点云中的给定点，预处理器200选择用于应用半径离群值过滤器的半径和点阈值数量。对于给定点，预处理器200确定在以给定点为中心并具有所选半径的球体内的点云中是否至少存在至少该阈值数量的点。当给定点在球体具有所选半径的点云中不具有至少该阈值数量的点时，将该给定点确定为噪声，并丢弃该深度值。在一些示例中，在框405之前执行框420处的噪声过滤，以在考虑到丢弃的噪声的情形下确定缺失的深度数据的比例。
在本示例中，预处理器200进一步被配置为基于所选点的深度值来改变半径离群值过滤器的参数，以计入与深度传感器105的距离。对于更靠近深度传感器105的点，半径更小，点阈值数量更高。对于更远离深度传感器105的点，半径更大，点阈值数量更低。
图5示出了通过预处理器200的可变半径离群值过滤器的应用。具体地，可变半径离群值过滤器应用于包裹空间510中的第一点512-1和第二点512-2。在图5的示例中，第一点512-1靠近包裹壁，而第二点512-2靠近包裹空间的装载端，因此点512-1比点512-2离深度传感器105更远。
图5进一步描绘了分别包含第一点512-1和第二点512-2的点云的区域514-1和区域514-2的放大图示。由于区域514-1比区域514-2离深度传感器105更远，因此区域514-1的点云填充更稀疏，并且具有比区域514-2的点云的深度像素密度更低的深度像素密度。即，区域514-1的点云中的每一个点表示比区域514-2的点云中的点更大的物理区域。因此，改变半径离群值过滤器516-1和516-2，以适应深度数据粒度上的差异并保持类似的噪声过滤质量。例如，点512-1的半径离群值滤波器516-1可以具有8cm的半径r1和4的点阈值数量。在图5的示例中，点512-1在半径离群值过滤器516-1的半径r1内具有5个点，因此点512-1是有效点。相反，点512-2的半径离群值滤波器516-2可以具有2cm的半径r2和50的点阈值数量。在图5的示例中，点512-2在半径离群值过滤器516-2的半径r2内具有5个点，因此被考虑为噪声。也就是说，由于点512-2具有较高的点云像素密度，因此预期对于有效点，将有更多的点在其附近(即，在以点512-2为中心的球体内)。
返回图3，控制应用128随后被配置为行进到框315。在框315处，控制器120，更具体地是遮挡处理器204，被配置为确定是否检测到预处理深度数据的被遮挡部分。被遮挡部分表示被遮挡物(具体地，装载员108)遮挡的包裹空间的面积。当检测到被遮挡部分时，控制应用128行进到框320。在框320处，遮挡处理器204被配置为用未被阻挡的数据替换被遮挡部分以生成修补数据。
现在转到图6，示出了检测和替换被遮挡部分的方法600。具体地，遮挡处理器204被配置为使用在框310处生成的预处理深度数据来执行方法600。方法600的执行导致图7所示的图像数据和深度数据结果的序列700。因此，将串联描述图6的方法600和图7的序列700。
在框605处，遮挡处理器204被配置为获得由图像传感器104捕获并且对应于包裹空间110的图像数据705。在本示例中，图像数据705表示包括包裹114、包裹116和装载员108的包裹空间。例如，在框605处获取的图像数据705由图像传感器104与由深度传感器105捕获的深度数据同时捕获并存储在储存库132中。因此，在以上示例中，遮挡处理器204被配置为通过从储存库132中检取数据来获取图像数据。
在框610处，遮挡处理器204被配置为裁剪在框605处获得的图像数据705以生成经裁剪的图像数据710。具体地，遮挡处理器204可以根据遮挡处理器204的遮挡检测器预期的宽高比来裁剪图像数据705。通过裁剪图像数据并计入遮挡检测器的宽高比，可以减少图像数据的形状失真和收缩。
在一些示例中，遮挡处理器204可以被配置为确定是否在先前帧中检测到先前遮挡。例如，遮挡处理器204可以引用存储在储存库132中的先前深度数据。当检测到先前遮挡时，遮挡处理器204将裁剪中心设置为先前遮挡的中心。遮挡处理器204基于先前遮挡的尺寸、预定义的最小填充量和遮挡检测器预期的宽高比来设置裁剪尺寸。例如，对于以3帧每秒(fps)捕获帧的系统，最小填充量可以是100像素。以3fps的帧速率，并且基于人类在该时间内可以移动的最大距离，该最小填充量允许遮挡处理器204安全地假设装载员108将保留在经裁剪的图像数据710中。在其他示例中，以不同帧速率操作的系统可以具有不同的最小填充量，该最小填充量被定义以允许装载员108将保留在经裁剪的图像数据710中的假设。在一些示例中，最小填充量也可以基于先前遮挡的深度值而变化。因此，遮挡处理器204通过方法300的连续执行经由捕获单独的帧(例如，移动到包裹空间110中的不同位置的装载员)来跟踪遮挡。遮挡跟踪允许遮挡处理器204根据遮挡检测器预期的宽高比提供经裁剪的图像数据710，同时将该遮挡保持在经裁剪的图像数据内。
在图7的示例中，经裁剪的图像数据710跟踪先前遮挡，因此以表示先前遮挡的中心的点711为中心。裁剪尺寸基于先前遮挡进行设置，并用至少最小填充量来填充。裁剪尺寸可以被进一步填充以满足遮挡检测器预期的宽高比。
在其他示例中，遮挡处理器204可以根据预定义的默认尺寸并基于所捕获的图像数据的中心来裁剪图像数据。例如，当系统初始化时，当没有检测到先前遮挡时(例如，因为装载员108移出成像设备103的视场之外)，或者当以其他方式不使用遮挡跟踪时(例如，当图像/深度数据很少被捕获时)，遮挡处理器204根据围绕所捕获的图像数据的中心的预定义默认尺寸并根据遮挡检测器预期的宽高比来裁剪图像数据。例如，对于分辨率为1920×1080的图像传感器，预定义默认尺寸可以是1000×1000像素。
在框615处，遮挡处理器204将经裁剪的图像数据710提供给遮挡检测器，以生成近似于遮挡位置的初步区域715。遮挡检测器接受具有预定义分辨率的图像数据。因此，基于预定义的分辨率裁剪在块610处生成的裁剪图像数据710。在一些示例中，可以将经裁剪的图像数据710裁剪以具有相同的宽高比，因此在框615处，遮挡处理器204可以在将经裁剪的图像数据710提供给遮挡检测器之前缩小经裁剪的图像数据710。在其他示例中，可以将经裁剪的图像数据710裁剪为遮挡检测器可接受的预定义分辨率。在图7的示例中，由初步区域715标识的遮挡是装载员702。
遮挡检测器可以包括GPU，该GPU采用机器学习算法在包裹空间110中生成表示遮挡的初步区域，具体地是装载员108。例如，遮挡检测器可以采用卷积神经网络，诸如YOLO(你只看一次)或被配置来标识人体图形的Darknet。在一些示例中，可以专门训练神经网络或其他合适的机器学习算法以在诸如包裹空间110的装载环境内标识装载员108。在一些示例中，初步区域715可以包括两个或多个部分，每一个部分表示由遮挡检测器标识的人体图形。
当在框615处没有检测到遮挡时，控制应用128被配置为行进到方法300的框325，如下面将进一步描述的。当检测到遮挡并且由遮挡处理器204生成初步区域715时，控制应用128行进到框620。
在框620处，遮挡处理器204检取对应于初步区域715内的图像数据的深度数据720的子集。例如，遮挡处理器204可以查找存储在储存库132中的图像数据到深度数据的映射，以检取深度数据720。
在框625处，遮挡处理器204从深度数据720的子集检测被遮挡部分725。具体地，遮挡处理器204通过将深度数据720与定义预期遮挡的结构属性的预定义遮挡标识符进行比较，来选择深度数据720的聚类。在图7的示例中，遮挡标识符可以包括人体图形的平均高度、宽度和深度范围，以选择表示装载员108的聚类。例如，遮挡处理器204可以在第一阶段中采用欧几里德聚类来在点云的子集720内找到候选聚类。在第二阶段，遮挡处理器204将候选聚类的属性与遮挡标识符进行比较以进行选择。具体地，遮挡处理器204根据预定义的最小和最大高度、宽度和深度以及根据聚类中的最小点数来选择聚类。例如，遮挡处理器204可以选择单个聚类，该单个聚类具有在1米(m)和2m之间的高度、在0.5m和1m之间的宽度以及在0.5m和1m之间的深度。在其他示例中，遮挡处理器204可以根据人体部位选择多于一个聚类(例如，头部聚类、躯干聚类和一个或多个肢体聚类)。因此，所选聚类(即，被遮挡部分725)近似于人体图形。在本示例中，被遮挡部分725被显示为框，但是，在其他示例中，遮挡部分725可以是由所选聚类表示的区域。
当初步区域715包括两个或更多个部分时，遮挡处理器204被配置为在每一个部分中选择表示人体图形的近似的聚类。换句话说，遮挡处理器204检查初步区域的每一个部分中的装载员702。当在框625处没有选择聚类时(即，初步区域内没有聚类满足阈值遮挡标识符值)，遮挡处理器204在方法300的框315处确定没有检测到遮挡并且行进到方法300的框325。
在框630处，遮挡处理器204检取表示不存在遮挡的包裹空间的区域(即，包含装载员108的区域)的所存储的无阻挡深度数据。例如，遮挡处理器204可以检取存储在储存库132中的无阻挡深度数据。下面将进一步详细讨论无阻挡深度数据的更新。具体地，假设成像设备103相对于包裹空间110是静止的，因此假设像素数组中具有相同像素坐标的像素表示包裹空间的相同区域。因此，遮挡处理器204被配置为检取与被遮挡部分725具有相同像素坐标的无阻挡深度数据的部分730。在一些示例中，遮挡处理器204可以进一步检取与无阻挡深度数据730相关联的所存储的无阻挡图像数据，例如，如由图像数据到存储在储存库132中的深度数据的映射所定义的。在本示例中，该部分730包括被装载员108占据的包裹114。
在框635处，遮挡处理器204将被遮挡部分725替换为无阻挡深度数据的部分730，以生成修补深度数据735。在遮挡处理器204检取无阻挡图像数据的情况下，遮挡处理器204将与被遮挡部分相关联的图像数据替换为无阻挡图像数据736。因此，遮挡处理器204生成表示在不存在遮挡的情况下的包裹空间的修补深度数据和图像数据。然后，控制应用128被配置为行进到方法300的框330。
回到图3，当在框315处，特别是在方法600的框615处没有检测到遮挡时，控制应用128被配置为行进到框325。在框325处，控制器120，特别是遮挡处理器204，被配置为确定是否在阈值数量的先前深度数据组中检测到遮挡。特别地，在捕获当前深度数据之前，控制器120(例如，从先前帧中)获取多个先前深度数据集。当对于当前深度数据未检测到遮挡并且对于阈值数量的多个先前深度数据集未检测到遮挡时，控制应用128被配置为行进到框330。例如，在未检测到装载员108的5秒之后(即，以3fps的帧速率的阈值数量的15个深度数据集)，假设装载员108不在包裹空间110中。在框330处，遮挡处理器204将当前深度数据(即，最初捕获的未检测到遮挡的深度数据，或修补数据，如下面进一步描述的)存储为无阻挡深度数据。附加地，当前图像数据可以被存储为无阻挡图像数据。
例如，如果在框315处，遮挡处理器204产生假阴性结果(即，遮挡处理程序204没有检测到遮挡，但是存在遮挡)，方框325提供检查以降低将假阴性结果保存为更新的无阻挡数据的可能性，并保持该无阻挡深度数据的完整性。具体地，如果在先前帧中检测到遮挡，则该遮挡不太可能已经完全离开成像设备103的视场(例如，在3fps的帧速率下，装载员不能足够快地移动以在一个帧中存在而在下一个帧中不存在)，因此，控制应用128行进到框305以获取新的深度数据。另一方面，如果在框325处，对于阈值数量的深度数据的集合没有检测到遮挡，则可以合理地假设不存在遮挡(例如，装载员确实离开了成像设备103的视场)，因此，控制应用128行进到框330以将当前深度数据存储为无阻挡深度数据。
在一些示例中，可以基于最近检测到的遮挡到帧边缘的距离和/或捕获深度数据的频率来改变阈值数量的先前深度数据集。例如，如果装载员靠近帧的边缘，则离开成像设备103的视场所需的帧数小于如果装载员在帧的中心时离开成像设备103的视场所需的帧数。
在上述示例中，方法300仍然可以导致假阴性被保存为无阻挡数据的一些实例(即，在装载员可视为无阻挡数据的情况下保存帧)，导致用“脏的”无阻挡数据修补后面的图像。但是，随着时间的推移，装载员在包裹空间内的移动将导致“脏的”无阻挡数据被干净的无阻挡数据修补。
在其他示例中，在框330处，遮挡处理器204仅用修补的数据来更新无阻挡数据。换句话说，没有检测到装载员的帧不被假设为表示无阻挡数据。在该示例中，方法300可以包括初始化步骤，以将第一所捕获的深度数据和图像数据存储为无阻挡数据，其中假设第一帧是无阻挡的。例如，初始化步骤可以在计算设备101通电时执行。初始化步骤可以进一步包括显示消息，例如在反馈设备106上，以指示装载员远离拖车以捕获第一无阻挡帧。因此，使用无阻挡数据来修补后续帧的被遮挡部分，并且修补图像(即，将被遮挡部分替换为无阻挡数据)被存储为用于未来帧的无阻挡数据。
在框335处，控制器120，特别是包裹放置模块208，获取在框303处扫描的包裹的位置。
现在转到图8，描绘了一种获取包裹的位置的方法800。具体地，包裹放置模块208被配置为使用来自框330的无阻挡深度数据735来执行方法800。方法800的执行导致图7所示的图像数据和深度数据结果的序列900。因此，将串联描述图8的方法800和图9的序列900。
在框805处，包裹放置模块208检测无阻挡深度数据的包裹杂波部分。在本示例中，无阻挡深度数据表示包括包裹壁112的包裹空间110和包裹杂波部分905。包裹放置模块208检测包裹空间的包裹壁112，例如在包裹空间110的点云上使用k均值聚类算法来标识点云中的不同对象(例如，包裹116或包裹壁112)。然后，基于对象的质量来标识包裹壁112。例如，包裹壁112可以被标识为具有最高深度值、最大对象或其他合适标识符的对象或对象组。包裹放置模块208还被配置为设置距离阈值。例如，包裹放置模块208可以定义表示从k均值聚类中标识的包裹壁112的单个距离值。例如，距离值可以是与包裹壁112相关联的点的平均深度值，或者是与包裹壁112相关联的点的最小距离值。然后，包裹放置模块208基于包裹壁的距离值和距离填充值来设置距离阈值。例如，距离填充值可以是预定义的测量值(例如，包裹壁前5cm)。在其他示例中，距离填充值可以是可变的，例如，点云中所有点的计算标准差。在该示例中，距离填充值可以通过考虑点云中的所有其他点来调节包裹壁112与深度传感器105的距离。包裹放置模块208标识距离小于距离阈值的无阻挡深度数据的点。这些点定义了包裹杂波部分905。在一些示例中，包裹杂波部分905可以包括暂存和排队的包裹。在其他示例中，包裹杂波部分905可以包括集装箱的部分，该集装箱包括侧壁、地板和天花板。
在框810处，包裹放置模块208裁剪掉包裹杂波部分905以生成经裁剪的深度数据910。由于包裹将被装载在包裹壁112处或包裹壁112附近，因此包裹杂波部分提供与放置包裹无关的外部数据。因此，包裹放置模块208生成聚焦于包裹壁的经裁剪的深度数据910，以在框815处进行处理。
在框815处，包裹放置模块208基于经裁剪的深度数据910生成2D占据矩阵。例如，包裹放置模块208可以提取经裁剪的深度数据910中每一个点的深度测量，以生成2D深度图(即，占据矩阵)。然后，包裹放置模块208将包裹壁112分割成占据矩阵的区域915。例如，可以使用均值漂移分割函数在2D空间中检测区域915。具体地，均值漂移分割函数在2D占据矩阵中标识不同的对象。在图9的示例中，区域915-1对应于包裹114-1，区域915-2对应于包裹114-2，并且区域915-3对应于没有任何已装载包裹114堆叠在前面的集装箱的后壁的部分。每一个区域915被变形以闭合孔并消除噪声，例如通过应用形态腐蚀操作并随后进行膨胀操作。然后将区域915拟合成3个或更多个线段的多边形。包裹放置模块208标识表示用于包裹放置的平面的基本水平线段916。
在框820处，包裹放置模块208获取包裹空间内用于放置包裹的位置。特别地，考虑到包裹的元数据(例如，在框303处获取的包裹尺寸、重量、目的地等)，包裹放置模块208使用占据矩阵，区域915和水平线段916以获取用于放置包裹的位置。
返回图3，控制应用128随后被配置为行进到框340。在框340处，控制器120，特别是输出模块被配置为呈现在框335处获取的位置的指示。
特别地，输出模块212被配置为与反馈设备106通信以呈现指示。在一些示例中，反馈设备可以包括智能电话、平板电脑、可穿戴设备等，并且呈现指示包括在设备上显示增强现实图像。也就是说，设备106显示无阻挡图像数据，并在框335处生成的位置中覆盖视觉指示，诸如轮廓或数字渲染的包裹。在其他示例中，反馈设备106可以是被配置为将指示投射到包裹空间中的可操纵定点设备。例如，可操纵定点设备可以可移动地耦合到用于导航的帧，并且输出模块212可以被配置为控制和指导可操纵定点设备的移动。因此，可操纵定点设备还包括显示元件(诸如投影仪、多个激光指针等)，以将包裹(诸如轮廓或数字渲染的包裹)的指示直接投射到包裹空间110中的位置上。在又进一步示例中，反馈设备106可以包括音频设备，例如，连接到计算设备101，或与平板电脑、智能手机、可穿戴设备等集成的扬声器。输出模块212可以被配置为控制扬声器以提供音频通信作为指示。
构想对上述系统和方法的变型。例如，系统100可以部署在这样的环境中，其中从公共包裹供应中来填充多个集装箱，每一个集装箱具有各自的包裹空间110。在此类部署中，系统可以包括多个成像设备，每一个成像设备被配置为捕获各自集装箱的数据。此外，计算设备101可以被配置为并行地处理来自多个集装箱的所捕获的数据，并且从集装箱中的任何一个中选择给定包裹的放置位置。
换句话说，在框303的执行之后，计算设备101可以被配置为并行执行框305-框330的多个实例(每集装箱一个实例)。计算设备101可以进一步配置为在完成框305-框330的并行实例之后，基于多个不同的深度映射，对在框303处扫描的单个包裹执行框335和框340。因此，可以从多个集装箱中的任何一个中选择和指示包裹的位置。因此，在框340处呈现的指示不仅可以包括给定包裹空间110内的选定位置，而且还可以包括将包裹放置在哪一个包裹空间的标识符(例如，预定义集装箱标识符集合中的一个)。
在进一步实施例中，数据捕获设备可以被安装到装载员108上，而不是像前面提到的那样位于集装箱的装载端处或装载端附近。例如，装载员可以配备增强现实设备，该增强现实设备不仅包括显示器，还包括深度照相机或其他合适的传感器(例如，并入有深度传感器和照相机的平视显示器)。设备101被配置为获取装载员的位置(更具体地，增强现实设备的位置)，以及由该设备捕获的深度数据和图像数据。此类设备可以补充或替换上文提及的固定成像设备103。
在上述说明书中已经描述了具体实施例。然而，本领域普通技术人员理解，可以做出各种修改和改变而不脱离如下权利要求书所阐述的本发明的范围。因此，说明书和附图被认为是图示性的而非限制性的意义，并且所有此类修改都旨在被包括在本教导的范围内。
这些益处、优势、问题解决方案以及可能使任何益处、优势或解决方案发生或变得更为突出的任何(多个)要素不被解释成任何或所有权利要求的关键的、必需的或必要的特征或要素。本发明仅由所附权利要求书限定，包括在本申请处于待审状态期间做出的任何修改以及授权公告的这些权利要求的所有等效物。
此外，在该文档中，诸如第一和第二、顶部和底部等之类的关系术语可以单独地用来将一个实体或动作与另一个实体或动作区别开，而不一定要求或暗示此类实体或动作之间具有任何实际的此类关系或顺序。术语“包括”、“包括有”、“具有”、“具备”、“包含”、“包含有”、“涵盖”、“涵盖有”或它们的任何其他变型旨在覆盖非排他性包括，以使包括、具有、包含、涵盖一要素列表的过程、方法、物品或装置不仅包括那些要素还可包括对该过程、方法、物品或装置未明确列出的或固有的其他要素。以“包括一”、“具有一”、“包含一”、“涵盖一”开头的要素，在没有更多约束条件的情形下，不排除在包括、具有、包含、涵盖该要素的过程、方法、物品或装置中有另外的相同要素存在。术语“一”和“一个”被定义为一个或更多个，除非本文中另有明确声明。术语“基本上”、“大致上”、“近似”、“约”或这些术语的任何其他版本被定义为如本领域内技术人员理解的那样接近，并且在一个非限制性实施例中，这些术语被定义为在10％以内，在另一实施例中在5％以内，在另一实施例中在1％以内，而在另一实施例中在0.5％以内。本文中使用的术语“耦合的”被定义为连接的，尽管不一定是直接连接的也不一定是机械连接的。以某种方式“配置”的设备或结构至少以该种方式进行配置，但也可以以未列出的方式进行配置。
将会理解，一些实施例可以包括一个或多个通用或专用处理器(或“处理设备”)，诸如微处理器、数字信号处理器、定制的处理器和现场可编程门阵列(FPGA)以及唯一存储的程序指令(包括软件和固件两者)，该唯一存储的程序指令控制一个或多个处理器以连同某些非处理器电路实现本文所描述的方法和/或装置的一些、多数或全部功能。替代地，一些或全部功能可以由不具有存储程序指令的状态机来实现，或者在一种或多种专用集成电路(ASIC)中实现，其中，每一种功能或某些功能的某些组合被实现为定制逻辑。当然，也可以使用这两种方法的组合。
此外，实施例可以实现为计算机可读存储介质，该计算机可读存储介质具有存储在其上的计算机可读代码，用于对(例如，包括处理器的)计算机编程以执行如本文所描述和要求保护的方法。此类计算机可读存储介质的示例包括但不限于硬盘、CD-ROM、光存储设备、磁存储设备、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)以及闪存。此外，预期本领域普通技术人员虽然做出由例如，可用时间、当前技术和经济考虑促动的可能显著的努力以及许多设计选择，但在得到本文所公开的概念和原理指导时，将容易地能以最少的试验产生此类软件指令和程序以及IC。
本公开的摘要被提供以允许读者快速地明确本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求书的范围或含义。另外，在上述具体实施方式中，可以看出出于使本公开整体化的目的，各种特征在各种实施例中被编组到一起。这种公开方法不应被解释为反映要求保护的实施例与各项权利要求中明确记载的相比需要更多的特征的任何图。相反，如以下权利要求所反映，发明主题在于少于单个公开的实施例的全部特征。因此，以下权利要求由此被并入具体实施方式中，其中各个权利要求作为单独要求保护的主题代表其自身。

Claims (20)

1.一种在成像控制器中确定包裹的放置位置的方法，包括：
获取多个先前的深度数据集；
获取表示包裹空间的中间深度数据；
响应于对于所述中间深度数据没有检测到遮挡物，并且对于阈值数量的所述多个先前的深度数据集没有检测到遮挡物，将所述中间深度数据存储为无阻挡深度数据集；
获取表示所述包裹空间的深度数据；
检测表示被遮挡物阻挡的所述包裹空间的面积的所述深度数据的被遮挡部分；
从所存储的无阻挡深度数据集检取表示在所述遮挡物不存在的情况下的所述包裹空间的所述面积的无阻挡深度数据；
用所述无阻挡深度数据替换所述被遮挡部分以生成修补深度数据；
基于所述修补深度数据来获取所述包裹空间内用于放置包裹的位置；以及
呈现所述位置的指示。
2.如权利要求1所述的方法，进一步包括：
检测所述深度数据的包裹杂波部分，所述包裹杂波部分表示所述包裹空间中的一个或多个暂存或排队的包裹；以及
从所述深度数据中裁剪掉所述包裹杂波部分。
3.如权利要求2所述的方法，其特征在于，检测所述深度数据的所述包裹杂波部分包括：
检测所述包裹空间的包裹壁；
设置距离阈值；以及
标识具有比所述距离阈值更小的距离的所述深度数据的一个或多个子集，所述子集定义所述包裹杂波部分。
4.如权利要求1所述的方法，其特征在于，检测所述深度数据的被遮挡部分包括：
获取所述包裹空间的图像数据；
使用所述图像数据标识包含有所述遮挡物的初步区域；
检取对应于所述初步区域内所述图像数据的所述深度数据的子集；以及
检测所述深度数据的所述子集内的所述被遮挡部分。
5.如权利要求4所述的方法，其特征在于，标识所述初步区域包括：
剪裁所述图像数据；以及
将经裁剪的图像数据提供给遮挡检测器以生成所述初步区域。
6.如权利要求4所述的方法，其特征在于，所述被遮挡部分包括：
通过将所述深度数据与定义预期遮挡的结构属性的预定义遮挡标识符进行比较，选择所述深度数据的聚类。
7.如权利要求1所述的方法，进一步包括将所述修补深度数据存储为所述无阻挡深度数据。
8.如权利要求1所述的方法，进一步包括：
在检测所述被遮挡部分之前，确定缺失的深度数据的比例；
当所述比例低于预定义阈值时，检测所述被遮挡部分；以及
当所述比例高于所述预定义阈值时，丢弃所述深度数据。
9.如权利要求1所述的方法，其特征在于，呈现指示包括以下至少一个：显示增强现实图像，经由可操纵定点设备投射指示，并提供音频通信。
10.如权利要求1所述的方法，进一步包括：在获取所述位置之前，接收所述包裹的条形码扫描。
11.一种用于确定包裹的放置位置的计算设备，所述计算设备包括：
通信接口，所述通信接口耦合到数据捕获设备；
存储器；以及
成像控制器，所述成像控制器连接到所述存储器和所述通信接口，所述成像控制器被配置为：
获取多个先前的深度数据集；
获取表示所述包裹空间的中间深度数据；
响应于对于所述中间深度数据没有检测到遮挡物，并且对于阈值数量的所述多个先前的深度数据集没有检测到遮挡物时，将所述中间深度数据存储为无阻挡深度数据集；
获取表示包裹空间的深度数据；
检测表示被遮挡物阻挡的所述包裹空间的面积的所述深度数据的被遮挡部分；
从所存储的无阻挡深度数据集检取表示在所述遮挡物不存在的情况下的所述包裹空间的所述面积的无阻挡深度数据；
用所述无阻挡深度数据替换所述被遮挡部分以生成修补深度数据；
基于所述修补深度数据来获取所述包裹空间内用于放置包裹的位置；以及
呈现所述位置的指示。
12.如权利要求11所述的计算设备，其特征在于，所述成像控制器进一步被配置为：
检测所述深度数据的包裹杂波部分，所述包裹杂波部分表示所述包裹空间中的一个或多个暂存或排队的包裹；以及
从所述深度数据中裁剪掉所述包裹杂波部分。
13.如权利要求12所述的计算设备，其特征在于，所述成像控制器进一步被配置为通过以下来检测所述深度数据的所述包裹杂波部分：
检测所述包裹空间的包裹壁；
设置距离阈值；以及
标识具有比所述距离阈值更小的距离的所述深度数据的一个或多个子集，所述子集定义所述包裹杂乱部分。
14.如权利要求11所述的计算设备，其特征在于，所述成像控制器进一步被配置为通过以下方式处理被阻挡部分：
获取所述包裹空间的图像数据；
使用所述图像数据标识包含有所述遮挡物的初步区域；
检取对应于所述初步区域内所述图像数据的所述深度数据的子集；以及
检测所述深度数据的所述子集内的所述被遮挡部分。
15.如权利要求14所述的计算设备，其特征在于，所述成像控制器进一步被配置为通过以下方式标识所述初步区域：
剪裁所述图像数据；以及
将经裁剪的图像数据提供给遮挡检测器以生成所述初步区域。
16.如权利要求14所述的计算设备，其特征在于，所述成像控制器进一步被配置为通过以下方式检测所述被阻挡部分：
通过将所述深度数据与定义预期遮挡的结构属性的预定义遮挡标识符进行比较，选择所述深度数据的聚类。
17.如权利要求11所述的计算设备，其特征在于，所述成像控制器进一步被配置为将所述修补深度数据作为所述无阻挡深度数据存储在所述存储器中。
18.如权利要求11所述的计算设备，其特征在于，所述成像控制器进一步被配置为：
在检测所述被遮挡部分之前，确定缺失的深度数据的比例；
当所述比例低于预定义阈值时，检测所述被遮挡部分；以及
当所述比例高于所述预定义阈值时，丢弃所述深度数据。
19.如权利要求11所述的计算设备，其特征在于，所述成像控制器进一步被配置为通过控制以下中的至少一个来呈现所述指示：
显示器，所述显示器用于显示包含有所述指示的增强现实图像；
可操纵定点设备，所述可操纵定点设备用于投射所述指示；以及
扬声器，所述扬声器用于生成音频指示。
20.如权利要求11所述的计算设备，其特征在于，所述成像控制器进一步被配置为在获取所述位置之前接收所述包裹的条形码扫描。
CN201980033147.1A 2018-05-18 2019-05-08 确定包裹放置位置的系统和方法 Active CN112204593B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/983,325 US10783656B2 (en) 2018-05-18 2018-05-18 System and method of determining a location for placement of a package
US15/983,325 2018-05-18
PCT/US2019/031342 WO2019221994A1 (en) 2018-05-18 2019-05-08 System and method of determining a location for placement of a package

Publications (2)

Publication Number Publication Date
CN112204593A CN112204593A (zh) 2021-01-08
CN112204593B true CN112204593B (zh) 2021-10-29

Family

ID=67514256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980033147.1A Active CN112204593B (zh) 2018-05-18 2019-05-08 确定包裹放置位置的系统和方法

Country Status (8)

Country Link
US (1) US10783656B2 (zh)
CN (1) CN112204593B (zh)
BE (1) BE1026263B1 (zh)
DE (1) DE112019002547B4 (zh)
FR (1) FR3081248B1 (zh)
GB (1) GB2586424B (zh)
MX (1) MX2020011141A (zh)
WO (1) WO2019221994A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867275B1 (en) 2018-09-17 2020-12-15 Amazon Technologies, Inc. Optimized package loading
US11506483B2 (en) * 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11257199B2 (en) * 2018-10-18 2022-02-22 Wisconsin Alumni Research Foundation Systems, methods, and media for detecting manipulations of point cloud data
US11536844B2 (en) * 2018-12-14 2022-12-27 Beijing Voyager Technology Co., Ltd. Dynamic sensor range detection for vehicle navigation
FR3098332B1 (fr) * 2019-07-05 2022-01-07 Fond B Com Procédé et dispositif de détermination de l’amplitude d’un mouvement effectué par un membre d’un corps articulé
US10762331B1 (en) * 2019-10-11 2020-09-01 Zebra Technologies Corporation Three-dimensional (3D) depth and two-dimensional (2D) imaging systems and methods for automatic container door status recognition
US11120280B2 (en) * 2019-11-15 2021-09-14 Argo AI, LLC Geometry-aware instance segmentation in stereo image capture processes
CN111062282B (zh) * 2019-12-05 2023-09-29 武汉科技大学 基于改进yolov3模型的变电站指针式仪表识别方法
CN111260544B (zh) * 2020-01-20 2023-11-03 浙江商汤科技开发有限公司 数据处理方法及装置、电子设备和计算机存储介质
CN111582054B (zh) * 2020-04-17 2023-08-22 中联重科股份有限公司 点云数据处理方法及装置、障碍物检测方法及装置
DE102020127881B3 (de) 2020-10-22 2022-02-24 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Vorrichtung zur Installation an einem Kommissionier- und/oder Verpackungsarbeitsplatz
DE102021118879A1 (de) 2021-07-21 2023-01-26 Zf Cv Systems Global Gmbh Verfahren und System zur Überwachung eines Laderaums
US11946796B2 (en) * 2021-08-18 2024-04-02 Zebra Technologies Corporation Container load quality monitoring and feedback system
US20230112666A1 (en) * 2021-10-12 2023-04-13 Zebra Technologies Corporation System and Method for Detecting Calibration of a 3D Sensor
US11763439B2 (en) * 2021-10-26 2023-09-19 Zebra Technologies Corporation Systems and methods for assessing trailer utilization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2302564A1 (en) * 2009-09-23 2011-03-30 Iee International Electronics & Engineering S.A. Real-time dynamic reference image generation for range imaging system
CN104903922A (zh) * 2012-10-04 2015-09-09 亚马逊科技公司 在库存支架处填充订单

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3140009A (en) 1961-05-31 1964-07-07 Eastman Kodak Co Article storage and retrieval device
US4408782A (en) 1981-01-19 1983-10-11 Merriam, Marshall & Bicknell Graphic means and method for maximizing utilization of cargo space
US5474083A (en) 1986-12-08 1995-12-12 Empi, Inc. Lifting monitoring and exercise training system
US5265006A (en) 1990-12-14 1993-11-23 Andersen Consulting Demand scheduled partial carrier load planning system for the transportation industry
US5430831A (en) 1991-03-19 1995-07-04 Koninklijke Ptt Nederland N.V. Method of packing rectangular objects in a rectangular area or space by determination of free subareas or subspaces
US6332098B2 (en) 1998-08-07 2001-12-18 Fedex Corporation Methods for shipping freight
US6269175B1 (en) 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6744436B1 (en) 1999-05-25 2004-06-01 Anthony Chirieleison, Jr. Virtual reality warehouse management system complement
DE10050385A1 (de) 2000-10-12 2002-04-18 Abb Patent Gmbh Verfahren und Vorrichtung zur Füllgraderfassung von Transportbehältern
US20080303897A1 (en) 2000-12-22 2008-12-11 Terahop Networks, Inc. Visually capturing and monitoring contents and events of cargo container
US20020150294A1 (en) 2001-02-02 2002-10-17 Honeywell Federal Manufacturing & Technologies, Llc Automated imaging system and method for concrete quality analysis
US7353181B2 (en) 2001-08-15 2008-04-01 Hewlett-Packard Development Company, L.P. Allocating freight haulage jobs
DE10212590A1 (de) 2002-03-15 2003-10-09 Demag Mobile Cranes Gmbh Optische Einrichtung zur automatischen Be- und Entladung von Containern auf Fahrzeugen
US20040066500A1 (en) 2002-10-02 2004-04-08 Gokturk Salih Burak Occupancy detection and measurement system and method
US7746379B2 (en) 2002-12-31 2010-06-29 Asset Intelligence, Llc Sensing cargo using an imaging device
US8599403B2 (en) 2003-01-17 2013-12-03 Koninklijke Philips N.V. Full depth map acquisition
US7421112B2 (en) 2004-03-12 2008-09-02 General Electric Company Cargo sensing system
US7455621B1 (en) 2004-08-12 2008-11-25 Anthony Donald D Free-weight exercise monitoring and feedback system and method
US7728833B2 (en) 2004-08-18 2010-06-01 Sarnoff Corporation Method for generating a three-dimensional model of a roof structure
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US8130285B2 (en) 2005-04-05 2012-03-06 3Vr Security, Inc. Automated searching for probable matches in a video surveillance system
JP2009501119A (ja) 2005-07-13 2009-01-15 ユナイテッド パーセル サービス オブ アメリカ インコーポレイテッド コンテナ密度を予測するためのシステム及び方法
US7468660B2 (en) 2005-10-04 2008-12-23 Delphi Technologies, Inc. Cargo sensing apparatus for a cargo container
US20070297560A1 (en) 2006-03-03 2007-12-27 Telesecurity Sciences, Inc. Method and system for electronic unpacking of baggage and cargo
US7940955B2 (en) 2006-07-26 2011-05-10 Delphi Technologies, Inc. Vision-based method of determining cargo status by boundary detection
US20080042865A1 (en) 2006-08-09 2008-02-21 Dock Watch, Llc Loading dock monitoring device and method
US7773773B2 (en) 2006-10-18 2010-08-10 Ut-Battelle, Llc Method and system for determining a volume of an object from two-dimensional images
GB2443554A (en) * 2006-11-06 2008-05-07 Goodrich Corp Aircraft cargo monitoring system
US8149126B2 (en) 2007-02-02 2012-04-03 Hartford Fire Insurance Company Lift monitoring system and method
US7667596B2 (en) 2007-02-16 2010-02-23 Panasonic Corporation Method and system for scoring surveillance system footage
US20080204225A1 (en) 2007-02-22 2008-08-28 David Kitchen System for measuring and analyzing human movement
US8091782B2 (en) 2007-11-08 2012-01-10 International Business Machines Corporation Using cameras to monitor actual inventory
AT506887A1 (de) * 2008-05-26 2009-12-15 Tgw Mechanics Gmbh Lagersystem und verfahren zum betreiben desselben
US20150170256A1 (en) 2008-06-05 2015-06-18 Aisle411, Inc. Systems and Methods for Presenting Information Associated With a Three-Dimensional Location on a Two-Dimensional Display
US20100073476A1 (en) 2008-09-24 2010-03-25 Industrial Technology Research Institute Systems and methods for measuring three-dimensional profile
EP2178035A1 (de) 2008-10-17 2010-04-21 Contronix GmbH Verfahren und Anordnung zur Leerraummessung für Lager- oder Transporträume
US8405721B2 (en) 2008-10-21 2013-03-26 Motion Metrics International Corp. Method, system and apparatus for monitoring loading of a payload into a load carrying container
US9020846B2 (en) * 2008-12-19 2015-04-28 United Parcel Service Of America, Inc. Trailer utilization systems, methods, computer programs embodied on computer-readable media, and apparatuses
DE102009011287B4 (de) 2009-03-02 2022-12-01 Kuka Roboter Gmbh Automatisierte Palettierung stabiler Paketstapel
US8269616B2 (en) 2009-07-16 2012-09-18 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for detecting gaps between objects
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8725273B2 (en) 2010-02-17 2014-05-13 Irobot Corporation Situational awareness for teleoperation of a remote vehicle
US8718393B2 (en) 2010-07-28 2014-05-06 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Method for reconstruction of urban scenes
US8346056B2 (en) 2010-10-14 2013-01-01 Honeywell International Inc. Graphical bookmarking of video data with user inputs in video surveillance
KR101752690B1 (ko) 2010-12-15 2017-07-03 한국전자통신연구원 변이 맵 보정 장치 및 방법
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
WO2012125960A2 (en) * 2011-03-17 2012-09-20 Patrick Campbell On-shelf tracking (ost) system
US9171277B2 (en) 2011-05-04 2015-10-27 Victaulic Company Generation of plans for loading and unloading a container
US8873835B2 (en) 2011-11-30 2014-10-28 Adobe Systems Incorporated Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods
EP2664553B1 (de) 2012-05-03 2017-09-20 Matthias Ehrat Verfahren zum Einlegen von Einzelprodukten in Behälter in einer Roboterstrasse
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10158842B2 (en) 2012-06-20 2018-12-18 Honeywell International Inc. Cargo sensing detection system using spatial data
EP4296963A3 (en) * 2012-08-21 2024-03-27 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US9838669B2 (en) 2012-08-23 2017-12-05 Stmicroelectronics (Canada), Inc. Apparatus and method for depth-based image scaling of 3D visual content
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
JP5296913B1 (ja) * 2012-10-02 2013-09-25 株式会社小松製作所 エンジンユニット
DE102013209362A1 (de) 2013-05-21 2014-11-27 Krones Ag Überwachung und Steuerung einer Transportvorrichtung für Behälter
US20140372182A1 (en) * 2013-06-17 2014-12-18 Motorola Solutions, Inc. Real-time trailer utilization measurement
US20140372183A1 (en) 2013-06-17 2014-12-18 Motorola Solutions, Inc Trailer loading assessment and training
US20150130592A1 (en) * 2013-11-13 2015-05-14 Symbol Technologies. Inc. Package-loading system
US20150241209A1 (en) * 2014-02-25 2015-08-27 Astronics Advanced Electronic Systems Corp. Apparatus and method to monitor the occupied volume within a fixed or variable volume
US9626766B2 (en) 2014-02-28 2017-04-18 Microsoft Technology Licensing, Llc Depth sensing using an RGB camera
EP3757718B1 (en) 2014-05-15 2022-03-30 Federal Express Corporation Wearable devices for courier processing and methods of use thereof
US9460524B1 (en) 2014-05-30 2016-10-04 Amazon Technologies, Inc. Estimating available volumes using imaging data
US9460562B2 (en) * 2015-01-09 2016-10-04 International Business Machines Corporation Providing volume indicators based on received images of containers
US10740576B2 (en) 2015-02-18 2020-08-11 Fedex Corporate Services, Inc. Systems, apparatus, non-transient computer readable media, and methods for automatically managing and monitoring a load operation related to a logistics container using a scanning sensor node
US11526833B2 (en) 2015-02-18 2022-12-13 Fedex Corporate Services, Inc. Methods, apparatus, and systems for managing logistics information related to a container having a scale
US9940730B2 (en) 2015-11-18 2018-04-10 Symbol Technologies, Llc Methods and systems for automatic fullness estimation of containers
US10713610B2 (en) * 2015-12-22 2020-07-14 Symbol Technologies, Llc Methods and systems for occlusion detection and data correction for container-fullness estimation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2302564A1 (en) * 2009-09-23 2011-03-30 Iee International Electronics & Engineering S.A. Real-time dynamic reference image generation for range imaging system
CN104903922A (zh) * 2012-10-04 2015-09-09 亚马逊科技公司 在库存支架处填充订单

Also Published As

Publication number Publication date
BE1026263B1 (nl) 2020-08-14
CN112204593A (zh) 2021-01-08
GB202017981D0 (en) 2020-12-30
US10783656B2 (en) 2020-09-22
FR3081248A1 (fr) 2019-11-22
FR3081248B1 (fr) 2022-06-24
DE112019002547B4 (de) 2023-06-29
MX2020011141A (es) 2022-07-20
US20190355144A1 (en) 2019-11-21
BE1026263A9 (nl) 2020-01-07
GB2586424A (en) 2021-02-17
BE1026263A1 (nl) 2019-12-04
GB2586424B (en) 2021-09-08
DE112019002547T5 (de) 2021-03-11
WO2019221994A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
CN112204593B (zh) 确定包裹放置位置的系统和方法
US11354886B2 (en) Method and apparatus for shelf edge detection
US11551453B2 (en) Method and apparatus for shelf feature and object placement detection from shelf images
US9961256B2 (en) Apparatus and method for specifying and aiming cameras at shelves
CN108779980B (zh) 使用数字图像和深度数据确定尺寸的设备和方法
US10740911B2 (en) Method, system and apparatus for correcting translucency artifacts in data representing a support structure
EP3085074B1 (en) Bowl-shaped imaging system
US11410405B2 (en) Imaging-based sensor calibration
US8369620B2 (en) Object detection device and system
US20140270362A1 (en) Fast edge-based object relocalization and detection using contextual filtering
US20160343143A1 (en) Edge detection apparatus, edge detection method, and computer readable medium
WO2020247067A1 (en) Method, system and apparatus for shelf edge detection
US20130128045A1 (en) Dynamic liine-detection system for processors having limited internal memory
CN115485724A (zh) 用于移动尺寸标注的参考表面检测
CN110892449A (zh) 图像处理方法及装置、移动设备
US11010920B2 (en) Method, system and apparatus for object detection in point clouds
JP7141525B2 (ja) 支持構造の深さを決定するための方法、システムおよび装置
US11282280B2 (en) Method and system for node vectorisation
US20240054730A1 (en) Phased Capture Assessment and Feedback for Mobile Dimensioning
CN116630806A (zh) 目标尺寸下对象检测方法、装置、计算机设备、存储介质
CN117882113A (zh) 用于生成对象的多个侧面的图像的方法、系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant