CN114651506A - 用于自动相机安装引导（cig）的系统和方法 - Google Patents

用于自动相机安装引导（cig）的系统和方法 Download PDF

Info

Publication number
CN114651506A
CN114651506A CN202080077673.0A CN202080077673A CN114651506A CN 114651506 A CN114651506 A CN 114651506A CN 202080077673 A CN202080077673 A CN 202080077673A CN 114651506 A CN114651506 A CN 114651506A
Authority
CN
China
Prior art keywords
image data
shipping container
container
depth
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080077673.0A
Other languages
English (en)
Other versions
CN114651506B (zh
Inventor
张燕
K·J·奥康奈尔
J·J·威廉姆斯
王莅尘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zebra Technologies Corp
Original Assignee
Zebra Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zebra Technologies Corp filed Critical Zebra Technologies Corp
Publication of CN114651506A publication Critical patent/CN114651506A/zh
Application granted granted Critical
Publication of CN114651506B publication Critical patent/CN114651506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/20—Control channels or signalling for resource management
    • H04W72/21—Control channels or signalling for resource management in the uplink direction of a wireless link, i.e. towards the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/424—Postal images, e.g. labels or addresses on parcels or postal envelopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0002—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
    • H04L1/0003—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate by switching between different modulation schemes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/003—Arrangements for allocating sub-channels of the transmission path
    • H04L5/0053—Allocation of signaling, i.e. of overhead other than pilot signals
    • H04L5/0055—Physical resource allocation for ACK/NACK
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/20—Control channels or signalling for resource management
    • H04W72/23—Control channels or signalling for resource management in the downlink direction of a wireless link, i.e. towards a terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/26—Resource reservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/12—Wireless traffic scheduling
    • H04W72/1263—Mapping of traffic onto schedule, e.g. scheduled allocation or multiplexing of flows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

公开了三维(3D)深度成像系统和方法，用于评估相对于集装箱的取向。3D深度相机捕获装运集装箱的3D图像数据。集装箱特征评估应用确定代表性的集装箱点云，并且(a)将3D图像数据转换为2D深度图像数据；(b)将2D深度图像数据与一个或多个模板图像数据进行比较；(c)执行分割以提取3D点云特征；(d)确定装运集装箱的外部特征，并使用外部特征度量评估外部特征；(e)确定装运集装箱的内部特征，并使用内部特征度量评估内部特征；并且(f)生成取向调整指令，用于指示操作者在装运集装箱装载会话期间使用的第二方向中定向3D深度相机，其中，该第二方向与第一方向不同。

Description

用于自动相机安装引导(CIG)的系统和方法
发明背景
在运输业中，通常使用各种不同的技术来装载装运集装箱(shipping container)(例如，用于航空和/或陆地运输和装运的装运集装箱，诸如单元装载设备(ULD))，这些技术考虑到箱子、包裹或其它装运或运输物品的各种不同尺寸和配置。另外，装运集装箱本身通常具有不同的尺寸和存储容量(例如，此类装运集装箱被构造为处理不同的货物尺寸、负载和/或配置)。相应地，运输/装运行业的主要重点是对此类集装箱的装载执行高保真分析。
传统的分析系统以定位在指定装载点的相机(例如，负载监控单元(LMU))为特征。这些相机将捕获位于指定装载点的装运集装箱的图像，以促进用于装载每个集装箱的装载过程的分析。然而，此类传统的分析系统产生了问题。
例如，准确的相机(例如，LMU)取向对于分析算法(诸如，ULD满度算法)来说至关重要，以获得可接受的性能。传统地，LMU通过对先前捕获的图像的手动分析来在安装时定向。因此，由于与人类视觉图像检查相关联的固有不准确性，传统的定向过程非常耗时且不准确。此外，大规模安装可以涉及定向几十个LMU，这可能快速地加剧这些低效率性。
一些常规的技术试图解决这些问题。然而，每种技术都具有特定缺点。例如，可采用直接3D匹配技术将目标点云匹配到3D模板点云。然而，直接3D匹配技术不具有稳健性，这是因为其缺乏稳定且可重复的结果，且对局部结构敏感，并且涉及高计算复杂性。此外，匹配不准确，这通常导致错误的和通常不准确的报告。
另一常规技术包括点云聚类。然而，点云聚类也不是稳健的，这是因为其缺乏稳定且可重复的结果，具体地，其遭受到无法控制的3D数据分割结果的影响。附加地，点云聚类技术对于“噪声”(例如，移动通过装载区域的装载器/人员)和小对象干扰(例如，在装载区域内移动的包裹)也敏感。因此，点云聚类通常因装载器和包裹干扰而产生不正确的聚类结果，
因此，关于如何在安装期间自动地、高效地且准确地动态配置相机取向，通常产生各种问题。因此，需要用于动态相机取向配置的三维(3D)深度成像系统和方法，该三维(3D)深度成像系统和方法允许用于相机安装的快速且高效的实时取向评估。
附图说明
本专利或申请文件包含至少一幅彩色绘制的附图。经请求并且支付必要费用后，专利局将提供具有(多个)彩图的本专利或专利申请公开的副本。
附图(其中贯穿不同的视图，相同的附图标记表示相同的或功能类似的要素)连同下面的具体实施方式被并入说明书并形成说明书的一部分，并用于进一步阐述包括所要求保护的发明的构思的实施例，以及解释那些实施例的各种原理和优势。
图1是根据本文的示例实施例的如从上方看见的装载设施的预定义搜索空间的立体视图，描绘了具有3D相机的负载监控单元(LMU)，该3D相机在第一方向中定向，以捕获位于一空间内的装运集装箱的3D图像数据。
图2是根据本文的示例实施例的图1的LMU的立体视图。
图3是表示与图1的装载设施和图2的3D相机相关联的服务器的实施例的框图。
图4是根据本文的示例实施例的用于评估相对于集装箱的取向的3D深度成像算法的流程图。
图5A至图5B示出了根据图4并根据本文的示例实施例的关于预处理和转换深度图像的3D和2D图像的示例实施例。
图6A至图6C示出了根据图4并根据本文的示例实施例的关于点云到深度图像的转换的3D和2D图像的示例实施例。
图7示出了根据图4并根据本文的示例实施例的关于模板提取和匹配的2D图像的示例实施例。
图8A至图8C示出了根据图4并根据本文的示例实施例的关于集装箱后壁和地平面分割和平面回归的3D图像的示例图和实施例。
图9A至图9B示出了根据图4并根据本文的示例实施例的关于前平面分割的3D和2D图像的示例实施例。
图10示出了根据图4并根据本文的示例实施例的关于前面板完整度分析的2D图像的示例实施例。
图11A至图11B示出了根据图4并根据本文的示例实施例的关于前面板和后壁高度估算和后壁遮挡计算的3D图像的示例图和实施例。
图12A至图12B示出了根据图4并根据本文的示例实施例的关于ULD可视性和遮挡状态创建和ULD 3D边界框创建的3D图像的示例实施例。
本领域技术人员将理解，附图中的要素出于简化和清楚而示出，并且不一定按尺度绘制。例如，附图中的要素中的一些要素的尺寸可相对于其它要素被夸大以帮助提升对本发明的实施例的理解。
已在附图中通过常规符号在合适位置表示装置和方法构成，所述表示仅示出与理解本发明的实施例有关的那些特定细节，以免因对得益于本文的描述的本领区域普通技术人员而言显而易见的细节而混淆本公开。
本发明的具体实施方式
因此，本文描述了提供用于LMU安装的相对于集装箱的取向的自动评估的系统和方法。本文描述的系统和方法通过实时自动地向分析算法提供高度准确的LMU取向信息，来代替常规手动LMU安装过程。与已知的分析算法相比，本公开提出了高效、准确且稳健的方法，用于在安装期间动态地定向LMU，以提高LMU安装过程的效率和准确度。
此外，本公开描述了基于被捕获的图像的视觉评估消除对LMU取向的调整的发明性实施例。与提供不稳定或不可控的结果的常规系统和方法相比，本公开的实施例产生一致、准确的安装指令。在不存在本发明的益处的情况下，安装取向工作将仍然是大量且乏味的。
在高水平上，本公开的系统和方法向LMU安装人员提供反馈，并将LMU位置/取向引导到有助于集装箱装载分析(CLA)的良好位置。所提出的方法利用3D点云和2D深度图像模板匹配算法两者。对于模板选择，选择完整ULD的点云作为模板提取源，并转换为深度图像。然后使用补偿最小二乘法以填补深度图像中缺失的数据。然后，选择并裁剪包含在深度图像中的包括ULD的中间部分的特定区域，作为用于相应匹配过程的模板。
在捕获ULD的实时图像之后，本公开的实施例包括将预先选择的模板与实时图像匹配。为了促进该匹配，首先将目标点云转换为深度图像，然后将其匹配到模板。然后，经匹配的区域被用于定位场景中的地面和后壁位置。在模板匹配之后，基于匹配位置将3D点云分割为地平面和后壁。被分割的地面和后壁被馈送到平面回归流水线，在其中估算每个平面参数。然后基于已知的ULD尺寸分割ULD前平面。
例如，ULD前平面被分为包括左、右、以及顶边缘的几个边缘。通过计算每个边缘的比例，可以快速且稳健地识别出正面结构的完整性。此外，基于已知的假设(诸如，左侧壁垂直于地面和前面板)，本公开的系统和方法可以直接推断ULD左壁、右壁、以及顶部天花板平面的位置和配合两者。然后计算后壁与前平面的遮挡比例，并定位ULD集装箱的所有六个平面，以识别集装箱的边界框。最后，计算ULD前面板的完整度和后壁的遮挡，以向安装人员提供安装反馈。
通过本文公开的各种附图可以进一步了解本文所公开的3D深度成像系统和方法。
图1是根据本文的示例实施例的如从上方看见的装载设施中的空间101的立体视图，描绘了具有3D相机(例如，3D深度相机)的负载监控单元(LMU)，该3D相机在一方向中定向，以捕获装运集装箱的3D图像数据。如所描绘的，装运集装箱102具有“AMJ”的装运集装箱类型。通常，装运集装箱是从几种不同尺寸的集装箱中的一者选择的。在各种实施例中，装运集装箱可包括任何类型的单元装载设备(ULD)。例如，装运集装箱类型可为任何ULD类型，例如，包括AMJ类型、AAD类型、AKE类型、AYY类型、SAA类型、以及APE类型或AQF类型中的任意类型。对于ULD装运集装箱，首字母(例如，“A”指“经认证的航空集装箱”)指示ULD集装箱的特定类型，诸如经认证的、保温的等；第二字母表示在尺寸方面的基座大小(例如，“M”指96×125英寸)；并且第三字母表示侧轮廓的大小和形状(例如，“J”指仅在一侧具有对角倾斜顶部分的立方体形ULD集装箱)。然而，更一般地，装运集装箱可为基于飞行器的任何装运集装箱。
空间101可以是基于装运集装箱的大小、尺寸或其它配置和/或装运区域所定位的区域来确定的预定义搜索空间。例如，在一个实施例中，可基于ULD类型、形状、或大体区域内的位置来确定预定义搜索空间。如图1中所示，例如，预定义搜索空间是基于(AMJ类型的)装运集装箱102的大小和尺寸确定的。一般地，空间101被如此定义，以使得完全地(或至少部分地)包括装运集装箱或对装运集装箱成像。空间101可以进一步包括正面区域103，该正面区域103一般定义预定义搜索空间和/或装运集装箱102的前部位置。
图1附加地描绘了在空间101内，将包裹104和107装载到装运集装箱102中的人员或装载员105和106。在图1的实施例中，装运集装箱102正在装载会话期间由装载员105装载包裹104和107。装载会话包括将一组或一群组已标识的包裹装载到装运集装箱102中。通过在空间101中移动，装载员105和106以及包裹104和107通常可导致对随着时间捕获装运集装箱102的3D图像数据的3D深度相机202(如图2所讨论的)的遮挡和干扰。因此，在安装期间确定3D相机202的正确取向对于确保不恰当的安装不会在装载会话的正常操作期间使由遮挡和干扰造成的成像困难进一步复杂化至关重要。
图2是根据本文的示例实施例的图1的LMU的立体视图。各种实施例中，LMU 202是可安装设备。通常，LMU 202包括(多个)相机和处理板，并被配置为捕获装载场景(例如，包括空间101的场景)的数据。LMU 202可以运行集装箱满度估计以及其它先进分析算法。
LMU 202可包括3D相机254，用于捕获、感测或扫描3D图像数据/数据集。例如，在一些实施例中，3D相机254可包括红外(IR)投影仪和相关的IR相机。在此类实施例中，IR投影仪将IR光或光束的图案投射到对象或表面上，在本文的各种实施例中，该对象或表面可包括预定义搜索空间(例如，空间101)的表面或区域或预定义搜索空间内的对象，诸如箱子或包裹(例如，包裹104和107)以及存储集装箱102。IR光或光束可以由IR投影仪以点状物(dot)或点(point)的图案分布在对象或表面上，该点状物或点的图案可以由IR相机感测或扫描。深度检测应用(诸如在LMU 202的一个或多个处理器或存储器上执行的深度检测应用)可以基于点状物或点的图案来确定各种深度值，例如，预定义搜索空间101的深度值。例如，可以在点状物或点密集的地方确定近深度对象(例如，附近的箱子、包裹等)，并且可以在点更分散的地方确定远深度对象(例如，远处的箱子、包裹等)。可通过深度检测应用和/或LMU 202使用各种深度值以生成深度图。深度图可表示由3D相机254感测或扫描的对象或表面(例如，空间101和其中的任何对象、区域或表面)的3D图像，或包含由3D相机254感测或扫描的对象或表面(例如，空间101和其中的任何对象、区域或表面)的3D图像数据。
LMU 202可以进一步包括照片真实相机256，用于捕获、感测或扫描2D图像数据。照片真实相机256可以是基于RGB(红、绿、蓝)的相机，用于捕获具有基于RGB的像素数据的2D图像。在一些实施例中，照片真实相机256可以在与3D相机254相同或类似的时间点上捕获2D图像和相关的2D图像数据，使得LMU 202可以在相同或类似的时刻处具有可用于特定表面、对象、区域或场景的3D图像数据集和2D图像数据集。
在本文所描述的各种实施例中，LMU 202可以是包括用于捕获3D图像(例如，3D图像数据/数据集)的3D相机和照片真实相机(例如，2D图像数据/数据集)的可安装设备。照片真实相机可以是用于捕获2D图像(诸如图1的图像)的RGB相机。LMU 202还可包括一个或多个处理器和一个或多个计算机存储器，用于存储图像数据和/或用于执行进行本文所述分析或其它功能的应用。在各种实施例中，并且如图1所示，LMU 202可以安装在装载设施内并且在空间101的方向上定向，以捕获装运集装箱102的3D和/或2D图像数据。例如，如图1所示，LMU 202可以如此定向，以使得LMU 202的3D和2D相机可捕获装运集装箱102的3D图像数据，例如，其中LMU 202可扫描或感测空间101内的壁、地板、天花板、包裹、或其它对象或表面，以确定3D和2D图像数据。图像数据可以由LMU 202的一个或多个处理器和/或存储器(或在一些实施例中，服务器的一个或多个远程处理器和/或存储器)处理，以实现分析、功能，诸如图形或成像分析，如由本文中的一个或多个各种流程图、框图、方法、功能、或各种实施例所述。应当注意，LMU 202可以捕获各种装载设施或其它区域的3D和/或2D图像数据/数据集，以使得本文构想了除预定义搜索空间(例如，空间101)之外的附加装载设施或区域(例如，仓库等)。
在一些实施例中，例如，LMU 202可以处理(如从3D相机和照片真实相机扫描或感测的)3D和2D图像数据/数据集，以供其它设备(例如，本文进一步所描述的服务器301)使用。例如，LMU 202的一个或多个处理器和/或一个或多个存储器可以捕获和/或处理从空间101扫描或感测的图像数据或数据集。图像数据的处理可以生成扫描后数据，该扫描后数据可以包括从原始扫描或感测的图像数据所确定的元数据、简化数据、规范化数据、结果数据、状态数据或警报数据。在一些实施例中，图像数据和/或扫描后数据可以被发送到客户端设备/客户端应用(诸如例如，可以在客户端设备上安装和执行的集装箱特征评估应用)，用于查看、操纵或以其它方式交互。在其它实施例中，图像数据和/或扫描后数据可以被发送到服务器(例如，本文进一步所描述的服务器301)用于存储或用于进一步操纵。例如，图像数据和/或扫描后数据可以被发送到服务器，诸如服务器301。在此类实施例中，一个或多个服务器可以生成扫描后数据，该扫描后数据可以包括从由LMU 202提供的原始扫描或感测的图像数据所确定的元数据、简化数据、规范化数据、结果数据、状态数据或警报数据。如本文所描述的，服务器或其它集中式处理单元和/或存储可以存储此类数据，并且还可以将图像数据和/或扫描后数据发送到在客户端设备上实现的仪表板应用或其它应用，诸如在客户端设备上实现的集装箱特征评估应用。
LMU 202可包括安装支架252，用于在与如本文所描述的空间101相关联的装载设备内定向或以其它方式定位LMU 202。LMU 202可进一步包括一个或多个处理器和一个或多个存储器，用于如本文所描述地处理图像数据例如，LMU 202可包括用于确定、存储或以其它方式处理成像数据/数据集和/或扫描后数据的闪存存储器。另外，LMU 202可进一步包括网络接口，以实现与其它设备(诸如，如本文中所述的图3的服务器301)的通信。LMU 202的网络接口可包括任何适当类型的(多个)通信接口(例如，有线和/或无线接口)，该(多个)通信接口被配置为根据任何合适的(多个)协议(例如，用于有线通信的以太网和/或用于无线通信的IEEE 802.11)来操作。
图3是表示与图1的装载设施和图2的LMU 202相关联的服务器的实施例的框图。在一些实施例中，服务器301可位于与图1的装载设施相同的设施中。在其它实施例中，服务器301可位于远程位置处，诸如在云平台或其它远程位置上。在任一实施例中，服务器301可通信地耦合至3D相机(例如，LMU 202)。
服务器301被配置为执行计算机指令以执行与本文所描述的系统和方法相关联的操作，例如，实现由随附本说明书的附图的框图或流程图表示的示例操作。服务器301可以实现企业服务软件，该企业服务软件可以包括例如，RESTful(表述性状态转移)API服务、消息队列服务、以及可以由各种平台或规范(诸如由甲骨文应用服务器(Oracle WebLogic)服务器平台，JBoss平台或IBM WebSphere平台等中的任何一个实现的J2EE规范)提供的事件服务。也可以使用其它技术或平台，诸如Ruby on Rails、微软.NET或类似的技术或平台。如下文所描述的，服务器301可以被特别配置为执行由本文所描述的附图的框图或流程图表示的操作。
图3的示例服务器301包括处理器302，诸如，例如，一个或多个微处理器、控制器、和/或任何适当类型的处理器。图3的示例服务器301进一步包括由处理器302(例如，经由存储器控制器(未示出))可访问的存储器(例如，易失性存储器或非易失性存储器)。示例处理器302与存储器304交互以获取例如存储在存储器304中的与例如由本公开的流程图表示的操作相对应的机器可读指令。附加地或替代地，与框图或流程图的示例操作相对应的机器可读指令可以存储在一个或多个可移动介质(例如，光盘、数字多功能盘、可移动闪存存储器等)上，或通过远程连接(诸如，互联网或基于云的连接)存储，该远程连接可以耦合到服务器301以提供对存储在其上的机器可读指令的访问。
图3的示例服务器301可进一步包括网络接口306，以使得能够经由例如，一个或多个计算机网络(诸如局域网(LAN)或广域网(WAN)(例如，互联网))与其它机器通信。示例网络接口306可以包括任何适当类型的(多个)通信接口(例如，有线和/或无线接口)，该(多个)通信接口被配置为根据任何合适的(多个)协议(例如，用于有线通信的以太网和/或用于无线通信的IEEE 802.11)来操作。
图3的示例服务器301包括输入/输出(I/O)接口308以实现用户输入的接收，并将输出数据传达给用户，该接口308可包括例如任意数量的键盘、鼠标、USB驱动器、光驱、屏幕、触摸屏等。
图4是根据本文的示例实施例的用于评估相对于集装箱的取向的3D点云数据处理算法400的流程图。算法400描述用于自动相机安装引导的各种方法，如本文所述。下面结合图5A至图5B、图6A至图6C、图7A至图7B、图8A至图8C、图9A至图9B、图10、图11A至图11B、以及图12A至图12B，讨论了用于图4的自动相机安装引导的3D点云数据处理算法400的实施例。
一般来说，图4的3D点云数据处理算法400包括三个总体阶段。首先，通过3D相机采集集装箱的3D图像，并将其转换为2D图像用于进一步处理。3D图像由与本文所述的实施例一致地预处理的数据的点云组成。例如，可以经由诸如降采样和异常值移除的方法来处理3D点云数据，以识别3D点云中的相关数据。然后可以将相关的3D点云数据转换成2D图像，对其进行填充和平滑。
然后，2D图像被匹配到模板。在实施例中，模板可以是预定的，并且可将其存储在数据库中，作为预定模板集的部分。例如，预定模板集的每个模板可以表示特定的集装箱类型。因此，可基于2D图像中包括的集装箱类型，选择一个预定模板作为2D图像的匹配。此外，每个模板可包括相关联的特性，以促进2D图像的进一步处理。例如，匹配模板可包含模板中特征化的集装箱类型的预定尺寸，以使得2D图像的后续处理可包括那些已知的尺寸。
最后，集装箱特征评估算法使用该模板匹配以确定集装箱的各种特征。例如，如在集装箱特征评估应用(app)上所执行的，算法可对2D图像执行分割，以提取3D特征。从这些3D特征中，应用可基于对应的度量确定集装箱的外部特征和内部特征两者。随后，响应于评估外部和内部特征，应用可以生成取向调整指令。取向调整指令可以向操作者指示对装运集装箱装载会话期间使用的3D相机的取向的调整。
如本文所提到的，本公开的系统和方法的一个优点尤其是3D相机的取向的高效评估。在大型安装操作中，该优点是尤其可识别的，其中，几十个LMU被同时安装。此外，在装运集装箱装载会话期间，3D相机可需要进一步的取向调整。在这些实例中，本公开的系统和方法使操作者能够快速并高效地对3D相机的取向进行必要调整，以优化正常运行时间，从而提高生产率、客户满意度、以及整体的系统性能。即，本公开的系统和方法不包括对3D相机的图像的传统手动评估以基于人类视觉评估确定近似的取向调整，而是使操作者能够及时地实时接收高准确度的取向调整指令。
在实施例中，3D点云数据处理算法400可在LMU 202的一个或多个处理器上执行。附加地或替代地，3D点云数据处理算法400可在服务器301的一个或多个处理器中执行。例如，一个或多个处理器可定位于服务器(例如，服务器301)处并可经由数字网络通信地耦合至3D相机。又进一步，3D点云数据处理算法400可以客户端-服务器格式在LMU 202和服务器301上执行，其中3D点云数据处理算法400的第一部分在LMU 202上操作，并且3D点云数据处理算法400的第二部分在服务器301上操作。
3D点云数据处理算法400可作为集装箱特征评估应用的部分而执行。集装箱特征评估应用可以是以编程语言(诸如Java、C#、Ruby等)实现的软件，并被编译以在LMU 202和/或服务器301的一个或多个处理器上执行。例如，在实施例中，集装箱特征评估应用可包括执行当型循环(“while”loop)以在从3D相机接收到3D图像数据时执行算法400的一个或多个部分。在此类实施例中，3D图像数据的接收将导致将触发当型循环以执行算法400的一个或多个部分的“真(true)”条件或状态。在又进一步的实施例中，集装箱特征评估应用可包括一个或多个事件监听器，诸如在集装箱特征评估应用内编程的监听器功能，其中，当3D相机捕获3D图像数据时，监听器功能将从3D相机接收3D图像数据作为参数。以此方式，3D相机将“推送”3D图像数据至监听器功能，该监听器功能将使用如本文中所述的3D图像数据执行算法400。
更具体地，3D点云数据处理算法400在框402处开始，其中，例如，应用(例如，集装箱特征评估应用)接收点云输入。在实践中，3D点云数据处理算法400利用被配置为捕获3D图像数据的3D相机(例如，LMU 202的3D相机254)。在各种实施例中，3D图像数据为3D点云数据。此外，可以周期性地捕获3D图像数据，诸如每30秒、每分钟或每两分钟捕获一次，但是本文也构想了其他各种速率(例如，其他帧速率)和定时。
参考图5A，(例如，LMU 202的)3D相机一般定位在一方向上，以捕获位于一空间(例如，空间101)中的装运集装箱(例如，装运集装箱102)的3D图像数据。装运集装箱可具有特定装运集装箱类型，诸如，如针对图1的装运集装箱102所示出的类型“AMJ”，或者如本文所述的或以其他方式指定为ULD集装箱类型的任何其他类型。
作为集装箱特征评估应用的一部分，在LMU 202和/或服务器301的(多个)处理器上执行的3D点云数据处理算法400可以被配置为接收3D图像数据并且基于3D图像数据确定表示装运集装箱102的集装箱点云。图5A描绘表示由LMU 202的3D图像相机254捕获的装运集装箱102的3D图像数据的示例实施例。如由图5A所示，3D图像数据包括点云数据502，其中点云数据可以以不同的颜色渲染以表示点云内的不同的深度或距离。例如，在图5A的实施例中，绿色表示更接近3D相机254的数据，并且蓝色表示更远离3D相机254的数据。
在框404处，集装箱特征评估应用被配置为预处理3D图像数据。预处理数据可包括各种动作，诸如降采样，或从3D图像数据中移除异常值。例如，通过首先评估与3D图像数据的每个点相关联的距离，集装箱特征评估应用可执行一个或多个指令，以从3D图像数据中移除异常值。然后，集装箱特征评估应用可以将每个距离与阈值距离进行比较，以消除在3D图像数据中的超过、降至低于、或以其他方式不满足阈值要求的那些点，以包括在算法400的后续执行中。
在框406处，集装箱特征评估应用被配置为在一个或多个处理器上执行，以将3D图像数据转换为2D深度图像数据。通常，集装箱特征评估应用可将3D图像数据的任意部分转换为2D深度图像数据。例如，集装箱特征评估应用可在预处理期间评估3D图像数据，并消除与包围集装箱的背景相关联的3D图像数据的部分。因此，并且参考图5B，集装箱特征评估应用可将3D图像数据的部分转换为2D深度图像数据504。
在实施例中，集装箱特征评估应用可被配置为通过将2D深度图像数据生成为灰度图像数据，将3D图像数据转换为2D深度图像数据。例如，并且如之前所提到的，3D图像数据(例如，3D图像数据502)可以不同的颜色渲染，以表示点云中的不同深度或距离。因此，当集装箱特征评估应用将3D图像数据转换为2D深度图像数据504时，应用可以移除经渲染的颜色，以生成灰度图像。
在框408处，集装箱特征评估应用被配置为在一个或多个处理器上执行，以将2D深度图像数据与一个或多个模板图像数据进行比较。一个或多个模板图像数据可以对应于相应的装运集装箱类型。例如，一个或多个模板图像数据可以对应于装运集装箱类型，包括作为以下类型之一的ULD类型：AMJ类型、AAD类型、AKE类型、AYY类型、SAA类型、APE类型、和/或AQF类型、或其任意组合。因此，在实施例中，一个或多个模板图像数据可以对应于一个或多个不同的ULD类型。
在实施例中，集装箱特征评估应用可被配置为生成一个或多个模板图像数据。此外，集装箱特征评估应用可以在执行算法400之前或期间生成一个或多个模板图像数据。通常，应用可以接收用于模板装运集装箱的3D图像点云数据。参考图6A，然后，应用可以将3D图像点云数据转换为深度图像数据602。如图6A中所示，深度图像数据602可包含一个或多个孔604。应当理解，一个或多个孔604可以各包含多个孔。一个或多个孔604可以表示由于例如从ULD的金属表面的反射而缺少数据。在任何事件中，一个或多个孔604带来问题，因为得到的模板可包括包含一个或多个孔604的深度图像数据602的部分。因此，可能需要通过包括替代一个或多个孔604的估算的数据，来从深度图像数据602中消除一个或多个孔604。
因此，并且如图6B中所示，集装箱特征评估应用可被配置为在一个或多个处理器上执行，以将深度图像数据(例如，深度图像数据602)完整化。经完整化的深度图像606可以表示在集装箱特征评估应用已将数据完整化之后的深度图像数据。例如，集装箱特征评估应用可以利用补偿最小二乘法以填补深度图像数据中缺失的值，从而创建经完整化的深度图像606。然而，应当理解，可以使用任何合适的方法来填补缺失的数据值，如深度图像数据的一个或多个孔(例如，一个或多个孔604)所表示的。
类似于深度图像数据(例如，深度图像数据602)，经完整化的深度图像606可以不同的颜色渲染，以表示图像606中的不同深度或距离。然而，此类带颜色的表示是非常规的，并且因此如果在实时图像分析期间被用作模板用于比较，可导致不一致的结果。因此，在集装箱特征评估应用对深度图像数据进行完整化之后，经完整化的深度图像606可以被归一化。
相应地，集装箱特征评估应用可被进一步配置为在一个或多个处理器上执行，以对经完整化的深度图像606进行归一化。如图6C中所示，集装箱特征评估应用可将经完整化的图像(例如，经完整化的深度图像606)转换为灰度2D图像608。此时，灰度2D图像608可包括足以创建模板图像的部分。因此，集装箱特征评估应用可以继续从灰度2D图像608中提取模板部分。
如图7中所示，集装箱特征评估应用可执行模板提取700。模板提取700包括灰度2D图像702和模板图像数据704。灰度2D图像702可进一步包括模板部分706。在实践中，LMU的操作者可以如此确定并指示模板部分706，以使得集装箱特征评估应用可将选择的模板部分706存储为独立图像(例如，模板图像数据704)，以供在后续的集装箱特征评估中使用。然而，在实施例中，集装箱特征评估应用可以自动地识别灰度2D图像702中的模板部分706。
为了说明，并且无论模板部分706是如何识别的，集装箱特征评估应用可被配置为仅在数据704包括集装箱(例如，ULD)的顶、后壁、和/或地平面的部分时，接收模板图像数据704。此外，集装箱特征评估应用可被配置为仅在数据704在水平维度内以顶、后壁、和/或地平面的部分为中心时，接收模板图像数据704。在任何事件中，模板图像数据704可被存储在存储器中，直到集装箱特征评估应用确定在实时3D图像中捕获的集装箱与数据704中特征化的集装箱类型匹配。
因此，集装箱特征评估应用可将模板图像数据704与任意2D深度图像数据(例如，灰度2D图像608)进行比较，以确定匹配。例如，集装箱特征评估应用可以通过搜索2D深度图像数据的与模板图像数据的特性匹配预定义阈值量的部分来分析2D深度图像数据。为了说明，集装箱特征评估应用可以在2D深度图像数据中搜索，以识别2D深度图像数据的包括与模板图像数据704至少90％一致的特性的部分。如果集装箱特征评估应用确定此类匹配存在，则集装箱特征评估应用可以验证在2D深度图像数据中存在集装箱，并且该集装箱的类型与模板图像数据704的已知集装箱类型一致。通过该分析，集装箱特征评估应用可以在2D深度图像数据中以高保真并且在各种位置识别集装箱，以产生稳健的识别过程。
在实施例中，集装箱特征评估应用可以分析2D深度图像数据，以确定数据的足以与各种存储的模板(例如，模板图像数据704)进行比较的部分。集装箱特征评估应用可以分析2D深度图像以确定任何合适的特性，但是该应用可以专门确定特定部分是否包括集装箱的顶、后壁、和/或地平面的部分。类似地，该应用可以确定特定部分在水平维度内是否位于集装箱的中心。一旦该应用确定2D深度图像的部分适于与模板进行比较，该应用随后确定合适的模板。
在框410处，集装箱特征评估应用被配置为在一个或多个处理器上执行，以在2D深度图像数据上执行分割，从而提取3D点云特征。更具体地，集装箱特征评估应用被配置为响应于识别到2D深度图像数据和一个或多个模板图像数据之间的匹配而提取3D点云特征。即，应用被配置为从2D深度图像数据中分割集装箱的地平面和后壁。应用将利用模板图像数据的位置以识别地平面和后壁平面。
例如，并且如图8A中所示，2D图像数据800可以是LMU安装会话期间的集装箱的图像。集装箱特征评估应用可以将模板图像数据704应用到2D图像数据800，并确定模板图像数据704和2D图像数据800的部分之间的匹配。相应地，集装箱特征评估应用可以基于被识别为匹配模板图像数据704的位置而确定后壁802和地平面804的位置。
在框412处，集装箱特征评估应用可被配置通过回归算法，从被分割的后壁802和地平面804中提取3D点云特征。在实施例中，集装箱特征评估应用可被配置为通过将后壁802和地平面804馈送到平面回归流水线来提取3D点云特征，以使得平面回归流水线用作回归算法。平面回归流水线可以分析被分割的后壁802和地平面804部分，并确定对应于每一者的3D点云特征集。
例如，并且如图8B中所示，平面回归流水线可以分析后壁802分段，以确定后壁3D点云806。后壁3D点云806可以是集装箱的后壁的3D表示，如从2D图像数据(例如，2D图像数据800)中所提取的。因此，后壁3D点云806可包括装运集装箱的物理后壁的特性(例如，曲率、高度、宽度、深度等)。
类似地，并且如图8C中所示，平面回归流水线可以分析地平面804分段，以确定地平面3D点云808。地平面3D点云808可以是集装箱的地平面的3D表示，如从2D图像数据(例如，2D图像数据808)中所提取的。因此，地平面3D点云808可包括装运集装箱的物理地平面的特性(例如，曲率、长度、宽度、深度等)。
此外，集装箱特征评估应用可被进一步配置为在回归算法期间估计相机的取向。例如，应用可以执行回归算法(例如，平面回归流水线)并确定所得3D点云(例如，后壁3D点云806和地平面3D点云808)不是相对于相机定向的，以使得算法400的剩余部分可以成功地完成。作为示例，如果应用确定地平面和后壁相对于相机的取向倾斜，则应用可以进一步确定，由于未对齐，对集装箱的前面板的分析将非常复杂(并且/或者被错误地分析)。
因此，在框414处，集装箱特征评估应用可被配置为在一个或多个处理器上执行，以旋转3D点云(例如，后壁3D点云806和地平面3D点云808)。例如，集装箱特征评估应用可以如此旋转3D点云，以使得在旋转后，3D点云更直接地与相机的视线(LOS)对齐，在对于后续分析最优的角度定向，和/或任何其他合适的旋转或其组合。以此方式，并且如本文中所提到的，旋转3D点云可以用于使后续的计算更直接。
在框416处，集装箱特征评估应用被配置为在一个或多个处理器上执行，以定位集装箱(例如，装运集装箱102)的后壁和前面板。一般来说，应用可以执行与算法400一致的例程，以准确地在3D空间内确定集装箱的后壁和前面板的位置。这些例程可包括对经旋转的3D点云的分析，如图8C中所述。参考图9A，集装箱特征评估应用可以以类似于示意图900的可视化方式执行分析。该示图以具有由后壁搜索区域902和地面搜索区域904组成的视场(FOV)的LMU 202为特征。
例如，后壁搜索区域902可包括类似于被分割的后壁(例如，被分割的后壁802)的集装箱的部分。更具体的，后壁搜索区域902可包括表示集装箱的后壁906的集装箱(例如，装运集装箱102)的部分。因此，集装箱特征评估应用可经由一个或多个处理器执行例程，以对后壁搜索区域902进行优先级排序，从而捕获使用集装箱的后壁906可识别的数据。以此方式，集装箱特征评估应用可以简化分析过程，通常导致集装箱和算法400的更流线型和高效的分割/回归。
类似地，地面搜索区域904可包括类似于被分割的地平面(例如，被分割的地平面804)的集装箱的部分。更具体的，地面搜索区域904可包括表示集装箱的底部908的集装箱(例如，装运集装箱102)的部分。因此，集装箱特征评估应用可经由一个或多个处理器执行例程，以对地面搜索区域904进行优先级排序，从而捕获使用集装箱的底部908可识别的数据。以此方式，集装箱特征评估应用可以简化分析过程，通常导致集装箱和算法400的更流线型和高效的分割/回归。
此外，一旦已经定位后壁906和底部908，集装箱特征评估应用就可以准确地定位集装箱的前面板910。由对应的模板图像表示的每个集装箱类型可包括后壁高度912和底部距离914。因此，一旦应用定位后壁906和底部908，应用就可以将这些定位的特征(906、908)与已知的尺寸(912、914)进行比较。
作为示例，集装箱特征评估应用可以利用经由后壁搜索区域902和地面搜索区域904获取的数据，以执行集装箱的尺寸分析。一旦应用接收到表示后壁906和底部908的数据，应用就可以分析该数据，以确定后壁高度912和底部距离914。在实施例中，后壁高度912和底部距离914都可以是基于集装箱类型(例如，AMJ类型、AAD类型、AKE类型、AYY类型、SAA类型、APE类型、AQF类型等)的已知量。
具体而言，应用可以将底部距离914与定位的特征(906、908)的深度分量进行比较，以确定前面板910可能定位在哪里。此外，应用可以将后壁高度912与定位的特征(906、908)进行比较，以确定前面板910的顶部可能定位在哪里。相应地，应用可以基于定位的特征(906、908)和已知尺寸(912、914)之间的关系来提取估计的前面板。
在框418处，并且参考图9B，集装箱特征评估应用可被配置为在一个或多个处理器上执行，以执行后壁(例如，后壁906)和前面板(例如，前面板910)平面回归。类似于框412，由集装箱特征评估应用在框418处执行的平面回归可以通过回归算法馈送代表后壁和前面板的数据。在实施例中，集装箱特征评估应用可被配置为通过将后壁和前面板数据馈送到平面回归流水线来提取对应于后壁和/或前面板的3D点云特征，以使得平面回归流水线用作回归算法。平面回归流水线可以分析代表后壁和前面板的数据，以确定对应于每一者的3D点云数据集。
在实施例中，集装箱特征评估应用可被配置为仅在框418处相对于前面板执行平面回归。例如，集装箱特征评估应用可被配置为利用在框412处生成的对应于后壁(例如，后壁3D点云806)的3D点云数据，以满足算法400的全部或部分。无论如何，由集装箱特征评估应用相对于前面板执行的平面回归都可以产生前面板910的3D点云表示。
例如，集装箱特征评估应用可以定位前面板并相对于前面板执行平面回归，从而生成前面板数据3D表示920。表示920可包括前面板3D点云922。此外，表示920可包括边界点集。该边界点集可包括左边界点集924、右边界点集926、以及顶边界点集928。该边界点集中的每个集可对应于前面板的部分。例如，左边界点集924可以对应于前面板的左部分。根据本文所述的实施例，边界点集的每个集可以部分地和/或完整地定义完整度分析中的感兴趣区域。
此时，集装箱特征评估应用已经确定了对应于集装箱的后壁的3D点云特征(例如，后壁3D点云806)、对应于集装箱的地面板的3D点云特征(例如，地平面3D点云808)、以及对应于集装箱的前面板的3D点云特征(例如，前面板3D点云922)。使用这三个3D点云，集装箱特征评估应用可被配置为使用外部度量和内部度量来确定集装箱的各种特征。度量可以是任何合适的评估度量，并且应当理解，应用可以利用任何适当数量的评估度量和/或任何合适的评估度量的组合来进行外部和内部特征确定。
即，在框420处，集装箱特征评估应用可被配置为在一个或多个处理器上执行，以相对于前面板执行完整度分析。在实施例中，完整度分析可以是应用用于确定集装箱的外部特征的外部度量。例如，并且参考图10，集装箱特征评估应用可以将代表前面板的3D点云数据(例如，前面板3D点云922)渲染为2D格式1000。2D格式可以包括左侧部分1002、右侧部分1004、以及顶边缘部分1006。
一般来说，各部分(1002、1004、以及1006)的每一者可包括代表前面板的相似部分的2D数据(例如，以左边界点集924、右边界点集926、以及顶边界点集928为边界的前面板3D点云922数据)。通过将表示前面板的3D点云数据包括在相应部分中，应用可以通过相对于多个部分中接收到的数据量评估任何特定部分中接收到的数据量(例如，目标点云区域(例如，924、926、928)中包括的点的数量)，来确定与每个部分(例如，1002、1004、以及1006)相关联的数据的完整度比率。
例如，2D格式1000可包括一组评估部分1008a-1008n，其中，n可以是评估部分的任何合适的数量。该组评估部分1008a-1008n的每个部分可包括对应于集装箱的前面板的数据集。例如，左侧部分1002可包括52个单独评估部分1008a-1008n。如图10中所示，左侧部分1002中包括的前面板数据(例如，从前面板3D点云922数据中提取的2D数据)可表示前面板的左侧。代表前面板的左侧的前面板数据覆盖左侧部分1002的部分，但几个单独的评估部分(例如，1008n)可以不包括代表前面板的左侧的数据。类似地，右侧部分1004中包括的前面板数据可表示前面板的右侧。代表前面板的右侧的前面板数据覆盖右侧部分1004的部分，但几个单独的评估部分可以不包括代表前面板的右侧的数据。
然而，给定集装箱类型的可用数据量可能不足以填充任意部分(1002、1004、以及1006)，因此，可以基于为前面板的任意给定侧采集的数据点的相对数量来计算完整度比率。为了评估完整度比率，集装箱特征评估应用可以执行与以下公式一致的计算：
Figure BDA0003624127550000191
Figure BDA0003624127550000192
Figure BDA0003624127550000193
其中，nl、nr、以及nu可以分别表示左侧部分1002、右侧部分1004、以及顶边缘部分1006中包括的前面板数据点的数量。此外，Rl、Rr、以及Ru可以分别表示相对于左侧部分1002、右侧部分1004、以及顶边缘部分1006的完整度比率。
因此，如所提到的，并且如各等式(1、2和3)中的每个等式中所指示的，完整度比率可以取决于前面板的每一侧采集的点的相对数量。为了说明，集装箱特征评估应用可被配置为评估是否已经捕获了前面板的足够部分，以对集装箱的外部特征进行有效评估。该评估可需要确定集装箱的特定部分(例如，左侧)是否比集装箱的另一部分(例如，右侧)包括更多数据。
例如，假设左侧部分1002包括指示集装箱的左侧的大量数据，并且右侧部分1004包括指示集装箱的右侧的少得多的数据。在该示例中，集装箱特征评估应用可以确定在采集集装箱的图像数据时，相机没有相对于集装箱正确地定向。应用可进一步得出结论，相机的取向应该被如此调整，以使得相机更朝向右边。以此方式，在后续的图像捕获中，相机可以采集代表集装箱的右侧的更多数据，以使得应用可以充分地确定集装箱的外部特征。
因此，并且在实施例中，应用可以将每个完整度比率与完整度比率阈值进行比较。如果应用确定特定侧的完整度比率超过、不足、或以其它方式不满足完整度比率阈值，则应用可以基于该确定生成取向指令，如本文中进一步所描述的。无论如何，一旦已经计算了完整度比率，并且应用确定已经针对前面板收集并评估了令人满意的数据点数量，则应用可以接着确定集装箱的内部特征。
可以在框422处开始确定内部特征，其中，集装箱特征评估应用可被配置为在一个或多个处理器上执行，以估计集装箱的前面板和后壁的高度。如图11A中所示，应用可以以类似于示意图1100的可视化方式执行估计。示图1100包括可视区域1102、前高度1104、以及后壁高度1106。可视区域1102可对应于相机(例如，LMU 202)的FOV。此外，如本文和实施例中所提到的，集装箱特征评估应用可以结合表示集装箱的2D数据的匹配图像模板(例如，模板图像数据704)来接收后壁高度1106。
在实施例中，集装箱特征评估应用可被配置为在一个或多个处理器上执行，以确定前高度1104和后壁高度1006。应用可以基于任何合适的度量确定这些高度，但是在实施例中，可以基于对分别与前面板和后壁相关联的点的分析来确定前高度1104和后壁高度1006。
例如，并且参考图11B，应用可以在复合3D表示1120中评估前高度1104和后壁高度1106。应用可进一步在表示1120中指定点，以进行高度估计。应用可指派前面板最高点1122，该前面板最高点1122指示与集装箱的前面板相关联的横向维度中的最高点。类似地，应用可指派后壁最高点1124，该后壁最高点1124指示与集装箱的后壁相关联的横向维度中的最高点。使用这些点(1122、1124)，通过评估每个点(1122、1124)的高度坐标、将各点(1122、1124)和与集装箱类型相关联的尺寸进行比较、和/或任何其他合适的估计技术或其组合，应用可以估计前高度1104和后壁高度1106。
在任何事件中，并且如框424处所指示的，一旦应用确定前高度1104和后壁高度1106的经估计的值，则应用可以计算经采集的数据的遮挡率。通常，遮挡率指示从相机(例如，LMU 202)的FOV中被遮挡的集装箱的量。遮挡率可以被定义为：
Figure BDA0003624127550000211
其中，Hb和Hf分别指示后壁高度1106和前高度1004；并且Ro指示遮挡率。更具体地，遮挡率可以与从相机的FOV中被遮挡的集装箱的量成反比。为了说明，假设后壁高度1106是10英尺，并且前高度1104是1英尺。在该情况下，遮挡率将是10:1，或简单地，10。因此，由于前面板的顶边缘将显著短于后壁的顶边缘，相机的FOV对于集装箱内部的很大一部分将被遮挡。
因此，为了确保相机可以充分地对每个集装箱的内部进行成像和分析，例如，在装载会话期间，应用可以将遮挡率与遮挡率阈值进行比较。如果应用确定特定集装箱的遮挡率超过、不足、或以其它方式不满足遮挡率阈值，则应用可以基于该确定生成取向指令，如本文中进一步所描述的。
在框426处，集装箱特征评估应用可被配置为在一个或多个处理器上执行，以验证集装箱的可视性和遮挡状态。例如，应用可以验证完整度比率和遮挡率满足任何关联的阈值的值，以使得应用可以开始创建集装箱的3D边界框。
参考图12A，应用可以通过生成集装箱数据的3D表示1200来开始确定边界框。例如，表示1200可包括集装箱3D点云数据的复合3D表示1120，以及应用可以拟合到复合3D表示1120的一组平面1202a-1202f。
在实施例中，应用可以基于拟合算法拟合该组平面1202a-1202f的每个平面。拟合算法可以基于假设(诸如，左平面1202e和右平面1202f相对于前平面1202c和地平面1202b垂直)开始将该组平面1202a-1202f拟合到表示1120。基于集装箱的采集的3D点云数据(例如，后壁3D点云806、地平面3D点云808、以及前面板3D点云922)，连同由拟合算法作出的假设，应用可以将该组平面1202a-1202f拟合到3D点云数据。应用可以将该组平面1202a-1202f中的每个平面放置为尽可能靠近集装箱的每个对应侧，直到相应平面接触到相应点云中的一个或多个点。然而，应当理解，应用可以任何合适的方式来拟合该组平面1202a-1202f中的每个平面。此外，将理解，应用可以将任何合适数量的平面拟合到3D点云数据。
然而，一旦集装箱特征评估应用将包括该组平面1202a-1202f的六个平面拟合到3D点云数据，该应用可进一步确定与3D点云数据相关联的边界框。例如，并且如图12B中所示，集装箱特征评估应用可以生成包括复合3D表示1120和边界框1222的3D表示1220。边界框1222可以表示作为拟合过程的部分生成的六个平面的部分(例如，平面集1202a-1202f)。在实施例中，边界框1222可包括前面板最高点1122和后壁最高点1124，并且/或者应用可以部分基于各点(1122、1124)的位置和值来确定边界框1222。
一般来说，在集装箱特征评估应用评估集装箱的外部和内部特征之后，应用可以生成取向调整指令。取向调整指令可以指示操作者将3D相机(例如，LMU 202)从该相机的第一方向定向到第二方向。相机的第二方向可以与相机的第一方向不同。此外，相机的第二方向可以用于装运集装箱装载会话期间。因此，第二方向可以将相机放置在取向中，以使得相机可以充分地对放置在相机的FOV中的每个后续集装箱进行成像，以执行令人满意的集装箱分析。
在实施例中，可以响应于集装箱特征评估应用确定边界框来生成取向调整指令。取向调整指令可包括向右取向指令、向左取向指令、降低/升高指令、以及向上/向下倾斜指令中的至少一个指令。因此，应用可以生成指令，该指令向操作者指示相机过于向下倾斜，并且应当向上倾斜，以将相机放置在更令人满意的取向中，从而执行集装箱分析。
在实施例中，集装箱特征评估应用可以与安装可视化应用通信。安装可视化程序可以在实现图形用户界面(GUI)的客户端设备上执行。GUI可以用图形方式指示客户端设备的数字显示上的取向调整指令。例如，GUI可以将取向调整指令显示为箭头，该箭头指示取向调整指令预期的调整方向。然而，应当理解，取向调整指令的图形指示可包括任何字母数字字符、符号、图像、视频、和/或任何其他合适的指示或其组合。
此外，在这些实施例中，安装可视化应用可被配置为在经由数字网络通信地耦合到3D相机的平视显示器(HUD)上显示取向调整指令。安装可视化应用也可以包括安装语音指令应用。安装语音指令应用可以在客户端设备上执行，该客户端设备实现用于将取向调整指令可听地传达给客户端设备的操作者的扬声器。因此，集装箱特征评估应用可以将取向调整指令通信到安装语音指令应用，然后，该安装语音指令应用可以将取向调整指令可听地传达给操作者。
在实施例中，客户端设备可以实现安装可视化应用以接收图像数据和/或扫描后数据并例如，以图形或其他格式向管理者或装载器显示此类数据，以促进包裹(例如，104、107等)的卸载或装载，如本文所述。在一些实施例中，安装可视化应用可以植入为斑马技术公司(Zebra Technologies Corps)的SmartPackTM集装箱装载分析(CLA)解决方案的一部分。安装可视化应用可安装在客户端设备上，该客户端设备在装载和装运设施(例如，如图1所描绘的装载设施)中操作。安装可视化应用可以经由诸如Java J2EE(例如，Java ServerFaces)或Ruby on Rails之类的web平台来实现。在此类实施例中，web平台可以经由生成动态网页(例如，使用HTML、CSS、JavaScript)或经由面向客户端的移动应用(例如，经由用于基于谷歌安卓的Java的应用或用于基于苹果iOS的Objective-C/Swift的应用)来生成或更新仪表板应用的用户界面，其中用户界面经由客户端设备上的仪表板应用显示。
在实施例中，安装可视化应用可以接收图像数据/数据集和/或扫描后数据并实时显示此类数据。客户端设备可以是移动设备，诸如平板电脑、智能手机、膝上型计算机或其他此类移动计算设备。客户端设备可以实现用于执行仪表板(或其他)应用或功能的操作系统或平台，包括，例如，苹果iOS平台、谷歌安卓平台、和/或微软视窗(Windows)平台中的任何一种。客户端设备可包括实现仪表板应用或用于提供其他类似功能的一个或多个处理器和/或一个或多个存储器。客户端设备还可包括有线或无线收发器，用于接收如本文所描述的图像数据和/或扫描后数据。此类有线或无线收发器可以实现一个或多个通信协议标准，包括，例如，TCP/IP、WiFi(802.11b)、蓝牙或任何其他类似的通信协议或标准。
一般而言，如本领域技术人员从本公开内容所理解的，某些益处来自本文所述的技术和特征。本文所描述的3D深度成像系统和方法提供了特征评估技术，以根据需要确定初始取向配置(例如，生成任何需要的取向调整指令)，用于在后续分析期间的进一步动态自动取向目的。此外，本文所描述的3D深度成像系统和方法允许基于采集的3D深度图像数据，对目标集装箱的前面板、后壁、以及地面板进行分割和回归拟合。
本文所描述的3D深度成像系统和方法提供了完整度比率和遮挡率确定技术，作为算法400的部分，该技术准确地估计相对于LMU的ULD可视性。另外，本文所描述的3D深度成像系统和方法包括用于基于从外到内的方法将边界平面拟合到集装箱的顶、底、左、右、前、以及后边缘的独特技术，该方法对于各种类型/形状的集装箱是稳健的。此外，本文所描述的3D深度成像系统和方法提供了用于基于外部和内部特征分析，自动地生成相机的取向调整指令的技术。这些取向调整确定传统地是手动执行的，并且因此通常不准确且耗时。因此，本文所描述的3D深度成像系统和方法很大程度上减少了准确定向成像系统以执行高级集装箱分析所需的时间。
在上述说明书中，已经描述了具体实施例。然而，本领域普通技术人员理解，可以做出各种修改和改变而不脱离如以下权利要求书所阐述的本发明的范围。因此，说明书和附图被认为是说明性的而非限制性的意义，并且所有此类修改都旨在被包括在本教导的范围内。
这些益处、优势、问题解决方案以及可能使任何益处、优势或解决方案发生或变得更为突出的任何(多个)要素不被解释成任何或所有权利要求的关键的、必需的或必要的特征或要素。本发明仅由所附权利要求书限定，包括在本申请处于待审状态期间做出的任何修改以及授权公告的这些权利要求的所有等效物。
此外，在该文档中，诸如第一和第二、顶部和底部等之类的关系术语可以单独地用来将一个实体或动作与另一个实体或动作区别开，而不一定要求或暗示这些实体或动作之间具有任何实际的这种关系或顺序。术语“包括”、“包括有”、“具有”、“具备”、“包含”、“包含有”、“涵盖”、“涵盖有”或它们的任何其他变型旨在覆盖非排他性包括，使得包括、具有、包含、涵盖一要素列表的过程、方法、物品或装置不仅包括那些要素还可包括未明确列出的或对此类过程、方法、物品或装置固有的其他要素。以“包括一”、“具有一”、“包含一”、“涵盖一”开头的要素，在没有更多约束条件的情形下，不排除在包括、具有、包含、涵盖该要素的过程、方法、物品或装置中有另外的相同要素存在。术语“一”和“一个”被定义为一个或更多个，除非本文中另有明确声明。术语“基本”、“大致”、“近似”、“约”或这些术语的任何其他版本被定义为如本领域技术人员理解的那样接近，并且在一个非限制性实施例中，这些术语被定义为在10％以内，在另一实施例中在5％以内，在另一实施例中在1％以内，而在另一实施例中在0.5％以内。本文中使用的术语“耦合的”被定义为连接的，尽管不一定是直接连接的也不一定是机械连接的。以某种方式“配置”的设备或结构至少以该种方式进行配置，但也可以以未列出的方式进行配置。
将理解，一些实施例可以包括一个或多个通用或专用处理器(或“处理设备”)，诸如微处理器、数字信号处理器、定制的处理器和现场可编程门阵列(FPGA)以及唯一存储的程序指令(包括软件和固件两者)，该唯一存储的程序指令控制一个或多个处理器连同某些非处理器电路实现本文所描述的方法和/或装置的一些、多数或全部功能。替代地，一些或全部功能可以由不具有存储的程序指令的状态机来实现，或者在一个或多个专用集成电路(ASIC)中实现，其中，每种功能或所述功能中的某些功能的一些组合被实现为定制逻辑。当然，也可以使用这两种方法的组合。
此外，实施例可以实现为计算机可读存储介质，该计算机可读存储介质具有存储在其上的计算机可读代码，用于对(例如，包括处理器的)计算机编程以执行如本文所描述和要求保护的方法。这种计算机可读存储介质的示例包括但不限于硬盘、CD-ROM、光存储器件、磁存储器件、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)，以及闪存。此外，预期本领域普通技术人员虽然做出由例如，可用时间、当前技术和经济考虑促动的可能显著的努力以及许多设计选择，但在得到本文所公开的概念和原理指导时，将容易地能以最少的试验产生此类软件指令和程序以及IC。
本公开的摘要被提供以允许读者快速地确定本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求书的范围或含义。另外，在上述具体实施方式中，可以看出出于使本公开整体化的目的，各种特征在各种实施例中被编组到一起。这种公开方法不应被解释为反映要求保护的实施例与各项权利要求中明确记载的相比需要更多的特征的意图。相反，如以下权利要求所反映，发明主题在于少于单个公开的实施例的全部特征。因此，以下权利要求由此被结合到具体实施方式中，其中各个权利要求作为单独要求保护的主题代表其自身。

Claims (24)

1.一种用于评估相对于集装箱的取向的三维(3D)深度成像系统，所述3D深度成像系统包括：
3D深度相机，所述3D深度相机被配置为捕获3D图像数据，所述3D深度相机在第一方向中定向以捕获位于一空间中的装运集装箱的3D图像数据，所述装运集装箱具有装运集装箱类型；以及
集装箱特征评估应用(app)，所述集装箱特征评估应用被配置为在一个或多个处理器上执行并且配置为接收所述3D图像数据，所述集装箱特征评估应用被配置为基于所述3D图像数据来确定表示所述装运集装箱的集装箱点云，
其中，所述集装箱特征评估应用进一步被配置为在所述一个或多个处理器上执行以：
(a)将所述3D图像数据转换为2D深度图像数据；
(b)将所述2D深度图像数据与一个或多个模板图像数据进行比较，所述一个或多个模板图像数据中的每一者对应于相应装运集装箱类型；
(c)响应于所述2D深度图像数据和所述一个或多个模板图像数据之间的匹配，执行分割以提取3D点云特征；
(d)从所述3D点云特征，确定所述装运集装箱的外部特征，并使用外部特征度量评估所述外部特征；
(e)从所述3D点云特征，确定所述装运集装箱的内部特征，并使用内部特征度量评估所述内部特征；以及
(f)响应于评估所述外部特征和评估所述内部特征，生成取向调整指令，用于指示操作者在装运集装箱装载会话期间使用的第二方向中定向所述3D深度相机，其中，所述第二方向与所述第一方向不同。
2.如权利要求1所述的3D深度成像系统，其特征在于，所述集装箱特征评估应用进一步被配置为通过将所述2D深度图像数据生成为灰度图像数据，将所述3D图像数据转换为2D深度图像数据，并且其中，所述集装箱特征评估应用进一步被配置为将所述2D深度图像数据与灰度的所述一个或多个模板图像数据进行比较，以识别模板匹配部分。
3.如权利要求2所述的3D深度成像系统，其特征在于，所述集装箱特征评估应用进一步被配置为在所述一个或多个处理器上执行以：
接收模板装运集装箱的3D图像点云数据，
将所述3D图像点云数据转换为深度图像数据，
应用补偿最小二乘过程，以将缺失的数据引入所述深度图像数据，并生成模板深度图像，并且
将所述模板深度图像归一化为灰度，以生成所述模板图像数据。
4.如权利要求2所述的3D深度成像系统，其特征在于，所述集装箱特征评估应用进一步被配置为在所述一个或多个处理器上执行以：
基于所述模板匹配部分，将所述3D图像数据分割为装运集装箱地平面和装运集装箱后壁；并且
将所述装运集装箱地平面和所述装运集装箱后壁馈送至平面回归流水线，并确定和分割装运集装箱前平面，
其中，所述3D点云特征包括所述装运集装箱地平面、所述装运集装箱后壁、以及所述装运集装箱前平面。
5.如权利要求4所述的3D深度成像系统，其特征在于，所述集装箱特征评估应用进一步被配置为通过以下方法使用所述外部特征度量来评估所述外部特征：将所述装运集装箱前平面分为左侧部分、右侧部分、以及顶边缘部分；确定所述左侧部分、所述右侧部分、以及所述顶边缘部分中的每一者的完整度比率；以及从所述完整度比率，确定所述装运集装箱前平面的完整度作为所述外部特征度量。
6.如权利要求5所述的3D深度成像系统，其特征在于，所述集装箱特征评估应用进一步被配置为通过以下方法使用所述内部特征度量来评估所述内部特征：确定所述装运集装箱前平面的高度；确定所述装运集装箱后壁的高度；以及确定遮挡率作为所述内部特征度量。
7.如权利要求6所述的3D深度成像系统，其特征在于，所述集装箱特征评估应用进一步被配置为在所述一个或多个处理器上执行以：
确定所述装运集装箱的六个平面；
基于所述六个平面，确定所述装运集装箱的边界框；并且
响应于确定所述边界框，生成所述取向调整指令，所述取向调整指令包括向右取向指令、向左取向指令、降低/升高指令、以及向上/向下倾斜指令中的至少一个指令。
8.如权利要求1所述的3D深度成像系统，其特征在于，所述3D深度相机和所述一个或多个处理器容纳在负载监控单元(LMU)中。
9.如权利要求1所述的3D深度成像系统，其特征在于，所述一个或多个模板图像数据对应于一个或多个不同的通用装载设备(ULD)类型。
10.如权利要求1所述的3D深度成像系统，进一步包括安装可视化应用，所述安装可视化应用在实现图形用户界面(GUI)的客户端设备上执行，所述GUI以图形方式在所述客户端设备的数字显示上指示所述取向调整指令。
11.如权利要求10所述的3D深度成像系统，其特征在于，所述安装可视化应用被配置为在经由数字网络通信地耦合到所述3D深度相机的平视显示器(HUD)上显示所述取向调整指令。
12.如权利要求1所述的3D深度成像系统，进一步包括安装语音指令应用，所述安装语音指令应用在实现扬声器的客户端设备上执行，所述扬声器用于将所述取向调整指令可听地传达给所述客户端设备的所述操作者。
13.一种用于评估在主动安装模式下的3D深度成像系统的相对于集装箱的取向的方法，所述方法包括：
通过3D深度相机捕获3D图像数据，所述3D深度相机在所述主动安装模式期间在第一方向中定向以捕获位于一空间中的装运集装箱的3D图像数据，所述装运集装箱具有装运集装箱类型；
基于所述3D图像数据确定表示所述装运集装箱的集装箱点云；
将所述3D图像数据转换为2D深度图像数据；
将所述2D深度图像数据与一个或多个模板图像数据进行比较，所述一个或多个模板图像数据中的每一者对应于相应装运集装箱类型；
响应于所述2D深度图像数据和所述一个或多个模板图像数据之间的匹配，执行分割以提取3D点云特征；
从所述3D点云特征，确定所述装运集装箱的外部特征，并使用外部特征度量评估所述外部特征；
从所述3D点云特征，确定所述装运集装箱的内部特征，并使用内部特征度量评估所述内部特征；以及
响应于评估所述外部特征和评估所述内部特征，生成取向调整指令，用于指示操作者在装运集装箱装载会话期间使用的第二方向中定向所述3D深度相机，其中，所述第二方向与所述第一方向不同。
14.如权利要求13所述的方法，进一步包括：
通过将所述2D深度图像数据生成为灰度图像数据，将所述3D图像数据转换为2D深度图像数据；以及
将所述2D深度图像数据与灰度的所述一个或多个模板图像数据进行比较，以识别模板匹配部分。
15.如权利要求14所述的方法，进一步包括：
接收模板装运集装箱的3D图像点云数据；
将所述3D图像点云数据转换为深度图像数据；
应用补偿最小二乘过程，以将缺失的数据引入所述深度图像数据，并生成模板深度图像；以及
将所述模板深度图像归一化为灰度，以生成所述模板图像数据。
16.如权利要求14所述的方法，进一步包括：
基于所述模板匹配部分，将所述3D图像数据分割为装运集装箱地平面和装运集装箱后壁；以及
将所述装运集装箱地平面和所述装运集装箱后壁馈送至平面回归流水线，并确定和分割装运集装箱前平面，
其中，所述3D点云特征包括所述装运集装箱地平面、所述装运集装箱后壁、以及所述装运集装箱前平面。
17.如权利要求16所述的方法，其特征在于，使用所述外部特征度量评估所述外部特征包括：将所述装运集装箱前平面分为左侧部分、右侧部分、以及顶边缘部分；确定所述左侧部分、所述右侧部分、以及所述顶边缘部分中的每一者的完整度比率；并且从所述完整度比率，确定所述装运集装箱前平面的完整度作为所述外部特征度量。
18.如权利要求17所述的方法，其特征在于，使用所述内部特征度量评估所述内部特征包括：确定所述装运集装箱前平面的高度；确定所述装运集装箱后壁的高度；以及确定遮挡率作为所述内部特征度量。
19.如权利要求18所述的方法，进一步包括：
确定所述装运集装箱的六个平面；
基于所述六个平面，确定所述装运集装箱的边界框；以及
响应于确定所述边界框，生成所述取向调整指令，所述取向调整指令包括向右取向指令、向左取向指令、降低/升高指令、以及向上/向下倾斜指令中的至少一个指令。
20.如权利要求13所述的方法，其特征在于，所述3D深度相机被容纳在负载监控单元(LMU)中。
21.如权利要求13所述的方法，其特征在于，所述一个或多个模板图像数据对应于一个或多个不同的通用装载设备(ULD)类型。
22.如权利要求13所述的方法，进一步包括通过在实现图形用户界面(GUI)的客户端设备上执行的安装可视化应用(app)，以图形方式在所述客户端设备的数字显示上指示所述取向调整指令。
23.如权利要求22所述的方法，其特征在于，以图形方式指示所述取向调整指令包括在经由数字网络通信地耦合到所述3D深度相机的平视显示器(HUD)上显示所述取向调整指令。
24.如权利要求13所述的方法，进一步包括通过在实现扬声器的客户端设备上执行的安装语音指令应用，将所述取向调整指令可听地传达给所述客户端设备的所述操作者。
CN202080077673.0A 2019-10-31 2020-09-15 用于自动相机安装引导（cig）的系统和方法 Active CN114651506B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/670,446 2019-10-31
US16/670,446 US10820307B2 (en) 2019-10-31 2019-10-31 Systems and methods for automatic camera installation guidance (CIG)
PCT/US2020/050859 WO2021086505A1 (en) 2019-10-31 2020-09-15 Systems and methods for automatic camera installation guidance (cig)

Publications (2)

Publication Number Publication Date
CN114651506A true CN114651506A (zh) 2022-06-21
CN114651506B CN114651506B (zh) 2023-01-17

Family

ID=75689709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080077673.0A Active CN114651506B (zh) 2019-10-31 2020-09-15 用于自动相机安装引导（cig）的系统和方法

Country Status (7)

Country Link
US (2) US10820307B2 (zh)
CN (1) CN114651506B (zh)
AU (1) AU2020372815B2 (zh)
CA (1) CA3152570C (zh)
DE (1) DE112020005377B4 (zh)
GB (1) GB2603437B (zh)
WO (1) WO2021086505A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762331B1 (en) * 2019-10-11 2020-09-01 Zebra Technologies Corporation Three-dimensional (3D) depth and two-dimensional (2D) imaging systems and methods for automatic container door status recognition
US10820307B2 (en) * 2019-10-31 2020-10-27 Zebra Technologies Corporation Systems and methods for automatic camera installation guidance (CIG)
US11430129B2 (en) * 2020-01-27 2022-08-30 Zebra Technologies Corporation Methods for unit load device (ULD) localization
US11333293B2 (en) * 2020-02-20 2022-05-17 Zebra Technologies Corporation Mount system for a monitoring device
US11275964B2 (en) * 2020-03-27 2022-03-15 Zebra Technologies Corporation Methods for determining unit load device (ULD) container type using template matching
US11836940B2 (en) * 2020-06-15 2023-12-05 Zebra Technologies Corporation Three-dimensional sensor acuity recovery assistance
US11568352B2 (en) * 2020-11-10 2023-01-31 Mehwish Aziz Immersive packaging system and method
DE102021206625A1 (de) 2021-06-25 2022-12-29 Robert Bosch Gesellschaft mit beschränkter Haftung Computerimplementiertes Verfahren und System zur Unterstützung einer Installation eines bildgebenden Sensors und Trainingsverfahren
CN117006948B (zh) * 2023-07-29 2024-04-16 南通莱博尔精密机电配套有限公司 一种基于机器视觉的集装箱密封条瑕疵检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080246759A1 (en) * 2005-02-23 2008-10-09 Craig Summers Automatic Scene Modeling for the 3D Camera and 3D Video
US20090262974A1 (en) * 2008-04-18 2009-10-22 Erik Lithopoulos System and method for obtaining georeferenced mapping data
US20150254499A1 (en) * 2014-03-07 2015-09-10 Chevron U.S.A. Inc. Multi-view 3d object recognition from a point cloud and change detection
CN106164978A (zh) * 2014-01-28 2016-11-23 西门子保健有限责任公司 使用参数化可变形网状物来构造个性化具体化的方法和系统
US20170178333A1 (en) * 2015-12-22 2017-06-22 Symbol Technologies, Llc Methods and systems for occlusion detection and data correction for container-fullness estimation
US20180147062A1 (en) * 2016-11-30 2018-05-31 Fited, Inc. 3d modeling systems and methods
US20190166339A1 (en) * 2017-11-14 2019-05-30 Texas Instruments Incorporated Camera-assisted arbitrary surface characterization and slope-based correction
US20190197719A1 (en) * 2017-12-22 2019-06-27 Symbol Technologies, Llc Container use estimation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762331B1 (en) * 2019-10-11 2020-09-01 Zebra Technologies Corporation Three-dimensional (3D) depth and two-dimensional (2D) imaging systems and methods for automatic container door status recognition
US10820307B2 (en) * 2019-10-31 2020-10-27 Zebra Technologies Corporation Systems and methods for automatic camera installation guidance (CIG)

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080246759A1 (en) * 2005-02-23 2008-10-09 Craig Summers Automatic Scene Modeling for the 3D Camera and 3D Video
US20090262974A1 (en) * 2008-04-18 2009-10-22 Erik Lithopoulos System and method for obtaining georeferenced mapping data
CN106164978A (zh) * 2014-01-28 2016-11-23 西门子保健有限责任公司 使用参数化可变形网状物来构造个性化具体化的方法和系统
US20150254499A1 (en) * 2014-03-07 2015-09-10 Chevron U.S.A. Inc. Multi-view 3d object recognition from a point cloud and change detection
US20170178333A1 (en) * 2015-12-22 2017-06-22 Symbol Technologies, Llc Methods and systems for occlusion detection and data correction for container-fullness estimation
US20180147062A1 (en) * 2016-11-30 2018-05-31 Fited, Inc. 3d modeling systems and methods
US20190166339A1 (en) * 2017-11-14 2019-05-30 Texas Instruments Incorporated Camera-assisted arbitrary surface characterization and slope-based correction
US20190197719A1 (en) * 2017-12-22 2019-06-27 Symbol Technologies, Llc Container use estimation

Also Published As

Publication number Publication date
GB2603437A (en) 2022-08-03
CA3152570C (en) 2023-01-17
US20210136750A1 (en) 2021-05-06
CN114651506B (zh) 2023-01-17
AU2020372815B2 (en) 2022-08-18
DE112020005377B4 (de) 2023-07-13
CA3152570A1 (en) 2021-05-06
US10820307B2 (en) 2020-10-27
WO2021086505A1 (en) 2021-05-06
GB2603437B (en) 2023-04-05
GB202206104D0 (en) 2022-06-08
US20200077383A1 (en) 2020-03-05
US11419101B2 (en) 2022-08-16
DE112020005377T5 (de) 2022-09-08
AU2020372815A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
CN114651506B (zh) 用于自动相机安装引导（cig）的系统和方法
US10186049B1 (en) Determining changes in object structure over time using mobile device images
US10991116B1 (en) Three-dimensional (3D) depth imaging systems and methods for automatically determining shipping container fullness based on imaging templates
US11010915B2 (en) Three-dimensional (3D) depth imaging systems and methods for dynamic container auto-configuration
CN107680125B (zh) 在视觉系统中自动选择三维对准算法的系统和方法
US10657666B2 (en) Systems and methods for determining commercial trailer fullness
CN112651287A (zh) 用于自动集装箱门状态识别的三维(3d)深度和二维(2d)成像系统和方法
US10628772B2 (en) Computing package wall density in commercial trailer loading
US10630944B2 (en) Method and system for door status detection and alert generation
US10788434B2 (en) Method for inspecting an object optically
US11861858B2 (en) System and method for automatic container configuration using fiducial markers
US11430129B2 (en) Methods for unit load device (ULD) localization
US11475574B2 (en) Methods for unit load device (ULD) door tarp detection
JP2015155911A (ja) 寸法計測方法
US20240037751A1 (en) Three-dimensional (3d) depth imaging systems and methods for dynamic container auto-configuration
US11275964B2 (en) Methods for determining unit load device (ULD) container type using template matching
US20240135566A1 (en) System and Method for Automatic Container Configuration using Fiducial Markers
CN115171061A (zh) 车辆检测方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant