CN114126987A - 用于动态集装箱自动配置的三维(3d)深度成像系统和方法 - Google Patents

用于动态集装箱自动配置的三维(3d)深度成像系统和方法 Download PDF

Info

Publication number
CN114126987A
CN114126987A CN202080048613.6A CN202080048613A CN114126987A CN 114126987 A CN114126987 A CN 114126987A CN 202080048613 A CN202080048613 A CN 202080048613A CN 114126987 A CN114126987 A CN 114126987A
Authority
CN
China
Prior art keywords
container
bounding box
shipping container
configuration
auto
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080048613.6A
Other languages
English (en)
Other versions
CN114126987B (zh
Inventor
王莅尘
张燕
K·J·奥康奈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zebra Technologies Corp
Original Assignee
Zebra Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zebra Technologies Corp filed Critical Zebra Technologies Corp
Publication of CN114126987A publication Critical patent/CN114126987A/zh
Application granted granted Critical
Publication of CN114126987B publication Critical patent/CN114126987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D90/00—Component parts, details or accessories for large containers
    • B65D90/48—Arrangements of indicating or measuring devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/18—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Optics & Photonics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开了三维(3D)深度成像系统和方法以用于动态集装箱自动配置。3D深度相机在装运集装箱装载作业段期间捕获位于预定义搜索空间中的装运集装箱的3D图像数据。自动配置应用确定表述性的集装箱点云，并且(a)加载初始预配置文件，所述初始预配置文件定义具有表示预定义搜索空间的尺寸和初始前板区域的数字边界框；(b)将数字边界框应用于集装箱点云，以基于初始前板区域从集装箱点云中移除前板干扰数据；(c)基于装运集装箱类型生成经细化的前板区域；(d)基于经细化的前板区域生成经调整的数字边界框；和(e)生成自动配置结果，所述自动配置结果包括包含集装箱点云的至少一部分在内的经调整的数字边界框。

Description

用于动态集装箱自动配置的三维(3D)深度成像系统和方法
发明背景
在运输业中，通常使用各种不同的技术来装载装运集装箱(shipping container)(例如，用于航空和/或陆地运输和装运的装运集装箱，诸如单元装载设备(ULD))，这些技术考虑到箱子、包裹或其它装运或转运物品的各种不同尺寸和配置。另外，装运集装箱本身通常具有不同的尺寸和存储容量(例如，此类集装箱被构造为处理不同的货物尺寸、负载和/或配置)。所有各种装载技术、箱子尺寸/配置和装运集装箱尺寸/配置的全部创建了不同的装载策略、技术和总体装载操作的差异，监督此类商用拖车的装载的装载员和/或管理员难以进行管理。
装载策略、尺寸和配置的此类各种排列在追踪不同人员(例如，装载员)的装载表现或质量指标产生了问题，每一个人员可能位于不同的地理位置和/或采用不同的装载方案。具体而言，装载器或管理人员可能期望更好地理解和改进与如何装载他们的装运集装箱的效率相关的指标，使得他们能采用或做出更好的管理决策，以改进与集装箱相关联的物流操作的装载时间或以其它方式装载的效率。
另外，传统的装运集装箱(例如，ULD)装载策略和技术也会产生问题。例如，准确的集装箱位置信息对于其它分析算法(诸如，ULD满度算法)来说至关重要，以获得可接受的性能。手动提供当前ULD位置信息并假定此集装箱保持静止。然而，因为装运集装箱和/或相机位置可能在装载过程期间偏移，因此，产生如何动态提供具有高准确度的位置信息这样的问题。在算法可能基于定位而作出某些(不正确的)假设时，这些问题可变得特别严重。例如，ULD位置传统上是由(人工)视觉检查来设置，这耗时且低效。更重要的是，在例行装载过程中，集装箱和相机都有不可忽略的偏移，这可降低装载分析算法的性能以及准确度。因此，关于如何自动地、高效地且准确地动态定位和配置集装箱位置，通常产生各种问题。
一些常规的技术试图解决这些问题。然而，每种技术都具有特定缺点。例如，可采用直接3D匹配技术将目标点云匹配到3D模板点云。然而，直接3D匹配技术不具有稳健性，这是因为其缺乏稳定且可重复的结果，还对局部结构敏感，并且涉及高计算复杂性。此外，匹配不准确，这导致错误的和通常不准确的报告。
第二个常规技术包括点云聚类。然而，点云聚类也不是稳健的，这是因为其缺乏稳定且可重复的结果，具体地，其遭受到无法控制的3D数据分割结果的影响。附加地，点云聚类技术对于“噪声”(例如，装载器/人员移动通过装载区域)和小对象干扰(例如，在装载区域内移动的包裹)也敏感。因此，点云聚类通常因装载器以及包裹干扰而产生不正确的聚类结果，
第三个常规技术包括2.5D模板匹配。然而，2.5D模板匹配也不是稳健的，这是因为其缺乏稳定且可重复的结果。具体而言，2.5D模板匹配不是稳健的，这是因为装载器干扰通常产生2.5D模板匹配所依赖的不正确的聚类结果。另外，2.5D模板匹配需要大量计算以获取实时的定位，并且可能遭受到不正确的基值拟合(ground fitting)的影响。
相应地，常规的技术无法为实时/动态集装箱装载提供快速且高效的解决方案，这将例如为实时定位提供解决方案。这些常规技术面临着典型的装载挑战，典型的装载挑战包括包裹和装载器堵塞和干扰、集装箱的不同类型和大小、和其它典型装载问题，诸如装运集装箱具有关闭或打开的门。
相应地，需要如本文进一步所描述的用于动态集装箱自动配置的三维(3D)深度成像系统和方法，以允许快速且高效的实时定位以用于装运集装箱装载和诊断。
附图说明
本专利或申请文件包含至少一幅彩色绘制的附图。经请求并且支付必要费用后，专利局将提供具有(多个)彩图的本专利或专利申请公开的副本。
附图(其中贯穿不同的视图，相同的附图标记表示相同的或功能类似的要素)连同下面的具体实施方式被并入说明书并形成说明书的一部分，并用于进一步说明包括所要求保护的发明的概念的实施例，以及解释那些实施例的各种原理和优势。
图1是根据本文的示例实施例的从上方看的描绘了具有3D深度相机的负载监控单元(LMU)的装载设施的预定义搜索空间的立体视图，该3D深度相机在一方向上定向以在装运集装箱装载作业段期间捕获装运集装箱的3D图像数据。
图2是根据本文的示例实施例的图1的LMU的立体视图。
图3是表示与图1的装载设施和图2的3D深度相机相关联的服务器的实施例的框图。
图4是根据本文的示例实施例的用于动态集装箱自动配置的3D深度成像算法的流程图。
图5A至图5D示出了关于根据图4并根据本文的示例实施例而生成初始预配置文件的3D和2D图像的示例实施例。
图6A至图6H示出了关于用于根据图4并根据本文的示例实施例而生成自动配置结果的动态集装箱自动配置的3D和2D图像的示例实施例。
图7示出了显示描绘如根据图4并且根据本文的示例实施例生成的自动配置结果的引导用户界面(GUI)的客户端设备。
本领域技术人员将理解附图中的要素出于简化和清楚而示出，并且不一定按尺度绘制。例如，附图中的要素中的一些要素的尺寸可相对于其它要素被夸大以帮助提升对本发明的实施例的理解。
已在附图中通过常规符号在合适位置表示装置和方法构成，所述表示仅示出与理解本发明的实施例有关的那些特定细节，以免因对得益于本文的描述的本领区域普通技术人员而言显而易见的细节而混淆本公开。
具体实施方式
相应地，本文中描述提供动态自动配置的系统及方法。更一般地，本文中的公开内容涉及提供集装箱装载分析(CLA)(诸如满度分析)。此外，本公开内容涉及动态集装箱自动配置(DCAC)系统和方法，用于动态定位(特定地点或区域的识别)、装载或以其它方式准备对装运集装箱进行装运。本文描述的系统和方法通过实时自动向分析算法提供高度准确的集装箱位置信息，来代替常规手动ULD配置过程。本公开内容提出了用于即使在正常集装箱装载过程期间也能动态地定位集装箱的高效、准确并且稳健的方法。该方法改进了已知的分析算法的效率以及准确性。
另外，本公开内容还描述了消除其中集装箱从经预校准的位置偏移的满度误差情况的发明性实施例。与当集装箱从经预校准的位置偏移时低估或高估满度的常规的系统和方法相反，本公开内容的实施例动态地检测集装箱的位置并且将该信息馈送到满度分析。例如，在特定实施例中，本发明通过基于3D点云分析的正面ULD结构定位来检测ULD边界。如本文将进一步描述的，本公开的实施例将用于多种类型的集装箱的校准工作进行简化和自动化。例如，本公开内容的实施例允许对多种类型的ULD(包括AMJ、AAD、AKE、AYY、SAA、APE和AQF类型)的成像。在不存在本发明的益处的情况下，校准工作将仍然是大量且乏味的。
因此，在本文所公开的各种实施例中，公开了用于动态集装箱自动配置的3D深度成像系统。3D深度成像系统可包括被配置为捕获3D图像数据的3D深度相机。3D深度相机可以在一方向上定向以在装运集装箱装载作业段期间捕获位于预定义搜索空间中的装运集装箱的3D图像数据。装运集装箱可以具有装运集装箱类型。
3D深度成像系统可进一步包括被配置为在一个或多个处理器上执行并且接收3D图像数据的集装箱自动配置应用(app)。集装箱自动配置app可被配置为基于该3D图像数据来确定表示装运集装箱的集装箱点云。
自动配置app可被进一步配置为在一个或多个处理器上执行，以加载与预定义搜索空间相对应的初始预配置文件。预配置文件可进一步定义数字边界框，所述数字边界框具有表示预定义搜索空间的尺寸。使数字边界框包括初始前板区域。
自动配置app可进一步被配置为将数字边界框应用到集装箱点云，以基于初始前板区域从集装箱点云中移除前板干扰数据。
集装箱自动配置app可进一步被配置为基于装运集装箱类型来生成经细化的前板区域。经细化的前板区域可定义以下项中的每一个：经细化的前板区域的(1)右边缘、(2)左边缘、和(3)顶部边缘。
集装箱自动配置app可进一步被配置为通过基于经细化的前板区域和装运集装箱类型来修改数字边界框的一个或多个数字壁，生成经调整的数字边界框。一个或多个数字壁可以至少包括(1)左壁、(2)右壁、和(3)地面壁。
集装箱自动配置app可进一步被配置为生成自动配置结果，所述自动配置结果包括经调整的数字边界框，所述经调整的数字边界框至少包含集装箱点云的一部分。
另外，公开了3D深度成像方法以用于动态集装箱自动配置。3D深度成像方法可以包括通过3D深度相机在装运集装箱装载作业段期间捕获位于预定义搜索空间中的装运集装箱的3D图像数据。装运集装箱可包括特定装运集装箱类型。
3D深度成像方法可进一步包括在一个或多个处理器上执行的集装箱自动配置应用(app)处接收3D图像数据。3D深度成像方法可以进一步包括通过集装箱自动配置app基于3D图像数据确定表示装运集装箱的集装箱点云。
3D深度成像方法可进一步包括通过集装箱自动配置app加载与预定义搜索空间对应的初始预配置文件。预配置文件可定义数字边界框，所述数字边界框具有表示预定义搜索空间的尺寸。数字边界框可包括初始前板区域。
3D深度成像方法可以进一步包括通过集装箱自动配置app将数字边界框应用到集装箱点云，以基于初始前板区域从集装箱点云中移除前板干扰数据。
3D深度成像方法可进一步包括通过集装箱自动配置app基于装运集装箱类型生成经细化的前板区域。经细化的前板区域可定义以下项中的每一个：经细化的前板区域的(1)右边缘、(2)左边缘和(3)顶部边缘。
3D深度成像方法可进一步包括通过集装箱自动配置app，经由基于经细化的前板区域和装运集装箱类型修改数字边界框的一个或多个数字壁，来生成经调整的数字边界框。一个或多个数字壁可至少包括(1)左壁、(2)右壁、和(3)地面壁。
3D深度成像方法可进一步包括通过集装箱自动配置app生成自动配置结果，所述自动配置结果包括经调整的数字边界框，所述经调整的数字边界框至少包含集装箱点云的一部分。
本文公开的各种附图可以进一步了解本文所公开的3D深度成像系统和方法。
图1是根据本文的示例实施例的从上方看的描绘了具有3D深度相机的负载监控单元(LMU)的装载设施的预定义搜索空间的立体视图，该3D深度相机在一方向上定向以在装运集装箱装载作业段期间捕获装运集装箱的3D图像数据。如所描绘的，装运集装箱102具有“AMJ”的装运集装箱类型。通常，装运集装箱是从几种不同尺寸的集装箱中选择的。各种实施中，装运集装箱可包括任何类型的单元装载设备(ULD)例如，装运集装箱类型可为任何ULD类型，例如，包括AMJ类型、AAD类型、AKE类型、AYY类型、SAA类型、APE类型或AQF类型中的任意类型。对于ULD装运集装箱，首字母(例如，“A”指“经认证的航空集装箱”)指示ULD集装箱的特定类型，诸如经认证的、热的等；第二字母表示在尺寸方面的基础大小(例如，“M”指96×125英寸)；以及第三字母表示侧轮廓的尺寸和形状(例如，“J”指仅在一侧具有对角倾斜顶部分的立方体形ULD集装箱)。然而，更一般地，装运集装箱可为任何基于飞行器的装运集装箱。
可以基于装运集装箱的大小、尺寸或其它配置和/或装运区域所定位的区域来确定预定义搜索空间101。例如，一个实施例中，预定义搜索空间101可基于ULD类型、形状、或大体区域内的位置进行确定。如图1所示，例如，预定义搜索空间101基于装运集装箱102(装运集装箱102为AMJ类型)的大小和尺寸进行确定。一般地，预定义搜索空间101被定义为完全地(或至少部分地)包括装运集装箱或对装运集装箱成像。预定义搜索空间101还可以包括正面区域103，正面区域103一般定义预定义搜索空间101和/或装运集装箱102的前部位置。
图1附加地描绘了在预定义搜索空间101内，将包裹104和107装载到装运集装箱102中的人员或装载员105和106。在图1的实施例中，装运集装箱102正在装载作业段期间由装载员105装载包裹104和107。装载作业段包括将一组或一群组已标识的包裹装载到装运集装箱102中。装载员105和106以及包裹104和107通过在预定义搜索空间101中移动，通常会导致随着时间捕获装运集装箱102的3D图像数据的3D深度相机202(如图2所讨论的)的遮挡和干扰。
图2是根据本文的示例实施例的图1的LMU的立体视图。各种实施例中，LMU 202是可安装设备。通常，LMU 202包括(多个)相机和处理板，并被配置为捕获装载场景(例如包括预定义搜索空间101的场景)的数据。LMU 202可以运行集装箱满度估计以及其它先进分析算法。
LMU 202可以包括3D深度相机254，用于捕获、感测或扫描3D图像数据/数据集。例如，在一些实施例中，3D深度相机254可以包括红外(IR)投影仪和相关的IR相机。在此类实施例中，IR投影仪将IR光或光束的图案投射到对象或表面上，在本文的各种实施例中，该对象或表面可以包括预定义搜索空间(例如，预定义搜索空间101)的表面或区域或预定义搜索空间101内的对象，诸如箱子或包裹(例如，包裹104和107)和存储集装箱102。IR光或光束可以由IR投影仪以点状物(dot)或点(point)的图案分布在物体或表面上，该点状物或点的图案可以由IR相机感测或扫描。深度检测应用，诸如在LMU 202的一个或多个处理器或存储器上执行的深度检测应用，可以基于点状物或点的图案来确定各种深度值，例如，预定义搜索空间101的深度值。例如，可以在点状物或点密集的地方确定近深度对象(例如，附近的箱子、包裹等)，并且可以在点更分散的地方确定远深度对象(例如，远处的箱子、包裹等)。各种深度值可以由深度检测app和/或LMU 202用于生成深度图。深度图可以表示由3D深度相机254感测或扫描的对象或表面(例如，预定义搜索空间101和其中的任何对象、区域或表面)的3D图像，或包含由3D深度相机254感测或扫描的对象或表面(例如，预定义搜索空间101和其中的任何对象、区域或表面)的3D图像数据。
LMU 202可以进一步包括照片真实相机256，用于捕获、感测或扫描2D图像数据。照片真实相机256可以是基于RGB(红、绿、蓝)的相机，用于捕获具有基于RGB的像素数据的2D图像。在一些实施例中，照片真实相机256可以在与3D深度相机254相同或类似的时间点上捕获2D图像和相关的2D图像数据，使得LMU 202可以在相同时间在相同或类似的实例中具有可用于特定表面、对象或场景的一组3D图像数据和一组2D图像数据。
在本文所描述的各种实施例中，LMU 202可以是包括用于捕获3D图像(例如，3D图像数据/数据集)的3D深度相机和照片真实相机(例如，2D图像数据/数据集)的可安装设备。照片真实相机可以是用于捕获诸如图1的图像之类的2D图像的RGB(红、绿、蓝)相机。LMU202还可包括一个或多个处理器和一个或多个计算机存储器，用于存储图像数据和/或用于执行进行本文所述分析或其它功能的app。在各种实施例中，并且如图1所示，LMU 202可以安装在装载设施101内并且在预定义搜索空间101的方向上定向，以捕获装运集装箱102的3D和/或2D图像数据。例如，如图1所示，LMU 202可以定向使得LMU 202的3D和2D相机可捕获装运集装箱102的3D图像数据，例如，其中LMU 202可扫描或感测壁、地板、天花板、包裹、或预定义搜索空间101内的其它对象或表面，以确定3D和2D图像数据。图像数据可以由LMU202的一个或多个处理器和/或存储器(或在一些实施例中，服务器的一个或多个远程处理器和/或存储器)处理，以实现分析、功能，诸如图形或成像分析，如由一个或多个各种流程图、框图、方法、功能、或本文中的各种实施例所述。应当注意，LMU 202可以捕获各种装载设施或其它区域的2D和/或3D图像数据/数据集，使得本文构想了除预定义搜索空间(例如，预定义搜索空间101)之外的附加装载设施或区域(例如，仓库等)。
在一些实施例中，例如，LMU 202可以处理从3D深度相机和照片真实相机扫描或感测的3D和2D图像数据/数据集，以供其它设备(如本文进一步所描述的客户端设备700或服务器301)使用。例如，LMU 202的一个或多个处理器和/或一个或多个存储器可以捕获和/或处理从预定义搜索空间101扫描或感测的图像数据或数据集。图像数据的处理可以生成扫描后数据，该扫描后数据可以包括从原始扫描或感测的图像数据所确定的元数据、简化数据、规范化数据、结果数据、状态数据或警报数据。在一些实施例中，图像数据和/或扫描后数据可以被发送到客户端设备/客户端应用，诸如例如，可以在客户端设备700上安装和执行的仪表板app(如本文关于图7进一步所描述的)，以用于查看、操纵或以其它方式交互。在其它实施例中，图像数据和/或扫描后数据可以被发送到服务器(例如，本文进一步所描述的服务器301)以用于存储或进一步操纵。例如，图像数据和/或扫描后数据可以被发送到服务器，诸如服务器301。在此类实施例中，服务器或多个服务器可以生成扫描后数据，该扫描后数据可以包括从由LMU 202提供的原始扫描或感测的图像数据所确定的元数据、简化数据、规范化数据、结果数据、状态数据或警报数据。如本文所描述的，服务器或其它集中式处理单元和/或存储可以存储此类数据，并且还可以将图像数据和/或扫描后数据发送到在客户端设备上实现的仪表板app或其它app，诸如在图7的客户端设备700上实现的仪表板app。
LMU 202可包括安装支架252，用于在与如本文所描述的预定义搜索空间101相关联的装载设备内定向或以其它方式定位LMU 202。LMU 202可进一步包括一个或多个处理器以及一个或多个存储器，以用于如本文所描述地处理图像数据例如，LMU 202可包括用于确定、存储或以其它方式处理成像数据/数据集和/或成像后数据的闪存存储器。另外，LMU202可以进一步包括网络接口以使能与其它设备(诸如，如本文中所述的图3的服务器301)通信。LMU 202的网络接口202可以包括任何适当类型的(多个)通信接口(例如，有线和/或无线接口)，该(多个)通信接口被配置为根据任何适当的(多个)协议(例如，用于有线通信的以太网和/或用于无线通信的IEEE 802.11)来操作。
图3是表示与图1的装载设施和图2的LMU 202相关联的服务器的实施例的框图。在一些实施例中，服务器301可位于与图1的装载设施相同的设施中。在其它实施例中，服务器301可以位于远程位置处，诸如在云平台或其它远程位置上。任一实施例中，服务器301可通信耦合至3D深度相机(例如，LMU 202)。
服务器301被配置为执行计算机指令以执行与本文所描述的系统和方法相关联的操作，例如，实现由随附本说明书的附图的框图或流程图表示的示例操作。服务器301可以实现企业服务软件，该企业服务软件可以包括例如，RESTful(表述性状态转移)API服务、消息队列服务和可以由各种平台或规范(诸如由甲骨文应用服务器(Oracle WebLogic)服务器平台，JBoss平台或IBM WebSphere平台等中的任何一个实现的J2EE规范)提供的事件服务。也可以使用其它技术或平台，诸如Ruby on Rails、微软.NET或类似的技术或平台。如下文所描述的，服务器301可以被特别配置为执行由本文所描述的附图的框图或流程图表示的操作。
图3的示例服务器301包括处理器302，诸如，例如，一个或多个微处理器、控制器和/或任何适当类型的处理器。图3的示例服务器301进一步包括由处理器302可访问(例如，经由存储器控制器(未示出))的存储器(例如，易失性存储器或非易失性存储器)。示例处理器302与存储器304交互以获取例如存储在存储器304中的与例如由本公开的流程图表示的操作相对应的机器可读指令。附加地或替代地，与框图或流程图相对应的示例操作的机器可读指令可以存储在一个或多个可移动介质(例如，光盘、数字多功能盘、可移动闪存存储器等)上，或通过远程连接(诸如，互联网或基于云的连接)存储，该远程连接可以耦合到服务器301以提供对存储在其上的机器可读指令的访问。
图3的示例服务器301可以进一步包括网络接口306，以使得能够经由例如，一个或多个计算机网络(诸如局域网(LAN)或广域网(WAN)(例如，互联网))与其它机器通信。示例网络接口306可以包括任何适当类型的(多个)通信接口(例如，有线和/或无线接口)，该(多个)通信接口被配置为根据任何适当的(多个)协议(例如，用于有线通信的以太网和/或用于无线通信的IEEE 802.11)来操作。
图3的示例服务器301包括输入/输出(I/O)接口308以能够接收用户输入并将输出数据通信给用户，该接口可以包括例如任意数量的键盘、鼠标、USB驱动器、光驱、屏幕、触摸屏等。
图4是根据本文的示例实施例的用于动态集装箱自动配置的3D深度成像算法400的流程图。算法400描述用于如本文中所述的集装箱自动配置的各种方法。下面结合图5A至图5D和图6A至图6H讨论用于图4的动态集装箱自动配置的3D深度成像算法400的实施例。图5A至图5D示出了关于根据图4并根据本文的示例实施例而生成的初始预配置文件的3D和2D图像的示例实施例。图6A至图6H示出了关于用于根据图4并根据本文的示例实施例而生成自动配置结果的动态集装箱自动配置的3D和2D图像的示例实施例。
通常地，图4的3D深度成像算法400包括两个总体阶段。首先，在预配置例程(例如LMU安装时)期间获取初始装运集装箱(例如ULD)位置，其用于初始化或预配置成像分析。接下来，例如针对于各种类型的ULD，装运集装箱(例如，ULD)前板或区域分割算法使用该预配置来减少搜索空间并寻找准确的装运集装箱位置。在一些实施例中，3D深度成像算法400可在LMU 202的一个或多个处理器上执行。在其它实施例中，3D深度成像算法400可在服务器301的一个或多个处理器中执行。例如，一个或多个处理器可位于服务器(例如，服务器301)处并可经由数字网络通信地耦合至3D深度相机。又进一步，3D深度成像算法400可以以客户机-服务器格式在LMU 202和服务器301上执行，其中3D深度成像算法400的第一部分在LMU202上操作，并且3D深度成像算法400的第二部分在服务器301上操作。
3D深度成像算法400可作为集装箱自动配置应用(app)的一部分被执行。集装箱自动配置app可以是以编程语言(例如Java、C#、Ruby等)实现的软件，并经编译以在LMU 202和/或服务器301的一个或多个处理器上执行。例如，在一个实施例中，集装箱自动配置app可包括执行“while(在……时)”循环以在从3D深度相机接收到3D图像数据时执行算法400的一个或多个部分。在这样的实施例中，3D图像数据的接收将导致将触发“while”循环以执行算法400的一个或多个部分的“真(true)”条件或状态。在又进一步的实施例中，集装箱自动配置app可包括一个或多个事件监听器，诸如在集装箱自动配置app内编程的监听器功能，其中，当3D深度相机捕获3D图像数据时，监听器功能将从3D深度相机接收3D图像数据作为参数。以该方式，3D深度相机将“推送”3D图像数据至监听器功能，该监听器功能将使用如本文中所述的3D图像数据执行算法400。
参考图4，在框410处，3D深度成像算法400利用被配置为捕获3D图像数据的3D深度相机(例如，LMU 202的3D深度相机254)。在各种实施例中，3D图像数据为3D点云数据。另外，可以周期性地捕获3D图像数据，诸如每30秒、每分钟或每两分钟捕获一次，但是本文也构想其他各种速率(例如，其他帧速率)和定时。
(例如，LMU 202的)3D深度相机通常在一方向上定向以在装运集装箱装载作业段或装载过程期间捕获位于预定义搜索空间(例如，预定义搜索空间101)中的装运集装箱(例如，装运集装箱102)的3D图像数据。装运集装箱可具有特定装运集装箱类型(诸如如对于图1的装运集装箱102所示出的类型“AMJ”)或者如本文所述的或以其他方式指定为ULD集装箱类型的任何其他类型。
作为集装箱自动配置app的一部分，在LMU 202和/或服务器301的(多个)处理器上执行的3D深度成像算法400可以被配置为接收3D图像数据并且基于3D图像数据确定表示装运集装箱102的集装箱点云。图6A描绘表示由LMU 202的3D图像相机254捕获的装运集装箱102的3D图像数据的示例实施例。如由图6A所示，3D图像数据包括点云数据602，其中点云数据可以以不同的颜色渲染以表示点云内的不同的深度或距离。例如，图6A的实施例中，绿色表示更接近3深度相机254的数据，并且蓝色表示进一步远离3D深度相机254的数据。
在框412处，集装箱自动配置app被配置为在一个或多个处理器(例如，LMU 202或服务器301的一个或多个处理器)上执行，以加载与预定义搜索空间101和/或装运集装箱(例如，装运集装箱102)对应的初始预配置文件。通常，使用大的装运集装箱(诸如大ULD类型)，使得大ULD的大空间可用于对其他大ULD成像，或者在替代方案中缩小以容纳本文进一步描述的较小ULD以及对本文进一步描述的较小ULD进行成像。例如，成像装运集装箱可基于最大的ULD类型，例如AMJ。此外，作为预配置例程(框402至框408)的一部分，3D深度成像算法400可在可控安装环境中定位空的且形状一致的集装箱(例如，通常为ULD类型的集装箱(诸如AAD和/或AMJ)，但其他类型也奏效)，而不受任何装载器/包裹干扰。获取的初始ULD配置被保存为初始预配置文件(即，作为预定义搜索空间101和/或装运集装箱102的“先验知识”)，并且如本文所述那样加载和使用。
例如，图5D描绘了初始预配置文件(且特别是预配置文件516的图形表示)的示例实施例。如由图5D所示，预配置文件516可定义数字边界框518，所述数字边界框518具有表示预定义搜索空间(例如预定义搜索空间101)的尺寸。通常，如由图4(框402-408)所示那样，在LMU安装期间仅生成预配置文件一次。即，当装运集装箱(例如，装运集装箱102)最初位于/定位在预定义搜索空间101中时，或者当LMU安装在预定义搜索空间101中时，可生成相对应的预配置文件，并将该相对应的预配置文件重复用于如本文所述的各种装载作业段(例如，跨越许多装载作业段和用于各种装运集装箱类型)。各种实施例中，初始预配置文件通常在装运集装箱装载作业段之前生成。
图4的实施例中，在框402处，将LMU(例如，LMU 202)调整到用于捕获3D图像数据/集装箱点云数据的位置。图5A描绘了为生成预配置文件而捕获的被渲染为点云数据504的3D图像数据的示例实施例。
在框404处，执行2.5D模板匹配，其中预定义搜索空间101(具有装运集装箱102)的2D视图506与预定义搜索空间101(具有装运集装箱102)的立体视图510相匹配或以其他方式组合。一些实施例中，2D视图506可以包括从3D点云数据504转换的2.5D图像。如所描绘的，2D视图506包括点云数据的不同区域的尺寸和大小分析和视图，包括例如壁、开口或2D视图506的其他区域的尺寸和形状、及初始前板区域509的尺寸和形状。前板区域509可对应于图1的正面区域103。立体视图510包括围绕点云数据514绘制和生成的初始边界框部分512。点云数据514可以是点云数据504(的诸如一部分或子集)的表示。
在框404处，2D视图506和立体视图510中的每一个(包括来自每一个的数据、信息以及其他特征)被组合输出为预配置文件516。配置文件516由图5D图形地表示，并且具有边界框518，边界框518通过图形地缩小或以其他方式重新定位(例如，通过LMU 202或服务器301的(多个)处理器)初始边界框部分512以包围点云数据524而从初始边界框部分512生成。点云数据524可以是点云数据514(的诸如点云数据504的一部分或子集)的表示。
在框408处，保存预配置文件516以供在如本文所述的框412处加载和使用。预配置文件包括表示预定义搜索空间101的边界框518。。
在框412处，集装箱自动配置app加载与预定义搜索空间101对应的初始预配置文件。集装箱自动配置app使用预配置文件作为辅助信息，用于减少当前或目标装运集装箱(例如，装运集装箱102)的新捕获的3D图像数据的定位搜索空间(即预定义搜索空间101)。将边界框518应用于在框410处捕获的新的3D图像数据，以生成当前或目标装运集装箱(例如，装运集装箱102)的点云表示、以及在当前或目标装运集装箱装载作业段期间所装载的其内容物(例如，包裹107)。目标装运集装箱通常定位于相同或基本相似的区域或空间(例如，预定义搜索空间101)中，使得针对目标装运集装箱捕获的3D图像数据与在如本文所述的预配置和预配置文件的生成期间针对初始化集装箱捕获的3D图像数据相同或基本相似(框402-408)。以该方式，边界框518将目标装运集装箱的3D图像数据的位置准确地映射到边界框518的尺寸上。例如，边界框518可以用于设置表示目标装运集装箱(例如，装运集装箱102)的3D图像内的地面(地面壁)或其他壁的位置。
图6B描绘包括由边界壁614限制边界的点云数据612的3D图像610的示例实施例。边界框614包括壁，包括地面壁616。3D图像610表示边界框518的实施例(如由边界框614表示)，边界框518被应用至如由3D深度相机254捕获到的点云数据602(如由边界框614表示)。地面壁616或地面壁616的至少一部分(诸如前部部分)可以表示数字边界框614的初始前板区域。这样的初始前板区域可以对应于例如如本文所述的图5B的初始前板区域509。如所示，3D图像610表示新的3D图像数据的初始匹配，该新的3D图像数据是针对目标装运集装箱(例如装运集装箱102)捕获的，且由如在预配置例程和预配置文件的生成期间(框402-408)所确定的边界框616限制边界。
在框414和416处，集装箱自动配置app根据所捕获的3D图像数据确定目标装运集装箱(例如装运集装箱102)的区域、壁以及其他属性。若目标装运集装箱(例如，装运集装箱102)属于需要边界框拆分的类型，则由集装箱自动配置app实现的算法400将前进至框414。否则，算法400前进至框416。
在框414处，集装箱自动配置app确定目标装运集装箱(例如，装运集装箱102)属于需要边界框拆分的类型。需要边界框拆分的装运集装箱类型通常为小集装箱(例如AKE、APE和AYY)。然而，其他集装箱类型也可能需要边界框拆分，诸如具有弯曲形状或异常形状的集装箱类型。在任何情况下，经拆分的边界框允许多个边界框，所述多个边界框可一起装入或更好地表示较小的、弯曲的或异常的集装箱的体积，所述集装箱具有较小的或异常的集装箱形状。图6D描绘具有两个独立区域(即，第一边界框区域部分642和第二边界框区域部分644)的3D图像640的示例实施例。第一边界框区域部分642和第二边界框区域部分644中的每一个叠加在点云数据612和边界框614的顶部，或以其他方式应用于点云数据612和边界框614，如本文关于图6B所述。如由图6D所示，在由集装箱自动配置app拆分时，数字边界框614将定义经拆分尺度集装箱，其中经拆分尺度集装箱包括第一边界框区域部分642以及第二边界框区域部分644。如所示，第一边界框区域部分可以至少部分地与第二边界框区域部分重叠，如所示。在公开的实施例中，第一边界框区域部分在左侧上，并且第二边界框区域在右侧，然而，关于第一取向和第二取向的取向可反转。这样，对于较小的或尺寸异常的集装箱，自动配置app将先前的边界框(例如，边界框614)拆分为具有部分重叠的两个独立区域(例如，左区域和右区域)。经拆分的集装箱/边界框的壁、区域和/或尺寸以与本文所述相同或类似的方式确定。
在框416处，集装箱自动配置app确定点云分割，这包括确定当前装载作业段的目标装运集装箱(例如，装运集装箱102)的壁、区域和/或尺寸。具体而言，在框416处，集装箱自动配置app识别3D图像数据内的数字边界框的初始前板区域。初始前板区域为针对数字边界框定义的特定区域。图6C描绘了具有两个独立区域(即，第一边界框区域部分632和第二边界框区域部分634)的3D图像630的示例实施例。第一边界框区域部分632和第二边界框区域部分634中的每一个叠加在点云数据612和边界框614的顶部，或以其他方式应用于点云数据612和边界框614，如本文关于图6C所述。集装箱自动配置app搜索3D图像630并且定位初始前板区域616，当前实施例中，初始前板区域616位于第二边界框区域部分634中。如本文中所述，初始前板区域616用作3D图像630内的起点，以确定3D图像内的目标集装箱的其他特征或属性，诸如目标集装箱(例如，装运集装箱102)的壁(例如，右壁、左壁、地面壁)、区域、表面。因此，如本文所述，基于如预配置期间最初获取的边界框和初始前板区域616(例如，在LMU 202安装期间获取)，如由集装箱自动配置app实现的算法400分割和/或识别目标集装箱的前板，然后是其左壁、右壁、地面壁/边界。
在框418处，集装箱自动配置app执行集装箱前板异常值移除，以消除装载器和包裹干扰。例如，在正常装载操作期间，包裹和装载器可能靠近ULD门，这可能对3D数据捕获造成干扰。作为算法400的一部分，自动配置app执行异常值移除例程，从而移除干扰数据。图6E描绘了包括初始前板区域654和集装箱点云652(例如，点云数据)的3D图像650的示例实施例。集装箱点云652对应于如本文中针对图6B和图6C描述的点云数据612。初始前板区域654对应于如分别针对图5B和图6B描述的初始前板区域509和/或初始前板区域616。相应地，初始前板区域654为3D图像650的边界框(例如，边界框518或614)的一部分。集装箱自动配置app被配置为将数字边界框应用于3D图像650的集装箱点云652，以基于初始前板区域654来从集装箱点云中移除前板干扰点云数据。前板干扰数据可包括定义定位在目标装运集装箱前部的装载器(例如装载器105)或包裹(例如104)的点云数据。然而，一般来说，这可以是任何阻碍前板区域的东西。在框418处，集装箱自动配置app执行以从经成像的装运集装箱(例如装运集装箱102)内部的视角移除或删除初始前板区域654外部的位置处的全部点云数据。例如，点云数据通常被表示于具有x、y和z坐标的3D空间中。在一些实施例中，从经成像的目标装运集装箱(例如，装运集装箱102)内部的视角来看，具有落在初始前板区域654外部的x、y和/或z坐标的点将从3D图像650中移除或删除。对前板干扰数据的移除会更准确地定义预定义搜索空间101内的目标装运集装箱(例如，装运集装箱102)，并且允许3D图像以3D数据形式或格式出现作为现实生活中的目标装运集装箱(包括其内容物)，而不会有任何阻碍目标装运集装箱的干扰或者障碍物。
在框420处，集装箱自动配置app执行前板分析，以确定经细化的前板区域的左边缘、右边缘和顶部边缘。一个实施例中，例如，集装箱自动配置app基于装运集装箱类型生成经细化的前板区域。经细化的前板区域可以定义以下项中的每一个：如基于装运集装箱类型的尺寸确定的经细化的前板区域的(1)右边缘、(2)左边缘和(3)顶部边缘。例如，集装箱自动配置app可收缩或匹配右边缘、左边缘和/或顶部边缘，以将这些边缘的位置对准在点云数据内，以便表示装运集装箱类型。由集装箱自动配置app使用经细化的前板区域改进目标装运集装箱在3D图像内的准确度、定尺寸或配合，如本文进一步描述的。
在框422处，集装箱自动配置app可执行左壁、右壁、和地面壁回归。由于不同类型/形状的集装箱具有不同的前部形状(例如矩形、多边形、曲线)，因此前面板分割算法分析前板，并且可从外部收缩(回归)到内部，以在顶部、左侧和右侧找到集装箱边界(例如，ULD边界)。在一个实施例中，例如，集装箱自动配置app可进一步被配置为通过基于经细化的前板区域(如关于框420确定的)和装运集装箱类型(例如，装运集装箱102的装运集装箱类型)修改原始数字边界框(例如边界框614)的一个或多个图形(数字)壁，生成经调整的数字边界框。
图6D描绘包括集装箱点云662(例如点云数据)的3D图像660的示例实施例。这里，点云数据662对应于图6E的集装箱点云652和如图6B、6C、和6D所述的点云数据612。3D图像660还包括如上文中关于框420所述的3D图像内的目标装运集装箱663。3D图像660进一步包括各种图形/数字壁。一个或多个数字壁可至少包括(1)左壁664、(2)右壁666、和(3)地面壁668。对一个或多个数字壁的修改可包括回归(诸如数字收缩或调整)，数字壁在3D图像内从外向内地定位，以便使数字壁更紧密地结合在一起，从而用图形壁限制或包围被捕获的3D图像数据(例如，集装箱点云数据)的体积或空间。即，修改一个或多个数字壁(664-669)(一个或多个数字壁(664-669)可包括边界框的数字壁)可以包括集装箱自动配置app将一个或多个数字壁的位置从数字边界框的一个或多个外部位置收缩到数字边界框的一个或多个相应内部位置。壁可以被生长/拉伸或以其他方式被调整。以该方式，数字边界框的原始位置可以被调整以配合3D图像内的目标装运集装箱663。
在一些实施例中，目标装运集装箱(例如装运集装箱102)的地面壁(例如，底板)可由集装箱自动配置app基于LMU 202相对于装运集装箱102的位置在3D图像660内定位或确定。例如，在一个实施例中，地面壁668可以基于假设地面壁668具有距LMU 202或其他此类可安装设备的前部的已知的相对位置来在3D图像660内修改。相对位置可以是LMU 202相对于装运集装箱102之间的距离或者其他测量。在一些实施例中，例如，已知相对位置可以是垂直位置，其中LMU 202被安装在与装运集装箱垂直的位置处。因此，地面壁668可以基于此先验假设定位在3D图像内，在所述先验假设中，地面壁位置是基于在预配置阶段期间所确定的信息(例如，到地面的距离)的已知因素。
在框424处，集装箱自动配置app可执行前面板完整度分析。这可以包括例如确定是否已在3D图像内确定目标装运集装箱的前面板或壁。例如，关于图6D，自动配置app可基于目标装运集装箱663的经细化的前板区域662的位置来检测目标装运集装箱663的前面板。经细化的前板区域662可以对应于图6E的初始前板区域654，但其中经细化的前板区域662可在修改数字壁(如上所讨论的)期间已经被调整，以生成经细化的前板区域662。基于初始前板区域654和/或与前板区域654相关联的(多个)壁的重新定位或大小调整，经细化的前板区域662可不同于初始前板区域654。
在附加的实施例中，可基于已知ULD类型和尺寸以及检测到的前面板推断装运集装箱(例如装运集装箱102)的后壁。例如，在实施例中，3D图像660的目标集装箱的一个或多个数字壁还可包括后壁669。后壁669可基于装运集装箱类型来在3D图像660内推断或确定。例如，基于装运集装箱类型(例如，AKE)的已知大小和/或尺寸，可以通过将后壁放置在3D图像660内的相对距离处来确定后壁的位置，该相对距离与后壁在现实生活中对于相同集装箱类型将具有的相对距离相同。一些实施例中，基于经细化的前板区域推断后壁，其中后壁的相对距离被确定成从经细化的前板区域662的位置开始到3D图像660内的目标装运集装箱663的背部。
在框426处，集装箱自动配置app输出配置结果，该配置结果包括具有准确位置(边界框)配置的3D图像并包括目标装运集装箱(例如装运集装箱102)的内容物(例如，包裹107)的3D数字表示。即，集装箱自动配置app被配置为生成自动配置结果，该自动配置结果包括包含集装箱点云的至少一部分在内的经调整的数字边界框。例如，图6G描绘了3D图像670的示例实施例，3D图像670包括具有点云数据674的经调整的数字边界框672和具有点云数据678的数字边界框676。图6G的实施例是需要如针对框414所述的边界框拆分的示例自动配置结果。因此，生成多个(在本情形下为两个)边界框672和676，每个边界框分别具有它们各自的点云数据674和678。每个边界框672和676包括分别由点云数据674和678表示的最初捕获到的集装箱点云信息的至少一部分。点云数据674和点云数据678各自包括(多个)目标装运集装箱(例如，装运集装箱102)的内容物(例如，包裹107)、位置和尺寸的3D表示。
类似地，图6H描绘了包括具有点云数据684的经调整的数字边界框682的3D图像680的示例实施例。图6H的实施例是不包括边界框拆分的示例自动配置结果。边界框682包括由点云数据684表示的最初捕获到的集装箱点云信息的至少一部分。点云数据684是(多个)目标装运集装箱(例如，装运集装箱102)的内容物(例如，包裹107)、位置和尺寸的3D表示。
一些实施例中，如由集装箱自动配置app所输出的自动配置结果是数字文件，所述数字文件被输出并且可以由管理者和/或装载器使用以加载、分析或管理正在被装载到如本文所述的集装箱中的包裹的细节。
图7示出了显示描绘如根据图4并且根据本文的示例实施例生成的自动配置结果706的引导用户界面(GUI)702的客户端设备700。在一些实施例中，GUI 702可以由在客户端设备700上安装和执行的仪表板app来渲染。仪表板app还可显示各种度量(未示出)。
在各种实施例中，可以在客户端设备700上接收图像数据/数据集和/或扫描后数据。如本文所描述的，客户端设备700可以实现仪表板应用以接收图像数据和/或扫描后数据并例如，以图形或其他格式向管理者或装载器显示此类数据，以促进包裹(例如，104-107等)的卸载或装载。在一些实施例中，仪表板app可以植入为Zebra Technologies Corps(斑马技术公司)的SmartPackTM集装箱装载分析(CLA)解决方案的一部分。仪表板app可安装在装载和装运设施(例如如由图1所描绘的装载设置)中操作的客户端设备(诸如客户端设备700)上。仪表板app可以经由诸如Java J2EE(例如，Java Server Faces(Java服务器面))或Ruby on Rails的web平台来实现。在此类实施例中，web平台可以经由生成动态网页(例如，使用HTML、CSS、JavaScript)或经由面向客户端的移动app(例如，经由用于基于谷歌安卓的Java的app或用于基于苹果iOS的Objective-C/Swift的app)来生成或更新仪表板app的用户界面，其中用户界面经由客户端设备(例如，客户端设备700)上的仪表板app显示。
在一些实施例中，仪表板应用可以接收图像数据/数据集和/或扫描后数据并实时显示此类数据。客户端设备700可以是移动设备，诸如平板电脑、智能手机、膝上型计算机或其他此类移动计算设备。客户端设备700可以实现用于执行仪表板(或其他)app或功能的操作系统或平台，包括，例如，苹果iOS平台、谷歌安卓平台和/或微软视窗(Windows)平台中的任何一种。客户端设备700可以包括实现仪表板app或用于提供其他类似功能的一个或多个处理器和/或一个或多个存储器。客户端设备700还可以包括有线或无线收发器，用于接收如本文所描述的图像数据和/或扫描后数据。此类有线或无线收发器可以实现一个或多个通信协议标准，包括，例如，TCP/IP、WiFi(802.11b)、蓝牙或任何其他类似的通信协议或标准。
在图7的实施例中，客户端设备700示出了具有如针对图1所描绘的目标集装箱的预定义搜索空间(例如，具有装运集装箱102的预定义搜索空间101)的GUI屏幕以及针对目标集装箱生成的自动配置结果706，作为关于图4所描述的算法400的结果。
一般而言，如本领域技术人员从本公开内容所理解的，某些益处来自本文所述的技术和特征。在本文中描述的3D深度成像系统和方法提供了一种定位技术，用于获取初始定位配置(例如，预配置文件)作为用于进一步动态自动配置目的的预例程信息。另外，本文中描述的3D深度成像系统和方法允许基于预例程信息分割目标集装箱的前板、左边界以及右边界。这通常针对大ULD来执行，以为相同大小或更小的装运集装箱提供空间和定位。
本文描述的3D深度成像系统和方法提供了一种异常值移除技术，作为算法400的一部分，该技术减少装载器和包裹干扰。另外，本文中描述的3D深度成像系统和方法包括用于基于从外到内的方法检测前板的顶部边缘、左侧边缘以及右侧边缘的独特技术，该方法对于各种类型/形状的集装箱是稳健的。进一步地，本文中描述的3D深度成像系统和方法提供了用于将先前的边界框拆分为部分重叠的两个边界框的技术，用于在拆分的尺度上自动配置小的集装箱。另外，本文中描述的3D深度成像系统和方法提供基于前板的分析结果以及已知的装运集装箱类型和尺寸推断目标集装箱的其他壁(例如，左壁、右壁和地面壁)的技术。
在上述说明书中，已经描述了具体实施例。然而，本领域普通技术人员理解，可以做出各种修改和改变而不脱离如以下权利要求书所阐述的本发明的范围。因此，说明书和附图被认为是说明性的而非限制性的意义，并且所有此类修改都旨在被包括在本教导的范围内。
这些益处、优势、问题解决方案以及可能使任何益处、优势或解决方案发生或变得更为突出的任何(多个)要素不被解释成任何或所有权利要求的关键的、必需的或必要的特征或要素。本发明仅由所附权利要求书限定，包括在本申请处于待审状态期间做出的任何修改以及授权公告的这些权利要求的所有等效物。
此外，在该文档中，诸如第一和第二、顶部和底部等之类的关系术语可以单独地用来将一个实体或动作与另一个实体或动作区别开，而不一定要求或暗示这些实体或动作之间具有任何实际的这种关系或顺序。术语“包括”、“包括有”、“具有”、“具备”、“包含”、“包含有”、“涵盖”、“涵盖有”或它们的任何其他变型旨在覆盖非排他性包括，使得包括、具有、包含、涵盖一要素列表的过程、方法、物品或装置不仅包括那些要素还可包括未明确列出的或对此类过程、方法、物品或装置固有的其他要素。以“包括一”、“具有一”、“包含一”、“涵盖一”开头的要素，在没有更多约束条件的情形下，不排除在包括、具有、包含、涵盖该要素的过程、方法、物品或装置中有另外的相同要素存在。术语“一”和“一个”被定义为一个或更多个，除非本文中另有明确声明。术语“基本”、“大致”、“近似”、“约”或这些术语的任何其他版本被定义为如本领域技术人员理解的那样接近，并且在一个非限制性实施例中，这些术语被定义为在10％以内，在另一实施例中在5％以内，在另一实施例中在1％以内，而在另一实施例中在0.5％以内。本文中使用的术语“耦合的”被定义为连接的，尽管不一定是直接连接的也不一定是机械连接的。以某种方式“配置”的设备或结构至少以该种方式进行配置，但也可以以未列出的方式进行配置。
将会理解，一些实施例可以包括一个或多个通用或专用处理器(或“处理设备”)，诸如微处理器、数字信号处理器、定制的处理器和现场可编程门阵列(FPGA)以及唯一存储的程序指令(包括软件和固件两者)，该唯一存储的程序指令控制一个或多个处理器连同某些非处理器电路实现本文所描述的方法和/或装置的一些、多数或全部功能。替代地，一些或全部功能可以由不具有存储的程序指令的状态机来实现，或者在一个或多个专用集成电路(ASIC)中实现，其中，每种功能或所述功能中的某些功能的一些组合被实现为定制逻辑。当然，也可以使用这两种方法的组合。
此外，实施例可以实现为计算机可读存储介质，该计算机可读存储介质具有存储在其上的计算机可读代码，用于对(例如，包括处理器的)计算机编程以执行如本文所描述和要求保护的方法。这种计算机可读存储介质的示例包括但不限于硬盘、CD-ROM、光存储器件、磁存储器件、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)，以及闪存。此外，预期本领域普通技术人员虽然做出由例如，可用时间、当前技术和经济考虑促动的可能显著的努力以及许多设计选择，但在得到本文所公开的概念和原理指导时，将容易地能以最少的试验产生此类软件指令和程序以及IC。
本公开的摘要被提供以允许读者快速地确定本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求书的范围或含义。另外，在上述具体实施方式中，可以看出出于使本公开整体化的目的，各种特征在各种实施例中被编组到一起。这种公开方法不应被解释为反映要求保护的实施例与各项权利要求中明确记载的相比需要更多的特征的意图。相反，如以下权利要求所反映，发明主题在于少于单个公开的实施例的全部特征。因此，以下权利要求由此被结合到具体实施方式中，其中各个权利要求作为单独要求保护的主题代表其自身。

Claims (20)

1.一种用于动态集装箱自动配置的三维(3D)深度成像系统，所述3D深度成像系统包括：
3D深度相机，被配置为捕获3D图像数据，所述3D深度相机在一方向上定向以在装运集装箱装载作业段期间捕获位于预定义搜索空间中的装运集装箱的3D图像数据，所述装运集装箱具有装运集装箱类型；以及
集装箱自动配置应用(app)，所述集装箱自动配置应用(app)被配置为在一个或多个处理器上执行并且接收所述3D图像数据，所述集装箱自动配置app被配置为基于所述3D图像数据来确定表示所述装运集装箱的集装箱点云，
其中，所述集装箱自动配置app进一步被配置为在所述一个或多个处理器上执行以：
(a)加载与所述预定义搜索空间相对应的初始预配置文件，所述初始预配置文件定义具有代表所述预定义搜索空间的尺寸的数字边界框，并且所述数字边界框具有初始前板区域，
(b)将所述数字边界框应用到所述集装箱点云，以基于所述初始前板区域从所述集装箱点云中移除前板干扰数据，
(c)基于所述装运集装箱类型生成经细化的前板区域，所述经细化的前板区域定义所述经细化的前板区域的(1)右边缘、(2)左边缘和(3)顶部边缘中的每一个，
(d)通过基于所述经细化的前板区域和所述装运集装箱类型修改所述数字边界框的一个或多个数字壁，来生成经调整的数字边界框，所述一个或多个数字壁至少包括(1)左壁、(2)右壁和(3)地面壁，并且
(e)生成自动配置结果，所述自动配置结果包括包含所述集装箱点云的至少一部分在内的所述经调整的数字边界框。
2.如权利要求1所述的3D深度成像系统，其特征在于，所述3D深度相机和所述一个或多个处理器容纳在可安装设备中。
3.如权利要求2所述的3D深度成像系统，其特征在于，所述地面壁基于所述地面壁相对于所述可安装设备的前部具有已知相对位置的假设来修改。
4.如权利要求3所述的3D深度成像系统，其特征在于，所述已知相对位置是垂直位置。
5.如权利要求1所述的3D深度成像系统，其特征在于，所述一个或多个处理器位于经由数字网络通信地耦合到所述3D深度相机的服务器处。
6.如权利要求1所述的3D深度系统，其特征在于，所述装运集装箱是基于飞行器的装运集装箱。
7.如权利要求1所述的3D深度成像系统，其特征在于，所述装运集装箱是单元装载设备(ULD)。
8.如权利要求7所述的3D深度成像系统，其特征在于，所述装运集装箱类型是以下ULD类型中的一个：AMJ类型、AAD类型、AKE类型、AYY类型、SAA类型、APE类型或AQF类型。
9.如权利要求7所述的3D深度成像系统，其特征在于，所述预定义搜索空间基于至少一个ULD类型来确定。
10.如权利要求1所述的3D深度成像系统，其特征在于，装运集装箱从若干不同尺寸的集装箱中选择。
11.如权利要求1所述的3D深度成像系统，其特征在于，所述前板干扰数据是定义装载器或包裹的点云数据。
12.如权利要求1所述的3D深度成像系统，其特征在于，在所述装运集装箱作业段之前生成所述初始预配置文件。
13.如权利要求1所述的3D深度成像系统，其特征在于，修改所述一个或多个数字壁包括将所述一个或多个数字壁的位置从所述数字边界框的一个或多个外部位置收缩到所述数字边界框的一个或多个相应内部位置。
14.如权利要求1所述的3D深度成像系统，其特征在于，所述一个或多个数字壁进一步包括后壁，并且其中所述后壁基于所述装运集装箱类型来推断。
15.如权利要求1所述的3D深度成像系统，其特征在于，所述数字边界框定义经拆分尺度集装箱，其中所述经拆分尺度集装箱被拆分成第一边界框区域部分和第二边界框区域部分，并且其中所述第一边界框区域部分至少部分地与所述第二边界框区域部分重叠。
16.如权利要求1所述的3D深度成像系统，进一步包括仪表板app，所述仪表板app在实现GUI的客户端设备上执行，所述GUI图形地指示所述自动配置结果。
17.如权利要求1所述的3D深度成像系统，其特征在于，所述3D图像数据是3D点云数据。
18.如权利要求1所述的3D深度成像系统，其特征在于，所述3D图像数据周期性地被捕获。
19.如权利要求17所述的3D深度成像系统，其特征在于，所述3D图像数据以如下各者中的任一者被捕获：每30秒、每分钟、或者每两分钟。
20.一种用于动态集装箱自动配置的三维(3D)深度成像方法，所述3D深度成像方法包括：
通过3D深度相机在装运集装箱装载作业段期间捕获位于预定义搜索空间中的装运集装箱的3D图像数据，所述装运集装箱具有装运集装箱类型；
通过在一个或多个处理器上执行的集装箱自动配置应用(app)接收所述3D图像数据；
由所述集装箱自动配置app基于所述3D图像数据确定表示所述装运集装箱的集装箱点云；
由所述集装箱自动配置app加载与所述预定义搜索空间相对应的初始预配置文件，所述初始预配置文件定义具有代表所述预定义搜索空间的尺寸的数字边界框，并且所述数字边界框具有初始前板区域；
由所述集装箱自动配置app将所述数字边界箱应用到所述集装箱点云，以基于所述初始前板区域从所述集装箱点云中移除前板干扰数据；
由所述集装箱自动配置app基于所述装运集装箱类型生成经细化的前板区域，所述经细化的前板区域定义所述经细化的前板区域的(1)右边缘、(2)左边缘和(3)顶部边缘中的每一个；
由所述集装箱自动配置app通过基于所述经细化的前板区域和所述装运集装箱类型修改所述数字边界框的一个或多个数字壁，来生成经调整的数字边界框，所述一个或多个数字壁至少包括(1)左壁、(2)右壁和(3)地面壁，以及
由所述集装箱自动配置app生成自动配置结果，所述自动配置结果包括包含所述集装箱点云的至少一部分在内的所述经调整的数字边界框。
CN202080048613.6A 2019-07-11 2020-07-10 用于动态集装箱自动配置的三维(3d)深度成像系统和方法 Active CN114126987B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/509,228 US11010915B2 (en) 2019-07-11 2019-07-11 Three-dimensional (3D) depth imaging systems and methods for dynamic container auto-configuration
US16/509,228 2019-07-11
PCT/US2020/041648 WO2021007537A1 (en) 2019-07-11 2020-07-10 Three-dimensional (3d) depth imaging systems and methods for dynamic container auto-configuration

Publications (2)

Publication Number Publication Date
CN114126987A true CN114126987A (zh) 2022-03-01
CN114126987B CN114126987B (zh) 2023-01-24

Family

ID=74103190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080048613.6A Active CN114126987B (zh) 2019-07-11 2020-07-10 用于动态集装箱自动配置的三维(3d)深度成像系统和方法

Country Status (5)

Country Link
US (1) US11010915B2 (zh)
CN (1) CN114126987B (zh)
DE (1) DE112020003332B4 (zh)
GB (1) GB2601916B (zh)
WO (1) WO2021007537A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240037751A1 (en) * 2019-07-11 2024-02-01 Zebra Technologies Corporation Three-dimensional (3d) depth imaging systems and methods for dynamic container auto-configuration
US11430129B2 (en) * 2020-01-27 2022-08-30 Zebra Technologies Corporation Methods for unit load device (ULD) localization
US11275964B2 (en) * 2020-03-27 2022-03-15 Zebra Technologies Corporation Methods for determining unit load device (ULD) container type using template matching
US11568352B2 (en) * 2020-11-10 2023-01-31 Mehwish Aziz Immersive packaging system and method
CN116399401B (zh) * 2023-04-14 2024-02-09 浙江年年发农业开发有限公司 一种基于人工智能的农业种植系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101911103A (zh) * 2007-11-08 2010-12-08 安东尼奥斯·艾卡特里尼迪斯 用于运输用集装箱的独立的检查的设备和方法
US20160239795A1 (en) * 2015-02-18 2016-08-18 Fedex Corporate Services, Inc. Apparatus, non-transient computer readable media, and methods for automatically quantifying space within a logistics container using a scanning sensor node disposed within the container
US20170178333A1 (en) * 2015-12-22 2017-06-22 Symbol Technologies, Llc Methods and systems for occlusion detection and data correction for container-fullness estimation
US20170302905A1 (en) * 2016-04-13 2017-10-19 Sick Inc. Method and system for measuring dimensions of a target object
US20180174325A1 (en) * 2016-12-20 2018-06-21 Symbol Technologies, Llc Methods, Systems and Apparatus for Segmenting Objects
CN108897246A (zh) * 2018-08-17 2018-11-27 西门子工厂自动化工程有限公司 堆箱控制的方法、装置、系统及介质
CN109564174A (zh) * 2016-06-13 2019-04-02 决策科学国际公司 用于在港口处对货物集装箱的有效处理和扫描的检查扫描仪的集成
US20190197719A1 (en) * 2017-12-22 2019-06-27 Symbol Technologies, Llc Container use estimation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600892B2 (en) * 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
PL426752A1 (pl) 2015-11-18 2019-03-25 Symbol Technologies, Llc Sposoby i układy do szacowania napełnienia pojemnika
US10721451B2 (en) 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US10424065B2 (en) * 2016-06-10 2019-09-24 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for performing three-dimensional semantic parsing of indoor spaces

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101911103A (zh) * 2007-11-08 2010-12-08 安东尼奥斯·艾卡特里尼迪斯 用于运输用集装箱的独立的检查的设备和方法
US20160239795A1 (en) * 2015-02-18 2016-08-18 Fedex Corporate Services, Inc. Apparatus, non-transient computer readable media, and methods for automatically quantifying space within a logistics container using a scanning sensor node disposed within the container
US20170178333A1 (en) * 2015-12-22 2017-06-22 Symbol Technologies, Llc Methods and systems for occlusion detection and data correction for container-fullness estimation
US20170302905A1 (en) * 2016-04-13 2017-10-19 Sick Inc. Method and system for measuring dimensions of a target object
CN109564174A (zh) * 2016-06-13 2019-04-02 决策科学国际公司 用于在港口处对货物集装箱的有效处理和扫描的检查扫描仪的集成
US20180174325A1 (en) * 2016-12-20 2018-06-21 Symbol Technologies, Llc Methods, Systems and Apparatus for Segmenting Objects
US20190197719A1 (en) * 2017-12-22 2019-06-27 Symbol Technologies, Llc Container use estimation
CN108897246A (zh) * 2018-08-17 2018-11-27 西门子工厂自动化工程有限公司 堆箱控制的方法、装置、系统及介质

Also Published As

Publication number Publication date
GB202200049D0 (en) 2022-02-16
WO2021007537A1 (en) 2021-01-14
US11010915B2 (en) 2021-05-18
DE112020003332B4 (de) 2023-06-22
DE112020003332T5 (de) 2022-03-31
CN114126987B (zh) 2023-01-24
US20210012522A1 (en) 2021-01-14
GB2601916A (en) 2022-06-15
GB2601916B (en) 2022-12-21

Similar Documents

Publication Publication Date Title
CN114126987B (zh) 用于动态集装箱自动配置的三维(3d)深度成像系统和方法
CA3152570C (en) Systems and methods for automatic camera installation guidance (cig)
US20190197701A1 (en) Systems and methods for segmenting and tracking package walls in commercial trailer loading
AU2018388705B2 (en) Systems and methods for determining commercial trailer fullness
US10991116B1 (en) Three-dimensional (3D) depth imaging systems and methods for automatically determining shipping container fullness based on imaging templates
CN112651287A (zh) 用于自动集装箱门状态识别的三维(3d)深度和二维(2d)成像系统和方法
AU2018391957B2 (en) Computing package wall density in commercial trailer loading
US11430104B2 (en) Three-dimensional (3D) imaging systems and methods for detecting and dimensioning a vehicle storage area
US11443449B2 (en) Three-dimensional (3D) imaging systems and methods for virtual grading of package walls in commercial trailer loading
US11430129B2 (en) Methods for unit load device (ULD) localization
US10841559B2 (en) Systems and methods for detecting if package walls are beyond 3D depth camera range in commercial trailer loading
US20240037751A1 (en) Three-dimensional (3d) depth imaging systems and methods for dynamic container auto-configuration
US11125598B1 (en) Three-dimensional (3D) imaging systems and methods for determining vehicle storage areas and vehicle door statuses
US11475574B2 (en) Methods for unit load device (ULD) door tarp detection
US11275964B2 (en) Methods for determining unit load device (ULD) container type using template matching
US20240144632A1 (en) ROI Image Windowing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant