CN109844807A - 用于对物体进行分割和确定尺寸的方法、系统和装置 - Google Patents

用于对物体进行分割和确定尺寸的方法、系统和装置 Download PDF

Info

Publication number
CN109844807A
CN109844807A CN201780050826.0A CN201780050826A CN109844807A CN 109844807 A CN109844807 A CN 109844807A CN 201780050826 A CN201780050826 A CN 201780050826A CN 109844807 A CN109844807 A CN 109844807A
Authority
CN
China
Prior art keywords
vehicle
cluster
image data
sensor
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780050826.0A
Other languages
English (en)
Other versions
CN109844807B (zh
Inventor
谷也
张燕
傅博
J·J·维廉姆斯
K·J·奥康奈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Solutions Inc
Original Assignee
Motorola Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Solutions Inc filed Critical Motorola Solutions Inc
Publication of CN109844807A publication Critical patent/CN109844807A/zh
Application granted granted Critical
Publication of CN109844807B publication Critical patent/CN109844807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Abstract

公开了用于对物体进行分割和确定尺寸的方法、系统和装置。本文中公开的示例方法包括：基于由多个传感器生成的图像数据，确定所述多个传感器中车辆正朝向其移动的第一传感器；将所述第一传感器指定为参考传感器；组合来自所述多个传感器的图像数据，以生成表示所述车辆和由所述车辆承载的物体的经组合图像数据，所述组合基于参考传感器；基于所述经组合图像数据生成多个集群；以及将所述集群中最接近所述参考传感器的第一集群识别为所述物体。

Description

用于对物体进行分割和确定尺寸的方法、系统和装置
技术领域
本公开一般涉及图像处理系统，并且更具体地，涉及用于对物体进行分割和确定尺寸的方法、系统和装置。
背景
运输和物流系统包括提高某些递送服务的效率和准确性的规划操作。例如，当多个物体(例如，包裹)将被装载到集装箱(例如，运货卡车)中时，运输和物流系统可以确定哪些物体将经由哪个集装箱运输以及如何将物体装载到集装箱中。通过获得要被运输的物体的一个或多个尺寸的知识，这样的系统能够更好地执行规划操作。
附图说明
图1描绘了包括根据本公开的教导构造的示例物体尺寸确定系统的示例环境。
图2是表示图1的示例货运尺寸确定器(dimensioner)的示例实现的框图。
图3是表示图2的示例参考设置器的示例实现的框图。
图4是表示由图3的示例参考设置器实现的方向方案的视图。
图5是表示图2的货运分析器的示例实现的框图。
图6是表示可被执行以实现图2和/或图3的示例参考设置器的示例操作的流程图。
图7是表示可被执行以实现图2和/或图5的示例货运分析器的示例操作的流程图。
图8是表示图1的图像传感器校准器的示例实现的框图。
图9A-9F图示了与图1和/或图8的示例图像传感器校准器相关联的示例阶段。
图10是表示可被执行以实现图1和/或图8的示例图像传感器校准器的示例操作的流程图。
图11是能够执行图6的示例操作以实现图2和/或图3的示例参考设置器、执行图7的示例操作以实现图2和/或图5的示例货运分析器、和/或执行图10的示例操作以实现图1和/或图8的示例图像传感器校准器的示例逻辑电路的框图。
具体实施方式
通信技术的进步，诸如基于互联网的采购和订购，增加了依赖准确和及时递送货物和材料的消费者和企业的数量。反过来，对负责提供此类服务的那些企业的要求也有所增加。除了递送更多的包裹外，随着运输和物流行业的发展和竞争的加剧，分配的递送时间也缩短了以满足需求。此外，许多实体在确保准确和及时递送包裹的承诺下运营，从而提高了准确和及时履行的重要性。
为了应对这些和其他挑战，运输和物流实体寻求各种操作的不同方面的改进。例如，将包裹装载到集装箱(例如，运货卡车拖车)中的过程包括确定应将哪些包裹装载到哪些集装箱中、确定集装箱中包裹的优选空间布置、将数据传送给装载者(例如，负责将包裹物理地放入集装箱中的人或机器)、以及跟踪与正被装载的包裹有关的信息。这些操作中的一些操作涉及确定或获得包裹的一个或多个特性，诸如例如包裹的重量、包裹的形状和/或包裹的一个或多个尺寸。测量或获得物体(诸如包裹)的一个或多个尺寸的过程有时被称为确定尺寸(dimensioning)。
然而，确定要被装载到集装箱中的每个包裹的尺寸消耗宝贵的时间。为了减少确定包裹的尺寸所花费的时间，一些系统利用诸如扫描仪或成像器之类的机器来获得测量结果。在利用机器获得测量结果的已知系统中，要被成像或扫描的包裹是静止的并且与其他物体隔离，这是由于与要被确定尺寸的物体接近(例如，邻接或搁置)其它物体(例如，叉车的叉子)相关联的挑战和复杂性。这种已知系统引起与在被确定尺寸之前将包裹与其他物体隔离有关的额外的时间和资源消耗。
本文公开的示例方法、系统和装置在物体正被诸如叉车之类的车辆承载时提供对物体的有效且准确的确定尺寸。具体地，本文公开的示例包括在多个捕获位置处的图像传感器，该图像传感器生成表示车辆的以及要被确定尺寸的物体(如果存在的话)的颜色数据和深度数据。如下面详细描述的，本文公开的示例识别车辆正朝向其移动的图像传感器之一。也就是说，本文公开的示例能够确定哪个/哪些图像传感器最接近直接指向车辆的正面。本文公开的示例选择车辆正朝向其移动的图像传感器作为用于组合由不同图像传感器生成的图像数据的基准，以生成表示车辆和正被车辆承载的任何物体的组合图像数据。
如下面详细描述的，本文公开的示例在图像数据中生成集群(cluster)并使用集群来识别正被车辆承载的物体。例如，使用车辆正朝向其行驶的图像传感器的知识，本文公开的示例通过确定组合图像数据中的哪个集群具有最接近参考图像传感器的质心来识别正被车辆承载的物体。本文公开的示例通过移除集群中的其他集群来对物体进行分割。因此，尽管物体靠近车辆的部分(例如，搁置在车辆的部分上或以其他方式接触车辆的部分)，但是本文公开的示例隔离了对应于物体的图像数据。
本文公开的示例认识到对组合图像数据执行的聚集(clustering)可能包括由于例如物体与车辆的部分的紧密接近和/或接触而导致的错误。也就是说，与物体相关联的集群中的某些数据点实际上可能对应于例如叉车正面的叉子。为了从集群中移除这样的数据点，本文公开的示例认识到车辆的正面与正被车辆承载的物体的颜色不同。如下面详细描述的，本文公开的示例维护包括车辆正面的颜色信息的知识库。使用对应于车辆正面的颜色的知识库，本文公开的示例在任何这样的部分保留的情况下，从组合图像数据移除车辆正面的部分。也就是说，本文公开的示例将物体与车辆的与物体接触的部分隔离，在叉车的情况下，该部分位于车辆的正面附近。在物体完全从车辆分割的情况下，本文公开的示例通过计算物体的一个或多个特性(例如，形状、尺寸或体积)来准确且有效地确定物体的尺寸。
虽然前面解释了与包裹装载和递送相关联的挑战，但是在涉及对物体的准确和有效确定尺寸的需求的其他环境和应用中存在类似的挑战。例如，当物体未被准确放置在分配位置时，库存存货操作和仓库管理操作会受到影响。此外，虽然以下结合装载坞站(dock)处的包裹装载操作描述本文公开的示例方法、系统和装置，但是本文公开的示例方法、系统和装置可以在任何其他合适的情境或环境(诸如，例如，仓库、零售店、机场、火车装载地点或航运港口)中实施。此外，虽然以下描述了叉车和确定正被叉车承载的包裹的尺寸，但是本文公开的示例方法、系统和装置适用于附加或替代类型的物体和/或附加或替代类型的承载器(例如，集装箱、携带物体的人和/或不同类型的车辆)。
图1示出了可在其中实现本文公开的示例方法、系统和装置的示例环境。图1的示例表示包括根据本公开的教导构造的尺寸确定系统100的装载坞站。图1的示例尺寸确定系统包括北成像站102、西成像站104、南成像站106和东成像站108。图1的成像站102-108被安装到框架110。替代性示例包括以任何合适的方式(例如，安装到墙壁)部署的任何合适数量(例如，三(3)个或五(5)个)的成像站。术语“北”、“西”、“南”和“东”用于便于引用而非限制。图1的成像站102-108中的每一个分别包括图像传感器112-118，其能够捕获相应坐标系中的颜色数据和深度数据。例如，图像传感器112-118中的每一个是RGB-D传感器(例如，传感器)，其为坐标系中的每个像素生成RGB值和深度值。在替代示例中，成像站102-108中的每一个包括提供深度数据的三维(3D)图像传感器和提供颜色数据的单独的二维(2D)图像传感器。在这种情况下，2D图像传感器被配准到合作的3D图像传感器的坐标系，或反之亦然，使得每个像素的颜色数据与该像素的深度数据相关联。
图1的图像传感器112-118中的每一个指向成像区域120。图像传感器112-118中的每一个朝向成像区域120的地板倾斜(例如，以四十五(45)度角)。如此，图像传感器112-118中的每一个生成表示成像区域120的颜色数据和深度数据。当承载物体124的车辆122进入成像区域120时，图像传感器112-118从各个视角生成表示车辆122和物体124的颜色数据和深度数据。在图1的示例中，车辆122是叉车，并且物体124是要由尺寸确定系统100确定尺寸的包裹。例如，车辆122可以处于将物体124从仓库位置移动到拖车或与图1中所示的装载坞站相关联的其他类型的集装箱的过程中。在所示示例中，车辆可以沿第一方向126或第二方向128进入成像区域120。然而，取决于例如装载坞站的周围环境布置，任何合适数量的方向都是可能的。如图1所示，车辆122正在第一方向126上进入成像区域120，第一方向126朝向西成像站114。
为了有效且准确地确定正被车辆122承载的物体124的尺寸而不中断车辆122的移动并且不需要从车辆122移除物体124，图1的示例尺寸确定系统包括根据本公开的教导构造的货运尺寸确定器130。在图1所示的示例中，货运尺寸确定器130在部署在装载坞站处的处理平台132上实现。然而，本文公开的示例货运尺寸确定器130可以在任何合适的处理平台中实现，诸如，例如，部署在车辆122上的处理平台和/或由与车辆122或更一般地装载坞站相关联的人携带的移动处理平台。以下结合图11描述处理平台132的示例实现。
图2是表示图1的货运尺寸确定器130的示例实现的框图。图1的示例货运尺寸确定器130接收由图像传感器112-118生成的颜色数据和深度数据。图1的示例货运尺寸确定器130包括参考设置器200，用于确定图像传感器112-118中的哪一个是特定时间的参考传感器，并且基于图像传感器112-118中的哪一个是参考传感器来从不同视角生成表示车辆122和物体124的点云。为了确定图像传感器112-118中的哪一个是参考传感器，示例参考设置器200使用所接收的颜色数据和深度数据来确定车辆122正在例如第一方向126上移动。换句话说，示例参考设置器200确定车辆122正朝向例如西图像传感器114移动。图2的示例参考设置器200选择车辆122正朝向其移动的图像传感器作为该特定时间的参考传感器。参考图1中所示的示例场景，参考设置器200选择西图像传感器114作为参考传感器。值得注意的是，图2的示例参考设置器200动态地确定车辆移动方向，并动态地选择图像传感器112-118中的一个作为参考传感器。也就是说，图2的示例参考设置器200为当前场景实时选择图像传感器112-118中的一个作为参考传感器，并且如果随后遇到不同的场景，则参考设置器200针对该场景选择图像传感器112-118中的不同的一个图像传感器作为参考传感器。
为了从不同视角生成表示车辆122和物体124的点云，图2的示例参考设置器200将由非参考传感器生成的颜色数据和深度数据变换到参考传感器的坐标系。在图1所示的示例场景中，非参考传感器是北图像传感器112、南图像传感器116和东图像传感器118。如此，当呈现图1的示例时，示例参考设置器200将来自北图像传感器112、南图像传感器116和东图像传感器188的颜色数据和深度数据变换到西图像传感器114的坐标系。由图2的示例参考设置器200执行的变换的结果是包括云的点的颜色信息的3D点云。
图2A的示例参考设置器200将3D点云和指示图像传感器114中的哪个的参考相机标识符(ID)提供到货运分析器202。如下面结合图5和图6详细描述的，图2的示例货运分析器202将点聚集在3D点云中并使用3D点云的深度数据来确定哪个集群最接近参考传感器(例如，图1中所示的示例场景中的西图像传感器114)。图2的示例货运分析器202将最接近参考传感器的集群识别为物体124。示例货运分析器202使用所识别的集群来将物体124与其他元素分割。例如，货运分析器202删除与车辆122对应的集群和与车辆122中的人对应的集群。如此，图2的示例货运分析器202将点云的与物体124对应的元素与点云的其他元素隔离。
另外，图2的示例货运分析器202使用3D点云的颜色数据、结合已知对应于车辆122的面部的颜色数据库来识别3D点云中对应于车辆122的前结构的点。由于例如物体124与车辆122的部分的紧密接近，这种点可能在隔离对应于物体124的集群之后保留。在其中车辆122是叉车的图1所示的示例中，由货运分析器202识别的前结构是具有承载物体124的叉子和叉子沿着其横穿的轨道的组件。点云的对应于这种结构的数据点可能保留，并且如果不被分割出来，则可能使确定尺寸计算失真。因此，图2的示例货运分析器202利用物体124与车辆122的前结构之间的颜色差异来通过例如移除3D点云中具有与车辆122的前结构的已知颜色值对应的颜色值的点，从车辆122的前结构分割物体124。值得注意的是，由货运分析器202提供的物体124从承载物体124的结构的分割使得物体124能够从与物体124接触的结构隔离。
因此，图2的示例货运分析器202提供仅对应于物体124的图像数据，使得可以执行物体124的准确确定尺寸。图2的示例货运分析器202执行对物体124的任何合适的分析，诸如，例如，提供物体124的特性(例如，不同面的宽度、长度、高度、体积和/或面积)的尺寸确定分析。图2的示例货运尺寸确定器130包括货运特性数据库204，用于存储所获得的特性信息、相关联的颜色数据和/或深度数据、参考相机ID、和/或与图1的尺寸确定系统100相关联的任何其他数据。
图3是表示图2的参考设置器200的示例实现的框图。图2的示例参考设置器200包括移动分析器300，该移动分析器具有特征检测器302、特征匹配器304、映射器306、方向识别器308和传感器选择器310。图3的示例移动分析器300接收颜色数据和深度数据的一系列帧。图3的示例特征检测器302使用颜色数据来识别该一系列帧中的每一个中的特征。例如，特征检测器302识别可以重复地且可区分地识别的已知可识别结构、文本或图像和/或图像数据的其他方面。图3的示例特征匹配器304识别在多个帧中发生的相同特征。也就是说，示例特征匹配器304确定特征检测器302是否跨越该一系列帧中的多于一个帧检测到相同的特征。例如，特征匹配器304确定与第一时间相关联的第一帧的哪些部分对应于与在第一时间之后的第二时间相关联的第二帧中也检测到的特征。如果匹配特征在不同帧中的位置不同，则确定这些特征处于运动中。图3的示例3D映射器306将使用颜色数据检测到的匹配特征映射到深度数据。因此，图3的示例3D映射器306生成指示跨一系列帧的匹配特征的3D数据。
图3的示例方向识别器308利用由3D映射器306生成的数据来确定或至少估计匹配特征的移动方向，并且因此确定或至少估计对应于匹配特征的车辆122的移动方向。具体地，图3的示例方向识别器308为图像传感器112-118中的每一个定义两个可能的移动方向(即，朝向和远离)。参考图1的示例装载坞站，车辆122可以沿第一方向126或第二方向128进入成像区域120。因此，图3的示例方向识别器308将车辆122的第一可能方向定义为Z+，将第二可能方向定义为Z-，将第三可能方向定义为X+，并且将第四可能方向定义为X-。图4示出了由图3的示例方向识别器308使用的示例Z方向和示例X方向的关系。在所示示例中，方向识别器308旋转点云，使得Z轴(其对应于由图像传感器112-118捕获的深度数据)平行于地面。
图3的示例方向识别器308计算用于如由3D映射器306提供给方向识别器308的匹配特征对的Z方向和X方向中的每一个的运动向量。在一些示例中，方向识别器308仅使用匹配特征对中指示移动的那些。对于每个匹配特征对，图3的示例方向识别器308通过确定对应运动向量的最大幅度和符号来生成投票(vote)。也就是说，图3的示例方向识别器308确定由每个匹配特征对指示的可能的移动方向。图3的示例方向识别器308确定哪个方向具有最多的投票，并为对应的一系列帧选择该方向。换句话说，图3的示例方向识别器308根据以下等式选择移动方向，其中i表示从时间t和t+1处的连续帧取得的匹配特征对：
MovementDirection＝max(Vote(Z+(-)),Vote(X+(-)))； (1)
所确定的移动方向被提供给图3的示例传感器选择器310。图3的示例传感器选择器310基于所确定的移动方向选择图像传感器112-118中的一个作为参考传感器。如图4所指示，如果方向识别器308识别Z+方向，则示例传感器选择器310选择北图像传感器112作为参考传感器，如果方向识别器308识别X-方向，则示例传感器选择器310选择西图像传感器114作为参考传感器，如果方向识别器308识别Z-方向，则示例传感器选择器310选择南图像传感器116作为参考传感器，或者如果方向识别器308识别X+方向，则示例传感器选择器310选择东图像传感器118作为参考传感器。
图3的示例传感器选择310将参考传感器选择提供给参考设置器200的3D数据变换器312。另外，示例3D数据变换器312接收由图像传感器112-118生成的由异常值去除器314和背景去除器316过滤的深度数据。具体地，图3的示例异常值去除器314去除点云中超过与成像区域120相关联的阈值(例如，深度)的点。此外，图3的示例背景去除器316去除点云中已知(例如，根据在车辆进入成像区域120之前获得的成像区域120的背景图像)对应于背景元素(例如，装载坞站的固定结构，诸如框架110和/或贴在墙壁上的标志)的点。图3的示例3D变换器312将来自非参考图像传感器的图像数据变换或映射到参考传感器的坐标系。继续图1的示例场景，3D变换器312被通知西图像传感器114被选择作为参考传感器，并且因此，将由北图像传感器112、南图像传感器116和东图像传感器118生成的图像数据变换到西图像传感器114的坐标系。在图3所示的示例中，3D变换器312利用与图像传感器112-118相关联的校准矩阵318来执行变换。图3的示例校准矩阵318包括表示图像传感器112-118的对之间的空间关系的值。为了将由图像传感器112-118中的第一图像传感器生成的数据点变换到图像传感器112-118中的第二图像传感器的坐标系，图3的示例3D变换器312使用与图像传感器112-118中的第一图像传感器和第二图像传感器之间的空间关系相关联的校准矩阵318的值对由图像传感器112-118中的第一图像传感器生成的数据点执行操作(例如，乘法)。
因此，图3的示例参考设置器200从不同图像传感器112-118的不同视角生成表示成像区域120(以及存在于成像区域120中的车辆122)的3D点云。
图5是表示图2的货运分析器202的示例实施方式的框图。示例货运分析器包括集群生成器500、集群选择器502、集群去除器504、前去除器506、经训练颜色模型508和特性测量器510。如上所述，示例货运分析器202被提供有指示图像传感器112-118中的哪一个是当前参考传感器的标识符和已经被变换到参考传感器的坐标系的包括来自图像传感器112-118的颜色数据和深度数据的点云。
示例集群生成器500将所接收的点云中可能对应于共同物体的点组合成集群。在图5所示的示例中，集群生成器500执行欧几里德集群提取算法以生成集群。如此，图5的示例集群生成器500生成物体124和点云中的任何其他物体的集群。示例集群生成器500将集群和相关联的数据提供给集群选择器502。图5的示例集群选择器502使用参考传感器ID和与集群相关联的深度数据和/或坐标(其在参考坐标系中)，来将集群中的一个识别为具有最接近参考传感器的质心。继续图1的示例场景，示例集群选择器502确定对应于物体124的集群具有最接近西图像传感器114的质心，因为承载物体124的车辆122正朝向西图像传感器114移动。因此，集群选择器502识别点云中与物体124对应的点。在图5的示例中，集群去除器504删除点云中不对应于被识别为对应于物体124的集群的点。也就是说，通过示例集群去除器504去除被识别为对应于物体124的集群以外的集群。例如，通过集群去除器504去除对应于车辆122的部分的集群。在一些示例中，集群去除器504另外去除未聚集的点。
在图5的示例中，前去除器506使用经训练颜色模型508来识别在集群去除器504已经执行上述删除之后保留在点云中的车辆122的一个或多个前结构。由于集群生成器500错误地将对应于车辆的数据点与对应于物体124的数据点分组在一起，因此可能保留与例如车辆的前结构对应的数据点。这种错误可能是由于物体124靠近车辆122和/或与车辆122接触造成的。经训练颜色模型508包括已知对应于车辆122的前结构的(多个)颜色值。例如，当车辆122是特定类型的叉车时，已知承载组件(例如，叉子和叉子沿着其上下移动的轨道)是黑色的。图5的示例前去除器506在点云中搜索已知对应于车辆122的特定类型的颜色值。示例前去除器506删除点云中对应于车辆122的(多个)前结构的任何识别的点。值得注意的是，这种去除去掉了对应于与物体124接触的结构的图像数据的点云，该结构在没有示例货运分析器202的情况下难以与物体124区分以用于例如确定物体124的尺寸的目的。
图5的示例前去除器506提供点云，其中不对应于物体124的点被去除。
其中不对应于物体124的点被去除的点云被提供给特性测量器510。图5的示例特性测量器510计算物体124的任何期望特性，诸如，例如，物体124的一个或多个尺寸。这些特性被提供给例如货运特性数据库204和/或被传送给请求者。
图6是表示能够实现图2和/或图4的示例参考设置器200的示例操作的流程图。如上面结合图1所述，尺寸确定系统100的图像传感器112-118从不同视角生成表示成像区域120的颜色数据和深度数据。在图6的示例中，参考设置器200获得或以其他方式被提供有颜色数据和深度数据(框600)。示例特征检测器302(图3)通过分析所获得的颜色数据的至少两帧来识别存在于成像区域120中的多个特征(例如，可以重复地且可区分地识别的已知可识别结构、文本或图像和/或图像数据的其他方面)(框602)。示例特征匹配器304(图3)确定是否有任何特征出现在多个帧中，并且如果是，则将共同特征标识为跨帧的匹配特征(框604)。示例3D映射器306(图3)将匹配特征映射到所获得的深度数据(框606)。
示例方向识别器308(图3)生成表示匹配特征的运动的运动向量(框608)。示例方向识别器308生成各个运动向量的方向指示(框610)。也就是说，每个运动向量指示特定方向上的移动(例如，朝向图1的西图像传感器114)，并且方向识别器308确定各个运动向量的哪个方向。换句话说，每个运动向量对车辆122的移动方向进行投票。在图6的示例中，示例方向识别器308仅针对匹配特征中指示移动的的那些(例如，通过超过坐标位置之间的阈值差异)生成投票。也就是说，丢弃不超过匹配特征之间的阈值差异的运动向量的投票。图3的示例方向识别器308确定哪个方向具有最多的投票，并为对应的一系列帧选择该方向(框612)。例如，方向识别器308使用上面的示例等式(1)-(7)来生成投票并确定要选择哪个方向。
示例传感器选择器310(图3)使用所确定的车辆122的移动方向来基于所确定的移动方向将图像传感器112-118中的一个指定为参考传感器(框614)。例如，如果方向识别器308在图4的示例系统中识别X-方向，则传感器选择器310选择西图像传感器114。
通过车辆122正朝向其移动的图像传感器112-118的知识，参考设置器200的示例3D数据变换器312将非参考图像传感器112-118的颜色数据和深度数据变换到参考传感器的坐标系(框616)。在图6所示的示例中，3D数据变换器312接收由异常值去除器314并且由背景去除器316过滤的图像数据，该异常值去除器314去除点云中对应于不感兴趣的点的边远点，该背景去除器316去除点云中已知对应于与装载坞站相关联的背景的点。在图3所示的示例中，3D变换器312利用与图像传感器112-118相关联的校准矩阵318来执行变换。在图65的示例中，3D数据变换器312将变换后的图像数据和参考传感器ID提供给货运分析器202。
图7是表示可被执行以实现例如图2和/或图5的货运分析器202的示例操作的流程图。在图7的示例中，货运分析器202获得或以其他方式被提供有由例如参考设置器200生成的点云(框700)。在图7的示例中，集群生成器500(图5)将可能对应于共同物体的点组合成集群(框702)。也就是说，示例集群生成器500使用例如欧几里德集群提取技术或算法识别点云中可能对应于同一物体的点并将这些点分组在一起以形成集群。在图7的示例中，示例集群选择器502(图5)使用参考传感器ID和与集群相关联的深度数据和/或坐标(其在参考坐标系中)，来将集群中的一个识别为具有最接近参考传感器的质心(框704)。这样的集群对应于物体124。示例集群去除器504删除点云中不对应于被识别为对应于物体124的集群的点(框706)。例如，通过集群去除器504去除属于对应于车辆122的集群的点。
示例前去除器506(图5)利用经训练颜色模型508来识别点云中与车辆122的一个或多个前结构对应的剩余(例如，在由集群去除器504执行删除之后)点(框708)。例如，前去除器506在点云中搜索经训练颜色模型508中已知对应于车辆122的(多个)前结构的颜色值。示例前去除器506(图5)删除点云中对应于车辆122的(多个)前结构的任何识别的点(框710)。值得注意的是，这种去除去掉了对应于与物体124接触的结构的图像数据的点云，该结构在没有示例货运分析器202的情况下难以与物体124区分以用于例如确定物体124的尺寸的目的。
在图7的示例中，特性测量器510(图5)计算物体124的任何期望特性，诸如，例如，物体124的一个或多个尺寸(框712)。这些特性被传送或存储在例如特性数据库204(图2)中(框714)。
返回参照图1，为了提高不同图像传感器112-118与彼此的校准或对准的准确度，示例尺寸确定系统100包括根据本公开的教导构造的图像传感器校准器134。在一些情况下，图像传感器112-118需要覆盖大面积，并且因此被间隔开显著距离。例如，北图像传感器112可以与西图像传感器114间隔开，使得在北图像传感器112的第一视场(即，北视场)和西图像传感器114的第二视场(即，西视场)之间仅存在几个重叠点。通常，校准技术因不同视场之间的重叠点不足(例如，在准确度和/或速度方面)受到影响。
图1的示例图像传感器校准器134提高了校准过程的准确度和速度，该校准过程的任务是对准例如图1的图像传感器112-118。在一些示例中，图像传感器校准器134生成用于图3的校准矩阵318的数据，该校准矩阵用于例如将来自非参考图像传感器112-118的图像数据变换到参考图像传感器112-118。在图1所示的示例中，图像传感器校准器134在部署在装载坞站处的处理平台132上实现。然而，本文公开的示例图像传感器校准器134可以在任何合适的处理平台中实现，诸如，例如，部署在车辆122上的处理平台和/或由与车辆122或更一般地与装载坞站相关联的人携带的移动处理平台。以下结合图11描述处理平台132的示例实现。
如下面详细描述的，图1的示例图像传感器校准器134执行第一校准阶段和第二校准阶段以生成准确的校准矩阵，其可以被称为变换矩阵。由图1的图像传感器校准器134实现的第一校准阶段基于2D图像数据。在一些示例中，2D图像数据包括坐标处的RGB值。替代地，2D图像数据可包括坐标处的灰度值。由示例图像传感器校准器134实现的第一校准阶段在本文中可称为初始校准，其生成初始变换矩阵，因为第一校准阶段生成粗略或粗糙变换矩阵。由图1的图像传感器校准器134实现的第二校准阶段基于包括深度信息的3D图像数据。由示例图像传感器校准器134实现的第二校准阶段在本文中可称为细化校准，因为第二校准阶段细化初始变换矩阵以更准确地反映图像传感器112-118之间的空间关系。
图8是表示图1的图像传感器校准器134的示例实现的框图。为了说明的目的，下面结合图8描述图9A-9F。也就是说，图9A-9F的示例元素是出于说明而非限制的目的，因为示例图像传感器校准器134可以在除了图9A-9F中所示的环境之外的附加或替代环境中应用或实现。
图8的示例传感器校准器134包括初始矩阵生成器800，用于基于由图像传感器112-118提供的2D图像数据(例如，灰度值或RGB值)生成初始变换矩阵。在图8所示的示例中，初始矩阵生成器800基于故意放置在成像区域120中的校准结构或元件生成初始变换矩阵，以用于校准图像传感器112-118的目的。图9A示出了由例如图1的东图像传感器118生成的2D图像数据的第一帧900。在图9A的示例第一帧900中，校准工具902已经被放置在成像区域120中。图9A的示例校准工具902是具有棋盘图案的板。图9B示出了由例如图1的西图像传感器114生成的2D图像数据的第二帧904。在图9B的示例第二帧904中，从与来自东图像传感器118的视角不同的视角示出校准工具902。在一些示例中，初始矩阵生成器800使用第一帧900和第二帧904以及来自其他(北和南)图像传感器112和116的2D图像数据的附加帧来生成初始变换矩阵。具体地，校准工具902的棋盘图案给初始变换矩阵提供可以在不同图像传感器112-118之间匹配的数据点(例如，直线和拐角)。示例初始矩阵生成器800基于由校准工具902提供的数据点生成初始变换矩阵的映射值。
在一些情况下，由初始矩阵生成器800生成的初始变换矩阵包括对准误差。图8的示例图像传感器校准器134包括经细化矩阵生成器802，其使用3D图像数据来将初始变换矩阵细化为经细化变换矩阵。在图8的示例中，经细化矩阵生成器802包括3D对准器，用于基于初始变换矩阵对准由不同图像传感器112-118生成的3D图像数据。也就是说，图8的示例3D对准器804使用初始变换矩阵来将由图像传感器112-118之一生成的深度值与由图像传感器112-118中的一个或多个其他图像传感器生成的深度值对准。因此，图8的示例3D对准器804将初始变换矩阵应用于3D图像数据。图9C示出了初始变换矩阵的应用如何可能导致深度数据中的对准误差。图9C中所示的对准误差是由初始变换矩阵中的准确度引起的。
图8的示例图像传感器校准器134包括预处理模块806，用于调节变换后的深度值以供进一步处理。例如，预处理模块806去除深度点云中对应于成像区域120的地板的点。图9D示出了图9C的点云，其中对应于地板的点已经被图8的示例预处理模块806去除。可以执行附加或替代的预处理操作。
图8的示例图像传感器校准器134包括重叠提取器808，用于执行点云的最近邻搜索以识别点云中的重叠点。图8的示例重叠提取器808提取点云中的所识别的重叠点并丢弃非重叠点。图9E示出了由图8的示例重叠提取器808提取的重叠点。当存在对准误差时，在识别的重叠点之间存在偏移。
图8的示例图像传感器校准器134包括成对视图配准模块810，用于基于由示例重叠提取器808识别的重叠点和重叠点之间的偏移来细化初始变换矩阵。具体地，示例成对视图配准模块810生成补偿各个重叠点之间的偏移的平移因子(例如，乘数)。如此，为了实现适当的对准，可以使用由成对视图配准模块810生成的值，对初始变换矩阵的值执行操作(例如，乘法或点积)。在所示示例中，经细化变换矩阵对应于初始变换矩阵和由图8的成对视图配准模块810生成的值的组合。图9F示出了根据由示例成对视图配准模块810生成的经细化变换矩阵的深度值的改进对准。
图10是表示能够实现图1和/或图8的示例图像传感器校准器134的示例操作的流程图。在图10的示例中，图像传感器校准器134从例如图像传感器112-118中的两个图像传感器获得表示成像区域120的2D图像数据(框1000)。例如，图像传感器校准器134获得由西图像传感器114和东图像传感器118生成的2D图像数据。示例初始矩阵生成器800基于所获得的2D图像数据生成初始变换矩阵(框1002)，在所示示例中，该所获得的2D图像数据包括外在校准工具(例如，图9的校准工具902)。
在图10的示例中，3D对准器804(图8)使用初始变换矩阵对准来自图像传感器112-118中的两个图像传感器的深度值(框1004)。在图10的示例中，预处理模块806(图8)通过例如去除对应于成像区域120的地板的点来调节来自两个图像传感器112-118的深度值(框1006)。
为了校正或改进由于初始变换矩阵的不准确性导致的对准误差，示例重叠提取器808执行对点云的最近邻搜索以识别点云中的重叠点(框1008)。示例重叠提取器808提取重叠点并丢弃点云的非重叠点(框1010)。
在图10的示例中，成对视图配准模块810基于由示例重叠提取器808识别的重叠点来细化初始变换矩阵。具体地，成对视图配准模块810基于所提取的重叠点之间的偏移来生成经细化变换矩阵。在一些示例中，经细化变换矩阵被存储为图3的示例校准矩阵318。
图11是表示可用于实现例如图2和/或图3的示例参考设置器200、图2和/或图5的示例货运分析器202、和/或更一般地，图1和/或图2的示例货运尺寸确定器130的示例逻辑电路的框图。附加地或替代地，图11中呈现的示例逻辑电路可以用于实现图8的示例初始矩阵生成器800、图8的经细化矩阵生成器802、和/或更一般地，图1和/或图8的示例图像传感器校准器134。图11的示例逻辑电路是能够执行指令的处理平台1100，以便例如实现由本说明书附图的流程图表示的示例操作。如下所述，替代性示例逻辑电路包括硬件(例如，门阵列)，其专门配置用于执行由本说明书附图的流程图表示的操作。
图11的示例处理平台1100包括处理器1102，诸如，例如，一个或多个微处理器、控制器和/或任何合适类型的处理器。图11的示例处理平台1100包括可由处理器1102访问(例如，经由存储器控制器)的存储器(例如，易失性存储器、非易失性存储器)1104。示例处理器1102与存储器1104交互以获得例如存储在存储器1104中的机器可读指令，其对应于例如由本公开的流程图表示的操作。附加地或替代地，对应于流程图的示例操作的机器可读指令可以存储在一个或多个可移动介质(例如，光盘、数字多功能盘、可移动闪存等)上，该可移动介质可以耦合到处理平台1100以提供对存储在其上的机器可读指令的访问。
图11的示例处理平台1100包括网络接口1106，以实现经由例如一个或多个网络与其他机器的通信。示例网络接口1106包括被配置为根据任何合适的(多个)协议操作的任何合适类型的(多个)通信接口(例如，有线接口和/或无线接口)。
图11的示例处理平台1100包括输入/输出(I/O)接口1108，以使得能够接收用户输入并将输出数据传送给用户。
以上描述涉及附图的框图。由框图表示的示例的替代实现包括一个或多个附加或替代元件、过程和/或设备。附加地或替代地，可以组合、划分、重新布置或省略图中的示例框中的一个或多个。由图的框表示的组成部分由硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。在一些示例中，由框表示的组成部分中的至少一个由逻辑电路实现。如本文所使用的，术语“逻辑电路”明确地定义为包括至少一个硬件组件的物理设备，该硬件组件被配置(例如，经由根据预定配置的操作和/或经由执行存储的机器可读指令)为控制一个或多个机器和/或执行一个或多个机器的操作。逻辑电路的示例包括一个或多个处理器、一个或多个协处理器、一个或多个微处理器、一个或多个控制器、一个或多个数字信号处理器(DSP)、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个微控制器单元(MCU)、一个或多个硬件加速器、一个或多个专用计算机芯片、以及一个或多个片上系统(SoC)设备。诸如ASIC或FPGA之类的一些示例逻辑电路是用于执行操作(例如，由本公开的流程图表示的一个或多个操作)的专门配置的硬件。一些示例逻辑电路是执行机器可读指令以执行操作(例如，由本公开的流程图表示的一个或多个操作)的硬件。一些示例逻辑电路包括专门配置的硬件和执行机器可读指令的硬件的组合。
以上描述涉及附图的流程图。流程图表示本文公开的示例方法。在一些示例中，由流程图表示的方法实现由框图表示的装置。本文公开的示例方法的替代实现可包括附加或替代操作。此外，可以组合、划分、重新布置或省略本文公开的方法的替代实现的操作。在一些示例中，由流程图表示的操作由存储在介质(例如，有形机器可读介质)上的机器可读指令(例如，软件和/或固件)实现，用于由一个或多个逻辑电路(例如，(多个)处理器)执行。在一些示例中，由流程图表示的操作由一个或多个专门设计的逻辑电路(例如，ASIC)的一个或多个配置实现。在一些示例中，流程图的操作由专门设计的逻辑电路和存储在介质(例如，有形机器可读介质)上以由逻辑电路执行的机器可读指令的组合来实现。
如本文所使用的，术语“有形机器可读介质”、“非暂时性机器可读介质”和“机器可读存储设备”中的每一个明确地定义为机器可读指令(例如，以例如软件和/或固件的形式的程序代码)可被存储在其上的存储介质(例如，硬盘驱动器的盘片、数字多功能盘、光盘、闪存、只读存储器、随机存取存储器等)。进一步，如本文所使用的，术语“有形机器可读介质”、“非暂时性机器可读介质”和“机器可读存储设备”中的每一个被明确地定义为排除传播信号。也就是说，如在本专利的任何权利要求中所使用的，术语“有形机器可读介质”、“非暂时性机器可读介质”和“机器可读存储设备”中的任何一个都不能被理解为由传播信号实现。
如本文所使用的，术语“有形机器可读介质”、“非暂时性机器可读介质”和“机器可读存储设备”中的每一个被明确地定义为存储介质，机器可读介质被存储在该存储介质上达任何合适的持续时间(例如，永久地、达延长的时间段(例如，当与机器可读指令相关联的程序正在执行时)、和/或短时间段(例如，当机器可读指令被缓存和/或在缓冲过程期间))。
尽管本文已经公开了某些示例装置、方法和制品，但是本专利的覆盖范围不限于此。相反，本专利涵盖公平落入本专利权利要求范围内的所有装置、方法和制品。

Claims (26)

1.一种方法，包括：
使用逻辑电路基于由多个传感器生成的图像数据，确定所述多个传感器中车辆正朝向其移动的第一传感器；
将所述第一传感器指定为参考传感器；
使用所述逻辑电路组合来自所述多个传感器的图像数据，以生成表示所述车辆和由所述车辆承载的物体的经组合图像数据，所述组合基于参考传感器；
使用所述逻辑电路基于所述经组合图像数据生成多个集群；以及
使用所述逻辑电路将所述集群中最接近所述参考传感器的第一集群识别为所述物体。
2.如权利要求1所述的方法，进一步包括：通过从所述经组合图像数据中去除所述集群中的第二集群来从所述集群中的所述第二集群分割所述集群中的所述第一集群。
3.如权利要求2所述的方法，进一步包括：确定所述集群中的所述第一集群的尺寸。
4.如权利要求1所述的方法，进一步包括：
识别所述车辆的比所述车辆的其它结构更靠近所述参考传感器的第一结构；以及
去除所述经组合图像数据中与所述车辆的第一结构对应的点。
5.如权利要求4所述的方法，其特征在于：
识别所述车辆的第一结构包括确定所述车辆的前组件的颜色；以及
去除所述经组合图像数据中与所述车辆的第一结构对应的点包括确定所述点具有所确定的所述车辆的前组件的颜色。
6.如权利要求4所述的方法，其特征在于：
所述车辆是叉车；并且
所述叉车的前组件是所述叉车的承载部分，所述物体被承载在所述承载部分上。
7.如权利要求1所述的方法，其特征在于，组合所述图像数据以生成经组合图像数据包括将所述图像数据变换到所述参考传感器的坐标系中。
8.一种有形机器可读介质，包括指令，所述指令在被执行时使机器至少：
基于由多个传感器生成的图像数据，确定所述多个传感器中车辆正朝向其移动的第一传感器；
将所述第一传感器指定为参考传感器；
组合来自所述多个传感器的图像数据，以生成表示所述车辆和由所述车辆承载的物体的经组合图像数据，所述组合基于参考传感器；
基于所述经组合图像数据生成多个集群；以及
将所述集群中最接近所述参考传感器的第一集群识别为所述物体。
9.如权利要求8所述的有形机器可读介质，其特征在于，所述指令在被执行时使所述机器通过从所述经组合图像数据中去除所述集群中的第二集群来从所述集群中的所述第二集群分割所述集群中的所述第一集群。
10.如权利要求9所述的有形机器可读介质，其特征在于，所述指令在被执行时使所述机器确定所述集群中的所述第一集群的尺寸。
11.如权利要求8所述的有形机器可读介质，其特征在于，所述指令在被执行时使所述机器：
识别所述车辆的比所述车辆的其它结构更靠近所述参考传感器的第一结构；以及
去除所述经组合图像数据中与所述车辆的第一结构对应的点。
12.如权利要求11所述的有形机器可读介质，其特征在于，所述指令在被执行时使所述机器：
通过确定所述车辆的前组件的颜色来识别所述车辆的第一结构；以及
通过确定所述经组合图像数据中与所述车辆的第一结构对应的点具有所确定的所述车辆的前组件的颜色来去除所述点。
13.如权利要求11所述的有形机器可读介质，其特征在于：
所述车辆是叉车；并且
所述叉车的前组件是所述叉车的承载部分，所述物体被承载在所述承载部分上。
14.如权利要求8所述的有形机器可读介质，其特征在于，所述指令在被执行时使所述机器通过将所述图像数据变换到所述参考传感器的坐标系中来组合所述图像以生成经组合图像数据。
15.一种装置，包括：
参考设置器，用于：
基于由多个传感器生成的图像数据，确定所述多个传感器中车辆正朝向其移动的第一传感器；
将所述第一传感器指定为参考传感器；以及
组合来自所述多个传感器的图像数据，以生成表示所述车辆和由所述车辆承载的物体的经组合图像数据，所述组合基于参考传感器；以及
货运分析器，用于：
基于所述经组合图像数据生成多个集群；以及
将所述集群中最接近所述参考传感器的第一集群识别为所述物体，其中所述参考设置器或所述货运分析器中的至少一者是经由逻辑电路实现的。
16.如权利要求15所述的装置，其特征在于，所述货运分析器用于通过从所述经组合图像数据中去除所述集群中的第二集群来从所述集群中的所述第二集群分割所述集群中的所述第一集群。
17.如权利要求16所述的装置，其特征在于，所述货运分析器用于确定所述集群中的所述第一集群的尺寸。
18.如权利要求15所述的装置，其特征在于，所述货运分析器用于：
识别所述车辆的最接近所述参考传感器的第一部分；以及
去除所述经组合图像数据中与所述车辆的第一部分对应的点。
19.如权利要求18所述的装置，其特征在于，所述货运分析器用于：
通过确定所述车辆的前组件的颜色来识别所述车辆的第一部分；以及
通过确定所述经组合图像数据中与所述车辆的第一部分对应的点具有所确定的所述车辆的前组件的颜色来去除所述点。
20.如权利要求18所述的装置，其特征在于：
所述车辆是叉车；并且
所述叉车的前组件是所述叉车的承载部分，所述物体被承载在所述承载部分上。
21.一种方法，包括：
识别第一图像数据帧中的第一特征和第二图像数据帧中的第二特征；
基于所述第一特征和所述第二特征识别匹配特征；
为所述匹配特征中的各个匹配特征生成方向投票，其中所述方向投票指示车辆的移动方向；
基于所述方向投票选择多个图像传感器中的一个作为参考传感器。
22.如权利要求21所述的方法，进一步包括：使用所述参考传感器来确定点云中的多个集群中的哪个集群对应于由所述车辆承载的物体。
23.如权利要求21所述的方法，其特征在于，为所述匹配特征中的各个匹配特征生成方向投票包括丢弃所述匹配特征中不指示移动的一个匹配特征。
24.一种生成变换矩阵的方法，所述变换矩阵用于将信息从第一图像传感器的第一坐标系变换到第二图像传感器的第二坐标系，所述方法包括：
使用逻辑电路基于表示区域的二维图像数据生成初始变换矩阵；以及
使用所述逻辑电路通过以下操作基于所述初始变换矩阵和表示所述区域的三维图像数据生成经细化变换矩阵：
根据所述初始变换矩阵对准所述三维图像数据的深度值；
提取经对准的深度值中的重叠点；
丢弃经对准的深度值中的非重叠点；以及
根据所述重叠点细化所述初始变换矩阵。
25.如权利要求24所述的方法，其特征在于，根据所述重叠点细化所述初始变换矩阵是基于所述重叠点之间的偏移。
26.如权利要求24所述的方法，其特征在于，根据所述重叠点细化所述初始变换矩阵包括基于所述重叠点之间的偏移生成用于应用于所述初始变换矩阵的乘数。
CN201780050826.0A 2016-08-19 2017-06-16 用于对物体进行分割和确定尺寸的方法、系统和装置 Active CN109844807B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/242,126 US10776661B2 (en) 2016-08-19 2016-08-19 Methods, systems and apparatus for segmenting and dimensioning objects
US15/242,126 2016-08-19
PCT/US2017/037863 WO2018034730A1 (en) 2016-08-19 2017-06-16 Methods, systems and apparatus for segmenting and dimensioning objects

Publications (2)

Publication Number Publication Date
CN109844807A true CN109844807A (zh) 2019-06-04
CN109844807B CN109844807B (zh) 2024-03-01

Family

ID=59270136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780050826.0A Active CN109844807B (zh) 2016-08-19 2017-06-16 用于对物体进行分割和确定尺寸的方法、系统和装置

Country Status (6)

Country Link
US (1) US10776661B2 (zh)
CN (1) CN109844807B (zh)
CA (1) CA3029559C (zh)
DE (1) DE112017004142T5 (zh)
GB (1) GB2567590B (zh)
WO (1) WO2018034730A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049462B2 (en) * 2016-03-23 2018-08-14 Akcelita, LLC System and method for tracking and annotating multiple objects in a 3D model
US10360445B2 (en) * 2016-03-23 2019-07-23 Akcelita, LLC System and method for tracking persons using a volumetric representation
US10614578B2 (en) * 2016-03-23 2020-04-07 Akcelita, LLC System and method for tracking people, animals and objects using a volumetric representation and artificial intelligence
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
EP3619600A4 (en) 2017-05-01 2020-10-21 Symbol Technologies, LLC METHOD AND APPARATUS FOR OBJECT STATE DETECTION
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
PL3572767T3 (pl) 2018-05-25 2021-08-02 Mettler-Toledo Gmbh Dynamiczne wymiarowanie palety – tarowanie wózka widłowego
US10930001B2 (en) 2018-05-29 2021-02-23 Zebra Technologies Corporation Data capture system and method for object dimensioning
US10611372B2 (en) * 2018-09-06 2020-04-07 Zebra Technologies Corporation Dual-mode data capture system for collision detection and object dimensioning
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11379788B1 (en) 2018-10-09 2022-07-05 Fida, Llc Multilayered method and apparatus to facilitate the accurate calculation of freight density, area, and classification and provide recommendations to optimize shipping efficiency
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
CN109813285A (zh) * 2019-01-31 2019-05-28 莱克电气股份有限公司 基于视觉的清洁机器人环境识别方法、存储介质、一种清洁机器人
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11158075B2 (en) * 2019-06-03 2021-10-26 Zebra Technlogies Corporation Method, system and apparatus for depth sensor artifact removal
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
JP7313998B2 (ja) * 2019-09-18 2023-07-25 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US20220016779A1 (en) * 2020-07-15 2022-01-20 The Board Of Trustees Of The University Of Illinois Autonomous Robot Packaging of Arbitrary Objects
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060232684A1 (en) * 2005-04-14 2006-10-19 Takanori Miki White balance adjustment device and color identification device
WO2008057504A2 (en) * 2006-11-06 2008-05-15 Aman James A Load tracking system based on self- tracking forklift
US20120249802A1 (en) * 2010-12-01 2012-10-04 The Trustees Of The University Of Pennsylvania Distributed target tracking using self localizing smart camera networks
US20140270480A1 (en) * 2013-03-15 2014-09-18 URC Ventures, Inc. Determining object volume from mobile device images
US20160188986A1 (en) * 2014-12-25 2016-06-30 Fujitsu Limited Detection system and detection method

Family Cites Families (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5408322A (en) 1993-04-26 1995-04-18 Materials Research Corporation Self aligning in-situ ellipsometer and method of using for process monitoring
US20020014533A1 (en) 1995-12-18 2002-02-07 Xiaxun Zhu Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps
US5831719A (en) 1996-04-12 1998-11-03 Holometrics, Inc. Laser scanning system
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6332098B2 (en) 1998-08-07 2001-12-18 Fedex Corporation Methods for shipping freight
US6820895B2 (en) 1998-09-23 2004-11-23 Vehicle Safety Systems, Inc. Vehicle air bag minimum distance enforcement apparatus, method and system
JP2002321698A (ja) 2001-04-27 2002-11-05 Mitsubishi Heavy Ind Ltd 航空貨物運搬用ボーディング・ブリッジ
US7277187B2 (en) 2001-06-29 2007-10-02 Quantronix, Inc. Overhead dimensioning system and method
US6995762B1 (en) 2001-09-13 2006-02-07 Symbol Technologies, Inc. Measurement of dimensions of solid objects from two-dimensional image(s)
US20060106742A1 (en) * 2002-04-29 2006-05-18 Speed Trac Technologies, Inc. System and method for weighing and tracking freight
US7248754B2 (en) 2003-05-05 2007-07-24 International Business Machines Corporation Apparatus and method for determining whether machine readable information on an item matches the item
US7137207B2 (en) 2003-06-23 2006-11-21 Armstrong Timothy D Measuring arrangement to determine location of corners for a building foundation and a wooden base frame, and the use thereof
DE10336638A1 (de) 2003-07-25 2005-02-10 Robert Bosch Gmbh Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
TWI266035B (en) 2003-11-11 2006-11-11 Hon Hai Prec Ind Co Ltd A system and method for measuring point-cloud
US8294809B2 (en) 2005-05-10 2012-10-23 Advanced Scientific Concepts, Inc. Dimensioning system
CN101248330B (zh) 2005-06-28 2015-06-17 斯甘拉伊斯股份有限公司 相对于参考测量和绘制表面的系统和方法
US8625854B2 (en) 2005-09-09 2014-01-07 Industrial Research Limited 3D scene scanner and a position and orientation system
US7605817B2 (en) 2005-11-09 2009-10-20 3M Innovative Properties Company Determining camera motion
US8157205B2 (en) 2006-03-04 2012-04-17 Mcwhirk Bruce Kimberly Multibody aircrane
CA2545118C (en) 2006-04-28 2011-07-05 Global Sensor Systems Inc. Device for measuring package size
US20070272732A1 (en) 2006-05-26 2007-11-29 Mettler-Toledo, Inc. Weighing and dimensioning system and method for weighing and dimensioning
US7647752B2 (en) 2006-07-12 2010-01-19 Greg Magnell System and method for making custom boxes for objects of random size or shape
US8531457B2 (en) 2006-11-29 2013-09-10 Technion Research And Development Foundation Ltd. Apparatus and method for finding visible points in a cloud point
US7474389B2 (en) * 2006-12-19 2009-01-06 Dean Greenberg Cargo dimensional and weight analyzing system
US7940279B2 (en) 2007-03-27 2011-05-10 Utah State University System and method for rendering of texel imagery
US8132728B2 (en) 2007-04-04 2012-03-13 Sick, Inc. Parcel dimensioning measurement system and method
US8094937B2 (en) * 2007-04-17 2012-01-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. System and method for labeling feature clusters in frames of image data for optical navigation
JP4561769B2 (ja) 2007-04-27 2010-10-13 アイシン・エィ・ダブリュ株式会社 経路案内システム及び経路案内方法
WO2008150153A1 (en) 2007-06-08 2008-12-11 Tele Atlas B.V. Method of and apparatus for producing a multi-viewpoint panorama
WO2008154611A2 (en) 2007-06-11 2008-12-18 Honeywell International Inc. Optical reader system for extracting information in a digital image
US7726575B2 (en) 2007-08-10 2010-06-01 Hand Held Products, Inc. Indicia reading terminal having spatial measurement functionality
JP4466705B2 (ja) 2007-09-21 2010-05-26 ヤマハ株式会社 ナビゲーション装置
US8396284B2 (en) 2007-10-23 2013-03-12 Leica Geosystems Ag Smart picking in 3D point clouds
US9841314B2 (en) * 2008-08-29 2017-12-12 United Parcel Service Of America, Inc. Systems and methods for freight tracking and monitoring
WO2010029558A1 (en) 2008-09-14 2010-03-18 Eliezer Magal Automatic identification system for randomly oriented objects
US20100091094A1 (en) * 2008-10-14 2010-04-15 Marek Sekowski Mechanism for Directing a Three-Dimensional Camera System
US8479996B2 (en) 2008-11-07 2013-07-09 Symbol Technologies, Inc. Identification of non-barcoded products
US8463079B2 (en) 2008-12-16 2013-06-11 Intermec Ip Corp. Method and apparatus for geometrical measurement using an optical device such as a barcode and/or RFID scanner
US8812226B2 (en) 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8265895B2 (en) 2009-03-27 2012-09-11 Symbol Technologies, Inc. Interactive sensor systems and methods for dimensioning
US8284988B2 (en) 2009-05-13 2012-10-09 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
US8743176B2 (en) 2009-05-20 2014-06-03 Advanced Scientific Concepts, Inc. 3-dimensional hybrid camera and production system
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8933925B2 (en) 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
US20110047636A1 (en) 2009-08-21 2011-02-24 Syngenta Participations Ag Crop Automated Relative Maturity System
KR101619076B1 (ko) 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
US8942884B2 (en) 2010-01-14 2015-01-27 Innovative Transport Solutions, Llc Transport system
US20110216063A1 (en) 2010-03-08 2011-09-08 Celartem, Inc. Lidar triangular network compression
US9400170B2 (en) 2010-04-21 2016-07-26 Faro Technologies, Inc. Automatic measurement of dimensional data within an acceptance region by a laser tracker
US8619265B2 (en) 2011-03-14 2013-12-31 Faro Technologies, Inc. Automatic measurement of dimensional data with a laser tracker
US8199977B2 (en) 2010-05-07 2012-06-12 Honeywell International Inc. System and method for extraction of features from a 3-D point cloud
US8134717B2 (en) 2010-05-21 2012-03-13 LTS Scale Company Dimensional detection system and associated method
US20110310088A1 (en) 2010-06-17 2011-12-22 Microsoft Corporation Personalized navigation through virtual 3d environments
US8872851B2 (en) 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data
EP2439487B1 (de) 2010-10-06 2012-08-22 Sick Ag Volumenmessvorrichtung für bewegte Objekte
US8744644B2 (en) 2011-01-19 2014-06-03 Electronics And Telecommunications Research Institute Apparatus and method for detecting location of vehicle
KR101758058B1 (ko) 2011-01-20 2017-07-17 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
WO2012100593A1 (zh) 2011-01-30 2012-08-02 浙江省电力公司 智能电能表全自动化检定系统
US8447549B2 (en) 2011-02-11 2013-05-21 Quality Vision International, Inc. Tolerance evaluation with reduced measured points
US8660338B2 (en) 2011-03-22 2014-02-25 Honeywell International Inc. Wide baseline feature matching using collobrative navigation and digital terrain elevation data constraints
US9854209B2 (en) * 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
WO2012155104A1 (en) * 2011-05-11 2012-11-15 Proiam, Llc Enrollment apparatus, system, and method featuring three dimensional camera
US20120287249A1 (en) * 2011-05-12 2012-11-15 Electronics And Telecommunications Research Institute Method for obtaining depth information and apparatus using the same
US9070285B1 (en) 2011-07-25 2015-06-30 UtopiaCompression Corporation Passive camera based cloud detection and avoidance for aircraft systems
KR101907081B1 (ko) 2011-08-22 2018-10-11 삼성전자주식회사 3차원 점군의 물체 분리 방법
US9129277B2 (en) * 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US8793107B2 (en) 2011-12-01 2014-07-29 Harris Corporation Accuracy-based significant point derivation from dense 3D point clouds for terrain modeling
CN103164842A (zh) 2011-12-14 2013-06-19 鸿富锦精密工业（深圳）有限公司 点云提取系统及方法
US20130162806A1 (en) 2011-12-23 2013-06-27 Mitutoyo Corporation Enhanced edge focus tool
EP2615580B1 (en) 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration
ES2535122T3 (es) 2012-03-01 2015-05-05 Caljan Rite-Hite Aps Transportador extensible con luz
US8668136B2 (en) 2012-03-01 2014-03-11 Trimble Navigation Limited Method and system for RFID-assisted imaging
US9329269B2 (en) 2012-03-15 2016-05-03 GM Global Technology Operations LLC Method for registration of range images from multiple LiDARS
US8989342B2 (en) 2012-04-18 2015-03-24 The Boeing Company Methods and systems for volumetric reconstruction using radiography
US9153061B2 (en) 2012-05-04 2015-10-06 Qualcomm Incorporated Segmentation of 3D point clouds for dense 3D modeling
WO2013170260A1 (en) 2012-05-11 2013-11-14 Proiam, Llc Hand held dimension capture apparatus, system, and method
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9135543B2 (en) 2012-06-20 2015-09-15 Apple Inc. Compression and obfuscation of three-dimensional coding
US9420265B2 (en) 2012-06-29 2016-08-16 Mitsubishi Electric Research Laboratories, Inc. Tracking poses of 3D camera using points and planes
WO2014018553A1 (en) 2012-07-24 2014-01-30 Datalogic ADC, Inc. Systems and methods of object measurement in an automated data reader
EP2693362B1 (de) 2012-07-31 2015-06-17 Sick Ag Erfassungssystem zur Montage an einem Förderband
US8757479B2 (en) 2012-07-31 2014-06-24 Xerox Corporation Method and system for creating personalized packaging
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9472022B2 (en) 2012-10-05 2016-10-18 University Of Southern California Three-dimensional point processing and model generation
US20140192050A1 (en) 2012-10-05 2014-07-10 University Of Southern California Three-dimensional point processing and model generation
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US20150161793A1 (en) * 2012-11-05 2015-06-11 Mitsubishi Electric Corporation Three-dimensional image capture system and particle beam therapy system
US9562971B2 (en) * 2012-11-22 2017-02-07 Geosim Systems Ltd. Point-cloud fusion
MY172143A (en) 2012-12-13 2019-11-14 Mimos Berhad Method for non-static foreground feature extraction and classification
US9154773B2 (en) 2013-03-15 2015-10-06 Seiko Epson Corporation 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
US9558559B2 (en) 2013-04-05 2017-01-31 Nokia Technologies Oy Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN105246744A (zh) 2013-05-29 2016-01-13 丰田自动车株式会社 驻车支援装置
US9443297B2 (en) 2013-07-10 2016-09-13 Cognex Corporation System and method for selective determination of point clouds
US20150088618A1 (en) 2013-08-26 2015-03-26 Ims Solutions, Inc. Road tolling
US10007336B2 (en) * 2013-09-10 2018-06-26 The Board Of Regents Of The University Of Texas System Apparatus, system, and method for mobile, low-cost headset for 3D point of gaze estimation
US9615012B2 (en) * 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US20150106403A1 (en) * 2013-10-15 2015-04-16 Indooratlas Oy Generating search database based on sensor measurements
US9412040B2 (en) 2013-12-04 2016-08-09 Mitsubishi Electric Research Laboratories, Inc. Method for extracting planes from 3D point cloud sensor data
MY177646A (en) 2014-02-28 2020-09-23 Icm Airport Technics Australia Pty Ltd Luggage processing station and system thereof
CN103945208B (zh) 2014-04-24 2015-10-28 西安交通大学 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法
AU2015280776B2 (en) 2014-06-27 2019-08-22 Crown Equipment Corporation Vehicle positioning or navigation utilizing associated feature pairs
US11051000B2 (en) 2014-07-14 2021-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for calibrating cameras with non-overlapping views
DE102014011821A1 (de) 2014-08-08 2016-02-11 Cargometer Gmbh Vorrichtung und Verfahren zur Volumenbestimmung eines durch ein Flurförderzeug bewegten Objekts
US20160044862A1 (en) 2014-08-14 2016-02-18 Raven Industries, Inc. Site specific product application device and method
CN104200086B (zh) 2014-08-25 2017-02-22 西北工业大学 宽基线可见光相机位姿估计方法
US20160061591A1 (en) 2014-08-28 2016-03-03 Lts Metrology, Llc Stationary Dimensioning Apparatus
JP2016057108A (ja) 2014-09-08 2016-04-21 株式会社トプコン 演算装置、演算システム、演算方法およびプログラム
US9600892B2 (en) 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
US10154246B2 (en) * 2014-11-20 2018-12-11 Cappasity Inc. Systems and methods for 3D capturing of objects and motion sequences using multiple range and RGB cameras
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
US10115035B2 (en) * 2015-01-08 2018-10-30 Sungkyunkwan University Foundation For Corporation Collaboration Vision system and analytical method for planar surface segmentation
US9646410B2 (en) * 2015-06-30 2017-05-09 Microsoft Technology Licensing, Llc Mixed three dimensional scene reconstruction from plural surface models
WO2017008206A1 (en) 2015-07-10 2017-01-19 SZ DJI Technology Co., Ltd. Dual lens system having a light splitter
US9549125B1 (en) 2015-09-01 2017-01-17 Amazon Technologies, Inc. Focus specification and focus stabilization
US20170150129A1 (en) * 2015-11-23 2017-05-25 Chicago Measurement, L.L.C. Dimensioning Apparatus and Method
KR102373926B1 (ko) * 2016-02-05 2022-03-14 삼성전자주식회사 이동체 및 이동체의 위치 인식 방법
US9791862B1 (en) 2016-04-25 2017-10-17 Thayermahan, Inc. Systems and method for unmanned undersea sensor position, orientation, and depth keeping
US9778388B1 (en) 2016-12-22 2017-10-03 Thayermahan, Inc. Systems and methods for autonomous towing of an underwater sensor array
US11558601B2 (en) * 2017-11-06 2023-01-17 Symbol Technologies, Llc Methods and apparatus for initializing object dimensioning systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060232684A1 (en) * 2005-04-14 2006-10-19 Takanori Miki White balance adjustment device and color identification device
WO2008057504A2 (en) * 2006-11-06 2008-05-15 Aman James A Load tracking system based on self- tracking forklift
US20120249802A1 (en) * 2010-12-01 2012-10-04 The Trustees Of The University Of Pennsylvania Distributed target tracking using self localizing smart camera networks
US20120250984A1 (en) * 2010-12-01 2012-10-04 The Trustees Of The University Of Pennsylvania Image segmentation for distributed target tracking and scene analysis
US20140270480A1 (en) * 2013-03-15 2014-09-18 URC Ventures, Inc. Determining object volume from mobile device images
US20160188986A1 (en) * 2014-12-25 2016-06-30 Fujitsu Limited Detection system and detection method

Also Published As

Publication number Publication date
US20180053305A1 (en) 2018-02-22
GB2567590B (en) 2022-02-16
WO2018034730A1 (en) 2018-02-22
CN109844807B (zh) 2024-03-01
GB201902180D0 (en) 2019-04-03
US10776661B2 (en) 2020-09-15
GB2567590A (en) 2019-04-17
DE112017004142T5 (de) 2019-05-02
CA3029559C (en) 2021-03-16
CA3029559A1 (en) 2018-02-22

Similar Documents

Publication Publication Date Title
CN109844807A (zh) 用于对物体进行分割和确定尺寸的方法、系统和装置
CN110383334A (zh) 用于分割物体的方法、系统和装置
US8498472B2 (en) Image-based localization feature point registration apparatus, method and computer-readable medium
CN107817496A (zh) 用于自动车辆的激光雷达对象检测系统
JP2019514123A (ja) 地理的領域におけるコンテナ内に格納された量の遠隔決定
US20190065823A1 (en) Separation of objects in images from three-dimensional cameras
CN108898628A (zh) 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质
US20120294534A1 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
CN107077735A (zh) 三维对象识别
US11869256B2 (en) Separation of objects in images from three-dimensional cameras
Nick et al. Camera-assisted localization of passive rfid labels
Li et al. High-level visual features for underwater place recognition
CN115205610A (zh) 感知模型的训练方法、训练装置及电子设备
CN114358133B (zh) 一种基于语义辅助双目视觉slam检测回环帧的方法
US11941892B2 (en) Method and device for providing data for creating a digital map
CN107818596A (zh) 一种场景参数确定方法、装置及电子设备
JP6894395B2 (ja) 情報取得装置及び情報集計システム並びに情報集計装置
CN110472085A (zh) 三维图像搜索方法、系统、计算机设备和存储介质
CN111860035A (zh) 图书封面检测方法、装置及存储介质和电子设备
Paolanti et al. Semantic 3D object maps for everyday robotic retail inspection
Tabb et al. Using cameras for precise measurement of two-dimensional plant features: CASS
JP5975484B2 (ja) 画像処理装置
CN115727857A (zh) 定位方法、定位装置、车辆、存储介质和程序产品
GB2601940A (en) Methods, systems and apparatus for segmenting and dimensioning objects
GB2597875A (en) Methods, systems and apparatus for segmenting and dimensioning objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant