CN107289855A - 用于测量目标对象的尺寸的方法和系统 - Google Patents

Abstract

本发明涉及一种用于测量目标对象的尺寸的方法。所述方法包括：获取表示物理空间的深度数据，所述深度数据包括所述目标对象的数据；将所述深度数据转换成点云；从所述点云提取至少一个平面；识别地平面；从所述点云排除所述地平面；从剩余的点云提取至少一个点集群；识别所述目标对象的点集群；基于所述目标对象的所述点集群来估计所述目标对象的体积。

Description

用于测量目标对象的尺寸的方法和系统

技术领域

本发明涉及用于测量目标对象的尺寸的方法和系统。

背景技术

在多个工业应用中需要测量目标对象的空间尺寸。一个示例性应用是测量加载在板(pallet)上的货物的尺寸。用于测量这样的板负载，例如可以使用固定式扫描仪。然后可以使用所测量的板负载的尺寸来获得板的重量，例如，基于加载的货物的具体重量。另外，如果板完全加载，可以建立。

目前，所使用的扫描仪限于对立方体对象的识别，并且由于它们的固定位置而常常不能灵活地使用。

发明内容

因此，本发明的目的是提供用于测量对象的尺寸的方法和系统，其能够灵活地使用并允许测量具有不同形状的对象。

在本发明中，提供了允许测量目标对象的尺寸的方法和系统。

根据实施例，本发明的方法包括：

获取表示物理空间的深度数据，所述深度数据包括所述目标对象的数据；

将所述深度数据转换成点云；

从所述点云提取至少一个平面；

识别地平面；

从所述点云排除所述地平面；

从剩余的点云提取至少一个点集群；

识别所述目标对象的点集群；

基于所述目标对象的所述点集群来估计所述目标对象的尺寸。

首先，获取包括目标对象的数据的深度数据。深度数据可以使用3D视觉装置来获取，例如，3D摄像机系统、立体摄像机、飞行时间摄像机或激光扫描仪，该3D视觉装置例如基于三角测量。3D视觉装置可以扫描包含目标对象的场景。特别地，使用手持3D视觉装置。

有利地，使用包括摄像机和结构化照明装置的3D摄像机系统来获取深度数据。结构化照明装置可以远离3D摄像机系统的摄像机来布置。可以在视频序列中获取深度数据，其中可以组合具有例如几秒钟的持续时间的视频序列的信息。

然后将深度数据转换为点云，其中点云的点可以拼接(stitched)在一起。拼接导致点云的点连接，尽管点云的点可能已经在不同时间(例如，在视频序列的不同时间)处或者在不同的视角下被获取。

特别地，深度数据以及关于深度数据的空间信息可以用于创建点云。点云可以在三维空间中表示目标对象和其他对象。点云还可以包括不是目标对象的其他对象的点。点云中的每个点可以包括x-方向上的值、y-方向上的值和z-方向上的值。x-、y-和z-方向每个可以垂直于其他两个方向。备选地，点云的点可以具有极坐标形式的空间坐标。

从点云中，提取至少一个平面。也就是说，识别来自点云的平坦表面，其中平坦表面定义为点云的平面。优选地，从点云中提取所有平面。换句话说，从点云中提取可以识别的所有平面。

从至少一个平面或多个提取的平面中，识别地平面。如果仅提取一个平面，则将该平面识别为地平面。地平面表示源自扫描场景的地或地面的点云的点。可以在所有识别的平面中识别地平面，例如。由于其空间取向和/或由于其大小。在识别地平面之后，将地平面从点云去除，以减少点云中点的数量。当从点云去除地平面时，表示地平面的所有点在点云中被排除。因此，只有包含在深度数据中的对象保留在点云中，从而便于更容易识别目标对象，这需要更少的计算量和存储使用。

当地平面被排除时，点云中的不同对象可能不再连接。这些未连接的对象可以分离成不同的对象。由此，可以实现目标对象与其他物体之间的第一辨别。因此，目标对象的识别被简化并且可以采用计算有效的方式执行。

在点云的剩余点中，提取至少一个点集群。点集群可以是多个点的聚合，其中点包括到点集群的最靠近的另外点的预定义的最大空间距离。在点云中，可以存在多个点集群并且可以提取或识别。优选地，提取所有点集群(即，可以识别的所有点集群)。

为了识别目标对象的点集群，可以将目标对象的点集群示例性地识别为最靠近于例如3D摄像机系统的点集群。这是基于使用3D视觉装置的人将3D视觉装置指向目标对象的假设。备选地，具有最多点的点集群可以识别为目标对象的点集群。如果仅提取一个点集群，则将这一个点集群识别为目标对象的点集群。

当目标对象的点集群已经被识别时，可以基于目标对象的点集群来估计目标对象的尺寸。

从目标对象的尺寸，例如，可以计算目标对象的体积和/或体重。作为示例，可以计算点集群的外表面，其中目标对象的体积被估计为外表面内的体积。如果点集群不包括目标对象的封闭外表面(例如，目标对象的背面对于3D视觉装置是不可见的)，则外表面可被推断或估计，以便实现封闭的外表面。

根据实施例，该方法还包括在识别地平面之前从点云去除背景。随着点云的背景点被去除，点云中点的数量可以减少，导致对剩余点的更快和更有效的处理。这也使得更容易识别地平面。作为示例，背景可以定义为与3D视觉装置距离大于预定义的阈值的所有点。

根据另一实施例，如果点云的点的值在至少一个维度上大于预定的阈值，则点云的点定义为背景点。特别地，可以建立对于x-方向、y-方向和/或z-方向的阈值。如果点云的点具有高于这些阈值中的至少一个的值，则点云的点被分类为背景。

更具体地说，如果使用x-、y-和z-方向上的坐标，则如果符合以下条件中的一个或多个，则可将点定义为背景：

X>MIN(X)+T，

Y>MIN(Y)+T和/或

Z>MIN(Z)+T，

其中T是可配置的参数，X、Y、Z分别是x-、y-、z-方向上点云的点的值，以及MIN(X)/MIN(Y)/MIN(Z)分别是在x-/y-/z方向上的点云的任何点的最小值。对于每个方向，最小值(MIN(X)，MIN(Y)，MIN(Z))可以不同。

x-、y-、z-坐标系的原点可以是3D视觉装置。因为特别是当使用手持3D视觉装置时，这种方式可以更容易地执行本发明的方法，所以可以在方法开始之前定义坐标系统。因此，在执行方法期间不需要改变坐标系统。

在另一实施例中，识别地平面包括重复地识别点云中的平面，存储所识别的平面，并从点云暂时去除所识别的平面。在所有平面被识别、存储并从点云中去除之后，可以在所有存储的和识别的平面中最终识别出地平面。换句话说，相应识别的平面仅从点云暂时去除，直到点云的所有平面被识别。也就是说，从点云中去除所识别的平面可以简化并因此更有效地识别点云中的其他平面。从点云中去除识别的平面也可以防止一个平面被多次识别。

此外，随着越来越多的平面被识别，存储和从点云中去除，点云中剩余的点的数量减少。当在点云中识别连续的平面时，这允许越来越快的处理。

识别的平面可以以法向量形式或以ax+by+cz+d＝0的形式存储，其中a、b、c和d是系数，以及x、y、z是x-、y-和z方向上的变量。例如，地平面可以被识别为具有基本上平行于z-方向的法向量的平面。

通常，预计在点云中可以检测到4到5个平面。因此，识别点云中的平面、存储所识别的平面并从点云去除所识别的平面的步骤必须执行4到5次。当在剩余的点云中不能找到平面时，不再重复存储所识别的平面并从点云去除所识别的平面的步骤。

根据另一实施例，使用RANSAC算法来识别点云中的平面。RANSAC(随机抽样一致)算法是一种迭代方法来估计观测数据集的参数。如果测量数据(即深度数据)包含异常值(即远离其他点的点云的点)，这通常是深度数据和点云的情况，则RANSAC算法特别有用。

在另一实施例中，识别目标对象的点集群包括将最靠近的点集群识别为目标对象的点集群。因此，假设最靠近的点集群最有可能是目标对象，因为当使用例如手持3D视觉装置时，3D视觉装置将指向目标对象。可以识别最靠近的点集群，使得如果使用x-、y-和z-方向上的坐标，则点集群的一个点具有对于x²+y²+z²的最小值。

在另一实施例中，针对每个点集群计算形心点(centroid point)，其中基于对应的形心点来计算每个点集群的距离(例如，到3D视觉装置)。形心点可以表示点集群的几何中心或点集群的重心。

在另一实施例中，使用点集群之间预定义的最小距离和/或预定义的最小集群大小来识别点集群。预定义的最小距离和/或预定义的最小集群大小可以是可配置的参数。

点集群可以是点云的点的聚合，其中点集群的每个点具有到点集群的另一点的最大距离，其小于点集群之间的预定义的最小距离。也就是说，不同点集群的两个点将至少具有等于或大于点集群之间的预定义的最小距离的距离。

另外，点集群可以具有预定义的最小数量的点，即预定义的最小集群大小。

如果点的聚合未达到点的最小数量，则点的聚合优选不被识别为点集群。在该方法的另外步骤中，可以忽略这样的点的聚合中的点。

在另一个实施例中，使用具有x-、y-和z-方向的坐标系统，其中x-、y-和z-方向中的每一个优选垂直于其他两个方向，并且其中，旋转目标对象的点集群，使得地平面将平行于z＝0的平面。具体地说，可以使用旋转矩阵来执行旋转，其中通过旋转矩阵的旋转将旋转地平面(如果使用旋转矩阵进行旋转)，使得地平面将变得平行于z＝0的平面。因为当目标对象的点集群旋转时已经可以排除地平面，所以只能旋转目标对象的点集群。

在z＝0的平面中，所有点的z值都为零。z＝0的平面可以是从3D视觉装置观察时水平对齐的平面。可以使用旋转矩阵来计算旋转，所述旋转矩阵又可以基于地平面相对于z＝0的平面的位置和取向来计算。点集群的这种旋转便于更容易地计算目标对象的尺寸。

在另一实施例中，在目标对象的点集群旋转之后计算目标对象的高度。目标对象的高度可以容易地计算为目标对象在z-方向上的点集群的两个点的最大距离。

在另一个实施例中，针对目标对象的点集群来计算最小闭合平坦几何形状。平坦几何形状可以是三角形、矩形、圆形、多边形等。优选地，使用矩形，其中矩形可以是目标对象的点集群的点的边界框。基于几何形状的尺寸，可以计算或估计目标对象的尺寸和/或体积。使用不同的几何形状具有以下优点：可以计算具有不同形式的目标对象的尺寸。特别地，也可以处理非立方体形状或不规则形状。

可以计算几何形状的大小，使得在x-和y-方向上，几何形状包括每个边界线中的目标对象的点集群的至少一个点，并且大多数点位于边界线内。备选或另外地，在几何形状的每个边界线之外，可以存在目标对象的点集群的至少一个点。可以增加几何形状的大小，直到仍然满足上述条件中的一个或两个。

作为示例，基于矩形的宽度和长度以及对象高度，可以计算目标对象的尺寸和/或体积。优选地，在目标对象的点集群的旋转之后计算矩形。另外优选地，计算矩形，使得其平行于地平面或z＝0的平面。

根据另一实施例，在计算最小闭合平坦几何形状之前，将目标对象的点集群投影到地平面或z＝0的平面上。由于对于几何形状的所有计算都可以在二维空间而不是三维空间中执行，所以到地平面或z＝0的平面的投影允许更容易和更快速地计算几何形状。此外，也可以采用相同的方式来计算升高的目标对象(例如叉车上的板负载)的尺寸。有利的是，通过将目标对象的点集群的点的值设置为零的z值来执行到z＝0的平面上的投影。

优选地，所使用的几何形状可以从预定义数量的几何形状中选择，其中实际使用的形状被选择，使得在不超过到地平面的投影的情况下闭合最大数量的点。可以选择几何形状，使得通过最小的距离将目标对象到地平面上的投影闭合。

在另一实施例中，使用手持3D视觉装置来获取深度数据。手持3D视觉装置可以是3D摄像机系统，特别是具有结构化光照明的3D摄像机系统、激光扫描仪、飞行时间摄像机(TOF-摄像机)或立体声摄像机。手持3D视觉装置的使用允许灵活地测量不同的目标对象，因为3D视觉装置可以容易地移位或携带。

在另一实施例中，深度数据从手持3D视觉装置传送到便携式处理装置。可以在处理装置中执行深度数据的处理和目标对象的尺寸的估计。因此，3D视觉装置可以具有更少的部件并且包括更小的壳体，从而使其更易于使用。手持3D视觉装置与处理装置之间的传输可以是无线的，例如，使用无线LAN(局域网)，或者可以使用电缆连接。手持3D视觉装置可以使用电缆连接提供电能。备选地，处理装置可以是固定的。

处理装置可以是可以经由因特网连接到手持3D视觉装置的主机服务器。备选地，处理装置可以包括可以用于处理装置与主机服务器的通信的因特网连接。主机服务器可以部分或完全地执行本发明方法的计算步骤。

在另一实施例中，目标对象是板负载。因此，可以使用本发明的方法来验证板是否已被完全加载。此外，本发明的方法也可以通过常规包装来使用，即不在板上的物品。

在另一实施例中，识别和评估条形码或另一机器可读的信息，其中该条形码或另一机器可读的信息优选地包含关于目标对象的信息。该条形码或机器可读的信息可以附接到目标对象的表面，并且可以包含例如，关于目标对象的大小的信息(即板负载)。该信息可用于评估板负载是否完整。条形码或机器可读的信息可以是数据的光学机器可读的表示。条形码或机器可读的信息可用于识别目标对象本身和/或目标对象的点集群。为此，可以确定条形码或机器可读的信息的空间位置并将其与提取的点集群的空间位置相关联。这可以便于识别目标对象的点集群。

可以使用3D摄像机系统识别条形码，其中可以由处理装置执行评估(即，读取条形码的信息)。

在另一实施例中，可以捕获图像，其中图像显示目标对象。该图像可以用3D摄像机系统的摄像机来捕获，并且可以帮助识别不同的点集群，例如，通过使用图像的不同区域的颜色或灰度值差。

本发明还包括一种用于测量目标对象的尺寸的系统，所述系统包括：

3D视觉装置，用于获取表示物理空间的深度数据，所述深度数据包括所述目标对象的数据，以及

处理装置，用于处理所述深度数据，其中所述处理装置用于：

将所述深度数据转换成点云，

从所述点云提取至少一个平面，

识别地平面，

从所述点云排除所述地平面，

从剩余的点云提取至少一个点集群，

识别所述目标对象的点集群，

基于所述目标对象的所述点集群来估计所述目标对象的尺寸。

有关本发明方法的描述适用于本发明的系统。鉴于优点和所描述的优选实施例，这是特别真实的。

在本发明系统的实施例中，处理装置可以布置在处理单元中。处理单元可以与3D视觉装置分离。备选地，3D视觉装置和处理装置可以共享一个单个壳体。

3D视觉装置可以例如是3D摄像机系统、立体声摄像机、飞行时间摄像机或激光扫描仪，其例如基于三角测量。特别地，使用手持3D视觉装置。

有利地，3D摄像机系统包括摄像机和结构化照明装置以获取深度数据。结构化照明装置可以远离3D摄像机系统的摄像机来布置。

附图说明

从以下描述和附图中，本发明的各种特征和优点将变得更加明显，其中：

图1描绘用于测量目标对象的尺寸的方法的示例性流程图；

图2示出用于测量目标对象的尺寸的系统的示例性实施例；

图3A示出由如图2所示的系统获取的深度数据计算的点云的示例；

图3B示出图3A的点云，其中已经去除地平面；

图3C示出图3B的点云，其中已经计算出形心点；

图3D示出与图3C隔离的目标对象的点集群；以及

图3E示出图3D的目标对象的点集群到z＝0的平面上的投影。

参考标号

10 摄像机

14 发射光

16 目标对象

18 板

20 另外的对象

22 处理单元

24 点云

26a-26e 平面

28a-28e 点集群

30 形心点

32 矩形

100 获取3D深度数据

110 将深度数据转换为点云

120 背景过滤

130 多平面分割

140 地面层排除

150 集群提取

160 旋转

170 闭合矩形计算

具体实施方式

参考附图，其中相同的附图标记表示本发明的几个附图和方面的对应部分。图1示出用于测量目标对象的尺寸的方法的流程图。

在步骤100中，3D摄像机系统对包括目标对象的场景执行三维视频扫描，从而提供包括目标对象的深度数据。

在步骤110中，将深度数据转换为拼接的点云。

步骤120表示从点云去除点，其中去除的点对应于背景。也就是说，步骤120代表背景过滤。

在步骤130中，进行多平面分割。换句话说，从点云中提取至少一个平面。通常可以从点云中提取4到5个平面。提取的平面暂时从点云去除，其中在所提取的平面中识别出地平面。

在步骤140中，从点云的所有检测平面中排除地平面。

在步骤150中，从剩余的点云中提取点集群，其中在点集群中识别目标对象的点集群。然后将目标对象的点集群与点云分离。

目标对象的点集群在步骤160中旋转，使得目标对象的平行于地平面的点集群的平面变得平行于z＝0的平面。此外，计算目标对象的高度。

在步骤170中，将目标对象的点集群投影到z＝0的平面上。从投影点计算闭合的矩形，并估计目标对象的尺寸。

现在转向图2，图2示出用于测量目标对象的尺寸的系统的示例性设置。该系统包括接收结构化照明装置(未示出)的反射光14的摄像机10。结构化照明装置的结构照明投影到放置在板18上的目标对象16上。另外的对象20位于紧接板18，其中另外的对象20也被结构照明照射并被摄像机10扫描。另外的对象20也可以布置在板18上。

摄像机10从反射光得出深度数据，所述深度数据包括来自目标对象16和另外的对象20的深度数据。深度数据无线地传送到处理单元22。

处理单元22将深度数据变换为拼接的点云24。与这样的深度数据对应的示例性点云24在图3A中示出。

在点云24中，识别出几个平面。在图3A的示例中，识别出第一平面26a、第二平面26b、第三平面26c、第四平面26d和第五平面26e。第一平面26a属于地面层，而第二平面26b对应于目标对象16的侧表面。第三平面26c覆盖目标对象16的顶表面以及另一对象20的顶表面。相应地，第四平面26d覆盖目标对象16的前侧和另一对象20的前侧。第五平面26e既不属于目标对象16，也不属于另外的对象20。

基于平面26a穿过整个点云并且在z-方向上具有法向量的发现，处理单元22然后将平面26a识别为地平面。x-、y-和z-方向中的坐标系统如图3A所示。

处理单元22然后从点云24去除地平面26。剩余的点云24在图4中示出。在剩余的点云24中，识别点集群28，其中使用点集群28之间的预定义的最小距离和/或预定义的最小集群大小来识别点集群28。

如在图3B和3C中示出，识别第一点集群28a、第二点集群28b和第三点集群28c。对于每个点集群，计算形心点30(图3C)。示出了形心点30到摄像机10的距离。点集群28a最靠近摄像机10，以及因此被定义为目标对象的点集群28a。

然后分离目标对象的点集群28a，如图3D所示。计算目标对象的点集群28a的高度。

然后将目标对象的点集群28a投影到z＝0的平面(即，所有点具有z值为零的平面)上，如图3E所示。使用点集群28a的投影点，从多个几何形状中选择矩形32，其中计算矩形，使得其闭合投影的点集群28a的最大数量的点，而不超过投影的点集群28a。基于矩形32的大小和地平面26a上的点集群28a的高度，计算尺寸，即目标对象16的体积。

可以在处理单元22的屏幕上显示目标对象16的尺寸的测量结果。

虽然已经结合本文明确阐述的具体实现描述了本公开，但是通过考虑本文公开的说明书，其他方面和实现对于本领域技术人员将是显而易见的。因此，本公开不应限于任何单个方面，而应根据所附权利要求在宽度和范围内解释。例如，本文描述的各种过程可以用硬件、软件或两者的组合来实现。

Claims (18)

1.一种用于测量目标对象的尺寸的方法，包括：

获取表示物理空间的深度数据，所述深度数据包括所述目标对象的数据；

将所述深度数据转换成点云；

从所述点云提取至少一个平面；

识别地平面；

从所述点云排除所述地平面；

从剩余的点云提取至少一个点集群；

识别所述目标对象的点集群；

基于所述目标对象的所述点集群来估计所述目标对象的体积。

2.根据权利要求1所述的方法，其特征在于，还包括在识别所述地平面之前，从所述点云去除背景。

3.根据权利要求2所述的方法，其特征在于，如果在至少一个维度中所述点云的点的值大于预定的阈值，所述点云的所述点被定义为背景。

4.根据权利要求1所述的方法，其特征在于，识别所述地平面包括：重复地识别所述点云中的平面；存储所识别的平面以及从所述点云暂时去除所述识别的平面，其中在所有平面已从所述点云识别、存储和去除之后在所有存储的和识别的平面中识别所述地平面。

5.根据权利要求4所述的方法，其特征在于，RANSAC算法用于识别所述点云中的平面。

6.根据权利要求1所述的方法，其特征在于，识别所述目标对象的所述点集群包括：将最靠近的点集群识别为所述目标对象的所述点集群。

7.根据权利要求6所述的方法，其特征在于，对于每个点集群，计算形心点，其中基于对应的形心点，计算每个点集群的距离。

8.根据权利要求6所述的方法，其特征在于，使用点集群之间的预定义最小距离和/或预定义的最小集群大小来识别所述点集群。

9.根据权利要求1所述的方法，其特征在于，使用具有x-、y-和z-方向的坐标系统，其中所述x-、y-和z-方向中的每个垂直于两个其他方向以及其中所述目标对象的所述点集群被旋转，使得所述地平面将变得平行于z＝0的平面。

10.根据权利要求9所述的方法，其特征在于，在旋转所述目标对象的所述点集群之后，计算所述目标对象的高度。

11.根据权利要求1所述的方法，其特征在于，对于所述目标对象的所述点集群，计算最小闭合平坦几何形状。

12.根据权利要求11所述的方法，其特征在于，在计算所述最小闭合平坦几何形状之前，将所述目标对象的所述点集群投影到所述地平面上或到z＝0的平面上。

13.根据权利要求1所述的方法，其特征在于，使用手持3D视觉装置，获取所述深度数据。

14.根据权利要求13所述的方法，其特征在于，将所述深度数据从所述手持3D视觉装置传输到便携式处理装置。

15.根据权利要求1所述的方法，其特征在于，所述目标对象是板负载。

16.根据权利要求1所述的方法，其特征在于，识别和评估条形码，其中所述条形码包含关于所述目标对象的信息。

17.一种用于测量目标对象的尺寸的系统，所述系统包括：

3D视觉装置，用于获取表示物理空间的深度数据，所述深度数据包括所述目标对象的数据，以及

处理装置，用于处理所述深度数据，其中所述处理装置用于：

将所述深度数据转换成点云，

从所述点云提取至少一个平面，

识别地平面，

从所述点云排除所述地平面，

从剩余的点云提取至少一个点集群，

识别所述目标对象的点集群，

基于所述目标对象的所述点集群来估计所述目标对象的尺寸。

18.根据权利要求17所述的系统，其特征在于，所述3D视觉装置是手持3D视觉装置，以及其中所述3D视觉装置和所述处理装置共享一个单个壳体。