CN102564338B - 用于物体计量的系统和方法 - Google Patents

Abstract

系统包括飞行时间(TOF)照相机或类似设备，耦合到TOF照相机的处理器，以及传感器。处理器接收来自传感器的TOF数据。TOF数据与TOF设备的范围内的物体相关。处理器采用飞行时间数据计算物体的尺寸。

Description

用于物体计量的系统和方法

技术领域

本发明涉及物体计量，以及在实施例中，但不作为限制，涉及采用飞行时间照相机测量物体计量(metrology)的系统和方法。

背景技术

航运和投递公司处理大宗货物的运输、航运，以及分配。有效的资产管理和清楚的账单是这些公司高生产率和客户满意度的两个重要方面。为了满足这些方面，公司在贯穿供应链的多个阶段采用自动化以在这个激烈竞争的行业里生存。例如，用于资产管理的条形码技术的更广泛应用为这些公司产生了更高的生产率。然而，账单过程的某些方面仍然需要人为介入，例如托运货物尺寸的测量。当前产生的基于图像的自动识别和数据捕捉(AIDC)装置不支持这种货物的测量。货物以及其他物体尺寸的非接触、自动测量会实现更高的生产率、清楚的账单，以及增强的客户满意度。

同样地，在汽车和其他制造工业中，装配过程期间的尺寸误差容限导致产品质量下降并且，因此冗长的校正举措。为了避免这样，需要对部件和组件几何形状的精确及有效的计量方案。

目前，在上述提到的例如航运以及制造之类的市场中用于资产管理所需的物体计量任务由大量的人工努力，或操作员简单的估算来执行，并且这导致收益的损失、低生产率、含糊的账单，以及差的客户满意度。

附图说明

图1是采用飞行时间(TOF)照相机确定物体计量的系统的示例性实施例的框图。

图2是采用飞行时间照相机确定物体计量的实例过程的流程图。

图3是采用飞行时间照相机确定物体计量的另一示例性过程的流程图。

图4是计算机处理器和系统的框图，本公开的一个或多个实施例与其相关。

具体实施方式

飞行时间(TOF)照相机和装置是专门主动照相机传感器，其通过侧量光行进到视场中的物体和返回到照相机所用的时间来确定视场每个像素的范围和强度。在典型TOF照相机中，在测量时宽光条射到物体表面上。照相机捕捉投射的光条并且采用三角测量和数字成像将其转化成数以千计的3-D测量点。这种照相机的典型空间分辨率为64x16，160x120，176x144，200x200像素，以及其他空间分辨率，具有达到每秒100帧(fps)的可变帧率。

在实施例中，使用TOF照相机来确定物体的尺寸。TOF照相机中的处理器执行一般的图像处理程序，例如噪声过滤、视图归一化、角点检测，以及基于捕捉的3D数据的物体分割。数据能够被定制为适应3D图像。例如，可以修改多个图像分割算法的一个，例如可用于2D图像的区域生长法以用于从3D数据分割物体。观测之下的物体可以通过利用每个像素与相邻像素的2D连接以及3D空间中像素的相应位置从背景中分割。来自3DTOF照相机的直接距离测量，当在手持自动成像和数据捕捉(AIDC)装置中采用时，可以有助于改进生产率，帐单，以及客户满意度，实现有效的供应链管理。在帐单端，这样的计量信息可以有助于确定精确的费用。在投递端，该计量信息可以作为投递以及准确托运给客户的凭证。

在实施例中，飞行时间用于自动校正包含条形码的表面的方向，以改善解码条形码内容的精度。TOF照相机提供用于物体表面的3D几何形状的精确测量。通过补偿由于条形码印于其上的表面的几何形状而导致的条形码的变形，3D表面描述被用于标准化下层表面(例如，弯曲物体和倾斜表面)的几何形状。

图1说明了包括基于飞行时间(TOF)传感器的3D成像器或照相机110的系统100。TOF照相机110包括普通光学透镜115，还可以包括处理器125以及存储介质130。TOF照相机110除像素阵列127外还包括调制的光源120例如激光或发光二极管(LED)。调制的光源120可以朝向物体140发射光脉冲。到达物体140的光脉冲，反射回到TOF照相机110，经由透镜115接收，并且碰击在像素阵列127上。光脉冲从光源120行进到物体140以及返回到照相机110和像素阵列127所用的时间可由处理器125确定。此外，在实施例中，像素阵列127和处理器125能够确定进入的光的相位，强度，以及色彩特征。由处理器125计算的任何数据或结果可以存储在存储介质130中。

处理器125可采用普通互补金属氧化物半导体(CMOS)工艺在单芯片中实现。关注的物体140由短光脉冲150A，155A照亮，并且照相机110测量在反射光150B，155B返回到照相机110且碰击像素阵列127之前所花费的时间。这个时间直接与照相机110与物体140间的距离成比例，并且特别地，与物体的不同部分成比例，例如图1所示的140A，其更靠近照相机，以及图1所示的140B，其更远离照相机。这样，照相机110可以为像素阵列127上的每个像素提供距离范围值。对于物体的不同部分，行进时间值越大表示距离照相机越远。这些像素距离差异可以接着用于确定物体的尺寸。

该原理与3D扫描仪的原理相似。然而，使用3D扫描仪，物体必须在x-y平面中被扫描。相反，TOF照相机110在单个时刻及时捕捉整个景象。如该实施例中所述，强度，颜色和数据伴随厚度(飞行时间)数据而捕获。该数据的整体或部分经受本领域中已知的多个图像处理技术的一个或几个。来自该处理的输出，无论其来自纯深度分析，或其来自结合强度，颜色，以及相位数据与公知视频处理技术的深度分析，将导致物体140的长度，宽度，大小，体积以及其他物理特性的测量。

由于照射光源120可以靠近TOF照相机110的透镜115布置，3DTOF照相机110可以被设计与生产成非常紧凑。距离信息的提取，如上所述，是需要最小处理能力的相对简明的过程。进一步，可以采用能够以大概每秒100帧的速率捕获和处理的快速TOF照相机用于实时应用。

物体的计量可以通过提取在观测之下的物体140的三维(3D)点云来解决。该3D点云可以通过飞行时间(TOF)照相机110和计算机处理器125产生。在实施例中，物体计量系统100可实施在手持设备中，其可容易地用于确定航运业中物体的尺寸和体积，或者用于确定与装配线上生产的货物规格的顺应性，仅举两例。这样的手持设备甚至可以与手持条形码扫描仪耦合，以及来自物体计量单元的附加数据连同其他生产信息被编码在条形码中，导致有效的供应链管理。

图2和3是采用飞行时间照相机确定物体计量的示例过程200和300的流程图。图2和3分别包括多个处理块205-235以及305-355。虽然在图2和3的实例中顺序地布置，但是其他实例可以重新排序这些块，省略一个或多个块，和/或采用被组织为两个或多个虚拟机或子处理器的多处理器或单处理器来并行执行两个或多个块。此外，其他实例仍然可以将块实施为一个或多个具体互连的硬件或集成电路模块，具有在模块之间传送和通过模块传送的相关控制和数据信号。这样，任一处理流程适用于软件，固件，硬件，以及混合实现。

具体参见图2的过程200，在205，采用与TOF照相机视场中的物体相关联的飞行时间(TOF)照相机深度数据，并且在210，使用计算机处理器采用TOF数据计算物体的尺寸。如上所述，通过将光脉冲从TOF照相机传送到关注的物体来生成TOF数据。光脉冲被关注的物体反射，且由与TOF照相机相关联的像素阵列感测。

在215，计算的物体的尺寸并入条形码。在220，物体包括制造的物体，并且使用尺寸数据来分析制造物体的质量。在225，尺寸计算包括标准化物体的视图以及从背景分割物体中一个或多个。在230，当检测条形码时，采用物体表面的3D几何形状来补偿图像的几何失真，并且在235，当读取条形码时，采用物体表面的3D几何形状来补偿图像中的几何失真。

参见图3的过程300，在305，采用飞行时间(TOF)照相机提供深度信息。在310，采用照相机传感器提供图像色彩强度。在315，计算照相机视场内的物体表面的方向与曲率。

在320，由单个传感器提供深度信息和图像色彩强度。在325，采用视场内的物体表面来估算物体的尺寸。在330，物体尺寸加入到条形码信息。在335，采用物体尺寸估算用于处理物体的交易费用。在340，采用视场内的物体表面来补偿由于表面的几何特性而造成的图像内的失真。在345，采用图像检测和解码条形码。在350，物体包括人，并且计算用于识别人的一组计量生物学特征。在355，采用深度信息和图像色彩强度来识别物体。

图4是硬件和操作环境的概览图，结合该硬件和操作环境可以实现本发明的实施例。图4的描述旨在提供合适的计算机硬件以及适合的计算环境的简明、概括说明，与其结合可以实现本发明。在某些实施例中，在计算机可执行指令的通常上下文中来描述本发明，该计算机可执行指令例如是程序模块，由计算机例如个人计算机执行。通常，程序模块包括例行程序，程序，对象，分量，数据结构等，其执行特定的任务或实施特定的抽象数据类型。

此外，本领域技术人员将意识到本发明可以采用其他计算机系统配置来实施，包括手持设备，多处理器系统，基于微处理器或可编程的消费类电子产品，网络PCS，微型计算机，大型计算机等类似的。本发明还可以在分布式计算机环境中实施，其中由通过通信网链接的I/O远程处理设备执行任务。在分布式计算机环境中，程序模块可以位于本地和远程记忆存储设备中。

在图4所示的实施例中，提供的硬件和操作环境可应用于其他图中所示的任何服务器和/或远程客户端。

如图4所示，硬件和操作环境的一个实施例包括通用的形式为计算机20的计算设备(例如，个人计算机，工作站，或服务器)，包括一个或多个处理单元21，系统存储器22，以及可操作地耦合包括系统存储器22的各种系统元件到处理单元21的系统总线23。此处可能只有一个或者可能不止一个处理单元21，这样计算机20的处理器包括单个中央处理单元(CPU)，或者多个处理单元，通常是指多处理器或并行处理器环境。多处理器系统可以包括云计算环境。在各个实施例中，计算机20是传统计算机，分布式计算机，或任何其他类型计算机。

系统总线23可以是多种总线结构类型的任一种，其包括存储器总线或存储器控制器，外围总线，以及采用多种总线结构中任一种的本地总线。系统存储器还可以是仅仅指存储器，以及，在某些实施例中，包括只读存储器(ROM)24和随机存取存储器(RAM)25。基本的输入/输出系统(BIOS)程序26(包括帮助在计算机20中的元件间传输信息的基本例程程序)例如在启动期间，可以存储在ROM24中。计算机20还包括用于从硬盘读取和写入硬盘的硬盘驱动器27，未示出的，用于从可移动磁盘29读取或写入可移动磁盘29的磁盘驱动器28，以及用于从可移动光盘31读取或写入可移动光盘31(所述可移动光盘例如CDROM或其他光介质)的光盘驱动器30。

硬盘驱动器27，磁盘驱动器28，和光盘驱动器30分别耦合硬盘驱动接口32，磁盘驱动接口33，和光盘驱动接口34。这些驱动器以及与其关联的计算机可读介质提供了用于计算机20的计算机可读指令，数据结构，程序模块以及其他数据的非易失性存储。本领域的技术人员应当理解的是，可存储由计算机访问的数据的任何类型计算机可读介质，例如磁盒，闪存卡，数字录像盘，伯努利盒式磁带，随机存取存储器(RAM)，只读存储器(ROM)，独立磁盘的冗余阵列(例如，RAID存储设备)等类似的，都可用于典型的操作环境中。

多个程序模块可以存储在硬盘、磁盘29、光盘31、ROM24，或RAM25上，包括操作系统35、一个或多个应用程序36、其他程序模块37以及程序数据38。包含用于本发明的安全传输引擎的插件可以存储在这些计算机可读介质的任一个或多个上。

用户可以通过输入设备例如键盘40和指示设备42输入命令和信息到计算机20。其他输入设备(未示出)可以包括麦克风、控制杆、游戏板、碟形卫星天线、扫描仪等。这些其他的输入设备通常通过与系统总线23耦合的串行端口接口46连接到处理单元21，但也可由其他接口连接，例如并行端口，游戏端口或通用串行总线(USB)。监视器47或其他类型显示设备还可以经由接口例如视频适配器48连接到系统总线23。监视器47可以为用户显示图形用户界面。除了监视器47，计算机通常包括其他的外围输出设备(未示出)，例如扬声器和打印机。

计算机20可以采用到一个或多个远程计算机或服务器，例如远程计算机49的逻辑连接，在网络环境中操作。这些逻辑连接由耦合到计算机20或计算机20的一部分的通信设备实现；本发明不限于特定类型的通讯设备。远程计算机49可以是另一个计算机，服务器，路由器，网络PC，客户端，对等设备或者其他常用的网络节点，以及通常包括许多或者全部以上描述的与计算机20相关的I/O元件，虽然仅说明了记忆存储装置50。图3中描述的逻辑连接包括局域网(LAN)51和/或广域网(WAN)52。这样的网络环境是在办公网络，企业范围内的计算机网络，内联网以及互联网中最常见的，其是所有类型网络。

当在LAN网络环境中使用时，计算机20经由网络接口或适配器53连接到LAN51，网络接口或适配器53为一种类型的通信设备。在某些实施例中，当在WAN网络环境中使用时，计算机20通常包括调制解调器54(另一类型的通信设备)或任何其他类型的通信设备，例如无线收发器，用于建立在广域网52例如因特网上的通信。调制解调器54，其可以是内部的或外部的，经串行端口接口46连接到系统总线23。在网络环境中，有关计算机20描述的程序模块可以存储在远程计算机的远程记忆存储设备50中，或服务器49中。可以理解，所示的网络连接是示例性的，并且可以采用用于建立计算机间通信链路的其他方式及通信设备，包括混合光纤同轴连接，T1-T3线，DSL，OC-3和/或OC-12，TCP/IP，微波，无线应用协议，以及通过任何合适交换机、路由器、出口和电力线的任何其他电子媒介，正如本领域技术人员所明白和理解的一样。

这样，描述了用于确定物体计量的示例系统，方法和机器可读媒体。虽然描述了特定的实例性实施例，但是显而易见的是，对于这些实施例可以作出各种修改和改变而没有脱离本发明较宽的保护范围。因此，说明书和附图作为示例而不是作为限制。形成其一部分的附图通过示例，且不作为限制示出其中可以实践主题的特定实施例。所说明的实施例已经足够详细的描述，以使本领域的技术人员能够实践此处公开的教导。可以从其利用和得到其他的实施例，这样可以获得结构与逻辑替代以及改变而没有脱离本公开的范围。因此，该具体实施方式不是在限制意义上给出，并且各种实施例的范围仅由随附权利要求连同这样权利要求被给予的等价物的全部范围来限定。

这里提及的是本发明主题的这些实施例，分别地和/或联合地，为了方便仅采用术语“发明”并且没有打算自愿地限制该应用的范围到任何单个的发明或者发明构思，如果事实上公开不只一个的发明构思的话。因此，虽然这里描述和说明了特定实施例，但是可以理解的是为获得相同目的计算的任何布置都可以代替所示出的特定实施例。该公开旨在覆盖各个实施例的任何及所有的适配或改变。上述实施例的组合，以及这里未具体描述的其他实施例，对于本领域技术人员来说在检查上述描述后是明显的。

本发明的实施例包括由机器可读介质提供的机器可执行指令中体现的特征，方法或过程。机器可读介质包括任何机构，其通过机器(如，计算机，网络设备，个人数字助理，生产工具，具有一组一个或多个处理器的任何设备等)访问的形式提供(即，存储和/或传输)信息。在典型实施例中，机器可读介质包括易失性介质和/或非易失性介质(如，只读存储器(ROM)，随机存取存储器(RAM)，磁盘存媒介质，光盘存储媒介，闪存设备等)，以及电，光，声或其他形式的传播信号(如，载波，红外信号，数字信号等))。因此，机器可读介质可以本质上是有形或无形的。

遵循37C.F.R.§1.72(b)给出了摘要并且摘要允许读者快速确定公开技术的特性和要点。要理解摘要的提交并不用于解释或限制权利要求的范围或意思。

在实施例的上述描述中，为了精简本公开，将多个特征组合在单个实施例中。这种公开的方法并不是解释以反映出其权利要求的实施例具有比每个权利要求中明确记载的更多的特征。相反，如下面权利要求反映的，发明主旨在于少于单个公开的实施例的所有特征。因此，下述的权利要求在此被并入到实施例的描述中，每个权利要求代表其自身作为一个独立的示例性实施例。

Claims (8)

1.一种用于物体计量的方法，包括：

采用与飞行时间TOF照相机视场内的物体相关联的TOF数据；以及

采用耦合到TOF照相机的计算机处理器，用TOF数据计算物体的尺寸；

包括将计算的物体尺寸并入条形码中。

2.如权利要求1所述的用于物体计量的方法，其中物体包括制造的物体，以及包括采用尺寸数据分析制造的物体的质量。

3.如权利要求1所述的用于物体计量的方法，其中当读取条形码时，采用物体表面的3D几何形状来补偿图像中的几何失真。

4.一种用于物体计量的方法，包括：

采用飞行时间TOF照相机提供深度信息；

采用照相机传感器提供图像色彩强度；以及

计算照相机视场内物体表面的定向和曲率；

包括采用视场内物体的表面来估算物体的尺寸；以及

将估算的物体尺寸并入条形码中。

5.如权利要求4所述的用于物体计量的方法，包括采用视场内物体的表面来补偿由于表面的几何特性而导致的图像中的失真。

6.如权利要求5所述的用于物体计量的方法，包括采用图像来检测和解码条形码。

7.如权利要求4所述的用于物体计量的方法，其中物体包括人，以及计算一组计量生物学特性以识别人。

8.一种用于物体计量的系统，包括：

飞行时间TOF设备；

耦合到TOF设备的处理器；以及

传感器；

其中处理器配置为：

从传感器接收TOF数据，TOF数据与在传感器的范围内的物体相关；以及

采用飞行时间数据计算物体的尺寸；

将计算的物体尺寸并入条形码中。