CN107111739A - 物品特征的检测与跟踪 - Google Patents

Abstract

技术通常被描述来用于检测和跟踪物品特征。在一些示例中，可以通过从第一视角检测对象的一个或多个边缘和一个或多个角点来最初找到对象的特征。此外，可以确定检测到的对象的边缘和角点是否也能够从一个或多个其他视角检测到。响应于肯定的确定，可以将检测到的边缘和对象标记为待跟踪特征，例如在相机馈送的后续帧中。视角可以对应于以物体上方为中心的大致伞状结构中的分布位置。在其他示例中，可以编程地控制对象正在被跟踪的环境的照明条件。

Description

物品特征的检测与跟踪

技术领域

除非在此处另外进行说明，本部分所描述的材料不是本申请中权利要求的现有技术并且不因包含在该部分中而承认是现有技术。

背景技术

在各种环境中，当物品或跟踪物品所使用的监视照相机移动时可能需要跟踪物品。例如，在制造环境中，当通过机器人设备使各种各样的零件在组装带上移动并被处理(例如，组装、测试或以其他方式处理)时，可能需要识别和跟踪各种各样的零件。机器人设备通常在执行需要精确度的重复性任务或操作时，与人类对应者相比，通常更精确，更快速，更具成本效益。然而，虽然人类针对手头的任务可以容易地识别零件并将其放置在适当的位置，但是如果零件不在精确选择的位置或者从零件到零件有变化，则机器人可能不能识别相同的零件。在机器人设备处理之前提供零件选择和定位的精确可能导致成本增加和延迟。例如，可能必须为包括多个机器人站的装配带中的每个机器人设备安装特殊的定位机构。

基于物品特征检测物品可能不适用于机器人处理环境。也可能需要通过一个或多个环境来跟踪物品。在许多环境中，照明条件可能会在一天之内变化，或者随着人们和其他机器的移动而变化。因此，目前的检测和跟踪方法及其实现方式可以使用改进和/或替代或附加的解决方案来提供和促进可靠的物品跟踪。

发明内容

本公开总体上描述了实现物品特征的检测和跟踪的技术。

根据一些示例，描述了实现物品特征的检测和跟踪的方法。示例性方法可以包括从第一视角检测物品的一个或多个边缘和一个或多个角点，确定所检测到的物品的一个或多个边缘和一个或多个角点是否能够从至少第二视角检测到，响应于确定所检测到的所述物品的一个或多个边缘和一个或多个角点也能够从至少第二视角检测到，将检测到的物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。

根据其他示例，描述了被配置为实现物品特征的检测和跟踪的装置。示例性的装置可以包括：至少一个图像捕获模块，被配置为从多个视角捕获物品的图像，以及通信地耦合到所述至少一个图像捕获模块的至少一个分析模块。所述至少一个分析模块可以被配置为从第一视角检测所述物品的一个或多个边缘和一个或多个角点，确定检测到的所述物品的一个或多个边缘和一个或多个角点是否能从至少第二视角检测到，并且响应于确定所检测的所述物品的一个或多个边缘和一个或多个角点也能从至少第二视角检测到，将所检测到的所述物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。

根据进一步的示例，描述了实现物品特征的检测和跟踪的系统。示例性的系统可以包括：至少一个图像捕获模块，被配置为从多个视角捕获物品的图像；至少一个定位模块，机械地耦合到所述至少一个图像捕获模块，所述至少一个定位模块被配置为将所述至少一个图像捕获模块移动到大致伞形构造中的多个位置，所述多个位置对应多个视角；以及至少一个控制器，其通信地耦合到所述至少一个图像捕获模块和所述至少一个定位模块。所述至少一个控制器可以被配置为从第一视角检测所述物品的一个或多个边缘和一个或多个角点；确定所检测到的物品的一个或多个边缘和一个或多个角点是否能从至少第二视角检测到；并且响应于确定所检测到的物品的一个或多个边缘和一个或多个角点也能够从至少第二视角检测到，将检测到的物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。

前面的概述仅仅是示例性的，而不意在以任何方式进行限制。通过参考附图以及下面的详细说明，除了上文所描述的示例性的方案、实施例和特征之外，另外的方案、实施例和特征将变得清晰可见。

附图说明

通过下面结合附图给出的详细说明和随附的权利要求，本公开的前述特征以及其它特征将变得更加清晰。应理解的是，这些附图仅描绘了依照本公开的多个实施例，因此，不应视为对本发明范围的限制，将通过利用附图结合附加的具体描述和细节对本公开进行说明，在附图中：

图1示出了具有固定相机的物品检测和跟踪系统的示例配置；

图2A和2B示出了具有可移动相机和伞形相机运动表示的物品检测和跟踪系统的其它的示例配置；

图3示出了具有几何特征的示例性假设零件及其检测；

图4示出了示例性的汽车零件上的检测到的边缘；

图5示出了示例汽车零件上的检测到角点；

图6示出了可用于实现物品特征的检测和跟踪的通用计算设备；

图7是示出可由计算设备(例如图6中的计算设备)执行的用于实现物品特征的检测和跟踪的示例过程的流程图；以及

图8示出了根据本文所描述的至少一些实施例布置的示例性的计算机程序产品的框图。

发明详述

在下面的详细说明中，将参考附图，附图构成了详细说明的一部分。在附图中，除非上下文另外指出，相似的符号通常表示相似的部件。在详细说明、附图和权利要求中所描述的示例性实施例不意在限制。在不偏离本文呈现的主题的精神或范围的情况下，可以使用其它实施例并且可以做出其它改变。如本文大致描述且如图中所示出的，本公开的方面能够以各种不同配置来布置、替代、组合、分离和设计，所有这些都在本文中明确地构思出。

除了别的以外，本公开通常涉及与物品特征的检测和跟踪的实现相关的方法、装置、系统、设备和/或计算机程序产品。

简而言之，通常描述了用于物品特征的检测和跟踪的技术。在一些示例中，可以通过从第一视角检测对象的一个或多个边缘和一个或多个角点来最初找到对象的特征。此外，可以进行确定对象的检测到的边缘和角点是否也可以从一个或多个其他视角可检测到。响应于肯定的确定，对象的检测到的边缘和角点可以被标记为待跟踪特征，例如在相机馈送的后续帧中。视角可以对应于以物体上方中心的大致伞状结构中的分布位置。在其他示例中，可以编程地控制对象被跟踪的环境的照明条件。

图1示出了根据本文所描述的至少一些实施例布置的具有固定相机的物品检测与跟踪系统的示例的配置。

如示意图100所示，可以通过不同的帧识别和跟踪物品102(例如，当物品在静止图像捕获系统下移动时的物品的图像的帧，或者当图像捕获系统在静止的物品的上方移动时图像捕获系统拍摄物品的图像)。在所示出的示例配置中，物品102可以在平台108上是静止的。图像捕获系统104可以固定到支撑机构106并且沿着例如轴线112可移动，并且可操作以捕获物品102的不同帧的图像。在其他示例中，图像捕获系统104可以沿着诸如与平台108在同一平面上的两个正交轴线的多个轴线可移动。图像捕获系统104也可以沿非线性轴线移动或三维地移动。

在训练阶段，图像捕获系统104可以从不同的视角110捕获物品102的图像，并且基于全部或大多数捕获图像中的物品102内的诸如边缘、角点和基本几何形状之类的特征的可检测性来识别物品102内的角点那些特征。为了从不同的视角110完成图像的捕获，图像捕获系统104可以被移动到不同的位置。可替代地，图像捕获系统104可以包括多个图像传感器，例如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件(CCD)图像传感器、N型金属氧化物半导体(NMOS)图像传感器，或类似的图像传感器。图像捕获系统104可以被配置为通过成像角度的数字调整或者针对每个图像选择不同的成像传感器而从不同的视角110捕获图像。

图2A和2B示出了根据本文所描述的至少一些实施例布置的具有可移动相机和伞形相机运动表示的物品检测与跟踪系统的其他的示例配置。

如图2A的示意图200A所示，图像捕获系统204可以固定到诸如机器人臂202的移动支撑机构。如上所述，图像捕获系统204可以被移动到不同的位置以从不同的视角捕获平台206上的物品208的图像。

如图2B的示意图200B所示，用于图像捕获系统204的位置216可以在该物品上方的大致伞状结构214中选择。伞形构造214内的每个位置216可以对应于不同的视角。

被配置为从图像捕获系统204接收所捕获的图像数据的控制器或分析模块可以开始检测边缘和角点，并且基于由被定位于或处于第一位置的图像捕获系统204捕获的图像帧(从第一视角捕获的物品的图像)中所捕获的物品的检测到的边缘和角点来识别基本几何形状。第一位置可以是例如在伞形构造216的顶部。然后，控制器或分析模块可以分析来自后续视角的图像，并且确定是否也能从随后或其他视角的图像中检测到相同的边缘、角点或特征。

在一些示例中，如果在训练阶段检测到的边缘、角点和几何特征存在于不同视角的所有图像中，则检测到的边缘、角点和几何特征可以被标记为要用于不同帧之间的相关性的物品的唯一标识符。在其他示例中，可以定义置信阈值，并且如果检测到的边缘、角点和几何特征以置信阈值以上存在于不同视角的多个图像中，则可以将检测到的边缘、角点和几何特征标记为该物品的唯一标识符。例如，图像捕获系统204可以使用50个位置(因此，视角)来捕获物品的图像并检测特征。置信阈值可以被定义为45。因此，如果在不同视角的50个图像中的45个图像中检测到相同的特征，则它们可被标记为唯一标识符。50个图像中至少45个图像中不存在的特征可能作为假阳性被丢弃。

在进一步的示例中，可以以编程方式控制物品的图像被捕获的环境的照明条件。为了避免或减少突然的照明条件变化的降级影响，诸如单色或多种颜色的发光二极管的光源可以被定位在环境中。控制器可以检测照明条件的变化，例如变暗，物品的一部分上的阴影，以及控制光源以补偿照明强度或光色组成的变化。

图3示出了根据本文所描述的至少一些实施例布置的具有几何特征的示例性假设的零件和其检测。

如示意图300所示，假设的物品可以表示为基本形状302。可以首先基于物品的图像中的像素的亮度的急剧变化来检测沿着物品的边缘和物品内的边缘。然后，角点可以被检测为边缘的交点。基于检测到的边缘和角点，可以在物品内识别诸如矩形306和圆形304的基本特征。接下来，可以确定物品308的外边缘和已经识别的圆之间的距离310。类似地，也可以确定物品308的外边缘与所识别的矩形之间的距离312。所识别的特征(例如，圆304和矩形306)以及距离310和312可以被用作在不同帧之间跟踪物品的相关性度量。

图4示出了根据本文所描述的至少一些实施例布置的示例性汽车零件上的检测到的边缘。

在根据一些实施例的系统中可以检测边缘以用于物品识别。可以基于所识别的物品的图像内的像素的亮度的急剧(或实质)的变化来检测边缘。连接的边缘可以被识别为基本几何特征，例如矩形、圆形或类似的几何特征。如上所述，所识别的几何特征与物品边缘的距离可以进一步用于跟踪物品。

如示意图400所示，汽车部件410可以包括其内的各种实际边缘、角点和圆形特征。通过拍摄汽车部件410的图像并检测图像上的边缘412，可以识别诸如圆414的附加特征。边缘的检测和几何特征的识别可以通过与从不同视角(例如来自该物品上方的三维伞形构造的多个视角)获取的其他图像的相关性来确认，检测到的特征可以被标记为汽车部件410的唯一标识符，并且例如当部件在相机的视野内移动时或者当相机在固定部件上方移动时，用于在多个帧之间跟踪汽车部件410。

示意图400中的图像402是使用检测到的边缘和像圆的特征404的汽车部件410的表示。检测到的特征数据的这种视觉表示可以用于不同帧之间的相关。在一些示例中，可以在计算设备的图形处理单元(GPU)处执行特征的检测和识别，并且将检测到的特征数据提供给计算设备的中央处理单元(CPU)。因此，通过不将整个计算负担给CPU并且通过避免针对每个视角和/或帧将大量数据(边缘检测数据)从GPU传输到CPU而可以增强跟踪处理的计算效率。

图5示出了根据本文所描述的至少一些实施例布置的示例性汽车零件上的检测的角点。

除了检测物品内的边缘之外，根据示例性实施例的系统还可以检测角点，所述角点作为检测到的边缘的交点。可以在每个检测到的角点周围采样环形，以确认角点的检测。在一些示例中，可以使用预定义的相关性度量来从帧到帧匹配所提取的角点。相关性度量可以包括平方差、归一化平方差、互相关、归一化互相关或相关系数。

如示意图500所示，圆形斑点502和504用于指示检测到的角点位置。在可视化中，斑点502 ad 504可以被着色或用各种灰度阴影表示，以指示相关性度量的强度(即，每个检测到的角点的置信水平)。例如，较暗的斑点可以表示检测到的角点实际上是一个角点的较强的置信水平，而较浅的斑点可以表示检测到的角点可能是假阳性。

图6示出了通用计算设备，其可以用于实现根据本文所描述的至少一些实施例布置的物品特征的检测和跟踪。

例如，计算设备600可以用作服务器、台式计算机、便携式计算机、智能电话、专用计算机或类似设备，例如控制器、新组件、包括车辆和智能制造设施的可操作系统的现有部件群。在示例性的基本配置602中，计算设备600可以包括一个或多个处理器604和系统存储器606。存储器总线608可以用于处理器604和系统存储器606之间的通信。基本配置602可通过内部虚线内的那些部件被示出于图6中。

根据所期望的配置，处理器404可以是任意类型，包括但不限于微处理器(μP)、微控制器(μC)、数字信号处理器(DSP)或其任意组合。处理器404可以包括一级或多级高速缓存(例如一级高速缓存存储器612)、一个或多个处理器核614和寄存器616。示例的处理器核614可以(各自)包括算术逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核(DSP Core)或其任意组合。示例的存储器控制器618还可与处理器604一起使用，或者在一些实施方式中，存储器控制器618可以是处理器604的内部部件。

根据期望的配置，系统存储器606可以是任何类型的，包括但不限于易失性存储器(例如RAM)，非易失性存储器(例如ROM，闪速存储器等)或其任何组合。系统存储器606可以包括操作系统620、控制器应用622和程序数据624。控制器应用622可以包括成像模块626和分析模块627，其可以是应用的一个组成部分或单独的独立应用。成像模块626可以被配置为捕获要识别和跟踪的物品的图像。分析模块627可以被配置为从第一视角检测物品的一个或多个边缘和一个或多个角点，确定所检测到的物品的一个或多个边缘和一个或多个角点是否能从至少第二视角检测到，以及响应于确定所检测到的物品的一个或多个边缘和一个或多个角点能够从第一视角和至少第二视角检测到，将检测到的物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。程序数据624可以包括除了其他数据之外的与检测到的物品的特征相关的跟踪数据628，如本文所述。

在一些示例中，可以在计算设备600的图形处理单元(GPU)648处执行特征的检测和识别，以及将所检测到的特征数据提供给处理器604。因此，通过不将整个计算负担给处理器604，以及通过避免针对每个视角/和/或帧将大量数据(边缘检测数据)从GPU 648传递到处理器604，可以增强跟踪过程的计算效率。

计算设备600可具有附加的特征或功能以及附加的接口以促进基本配置602与任何所需的设备和接口之间的通信。例如，总线/接口控制器630可用于促进基本配置602经由存储接口总线634与一个或多个数据存储设备632之间的通信。数据存储设备632可以是可移除存储设备636、非可移除存储设备638或者其组合。可移除存储设备和非可移除存储设备的示例包括诸如软盘驱动器和硬盘驱动器(HDD)的磁盘设备、诸如压缩盘(CD)驱动器或数字多功能盘(DVD)驱动器的光盘驱动器、固态驱动器(SSD)和磁带驱动器，仅列举了几个。示例的计算机存储介质可以包括易失性和非易失性的介质以及可移除和非可移除的介质，其以任何方法或技术被实现以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息。

系统存储器606、可移除存储设备636和非可移除存储设备638是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存(flash memory)或其它存储器技术、CD-ROM、数字通用盘(DVD)或其它光学存储设备、磁盒、磁带、磁盘存储设备或其它磁存储设备、或者可用于存储所需信息并且可由计算设备600访问的任何其它介质。任意这样的计算机存储介质可以是计算设备600的部件。

计算设备600还可以包括接口总线640，该接口总线用于促进从各种接口设备(例如，一个或多个输出设备642、一个或多个外围设备接口644和一个或多个通信设备646)经由总线/接口控制器630到基本配置602的通信。一些示例的输出设备642包括图形处理单元648和音频处理单元650，其可配置为经由一个或多个A/V端口652与诸如显示器或扬声器的各种外部设备通信。一个或多个示例的外围设备接口644包括串行接口控制器654或并行接口控制器656，其可配置为经由一个或多个I/O端口658与诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备等)或其它外围设备(例如，打印机、扫描仪等)的外部设备通信。示例的通信设备646包括网络控制器660，其可布置成促进经由一个或多个通信端口664在网络通信链路上与一个或多个计算设备662的通信。一个或多个其它计算设备662可以包括服务器、客户端设备和类似的设备。

网络通信链路可以是通信介质的一个示例。通信介质通常可通过计算机可读指令、数据结构、程序模块、或诸如载波或其它传输机制的调制数据信号中的其它数据来体现，并且可以包括任何信息输送介质。“调制数据信号”可以是具有信号特性中的一个或多个以这样的方式被设定或改变以对该信号中的信息进行编码的信号。通过举例而不是限制的方式，通信介质可以包括诸如有线网络或直接线连接的有线介质，以及诸如声波、射频(RF)、微波、红外(IR)和其它无线介质的无线介质。如本文所使用的计算机可读介质可以包括存储介质和通信介质两者。

计算设备600可以被实现为通用或专用服务器、主机或包括上述任何功能的类似计算机的一部分。计算设备600还可以实现为包括膝上型计算机和非膝上型计算机配置的个人计算机。

示例性实施例还可以包括实现物品特征的检测和跟踪的方法。这些方法可以以任何数量的方式实现，包括本文所述的结构。一种这样的方式可以是本公开中描述的类型的装置的机器操作。另一种可选方式可以是与一个或多个人类操作者执行某些操作而其他操作可以由机器执行的方式相结合地执行所述方法的各个操作中的一个或多个操作。这些人类操作员不需要彼此搭配，但每个操作人员仅被配有执行程序的一部分的机器。在其他实施例中，人类交互可以是自动的，例如可以是机器自动地预先选择的标准。

图7是示出根据本文所描述的至少一些实施例来布置的用于实现可由计算设备(例如图6中的计算设备)执行的物品特征的检测和跟踪的示例过程的流程图。

示例性的方法可以包括由块722,724,726和/或728中的一个或多个块所示出的一个或多个操作、功能或动作。块722至728中描述的操作也可以存储为计算机可读介质(例如计算设备710的计算机可读介质720)中的计算机可执行指令。

用于实现物品特征的检测和跟踪的示例性过程可以从块722开始，“从第一视角检测物品的一个或多个边缘和一个或多个角点”，其中分析模块627基于由成像模块626从特定视角捕获的物品的图像的像素的亮度的急剧变化来检测物品的边缘。分析模块627可以基于检测到的边缘的交点来检测物品的角点。

块722之后可以是块724，“确定所检测到的物品的一个或多个边缘以及一个或多个角点是否从至少第二视角能检测到”，其中分析模块627可以分析在训练阶段期间从其他视角捕获的物品的一个或多个其它图像，并且确定在块722处检测到的边缘和角点是否也在来自其他视角的其他图像中被检测到。

块724之后可以是块726，“响应于确定检测到的物品的一个或多个边缘和一个或多个角点也能从至少第二视角检测到，将检测到的物品的一个或多个边缘和一个或多个角点标记为待跟踪特征”，其中分析模块627可以将在所有或大部分图像中检测到的边缘和角点识别为要用于跟踪该物品的物品特征。此外，可以基于物品内的边缘和角点来识别诸如圆形和矩形的基本几何特征，并将其标记为识别特征。

块726之后可以是块728，“使用特征通过多个帧跟踪物品”，其中使用在训练阶段识别的特征，可以通过多个帧跟踪识别出的物品(例如，在固定相机下移动物品或在静止物品上移动相机)。

被包括在上述描述的过程中的块用于说明的目的。物品特征的检测和跟踪可以通过具有较少块或附加块的类似过程来实现。在一些实施例中，块可以以不同的顺序执行。在一些其他实施例中，可以消除各种块。在另外其他实施例中，各种块可以被划分为附加块，或者组合成更少的块。

图8示出了根据本文所描述的至少一些实施例布置的示例性计算机程序产品的框图。

在一些实施例中，如图8所示，计算机程序产品800可以包括信号承载介质802，该信号承载介质802还可以包括当被例如处理器执行时可以提供本文所描述的功能的一个或多个机器可读指令804。因此，例如，参考图6中的处理器604，在处理器604上执行的成像模块626和分析模块627可以响应于通过介质802传送到处理器604的指令804而承担图8所示的一个或多个任务，以执行与本文所描述的设备的基于传感器的安全特征的实现相关联的操作。这些指令中的一些可以包括例如如下一条或多条指令：从第一视角检测物品的一个或多个边缘和一个或多个角点，确定检测到的物品的一个或多个边缘和一个或多个角点是否能够从至少第二个视角检测到，并且响应于确定检测到的物品的一个或多个边缘和一个或多个角点能够从第一视角和至少第二个视角检测到，将检测到的物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。

在一些实现中，图8所示的信号承载介质802可以包括计算机可读介质806，例如但不限于硬盘驱动器、固态驱动器、压缩盘(CD)、数字通用盘(DVD)、数字带、存储器等。在一些实现中，信号承载介质802可以包括可记录介质808，例如但不限于存储器，读/写(R/W)CD、R/W DVD等。在一些实现中，信号承载介质802可以包括通信介质810，例如但不限于数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路，无线通信链路等)。因此，例如，程序产品800可通过RF信号承载介质传送到图6的处理器604中的一个或多个模块，其中信号承载介质802通过无线通信介质810(例如，符合IEEE 802.11标准的无线通信介质)传送。

根据一些示例，描述了实现物品特征的检测和跟踪的方法。示例性方法可以包括从第一视角检测物品的一个或多个边缘和一个或多个角点，确定检测到所检测的物品的一个或多个边缘和一个或多个角点是否能从至少第二视角检测到，响应于确定检测到的所述物品的一个或多个边缘和一个或多个角点也能够从至少第二视角检测到，将检测到的物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。

根据其他示例，所述方法可以包括确定检测到的所述物品的一个或多个边缘和一个或多个角点是否能够从多个视角检测到，以及从以物品上方为中心的大致伞形构造中的随机分布的位置中选择多个视角。第一视角可以来自伞形构造的特定位置。检测物品的一个或多个边缘和一个或多个角点可以包括基于物品的捕获图像中的像素的亮度的实质变化来检测一个或多个边缘。

根据另外的示例，检测物品的一个或多个边缘和一个或多个角点还可以包括检测作为检测到的边缘对的交点的一个或多个角点。所述方法还可以包括：基于将检测到的一个或多个边缘和一个或多个角点进行相关来跟踪经过(through)至少两个捕获的图像帧的所述物品，基于检测到的一个或多个边缘和一个或多个角点来确定物品内的一个或多个几何特征，和/或确定从每个确定出的几何特征的边缘到物品的最近的外边缘的边缘距离。

根据另外的示例，所述方法可以包括基于将所述一个或多个几何特征和对应的边缘距离进行相关来跟踪经过至少两个捕获的图像帧的所述物品，检测所述物品正在被检测的环境中的照明强度或照明颜色组成的变化，利用环境中的一个或多个光源来补偿检测到的照明强度或照明颜色组成的变化，和/或在检测物品的一个或多个边缘和一个或多个角点的同时补偿检测到的照明强度或照明颜色组成的变化。

根据其他的示例，描述了被配置为实现物品特征的检测和跟踪的装置。示例性的装置可以至少包括：至少一个图像捕获模块，其被配置为从多个视角捕获物品的图像，以及至少一个分析模块，其通信地耦合到所述至少一个图像捕获模块的分析模块。所述至少一个分析模块可以被配置为从第一视角检测所述物品的一个或多个边缘和一个或多个角点，确定检测到的所述物品的一个或多个边缘和一个或多个角点是否能够从至少第二视角检测到，并且响应于确定检测到的物品的一个或多个边缘和一个或多个角点也能够从至少第二视角检测到，将检测到的物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。

根据一些示例，所述至少一个图像捕获模块可以包括多个图像捕获传感器，其定位在以所述物品上方为中心的大致伞状结构中的多个位置处。多个视角可以对应于以物体上方为中心的大致伞状结构中的多个位置。第一视角可以对应于伞形构造的特定位置。所述装置还可以包括定位模块，所述定位模块被配置为将所述至少一个图像捕获模块移动到大致伞形构造中的多个位置，其中所述多个视角可以对应于以物体上方为中心的大致伞状结构中的多个位置。

根据其他示例，多个位置可以通过随机分布或高斯分布而分布在以物品上方为中心的大致伞形构造中。所述至少一个图像捕获模块可以包括互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件(CCD)图像传感器和N型金属氧化物半导体(NMOS)图像传感器中的至少一个。所述至少一个分析模块可以被进一步配置成基于物品的捕获图像中的像素的亮度的实质变化来检测所述一个或多个边缘，并且检测作为检测到的边缘对的交点的所述一个或多个角点。所述至少一个分析模块还可以被配置为基于检测到的一个或多个边缘和一个或多个角点来确定所述物品的一个或多个几何特征；并且确定从每个确定出的几何特征的边缘到物品的最近外边缘的边缘距离。

根据更进一步的示例，一个或多个几何特征可以包括矩形和圆形中的一个或多个。所述至少一个分析模块还可以被配置为基于所述一个或多个几何特征与对应边缘距离的相关性、检测到的一个或多个边缘的相关性、以及检测到的一个或多个角点的相关性中的一个或多个来跟踪经过多个捕获图像帧的物品。该装置还可以包括通信地耦合到至少一个分析模块的照明模块。照明模块可以被配置为检测在物品正在被检测的环境中的照明强度或照明颜色组成的变化，并且使用环境中的一个或多个光源来补偿检测到的照明强度或照明颜色组成的变化。一个或多个光源可以包括一种或多种颜色的发光二极管(LED)。

根据进一步的示例，描述了实现物品特征的检测和跟踪的系统。示例性的系统可以包括：至少一个图像捕获模块，其被配置为从多个视角捕获物品的图像；至少一个定位模块，其机械地耦合到所述至少一个图像捕获模块，所述至少一个定位模块被配置为将所述至少一个图像捕获模块移动到大致伞形构造中的多个位置，所述多个位置对应多个视角；以及至少一个控制器，其通信地耦合到所述至少一个图像捕获模块和所述至少一个定位模块。所述至少一个控制器可以被配置为从第一视角检测所述物品的一个或多个边缘和一个或多个角点；确定检测到的物品的一个或多个边缘和一个或多个角点是否能从至少第二视角检测到；并且响应于确定检测到的物品的一个或多个边缘和一个或多个角点能够从至少第二视角检测到，将检测到的物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。

根据一些示例，所述至少一个控制器可以被进一步配置成基于所述物品的捕获图像中的像素的亮度的实质变化来检测所述一个或多个边缘，并且检测作为所检测到的边缘对的交点的所述一个或多个角点。至少一个控制器还可以被配置为基于检测到的一个或多个边缘和一个或多个角点来确定物品内的一个或多个几何特征，并且确定从每个确定出的几何特征的边缘到物品的最近的外边缘的边缘距离。所述至少一个控制器还可以被配置为基于所述一个或多个几何特征与对应的边缘距离的相关性、所检测到的一个或多个边缘的相关性、以及检测到的一个或多个角点的相关性中的一个或多个，来跟踪经过过多个捕获的图像帧的所述物品。

根据更进一步的示例，系统还可以包括通信地耦合到所述至少一个控制器的一个或多个光源，其中所述至少一个控制器还被配置为通过所述至少一个图像捕获模块检测在物品正在被检测的环境中的照明强度或照明颜色组成的变化，并且通过一个或多个光源补偿检测到的照明强度或照明颜色组成的变化。所述至少一个控制器可以包括图形处理单元(GPU)和中央处理单元(CPU)，其中GPU被配置为将检测到的一个或多个边缘和角点标记为待跟踪特征；并向CPU提供特征列表以用于逐帧跟踪。

示例

以下是一些实施例如何可以被实现的说明性的示例，并且不旨在以任何方式限制实施例的范围。

示例1：汽车制造厂中的部件识别

机器人装配站是汽车制造厂的共同特征。复杂的机器人装配系统可以处理通常通过移动带传送到每个组装站的大批的部件。在这样的制造厂中，可以将不同的分离组装部件提供到机器人组装站，以组装到分离组件中。所提供的分离部件中的每一个可以具有各种形式和形状，并且由于供应系统的配置，不存在哪个部件何时被传送机器人组装系统的一致性。此外，机器人组装站被配置为组装用于不同类型的汽车的不同的分离组件。

跟踪系统包括附接到机器人臂的初始识别相机和沿着传送带的三个后续相机，全部连接到控制器。在训练阶段期间，随着握持相机的机器人臂沿着伞形构造的多个位置移动，初始识别相机从不同的视角捕获可以被传送到机器人组装站的所有分离部件的图像。控制器识别每个分离的零件的边缘和角点，并且随着零件沿着带移动到机器人组装站而使用检测到的特征来跟踪部件。因此，在零件到达之前，机器人组装站被通知即将要接收哪个零件以及零件在输送带上的位置。根据该信息，机器人组装站可以确定其应该工作的分离部件，并且相应地配置其组装过程，而不需要以任何特定顺序或位置将所有零件输送到机器人组装站。

示例2：在机场行李传送系统中识别行李内的危险物品

大部分机场每天在飞机和行李提取站之间移动大量行李。出于安全考虑，使用X射线或类似技术对行李的至少一部分进行了筛查。但是，行李可能需要脱机或传送速度放慢以进行检查。另一方面，从飞机到飞机或从飞机到行李提取站快速传送行李对于机场顺利运营和旅客体验也是非常重要的，特别是在每天有数千班飞机起飞和降落的大型机场。

设置在机场的行李传送系统上的多个位置中的跟踪系统包括两种类型的相机。第一类是能够从不同视角捕获行李的X射线图像的相机。第二类较不复杂的相机能够从单一视角捕获图像。第二类相机比第一类沿着传送带更频繁地定位，其以接近50km/h的速度操作。所有相机通过无线通信(例如IEEE 802.11通信)通信地耦合到中央控制器。

第一类相机识别行李内的物品，并将物品的特征与已知的危险物品(例如武器、爆炸物容器)或非法物品(例如频繁地走私的物品(例如，象牙))进行比较。如果第一类相机检测到可疑物品，则通过第二类相机(或其他第一类型的相机)在整个系统中跟踪包含该物品的行李，并且控制器确定行李传向哪里。然后，控制器通知机场安全处关于可疑行李，以便机场安全处可以在方便的地点(例如在行李索取处或装载到飞机之前)将行李拉下线，并进行检查而不会中断或减缓整个行李传送系统。

示例3：跟踪电子制造厂零件分配系统中的子组件

电子制造厂可以生产大量各种类型的电子设备。甚至相同类型的设备通常具有基于不同生产配置的各种版本。因此，高度自动的和可靠的零件分配系统对于电子组装工厂而言是必不可少的。许多组装操作由机器人执行。甚至人类操作员也不一定能够区分不同的零件和子组件，从而导致组装过程中的低效率。

大型消费电子组装工厂制造电视机、计算机监视器、平板计算机和其他设备。虽然一些最终产品共享相同的子组件，但是由于其配置，相同类型的其他最终产品包括不同的子组件(例如，联网电视包括无线通信模块，而同一电视机的非联网版本不包含相同的模块)。工厂具有内置的自动传送系统，其可以自动和高速地将部件和子组件传送到不同的组装站。

跟踪系统包括在分配系统的主输入端处的识别相机，用于当零件和子组件被馈送到分配系统时识别零件和子组件。识别相机包括在不同位置处的多个传感器，当零件通过相机下方时，可以同时地从不同的角度捕获子组件的每个零件的图像。多核服务器处理捕获到的图像，识别边缘和角点以及基本的几何形状。然后将识别信息与来自具有单个图像捕获传感器的其它相机的捕获图像沿着分配系统的路径，特别是在分支点处进行比较。因此，服务器可以确定哪个零件或子组件正在传送到哪个组装站。如果子组件的一部分被传送到错误的组装站，则向该站以及防止最终产品错误组装的监视器发出警报。

存在可以影响本文所描述的过程和/或系统和/或其他技术(例如，硬件、软件和/或固件)的各种媒介物，并且优选的媒介物将随着其中部署过程和/或系统和/或其他技术的上下文而变化。例如，如果实施者确定速度和准确性是至关重要的，则实施者可以选择主要是硬件和/或固件媒介物；如果灵活性至关重要，实施者可以主要选择软件实现；或者，再次替代地，实施可以选择硬件、软件和/或固件的某些组合。

虽然根据“包括”各种部件或步骤(被解释为意为“包括但不限于”)来描述各种组合物、方法、系统和设备，组合物、方法、系统和设备也可以“基本上由各种组成部分和步骤组成”或“由各种组成部分和步骤组成”，而这些术语应被解释为基本上是封闭成员组。

前面的详细说明已经通过框图、流程图和/或示例阐述了设备和/或过程的各个实施例。在这些框图、流程图和/或示例包含一项或多项功能和/或操作的程度上，本领域技术人员将理解的是可以通过各种各样的硬件、软件、固件或实际上其任意组合来单独地和/或统一地实现这些框图、流程图或示例内的各项功能和/或操作。在一个实施例中，本文所描述的主题的多个部分可经由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其它集成格式来实现。然而，本领域技术人员将理解的是，在本文公开的实施例的一些方面可以整体地或部分地等同地实现为集成电路、在一个或多个计算机上运行的一个或多个计算机程序(例如，实现为在一个或多个计算机系统上运行的一个或多个程序)、在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)、固件、或实际上其任意组合，并且根据本公开的内容，设计电路和/或编写用于软件和/或固件的代码将是可能的。

本公开不受在本申请中所描述的特定实施例限制，这些特定实施例意在为各个方面的示例。不偏离其精神和范围的情况下能够进行各种改进和变型。根据前面的说明，除了本文列举的那些之外，在本公开范围内的功能上等同的方法和装置将是可能的。这些改进和变型意旨落在随附权利要求书的范围内。本公开仅受随附权利要求书连同这些权利要求书所给予权利的等同方案的整个范围限制。将理解的是，本公开不限于特定的方法、系统或部件，当然这些可以变化。还应理解的是，本文所使用的术语仅是为了描述特定实施例的目的，而不意在限制。

另外，本领域技术人员将理解的是，本文所描述的主题的机制能够以各种形式分布为程序产品，并且本文所描述的主题的示例性实施例适用而不管实际上用于实施分布的特定类型的信号承载介质如何。信号承载介质的示例包括但不限于以下：可记录型介质，诸如软盘、硬盘驱动器、压缩盘(CD)、数字通用盘(DVD)、数字带、计算机存储器等；以及传输型介质，诸如数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路等)。

本领域技术人员将认识到，在本领域中以本文所阐述的方式描述设备和/或过程是常见的，此后使用工程实践来将这样描述的设备和/或过程集成到数据处理系统中。也就是说，本文所描述的设备和/或过程的至少一部分可以经由合理的实验量集成到数据处理系统中。本领域技术人员将认识到，典型的数据处理系统通常包括系统单元壳体、视频显示设备、诸如易失性和非易失性存储器的存储器、诸如微处理器和数字信号处理器的处理器、诸如操作系统、驱动器、图形用户界面和应用程序的计算实体、诸如触摸板或屏幕的一个或多个交互设备和/或包括反馈回路的控制系统中的一个或多个。

本文所描述的主题有时说明了包含在不同的其它部件内的不同部件或与不同的其它部件连接的不同部件。应理解的是，这些所描绘的体系结构仅是示例性的，并且实际上可以实施实现相同功能的许多其它体系结构。在概念意义上，实现相同功能的任何部件的布置有效地“关联”，使得实现期望功能。因此，在此处组合以实现特定功能的任何两个部件可视为彼此“关联”，使得实现期望功能，无论体系结构或中间部件如何。同样，任意两个如此关联的部件还可视为彼此“可操作地连接”、或“可操作地耦合”以实现期望的功能，并且能够如此关联的任意两个部件还可视为彼此“能够可操作地耦合”以实现期望功能。能够可操作耦合的具体示例包括但不限于能够物理上可连接和/或物理上交互的部件和/或能够无线交互和/或无线交互的部件和/或逻辑上交互和/或能够逻辑上交互的部件。

关于本文中基本上任何复数和/或单数术语的使用，本领域技术人员能够根据上下文和/或应用适当地从复数变换成单数和/或从单数变换成复数。为了清晰的目的，本文中明确地阐明了各单数/复数的置换。

本领域技术人员将理解，一般地，本文所使用的术语，尤其是随附权利要求(例如，随附权利要求的主体)中所使用的术语，通常意在为“开放式”术语(例如，术语“包括”应当解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包括”应解释为“包括但不限于”，等等)。本领域技术人员还理解，如果意图表达引导性权利要求记述项的具体数量，该意图将明确地记述在权利要求中，并且在不存在这种记述的情况下，不存在这样的意图。例如，为辅助理解，下面的随附权利要求可能包含了引导性短语“至少一个”和“一个或多个”的使用以引导权利要求记述项。然而，这种短语的使用不应解释为暗示不定冠词“一”或“一个”引导权利要求记述项将包含该所引导的权利要求记述项的任何特定权利要求局限于仅包含一个该记述项的实施例，即使当同一权利要求包括了引导性短语“一个或多个”或“至少一个”以及诸如不定冠词“一”或“一个”的(例如，“一”和/或“一个”应当解释为表示“至少一个”或“一个或多个”)；这同样适用于对于用于引导权利要求记述项的定冠词的使用。另外，即使明确地记述了被引导的权利要求记述项的具体数量，本领域技术人员将理解到这些记述项应当解释为至少表示所记述的数量(例如，没有其它修饰语的裸记述“两个记述项”表示至少两个记述项或两个以上的记述项)。

此外，在使用类似于“A、B和C等中的至少一个”的惯用法的那些实例中，通常这样的构造旨在表达本领域技术人员理解该惯用法的含义(例如，“具有A、B和C中的至少一个的系统”将包括但不限于仅具有A、仅具有B、仅具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B和C等等的系统)。本领域技术人员将进一步理解，呈现两个以上可选项的几乎任何分离词和/或短语，无论是在说明书、权利要求或附图中，都应理解为设想包括一项、任一项或两项的可能性。例如，术语“A或B”将理解为包括“A”或“B”或“A和B”的可能性。

本领域技术人员将理解的是，为了任何以及全部的目的，诸如在提供所撰写的说明书方面，本文所公开的全部范围也涵盖了任何和全部的可能的子范围及其子范围的组合。能够容易地认识到任何所列范围都充分地描述了同一范围并且使同一范围分解成至少均等的一半、三分之一、四分之一、五分之一、十分之一等等。作为非限制示例，本文所论述的每个范围能够容易地分解成下三分之一、中三分之一和上三分之一，等等。本领域技术人员还将理解的是，诸如“多达”、“至少”、“大于”、“小于”等所有的语言包括所记述的数量并且是指如上文所论述的随后能够分解成子范围的范围。最后，本领域技术人员将理解的是，范围包括每个独立的成员。因此，例如，具有1-3个单元的组是指具有1个、2个或3个单元的组。类似地，具有1-5个单元的组是指具有1个、2个、3个、4个、或5个单元的组，等等。

虽然本文公开了各个方面和实施例，但是其它的方面和实施例是可能的。因此，本文所公开的各个方面和实施例是为了示例的目的而不意在限制，真正的范围和精神是通过随附的权利要求表示的。

Claims (31)

1.一种实现物品特征的检测和跟踪的方法，所述方法包括：

从第一视角检测物品的一个或多个边缘和一个或多个角点；

确定所检测到的所述物品的一个或多个边缘和一个或多个角点是否能从至少第二视角检测到；以及

响应于确定所检测到的所述物品的一个或多个边缘和一个或多个角点也能够从至少所述第二视角检测到，将所检测到的所述物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。

2.根据权利要求1所述的方法，还包括：

确定所检测到的所述物品的一个或多个边缘和一个或多个角点是否能从多个视角检测到；以及

从以所述物品上方为中心的大致伞形构造中的随机分布的位置中选择所述多个视角。

3.根据权利要求2所述的方法，其中所述第一视角来自所述伞形构造的特定位置。

4.根据权利要求1所述的方法，其中检测所述物品的所述一个或多个边缘和一个或多个角点包括：

基于所述物品的捕获图像中的像素的亮度的实质变化来检测所述一个或多个边缘。

5.根据权利要求4所述的方法，其中检测所述物品的所述一个或多个边缘和一个或多个角点还包括：

检测作为所检测到的边缘对的交点的所述一个或多个角点。

6.根据权利要求5所述的方法，还包括：

基于将所检测到的一个或多个边缘和一个或多个角点进行相关，来跟踪经过至少两个捕获的图像帧的所述物品。

7.根据权利要求1所述的方法，还包括：

基于所检测到的一个或多个边缘和一个或多个角点来确定所述物品内的一个或多个几何特征。

8.根据权利要求7所述的方法，还包括：

确定从每个确定出的几何特征的边缘到所述物品的最近外边缘的边缘距离。

9.根据权利要求8所述的方法，还包括：

基于将所述一个或多个几何特征和对应的边缘距离进行相关，来跟踪经过至少两个捕获的图像帧的所述物品。

10.根据权利要求1所述的方法，还包括：

检测在所述物品正在被检测的环境中的照明强度或照明颜色组成中的变化。

11.根据权利要求10所述的方法，还包括：

利用所述环境中的一个或多个光源来补偿所检测到的所述照明强度或所述照明颜色组成中的变化。

12.根据权利要求11所述的方法，还包括：

在检测所述物品的所述一个或多个边缘和一个或多个角点的同时，补偿所检测到的所述照明强度或所述照明颜色组成中的变化。

13.一种被配置为实现物品特征的检测和跟踪的装置，所述装置包括：

至少一个图像捕获模块，被配置为从多个视角捕获物品的图像；

至少一个分析模块，通信地耦合到所述至少一个图像捕获模块，所述至少一个分析模块被配置为：

从第一视角检测所述物品的一个或多个边缘和一个或多个角点；

确定所检测到的所述物品的一个或多个边缘和一个或多个角点是否能够从至少第二视角检测到；以及

响应于确定所检测到的所述物品的一个或多个边缘和一个或多个角点能够从至少所述第二视角检测到，将所检测到的所述物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。

14.根据权利要求13所述的装置，其中所述至少一个图像捕获模块包括多个图像捕获传感器，所述多个图像捕获传感器被定位于以所述物品上方为中心的大致伞形构造中的多个位置处。

15.根据权利要求14所述的装置，其中所述多个视角对应于以所述物品上方为中心的所述大致伞形构造中的所述多个位置。

16.根据权利要求15所述的装置，其中所述第一视角对应于所述伞形构造的特定位置。

17.根据权利要求13所述的装置，还包括定位模块，所述定位模块被配置为将所述至少一个图像捕获模块移动到大致伞形构造中的多个位置，其中所述多个视角对应于以所述物品上方为中心的所述大致伞形构造中的所述多个位置。

18.根据权利要求17所述的装置，其中所述多个位置通过随机分布或高斯分布而被分布在以所述物品上方为中心的所述大致伞形构造中。

19.根据权利要求13所述的装置，其中所述至少一个图像捕获模块包括互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件(CCD)图像传感器和N型金属氧化物半导体(NMOS)图像传感器中的至少一种。

20.根据权利要求13所述的装置，其中所述至少一个分析模块还被配置为：

基于所述物品的捕获图像中的像素的亮度的实质变化来检测所述一个或多个边缘；以及

检测作为所检测到的边缘对的交点的所述一个或多个角点。

21.根据权利要求13所述的装置，其中，所述至少一个分析模块还被配置为：

基于所检测到的一个或多个边缘和一个或多个角点来确定所述物品的一个或多个几何特征；以及

确定从每个确定出的几何特征的边缘到所述物品的最近外边缘的边缘距离。

22.根据权利要求21所述的装置，其中所述一个或多个几何特征包括矩形和圆形中的一种或多种。

23.根据权利要求21所述的装置，其中所述至少一个分析模块还被配置为：

基于以下中的一者或多者来跟踪经过多个捕获的图像帧的所述物品：所述一个或多个几何特征与对应的边缘距离的相关性、所检测到的一个或多个边缘的相关性、以及所检测到的一个或多个角点的相关性。

24.根据权利要求13所述的装置，还包括通信地耦合到所述至少一个分析模块的照明模块，所述照明模块被配置为：

检测在所述物品正在被检测的环境中的照明强度或照明颜色组成中的变化；以及

利用所述环境中的一个或多个光源来补偿所检测到的所述照明强度或所述照明颜色组成中的变化。

25.根据权利要求24所述的装置，其中所述一个或多个光源包括一种或多种颜色的发光二极管(LED)。

26.一种用于实现物品特征的检测和跟踪的系统，所述系统包括：

至少一个图像捕获模块，被配置为从多个视角捕获物品的图像；

至少一个定位模块，机械地耦合到所述至少一个图像捕获模块，所述至少一个定位模块被配置为将所述至少一个图像捕获模块移动到大致伞形构造中的多个位置，所述多个位置对应多个视角；和

至少一个控制器，通信地耦合到所述至少一个图像捕获模块和所述至少一个定位模块，所述至少一个控制器被配置为：

从第一视角检测所述物品的一个或多个边缘和一个或多个角点；

确定所检测到的所述物品的一个或多个边缘和一个或多个角点是否能从至少第二视角检测到；以及

响应于确定所检测到的所述物品的一个或多个边缘和一个或多个角点能从至少所述第二视角检测到，将所检测到的所述物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。

27.根据权利要求26所述的系统，其中所述至少一个控制器还被配置为：

基于所述物品的捕获图像中的像素的亮度的实质变化来检测所述一个或多个边缘；以及

检测作为所检测到的边缘对的交点的所述一个或多个角点。

28.根据权利要求26所述的系统，其中所述至少一个控制器还被配置为：

基于所检测到的一个或多个边缘和一个或多个角点来确定所述物品内的一个或多个几何特征；以及

确定从每个确定出的几何特征的边缘到所述物品的最近外边缘的边缘距离。

29.根据权利要求28所述的系统，其中所述至少一个控制器还被配置为：

基于以下中的一者或多者来跟踪经过多个捕获的图像帧的所述物品：所述一个或多个几何特征与对应的边缘距离的相关性、所检测到的一个或多个边缘的相关性、以及所检测到的一个或多个角点的相关性。

30.根据权利要求26所述的系统，还包括通信地耦合到所述至少一个控制器的一个或多个光源，其中所述至少一个控制器还被配置为：

通过所述至少一个图像捕获模块，检测在所述物品正在被检测的环境中的照明强度或照明颜色组成中的变化；以及

通过所述一个或多个光源，补偿所检测到的所述照明强度或所述照明颜色组成中的变化。

31.根据权利要求26所述的系统，其中所述至少一个控制器包括图形处理单元(GPU)和中央处理单元(CPU)，并且其中所述GPU被配置为：

将所检测到的一个或多个边缘和角点标记为待跟踪特征；以及

将特征列表提供给所述CPU以进行逐帧跟踪。