CN102844771B

CN102844771B - 用旋转不变特征描述符进行跟踪和识别的方法和设备

Info

Publication number: CN102844771B
Application number: CN201080061855.5A
Authority: CN
Inventors: G·陶卡奇; R·格热茨祖克; V·钱德拉塞卡尔; B·格罗德
Original assignee: Nokia Oyj; Leland Stanford Junior University
Current assignee: Nokia Oyj; Leland Stanford Junior University
Priority date: 2009-11-19
Filing date: 2010-11-18
Publication date: 2015-08-05
Anticipated expiration: 2030-11-18
Also published as: EP2502184A4; KR20120095445A; CN102844771A; WO2011061709A1; RU2012124836A; RU2542946C2; US8687891B2; US20110286627A1; EP2502184A1; KR101399804B1

Abstract

提供了用旋转不变特征描述符进行跟踪和识别的各种方法。一种示例方法包括生成图像帧的图像金字塔，检测图像金字塔内的多个兴趣点，以及提取每个各自的兴趣点的特征描述符。根据一些示例实施例，特征描述符是旋转不变的。进一步地，示例方法还可以包括通过将特征描述符与前一帧的特征描述符进行匹配来跟踪运动，以及基于特征描述符来执行对图像帧内的目标的识别。同样提供了相关的示例方法和示例设备。

Description

用旋转不变特征描述符进行跟踪和识别的方法和设备

技术领域

本发明的实施例一般涉及图像处理，更特别地，涉及用于生成和利用特征描述符进行跟踪和识别的方法和设备。

背景技术

在许多应用中，能够识别图像系列（诸如视频帧）内的特征并跟踪特征在图像内的运动已成为需要。例如，可以捕获包括特殊（distinctive）目标的视频帧系列，并且可能期望识别和跟踪该目标穿过视频帧的相对运动以及识别自动方式中的目标。在这点上，对图像内特征的识别被利用在计算机视觉应用中，诸如增强现实。这些应用正越来越多地被用作实时目标识别、三维重建、全景拼接、机械测图和视频跟踪。

诸如移动电话的手持设备现在一般装备有视频捕获性能。这些视频捕获性能可以用于（be leveraged for）移动和便携的计算机视觉应用，诸如移动增强现实（MAR）。然而，在至少一些实例中，手持设备的处理功率可能是对手持设备的图像处理性能的限制。

发明内容

此处描述了用旋转不变特征描述符进行跟踪和识别的本发明的各种示例方法和设备。根据一些示例实施例，旋转不变特征描述符可以从计算角度相对便宜地生成，但也很健壮足以执行精确的跟踪和识别。进一步地，根据各种示例实施例，被用于跟踪的同样的特征描述符也可以被用于识别。

一种示例方法包括生成图像帧的图像金字塔，检测图像金字塔内的多个兴趣点，以及提取每个各自的兴趣点的特征描述符。根据某些示例实施例，特征描述符是旋转不变的。进一步地，该示例方法还可以包括通过将该特征描述符与前一帧的特征描述符进行匹配（match）来跟踪运动并基于该特征描述符来执行对图像帧内目标的识别。

用旋转不变特征描述符进行跟踪和识别的相关的示例设备包括至少一个处理器与包括计算机程序代码的至少一个存储器，至少一个存储器与计算机程序代码配置成与至少一个处理器一起引起该设备至少执行各种功能性。在这点上，该示例设备被引起执行：生成图像帧的图像金字塔，检测图像金字塔内的多个兴趣点，以及提取每个各自的兴趣点的特征描述符。根据某些示例实施例，特征描述符是旋转不变的。进一步地，该示例设备还可以被引起执行：通过将该特征描述符与前一帧的特征描述符进行匹配来跟踪运动并基于该特征描述符来执行对图像帧内目标的识别。

另一示例实施例是在其中存储有可执行的计算机可读程序代码指令的示例计算机可读存储介质。该示例计算机可读存储介质的计算机可读程序代码指令用于引起设备执行各种功能性。在这点上，该示例设备被引起执行：生成图像帧的图像金字塔，检测图像金字塔内的多个兴趣点，以及提取每个各自的兴趣点的特征描述符。根据某些示例实施例，特征描述符是旋转不变的。进一步地，该示例设备还可以被引起执行：通过将该特征描述符与前一帧的特征描述符进行匹配来跟踪运动并基于该特征描述符来执行对图像帧内目标的识别。

另一示例实施例是用旋转不变特征描述符进行跟踪和识别的示例设备。该示例设备包括：用于生成图像帧的图像金字塔的装置，用于检测图像金字塔内的多个兴趣点的装置，以及用于提取每个各自的兴趣点的特征描述符的装置。根据某些示例实施例，特征描述符是旋转不变的。进一步地，该示例设备还可以包括：用于通过将该特征描述符与前一帧的特征描述符进行匹配来跟踪运动的装置以及用于基于该特征描述符来执行对图像帧内目标的识别的装置。

附图说明

在以一般术语对本发明进行如此描述的基础上，现在将参考不必按比例绘制的附图，其中：

图1图示了根据本发明的示例实施例的径向梯度的生成；

图2图示了根据本发明的示例实施例使用径向梯度转换的旋转不变性；

图3a-3d图示了根据本发明的示例实施例的用于面元划分的图像到单元的分割；

图4a-4b图示了根据本发明的示例实施例的空间面元划分配置；

图5a-5b图示了根据本发明的示例实施例的分别的径向梯度转换和近似的径向梯度转换基础矢量。

图6图示了根据本发明的示例实施例用旋转不变特征描述符进行跟踪和识别的设备的结构图。

图7图示了根据本发明的示例实施例用旋转不变特征描述符进行跟踪和识别的移动终端的结构图。

图8图示了根据本发明的示例实施例用旋转不变特征描述符进行跟踪和识别的方法的流程图。

图9图示了根据本发明的示例实施例用旋转不变特征描述符进行跟踪和识别的方法的另一流程图。

具体实施方式

下面将参考附图对本发明的示例实施例进行更全面的描述，其中示出了本发明的一些但不是所有的实施例。实际上，本发明可以体现为许多不同的形式，因此不应解释为对此处陈述的实施例的限制；而是，提供这些实施例以便此公开满足适用的法律要求。相同的参考图标自始至终指代相同的部件。根据本发明的某些示例实施例，术语“数据”、“内容”、“信息”以及类似的术语可以可交换地使用以指代能够被发射、接收、操作和/或存储的数据。

此处使用的术语“电路”指代以下所有：（a）仅硬件电路实现（诸如仅模拟和/或数字电路中的实现）；（b）电路与软件（和/或固件）的结合，诸如（适用时）：（i）处理器的结合或（ⅱ）一起运行以引起设备（诸如移动电话或者服务器）执行各种功能性的处理器/软件（包括数字信号处理器）、软件和存储器的一部分；以及（c）需要软件或固件以进行操作的电路，诸如微处理器或者微处理器的一部分，即使软件或固件物理上不存在。

对“电路”的该定义适用于该术语在本申请中的所有使用，包括在任何权利要求中的使用。作为进一步的示例，在本申请中使用时，术语“电路”还将覆盖仅处理器（或者多处理器）或者处理器的一部分及它（或者它们）伴随的软件和/或固件的实现。例如，如果适用于特定的权利要求要素，则术语“电路”还将覆盖移动电路的基带集成电路或者应用处理器集成电路或者服务器、蜂窝网络设备、或者其它网络设备中的类似集成电路。

本发明的示例实施例包括使用如此处描述生成的特征描述符来统一图像处理应用（诸如移动增强现实（MAR）应用）中的跟踪和视频内容识别的方法和设备。特征描述符可以被称为旋转不变快速特征（RIFF）描述符。RIFF描述符可以使用径向梯度转换（RGT）和/或近似RGT（ARGT）来生成。根据各种示例实施例，RIFF描述符被生成为足够快以用于帧频或者近（near）帧频跟踪，并且足够健壮以用于大规模识别检索任务。例如，根据某些示例实施例，使用RIFF描述符的跟踪方案能够生成全局仿射运动模型，其可与来自Kanade-Lucas-Tomasi(KLT)特征跟踪器的这些比较，并且可以实现来自图像数据库的改善的识别检索精确性。

诸如MAR应用的图像处理应用可以利用视觉跟踪和识别。本发明的示例实施例开发帧之间的冗余以用于通过生成特征描述符来统一跟踪和识别，该特征描述符可以以视频帧频或近视频帧频提取并可以用作跟踪和识别目的。根据示例实施例的特征描述符可以通过以视频帧频提取有助于识别和跟踪的信息而生成。通过以这种方式生成特征描述符，跟踪和识别均可以被特征描述符支持。附加地，为了克服与许多手持设备的受限的计算功率相关的挑战，根据各种示例实施例，此处描述的特征描述符对于计算是既健壮又快速的。

对RIFF描述符的生成可以从形成压缩的梯度直方图（CHoG）描述符的程序开始，其已经示出了以很低的比特率很好地运行。然而，根据某些示例实施例，CHoG程序可以被修改以消除特征点（keypoint）检测的方向赋值阶段以提高速度，并生成旋转不变快速特征描述符。

在这点上，可以提供两种类型的RIFF描述符，基于梯度面元划分（binning）的描述符和基于空间面元划分的描述符。旋转不变性可以是健壮图像识别系统的重要特征。某些描述符通过查找（find）方向并内插相关的像素实现方向不变性。然而，根据示例实施例，RIFF描述符的生成可以在没有确定方向和像素内插的情况下被执行。在这点上，可以利用梯度直方图（HoG）类型的描述符，并且可以通过梯度面元划分和空间面元划分实现旋转不变性。

根据某些示例实施例，可以使用梯度面元划分来生成旋转（rationally）不变描述符。为了使梯度面元划分不变，可以应用可逆的（invertable）、空间上变化的转换。通过以给定角度旋转梯度，可以以很少的或者没有信息损失实现旋转不变性。产生径向梯度转换（RGT）。

如图1中所示，可以选择两个正交的基础矢量来提供局部极坐标系（reference frame）以描述梯度。基础矢量r和t可以是点p处相对于曲面（patch）中心c的径向和切向方向。R_θ可以定义为角度θ的标准旋转矩阵，得到：

r = \frac{p - c}{| | p - c | |},

t = R_{\frac{- π}{2}} r - - - (1)

通过投影到r和t，梯度g可以分解成其局部坐标系：

g＝(g^丅r)r+(g^丅t)t (2)

以便梯度可以在局部径向坐标系中表示为矢量(g^丅r，g^丅t)。如果曲面围绕其中心c旋转某个角度θ，则新局部坐标系和梯度生成为：

R_θp＝p′,R_θr=r′,R_θt=t′R_θg＝g′.

这样，局部帧中的梯度坐标因此示为对旋转不变，因为g和g’映射为各自参考坐标系中的相同坐标。

因此一些或者所有梯度可以被旋转相同的角度，并且Rθ可以生成一对一的映射。因此，在围绕曲面的任何给定圆周上的梯度组可以是对旋转不变的。图2图示了由于径向梯度转换的实施导致的旋转不变性。参考图2，数据库曲面（左上方）在xy（上方中间）和径向（右上方）域中均产生了梯度直方图。从直立查询曲面（upright query patch）（左中）及其旋转版（左下）提取类似的直方图。值得注意的是，xy梯度直方图（中间纵列）随着曲面旋转，而径向梯度直方图（右边纵列）在所有行中保持同一形状。

给定这些旋转不变梯度，可以应用面元划分技术来产生包括描述符的梯度直方图。梯度直方图可以被划分以将直方图的维数（dimensionality）降低到合理的大小，同时保持健壮性。图3a到3d图示了梯度面元划分中心和用于RIFF描述符的生成的Voronoi单元。面元中心（单元内的点）可用于直方图量化。图3c和3d中描述的矢量量化器（VQ）可能更灵活，而图3a和3b中描述的标量量化器（SQ）可能更快。

已描述了旋转不变梯度面元划分，可以考虑空间面元划分以用于RIFF描述符的生成。通过对面元使用环面（annuli）可以使空间面元划分不变，诸如图4a中描述的环面。可选地，环面可以被再分成角形面元，产生如图4b所示的极性（polar）结构。

根据一些示例实施例，极性空间面元划分技术可以提高描述符的健壮性。然而，可能会失去方向不变性。为了重新获得方向不变性，可以使用距离测量Dori，其估算一些或所有描述符角度上的最小距离D。因此，如果Dθ是以θ旋转的描述符，

D_{ori} (D_{1}, D_{2}) = \min_{θ} D (D_{1}^{θ}, D_{2}) - - - (4)

例如，为了实现极性空间面元划分，可以使用六个角形分隔来大致地（coarsely）提供距离VS角度的抽样估算。可以使用二次内插以获得高精确性角度和距离估算。

已描述了使用梯度面元划分和空间面元划分生成RIFF描述符以实现方向不变性，描述对程序的进一步修改以实现提高对特征生成的速度。由于方向赋值不包括在特征的生成中，描述符可以直接从围绕兴趣点的直立曲面中提取。这样，根据各种示例实施例，不需要执行耗费计算的像素内插的操作。

进一步地，可以利用近似的径向梯度转换来降低通过RGT实现方向不变性的计算消耗。而在一些实施例中，可以利用RGT，其可能需要带有或者带有定点运算的大量浮点矩阵乘法，也可以可选地使用概算（approximation）以减少计算负荷。

在这点上，r和t基础矢量可以近似为简单对和。比较图5a与图5b可以看出近似基础矢量可以被量化为给定角度，诸如图5b中描述的45度。通过这样做，可以在没有附加成本的情况下沿着各个方向直接计算梯度，并且可以通过找出具有适当的归一化的邻近像素之间的差来计算近似径向梯度转换（ARGT）。

计算了ARGT之后，可以执行梯度直方图的标量量化以构成RIFF描述符。根据一些示例实施例，为了速度，可以分别使用3×3和5×5的标量量化器代替矢量量化器来用于极性和环面配置。在一些示例实施例中，可以产生100-维的环面描述符和/或117-维的极性描述符。

根据各种示例实施例，局部HoG描述符可以捕获围绕兴趣点的关于图像内容的统计信息。假设两个兴趣点的图像内容相同，则梯度的分布也可以类似。因此可以通过直方图采样估算潜在的分布，更多采样导致改善的估算。然而，每个采样可能要求计算和量化梯度。因此，可以通过采样的数目在计算速度和估算质量之间存在权衡（trade-off）。为了提高速度，通过对估算的较小降级，可以围绕兴趣点对交替像素进行采样。图4a和4b通过棋盘式图案表示交替像素，其中对由暗方块表示的像素采样以估算HoG而不对由亮方块表示的像素采样。

进一步地，如上所述生成的RIFF描述符可以通过使用两种任务的描述符统一跟踪和识别。为了跟踪，可以执行图像金字塔的每一级上的诸如加速分段测试提取特征(FAST)检测器的兴趣点检测器。根据一些示例实施例，为了速度，可以忽略金字塔的非整数级，其在标度空间中提供足够的覆盖同时不要求超过2×缩减采样的像素内插。进一步地，根据一些示例实施例，当描述符用于识别时，标度空间中任何覆盖的不足可由数据库中的冗余来补救。

为了跟踪，RIFF描述符于是可以与前一帧中空间上邻近的RIFF描述符匹配。如果两个描述符落入固定的半径内（例如，8个像素），则描述符可被认为是匹配的候选者。然后受制于（subject to）距离阈值，选择最好的候选者作为在描述符域中具有最小距离的一个。根据一些示例实施例，Kullback-Leiber散度可用于匹配性能。

对于在很高的帧频处的描述符匹配，可以根据描述符在帧中的位置执行快速散列和空间面元划分。在这点上，帧可以被划分成例如空间网格，并且当前帧的描述符可以被放置到与从其检测到描述符的网格的部分相关联的面元中。根据一些示例实施例，描述符还可以被放置到邻近的面元中，诸如空间网格中的8个邻近面元中。以这种方式执行面元划分可以允许对帧之间的空间邻元素的快速查找。为了确定匹配候选者，可以对面元进行分析以确定当前帧的哪个面元包括描述符。根据一些示例实施例，面元可以含有来自前一帧的一些或者所有邻近描述符的初步入选名单。

根据各种示例实施例，匹配技术提供了足够健全且没有异常点（outlier）的特征匹配，这样不需要对异常点的移除。在这点上，为了跟踪帧的全局运动，可以在当前帧和前一帧之间计算对仿射模型的最小二乘解。

进一步地，为了支持识别功能性，可以与任何匹配以及仿射模型一起存储对前一帧的描述符的储备。根据一些示例实施例，具有这种暂时稠密的信息集可以提供实现每帧具有最适度数目的描述符的质量识别。

如上所述，RIFF描述符还可以用作识别。在这点上，可以例如在手持设备上执行实时或近实时的RIFF描述符提取和跟踪。附加地，可以生成对过去所跟踪的特征和全局仿射模型的缓冲区。为了生成缓冲区，一些示例实施例可以每帧提取100个特征，并且在每秒15帧时在一秒的时间内可以提取和跟踪1500个特征。基于描述符及其各自的跟踪信息，可以关于缓冲区执行视频内容识别。

进一步地，根据一些示例实施例，通过相同的描述符对跟踪和识别的统一具有提供识别数据的暂时一致性的附加益处。通过检查描述符经过视频流的路径可以实现特征描述符的健壮性。基于跟踪信息，可以执行对来自查询特征的不相干数据的删节。除了删节伪兴趣点，可以通过从邻近帧获得更多采样来改善健壮兴趣点的描述符。

对于诸如MAR应用的许多应用来说，可以执行对局部或者远程数据库的视频流查询。查询可以定期（诸如1Hz）周期性地执行，或者当帧中出现重要的新内容时执行。新内容的出现可以容易地从跟踪数据中导出。

对于一些MAR应用，可以使用诸如全球定位系统位置信息的位置信息来预取用于识别的合适的本地数据库。以这种方式预取数据库可以限制用于目标识别的数据库的大小。进一步地，对于一些示例实施例，诸如压缩磁盘的更大数据库或者其它目标识别数据库，可以向服务器压缩和查询跟踪信息。

根据上述以及此处以别的方式描述的识别技术，可以实现成对图像匹配和检索性能。根据一些示例实施例，为了执行识别，可以识别诸如高斯差分（DoG）兴趣点的兴趣点，并提取各自的描述符。使用这些描述符，可以训练（train）词汇树。例如，如果提取了600个兴趣点，可以构建具有深度为6且分支因子为10的树，得到具有106个叶节点的树。可以使用对称KL散度进行训练和查询的距离测量。可选地，根据一些示例实施例，可以使用用于比较HoG描述符的L2规范。KL散度可以并入k均值聚类结构中，因为其为Bregman散度。为了改善的健壮性，可以关于3个最邻近的质心（centroid）使用描述符的软分配。

为了查询，可以使用例如标准的词频-反文档频率（TF-IDF）方案计算每个查询和数据库矢量之间的相似值，TF-IDF方案表示查询和数据库图像作为可见单词的稀疏矢量出现。也可以使用加权方案，其降低较差区分力描述符的贡献。一旦从TF-IDF表决中选择了图像的选择组，可以使用例如比率检验法和随机抽样一致性（RANSAC）来执行成对匹配以完成识别。

上述以及此处广泛提供的描述符图示了用于RIFF特征生成以及使用RIFF特征进行跟踪和识别的示例方法、示例设备。可以执行示例方法和示例设备以用对MAR的应用实现统一的跟踪和视频内容识别。可以利用RGT及其概算产生旋转不变快速特征（RIFF）描述符。根据一些示例实施例，RIFF描述符足够快以用于实时或近实时跟踪，并且足够健壮以用于大规模检索任务。例如，在26×速度处，此处描述的跟踪方案的示例实施例获得可与KLT比较的全局仿射运动模型。附加地，根据一些示例实施例，用于跟踪的模型和特征匹配也被用于提高视频内容识别的健壮性。通过组合（couple）跟踪与识别，可以实现处理中的相互优势。

基于前述描述，图6和7图示了本发明的示例设备实施例，其配置成执行此处描述的各种功能性。图8描述了如此处描述的用于跟踪和识别的示例方法。

现在参考图6，在一些示例实施例中，设备200可以体现为或者可以被包括作为具有有线或无线通信能力的通信设备的一部分。在一些示例实施例中，设备200可以是诸如静态或移动终端的通信设备的一部分。作为静态终端，设备200可以是计算机、服务器、接入点（例如，基站、无线路由器或类似的）、支持网络通信的设备或类似的设备的一部分。作为移动终端，设备200可以是移动计算机、移动电话、便携式数字助理（PDA）、寻呼机、移动电视、游戏设备、移动计算机、可能带有无线调制解调器的膝上型计算机、照相机、录像机、音频/视频播放器、收音机、和/或全球定位系统（GPS）设备、前述任一组合或类似的。不考虑通信设备的类型，设备200还可以包括计算性能。

示例设备200包括处理器205、存储器设备210、输入/输出（I/O）接口206、通信接口215、用户接口220以及源连接管理器230，或者与处理器205、存储器设备210、输入/输出（I/O）接口206、通信接口215、用户接口220以及源连接管理器230通信。处理器205可以体现为实现本发明的示例实施例的各种功能性的各种装置，包括，例如，微处理器、协处理器、控制器、专用集成电路，例如像ASIC（专用集成电路）、FPGA(现场可编程门阵列)、或者硬件加速器、处理电路等。根据一个示例实施例，处理器205可以代表多个处理器、或者一个或者多个协同操作的多核处理器。进一步地，处理器205可以由多个晶体管、逻辑门、时钟（例如，振荡器）、其他电路等组成以促进此处描述的功能性的实现。处理器205可以但是不必，包括一个或者多个附随的数字信号处理器。在一些示例实施例中，处理器205被配置为执行存储在存储器设备210中的指令或者处理器205以别的方式可获取的指令。处理器205可以被配置为如此操作以使处理器引起设备200执行此处描述的各种功能性。

不管配置为硬件还是通过存储在非临时计算机可读存储介质中的指令、或者通过其结合，在被相应地配置时，处理器205可以是能够执行根据本发明的示例实施例的操作的实体。因此，在处理器205体现为ASIC、FPGA等、或者为ASIC、FPGA等的一部分的示例实施例中，处理器205是被特定地配置以进行此处描述的操作的硬件。可选地，在处理器205体现为存储在计算机可读存储介质中的指令的执行程序的示例实施例中，该指令特定地配置处理器205以执行此处描述的算法和操作。在一些示例实施例中，处理器205是经由用于执行此处描述的算法、方法和操作的被执行的指令通过对处理器205的进一步配置为采用本发明的示例实施例而配置的特定设备（例如，移动终端）的处理器。

存储器设备210可以是一个或者多个计算机可读存储介质，其可以包括易失性和/或非易失性存储器。在一些示例实施例中，存储器设备210包括随机存取存储器（RAM），随机存取存储器（RAM）包括动态和/或静态RAM、片上或片外高速缓冲存储器等。进一步地，存储器设备210可以包括非易失性存储器，其可以为嵌入式的和/或可移动的，并且可以包括，例如只读存储器、闪存、磁存储设备（例如，硬盘、软盘驱动、磁带等）、光盘驱动和/或介质、非易失性随机存取存储器（NVRAM）等。存储器设备210可以包括临时存储数据的缓存区。在这点上，一些或者全部存储器设备210可以包括在处理器205中。

进一步地，存储器设备210可以被配置为存储信息、数据、应用、计算机可读程序代码指令等以使处理器205以及示例设备200能够执行根据此处描述的本发明的示例实施例的各种功能。例如，存储器设备210可以被配置为缓冲输入数据以由处理器205处理。附加地或者可选地，存储器设备210可以被配置为存储指令以由处理器205执行。

I/O接口206可以是任何设备、电路、或者体现在硬件、软件、或者硬件与软件的结合中的装置，其被配置为将处理器205与其他电路或者设备（诸如通信接口215和用户接口220）对接。在一些示例实施例中，处理器205可以经由I/O接口206与存储器210对接。I/O接口206可以被配置为将信号与数据转换为可以由处理器205解释的形式。I/O接口206还可以执行对输入和输出的缓冲以支持处理器205的操作。根据一些示例实施例，处理器205与I/O接口206可以结合到配置为执行或者引起设备200执行本发明的各种功能性的单片上或者集成电路上，。

通信接口215可以是体现在硬件、计算机程序产品、或者硬件与计算机程序产品的结合中的任何设备或者装置，其被配置为自网络和/或与示例设备200通信的任何其它设备或者模块接收和/或向网络和/或与示例设备200通信的任何其它设备或者模块传送数据。在一些示例实施例中，通信接口可以是与个人计算机相连的无线调制解调器的一部分或者包括与个人计算机相连的无线调制解调器。处理器205还可以被配置为通过例如控制包括在通信接口215内的硬件促进经由通信接口的通信。在这点上，通信接口215可以包括，例如，一个或者多个天线、发射器、接收器、收发器和/或支持硬件，包括，例如，用于使能通信的处理器。经由通信接口215，示例设备200可以以设备到设备的方式和/或经由经基站、接入点、服务器、网关、路由等非直接通信与各种其他网络实体通信。

通信接口215可以被配置成提供根据任何有线或者无线通信标准的通信。通信接口215可以被配置成支持多天线环境（诸如多输入多输出（MIMO）环境）中的通信。进一步地，通信接口215可以被配置成支持正交频分复用（OFDM）信令。在一些示例实施例中，通信接口215还可以被配置成根据各种技术传达信息，各种技术诸如：第二代（2G）无线通信协议、IS-136（时分多址（TDMA））、GSM（全球移动通信系统）、IS-95（码分多址（CDMA））、诸如通用移动通信系统（UMTS）、CDMA 2000、宽带CDMA（WCDMA）和时分同步CDMA（TD-SCDMA）的第三代（3G）无线通信协议、诸如演进的通用陆地无线接入网络（E-UTRAN）的3.9代（3.9G）通信协议、第四代（4G）无线通信协议、高级国际移动通信（IMT-Advanced）协议、包括高级长期演进（LTE）的LTE协议等。进一步地，通信接口215还可以被配置成根据诸如射频（RF）、红外线（IrDA）或者多种不同的无线网络技术中的任一种的各种技术提供通信，多种不同的无线网络技术包括：诸如IEEE 802.11（例如，802.11a、802.11b、802.11g、802.11n等）、无线局域网（WLAN）协议的WLAN技术，诸如IEEE 802.16的全球微波互联接入（WiMAX）技术，和/或诸如IEEE 802.15、蓝牙（BT）、BT的低功耗版、超宽带，Wibree、Zigbee的无线个人区域网（WPAN）技术等等。通信接口215还可以被配置成支持在网络层经由网际协议（IP）的通信。

用户接口220可以与处理器205通信以接收经由用户接口220的用户输入和/或将输出呈现给用户，作为例如听觉的、视觉的、机械的或者其它输出指示。用户接口220可以包括，例如键盘、鼠标、操纵杆、显示器（例如，触屏显示器）、扩音器、扬声器或者其它输入/输出机械装置。进一步地，处理器205可以包括配置成控制用户接口的一个或多个部件的至少一些功能的用户接口电路，或者与配置成控制用户接口的一个或多个部件的至少一些功能的用户接口电路通信。处理器205和/或用户接口电路可以被配置成通过存储在处理器205可获取的存储器（例如，易失存储器，非易失存储器等）上的计算机程序指令（例如，软件和/或固件）来控制用户接口的一个或多个部件的一个或多个功能。在一些示例实施例中，用户接口电路被配置成通过对显示器的使用促进对设备200的至少一些功能的用户控制以及配置成对用户输入进行响应。处理器205还可以包括配置成显示用户接口的至少一部分的显示器电路，或者与配置成显示用户接口的至少一部分的显示器电路通信，显示器与显示器电路配置成促进对设备200的至少一些功能的用户控制。

示例设备200的描述符生成器235、目标跟踪器240和/或目标识别器245可以是部分地或者完全地体现在硬件、计算机程序产品、或者硬件与计算机程序产品的结合中的任何装置或者设备，诸如执行所存储的指令以配置示例设备200的处理器205、存储配置为执行此处描述的功能的可执行程序代码指令的存储器设备210、或者配置为执行此处描述的描述符生成器235、目标跟踪器240和/或目标识别器245的功能的硬件配置的处理器205。在示例实施例中，处理器205包括或者控制描述符生成器235、目标跟踪器240和/或目标识别器245。描述符生成器235、目标跟踪器240和/或目标识别器245可以部分地或者完全地体现为与处理器205相似但与处理器205分离的处理器。在这点上，描述符生成器235、目标跟踪器240和/或目标识别器245可以与处理器205通信。在各种示例实施例中，描述符生成器235、目标跟踪器240和/或目标识别器245可以部分地或者完全地驻留在不同设备上，以便描述符生成器235、目标跟踪器240和/或目标识别器245的一些或者全部功能性可以由第一设备执行，而描述符生成器235、目标跟踪器240和/或目标识别器245的剩余部分功能性可以由一个或者多个其它设备执行。

设备200与处理器205可以被配置为经由描述符生成器235执行下述功能性。描述符生成器235可以被配置成执行示例方法（诸如图8中描述的示例方法）的多个操作。在这点上，描述符生成器235可以被配置成在400处生成图像帧的图像金字塔，并在410处检测图像金字塔内的多个兴趣点。描述符生成器235还可以被配置成在420处提取每个各自的兴趣点的特征描述符。根据一些示例实施例，特征描述符是旋转不变的。进一步地，根据一些示例实施例，提取特征描述符可以包括以给定角度旋转兴趣点的梯度以产生径向梯度转换。根据一些示例实施例，提取特征描述符可以包括执行梯度面元划分和/或空间面元划分。根据一些示例实施例，提取特征描述符可以进一步包括定义近似基础矢量，并利用近似基础矢量生成近似径向梯度转换。在一些示例实施例中，可以基于描述符之间的阈值最小距离选择描述符以用于匹配。

设备200与处理器205可以被配置为经由目标跟踪器240执行下述功能性。目标跟踪器240可以被配置成执行示例方法（诸如图8中描述的示例方法）的多个操作。在这点上，目标跟踪器240可以被配置成通过将特征描述符与前一帧的特征描述符进行匹配来跟踪运动。

设备200与处理器205可以被配置为经由目标识别器245执行下述功能性。目标识别器245可以被配置成执行示例方法（诸如图8中描述的示例方法）的多个操作。在这点上，目标识别器245可以被配置成基于特征描述符来执行对图像帧内的目标的识别。

现在参考图7，提供了根据本发明的各种实施例的更具体的示例设备。图7的示例设备是配置成与诸如蜂窝通信网络的无线网络通信的移动终端10。移动终端10可以被配置成执行设备200或者此处描述的其它示例设备的功能性。更具体地，移动终端10可以被引起执行描述符生成器235、目标跟踪器240、目标识别器245的功能性和/或通过处理器20的图8的操作。在这点上，处理器20可以是与例如I/O接口206一起配置为与处理器205类似的集成电路或芯片。进一步地，易失性存储器40与非易失性存储器42可以配置成支持处理器20的操作，作为计算机可读存储介质。

移动终端10可以进一步包括天线12、发射器14和接收器16，其可以被包括以作为移动终端10的通信接口的部分。扬声器24、扩音器26、显示器28和键区30可以被包括以作为用户接口的部分。在一些示例实施例中，移动终端10可以包括图像或者视频捕获单元，诸如用于捕获图像或者图像系列的照相机模块。

图9描述了根据本发明的各种示例实施例的另一示例方法。图9的示例方法可以由设备200、处理器205、移动终端10等执行。示例方法包括在500处生成图像帧的图像金字塔，并在510处检测来自图像金字塔的所选级的多个兴趣点。图像金字塔的所选级可以是图像金字塔的整数级，可以省略非整数级。在520处，可以生成径向梯度转换或者近似径向梯度转换。进一步地，在530处，可以基于所选的像素生成采样的直方图。在这点上，交替像素可以用于直方图采样。在540处，旋转不变特征描述符可以是针对每个各自的兴趣点的，并且可以使用梯度面元划分和/或空间面元划分提取。在550处，可以基于最小距离阈值通过将描述符与前一帧的描述符匹配来执行跟踪运动。示例方法还可以包括，在560处缓冲特征描述符和跟踪信息。在570处，可以基于所缓冲的特征描述符和跟踪信息执行对图像帧内的目标的识别。

图8与图9图示了根据本发明的示例实施例的示例系统、方法、和/或计算机程序产品的流程图。应理解的是流程图的每个操作和/或流程图中操作的结合可以由各种装置执行。用于执行流程图的操作、流程图中操作的结合、或此处描述的本发明的示例实施例的其它功能性的装置可以包括硬件、和/或包括计算机可读存储介质（相对于描述传播信号的计算机可读传输介质）的计算机程序产品，该计算机可读存储介质具有一个或者多个计算机程序代码指令、程序指令、或者存储在其中的可执行计算机可读程序代码指令。在这点上，程序代码指令可以被存储在示例设备（诸如示例设备200）的存储器设备（诸如存储器设备210）上并由处理器（诸如处理器205）执行。如将被理解的，任何此类程序代码指令可以从计算机可读存储介质加载到计算机或者其它可编程设备（例如，处理器205、存储器设备210等）上以产生特定的机器，以便该特定的机器成为用于执行流程图的操作中规定的功能的装置。这些程序代码指令还可以存储在引导计算机、处理器、或其他可编程设备以特定方式运行以由此生成特定的机器或者特定的制造品的计算机可读存储介质上。存储在计算机可读存储介质上的指令可以产生制造品，其中制造品成为用于执行流程图的操作中规定的功能的装置。程序代码指令可以从计算机可读存储介质中获取并且加载到计算机、处理器、或其他可编程设备中以配置计算机、处理器、或其它可编程设备执行在计算机、处理器、或其它可编程设备上或者由计算机、处理器、或其它可编程设备执行的操作。对程序代码指令的获取、加载和执行可以被相继执行，使得一次获取、加载和执行一个指令。在一些示例实施例中，获取、加载和/或执行可以被并行执行，使得多个指令被同时获取、加载和/或执行。程序代码指令的执行可以产生计算机实现的进程，因此由计算机、处理器或其他可编程设备执行的指令提供用于执行流程图的操作中规定的功能的操作。

相应地，处理器对与流程图的操作相关的指令的执行、或者对与流程图的操作相关的指令在计算机可读存储介质中的存储支持用于执行规定的功能的操作的结合。同样可以理解的是流程图的一个或者多个操作、以及流程图中的操作的结合可以由执行规定的功能的基于专用硬件的计算机系统和/或处理器、或者专用硬件与程序代码指令的结合执行。

下面提供了本发明的附加示例实施例。根据一个示例方法包括生成图像帧的图像金字塔，检测图像金字塔内的多个兴趣点，以及提取每个各自的兴趣点的特征描述符。根据一些示例实施例，特征描述符是旋转不变的。进一步地，根据一些示例实施例，提取特征描述符可以包括以给定角度旋转兴趣点的梯度以产生径向梯度转换。根据一些示例实施例，提取特征描述符可以包括执行梯度面元划分和/或空间面元划分。根据一些示例实施例，提取特征描述符可以进一步包括定义近似基础矢量，并利用近似基础矢量生成近似径向梯度转换。在一些示例实施例中，可以基于描述符之间的阈值最小距离选择描述符以用于匹配。

相关的用旋转不变特征描述符进行跟踪和识别的示例设备包括至少一个处理器和包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码配置成与至少一个处理器一起引起设备至少执行各种功能性。在这点上，示例设备被引起执行：生成图像帧的图像金字塔，检测图像金字塔内的多个兴趣点，以及提取每个各自的兴趣点的特征描述符。根据一些示例实施例，特征描述符是旋转不变的。进一步地，根据一些示例实施例，提取特征描述符可以包括以给定角度旋转兴趣点的梯度以产生径向梯度转换。根据一些示例实施例，提取特征描述符可以包括执行梯度面元划分和/或空间面元划分。根据一些示例实施例，提取特征描述符可以进一步包括定义近似基础矢量，并利用近似基础矢量生成近似径向梯度转换。在一些示例实施例中，可以基于描述符之间的阈值最小距离选择描述符以用于匹配。

另一示例实施例是在其中存储有可执行的计算机可读程序代码指令的示例计算机可读存储介质。示例计算机可读存储介质的计算机可读程序代码指令用于引起设备执行各种功能性。在这点上，示例设备被引起执行：生成图像帧的图像金字塔，检测图像金字塔内的多个兴趣点，以及提取每个各自的兴趣点的征描述符。根据一些示例实施例，特征描述符是旋转不变的。进一步地，根据一些示例实施例，提取特征描述符可以包括以给定角度旋转兴趣点的梯度以产生径向梯度转换。根据一些示例实施例，提取特征描述符可以包括执行梯度面元划分和/或空间面元划分。根据一些示例实施例，提取特征描述符可以进一步包括定义近似基础矢量，并利用近似基础矢量生成近似径向梯度转换。在一些示例实施例中，可以基于描述符之间的阈值最小距离选择描述符以用于匹配。

另一示例实施例是用旋转不变特征描述符进行跟踪和识别的示例设备。该示例设备包括：用于生成图像帧的图像金字塔的装置，用于检测图像金字塔内的多个兴趣点的装置，以及用于提取每个各自的兴趣点的特征描述符的装置。根据一些示例实施例，特征描述符是旋转不变的。进一步地，根据一些示例实施例，提取特征描述符可以包括以给定角度旋转兴趣点的梯度以产生径向梯度转换。根据一些示例实施例，提取特征描述符可以包括执行梯度面元划分和/或空间面元划分。根据一些示例实施例，提取特征描述符可以进一步包括定义近似基础矢量，并利用近似基础矢量生成近似径向梯度转换。在一些示例实施例中，可以基于描述符之间的阈值最小距离选择描述符以用于匹配。

此处提出的本发明的许多修改以及其它实施例将为领域内技术人员所了解，相关发明具有前述描述以及有关的附图中给出的教导的益处。因此应该理解的是本发明不限制为公开的特定实施例，而是修改与其它实施例也旨在包括在所附权利要求的范围内。此外，尽管前述描述以及有关附图描述了要素和/或功能的特定示例性结合的情境中的示例实施例，应理解的是要素和/或功能的不同结合可以在不背离所附权利要求的范围的情况下由替代实施例提供。在这点上，例如，除了上文明确描述的之外，要素和/或功能的不同结合也被考虑为可以陈述在所附的一些权利要求中。虽然此处采用了特定术语，但它们仅用作通用和说明目的而不用于限制目的。

Claims

1.一种用于生成和利用特征描述符来跟踪和识别对象的方法，包括：

生成图像帧的图像金字塔；

检测所述图像金字塔内的多个兴趣点；以及

提取图像内所述多个兴趣点中每个兴趣点的特征描述符，其中

提取所述特征描述符包括以给定角度旋转兴趣点的梯度以产生径向梯度转换，

其中提取所述特征描述符包括执行梯度面元划分或者空间面元划分。

2.如权利要求1所述的方法，其中所述特征描述符来自不同标度和方向处的兴趣点。

3.如权利要求1或2所述的方法，进一步包括：

通过将所述特征描述符与前一帧的特征描述符进行匹配来跟踪运动；以及

基于所述特征描述符来执行对所述图像帧内的目标的识别。

4.如权利要求1或2所述的方法，其中提取所述特征描述符包括定义近似基础矢量以及利用所述近似基础矢量来生成近似径向梯度转换。

5.如权利要求1或2的方法，进一步包括基于所述特征描述符之间的阈值最小距离选择所述特征描述符中至少之一以用于匹配。

6.一种用于生成和利用特征描述符来跟踪和识别对象的设备，所述设备包括：

至少一个处理器；

包括计算机程序代码的至少一个存储器；以及

描述符生成器，

所述描述符生成器被配置成经由所述至少一个存储器与所述计算机程序代码受所述至少一个处理器控制以执行至少以下操作：

生成图像帧的图像金字塔；

检测所述图像金字塔内的多个兴趣点；以及

7.如权利要求6所述的设备，其中所述特征描述符来自不同标度和方向处的兴趣点。

8.如权利要求6或7所述的设备，其中所述设备进一步包括：

目标跟踪器，其被配置为通过将所述特征描述符与前一帧的特征描述符进行匹配来跟踪运动；以及

目标识别器，其被配置为基于所述特征描述符来执行对所述图像帧内的目标的识别。

9.如权利要求6或7所述的设备，其中所述描述符生成器被配置成提取所述特征描述符包括被配置成：定义近似基础矢量以及利用所述近似基础矢量来生成近似径向梯度转换。

10.如权利要求6或7所述的设备，其中所述描述符生成器被进一步配置成：基于所述特征描述符之间的阈值最小距离选择所述特征描述符中至少之一以用于匹配。

11.如权利要求6或7所述的设备，其中所述设备包括移动终端。

12.如权利要求6或7所述的设备，其中所述设备包括配置成基于所述特征描述符来呈现目标跟踪的显示器。

13.一种用于生成和利用特征描述符来跟踪和识别对象的设备，包括：

用于生成图像帧的图像金字塔的装置；

用于检测所述图像金字塔内的多个兴趣点的装置；以及

用于提取图像内所述多个兴趣点中每个兴趣点的特征描述符的装置，

其中用于提取所述特征描述符的装置包括用于以给定角度旋转兴趣点的梯度以产生径向梯度转换的装置，

其中用于提取所述特征描述符的装置包括用于执行梯度面元划分或者空间面元划分的装置。

14.如权利要求13所述的设备，其中用于提取所述特征描述符的装置包括用于提取特征描述符的装置，所述特征描述符是旋转不变的。

15.如权利要求13或14所述的设备，进一步包括：

用于通过将所述特征描述符与前一帧的特征描述符进行匹配来跟踪运动的装置；以及

用于基于所述特征描述符来执行对所述图像帧内的目标的识别的装置。

16.如权利要求13或14所述的设备，其中用于提取所述特征描述符的装置包括用于定义近似基础矢量的装置以及用于利用所述近似基础矢量来生成近似径向梯度转换的装置。

17.如权利要求13或14所述的设备，进一步包括用于基于所述特征描述符之间的阈值最小距离选择所述特征描述符中至少之一以用于匹配的装置。