CN105190689A - 包括基于毗连特征的对象检测和/或双边对称对象分段的图像处理 - Google Patents

Abstract

本文公开了与处理图像相关联的设备、方法和存储介质。在实施例中，一种用于处理一个或多个图像的方法可以包括针对图像对而生成多个关键点特征对。每一个关键点特征对可以包括来自每一个图像的关键点特征。另外，针对每一个关键点特征对，可以生成对应毗连特征。此外，针对每一个关键点特征对，可以确定毗连特征是否是类似的。还可以至少部分地基于对应毗连特征之间的类似性的确定的结果而确定图像对是否具有至少一个类似对象。可以描述和要求保护其它实施例。

Description

包括基于毗连特征的对象检测和/或双边对称对象分段的图像处理

技术领域

本公开涉及数据处理的领域，特别地涉及与成像处理相关联的设备、方法和存储介质，包括但不限于基于毗连特征的对象检测和/或双边对称对象分段。

背景技术

本文所提供的背景描述是出于一般地呈现本公开的上下文的目的。除非以其它方式在本文中指示，否则在该章节中所描述的材料不是本申请中的权利要求的现有技术，并且不通过包括在该章节中而被承认为现有技术。

通用微处理器、图形处理器、联网和有关技术中的发展已经导致经由因特网的多媒体内容的可用性方面的增长。通常，应用和/或用户对图像中的对象的检测和/或分类（尤其是计算高效（并且因此功率和/或能量高效）的对象检测和/或分类）感兴趣，诸如在比如智能电话和/或计算平板那样的移动设备的情况中。

附图说明

通过结合附图的以下详细描述将容易理解实施例。为了促进该描述，相同的附图标记指代相同的结构元件。实施例通过示例的方式而不是通过限制的方式在附图的各图中图示。

图1图示了依照各种实施例的用于图像中的对象的检测和/或分类的与本公开的教导合并的示例计算布置的概览。

图2更加详细地图示了依照各种实施例的毗连特征的概念。

图3图示了依照各种实施例的用于基于毗连特征的对象检测的示例过程。

图4图示了依照各种实施例的适合于使用在对象分类中的用于双边对称对象分段的示例过程。

图5更加详细地图示了依照各种实施例的双边对称性的概念。

图6图示了依照各种实施例的用于对蝴蝶进行分类的示例过程。

图7更加详细地图示了依照各种实施例的梯度取向的索引的概念和使用。

图8图示了依照各种实施例的适合用于实践本公开的示例计算系统。

图9图示了依照各种实施例的具有被配置成使得设备能够实践本公开的各种方面的指令的示例存储介质。

具体实施方式

本文公开了与图像处理相关联的设备、方法和存储介质。在实施例中，一种用于处理一个或多个图像的方法可以包括例如通过计算设备生成多个关键点特征对。每一个关键点特征对可以包括来自一个或多个图像中的第一图像的第一关键点特征，以及来自一个或多个图像中的第二图像的第二关键点特征。计算设备还可以针对每一个关键点特征对而生成针对关键点特征对中的第一关键点特征的第一一个或多个毗连特征，以及针对关键点特征对中的第二关键点特征的对应第二一个或多个毗连特征。计算设备可以此外针对每一个关键点特征对而确定关键点特征对中的第一关键点特征的毗连特征是否类似于关键点特征对中的第二关键点特征的对应毗连特征。计算设备还可以至少部分地基于关键点特征对中的第一和第二关键点特征的对应毗连特征之间的类似性的确定的结果而确定第一和第二图像是否具有至少一个类似对象。

在实施例中，一种用于处理一个或多个图像的方法可以包括通过计算设备对图像的局部特征进行按对匹配以生成针对图像的初始多个点对。计算设备还可以对点对进行尺度一致性检查以从初始多个点对消除错误匹配的点对，以导致具有第一中间多个经尺度一致性检查的点对。计算设备还可以对第一中间多个经尺度一致性检查的点对进行内容一致性检查，以丢弃图像背景中的主导（dominant）点对，以导致第二中间多个经内容一致性检查的点对。计算设备可以此外至少部分地基于第二中间多个经内容一致性检查的点对对图像进行有区别的（discriminative）前景和背景建模。计算设备还可以至少部分地基于经有区别的前景和背景建模的图像的几何性质而对图像中的双边对称对象进行分段。

在实施例中，设备（例如智能电话或计算平板）可以包括一个或多个处理器和具有指令的至少一个存储介质，所述指令被配置成使设备响应于由一个或多个处理器的操作而执行以上描述的方法及其变型中的一个或多个。在实施例中，至少一个存储介质可以包括指令，所述指令响应于由设备运行而使设备执行以上描述的方法及其变型中的一个或多个。

在以下的详细描述中，对形成其部分的附图做出参照，其中相同的附图标记自始至终指代相同的部分，并且其中通过图示的方式示出可以实践的实施例。要理解的是，可以利用其它实施例，并且可以做出结构或逻辑改变而不脱离于本公开的范围。因此，不以限制性含义来考虑以下详细描述，并且实施例的范围由随附权利要求及其等同物限定。

各种操作可以以最有助于理解所要求保护的主题的方式依次描述为多个分立动作或操作。然而，描述的次序不应当解释为暗示这些操作必然是次序相关的。特别地，那些操作可以不以呈现的次序执行。所描述的操作可以以与所描述的实施例不同的次序执行。在附加实施例中，可以执行各种附加操作和/或可以省略所描述的操作。

出于本公开的目的，短语“A和/或B”意指（A）、（B）或（A和B）。出于本公开的目的，短语“A，B和/或C”意指（A）、（B）、（C）、（A和B）、（A和C）、（B和C）或（A，B和C）。

描述可以使用短语“在一个实施例中”或“在多个实施例中”，其可以每一个是指相同或不同实施例中的一个或多个。另外，如关于本公开的实施例所使用的，术语“包括”、“包含”、“具有”等是同义的。

如后文（包括权利要求）所使用的，术语“模块”可以是指包括专用集成电路（ASIC）、电子电路、运行一个或多个软件或固件程序的处理器（共享、专用或组）和/或存储器（共享、专用或组）、组合逻辑电路和/或提供所描述的功能的其它合适组件或者作为其部分。

现在参照图1，示出依照各种实施例的用于图像中的对象的检测和/或分类的与本公开的教导合并的示例计算布置的概览。如所图示的，在实施例中，计算布置100可以包括如所示的那样与彼此耦合的处理器和存储器布置102，以及储存器104。处理器和存储器布置102可以被配置成主控（host）和运行操作系统以及服务114和应用112，而储存器104可以被配置成存储应用112可访问的数个图像142。在实施例中，应用112可以在控制之下运行，和/或利用操作系统的服务和服务114。由操作系统提供的服务和服务114可以包括各种图像处理服务122，其可以特别地包括以下更加全面描述的图像对象检测服务132、图像对象分类服务134以及图像对象双边对称分段功能136。

处理器和存储器布置102意图表示宽范围的处理器和存储器设备，包括而不限于，设计用于移动计算的布置。例如，在没有限制的情况下，处理器可以是本领域中已知的数个单核或多核通用或专用处理器中的任何一个。可以使用一个或多个通用或专用处理器。专用处理器的示例可以包括但不限于图形处理器。存储器可以是本领域中已知的数个易失性和/或非易失性存储器中的任何一个，包括但不限于动态随机存取存储器（DRAM）、FLASH（闪存）等等。类似地，可以使用一个或多个存储器单元。储存器104可以是数个一个或多个磁性、光学和/或固态存储设备中的任何一个。处理器和存储器布置102和储存器104可以共同位于相同的平台上并且经由例如系统总线与彼此耦合106，或者远离彼此定位，并且经由例如一个或多个私有和/或公共网络（诸如因特网）与彼此耦合106。也就是说，处理器和存储器布置102单独或者与储存器104结合地可以形成单个计算设备，诸如智能电话、计算平板、超极本、膝上型计算机、台式计算机、服务器、机顶盒、游戏控制台、媒体播放器、电子阅读器等等。

另外，计算布置100可以包括其它组件，诸如显示设备和/或有线或无线通信接口。显示设备可以是本领域中已知的数个显示设备中的任何一个，包括但不限于触摸屏显示器。有线通信接口的示例可以包括以太网联网接口。无线通信接口的示例可以包括支持WiFi、3G/4G无线通信的接口。计算布置100还可以包括输入设备，诸如键盘或其它光标控制和/或姿势识别设备。再进一步地，计算布置100可以包括摄像机、全球定位系统（GPS）支持和各种传感器。

仍旧参照图1，在各种实施例中，图像对象检测服务132可以被配置成标识图像中的对象，包括标识查询图像中的对象是否处于参考图像中，其在例如基于图像的搜索中具有特定应用。换言之，图像对象检测服务132可以用于确定查询图像是否在图像142之中。在实施例中，图像对象检测服务132可以被配置成使用图像中的关键点特征来检测对象。特别地，图像对象检测服务132可以被配置成与关键点特征的毗连特征结合地使用图像中的关键点特征来检测对象。更特别地，图像对象检测服务132可以被配置成至少部分地基于确定关键点特征的对应毗连特征是否类似来确定两个关键点特征是否类似。

现在参照图2，其更加详细地图示了依照各种实施例的毗连特征的概念。如所图示的，在实施例中，在对象检测期间，对于图像202和204的关键点特征S_i和S_j，图像对象检测服务132可以生成围绕关键点特征S_i和S_j的附加毗连特征和，k=0,1,…K-1。K可以是大于或等于1的任何整数。为了说明，K=3。在实施例中，图像对象检测服务132可以至少部分地基于是否毗连特征和被确定为是类似的来确定关键点特征S_i和S_j是否类似。如本领域技术人员可以领会到的，毗连特征有效地对关键点的局部空间关系进行编码。对于对象检测而言，毗连特征可以是比单独的关键点特征更有区别的（discriminative）。

现在还参照图3，其图示了依照各种实施例的用于基于毗连特征的对象检测的示例过程。为了易于理解，将在数个操作方面来描述基于毗连特征的对象检测过程300。在实现方式中，一个或多个硬件和/或软件组件可以用于执行操作。如所示，在实施例中，过程300可以在块302处开始。在块302处，图像对象检测服务（IODS）132可以提取查询图像A和参考图像B中的关键点特征{S_AS_B}。可以依照本领域中已知的数个关键点特征提取技术中的任何一个来提取关键点特征。在实施例中，对于每一个图像A或B，所提取的关键点特征s _i 可以由参数 来限定，其中是关键点特征位置，r _i 是关键点特征大小，θ _i 是关键点特征取向，并且是对应关键点特征描述符。{T表示向量转置，并且 R 表示实数}。

在实施例中，参考图像B可以是从图像142中初步选择的数个候选图像之一。可以通过例如诸如kd树索引、分级聚类（cluster）、词汇树等等之类的快速近似最近邻搜索技术来初步选择候选图像。

从块302，过程300可以进行到块304。在块304处，IODS132可以标识针对所提取的关键点特征s _i 的毗连特征。在实施例中，给定关键点特征 s _i 的K个毗连特征可以标识为，其中 并且K是毗连特征次序。如图2中所示，在实施例中，毗连特征可以是关键点s _i 周围的对称点的组。毗连特征可以具有与关键点s _i 相同的点大小r _i 和取向θ _i ，但是具有不同的点位置。对称分布的毗连特征描述符可以对关键点s _i 的局部空间关系进行编码。因此，在实施例中，毗连特征可以是对图像旋转、移位和缩放的改变不变的，因为它们取决于关键点s _i 的缩放-移位-旋转不变量。该性质对于具有鲁棒原理取向和大小的关键点特征可能尤为显著。如本领域技术人员将领会到的，毗连特征的不变性对于毗连特征匹配可能是有利的。在毗连特征提取的过程中，可以节约毗连关键点检测的时间，因此，计算成本可能主要来自特征描述符提取。

由于毗连特征用不变缩放-移位-旋转对局部空间关系进行自然地编码，因此在实施例中，可以通过采用毗连特征的空间关系约束来增加关键点特征的辨别力。因此，如果关键点特征对正确匹配，则其伴随的毗连特征也应当匹配。相反，匹配的毗连特征对可以验证和过滤关键点对。

仍旧参照图3，从块304，过程300可以进行到块306。在块306处，IODS132可以比较和确定对应关键点特征{S_AS_B}的毗连特征是否类似。在实施例中，从块306，过程300可以进行到块308，其中IODS132可以基于块306中执行的确定操作的结果而生成包含对应关键点特征{S_AS_B}的类似毗连特征的集M。例如，IODS132可以包括作为集M的成员的关键点特征对，如果其对应毗连特征的至少一对被确定为类似的话。在实施例中，从块308，过程300可以进行到块310，其中IODS132可以至少部分地基于在块308中生成的集M而标识查询帧A和参考帧B是类似还是不类似的。例如，如果集M的大小超过阈值，IODS132可以将查询帧A和参考帧B标识为类似。

在实施例中，IODS132还可以至少部分地基于集M的内容而标识图像中的共同对象。另外，IODS132还可以生成几何图元，诸如矩形框，以对两个帧中检测到的对象划界以突出（highlight）对象。

在实施例中，集M的生成可以在算法上如下执行：

输入：关键点特征集，毗连特征次序K，S _A 的毗连特征，S _B 的毗连特征，以及用于KNN搜索的数目N

输出：匹配点对集

1：

2：for每一个do

3：　　从中找到N个最近点s _j ，

4：　　fork=0到K-1do

5：　　　验证毗连特征类似于，

　　　　（或者高效地验证毗连特征在的N最近邻中，）

6：　endfor

7：　if至少一个是类似的，则

8　　　　

13：　endif

14：endfor。

通过嵌入局部空间约束，毗连特征匹配可以显著减少假阳性点匹配的数目。示例性优点可以总结如下：

高效性。毗连特征匹配以O(n)的计算复杂度高效地编码局部空间约束，其中n为关键点特征的数目。与现有基于小边（edgelet）和/或小三角（trianglet）的方案相比，毗连特征匹配可以更高效而没有关键点特征组合激增的缺点，例如针对小边的O(n²)和针对小三角的O(n³)的计算。

可缩放性。毗连特征匹配可以提供可扩展框架以增强传统关键点特征匹配。在实施例中，毗连特征次序K的默认值可以设置成1。然而，K可以被设置成更高以编码更加复杂的空间约束以增加鲁棒性能。

在实施例中，过程300可以针对用于每一个查询图像的多个参考图像按顺序或者并行重复多次，直到找到匹配为止，直到找到阈值数目的匹配为止，或者直到满足数个终止准则中的任何一个为止，诸如时间和/或所分配的计算资源耗尽。

现在简要地参考回图1，在实施例中，除了IODS132之外，图像处理服务122还可以包括图像对象双边对称分段功能（IOBSSF）136。

现在参照图4，其图示了依照各种实施例的用于双边对称对象分段的示例过程。为了易于理解，将在数个操作方面来描述双边对称对象分段过程400。在实现方式中，一个或多个硬件和/或软件组件可以用于执行操作。如所示，在实施例中，过程400可以在块402处开始。在块402处，IOBSSF136例如使用按对匹配模块可以在局部特征上执行按对匹配以对图像的点对进行分组。

双边对称检测的基本问题可以被视为标识当关于相应轴翻转它们时充分类似的局部图像区域对的问题。该问题是具有挑战性的，这不仅是因为存在需要准确确定的许多参数，而且是因为可以存在由于改变的光照、背景和/或失真所致的图像中的显著变化。在实施例中，IOBSSF136可以从通过匹配局部特征而对点对进行分组的角度解决问题。考虑和作为分别包含点P _i 和点P _j 的图像坐标、取向、尺度和局部特征向量的两个集，α _ij 为连接点P _i 和点P _j 的线段的角度，C _ij 为该线段的中点。在数学观念中，在且仅在的情况下点P _i 和点P _j 处的特征取向严格双边对称，如图5的图示500所图示的那样。

在实施例中，IOBSSF136可以首先获得匹配的点对的集合。例如，给定图像，IOBSSF136可以：

（1）使用特定关键点检测器和有关描述符（诸如SIFT（尺度不变特征变换）和SURF（加速鲁棒特征））来生成关键点集和对应的特征集；

（2）生成镜像的关键点集及其特征集，其中；

（3）对于中的每一个关键点P _i ，通过计算f _i 与之间的秩-1最近邻来在中找到其镜像。

一旦获得K个匹配的点对的集合，IOBSSF136可以使用以下的等式（1）来测量每一个匹配的点对的对称幅度。

在进行测量时，IOBSSF136可以丢弃具有小于t _m 的M _ij 的任何点对。

从块402，过程400可以进行到块404。在块404处，IOBSSF136可以使用例如尺度一致性检查模块而在经分组的点对上执行尺度一致性检查以消除错误匹配的点对。在实施例中，IOBSSF136可以使用等式（2）来计算尺度比r _s 以评估每一个匹配的点对的尺度一致性。

在计算尺度比时，IOBSSF136可以丢弃具有小于阈值t _s 的r _s 的点对。

从块404，过程400可以进行到块406。在块404处，IOBSSF136可以使用例如内容一致性检查模块而在经分组的点对上执行内容一致性检查以丢弃主导点对。在实施例中，IOBSSF136可以首先使用线性霍夫变换来对与相同双边对称轴共享的匹配的点对进行分组。在实施例中，对于匹配的点对，IOBSSF136可以将反射轴表示为

其中是连接点P _i 及其镜像的线段的中点的图像中心的坐标，α _ij 是该线段的角度并且其从下式计算

。

根据线性霍夫变换，每一个匹配的点对在空间中投出由其对称幅度M _ij 加权的投票。在累计投票之后，可以通过在空间中找到最大值来标识全局主导双边对称组。多个局部主导双边对称组也可以通过找到多个最大值来确定。所描述的方案适用于全局和局部主导双边对称组二者。

在实践中，尽管主导组中的大多数点对通常在目标区域中，但是可能存在定位在背景区域中的一些点对。在实施例中，IOBSSF136可以评估以主导点对为中心的两个局部图像区域是否在内容方面充分类似。给定主导点对，令和分别为以点P _i 和点为中心的N个像素的两个圆形图像区域，IOBSSF136可以通过使用以下的等式（5）对在和中的像素对上的L ₁形成的颜色差异进行求和来测量内容一致性。和分别表示和处的两个配对像素的RGB颜色值。

在实施例中，IOBSSF136可以丢弃具有大于阈值t _c 的d _ij 的任何点对。IOBSSF136还可以消除其d _ij 显著不同于相同组中的其它点对的d _ij 的任何点对。差异量是否“显著不同”可以是应用相关的。

仍旧参照图4，从块406，过程400可以进行到块408和410。在块408和410处，IOBSSF136可以使用例如前景/背景区分模块来区分图像的前景（FG）和背景（BG），并且可以使用例如分段模块而使用几何性质对双边对称对象进行分段。一般而言，主导点对通常在对象区域的有纹理部分内。换言之，精确的对象位置是未知的。在实施例中，IOBSSF136可以将主导点对的位置看作先验值（prior），并且从前景分段的角度解决问题。IOBSSF136可以联合地使用有区别的前景/背景建模和几何性质以准确地定位和分段双边对称对象。

操作可以被视为具有六个主要部分。在部分1中，IOBSSF136可以获得紧凑地包括主导点对的矩形图像区域。矩形图像区域可以被视为初始前景区域（即对象区域），并且包含其余像素的外缘（outermargin）可以被视为背景。基于前景和背景中的像素的特征值，在部分2中，IOBSSF136可以聚焦于构造前景和背景的有区别的模型。在实施例中，IOBSSF136可以从由RGB像素值的线性组合生成的候选特征集中选择多个有区别的特征。柱状图特征由于其鲁棒性和高效性而可以用于表示前景和背景。给定表示如下的M个候选特征的集

，并且令h _f 和h _g 为从一个候选特征计算的前景和背景的柱状图模型，IOBSSF136可以测量该特征的能力以通过下式分离前景和背景

其中

其中

。

在实施例中，IOBSSF136可以组合具有最大的3个sep _i 值的特征以生成前景和背景的柱状图模型。

在部分3中，IOBSSF136可以基于特征值的类条件分布而对图像进行分段。作为结果，可以获得二进制图像。在部分4中，IOBSSF136可以使用特定形态学操作来消除二进制图像中的噪声。在部分5中，IOBSSF136可以将与初始前景区域共享最大重叠的连接的成分（component）标记为经分段的对象。在部分6中，可以通过绕其双边对称对经分段的对象成镜像来定位准确的对象区域。

现在简要地参照回图1，在实施例中，除了IODS132和IOBSSF136之外，图像处理服务122还可以包括图像对象分类服务（IOCS）134。

现在参照图6，其图示了依照各种实施例的用于对双边对称对象进行分类的示例过程。为了易于理解，将在数个操作方面来描述分类过程600。在实现方式中，一个或多个硬件和/或软件组件可以用于执行操作。如所示，在实施例中，过程600可以在块602处开始。在块602处，IOCS134可以使用例如双边对称点对组检测模块来处理图像，并且定位图像中的双边对称对象候选（诸如蝴蝶）。在各种应用中，图像可以包括具有不同的双边对称图案的对象。例如，从顶视图，来自不同种类的蝴蝶身体典型地说明本质上不同的双边对称图案。在实施例中，双边对称点对组检测模块可以调用之前描述的IOBSSF136来定位图像中的双边对称对象候选。当被调用时，IOBSSF136可以1）在局部特征上使用按对匹配而对与相同反射轴共享的全局主导点对进行分组和标识；2）分类和丢弃背景内的任何错误匹配的主导点对；3）推断初始对象区域；4）用于前景和背景建模的有区别的特征选择；5）图像分段和过滤；以及6）使用几何性质定位准确的对象位置，如之前所描述的那样。

从块602，过程600可以进行到块604。在604处，IOCS134可以使用例如姿态估计和矫正模块来估计和矫正双边对称对象候选的姿态。通常，图像中的对象候选可以不从清楚展现其双边对称性的视图捕获。因此，为了实现鲁棒的精细粒度识别，IOCS134可以首先估计对象姿态并且然后矫正所估计的姿态。每一个所检测到的双边对称对象候选的取向应当与其反射轴的角度θ直接相关，因此可以经由绕其反射轴将每一个所检测到的对象候选顺时钟旋转{θ-90，如果θ>90|θ+90，如果θ≤90}度或者逆时针旋转{270-θ，如果θ>90|90-θ，如果θ≤90}度来相对容易地完成准确的姿态矫正。

从块604，过程600可以进行到块606。在块606处，IOCS134可以使用例如匹配模块来消除假阳性。IOCS134可以通过使用基于模板的匹配方法来消除假阳性。例如，令X和分别为关于感兴趣的所检测到的双边对称对象候选的顺时针和逆时针旋转的图像的取向梯度共现柱状图（COHOG）描述符。另外，令为关于K个对象类的模板图像的COHOG描述符的集。IOCS134可以依照以下规则将对象候选标识为真阳性或假阳性：

其中d _t 为阈值。

为了对蝴蝶分类，COHOG描述符可以是眼点和条加权（ESSW）COHOG描述符。

紧密相关的下属类别之间的细微差异对于精细粒度的对象识别可能是重要的。双边对称对象的不同子类别或种类可以经由COHOG描述符（特别地，在蝴蝶种类的精细粒度识别的情况下的ESSW-COHOG描述符）的不同的分布来有效地标识。因此，在实施例中，从块606，过程600可以进行到块608。在块608处，IOCS134可以使用例如描述符生成模块来生成表示对象候选的描述符。COHOG可以被视为特征描述符，其将对象区域表述为具有各种位置偏移的按对梯度取向的统计分布。在数学上，在灰度w×h图像I的梯度取向上定义的COHOGH可以表述为

其中I _igo 是I的经索引的梯度取向图像，并且是位置偏移。

在实施例中，代替于如使用其中特定位置偏移处的每一个梯度取向对具有相同投票的等式（10）计算COHOG，IOCS134可以包括加权过程以增强涉及COHOG的梯度取向对的重要性，而同时减小其它对的重要性。在实施例中，在图像中检测到的尺度不变特征变换（SIFT）关键点可以与COHOG强相关。因此，在实施例中，IOCS134可以从训练图像上所检测到的SIFT关键点的取向的统计分析获得权重函数。该实现方式可以总结如下：

输入：基于图案的权重向量W，偏移集，以及灰色图像I。

1.对于图像I，计算梯度取向图像I _go 及其索引图像I _igo

2.将图像I划分成相同大小的N个非重叠矩形区域

3.初始化SESW-COHOG描述符

4.For图像位置处的每一个像素，do

　　　n包括的经划分的矩形图像区域的索引号

　　　

　　　For每一个位置偏移，do

　　　　if位于图像I中，则

　　　　　

　　　　　偏移的索引号

　　　　　

　　　　Endif

　　　Endfor

Endfor

输出：SESW-COHOG描述符H。

简要地参照图7，其更详细地图示了依照各种实施例的梯度取向的索引的概念和使用。如所示，梯度取向的索引702可以被向量化到例如8个区间（interval）中。704图示了示例经索引的梯度取向图像。706图示了具有的位置偏移的COHOG矩阵。

参照回图6，从块608，过程600可以进行到块610。在块610处，IOCS134使用例如类别标识模块可以至少部分地基于通过块608的操作生成的描述符标识双边对称对象候选的子类别。

在实施例中，IOCS134可以采用基于谱回归的方法以用于精细粒度双边对称对象子类别识别。例如，令T为包含来自K个类的P个经规范化的图像的训练数据集。另外，令p _k 为用于第k个类的训练图像的数目，I _t 为测试图像，IOCS134可以如下通过谱回归确定双边对称对象的子类别：

1.计算针对所有训练双边对称对象图像和测试图像的COHOG描述符（具有维度M），以获得训练描述符集和测试描述符x _t 。

2.令其中并且，通过求解下式来找到K-1个基向量

其中为y _k 的格拉姆施密特正交化向量的第p个元素。

3.根据下式将每一个训练向量x _p 嵌入到K-1维子空间

4.在测试向量x _t 上重复操作#3，以获得测试嵌入z。

5.计算和分组测试嵌入z与每一个训练嵌入z _p 之间的L ₂形成的距离，并且取具有最小距离的训练嵌入类以对测试图像进行分类。

现在参照图8，其中图示了依照各种实施例的适合用于图1的布置的示例计算机。如所示，计算机800可以包括一个或多个处理器或处理器核802以及系统存储器804。出于本申请（包括权利要求）的目的，术语“处理器”和“处理器核”可以被视为同义，除非上下文以其它方式明确要求。此外，计算机800可以包括大容量存储设备806（诸如磁盘、硬驱动器、压缩盘只读存储器（CD-ROM）等等）、输入/输出设备808（诸如显示器、键盘、光标控制等等）以及通信接口810（诸如网络接口卡、调制解调器等等）。元件可以经由系统总线812耦合到彼此，系统总线812可以表示一个或多个总线。在多个总线的情况下，它们可以通过一个或多个总线桥（未示出）桥接。

这些元件中的每一个可以执行本领域中已知的其常规功能。特别地，系统存储器804和大容量存储设备806可以用于存储实现与之前描述的图1的IODS132、IOCS134和/或IOBSSF136相关联的操作的编程指令的工作副本和永久副本。各种元件可以通过（一个或多个）处理器802或可以编译成这样的指令的诸如例如C之类的高级语言所支持的汇编指令实现。

可以在工厂中或者在现场通过例如诸如压缩盘（CD）之类的分发介质（未示出）或者通过通信接口810（来自分发服务器（未示出））将编程指令的持久性副本放置到持久性大容量存储设备806中。也就是说，具有代理程序的实现方式的一个或多个分发介质可以用于分发代理和对各种计算设备进行编程。

这些元件810-812的数目、能力和/或容量可以取决于示例计算机800的意图使用（例如示例计算机800是如机顶盒或台式计算机那样的静止计算设备，还是如智能电话、平板、超极本或膝上型计算机那样的移动计算设备）而变化。这些元件810-812的构成在其他情况下是已知的，并且因此将不进一步描述。

图9图示了具有被配置成实践之前所描述的与图1的IODS132、IOCS134和/或IOBSSF136相关联的操作中的全部或所选操作的指令的示例非暂时性计算机可读存储介质；依照各种实施例。如所图示的，非暂时性计算机可读存储介质902可以包括数个编程指令904。编程指令904可以被配置成使得设备（例如计算机800）能够响应于编程指令的运行而执行例如图3、4和/或6的过程300、400和/或600的各种操作。在可替换的实施例中，编程指令904可以替代性地布置在多个非暂时性计算机可读存储介质902上。

参照回图8，对于一个实施例，处理器802中的至少一个可以与被配置成实践图3、4和/或6的（一个或多个）过程的各方面的计算逻辑822（代替于存储在存储器804和/或大容量存储设备806中）封装在一起。对于一个实施例，处理器802中的至少一个可以与被配置成实践图3、4和/或6的（一个或多个）过程的各方面的计算逻辑822封装在一起以形成封装中系统（SiP）。对于一个实施例，处理器802中的至少一个可以与被配置成实践图3、4和/或6的（一个或多个）过程的各方面的计算逻辑822集成在相同管芯上。对于一个实施例，处理器802中的至少一个可以与被配置成实践图3、4和/或6的（一个或多个）过程的各方面的计算逻辑822封装在一起以形成片上系统（SoC）。对于至少一个实施例，SoC可以被利用在例如但不限于计算平板中。

因此，所描述的示例实施例包括但不限于：

示例1可以是一种用于处理一个或多个图像的方法，其中所述方法可以包括通过计算设备生成多个关键点特征对，其中每一个关键点特征对包括来自一个或多个图像中的第一图像的第一关键点特征，以及来自一个或多个图像中的第二图像的第二关键点特征；以及通过计算设备针对每一个关键点特征对生成针对关键点特征对中的第一关键点特征的第一一个或多个毗连特征，以及针对关键点特征对中的第二关键点特征的对应第二一个或多个毗连特征。所述方法还可以包括通过计算设备针对每一个关键点特征对确定关键点特征对中的第一关键点特征的毗连特征是否类似于关键点特征对中的第二关键点特征的对应毗连特征；以及通过计算设备至少部分地基于关键点特征对中的第一和第二关键点特征的对应毗连特征之间的类似性的确定的结果而确定第一和第二图像是否具有至少一个类似对象。

示例2可以是示例1，其中生成多个关键点特征对可以包括标识第一图像的第一多个关键点特征；标识第二图像的第二多个关键点特征；以及对第一和第二图像的第一和第二多个关键点特征进行配对。

示例3可以是示例1或2，其中针对每一个关键点特征对生成针对关键点特征对中的第一关键点特征的第一一个或多个毗连特征，以及针对关键点特征对中的第二关键点特征的对应第二一个或多个毗连特征可以包括：针对每一个关键点特征对，标识针对关键点特征对的第一关键点特征的第一一个或多个毗连特征；以及标识针对关键点特征对的第二关键点特征的对应第二一个或多个毗连特征。

示例4可以是示例1-3中任一个，其中确定第一和第二图像是否具有至少一个类似对象可以包括：生成类似关键点特征对集，其中类似关键点特征对的关键点特征至少部分地基于类似关键点特征对的关键点特征的对应毗连特征之间的类似性的确定的结果而被确定为是类似的；以及输出类似关键点特征对集。

示例5可以是示例4，其中所述方法还可以包括通过计算设备至少部分地基于作为类似关键点特征对集的成员的第一图像的一些关键点特征而突出至少第一图像中的对象。

示例6可以是示例5，其中突出可以包括利用几何图元对对象进行划界。

示例7可以包括一种用于处理一个或多个图像的设备，其中所述设备可以包括一个或多个处理器；以及耦合到一个或多个处理器并且具有指令的至少一个存储介质，所述指令被配置成使所述设备响应于由一个或多个处理器的操作而实现包括示例1-6的方法中的任一个的执行的图像对象检测服务。

示例8可以是示例7，其中所述设备可以是机顶盒、智能电话、计算平板、超极本、膝上型计算机、台式计算机、服务器计算机、游戏控制台或媒体播放器中的所选的一个。

示例9可以包括至少一个存储介质，其中所述存储介质可以包括多个指令，所述多个指令响应于由设备运行而使所述设备实现包括示例1-6的方法中的任一个的执行的图像对象检测服务。

示例10可以是一种用于处理一个或多个图像的方法，其中所述方法可以包括：通过计算设备对图像的局部特征进行按对匹配以生成针对图像的初始多个点对；以及通过计算设备对点对进行尺度一致性检查以从初始多个点对消除错误匹配的点对，导致具有第一中间多个经尺度一致性检查的点对。所述方法还可以包括通过计算设备对第一中间多个经尺度一致性检查的点对进行内容一致性检查，以丢弃图像背景中的主导点对，导致第二中间多个经内容一致性检查的点对；通过计算设备至少部分地基于第二中间多个经内容一致性检查的点对而对图像进行有区别的前景和背景建模；以及通过计算设备至少部分地基于经有区别的前景和背景建模的图像的几何性质而对图像中的双边对称对象进行分段。

示例11可以是示例10，其中按对匹配可以包括检测图像中的对称性；以及生成特征的对称群集（constellation），其中生成特征的对称群集包括生成分别包括点{P_i}和{P_j}的图像坐标、取向、尺度和局部特征向量的两个点集{P_i}和{P_j}。

示例12可以是示例10或11，其中尺度一致性检查可以包括计算针对每一个点对的尺度比，并且如果点对的尺度比小于阈值则丢弃点对。

示例13可以是示例10-12中的任一个，其中内容一致性检查可以包括对共享双边对称轴的匹配的点对进行分组。

示例14可以是示例10-13中的任一个，其中对点对进行内容一致性检查可以包括针对对应地包括点对的点的区域计算平均颜色差异，以及如果点对的平均颜色差异大于阈值则丢弃点对。

示例15可以是示例10-14中的任一个，其中对图像进行有区别的前景和背景建模可以包括获得对主导点对进行划界的矩形区域；将矩形区域临时指定为图像的前景，并且将图像的其余部分指定为图像的背景；以及至少部分地基于图像像素的颜色值生成多个柱状图以对前景和背景的特征进行建模。

示例16可以是示例15，其中分段可以包括至少部分地基于柱状图获得二进制图像；执行形态学操作以消除二进制图像中的噪声；将与前景共享最大重叠的连接成分标记为双边对称对象的经分段的部分；以及跨轴对经分段的部分进行镜像以标识双边对称对象的其它经分段的部分。

示例17可以包括一种用于处理一个或多个图像的设备，其中所述设备可以包括一个或多个处理器；以及耦合到一个或多个处理器并且具有指令的至少一个存储介质，所述指令被配置成使所述设备响应于由一个或多个处理器的操作而实现包括示例10-16的方法中的任一个的执行的图像对象双边对称分段功能。

示例18可以是示例17，其中所述设备可以是机顶盒、智能电话、计算平板、超极本、膝上型计算机、台式计算机、服务器计算机、游戏控制台或媒体播放器中的所选一个。

示例19可以包括至少一个存储介质，其中所述存储介质可以包括多个指令，所述多个指令响应于由设备运行而使所述设备实现包括示例10-16的方法中的任一个的执行的图像对象双边对称分段功能。

示例20可以包括一种用于处理一个或多个图像的方法，其中所述方法可以包括通过计算设备检测双边对称点对组以定位图像中的多个双边对称对象候选；以及通过计算设备标识多个对象候选的姿态。所述方法还可以包括通过计算设备至少部分地基于姿态和多个模板而消除对象候选的假阳性；通过计算设备生成表示其余对象候选的描述符；以及通过计算设备使用所生成的描述符通过谱回归标识其余候选的种类。示例20a可以是示例20，其中对象候选是蝴蝶候选。

示例21可以是示例20，其中标识姿态可以包括估计姿态和矫正所估计的姿态。

示例22可以包括一种用于处理一个或多个图像的设备，其中所述设备可以包括一个或多个处理器；以及耦合到一个或多个处理器并且具有指令的至少一个存储介质，所述指令被配置成使所述设备响应于由一个或多个处理器的操作而实现包括示例20-21的方法中的任一个的执行的图像对象分类服务。

示例23可以是示例22，其中所述设备可以是机顶盒、智能电话、计算平板、超极本、膝上型计算机、台式计算机、服务器计算机、游戏控制台或媒体播放器中的所选一个。

示例24可以包括至少一个或多个存储介质，其中所述存储介质可以包括多个指令，所述多个指令响应于由设备运行而使所述设备实现包括示例20-21的方法中的任一个的执行的图像对象分类服务。

示例25可以包括一种用于处理一个或多个图像的设备，其中所述设备可以包括一个或多个处理器；以及耦合到一个或多个处理器并且具有指令的至少一个存储介质，所述指令被配置成使所述设备响应于由一个或多个处理器的操作而执行示例1-6、10-16和20-21的方法中的一个或多个。

示例26可以是示例25，其中所述设备可以是机顶盒、智能电话、计算平板、超极本、膝上型计算机、台式计算机、服务器计算机、游戏控制台或媒体播放器中的所选一个。

示例27可以包括至少一个存储介质，其中所述存储介质可以包括多个指令，所述多个指令响应于由设备运行而使所述设备执行示例1-6、10-16和20-21的方法中的一个或多个。

示例28可以包括用于执行示例1-6的方法中的任一个的装置；以及用于执行示例10-16或20-21的方法中的任一个的装置。

示例29可以包括用于执行示例11-16的方法中的任一个的装置；以及用于执行权利要求20-21的方法中的任一个的装置。

尽管本文已经出于描述的目的而图示和描述了某些实施例，但是预计实现相同目的的各种可替换的和/或等同的实施例或实现方式可以置换所示出和描述的实施例而不脱离于本公开的范围。本申请意图涵盖本文所讨论的实施例的任何适配或变型。因此，显然意图在于本文所描述的实施例仅受权利要求限制。

在本公开叙述“一”或“第一”元件或其等同物的情况下，这样的公开包括一个或多个这样的元件，既不要求也不排除两个或更多这样的元件。另外，用于所标识的元件的序数指示符（例如，第一、第二或第三）用于区分元件，并且不指示或暗示所要求或限制数目的这样的元件，它们也不指示这样的元件的特定位置或次序，除非以其它方式明确陈述。

Claims (24)

1.一种用于处理一个或多个图像的方法，其包括：

通过计算设备生成多个关键点特征对，其中每一个关键点特征对包括来自一个或多个图像中的第一图像的第一关键点特征，以及来自一个或多个图像中的第二图像的第二关键点特征；

通过计算设备针对每一个关键点特征对而生成针对关键点特征对中的第一关键点特征的第一一个或多个毗连特征，以及针对关键点特征对中的第二关键点特征的对应第二一个或多个毗连特征；

通过计算设备针对每一个关键点特征对而确定关键点特征对中的第一关键点特征的毗连特征是否类似于关键点特征对中的第二关键点特征的对应毗连特征；以及

通过计算设备至少部分地基于关键点特征对中的第一和第二关键点特征的对应毗连特征之间的类似性的确定的结果而确定第一和第二图像是否具有至少一个类似对象。

2.权利要求1的方法，其中生成多个关键点特征对包括：

标识第一图像的第一多个关键点特征；

标识第二图像的第二多个关键点特征；以及

对第一和第二图像的第一和第二多个关键点特征进行配对。

3.权利要求1的方法，其中针对每一个关键点特征对生成针对关键点特征对中的第一关键点特征的第一一个或多个毗连特征，以及针对关键点特征对中的第二关键点特征的对应第二一个或多个毗连特征包括：

针对每一个关键点特征对，

标识针对关键点特征对的第一关键点特征的第一一个或多个毗连特征；以及

标识针对关键点特征对的第二关键点特征的对应第二一个或多个毗连特征。

4.权利要求1的方法，其中确定第一和第二图像是否具有至少一个类似对象包括：

生成类似关键点特征对集，其中类似关键点特征对的关键点特征至少部分地基于类似关键点特征对的关键点特征的对应毗连特征之间的类似性的确定的结果而被确定为是类似的；以及

输出类似关键点特征对集。

5.权利要求4的方法，还包括通过计算设备至少部分地基于作为类似关键点特征对集的成员的第一图像的一些关键点特征而突出至少第一图像中的对象。

6.权利要求5的方法，其中突出包括利用几何图元对对象进行划界。

7.一种用于处理一个或多个图像的设备，其包括：

一个或多个处理器；以及

耦合到一个或多个处理器并且具有指令的至少一个存储介质，所述指令被配置成使所述设备响应于由一个或多个处理器的操作而实现包括权利要求1-6的方法中的任一个的执行的图像对象检测服务。

8.权利要求7的设备，其中所述设备是机顶盒、智能电话、计算平板、超极本、膝上型计算机、台式计算机、服务器计算机、游戏控制台或媒体播放器中的所选一个。

9.至少一个存储介质，其包括多个指令，所述多个指令被配置成使设备响应于由设备运行指令而实现包括权利要求1-6的方法中的任一个的执行的图像对象检测服务。

10.一种用于处理一个或多个图像的方法，其包括：

通过计算设备对图像的局部特征进行按对匹配以生成针对图像的初始多个点对；

通过计算设备对点对进行尺度一致性检查以从初始多个点对消除错误匹配的点对，以导致具有第一中间多个经尺度一致性检查的点对；

通过计算设备对第一中间多个经尺度一致性检查的点对进行内容一致性检查，以丢弃图像背景中的主导点对，以导致第二中间多个经内容一致性检查的点对；

通过计算设备至少部分地基于第二中间多个经内容一致性检查的点对而对图像进行有区别的前景和背景建模；以及

通过计算设备至少部分地基于经有区别的前景和背景建模的图像的几何性质而对图像中的双边对称对象进行分段。

11.权利要求10的方法，其中按对匹配包括检测图像中的对称性；以及生成特征的对称群集，其中生成特征的对称群集包括生成分别包括点{P_i}和{P_j}的图像坐标、取向、尺度和局部特征向量的两个点集{P_i}和{P_j}。

12.权利要求10的方法，其中尺度一致性检查包括计算针对每一个点对的尺度比，并且如果点对的尺度比小于阈值则丢弃点对。

13.权利要求10的方法，其中内容一致性检查包括对共享双边对称轴的匹配的点对进行分组。

14.权利要求10的方法，其中对点对进行内容一致性检查包括计算针对对应地包括点对的点的区域的平均颜色差异，以及如果点对的平均颜色差异大于阈值则丢弃点对。

15.权利要求10的方法，其中对图像进行有区别的前景和背景建模包括：

获得对主导点对进行划界的矩形区域；

将矩形区域临时指定为图像的前景，并且将图像的其余部分指定为图像的背景；以及

至少部分地基于图像像素的颜色值而生成多个柱状图以对前景和背景的特征进行建模。

16.权利要求15的方法，其中分段包括：

至少部分地基于柱状图而获得二进制图像；

执行形态学操作以消除二进制图像中的噪声；

将与前景共享最大重叠的连接成分标记为双边对称对象的经分段的部分；以及

跨轴对经分段的部分进行镜像以标识双边对称对象的其它经分段的部分。

17.一种用于处理一个或多个图像的设备，其包括：

一个或多个处理器；以及

耦合到一个或多个处理器并且具有指令的至少一个存储介质，所述指令被配置成使所述设备响应于由一个或多个处理器的操作而实现包括权利要求10-16的方法中的任一个的执行的图像对象双边对称分段功能。

18.权利要求17的设备，其中所述设备是机顶盒、智能电话、计算平板、超极本、膝上型计算机、台式计算机、服务器计算机、游戏控制台或媒体播放器中的所选一个。

19.至少一个存储介质，其包括多个指令，所述多个指令被配置成使设备响应于由所述设备运行指令而实现包括权利要求10-16的方法中的任一个的执行的图像对象双边对称分段功能。

20.一种用于处理一个或多个图像的方法，其包括：

通过计算设备检测双边对称点对组以定位图像中的多个双边对称对象候选；

通过计算设备标识多个对象候选的姿态；

通过计算设备至少部分地基于姿态和多个模板而消除对象候选的假阳性；

通过计算设备生成表示其余对象候选的描述符；以及

通过计算设备使用所生成的描述符通过谱回归标识其余对象候选的种类。

21.权利要求20的方法，其中标识姿态包括估计姿态和矫正所估计的姿态。

22.一种用于处理一个或多个图像的设备，其包括：

一个或多个处理器；以及

耦合到一个或多个处理器并且具有指令的至少一个存储介质，所述指令被配置成使所述设备响应于由一个或多个处理器的操作而实现包括权利要求20-21的方法中的任一个的执行的图像对象分类服务。

23.权利要求22的设备，其中所述设备是机顶盒、智能电话、计算平板、超极本、膝上型计算机、台式计算机、服务器计算机、游戏控制台或媒体播放器中的所选一个。

24.至少一个存储介质，其包括多个指令，所述多个指令被配置成使设备响应于由所述设备运行指令而实现包括权利要求20-21的方法中的任一个的执行的图像对象分类服务。