CN106415606A

CN106415606A - 一种基于边缘的识别、系统和方法

Info

Publication number: CN106415606A
Application number: CN201580020031.6A
Authority: CN
Inventors: 宋斌; 马特恩·西迪基
Original assignee: Nant Holdings IP LLC
Current assignee: Nant Holdings IP LLC
Priority date: 2014-02-14
Filing date: 2015-02-16
Publication date: 2017-02-15
Anticipated expiration: 2035-02-16
Also published as: CN106415606B

Abstract

提出了基于边缘的识别系统和方法。基于边缘像素的共圆从图像数据识别对象的边缘，并且基于识别出的边缘构建基于边缘的描述符。所述基于边缘的描述符以及额外感知度量被用于获得与所述基于边缘的描述符匹配的候选对象的列表。通过各种过滤过程和验证过程，误判候选对象被进一步从所述列表移除以确定最终候选对象。

Description

一种基于边缘的识别、系统和方法

本申请要求于2015年2月16日提交的美国专利申请号14/623,341的优先权的权益，其要求于2014年2月14日提交的美国临时专利申请号61/940,325的优先权。在通过引用方式并入的引用中的术语的定义或使用与此处提供的术语的定义不一致或相反的地方，此处提供的术语的定义被视为控制。

技术领域

本发明涉及用于图像处理中的基于边缘的检测的方法和系统。

背景技术

下面的描述包括在理解本发明中可以是有用的信息。这不是承认此处提供的任意信息是现有技术或与当前要求保护的发明有关，或者具体或隐式引用的任意公开是现有技术。

在图像处理技术中已经存在许多最近的进展来识别对象。一个相当古老的示例包括使用尺度不变特征变换(SIFT；于2000年3月6日提交的Lowe题为“Method and Apparatusfor Identifying Scale Invariant Features in an Image and Use of the Same forLocating an Object in an Image”的美国专利号6,711,293)。通过使用从图像数据得出的基于SIFT的描述符来查找与已知对象有关的内容信息可以在图像数据内识别对象，其中根据描述符空间该内容信息已经被编索引。识别对象的额外示例包括共同拥有的美国专利号7,016,532、8,224,077、8,224,078、和8,218,873。

这种传统图像处理和目标识别技术针对识别很好理解的、特定的对象(例如，人脸、指纹、条形码等)是相当合适的。然而，当应用到缺乏用于识别的足够特征的通用对象(例如，标志、杯子或马克杯等)时，它们往往失败。此外，由于过度的计算资源需求，所以边缘检测的已知方法不适合用于消费级产品中，特别是当边缘被用于对象识别、对象分类、对象跟踪或其他类型的对象图像数据分析时。进一步地，由已知技术生成的误判(falsepositive)数量致使该技术在消费者对准确性具有很高的期望的市场中不可用。一种可以帮助对以图像数据表示的对象进行分类的方法可能利用与对象的明显边缘有关的信息。

一些努力已被指向识别边缘并且在识别对象中使用来量化它们。一个示例包括由Damen等人描述、题为“Real-Time Learning&Detection of 3D Textureless Objects:AScalable Approach”,2012的技术。Damen使用线段检测器和Canny边缘图来描述以识别图像数据中的边缘线。该边缘线被用于形成边缘线的群集，其可以被用于搜索相关对象。不幸的是，因为用于识别边缘和处理边缘的时间不适合于嵌入式装置上的帧速率视频(例如，大于20fps)，所以Damen方法不适合于在资源有限的嵌入式系统(例如手机等)中使用。进一步地，Damen方法生成大量的误判，其不适合于在要求高精度的消费市场中使用。

在对图像数据进行分析以识别对象几何特征的方面已经取得了一些进展，如由Medioni等人,Copyright 2000,Elsevier Science B.V.,ISBN 0 444 50353 6由“Acomputational Framework for Segmentation and Grouping”描述的。Medioni使用从图像数据得出的张量场来识别由图像数据表示的对象的几何性质。几何性质然后被用于识别图像数据内的形状，其中形状可以被认为更好地符合人类会如何感知该形状。虽然对识别形状的存在有用，Medioni未能提供洞察如何解决与高消费需求有关的问题。例如，用于Medioni方法的张量算法是非常计算密集型的。

有趣的是，Medioni基于张量的方法提供了表示几何结构的感知重要性的显着性测量(saliency measure)。然而，当确定几何结构时，显着性测量仅在内部使用。还有待领会的是，可以超过仅仅几何特征的识别而利用显着性测量。如下面由申请人的工作描述的，除了其他度量，显着性也可以被用于提供哪个边缘被感知为最重要于起作用的指示，从而减少计算时间并减少误判。

此处所有公开都通过引用的方式被并入，在相同的程度上犹如每个个别公开或专利申请具体地和各自地被指示出以通过引用的方式被并入。其中通过引用方式并入的引用中的术语的定义或使用与此处提供的术语的定义不一致或相反，此处提供的术语的定义适用并且在引用中的该术语的定义不适用。

因此，仍然需要能够快速减少误判的改进的基于边缘的识别系统。

发明内容

本发明的主题提供了一种装置、系统和方法，其中一个或多个计算装置可以作为图像处理系统运行来识别在图像数据中表示的边缘并且使用识别出的边缘来以减少误判的方式识别对象或将对象进行分类。

本发明的主题的一个方面包括使能装置或系统基于图像数据而采取行动的方法。公开的方法包括获得具有感兴趣对象的数字表示的图像数据。对一种优选地由图像处理装置(例如，平板电脑、智能电话、信息亭、增强或虚拟现实眼镜等)执行的图像识别系统进行编程以执行该方法。该方法进一步包括分析该图像数据以生成边缘的集合。例如，该方法可以包括通过在与该对象有关的图像数据的至少一部分上执行共圆算法的实现来生成边缘的收集。在更多的实施例中，收集中的边缘可以包括指示出从感知角度与边缘相关联的“边缘性(edged-ness)”的感知测量(例如，显着性、平滑度、长度等)。

从边缘的收集，图像识别系统可以部分基于感知测量而选择候选边缘集合。这些候选边缘集合表示可能的起点，从该起点，图像处理装置可以构建基于边缘的描述符。因此，该方法可以针对候选集合中的边缘从图像数据构建像素级边缘线。该方法然后从该边缘线得出多个基于边缘的描述符，其中该描述符表示边缘线的群集。一旦该群集或它们对应的描述符正在识别，它们就可以被用于配置装置或图像识别系统以基于多个基于边缘的描述符中的一个或多个描述符而采取行动。例如，根据相关联的基于边缘的描述符，该行动可以包括与内容数据库中的对象有关的索引内容(例如，数据库、文件系统、溢出树、k-d树等)以使得该内容可以在以后被检索。另一个示例行动包括使用基于边缘的描述符来针对与该对象有关的内容而查询内容数据库。

本发明的主题的另一个方面包括识别与对象有关的内容的方法。公开的方法包括获得图像数据，其经由内容识别引擎表示对象。然后，图像识别系统从图像数据中得出至少一个基于边缘的描述符。该方法通过生成与图像数据的一部分有关的尺度度量而继续，其中基于至少一个基于边缘的描述符而确定图像数据的该部分。

基于得出的基于边缘的描述符，该方法进一步使用所述至少一个基于边缘的描述符根据基于边缘的描述符空间，继续从存储了被编索引的内容信息的内容数据库获得内容候选集。在优选的实施例中，内容信息包括尺度信息。然后，图像识别系统可以进一步通过由将结果集中的内容信息的尺度信息与尺度度量进行比较而过滤内容候选集来生成内容结果集。一旦生成了内容结果集，图像识别系统就可以使能装置基于内容结果集而采取行动。

本发明的主题的另一个方面包括存储与对象有关的内容的方法。公开的方法包括获得经由图像识别系统表示对象的图像数据。然后图像识别系统从图像数据得出至少一个基于边缘的描述符。一旦得出基于边缘的描述符，图像识别系统就可以生成与图像数据的一部分有关的尺度度量。

优选的是基于至少一个基于边缘的描述符来确定图像数据的该部分。该方法通过使用至少一个基于边缘的描述符来存储与内容数据库中的对象有关的内容信息而继续。在内容数据库中，根据基于边缘的描述符空间对内容信息进行编索引。在优选的实施例中，内容信息包括与尺度度量有关的尺度信息。

本发明主题的各种对象、特征、方面和优点将从下面优选实施例的详细描述以及其中相同数字表示相同组件的附图数字而变得更加显而易见。

附图说明

图1示出了基于边缘的识别生态系统。

图2示出了一些实施例的图像预处理模块的详细信息。

图3示出了一些实施例的边缘处理模块的详细信息。

图4示出了一些实施例的图像匹配模块的详细信息。

图5示出了一些实施例的在基于边缘的识别系统中识别对象的过程。

具体实施方式

贯穿下面的讨论，将对于服务器、服务、接口、引擎、模块、客户端、节点、门户、平台或其他从计算装置形成的系统进行很多的引用。应该领会的是，这些术语的使用被视为表示具有被配置为执行存储在计算机可读的有形的、非暂时性的介质上(例如，硬盘驱动器、固态硬盘、RAM、闪速存储器、ROM等)的软件指令的至少一个处理器(例如ASIC、FPGA、DSP、x86、ARM、ColdFire、GPU、多核处理器等)的一个或多个计算装置。例如，服务器可以包括一个或多个计算机以满足描述的角色、职责或功能的方式作为网络服务器、数据库服务器或其他类型的计算机服务器而运行。应该进一步领会到公开的基于计算机的算法、过程、方法或其他类型的指令集可以被实施为包括存储了致使处理器执行公开的步骤的指令的非暂时性的、有形的计算机可读介质的计算机程序产品。各种服务器、系统、数据库或接口可以使用标准化的协议或算法(可能基于HTTP、HTTPS、AES、公私密钥交换、网络服务API，已知的金融交易协议或其他电子信息交换方法)进行数据交换。数据交换可以在分组交换网络、电路交换网络、互联网、LAN、WAN、VPN或其他类型的网络上进行。

如在此处的描述中使用的并且贯穿附属的权利要求，当系统、引擎或者模块被描述为配置为执行函数集时，“配置为”或“编程为”的含义被限定为由软件指令集编程的一个或多个处理器来执行函数集。

应该领会到，公开的对象识别系统提供了很多有益的技术效果。例如，当特征较少的对象在数字表示中出现时，一些实施例的对象识别系统通过分析对象的轮廓而使能它们的准确和有效的识别。具体地，对象识别系统使用一种新颖的和改进的技术–共圆算法–来在数字表示中验证边缘。

下面的讨论提供了本发明主题的许多示例性实施例。虽然每个实施例表示发明的元件的单个组合，但本发明的主题被认为包括公开的元件的所有可能的组合。因此，如果一个实施例包括元件A、B和C，并且第二个实施例包括元件B和D，那么本发明的主题也被认为包括A、B、C或D的剩余组合，即使没有明确地公开也是如此。

如此处使用的，并且除非上下文另有规定，术语“耦接至”旨在包括直接耦接(其中彼此耦接的两个元件彼此接触)和间接耦接(其中至少一个额外元件位于两个元件之间)这二者。因此，术语“耦接至”和“与…耦接”同义地使用。

在一些实施例中，用于描述和要求本发明主题的某些实施例的表示成分、性质数量的数字(例如浓度、反应条件等)要被理解为在某些情况下由术语“关于”修改。因此，在一些实施例中，在书面说明和附属权利要求中阐述的数值参数是近似值，其可以基于试图由特定的实施例获得的所期性质而变化。在一些实施例中，数值参数应该按照报告的有效数字的数量并通过应用普通的四舍五入的技术来解释。尽管阐述了本发明主题的一些实施例的广泛的范围的数值范围和参数是近似的，但是在具体的示例中阐述的数值被尽可能准确地报告。本发明主题的一些实施例中呈现的数值可能包含必然地由它们的相应测试测量中发现标准偏差导致的一定的误差。

如在此处的描述中使用的并且贯穿附属的权利要求，除非上下文另有明确规定，“一”、“一个”和“这个”的含义包括多个引用。此外，如在此处的描述中使用的，除非上下文另有明确规定，“在…之中”的含义包括“在…之中”和“在…上”。

除非上下文规定相反，此处阐述的所有范围应被解释为包括它们的端点并且开放式范围应被解释为只包括商业实用价值。此处的值的范围的列举仅仅旨在作为单独地指代落入范围内的每个单独的值的速记方法。除非此处另有规定，范围内的每个单独的值被并入说明书犹如其在此单独地列举。类似地，除非上下文规定相反，所有值的列表应被视为包括中间值。

除非此处另有规定或除非明确地与上下文互相矛盾，此处描述的所有方法可以以任意合适的顺序执行。除非被要求，任意和所有的示例的使用或相对于此处的某些实施例提供的示范性语言(例如，“诸如”)仅仅旨在更好地阐明本发明的主题，并且不构成对本发明主题的保护范围的限制。在说明书中的任何语言都不应被解释为指示出对本发明主题的实践必不可少的任意非要求的元件。

可选元素的分组或此处公开的本发明的主题的实施例将不被解释为局限性。可以各自地或与本组的其他成员或此处发现的其他元素的任意组合指代并要求每个组成员。出于方便和/或专利性的原因，分组的一个或多个成员可以被包括在分组中或从分组中删除。当任意这样的包括或删除出现时，说明书在此被视为包括如修改那样的分组，从而实现在附属权利要求中使用的所有Markush分组的书面描述。

公开的本发明的主题的焦点是使能计算系统的建设或配置以操作超出了人类能力的大量的数字数据。虽然数字数据表示现实世界的对象，但是应该领会的是数字数据是真实世界的一个或多个数字模型的表示，而不是现实世界的对象本身。通过实例化在计算装置的存储器中的这种数字模型，计算装置能够以这样一种方式管理数字数据或模型：其可以向计算装置的用户提供实用工具，用户会缺乏这样的工具。

词汇表

贯穿讨论的剩余部分使用了下面的术语。这些术语的含义是为了清晰的目的而呈现，并且不应该被解释为限制本发明的主题。

“边缘像素(edgel)”表示以下数据结构对象，其包括位置信息(例如，图像数据中的x,y坐标等)、方向信息(例如，法向量)和形状信息(例如，与边缘像素相关联的边缘的类型；曲线，曲面等)的。

“边缘(edge)”表示以下数据结构对象，其定义沿着图像中的像素的一段曲线，其中曲线包括端点。曲线可以组成一连串边缘像素。

“边缘线(edgelet)”表示以下数据结构对象，其表示以边缘像素为中心的短线段，其中线段具有方向(例如，法向量)和长度。边缘线的长度可以为单个像素，但也可以具有多个像素的长度，或多个边缘线。

边缘识别

边缘检测的使用可以通过(1)生成一个或多个基于边缘的描述符并(2)将这种描述符和链接到对象内容或信息的已知描述符进行比较来帮助识别缺乏可识别特征(例如，纹理、图案、色彩方案、标志、文字、条形码、二维码等)的通用对象。下面与边缘识别有关的讨论利用一些已知的哲学技术作为基础，并介绍了新的概念以产生改进的基于边缘的图像处理能力。更具体地，公开的方法利用如由Medioni等人.Copyright 2000,ElsevierScience B.V.,ISBN0 444 50353 6在“A computational Framework for Segmentationand Grouping”中描述的图像数据的基于张量的分析的哲学方法；以及如Damen等人中描述的、题为“Real-Time Learning&Detection of 3D Textureless Objects:A ScalableApproach”,2012的边缘线群集生成。通过关注如下面描述的共圆，下面公开的方法背离公开的基于张量的讨论，其导致反映边缘的感知质量的一个或多个感知测量。

应该领会到，公开的技术是针对使用基于边缘的描述符来识别图像数据(例如，静止图像、实时图像数据、视频图像、视频帧等)中的对象，同时还减少误判。本发明主题的两个方面包括摄取对象数据以使得对应的对象可以被识别为已知对象，并从图像数据得出基于边缘的描述符以基于摄取的对象信息而将对象识别为已知对象。

图1是图像数据采集和识别生态系统100的总体示意图。生态系统100包括图像捕获装置105以及与装置105耦接的图像识别系统110。应该领会到，各种发明元件的角色或职责可以跨一个或多个适当配置的计算装置部署或分布。例如，该装置105可以包括图像识别系统110。可选地，该装置105可以包含一个或多个小的应用程序，其配置装置105以在网络(例如，互联网、手机网、WAN、VPN，LAN、Wi-Fi Direct、DLNA、对等网络、Ad hoc、网格等)上与图像识别系统110耦接。

装置105可以包括手机、游戏机、数码相机、电器、安全摄像头、移动数字装置、信息亭、GPS、医疗成像装置或生物识别装置，其具有光学传感器以获取描述了一个或多个对象(例如玩具、服装、汽车、工具、树、动物、组织、器官、建筑等)的场景106的图像数据(例如静止图像数据、实时图像数据、视频图像数据等)。装置105可以进一步包括可以检测装置105的光学传感器的运动或方向的一个或多个其他传感器(例如全球定位系统(GPS)传感器、机械传感器、加速度传感器、速度传感器、近程传感器、振动传感器或其他传感器)。

该装置105还可以包括使能装置105与其他计算装置交换数据的一个或多个通信接口。该通信接口可以包括有线或无线接口和短程或远程接口。有线接口可以包括接口例如以太网、USB、HDMI、RS-232或者甚至专有接口。无线接口可以包括接口例如WiGIG、无线USB、UWB、Wi-Fi、蜂窝、IrDA或其他无线接口。

由装置105获取的场景106的图像数据在图像识别系统110中处理以提取场景106中的对象的基于边缘的描述符并且基于场景106中的对象的基于边缘的描述符将该对象与内容数据库145中存储的先验已知候选对象进行匹配。图像识别系统110包括一个或多个图像预处理模块115、边缘处理模块125、图像匹配模块135。在优选的实施例中，图像识别系统110还包括描述符数据库140、内容数据库145和模型图像数据库150中的至少一个。然而，还可以预期的是，描述符数据库140、内容数据库145和模型图像数据库150中的至少一个是第三方数据库，并且可以在网络上与图像识别系统110耦接。

在优选的实施例中，在图像识别系统110中依次处理对象106的图像数据。在本实施例中，在图像预处理模块115中预处理对象106的图像数据以生成后处理的图像数据120。后处理的图像数据120然后在边缘处理模块125中处理以生成图像数据106中的对象的基于边缘的描述符130。生成的基于边缘的描述符130被存储在描述符数据库140中。

基于从图像数据106得出的对象的基于边缘的描述符130，从内容数据库145中选择具有对应于基于边缘的描述符130的特征的多个候选对象。在多个候选对象当中，经由图像匹配模块135中的一个或多个过滤过程而移除误判对象以识别一个或多个对象155。在这个示例中，图像识别系统110从数字数据106识别出野餐伞155a和毯子155b。

图2示出了图像预处理模块115对图像数据执行的示例过程。对图像数据执行的过程或滤波器可以使能图像识别系统110从图像数据中更准确地和有效地得出边缘和与边缘相关的信息。在这个示例中，对图像预处理模块115进行编程以对图像数据205执行(a)Gaussian滤波器115a和(b)Sobel滤波器115b的实现。虽然只有Gaussian滤波器和Sobel滤波器在这个示例子被示出，但是可以预期的是，其他平滑、模糊或遮光滤波器可以由图像预处理模块115使用。在这个优选的实施例中，Gaussian滤波器115a的实现首先被施加到原始图像数据205以模糊图像来创建模糊图像215。这样的模糊降低了图像噪声并且减少了原始图像数据205中的详细信息。因此，将Gaussian滤波器115a施加到图像数据205具有减少微弱或孤立边缘的检测的效果。

对图像预处理模块115进行编程以进行对模糊图像215执行Sobel滤波器115b的实现的步骤。Sobel滤波器115b对模糊图像215使用空间梯度测量来强调对应于边缘的高空间频率的区域。如图所示，在施加Sobel滤波器115b后产生的图像220具有所有潜在的边缘加重。

由于在图像中的强边缘变得更加明显，所以对一些实施例的图像预处理模块115进行编程以对强调边缘的图像220执行检测边缘像素的步骤。如上面提到的，边缘像素是以下数据结构，其表示在图像220上的、被检测为边缘的部分的像素。图像预处理模块115的不同实施例使用不同算法来对图像220检测边缘像素。在一些实施例中，图像预处理模块115使用边缘检测器115c来对图像220执行Canny边缘检测算法的实现以生成边缘像素。使用Canny边缘检测算法的实现，边缘检测器115c减少(或抑制)边缘以使得仅保留边缘着重的图像220中的强边缘(即没有连接到强边缘的弱边缘和边缘被过滤掉)。例如，不在8个连接的邻域像素内具有强边缘像素的任意边缘像素从边缘像素中移除。

结果，检测到像素级的边缘像素的列表。图2示出了在图像220的部分224中检测到的边缘像素。在这个示例中，图像220的部分224包括了伞223的一段。图像部分224在图像中被放大以用于说明的目的。如图所示，图像部分224示出了伞223的清晰的轮廓。对一些实施例的边缘检测器115c进行编程来执行从像素230a、230b、230c，230d和230e检测边缘像素235的步骤。可以预期的是，在收集235中的每个边缘像素对应于图像220上的像素。优选地，每个边缘像素235可以为一个像素的长度。然而，可以预期的是，每个边缘像素235包括多个像素的长度。

一旦检测到边缘像素的收集，就对图像识别系统110进行编程以执行基于边缘像素的收集而使用边缘处理模块125来构建基于边缘的描述符的步骤。图3示出了通过6个步骤–步骤310、320、330、340、350和360来基于边缘像素的收集构建基于边缘的描述符的过程。在第一步310中，边缘处理模块125对边缘像素的收集执行共圆算法的实现。共圆算法利用边缘像素的共圆来确定哪个边缘像素驻留在同一个边缘上，并且生成一个或多个边缘。共圆试图确定具有半径的曲线(例如，圆、圆的一部分等)是否可能适合至少一些边缘像素。为了确定共圆，边缘处理模块125针对边缘像素的收集中的每个边缘像素而计算张量场(例如，棒张量、球张量等)。边缘像素的张量场表示边缘像素的来源、大小和方向。一旦计算了边缘像素的张量场，边缘处理模块125就使用张量场作为共圆评分来连接两个邻域边缘像素。当连接了两个邻域边缘像素(例如边缘像素A和边缘像素B)时，曲线可以被计算为边缘像素A和边缘像素B的两个张量场之间的距离以及在边缘像素A处的密切圆的切线与穿过边缘像素A和边缘像素B的线之间的角度的函数。

应该领会到，几乎是直线的边缘可以被认为是具有低曲率的曲线或具有非常大的半径的圆，而非常弯曲的边缘(具有尖角)可以被认为是具有高曲率的曲线或具有非常小的半径的圆。因此，边缘处理模块125生成边缘的收集，其中每个边缘表示曲线。应该领会到，共圆算法可以应用于整个图像或图像的所选部分，其可能与感兴趣对象相关。值得引起注意的是，每个边缘可以进一步包括感知测量，其可以被认为指示出人们可能会感知边缘具有的“边缘性”。示例感知测量包括曲线的长度、曲线的平滑度测量、曲线的曲率、曲线的交点、曲线的结合或指示出一个人可以如何感知边缘的平等的其他测量中的一个或多个。

因此，一旦确定了曲线，边缘处理模块125就可以通过评估落在相同曲线上的边缘像素的数量来确定该曲线是否可以被视为是好的边缘。对至少一些质量测量(例如，χ²匹配、阈值等)，如果多个边缘像素也落在曲线上，则曲线被视为好的边缘。在这个示例中，存在十七个边缘像素301a至304b已从图像识别。使用边缘像素的这个收集，边缘处理模块125识别曲线307和曲线308。曲线307看起来与边缘像素301a、301b、301c、301d、301e、301f、301g、301h重叠，并且曲线308看起来与边缘像素303a、303b、303c、303d、303e重叠。同时，与较小数量的边缘像素重叠的其他曲线也可以被识别。例如，边缘像素302a和边缘像素302b可以在第三条曲线(未示出)上，并且边缘像素304a和边缘像素304b可以在第四条曲线(未示出)上。然而，并不是所有好的边缘都为同等质量或显着性。因此，在第二步320中，一些实施例的边缘处理模块125从边缘的收集在选择边缘的子集(可能是适当的子集)作为候选边缘。

在一些实施例中，边缘处理模块125基于一个或多个标准来选择候选边缘，该一个或多个标准包括感知测量、边缘或其相关联曲线的长度、重叠边缘像素的数量、图像中的位置、深度信息(例如，参见于2011年12月20日提交的McKinnon题为“Depth EstimateDetermination,Systems and Methods”的共同拥有的美国专利申请公开2012/0163672)、装置位置信息(例如GPS、三角测量、RSS等)或其他可用信息。特别值得注意的是，更优选的实施例利用感知测量来确定哪些边缘是最感兴趣的以作为候选边缘。例如，具有长度大于30像素和高平滑度的所有边缘可以被视为候选边缘。在这个示例中，边缘处理模块125选择曲线307和308作为候选边缘，这是因为它们超过阈值重叠边缘像素的数量。

当选择了候选边缘的适当子集时，边缘处理模块125可以构建边缘线的集合，可能在像素级处从候选边缘当中构建。第三步330提供了从步骤310和步骤320从候选边缘307和候选边缘308以及从边缘像素301a至边缘像素304b来构建边缘线的集合的示例。应该领会到，每个边缘线可以对应于像素级的边缘像素。然而，一个边缘线可以表示多于一个边缘像素，也许每两个边缘像素、每三个边缘像素或边缘的其它分段。例如，从候选边缘307，分别地，边缘处理模块125构建对应于边缘像素301a、301b、301c、301d、301e、301f、301g、301h的边缘线331a、331b、331c、331d、331e、331f、331g、331h。类似地，从选定的边缘308，分别地，边缘处理模块125构建对应于边缘像素303a、303b、303c、303e、303d、303e的边缘线333a、333b、333c、333d、333e。在一些实施例中，当前实现中的每个边缘线表示大约10到15像素。然而，还可以预期的是，其他像素长度(例如，1像素、3像素、5像素、7像素、20像素、30像素等)可以被用于构建一个边缘线。

一旦构建了来自候选边缘的边缘线的集合，就对边缘处理模块125进行编程以在第四步340中执行构建一个或多个边缘线的群集(constellation)的步骤。应该领会到，边缘线的群集可以通过调整可调参数(例如向量的角、在群集中的所期边缘线的数量或其他因素)来生成。在优选的实施例中，对边缘处理模块125进行编程以执行从边缘线的集合构建具有四个射线的五个边缘线的群集，其中所述射线分别在45、90、90和45度角处从一个边缘线投射到另一个边缘线。如本示例中示出的，边缘处理模块125已经使用五个边缘线331a、333a、331c、331g和333e构建了群集(如由作为连接边缘线的射线的线指示出的)。第一条射线341a连接边缘线331a和333a。第二条射线341b连接边缘线333a和331c。第三条射线341c连接边缘线331c和331g，并且第四条射线341d连接边缘线331g和333e。

在第五步350中，对边缘处理模块125进行编程以执行从边缘线的群集得出基于边缘的描述符的步骤。在优选实施例中，对边缘处理模块125进行编程以执行针对边缘线的每个群集构建基于边缘的描述符的步骤。每个基于边缘的描述符是用于存储对应群集的属性和特征的数据结构。在一些实施例中，边缘处理模块125可以包括每个基于边缘的描述符中的不变元素或维度(例如，射线的长度、两条射线之间的角、投影射线的长度之间的比率、法向量等)。因此，在具有五个边缘线的群集的情况中，基于边缘的描述符可以包括七个不变元素或维度：三个长度不变维度和四个方向不变维度。

在优选的实施例中，维度可以由从一个边缘线投射到另一个边缘线的四个投射射线的比率来确定。例如，在步骤340中构建的边缘线的群集中，边缘处理模块125可以确定四条射线d₁ 351a、d₂ 351b、d₃ 351c和d₄ 351d的长度。然后三个长度不变维度可以具有基于(d₂ 351b/d₁ 351a)、(d₃ 351c/d₂ 351b)、和(d₃ 351c/d₄ 351d)的比率的值。

还对一些实施例的边缘处理模块125进行编程以执行确定两个射线对352a、352b和352c之间的角的步骤，并且包括它们作为基于边缘的描述符的部分。此外，边缘处理模块125可以确定群集中的五个边缘线的方向(例如，法向量等)，然后，方向不变维度可以具有基于群集中的每个边缘线的法向量的比较的值。例如，该值可以为群集中的相邻边缘线的法向量的点积，例如

基于长度不变维度和方向不变维度，对边缘处理模块125进行编程以在第六步360中执行构建基于边缘的描述符361的步骤。在优选的实施例中，基于边缘的描述符361包括具有长度不变维度(d₂ 351b/d₁ 351a)、(d₃ 351c/d₂ 351b)和(d₃ 351c/d₄ 351d)以及方向不变维度的值的向量。在其它实施例中，基于边缘的描述符361可以进一步包括在群集中的射线341a、341b、341c和341d之间的角352a、352b和352c的信息。在一些实施例中，该值可以被归一化或按比例缩放到无符号的字节以使得向量的每个成员将具有0至255的值，使得描述符将具有紧凑形式。

在一些实施例中，基于边缘的描述符361进一步包括超过了群集的方向不变维度和长度不变维度的额外信息。例如，基于边缘的描述符361可以包括表示相对于原始图像上的一个或多个边缘的梯度方向的维度，从其得出边缘线的对应群集。0的字节值可以指示出如由边缘表示的感兴趣对象具有深色内饰并且由浅色包围，而255的值可以指示出感兴趣对象具有浅色内饰并且由深色包围。

然而可以集成到基于边缘的描述符361或单独作为元数据处理的另一个可能的信息包括关于与已知对象相关联的原始摄取的图像数据的尺度信息。典型地，因为大多数图像描述符试图完全地尺度不变，所以这样的尺度信息是可以避免的。然而，针对一般对象，一些相对的尺度信息在识别事件期间可以是误判的强鉴别器。在这个实施例中，与群集的维度有关的相对尺度信息可以被保留，同时还提供尺度不变性。

预期的尺度信息可以被生成作为关于与感兴趣对象有关的图像数据的部分的尺度度量并且基于相关联的基于边缘的描述符361。例如，边缘处理模块125可以在图像中生成感兴趣对象周围的边界框，其中边界具有以像素测量的高度(h)和宽度(w)。可以基于群集的几何形状、其他类型的图像描述符(例如，SIFT、BRISK、FREAK等)或其他参数而生成边界框。尺度度量的一个示例可以包括与边界框和描述符的群集有关的长度的比率。回到上面的射线长度的描述，尺度度量可以由S＝(d₁ 351a+d₂ 351b+d₃ 351c+d₄ 351d)/(h+w)表示。这个度量为相对于捕获图像数据不变的尺度，但保留与感兴趣对象相关联的相对尺度信息。一旦这样的尺度度量信息是可用的，图像处理装置就可以减少通过消除缺乏具有类似于尺度度量的值的尺度信息的已知基于边缘的描述符而生成的误判。

一旦在边缘处理模块125中生成基于边缘的描述符，就对图像匹配模块135进行编程以执行将得出的基于边缘的描述符与已知对象匹配的步骤。图4更详细地示出了将得出的基于边缘的描述符与已知对象匹配的过程。如前所述，对一些实施例的图像匹配模块135进行编程以执行在该匹配过程中的步骤。可以预期的是，对边缘处理模块125进行编程来执行从原始图像中的目标对象得出多于一个的基于边缘的描述符的步骤(例如，可能超过5个、超过10个、超过100个、超过1000个基于边缘的描述符)。在这个示例中，为了清晰和简单的目的，图像匹配模块135仅从边缘处理模块125获得三个基于边缘的描述符361a、361b和361c。这些描述符361a、361b和361c可以由边缘处理模块125从相同的图像数据或相关的图像数据得出。

在一些实施例中，描述符数据库140存储已知的描述符(例如，描述符362a、362b、362c等)。这些描述符可以从训练图像数据或先前已经由图像识别系统110处理的图像数据得出。这些描述符中的每个描述符都与对象相关联。如图所示，描述362a、362b和362c分别与对象402a、403a和404a相关联。在优选的实施例中，可能随着其他感知度量或非边缘的属性(例如，显着性度量、尺度度量等)，基于边缘的描述符361a、361b和361c也可以被用于构建或更新描述符数据库140。在一些实施例中，图像匹配模块135包括描述符数据库140。还可以预期的是，图像匹配模块135经由网络与描述符数据库140通信地耦接。

在一个实施例中，图像匹配模块135进一步包括内容数据库145。内容数据库145包括与它们的描述符相关联的一个或多个内容对象。在一些实施例中，由它们的属性中的一个或多个(例如，类型、特征、年龄、大小等)对内容对象进行分组。例如，内容对象402a、402b和402c基于它们的大小而分在一组401a中。在另一个示例中，内容对象403a、403b和403c基于它们的地理位置而分在一组401b中。在又一示例中，内容对象404a、404b和404c基于它们的整体形状而分在一组401c中。

图像匹配模块135使用已知的目标对象匹配并索引描述符数据库140中的已知的基于边缘的描述符。在一些实施例中，该描述符数据库140可以包括根据树形结构组织已知的基于边缘的描述符的树形结构(例如k-d树、溢出树等)。这样的方法在其中测试图像未能生成已知的基于边缘的描述符的精确匹配的领域中是有利的。例如，k-d树可以被用于匹配内容对象，其中存在可能与基于边缘的描述符匹配的大量的内容对象。k-d树从树的根(第一级)开始，其中该数据在阈值处被分为两个叶节点。图像匹配模块135根据基于边缘的描述符和其他非边缘属性(例如，尺度信息、梯度信息、其他几何信息等)进行了两个分割数据之间的比较，并作出决定，哪个第一叶节点下降。与第一叶节点相关联的数据成为基于边缘的描述符的最近邻的第一候选。然而，最近邻的第一候选可能不是真正的基于边缘的描述符的最近邻。因此，通常需要进一步地搜索多个叶节点以找到真正的最近邻，其被视为最适合查询的。在一些实施例中，图像匹配模块135可以限制每次查询可以搜索的节点的数量。使用k-d树来匹配内容对象的更多细节可以在由Silpa Anan等人于2008年发表的题为“Optimized KD-trees for fast image descriptor matching”的公开中找到，将其全部内容并入本文中。

在其他实施例中，描述符数据库140可以利用其他类型的匹配协议。例如，描述符数据库140可以执行k-最近邻(kNN)算法的实现以基于边缘的描述符和其他信息(例如，尺度信息、梯度信息、其他几何信息等)匹配已知对象。在没有先验或广义的学习过程的情况下，kNN算法对匹配候选对象是有用的，这是因为由kNN算法进行的分类基于每个查询点的最近邻的多数投票而执行，而不是任意先验假设。使用kNN算法的更多细节可以在由SeijiHotta于2008年发表的题为“Manifold matching for High-Dimensional PatternRecognition”的公开中找到，将其全部内容并入本文中。

在这个例子中，基于输入基于边缘的描述符361a，图像匹配模块135在描述符数据库140内发现描述符362a为最近的已知描述符，其对应于内容对象402a。类似地，基于输入基于边缘的描述符361b，图像匹配模块135在描述符数据库140内发现描述符362b为最近的已知描述符，其对应于内容对象403a。再次，基于输入基于边缘的描述符361c，图像匹配模块135在描述符数据库140内发现描述符362c为最近的已知描述符，其对应于内容对象404a。已被确定为与输入基于边缘的描述符匹配的对象被分组为候选对象组410。

在一些实施例中，代替选择对应于最近的已知描述符的对象的是，在候选对象组410中的对象可以通过随机选择分组410a、401b和401c内的匹配仿射假设的对象而生成。例如，图像匹配模块135可以施加随机抽样一致(RANSAC)以到达候选集。

进一步对图像匹配模块135进行编程来基于图像数据(即，识别误判)而执行消除或过滤被视为不相关的或不正确的候选对象组410内的对象的步骤。

在一种方法下，图像匹配模块135首先经由几何约束滤波器420从候选对象组410移除离群值。在一些实施例中，分组410中的每个候选对象包括几何约束集合(例如，尺寸、维度、维度当中的比例等)。因此，图像匹配模块135执行几何约束滤波器420的实现以通过识别与基于边缘的描述符相关联的图像数据中的对齐边缘来移除误判，并且确定图像中的边缘是否符合与每个候选对象相关联的约束集合。如果对齐边缘未能满足与候选对象相关联的约束的大多数或全部(例如，80％、90％等)，则将由图像匹配模块135从分组410中移除这样的候选对象。由于大多数的图像数据是二维的，所以一些实施例的图像匹配模块135使用针对二维对象的单应性几何以及针对三维对象的投影矩阵来做出这样的决定。在一些实施例中，已知对象的额外几何信息可以与它们的描述符联系在一起，并使能图像匹配模块135来找到查询图像和数据库图像之间的几何约束。这样的方法可以包括执行交互式最近点(ICP)算法的实现。合适的算法是由Besl等人于1992年2月在关于模式分析与机器智能的IEEE会刊中题为“A Method for Registration of 3-D Shapes”公开，将其全部内容并入本文中。

在一些实施例中，通过其他各种技术可以进一步降低误判。如前面所讨论的，感知度量或尺度度量可以被用于进一步过滤结果集。此外，图像匹配模块135可以对基于边缘的描述符和已知的描述符执行一个或多个相似性滤波器的实现以生成配对的描述符的分组，其中每个分组可以被限定为满足一个相似性几何约束。每个分组可以具有多个配对，并且每个配对可能具有来自测试图像的一个基于边缘的描述符和来自训练图像的已知的基于边缘的描述符。示例相似性过滤可以包括Hough变换。

一旦结果集从几何约束滤波器420获得，就对图像匹配模块135进行编程来通过执行验证滤波器430的实现而执行进一步降低误判并验证剩余的最近邻内的正确匹配的步骤。

在一些实施例中，验证滤波器430使用凸壳来验证候选对象。凸壳是限制由其来自图像数据或候选对象的边缘限定的目标对象的形状(例如，边缘)的边界框。它可以被用于通过将从测试图像数据得出的凸壳与候选对象(例如，候选对象的建模图像)的凸壳进行比较来消除误判。如果测试图像凸壳(_At)的面积与建模图像(_Am)的面积的比率接近于一，那么可能存在好的匹配(_At/_Am≤1)。自然地，可能需要施加仿射变换以使用模型图像来校正测试图像。

在更有趣的实施例中，验证滤波器430也使用归一化相关系数(NCC)验证方法来进一步消除误报。NCC验证使用它们的NCC排名评分来对候选对象进行排名。模型图像和测试图像之间的归一化相关系数将被用作排名评分，其表示它们之间的全局相似性。更高的NCC排名评分(通常介于0和1之间)，模型图像与测试图像更可能匹配。在一些实施例中，测试图像是扭曲的测试图像，其基于由匹配器得出并存储在匹配列表中的变换矩阵而被转换为模型图像。

在一些实施例中，相对于使用描述符数据库140以用于识别目的，该描述符数据库140可以使用基于k-d树的方案而作为基于网络的服务(例如，IaaS、PaaS、SaaS等)被植入，其中存储器和处理资源是可用的。进一步地，可能基于溢出树，描述符数据库140可以作为存储器中的模块被植入，以用在低资源的嵌入式装置(例如，手机、智能手机、平板电脑、电器、信息亭等)中。无论描述符数据库140的形式，消费者或其他用户都可以利用描述符数据库140来基于从图像数据实时得出的一个基于边缘的描述符而识别或分类通用对象。

图5呈现了用于根据基于边缘的描述符来识别图像的过程500。如由步骤505中表示的，该过程开始于由图像捕获装置接收场景或一个或多个对象(图像数据)的数字表示。一旦获得了图像数据，就在步骤510中在图像预处理模块中处理图像数据。优选地，在步骤511中首先使用Gaussian滤波器来模糊图像数据，并且然后在步骤512中使用Sobel滤波器来加重在图像数据中的边缘。在步骤515中强调的边缘在Canny边缘检测器中被进一步处理来检测像素级边缘像素。

一旦检测到边缘像素，在步骤520中可以由边缘像素的共圆来确定边缘。在优选的实施例中，边缘像素的共圆由以下两个步骤确定：1)在步骤521中预先计算边缘像素的张量场，以及2)在步骤522中通过使用预先计算的张量场作为共圆评分来连接两个邻近的边缘像素。步骤520的过程可以生成许多边缘，其包括具有高“边缘性”的边缘和低“边缘性”的边缘。因此，在步骤525中，该方法通过选择适当的边缘的子集而继续，其与其他边缘相比具有高“边缘性”。

从选出的边缘子集，过程500通过确定边缘的边缘线并且在步骤530中通过放置在边缘线之间连接的一个或多个射线来构建边缘线的群集而继续。一旦构建了边缘线的群集，在步骤535中基于边缘的描述符可以从边缘线的群集得出。如上所述，基于边缘的描述符可以包括长度不变维度和方向不变维度中的至少一个。

在下一步中，步骤540，基于边缘的描述符可以被用于与候选图像匹配。首先，在步骤541中将基于边缘的描述符与具有相关联的对象图像的已知描述符进行比较以使用k-d树、溢出树、kNN方法或任意其他合适的分类方法来找到最近邻。一旦发现了最近邻的已知描述符，在步骤542中与最近邻的已知描述符相关联的对象被识别出并且被分组为图像候选。

基于边缘的描述符的图像识别的最后步骤是在步骤545中从图像候选的分组移除或减少误判并在步骤550中验证图像对象。在步骤545中，在候选图像的分组中的误判图像候选被过滤掉。在这个过程中，如在步骤546和步骤547中描述的，两种方法中的至少一种可以被使用。在步骤546中，通过使用几何约束信息可以在候选对象当中确定离群值。在步骤547中，如果已知的描述符与存储在模型图像数据库中的模型图像相关联，则可以将该模型图像与候选对象进行比较。最后，在步骤550中，该方法由通过使用利用凸壳来确定对象的整体形状或色彩NCC来验证图像以对过滤的候选图像进行排名而继续。

在不背离此处本发明的概念的情况下，应该对本领域的那些技术人员显而易见的是，除了那些已经描述的，更多的修改是可能的。因此，除非在附属权利要求的精神中，本发明的主题是不受限制的。此外，在解释说明书和权利要求这二者中，所有术语应该以最广泛的可能的方式与上下文一致而被解释。特别地，术语“包括”、“包含”应该被解释为以非排他性的方式指代元件、组件或步骤，指示出引用的元件、组件或步骤可以是存在的、或被利用、或与没有明确引用的其他元件、组件或步骤结合。其中说明书权利要求是指从包括A、B、C…和N的分组选择的东西的至少一个，文本应该被解释为只需要来自分组的一个元素，而不是A加N，或B加N等。

Claims

1.一种基于图像数据使能装置行动的方法，所述方法包括：

由图像处理装置获得具有对象的表示的图像数据；

通过将共圆算法应用至与所述对象相关联的所述图像数据的至少一部分由所述图像处理装置生成表示所述图像数据中的曲线的边缘收集，所述边缘收集中的每个边缘包括感知测量；

至少部分地基于所述边缘收集内的所述边缘的感知测量由所述图像处理装置从所述边缘收集选择候选边缘集合；

针对所述候选边缘集合中的边缘在所述图像数据内的像素级处由所述图像处理装置构建边缘线集合；

由所述图像处理装置从所述边缘线集合得出多个基于边缘的描述符，每个基于边缘的描述符表示在所述边缘收集中的边缘当中的边缘线的群集；并且

将装置配置为基于所述多个基于边缘的描述符而开始行动。

2.根据权利要求1所述的方法，其中所述行动包括基于边缘描述符空间根据索引方案而将与所述对象有关的内容信息编索引至内容数据库中。

3.根据权利要求2所述的方法，其中所述索引方案包括树形结构。

4.根据权利要求3所述的方法，其中所述树形结构包括溢出树和k-d树中的至少一个。

5.根据权利要求2所述的方法，其中与所述对象有关的所述内容信息包括非边缘属性。

6.根据权利要求4所述的方法，其中所述非边缘属性包括以下的至少一个：尺度信息、图像描述符和元数据。

7.根据权利要求1所述的方法，进一步包括提供对存储了链接到与所述对象有关的内容信息的已知描述符的描述符数据库的访问。

8.根据权利要求7所述的方法，进一步包括从所述已知描述符和所述多个基于边缘的描述符识别最近邻的基于边缘的描述符的配对。

9.根据权利要求8所述的方法，进一步包括根据应用到所述最近邻的基于边缘的描述符的配对的相似性滤波器以配对描述符的分组而对所述最近邻的基于边缘的描述符的配对进行分组。

10.根据权利要求9所述的方法，其中所述相似性滤波器包括Hough变换。

11.根据权利要求9所述的方法，进一步包括通过随机地选择配对描述符的每个分组内的描述符配对并且识别匹配了仿射假设的配对来从所述配对描述符的分组生成匹配的描述符的候选集合。

12.根据权利要求11所述的方法，进一步包括经由通过单应性几何将与所述多个基于边缘的描述符相关联的图像数据中的对齐边缘识别到与所述已知的描述符相关联的建模的图像数据而从所述匹配的描述符的候选集合减少误判以生成结果集。

13.根据权利要求1所述的方法，其中所述边缘线包括一连串像素。

14.根据权利要求1所述的方法，其中所述感知测量包括以下各项的至少一个：曲线的长度、曲线的平滑度测量、曲线的曲率、曲线的交点以及曲线的结合。

15.一种基于图像数据使能装置行动的方法，所述方法包括：

由图像处理装置获得具有对象的表示的图像数据；

将装置配置为基于所述多个基于边缘的描述符而开始行动。

16.根据权利要求15所述的方法，其中所述行动包括基于边缘描述符空间根据索引方案而将与所述对象有关的内容信息编索引至内容数据库中。

17.根据权利要求15至16的任一项所述的方法，其中所述索引方案包括树形结构。

18.根据权利要求15至17的任一项所述的方法，其中所述树形结构包括溢出树和k-d树中的至少一个。

19.根据权利要求15至18的任一项所述的方法，其中与所述对象有关的所述内容信息包括非边缘属性。

20.根据权利要求15至19的任一项所述的方法，其中所述非边缘属性包括以下的至少一个：尺度信息、图像描述符和元数据。

21.根据权利要求15至20的任一项所述的方法，进一步包括提供对存储了链接到与所述对象有关的内容信息的已知描述符的描述符数据库的访问。

22.根据权利要求15至21的任一项所述的方法，进一步包括从所述已知描述符和所述多个基于边缘的描述符识别最近邻的基于边缘的描述符的配对。

23.根据权利要求15至22的任一项所述的方法，进一步包括根据应用到所述最近邻的基于边缘的描述符的配对的相似性滤波器以配对描述符的分组对所述最近邻的基于边缘的描述符的配对进行分组。

24.根据权利要求15至23的任一项所述的方法，其中所述相似性滤波器包括Hough变换。

25.根据权利要求15至24的任一项所述的方法，进一步包括通过随机地选择配对描述符的每个分组内的描述符配对并识别匹配了仿射假设的配对来从所述配对描述符的分组生成匹配的描述符的候选集合。

26.根据权利要求15至25的任一项所述的方法，进一步包括经由通过单应性几何将与所述多个基于边缘的描述符相关联的图像数据中的对齐边缘识别到与所述已知的描述符相关联的建模的图像数据而从所述匹配的描述符的候选集合减少误判以生成结果集。

27.根据权利要求15至26的任一项所述的方法，其中所述边缘线包括一连串像素。

28.根据权利要求15至27的任一项所述的方法，其中所述感知测量包括以下的至少一个：曲线的长度、曲线的平滑度测量、曲线的曲率、曲线的交点以及曲线的结合。

29.一种识别与对象有关的内容的方法包括：

经由内容识别引擎获得对象的表示的图像数据；

经由所述内容识别引擎从所述图像数据得出至少一个基于边缘的描述符；

经由所述内容识别引擎生成与所述图像数据的一部分有关的尺度度量，所述图像数据的一部分基于所述至少一个基于边缘的描述符而确定；

经由所述内容识别引擎使用所述至少一个基于边缘的描述符来从存储了根据基于边缘的描述符空间编索引的内容信息的内容数据库获得内容候选集合，其中所述内容信息包括尺度信息；

经由所述内容识别引擎通过至少将所述结果集中的内容信息的尺度信息与尺度度量进行比较来对所述内容候选集合进行过滤而生成内容结果集；并且

经由所述内容识别引擎使能装置基于所述内容结果集而采取行动。

30.根据权利要求29所述的方法，进一步包括根据至少一个基于边缘的描述符来存储与所述内容数据库中的对象有关的内容信息。

31.根据权利要求29所述的方法，其中所述得出至少一个基于边缘的描述符的步骤包括从所述图像数据得出边缘线的群集。

32.根据权利要求29所述的方法，其中所述至少一个基于边缘的描述符包括尺度不变基于边缘的描述符。

33.根据权利要求29所述的方法，其中所述至少一个基于边缘的描述符包括旋转不变基于边缘的描述符。

34.根据权利要求29所述的方法，其中所述至少一个基于边缘的描述符包括平移不变基于边缘的描述符。

35.根据权利要求29所述的方法，其中所述至少一个基于边缘的描述符包括平移不变基于边缘的描述符。

36.根据权利要求29所述的方法，其中所述至少一个基于边缘的描述符包括梯度维度。

37.根据权利要求29所述的方法，进一步包括从所述图像数据基于至少一个基于边缘的描述符生成边界框。

38.根据权利要求37所述的方法，其中所述边界框限制所述图像数据内的对象的至少一部分的表示。

39.根据权利要求37所述的方法，其中所述得出尺度度量的步骤包括计算长度的比率。

40.根据权利要求39所述的方法，其中所述计算长度的比率的步骤包括计算所述长度的比率作为与所述边界框相关联的长度和边缘线当中的长度的函数。

41.根据权利要求29所述的方法，其中所述内容结果集包括与所述对象有关的对象分类。

42.根据权利要求29所述的方法，其中所述内容结果集包括与所述对象有关的对象识别。

43.根据权利要求29所述的方法，其中所述通过对所述内容候选集合进行过滤而生成所述内容结果集的步骤包括通过使用所述尺度度量来减少误判。

44.根据权利要求29所述的方法，其中所述内容数据库根据基于所述基于边缘的描述符空间的树形结构来对内容进行编索引。

45.根据权利要求44所述的方法，其中所述树形结构包括以下的至少一个：k-d树和溢出树。

46.根据权利要求29所述的方法，使用至少一个基于边缘的描述符来获得内容候选集合包括基于基于边缘的描述符进行最近邻搜索。

47.根据权利要求29所述的方法，其中所述通过对所述内容候选集合进行过滤而生成所述内容结果集的步骤包括验证所述候选集合内的内容信息可能不是误判。

48.根据权利要求47所述的方法，其中验证所述候选集合内的内容信息可能不是误判的步骤包括将交互式最近点算法应用到所述基于边缘的描述符以及与所述候选集合内的内容信息相关联的其他边缘描述符。

49.一种识别与对象有关的内容的方法包括：

经由内容识别引擎获得对象的表示的图像数据；

50.根据权利要求49所述的方法，进一步包括根据至少一个基于边缘的描述符来存储与所述内容数据库中的对象有关的内容信息。

51.根据权利要求49至50的任一项所述的方法，其中所述得出至少一个基于边缘的描述符的步骤包括从所述图像数据得出边缘线的群集。

52.根据权利要求49至51的任一项所述的方法，其中所述至少一个基于边缘的描述符包括尺度不变基于边缘的描述符。

53.根据权利要求49至52的任一项所述的方法，其中所述至少一个基于边缘的描述符包括旋转不变基于边缘的描述符。

54.根据权利要求49至53的任一项所述的方法，其中所述至少一个基于边缘的描述符包括平移不变基于边缘的描述符。

55.根据权利要求49至54的任一项所述的方法，其中所述至少一个基于边缘的描述符包括平移不变基于边缘的描述符。

56.根据权利要求49至55的任一项所述的方法，其中所述至少一个基于边缘的描述符包括梯度维度。

57.根据权利要求49至56的任一项所述的方法，进一步包括从所述图像数据基于至少一个基于边缘的描述符而生成边界框。

58.根据权利要求49至57的任一项所述的方法，其中所述边界框限制所述图像数据内的对象的至少一部分的表示。

59.根据权利要求49至58的任一项所述的方法，其中所述得出尺度度量的步骤包括计算长度的比率。

60.根据权利要求49至59的任一项所述的方法，其中所述计算长度的比率的步骤包括计算所述长度的比率作为与所述边界框相关联的长度和边缘线当中的长度的函数。

61.根据权利要求49至60的任一项所述的方法，其中所述内容结果集包括与所述对象有关的对象分类。

62.根据权利要求49至61的任一项所述的方法，其中所述内容结果集包括与所述对象有关的对象识别。

63.根据权利要求49至62的任一项所述的方法，其中所述通过对所述内容候选集合进行过滤而生成所述内容结果集的步骤包括通过使用所述尺度度量来减少误判。

64.根据权利要求49至63的任一项所述的方法，其中所述内容数据库根据基于所述基于边缘的描述符空间的树形结构来对内容进行编索引。

65.根据权利要求49至64的任一项所述的方法，其中所述树形结构包括以下的至少一个：k-d树和溢出树。

66.根据权利要求49至65的任一项所述的方法，使用至少一个基于边缘的描述符来获得内容候选集合包括基于基于边缘的描述符进行最近邻搜索。

67.根据权利要求49至66的任一项所述的方法，其中所述通过对所述内容候选集合进行过滤而生成所述内容结果集的步骤包括验证所述候选集合内的内容信息可能不是误判。

68.根据权利要求49至67的任一项所述的方法，其中验证所述候选集合内的内容信息可能不是误判的步骤包括将交互式最近点算法应用到所述基于边缘的描述符以及与所述候选集合内的内容信息相关联的其他边缘描述符。

69.一种存储与对象有关的内容的方法包括：

经由内容识别引擎获得对象的表示的图像数据；

经由所述内容识别引擎生成与所述图像数据的一部分有关的尺度度量，所述图像数据的一部分基于所述至少一个基于边缘的描述符而确定；并且

经由所述内容识别引擎使用所述至少一个基于边缘的描述符来在内容数据库中存储与对象有关的内容信息，所述内容数据库被编程为根据基于边缘的描述符空间执行对内容信息进行编索引的步骤，其中所述内容信息包括与所述尺度度量有关的尺度信息。