CN102859535B - 从预先计算的尺度空间产生Daisy描述符 - Google Patents

从预先计算的尺度空间产生Daisy描述符 Download PDF

Info

Publication number
CN102859535B
CN102859535B CN201180019900.5A CN201180019900A CN102859535B CN 102859535 B CN102859535 B CN 102859535B CN 201180019900 A CN201180019900 A CN 201180019900A CN 102859535 B CN102859535 B CN 102859535B
Authority
CN
China
Prior art keywords
level
oriented graph
smooth
graphical rule
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180019900.5A
Other languages
English (en)
Other versions
CN102859535A (zh
Inventor
奥努尔·哈姆西奇
约翰·H·洪
尤里·列兹尼克
桑迪普·瓦达迪
重·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102859535A publication Critical patent/CN102859535A/zh
Application granted granted Critical
Publication of CN102859535B publication Critical patent/CN102859535B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

在图像尺度空间的多个层级上产生用于图像中的点的局部特征描述符。逐渐使所述图像平滑以获得多个尺度空间。可将点识别为来自所述多个尺度空间的第一尺度空间内的关注点。针对所述多个尺度空间中的每一者获得多个图像导数。针对所述多个尺度空间中的每一尺度空间(从所述多个图像导数)获得多个定向图。接着使所述多个定向图中的每一者平滑(例如,卷积)以获得对应多个经平滑定向图。因此,可通过稀疏地对对应于来自所述多个尺度空间的两个或两个以上尺度空间的多个经平滑定向图进行取样来产生所述点的局部特征描述符。

Description

从预先计算的尺度空间产生Daisy描述符
根据35U.S.C.§119主张优先权
本专利申请案主张2010年4月20日申请的标题为“提取尺度空间中的Daisy描述符(ExtractingDaisyDescriptorinScale-Space)”的第61/326,087号美国临时申请案,以及2010年11月11日申请的标题为“尺度空间中的快速描述符提取(FastDescriptorExtractioninScale-Space)”的第61/412,759号美国临时申请案的优先权,两者均转让给本案受让人,且特此以引用的方式明确地并入本文中。
技术领域
一个特征涉及计算机视觉,且更明确地说,涉及用于改进图像的辨别与检索性能、处理和/或压缩的方法和技术。
背景技术
各种应用可受益于具有能够识别视觉表示(例如,图像或图片)中的对象的机器或处理器。计算机视觉领域试图提供准许识别图像中的对象或特征的技术和/或算法,其中对象或特征可由识别一个或一个以上点(例如,所有像素点、所关注的关键点等)的描述符表征。这些技术和/或算法通常还应用于脸部辨别、对象检测、图像匹配、3维结构构造、立体对应和/或运动跟踪,以及其他应用。通常,对象或特征辨别可涉及识别图像中的关注点,以用于特征识别、图像检索和/或对象辨别的目的。优选的是,可选择和/或处理所述点,使得其不因图像尺度改变和/或旋转而变化,且在实质范围的失真、视点改变和/或噪声和照度变化上提供稳健匹配。另外,为了更好地适合例如图像检索和对象辨别等任务,特征描述符可优选在单个特征可对照来自多个目标图像的特征的较大数据库以高概率正确匹配的意义上与众不同。
举例来说,可使用高斯金字塔(GaussianPyramid)定位关注点来执行局部图像计算。使用若干计算机视觉算法(例如SIFT(尺度不变特征变换)来计算此些点,且接着继续提取其周围的局部化特征,作为检测场景中的特定对象或基于其特征对所查询对象进行分类的初始步骤。
在检测到且定位图像中的一个或一个以上点之后,可通过使用各种描述符来识别或描述所述点。举例来说,描述符可表示图像中的内容的视觉特征,例如形状、色彩、纹理、旋转和/或运动,以及其它图像特性。描述符可表示点以及所述点周围的局部邻域。描述提取的目的是获得点周围的局部信息的稳健、无噪声表示。
使对应于所述点且由所述描述符表示的个别特征与来自已知对象的特征的数据库匹配。因此,可将对应性搜索系统分为三个模块:点检测器、特征描述符和对应性定位符。在这三个逻辑模块中,描述符的构造复杂性和维度对特征匹配系统的性能具有直接且显著的影响。
此些特征描述符在实时对象辨别、增强现实、3D重构、全景图拼接、机器人映射、视频跟踪和类似任务中越来越多地找到应用。依据应用,特征描述符(或均等物)的传输和/或存储可限制对象检测的计算速度和/或图像数据库的大小。在移动装置(例如,相机电话、移动电话等)或分布式相机网络的上下文中,可在节点之间的描述符提取中花费相当多的通信和处理资源。描述符提取的计算集约过程趋向于阻碍其对资源受限装置(例如移动电话)的应用或使应用变得复杂。
已提出多种描述符,其各自具有不同优点。尺度不变特征变换(SIFT)打开与点的邻域中的(像素梯度的)支配定向对准且大小与检测到的点的尺度等级成比例的正方形贴片。此区中的梯度值在总结在一小区中,每一小区中具有多个仓定向直方图。
Daisy描述符已展示比密集匹配和贴片对应性问题中的SIFT好且快的匹配性能。Daisy描述符优于SIFT描述符的一个重要优点是在构造Daisy描述符时,经定向的导数的空间装仓代表不同分辨率。更具体地说,空间仓大小对于位于较远离所述点的仓来说较大(即,较粗糙)。使用不同分辨率使得Daisy描述符对旋转和尺度改变更稳健。然而,计算快速空间装仓Daisy描述符要求额外存储器为每一图像导数建立三个尺度的尺度空间。Daisy描述符算法的另一重要限制是存储所需的额外存储器(相对于SIFT)。举例来说,八(8)个经定向导数中的每一者需要三(3)个尺度等级。当使用Daisy描述符时,总的额外存储器针对MxN图像为24xMxN个字节(即,假定一个字节动态范围用于一个经平滑像素)。存储器复杂性对于具有S个尺度等级的尺度空间进一步增加到24xMxNxS。这限制了尺度不变Daisy描述符(即尺度空间中的Daisy描述符)的提取。
因此,需要减少产生Daisy描述符且/或将Daisy描述符存储在尺度空间中所需的存储器的量的方法。
发明内容
以下内容呈现一个或一个以上实施例的简化概述,以便提供对一些实施例的基本理解。此概述并非所有预期实施例的广泛综述,且无意识别所有实施例的关键或重要元素,也无意划定任何或所有实施例的范围。此概述的唯一目的是以简化形式呈现一个或一个以上实施例的一些概念,作为稍后呈现的更详细描述的序言。
本发明提供一种用于产生图像的局部特征描述符的方法。逐渐使所述图像光滑以获得多个尺度空间。从图像的所述多个尺度空间识别第一尺度空间内的点。接着获得所述多个尺度空间中的每一者的多个图像导数,其中从对应图像导数的非负值获得所述多个定向图中的每一者。接着获得所述多个尺度空间中的每一尺度空间的多个定向图。每一尺度空间的所述多个定向图可包含针对多个不同定向的定向图。
每一定向图可分解为单个对应的经平滑定向图。使所述多个定向图中的每一者平滑以获得对应的多个经平滑定向图。所述多个经平滑定向图内的定向图的平滑可与定向图的尺度空间等级成比例。接着通过稀疏地取样对应于来自多个尺度空间的两个或两个以上尺度空间的多个经平滑定向图来产生或获得所述点的局部特征描述符。举例来说,局部特征描述符可具有由分布于点的中心上的取样点的空间汇集界定的内核汇集配置。在一些例子中,局部特征描述符可包含从来自所述多个经平滑定向图的稀疏取样的所定向梯度建立的多个直方图。
在一个实例中,点可为来自多个尺度空间内的位置子集的取样点。举例来说,可基于对象的预期模式来选择位置子集。在另一实例中,可基于图像内的所识别关键点来选择位置子集,其中关键点是已被识别为对成像条件的变化稳健的点。
在一个实例中,所述两个或两个以上尺度空间包含所述第一尺度空间以及分辨率低于所述第一尺度空间的一个或一个以上额外尺度空间。举例来说,稀疏地取样多个经平滑定向图可包含:(a)取样第一经平滑定向图上的第一多个点,所述第一多个点布置在与所述点的位置同心的第一环中;(b)取样第二经平滑定向图上的第二多个点,所述第二多个点布置在与所述点的位置同心的第二环中,所述第二经平滑定向图对应于分辨率低于第一尺度空间的第二尺度空间;和/或(c)取样第三经平滑定向图上的第三多个点,所述第三多个点布置在与所述点的位置同心的第三环中,所述第三经平滑定向图对应于分辨率低于第一尺度空间的第三尺度空间。在一个实例中,第二环可具有大于第一环的第一半径的第二半径,且第三环可具有大于第二环的第二半径的第三半径。
根据一个方面,可使用同一平滑系数来平滑多个定向图,第一尺度空间可为两个或两个以上尺度空间中的一者,且第二尺度空间可经选择以实现相对于第一尺度空间的所要平滑。
提供用于产生图像的局部特征描述符的图像处理装置。所述图像处理装置可包含输入接口/装置、存储装置和/或处理电路。所述输入接口可用以或适于获得、步骤和/或接收图像。存储装置可用以存储一个或一个以上图像的局部特征描述符。处理电路耦合到输入接口和存储装置,且可适于执行操作且/或包含一个或一个以上电路以:(a)逐渐使所述图像光滑以获得多个尺度空间,(b)识别来自所述多个尺度空间的第一尺度空间内的点,(c)获得所述多个尺度空间中的每一者的多个图像导数。
(d)获得所述多个尺度空间中的每一尺度空间的多个定向图,其中从对应图像导数的非负值获得所述多个定向图中的每一者,(e)使所述多个定向图中的每一者平滑以获得对应的多个经平滑定向图,和/或(f)稀疏地取样对应于来自多个尺度空间的两个或两个以上尺度空间的多个经平滑定向图以产生所述点的局部特征描述符。局部特征描述符可具有由分布于点上的中心上的取样点的空间汇集界定的内核汇集配置。
所述两个或两个以上尺度空间可包含所述第一尺度空间以及分辨率低于所述第一尺度空间的一个或一个以上额外尺度空间。所述点可为来自多个尺度空间内的位置子集的取样点。
稀疏地取样多个经平滑定向图可包含:(a)取样第一经平滑定向图上的第一多个点,所述第一多个点布置在与所述点的位置同心的第一环中;(b)取样第二经平滑定向图上的第二多个点,所述第二多个点布置在与所述点的位置同心的第二环中,所述第二经平滑定向图对应于分辨率低于第一尺度空间的第二尺度空间;和/或(c)取样第三经平滑定向图上的第三多个点,所述第三多个点布置在与所述点的位置同心的第三环中,所述第三经平滑定向图对应于分辨率低于第一尺度空间的第三尺度空间。处理装置可进一步适于从所述多个经平滑定向图的所述稀疏取样建立所定向梯度的多个直方图,其中所述局部特征描述符包括所述多个直方图。在一个实例中,使用同一平滑系数来平滑所述多个定向图,所述第一尺度空间为所述两个或两个以上尺度空间中的一者,且第二尺度空间经选择以实现相对于所述第一尺度空间的所要平滑。
附图说明
各种特征、性质和优点可从结合其中相同参考符号始终对应识别的图式进行时的下文陈述的详细描述内容变得明显。
图1是说明用于通过使用高效产生的Daisy描述符对所查询的图像执行对象辨别的功能阶段的框图。
图2说明根据一个实例的用以产生Daisy描述符的尺度空间和定向图的产生。
图3说明尺度空间的尺度等级可如何包含具有多个梯度定向以界定定向图的像素。
图4、5和6说明可如何从尺度空间等级产生定向图。
图7说明Daisy描述符的典型产生。
图8说明根据避免针对每一定向图需要产生多个经平滑(卷积)定向图的较高效实例的用以产生经修改Daisy描述符的尺度空间和定向图的产生。
图9说明可如何通过使用尺度空间金字塔的多个等级来产生Daisy描述符。
图10说明尺度空间上与经修改Daisy描述符相比典型Daisy描述的产生的比较。
图11是说明在多个尺度空间等级上产生描述符的描述符产生装置的实例的框图。
图12是说明用于在多个尺度空间等级上产生局部特征描述符的方法的流程图。
图13是说明适于使用在尺度空间的多个等级上产生的局部描述符执行图像处理以用于图像或对象辨别的示范性移动装置的框图。
具体实施方式
现在参考图式描述各种实施例,其中始终使用相同参考标号来指代相同元件。在以下描述中,出于阐释的目的,陈述许多特定细节以便提供对一个或一个以上实施例的彻底理解。然而,可显而易见,可在无这些特定细节的情况下实践此类实施例。在其它例子中,以框图形式展示众所周知的结构和装置以便促进描述一个或一个以上实施例。
综述
提供一种用于改进Daisy描述符的产生的技术。提供经修改的Daisy描述符,其将经平滑(卷积)定向图的数目从三个减少到一个,从而减少产生Daisy描述符所需的存储器的量。明确地说,代替于从每一定向图产生多个经平滑定向图,针对每一尺度空间等级的每一定向图(即,其包含对应所定向图像导数的非负值)产生仅一个经平滑定向图。接着,在产生Daisy描述符时使用针对较高尺度空间的经平滑定向图。为了这样做,可特定选择尺度空间金字塔的较高尺度来近似表示分辨率,其原本将已通过产生原始Daisy描述符时所使用的每定向图多个经平滑定向图来获得。
在其它实施方案中,可无关于将已由传统Daisy描述符过程使用的分辨率而选择尺度空间金字塔的较高尺度。
注意,在尺度空间金字塔的多个等级上产生经修改的Daisy描述符也使得此经修改的Daisy描述符对噪声较稳健。原始Daisy描述符算法使用单个尺度空间等级来得出较精细(当前尺度)和较粗糙(较高尺度)的经平滑定向图,从而依靠尺度空间金字塔的单个等级。相比之下,本发明方法对噪声更稳定,因为金字塔的较高尺度空间等级产生噪声较少的梯度值。这是因为使具有较大内核的图像平滑消除了高频噪声,高频噪声可能由产生定向图的衍生操作放大。
示范性对象辨别过程
图1是说明用于通过使用高效产生的Daisy描述符对所查询的图像执行对象辨别的功能阶段的框图。在图像捕捉阶段102处,可捕捉或以其它方式获得的查询图像108。举例来说,查询图像108可由图像捕捉装置捕捉,图像捕捉装置可包含一个或一个以上图像传感器和/或模/数转换器,以获得数字捕捉的图像。图像传感器(例如,电荷耦合装置(CCD)、互补金属半导体(CMOS))可将光转换为电子。电子可形成模拟信号,其接着由模/数转换器转换成数字值。以此方式,可以数字格式捕捉图像108,数字格式可将图像I(x,y)(例如)界定为具有对应色彩、照度和/或其它特性的多个像素。
在图像处理阶段104中,接着通过产生对应的尺度空间120(例如,高斯尺度空间)、执行特征/点检测122、获得每一尺度空间的经定向图像导数119、执行从图像导数的定向图产生121和/或执行尺度空间中的局部特征描述符产生128(例如,经修改的Daisy描述符)来处理捕捉到的图像108。在图像比较阶段106处,使用获得的描述符128来执行与已知描述符的数据库131的特征匹配130。可通过提取尺度空间中的局部特征描述符来类似地产生描述符数据库131中的描述符。就是说,对于多个测试图像,可产生描述符且将其预先存储在描述符数据库131中。接着可对点匹配(例如,基于匹配描述符)执行几何检验或一致性检查132,以确定正确的特征匹配且提供匹配结果134。以此方式,可将查询图像(例如其中的对象)与目标图像109(或对象)的数据库进行比较且/或从中识别。
已开发若干算法(包含尺度不变特征变换(SIFT))以执行图像中的特征检测。针对图像中的特定对象的检测的第一步骤是基于其局部特征对所查询的对象进行分类。目的是识别例如对照度、图像噪声、旋转、缩放和/或视点中的小变化不变且/或稳健的特征。就是说,尽管两个图像之间存在照度、图像噪声、旋转、缩放和/或视点的差异,但应找出查询图像与比较目标图像之间的匹配。
Daisy描述符已展示比密集匹配和贴片对应性问题中的SIFT描述符好且快的匹配性能。Daisy描述符优于SIFT描述符的一个重要优点是在Daisy描述符在不同分辨率下使用经定向的导数的空间装仓。具体地说,在Daisy描述符产生中,空间仓大小对于位于较远离点的仓来说较大。这使得Daisy描述符对旋转和尺度改变更稳健。
示范性典型Daisy描述符产生
界定Daisy描述符以找出对象的两个视点之间的对应性。由于匹配需要两个图像中的每个像素对应性,因此实现此的高效方式是为可接着进行比较的图像界定一个或一个以上描述符。尺度不变特征变换(SIFT)和梯度位置和定向直方图(GLOH)等传统描述符通过首先取得图像的经定向导数且接着在指定空间区中用定向直方图表示所定向导数来建立其描述符。此程序需要计算,因为其需要针对对应直方图仓的每个像素梯度计算三线性内插(即,两个用于空间,且一个用于定向。Daisy描述符通过用所定向导数的平滑代替线性内插来克服此问题。此外,用以产生Daisy描述符的空间装仓布局(即,较大仓从经平滑定向图的多个等级上的点移出)允许对尺度、位置和定向变化的较多稳健性。
一般来说,为了产生典型的Daisy描述符,首先处理图像以获得尺度空间。处理尺度空间以获得对应的所定向导数(即,定向图)。使用多个不同平滑系数来平滑每一所定向导数,以针对每一所定向导数获得多个经平滑(卷积)定向图。接着使用所述多个经平滑定向图产生Daisy描述符。
图2说明根据一个实例的用以产生Daisy描述符的尺度空间和定向图的产生。首先,可逐渐平滑/模糊数字图像I(x,y)201,以构造尺度空间金字塔202。图像尺度空间金字塔202是离散表示,其中在空间和尺度两者上对尺度空间进行取样。模糊(平滑)通常涉及在尺度cσ下使原始图像I(x,y)与模糊/平滑功能G(x,y,ciσ)(也表示为平滑功能)卷积,使得尺度空间L(x,y,ciσ)界定为:
L ( x , y , c i σ ) = G ( x , y , c i σ ) * I ( x , y ) = g c i σ * I ( x , y ) (等式1)
在一个实例中,尺度空间金字塔202可为高斯尺度空间金字塔。因此,平滑/模糊功能G可为高斯内核,其中ciσ表示用于模糊图像I(x,y)的高斯函数G的缩放或平滑系数。随着乘数ci变化(ci:c0<c1<c2<c3<c4),缩放系数ciσ变化,且获得图像I(x,y)的逐渐模糊/平滑。此处,用于获得缩放/平滑系数(例如,高斯内核的宽度)的标准偏差σ(步长)使得缩放/平滑系数ciσ由σi(即σi=ciσ)表示。
当图像I(x,y)201与平滑函数G递增地卷积,以产生模糊的图像尺度空间L,模糊的图像尺度空间L由尺度空间中的常数因子c分离。随着模糊(平滑)的图像尺度空间L的数目增加,且用于尺度空间金字塔202的近似接近连续空间,两个邻近尺度接近一个尺度。在一个实例中,图像尺度空间L可由倍频程分组,其中倍频程可对应于标准偏差σ的值的加倍。此外,选择乘数c1(例如c0<c1<c2<c3<c4...)的值,使得每倍频程获得固定数目的图像尺度空间L。可使尺度空间与尺度的比率保持恒定,使得脉冲响应在金字塔202的所有等级中相同。在一个实例中,缩放的每一倍频程可对应于明确的图像重新定大小。因此,随着图像I(x,y)201由逐渐模糊/平滑函数G模糊/平滑,渐进地减少像素的数目。对于尺度空间,可以指数方式排列尺度等级,例如作为二(2)的整数幂(例如,σi=2i,其中i=0、0.25、0.5、0.75、1、1.25、1.5、1.75、2、…、3、…)在其它实例中,可需要两个或甚至较小缩放步骤的较靠近的尺度间距,例如平方根。在另一实例中,s/S金字塔的尺度空间等级可界定为2,其中S界定每一倍频程的分辨率,且s为对于正整数k在1与k之间的尺度等级。举例来说,在以上实例中,S=4且因此对于k={1,2,3,4},倍频程0尺度等级标准偏差为σi={0,0.25,0.5,0.75,1}。
注意,在传统的Daisy描述符算法中,实际上不产生尺度空间金字塔202。代替的,图像201仅模糊/平滑,且从图像201的经平滑版本产生Daisy描述符。举例来说,仅可产生经平滑图像204,而不产生尺度空间金字塔202的其它等级。
第二,产生尺度空间202的每一尺度等级204的所定向导数以获得多个对应的图像导数203(也称为“所定向导数”)。在此实例中,所述多个图像导数202可包含多个图像导数。注意,对于每一尺度空间204,产生对应于不同定向(例如X、Y、Z、W定向)的多个图像导数δX221、δY223、δZ225和δW227。
第三,接着处理图像导数203以获得对应的定向图206。在此处说明的实例中,将()运算符应用于图像导数的每一值,以产生对应的定向图。举例来说,()运算符可取任何负值8,并将其设定为零(0),使得
举例来说,第一图像导数δX221具有对应的定向图γX208,第二图像导数δX223具有对应的定向图γX210,第三图像导数δX225具有对应的定向图γX212,且第四图像导数δX227具有对应的定向图γX213。图3说明多个图像导数203中的图像导数221如何可包含具有多个梯度定向的像素。定向图包含图像I(x,y)201的经定向图像导数(即,来自尺度空间202的图像的经平滑版本的导数)的正分量,其中(.)+=max(.,0)仅保留沿所述定向的正导数。(.)+运算符或函数可削顶函数,其将对应图像导数的任何负像素梯度值设定为零。
图4、5和6说明可如何从尺度空间等级产生定向图。尺度空间等级204可为图像201的经平滑版本。通过取尺度空间等级204的多个所定向导数可获得多个图像导数δX221、δY223、δZ225和δW227。在此实例中可使用n个像素乘以m个像素的图像空间(例如,n=m和/或n≠m)。
图4说明沿x定向的定向图的产生。沿x定向将x滤波器[-101]应用于尺度空间等级204的像素梯度值βij,以产生具有多个值δx ij的对应图像导数221。以移位方式在x定向上沿图像尺度空间等级204的每一行应用x滤波器,且将其定中心在x滤波器[-101]的“0”值上。举例来说,对于像素梯度值β11,x定向值δx 11等于0xβ11+1xβ12=β12。同样地,对于像素梯度值β12,x定向值δx 12等于-1xβ11+0xβ12+1xβ13。类似地,对于像素梯度值β13,x定向值δx 13等于-1xβ12+0xβ13+1xβ14。通过移动x滤波器越过尺度空间等级204的每一行来重复此过程以产生图像导数221。
接着将()+运算符应用于图像导数221的每一值δx,以获得具有多个值γx的对应定向图208。注意,在使用()+运算符计算每一定向图值y时,仅使用沿定向的正导数。举例来说,在计算定向图时,运算符(.)+表示仅使用沿给定定向的正像素梯度值δij(即,像素值导数)(即,将δij的负值设定为0)。举例来说,如果δ12=-4,那么γ12=0。通常,如果特定像素梯度值δij<0,那么γij=0。因此,仅像素梯度值δij>0对定向值的计算作贡献。
图5说明沿y定向的定向图的产生。沿y定向将y滤波器应用于尺度空间等级204的像素梯度值βij,以产生具有多个值δy ij的对应经定向图像导数223。以移位方式在y定向上沿尺度空间等级204的每一列施加y滤波器,且将其定中心在y滤波器[-101]的“0”值上。举例来说,对于像素梯度值β11,y定向值δy 11等于0xβ11+1xβ21=β21。同样地,对于像素梯度值β21,y定向值δy 21等于-1xβ11+0xβ21+1xβ31。类似地,对于像素梯度值β31,y定向值δy 31等于-1xβ12+0xβ31+1xβ41。通过移动y滤波器越过尺度空间等级204的每一列来重复此过程以产生图像导数223。接着将()+运算符应用于图像导数223的每一值δy,以获得具有多个值γy的对应定向图210。
在一个实例中,x定向可为0度,而y定向可为90度。可针对不同定向产生多个额外图像导数。举例来说,可通过取0度图像导数的负值来获得180度定向的图像导数。类似地,可通过取90度图像导数的负值来获得270度定向的图像导数。以此方式,可获得四个定向图(即,0度、90度、180度和270度)。在其它实施方案中,可针对其它定向(例如45度、135度、225度和415度)获得额外定向图。
图6说明沿z定向的定向图的产生。此z定向可(例如)在x定向与y定向之间。在一些实施方案中,可通过在对角方向上移位滤波器(例如[-101])来产生此z定向图212。然而,或者可使用可转向滤波器602来获得z定向图212。可转向滤波器602可线性地组合两个其它图像导数(例如,x定向图像导数221和y定向图像导数223),以获得沿z方向的图像导数225。明确地说,此线性组合对应的所定向图像导数值δx与δy,以获得对应的z定向图像导数值δz。x定向图像导数221和y定向图像导数223的特定线性组合可取决于正寻找的特定图像导数定向。举例来说,如果寻找45度图像导数定向,那么可组合x和y定向图像导数221和223的图像导数值δx ij与δy ij以获得对应的导数值δz ij以此方式,可获得45度的各种乘数。类似地,可获得其它定向图(例如,15或30度的乘数)。一般来说,对于角度Φ,可获得对应的图像导数值为:
δ ij z = δ ij x Cos ( φ ) + δ ij y Sin ( φ ) .
如之前,接着将()+运算符应用于图像导数225的每一值δz,以获得具有多个值γz的对应定向图212。
因此,可获得多个定向图,其中定向图的数目可随所寻找准确性、可用的处理资源和/或可用的存储器资源而变。举例来说,各种实施方案可使用四(4)个、八(8)个、十二(12)个、十六(16)个、二十(20)个、二十四(24)个等定向图。在一些实施方案中,一个或一个以上之间的角度可相同(例如,90度、45度、30度、20度、15度、10度等)。
在此参看图2,根据一种方法,一旦已针对每一尺度空间等级204产生多个定向图206,就通过与滤波器(例如,高斯滤波器)卷积来使每一定向图208、210、212和213平滑,以获得经平滑(卷积)的定向图就是说,通过使图像201的定向图(即,定向图206)平滑来计算每一经平滑定向图使得
I o Σ = g Σ * ( ∂ I ∂ o ) + , (等式2)
其中g为具有标准偏差∑的平滑滤波器。
在图2的实例中,针对定向图中的每一者,使用定向图的子集209来产生多个对应的经平滑定向图215、217和219。举例来说,对于与Z定向相关联的第一定向图212,产生三个对应的经平滑(卷积)定向图214、216、218。经平滑(卷积)定向图214、216和218中的每一像素对应于具有高斯权重的所定向导数的空间汇集。在Z定向的此实例中,针对每一定向图212产生三个经平滑定向图214、216和218。卷积运算有效地应用平滑系数αi,其缩放/模糊定向图的值。注意,平滑函数使用下标αi和σj来表示应用于定向图的平滑/缩放因子。在此实例中,可将此平滑因子表示为第一缩放因子σj(例如,对应尺度空间的缩放因子)与第二缩放因子αi(例如,针对经平滑定向图的每一等级而变化的缩放因子)的乘积。以类似方式,可针对具有不同定向(例如,定向X、Y、Z、W…)的每一对应定向图产生经平滑的定向图。举例来说,与第二尺度空间等级205和对应的图像导数211相关联的定向图的第二子集207(具有定向X、Y、Z和W)可经卷积以产生多个对应的经平滑(卷积)定向图
图7说明Daisy描述符的典型产生。在此实例中,尺度空间204具有三个对应的经平滑定向图215、217和219。每一经平滑定向图215、217和219可包含一组或多个定向特定的经平滑定向图。举例来说,第一经平滑定向图215可包含针对Z定向的经平滑定向图214,以及针对其它定向的经平滑定向图,例如经平滑定向图 类似地,第二经平滑定向图217可包含针对Z定向的经平滑定向图216,以及针对其它定向的经平滑定向图,例如经平滑定向图 同样地,第三经平滑定向图219可包含针对Z定向的经平滑定向图218,以及针对其它定向的经平滑定向图,例如经平滑定向图 此处应清楚,用于经平滑定向图的符号实际上界定具有多个定向的多个或一组经平滑定向图
对于尺度空间204中的所识别点702(例如,关键点、取样点、像素等),可通过稀疏地对经平滑定向图215、217和219进行取样来获得Daisy描述符。这可通过分布于点702的中心上的空间汇集配置(例如高斯汇集)来实现。在此实例中,可将空间汇集配置界定为不同经平滑定向图215、217和219上的多个同心环704、706和708。同心环704、706和708相对于对应于所识别点702的取样点703同心。每一同心环704、706和708可包含沿环的周长的多个稀疏取样的点710、712和714。每一稀疏取样的点710、712和714可用作小区716、718和720(即圆)的中心,其中小区大小(即,半径)在大小上随着取样点移动进一步远离点702而增加。在一个实例中,空间汇集配置可包含沿三(3)个同心环704、706和708的二十四(24)个点,其中每环704、706和708八(8)个取样点(例如因此八个小区),其以四十五(45)度间隔。(x)标记对应于点(o)702周围用以建立Daisy描述符的经取样点或位置。对每一定向进行此操作,从而得出所定向梯度的直方图(HOG)。接着可通过包含关于取样点中的每一者的信息来建立Daisy描述符(例如,定向直方图)。
在图7中,每一圆可表示其中半径与平滑系数的标准偏差成比例的区,且“x”标志表示在经平滑定向图中的每一圆的中心的经取样点或像素位置。通过重叠这些圆的区,可实现所述区之间的平滑过渡,且可获得对平移、旋转和尺度误差的稳健程度。
在已如图2到7的经平滑定向图所说明已界定点702和对应的取样点之后,可建立Daisy描述符。可将用于位于图像坐标(u0,v0)处的点702的直方图h∑(u,v)表示为向量,使得对于多个定向:
h Σ ( u , v ) = [ I 1 Σ ( u , v ) , I 2 Σ ( u , v ) , I 3 Σ ( u , v ) ] T , (等式3)
其中
I 1 Σ ( u , v ) = [ I 1 X ( u , v ) , I 1 Y ( u , v ) , I 1 Z ( u , v ) , . . . , I 1 W ( u , v ) ] , (等式4A)
I 2 Σ ( u , v ) = [ I 2 X ( u , v ) , I 2 Y ( u , v ) , I 2 Z ( u , v ) , . . . , I 2 W ( u , v ) ] , (等式4B)
I 3 Σ ( u , v ) = [ I 3 X ( u , v ) , I 3 Y ( u , v ) , I 3 Z ( u , v ) , . . . , I 3 W ( u , v ) ] , (等式4C)
此处, 表示针对不同梯度方向/定向的经平滑定向图。可标准化向量h(u,v)为一单位,且表示为
点的Daisy描述符可用由来自位于定中心在所述点的位置上的同心圆上的经平滑定向图的值组成的向量界定,且其中平滑的量可与圆的半径成比例。因此,位置(u,v)处的点的Daisy描述符可给定为
D ( u , v ) =
[ h ~ Σ 1 T ( u , v ) ,
h ~ Σ 1 T ( l 1 ( u , v , R 1 ) ) , . . . , h ~ Σ 1 T ( l V ( u , v , R 1 ) ) , (等式5)
h ~ Σ 2 T ( l 1 ( u , v , R 2 ) ) , . . . , h ~ Σ 2 T ( l V ( u , v , R 2 ) ) ,
h ~ Σ 3 T ( l 1 ( u , v , R 3 ) ) , . . . , h ~ Σ 3 T ( l V ( u , v , R 3 ) ) ] ,
其中lj(u,v,Ri)为在由j给定的方向/定向(例如,四个方向、八个方向等)上距位置(u,v)处的点702距离Rj的像素位置。此处,下标“V”表示单个经平滑定向图等级处的直方图的数目。对于图7中的实例,这是每层八(8)直方图。注意,等式4A、4B、4C和5假定使用三(3)个经平滑(卷积)定向图等级,但在其它实施方案中,可使用额外数目的等级。
虽然如图7中所说明稀疏地取样经平滑定向图与SIFT相比节约计算时间,但其增加了存储Daisy描述符所需的存储器的大小。明确地说,存储器复杂性对于在尺度空间金字塔202上检测到的点来说变差。对于MxN图像,与SIFT描述符相比,Daisy描述符需要24xMxN的总的额外存储器。这是因为为了计算Daisy描述符,需要用于尺度空间金字塔202的每一尺度等级的二十四(24)个额外经平滑(卷积)定向图(即,3个经平滑定向图尺度乘以每经平滑定向图8个定向)。存储器复杂性对于具有S个尺度等级的尺度空间进一步增加到24xMxNxS。因此,减小产生Daisy描述符所需的存储器的大小的方式将是有益的。
根据一个方面,可通过使用已经建立的高斯尺度空间将尺度不变Daisy描述符提取的存储器复杂性降低到8xMxNxS。调整Daisy描述符的参数以从尺度空间金字塔的多个尺度空间等级提取Daisy描述符。
尺度空间上的示范性经改进Daisy描述符
实现产生Daisy描述符所需的存储器的大小的此减小的一种方式是避免计算定向图208、210、212和213中的每一者的多个(例如,三个)经平滑(卷积)定向图。
就是说,不是计算每组定向图206的多个经平滑定向图215、217和219,而是一种方法选择或调整尺度空间金字塔的尺度空间等级的平滑内核,使得其与所要的经平滑(卷积)定向图尺度重合或接近。
在图2和7中所说明的实例中,第一经平滑定向图215可由以下等式表示:
I 1 Σ = g Σ 1 * ( ∂ I ∂ o ) + = g α 1 σ 1 * ( ∂ I ∂ o ) + . (等式6)
类似地,第二经平滑定向图217可由以下等式表示:
I 2 Σ = g Σ 2 * ( ∂ I ∂ o ) + = g α 2 σ 1 * ( ∂ I ∂ o ) + . (等式7)
同样地,第三经平滑定向图219可由以下等式表示:
I 3 Σ = g Σ 3 * ( ∂ I ∂ o ) + = g α 3 σ 1 * ( ∂ I ∂ o ) + . (等式8)
在等式6、7和8中,等式1的平滑滤波器g∑1可表示总体或所得平滑/缩放。在此实例中,平滑滤波器意味着平滑滤波器具有标准偏差,其可表示为第一缩放系数σj与第二缩放系数αh=1...3的乘积或组合(用于产生经平滑定向图215、217和219中的每一者),使得
g∑h=gαhσj。(等式9)
然而,通过为(尺度空间金字塔的)尺度空间恰当地选择缩放系数σj,可使用尺度空间金字塔的已经计算的尺度空间来计算Daisy描述符,而无需计算每一定向图的多个经平滑定向图。
图8说明根据避免针对每一定向图需要产生多个经光滑定向图的较高效实例的用以产生经修改Daisy描述符的尺度空间和定向图的产生。图像I(x,y)801与平滑内核(在不同内核宽度下)卷积以获得尺度空间金字塔802。如在图2中,产生金字塔802的每一尺度空间等级804的所定向导数,以获得多个图像导数δx821、δy823、δz825和δw827。对于每一图像导数,接着获得对应的定向图,如在图2中。
观察到,取图像的导数和平滑等效于平滑且接着取导数。此特性用以通过以可将后续经平滑定向图从每定向图三个减少到一个的方式执行图像I(x,y)801的平滑来简化图2和7中所说明的Daisy描述符过程。注意,使图像导数穿过非线性(.)+函数以获得定向图。尽管后接平滑的定向图(如在典型Daisy中)并非与后接定向图的平滑以及如图8中所说明的经修改Daisy描述符中的另一平滑完全相同,但实际上这些方法看起来都产生类似的描述符。因此,特定地选择用于尺度空间金字塔802的尺度空间等级的缩放或平滑系数,使得Daisy描述符是基于多个尺度空间等级的经平滑定向图。
如果图像I(x,y)801是一维图像,那么具有尺度空间内核gσ的图像的导数的卷积由以下等式给出
∂ I ∂ o * g σ = ∂ ∂ o [ I * g σ ] . (等式10)
此等式用以计算尺度空间金字塔802上的Daisy描述符。具体地说,代替于在每一尺度等级处产生所定向梯度的三(3)个经平滑版本(例如图2和图7中的用于每一尺度空间等级204的经平滑定向图215、217和219),针对对应于每一尺度空间等级804的每一定向图808、810、812和813以及图像导数821、823、825和827计算基础或单个经平滑(卷积)定向图。举例来说,多个所定向导数操作(针对不同梯度定向)产生第一组定向图806。接着可通过卷积运算使第一组定向图806平滑,以获得对应的一组经平滑定向图821。应注意,针对每一定向图获得单个经平滑定向图。举例来说,定向图812(用于Z定向)产生一个经平滑定向图814。此过程针对尺度空间金字塔802的所有尺度空间等级重复,使得对于每一定向图产生单个经平滑定向图。不是如在图2和7中产生第二和第三经平滑定向图217和219,而是图8的方法是用对应于尺度空间金字塔802的较高尺度空间的经平滑(卷积)定向图。经平滑定向图的平滑度或程度是从尺度空间金字塔802预定的。因此,可特定地选择尺度空间金字塔802的较高尺度处的经平滑定向图为接近图7的第二和第三经平滑定向图217和219。
举例来说,不是产生图7中的第二和第三经平滑定向图217和219,而是可选择尺度空间金字塔802的较高等级,使得可改为使用其对应的经平滑定向图。在图8中,第二尺度空间805可具有对应的经平滑定向图824,且第三尺度空间807可具有对应的经平滑定向图826。对于例如Z定向,第一经平滑定向图814的所得平滑可等于第一定向图214的平滑。此处,术语“所得平滑”和/或“总平滑”可指代经平滑定向图的缩放/模糊量。第二经平滑定向图816的所得平滑可大约等于第二经平滑定向图216(图2)的所得平滑,而第三818的所得平滑可大约等于第三经平滑定向图218(图2)的所得平滑。因此,在图8的尺度空问上的经修改Daisy描述符中,由于主要平滑系数σ(用于尺度空问金字塔)和/或次要平滑系数α(用以产生经平滑定向图)是己知的,因此可从其选择(尺度空间金字塔802的)特定较高尺度空间,以获得第二和第三经平滑定向图,以提供如图2的大约等效的总平滑。举例来说,次要平滑系数可针对尺度空间的所有等级为常数(α=α1)。因此,所实现的缩放/平滑与缩放空间等级成比例。使平滑内核标准偏差α1σi与尺度空间等级成比例有助于实现尺度不变性。
从图8,可了解,使用第一平滑/缩放系数σ1来产生第一尺度空问804。如在图2中,产生多个图像导数803,其中每一尺度空间等级804可具有与不同定向相关联的多个对应图像导数δx821、δy823、δz825和δw827。接着可通过将()+运算符应用于图像导数的值中的每一者来获得第一多个定向图806。接着通过使其与平滑函数卷积来平滑(定向图806的集合的)每一定向图812,平滑函数具有第二平滑/缩放系数α1。可将经平滑定向图821的集合的总体或所得平滑系数表示为第一平滑/缩放系数σ1与第二平滑/缩放系数α1的组合或乘积,使得经平滑(卷积)定向图821可表示为:
I 1 Σ = ( ∂ I ∂ o ) + * g α 1 σ 1 . (等式11)
在图8的实例中,与第一定向Z相关联的定向图812经平滑以获得对应的经平滑定向图814。类似地,可针对多个定向图808、810和813中的每一图获得对应的经平滑定向图。用于第一尺度空间804的所有定向的这些经平滑定向图可由821表示。
可使用第三平滑/缩放系数σi来产生第二尺度空间805,其中σi=σ2用于此实例的目的。通过取第二尺度空间805的所定向导数来获得第二多个图像导数δ′x、δ′y、δ′z和δ′w811。接着可通过将()+运算符应用于第二多个图像导数δ′x、δ′y、δ′z和δ′w811来获得第二多个定向图815。接着通过将其与平滑函数卷积来使第二多个定向图815中的每一者平滑,平滑函数具有第四平滑/缩放系数αj。第四平滑/缩放系数αj可与第二平滑系数α1相同(例如,αj=α1),使得在所有尺度空间等级处使用相同的平滑系数。在其它实施方案中,第四平滑系数αj可针对每个尺度空间等级不同(例如,αj=α2或αj=α3)此处,平滑函数的总缩放因子α1σ2相对于原始图像I(x,y)801表示为第三平滑/缩放系数σi=σ2(针对尺度空问)与第一平滑/缩放系数α1的组合或乘积。使第二多个定向图815平滑(例如,通过卷积运算)以获得对应的经平滑定向图824,使得
I 1 ′ Σ = ( ∂ I ′ ∂ o ) + * g α 1 σ 2 . (等式12)
举例来说,使与第一定向Z相关联的定向图817平滑,以获得对应的经平滑定向图816。
类似地,可针对与尺度空间金字塔802的较高尺度空间相关联的多个定向图中的每一定向图获得对应的经平滑定向图。举例来说,对于第三组定向图819,通过与具有第五平滑/缩放系数αh的平滑函数卷积来获得一组对应的经平滑定向图826。第五平滑/缩放系数αh可与第一平滑系数α1相同(例如,αh=α1)或针对每个尺度空间等级不同(例如,αh=α4或αh=α5)。此处,平滑函数的总缩放因子α1σk相对于原始图像I(x,y)801表示为第六平滑/缩放系数σk=σ3(针对尺度空间)与第五平滑/缩放系数αh=α1的组合或乘积。举例来说,使与第一定向Z相关联的定向图820平滑,以获得对应的经平滑定向图818。
因此,不是获得每一组定向图206的第一、第二和第三经平滑定向图215、217和219(图2),图8中说明的实施方案特定地选择尺度空间金字塔802的较高等级处将提供通过其产生Daisy描述符的近似经卷积尺度空间平滑的尺度空间等级。
为了从尺度空间金字塔802恰当地选择较高尺度空间,观察到经平滑定向图可表示为
∂ I ∂ o * g α 2 σ 1 = ∂ ∂ o [ I * g α 2 σ 1 ] (等式13)
= ∂ ∂ o [ I * g σ 2 2 - σ 1 2 ] * g α 1 σ 2 , (等式14)
其中σ1和σ2为尺度空间金字塔的不同尺度空间的缩放/平滑系数,且σ2提供比σ1大的平滑/缩放。类似地,α1和α2为用以产生两个不同经平滑定向图的缩放/平滑系数,且α2提供比α1大的平滑/缩放。
为了建立描述符,通过应用()+运算符以从对应的图像导数剪切负分量来获得经平滑定向图。在图2中,可获得经平滑定向图217为:
I 2 Σ = ( ∂ I ∂ o ) + * g α 2 σ 1 .
此经平滑定向图217可通过应用剪切函数近似表示为图像的平滑版本,使得:
( ∂ ∂ o [ I * g σ 2 2 - σ 1 2 ] ) + * g α 1 σ 2 . (等式14.1)
实际上,此近似表示产生较稳固的描述符,因为将导数应用于图像的较平滑版本(即,较高尺度)。
在一个实施例中,平滑函数的总平滑/缩放(相对于原始图像I(x,y)))可简单地表示为平滑/缩放系数σxαx。因此,可通过如下调整平滑内核参数(例如,缩放系数σ和α)来确定等式13和14,
α 2 σ 1 = σ 2 2 - σ 1 2 + α 1 σ 2 , (等式15)
( α 2 σ 1 ) 2 = σ 2 2 - σ 1 2 + ( α 1 σ 2 ) 2 . (等式16)
这产生
( 1 + α 2 2 ) σ 1 2 = ( 1 + α 1 2 ) σ 2 2 . (等式17)
使σ21=λ1,那么,
( 1 + α 2 2 ) = ( 1 + α 1 2 ) λ 1 2 . (等式18)
此处,λ1对应于用于尺度空间金字塔的两个尺度空间等级的平滑系数σ2与σ1之问的比率。从等式14.1和18可了解,对于第一尺度空间的第一经平滑定向图,可通过使λ1等级从尺度空间金字塔上的第一尺度空间上升到第二尺度空间来选择第二经平滑定向图。因此,代替于使用第二经平滑定向图217(图2)作为Daisy描述符的第二等级,可通过使λ1等级在尺度空间金字塔802中上升且使用对应的尺度空间805来得出用以产生Daisy描述符的对应的经平滑定向图824来获得此第二等级。注意,在图8所说明的实例中,相同缩放系数α1可用于使尺度空间金字塔802的所有等级的定向图平滑。
同一程序可用以基于λ2界定α1与α3之间的关系。即,如果σ31=λ2,那么,
( 1 + α 3 2 ) = ( 1 + α 1 2 ) λ 2 2 . (等式19)
因此,代替于使用第三经平滑定向图219(图2)作为Daisy描述符的第三等级,可通过使λ2等级在尺度空间金字塔802中上升且使用对应的尺度空间807来得出用以产生Daisy描述符的对应的经平滑定向图826来获得此第三等级。
图9说明可如何通过使用尺度空间金字塔的多个等级来产生Daisy描述符。对于第一尺度空间804中的所识别点902,可通过稀疏地取样对应的经平滑定向图821(从第一尺度空间804和对应的图像导数产生),以及尺度空间金字塔802的一个或一个以上较高尺度空间805和807处的一个或一个以上额外经平滑定向图826和824来产生Daisy描述符。这可通过分布在点902的中心上的空间汇集配置(例如,高斯汇集)来实现。在此实例中,可将空间汇集配置界定为不同经平滑定向图821、826和824上的多个同心环904、906和908。同心环904、906和908相对于经平滑定向图821上的取样点903(其与点902的位置重合)同心。每一同心环904、906和908可包含沿环的周长的多个稀疏取样的点910、912和914。每一稀疏取样的点910、912和914可用作小区916、918和920(即圆)的中心,其中小区大小(即,半径)在大小上随着取样点移动进一步远离点902而增加。在一个实例中,空间汇集配置可包含沿三(3)个同心环904、906和908的二十四(24)个点,其中每环904、906和908八(8)个取样点(例如因此八个小区),其以四十五(45)度间隔。每一经平滑定向图821、824和826可包含一组或多个定向特定的经平滑定向图(例如,定向X、Y、Z、W等)。(x)标记对应于点(o)902周围用以建立经修改的Daisy描述符的经取样点或位置。对每一定向进行此操作,从而得出所定向图的直方图(HOG)。接着可通过包含关于取样点中的每一者的信息来建立Daisy描述符(例如,定向直方图)。举例来说,可将用于位于图像坐标(u0,v0)处的点902的直方图h(u,v)表示为向量,使得对于多个定向:
h Σ = ( u , v ) = [ I 1 Σ ( u , v ) , I ′ 1 Σ ( u , v ) , I ′ ′ 1 Σ ( u , v ) ] T , (等式20)
其中
I 1 Σ ( u , v ) = [ I 1 X ( u , v ) , I 1 Y ( u , v ) , I 1 Z ( u , v ) , . . . , I 1 W ( u , v ) ] , (等式21A)
I ′ 1 Σ ( u , v ) = [ I ′ 1 X ( u , v ) , I ′ 1 Y ( u , v ) , I ′ 1 Z ( u , v ) , . . . , I ′ 1 W ( u , v ) ] , (等式21B)
I ′ ′ 1 Σ ( u , v ) = [ I ′ ′ 1 X ( u , v ) , I ′ ′ 1 Y ( u , v ) , I ′ ′ 1 Z , . . . , I ′ ′ 1 W ( u , v ) ] , (等式21C)
此处, 表示与不同尺度空间相关联的经平滑定向图。明确地说,与基础经平滑定向图相比,经平滑定向图可与较高尺度空间相关联。如前所述,可标准化向量h(u,v)为一单位,且表示为
点的Daisy描述符可用由来自位于定中心在所述点902的位置上的同心圆上的经平滑定向图的值组成的向量界定,且其中平滑的量可与圆的半径成比例。因此,位置(u,v)处的点的Daisy描述符可给定为
D ( u , v ) =
[ h ~ Σ 1 T ( u , v ) ,
h ~ Σ 1 T ( l 1 ( u , v , R 1 ) ) , . . . , h ~ Σ 1 T ( l V ( u , v , R 1 ) ) , (等式22)
h ~ Σ ′ 1 T ( l 1 ( u , v , R 2 ) ) , . . . , h ~ Σ ′ 1 T ( l V ( u , v , R 2 ) ) ,
h ~ Σ ′ ′ 1 T ( l 1 ( u , v , R 3 ) ) , . . . , h ~ Σ ′ ′ 1 T ( l V ( u , v , R 3 ) ) ] ,
其中lj(u,v,Ri)为在由j给定的方向/定向(例如,四个方向、八个方向等)上距位置(u,v)处的点902距离Rj的像素位置。此处,下标揤表示单个经平滑定向图等级处的直方图的数目。”对于图9中的实例,这是每层八(8)直方图。注意,等式21A、21B、21C和22假定使用三(3)个经平滑定向图等级,但在其它实施方案中可使用额外数目的等级。
在一个实例中,可将金字塔802的尺度空间等级界定为2k/S,其中S界定每一倍频程的分辨率(即,每倍频程的尺度等级的数目),且s为尺度空间金字塔802内的尺度空间等级,接着可从2k/S(针对某一正整数k)选择λ1。举例来说,在图8中,倍频程分辨率S为i+1(即,从尺度等级0到i),其中“i”为整数(例如,2、3、4、5、6、7等),而尺度等级s可介于1与r+1之间(即,金字塔802中的最高尺度等级)。注意,可使用界定金字塔尺度空间等级的其它方法。
通过将经平滑定向图再用于其它尺度空间来产生Daisy描述符的方法不仅实现存储器存储空间的节省,且实现准确性的改进。此方法的一个特征是确定哪一平滑等级层被施加到导数运算符。在此方法中,在高斯金字塔的较高尺度等级下将导数运算符应用于图像。因此,此方法对噪声较稳固。这是因为使具有较大内核的图像平滑消除了高频噪声,高频噪声可能由衍生操作放大。此事实已由所有总所周知边缘检测算法使用。
典型与经修改Daisy描述符之间的示范性比较。
图10说明尺度空间上与经修改Daisy描述符相比典型Daisy描述的产生的比较。通过根据各种缩放系数使图像模糊/平滑来产生尺度空间金字塔1002,使得图像分辨率从金字塔1002的较低尺度减小到较高尺度。可通过取第一尺度空间1006的所定向导数来产生第一尺度空间1006处的点1004(由第一缩放系数σ1产生)的典型Daisy描述符,以获得一组定向图1008。所述组定向图1008包括用于不同定向的多个定向图。接着通过与多个不同缩放/平滑系数卷积来平滑定向图1008的集合,以获得定向图的三个等级。在此实例中,通过与平滑系数α1、α2和α3卷积从单组定向图1008获得三个不同的经平滑定向图1014、1016和1018。注意,所述组定向图1008可包含多个定向图(例如,每定向一个图)。因此,不同经平滑定向图1014、1016和1018中的每一者可实际上包含多个经平滑定向图(例如,八(8)个定向乘以每定向三(3)个经平滑定向图)将第一经平滑定向图1014用作Daisy描述符的第一等级,将第二经平滑定向图1016用作Daisy描述符的第二等级,且将第三经平滑定向图1018用作Daisy描述符的第三等级。经平滑定向图1014、1016和1018中的每一者包含与点1004同心的环1020、1022和1024。每一同心环1020、1022和1024可包含沿所述环的周长的多个稀疏取样的点。每一稀疏取样的点可用作小区(即圆)的中心,其中小区大小(即半径)在大小上随着取样点移动进一步远离点1004而增加。在此实例中,三个不同平滑系数α1、α2和α3(分别针对经平滑定向图1014、1016和1018)可具有值α1=2.5、α2=5.0和α3=7.5。小区(即圆)中的每一者的半径可与用于所述经平滑定向图的平滑系数成比例。举例来说,对于第一经平滑定向图1014,每一小区或圆的半径R1可为R1=2.5,其中存在与平滑系数α1=2.5的一对一比例性。类似地,对于第二经平滑定向图1016,每一小区或圆的半径R2可为R2=5.0,其中存在与平滑系数α2=5.0的一对一比例性。同样地,对于第三经平滑定向图1018,每一小区或圆的半径R3可为R3=7.5,其中存在与平滑系数α3=7.5的一对一比例性。注意,在此实例中,半径的综合R1+R2+R3=15.0个像素。接着可根据等式3、4A、4B、4C和5产生Daisy描述符。归因于典型Daisy描述符的构造,对于MxN个像素的图像,S个等级且八个定向的尺度空间金字塔,其取24xMxNxS存储器来存储用于八个所定向导数(例如,定向图)的三(3)个经平滑定向图的信息。
与用于产生Daisy描述符的典型方法相比,本发明的方法是用尺度空间金字塔1002的多个等级来产生尺度空间上的Daisy描述符。举例来说,甚至对于同一尺度空间金字塔1002,针对对应于在其中找到点1004的第一尺度空间1006的定向图1008的集合产生仅一个(第一)经平滑定向图1014。在一个实施方案中,可通过同一缩放系数α1来平滑第一经平滑定向图1014。在用于产生尺度空间中的Daisy描述符的方法中,从尺度空间金字塔1010选择第二尺度空间1010,且将其对应的经平滑定向图1026(从第二组定向图1012产生)用作Daisy描述符的第二等级。类似地,从第二尺度空间1010选择第三尺度空间1014,且将其对应的经平滑定向图1028(从第三组定向图1016产生)用作Daisy描述符的第三等级。
特定地选择第二尺度空间1010,使得对应的经平滑定向图1026的总平滑与第二经平滑定向图1016的总平滑相同或近似相同。在此实例中,将相同平滑系数α1用于产生第一和第二经平滑定向图1014和1026。因此,第二经平滑定向图1026的选择是基于第二经平滑定向图与第一经平滑定向图1014的总平滑之间的比率λ1。由于将相同平滑系数α1用于产生第一和第二经平滑定向图1014和1026,因此满足比率λ1=σ21的第二尺度空间1010的选择将具有在对应的第二经平滑定向图1026处实现相同或大致相同的总平滑的效应。比率λ1可已预定以实现对经修改Daisy描述符的所要空间取样,或与典型的Daisy描述符大致匹配。因此,通过知道比率λ1和平滑系数σ1,可基于其满足比率λ1的对应平滑系数σ2来选择第二尺度空间1010。因为尺度空间对于尺度空间金字塔1010可为预定的,所以选择最严密满足此比率λ1的第二尺度空间1010。注意,构造具有精细间隔的尺度空间的尺度空间金字塔1002有助于能够选择具有满足比率λ1的平滑系数σ2的第二尺度空间1010。
类似地,特定地选择第三尺度空间1016,使得对应的经平滑定向图1028的总平滑与第三经平滑定向图1016的总平滑相同或近似相同。在此实例中,将相同平滑系数α1用于产生第一和第三经平滑定向图1014和1028。因此,第三经平滑定向图1028的选择是基于第三经平滑定向图与第一经平滑定向图1014的总平滑之间的比率λ2。由于将相同平滑系数α1用于产生第一和第三经平滑定向图1014和1028,因此满足比率λ2=σ31的第二尺度空间1016的选择将具有在对应的第三经平滑定向图1028处实现相同或大致相同的总平滑的效应。比率λ2可已预定以实现对经修改Daisy描述符的所要空间取样,或与典型的Daisy描述符大致匹配。因此,通过知道比率λ2和平滑系数σ1,可基于其满足比率λ2的对应平滑系数σ3来选择第三尺度空间1016。因为尺度空间对于尺度空间金字塔1010可为预定的,所以选择最严密满足此比率λ2的第三尺度空间1016。
以此方式,可将对应于不同尺度空间的经平滑定向图1014、1026和1028用作经修改Daisy描述符的第一、第二和第三等级。如前所述,在经平滑定向图1014、1026和1028中的每一者处取样的小区(即圆)中的每一者的半径可与所述经平滑定向图的平滑系数成比例。在此实例中,对于第一经平滑定向图1014,每一小区或圆的半径R1可为R1=2.5,其中存在与平滑系数α1=2.5的一对一比例性。半径R′2和R′3(针对第二和第三经平滑定向图1026和1028)现在将取决于因第二和第三尺度空间1010和1016的选择而实现的总平滑。对于第二经平滑定向图1026,其中ratioλ1=23/3且α1=2.5,等效平滑系数α′2=5.29,且半径R′2=α′2=5.29,其中存在与平滑系数α′2的一对一比例性。同样地,对于第三经平滑定向图1028,其中比率λ2=25/3,且α1=2.5,等效平滑系数α′3=8.48,且半径R′3=α′3=8.48,其中存在与平滑系数α′3的一对一比例性。注意,在此实例中,半径的总和R1+R′2+R′3=16.27个像素。接着可根据等式20、21A、21B、21C和22产生Daisy描述符。归因于此经修改Daisy描述符的构造,对于MxN个像素的图像,S个等级且八个定向的尺度空间金字塔,其取8xMxNxS存储器来存储用于八个所定向导数(例如,定向图)的经平滑定向图的信息。
示范性描述符产生装置
图11是说明在多个尺度空间等级上产生描述符的描述符产生装置的实例的框图。描述符产生装置1100可包含处理电路1102、图像捕捉装置1106和/或存储装置1108。图像捕捉装置1106可为(例如)可捕捉查询图像的数字相机、存储一个或一个以上数字图像的存储媒体,和/或提供一个或一个以上数字图像的通信接口。
存储装置1108可用以临时或永久地存储描述符数据库1118、一组特征/点检测操作1115、一组图像导数操作1119、一组定向图产生操作1111、一组定向图平滑操作1118和/或一组尺度空间上描述符产生操作1117。
处理电路1102可适于处理图像,且产生识别所述图像和/或图像内的特征的一个或一个以上描述符。为此目的,处理电路1102还可包含或实施尺度空间产生电路1110、特征/点检测电路1114、图像导数产生电路1121、定向图产生电路1112、定向图平滑电路1113和/或尺度空间上描述符产生电路1116。处理电路1102可实施图8到10和12中描述的一个或一个以上特征和/或方法。在一个实例中,处理电路1102可仅实施存储装置的各种模块中所存储的操作。在另一实例中,处理电路1102内的电路中的每一者可适于进行存储在存储装置1108内的对应模块中的操作。
尺度空间产生电路1110可用以使图像与模糊/平滑函数卷积,以产生如(例如)图8中所说明的多个不同尺度空间。在一个实例中,尺度空间产生电路1110可用以产生高斯尺度空间金字塔。特征/点检测电路1114可用以识别图像的每一尺度空间处的一些或所有点或特征。图像导数产生电路1121可用以产生尺度空间中的每一者的多个所定向导数。定向图产生电路1112可用以产生每一图像导数的定向图。定向图平滑电路1113可接着使定向图中的每一者平滑(例如,通过卷积运算)。尺度空间上描述符产生电路1116通过将多个经平滑定向图上的取样点用于多个不同尺度空间来产生点的描述符。举例来说,尺度空间上描述符产生电路1116可产生经修改的Daisy描述符,如图8到10和12中所说明。
图12是说明用于在多个尺度空间等级上产生局部特征描述符的方法的流程图。此方法可在各种装置中实施,包含图11的描述符产生装置1100,以产生点的局部特征描述符。逐渐使图像I(x,y)平滑以获得多个尺度空间L(σ1)、L(σ2)、…L(σn)1202。
可在来自多个尺度空间1204的第一尺度空间内识别点。所述点可为来自所述多个尺度空间内的位置子集的取样点。位置子集的选择可取决于特定实施方案。在一个实例中,可基于对象的预期模式来选择位置子集。举例来说,在脸部检测应用中,这些位置将对应于眼睛、嘴、鼻子相对于参考位置(例如,脸部的中心)的位置。在另一实例中,可基于图像内的所识别关键点来选择位置子集,其中关键点是已被识别为对旋转和尺度变化稳健的点。举例来说,为了实施从图像的形状提取,所述位置可对应于从形状的轮廓取样的点。
针对多个尺度空间1206中的每一者获得所定向图像导数。
接着获得多个尺度空间1208中的每一尺度空间L(σi)的多个定向图 (例如,通过取图像的所定向导数且剪切的负值)。举例来说,可通过将对应图像导数的任何负值设定为零(例如,通过将剪切函数/运算符(.)+应用于定向图)来获得多个定向图中的每一者。
接着使所述多个定向图 中的每一者平滑(例如通过卷积运算),以获得对应的多个经平滑定向图 1210。
接着稀疏地取样对应于来自多个尺度空间的两个或两个以上尺度空间的多个经平滑定向图,以产生点1212的局部特征描述符。所述两个或两个以上尺度空间可包含第一尺度空间,以及分辨率低于第一尺度空间的一个或一个以上额外尺度空间。局部特征描述符可具有由分布于点的中心上的取样点的空间汇集界定的内核汇集配置。用于每一尺度空间的多个定向图可包含用于多个不同定向(例如,定向/温度X、Y、Z和W)的定向图。每一定向图可分解为单个对应的经平滑定向图可从多个经平滑定向图的稀疏取样建立所定向梯度的多个直方图,其中局部特征描述符包括所述多个直方图。
在一个实例中,稀疏地取样多个经平滑定向图包含:(a)取样第一经平滑定向图上的第一多个点,所述第一多个点布置在与所述点的位置同心的第一环中;(b)取样第二经平滑定向图上的第二多个点,所述第二多个点布置在与所述点的位置同心的第二环中,所述第二经平滑定向图对应于分辨率低于第一尺度空间的第二尺度空间;和/或(c)取样第三经平滑定向图上的第三多个点,所述第三多个点布置在与所述点的位置同心的第三环中,所述第三经平滑定向图对应于分辨率低于第一尺度空间的第三尺度空间。第二环可具有大于第一环的第一半径的第二半径,且第三环可具有大于第二环的第二半径的第三半径。
根据一个例子,可使用同一平滑系数来平滑多个定向图,第一尺度空间可为两个或两个以上尺度空间中的一者,且第二尺度空间可经选择以实现相对于第一尺度空间的所要平滑。
示范性移动装置
图13是说明适于使用在尺度空间的多个等级上产生的局部描述符来执行图像处理以用于图像或对象辨别的目的的示范性移动装置的框图。移动装置1300可包含处理电路1302,其耦合到图像捕捉装置1304、无线通信接口1310和存储装置1308。图像捕捉装置1304(例如数字相机)可适于捕捉所关注的查询图像1306,且将其提供给处理电路1302。
存储装置1308(例如,易失性和/或非易失性存储器)可存储图像尺度空间1316和/或用于产生图像的尺度空间1314上的局部特征描述符的操作。这些操作可包含(例如)尺度空间产生操作1321(例如,根据各种平滑系数/函数来渐进地模糊图像以获得图像的尺度空间的操作)、所定向图像导数操作1327(例如,从特定尺度空间等级产生多个所定向导数)、定向图产生操作1323(例如,将剪切函数(.)+应用于图像导数的像素梯度值以获得定向图的操作)、经平滑(卷积)定向图产生操作1325(例如,将第二平滑系数应用于定向图),和/或尺度空间上局部描述符产生操作1329(例如,稀疏地取样对应于来自多个尺度空间的两个或两个以上尺度空间的多个经平滑定向图)。举例来说,这些操作可由处理电路1302执行。
处理电路1302可适于处理捕捉到的图像以产生可随后发射或用于图像/对象辨别的局部特征描述符。举例来说,处理电路1302可包含或实施尺度空间产生器1320、特征/点检测器1326、所定向图像导数产生器定向图产生器1322、经平滑定向图产生器1324,和/或尺度空间上局部特征描述符产生器1328。尺度空间产生器1320可用以使图像与模糊函数(例如,高斯内核)卷积,以产生多个不同尺度空间,例如图8中所说明。特征/点检测器1326可接着识别图像的不同尺度空间中的一个或一个以上点(例如,通过使用局部最大值和最小值)。所定向图像导数产生器1330可接着取尺度空间的所定向导数以产生多个图像导数。定向图产生器1322可通过将剪切函数()+应用于图像导数的值来产生每一图像导数的定向图。经平滑定向图产生器1324接着进一步卷积每一定向图以获得对应的经平滑定向图。局部特征/点描述符产生器1328通过将经平滑定向图用于多个尺度空间来产生所关注的每一点的描述符(例如,Daisy描述符)(例如,图8、9和10中说说明)。移动装置1300可实施那些图中所描述的一个或一个以上特征和/或方法。
处理电路1302可接着讲一个或一个以上局部特征/点描述符存储在存储装置1308中,且/或还可经由无线通信接口1310(例如收发器或电路)通过通信网络1312将本地特征/点描述符发射到图像匹配服务器,其使用特征描述符来识别其中的图像或对象。就是说,图像匹配服务器可将特征描述符与其自己的特征描述符数据库进行比较,以确定其数据库中的任何图像是否具有相同特征。
图中所说明的组件、步骤、特征和/或函数中的一者或一者以上可重新布置且/或组合成单个组件、步骤、特征或函数,或在若干组件、步骤或函数中体现。还可在不脱离本文所揭示的新颖特征的情况下,添加额外元件、组件、步骤和/或函数。图中所说明的设备、装置和/或组件可经配置以执行另一图中所描述的方法、特征或步骤中的一者或一者以上。本文所描述的算法还可在软件中高效地实施且/或嵌入硬件中。
并且,注意,可将实施例描述为描绘为流程表、流程图、结构图或框图的过程。尽管流程表可将操作描述为顺序过程,但可并行或同时执行许多操作。另外,可重新布置操作的次序。过程在其操作完成时终止。过程可对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时,其终止对应于函数返回到调用函数或主函数。
此外,存储媒体可表示用于存储数据的一个或一个以上装置,包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置和/或其它用于存储信息的机器可读媒体、处理器可读媒体和/或计算机可读媒体。术语“机器可读媒体”、“计算机可读媒体”和/或“处理器可读媒体”可包含(但不限于)非暂时媒体,例如能够存储、含有或携载指令和/或数据的便携式或固定存储装置、光学存储装置以及各种其它媒体。因此,本文所述的各种方法可完全或部分地由可存储在“机器可读媒体”、“计算机可读媒体”和/或“处理器可读媒体”中且由一个或一个以上处理器、机器和/或装置执行的指令和/或数据实施。
此外,实施例可由硬件、软件、固件、中间件、微码或其任何组合实施。当在软件、固件、中间件或微码中实施时,用以执行必要任务的程序代码或代码段可存储在例如存储媒体或其它存储装置的机器可读媒体中。处理器可执行必要任务。代码段可表示规程、函数、子程序、程序、例程、子例程、模块、软件包、类,或指令、数据结构或程序语句的任一组合。代码段可通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可经由包括存储器共享、消息传递、权标传递、网络传输等的任何适当手段来传递、转发或传输。
可通过经设计以执行本文中所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑组件、离散门或晶体管逻辑、离散硬件组件,或其任何组合来实施或执行结合本文中所揭示的实施例而描述的各种说明性逻辑区块、模块、电路、元件和/或组件。通用处理器可为微处理器,但在替代方案中,处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算组件的组合,例如DSP与微处理器的组合、多个微处理器的组合、一个或一个以上微处理器结合一DSP核心,或任何其它此类配置。
结合本文所揭示的实例而描述的方法或算法可以处理单元、编程指令或其它指导的形式直接体现在硬件中、由处理器执行的软件模块中或两者的组合中,且可包含于单个装置中或分布在多个装置上。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。存储媒体可耦合到处理器,使得处理器可从存储媒体读取信息,且将信息写入到存储媒体。在替代方案中,存储媒体可与处理器成一体式。
所属领域的技术人员将进一步了解,可将结合本文中所揭示的实施例而描述的各种说明性逻辑区块、模块、电路和算法步骤实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性,上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。所述功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。
在不脱离本发明的情况下,可在不同系统中实施本文所述的本发明的各种特征。应注意,前述实施例仅为实例,且不应被解释为限制本发明。实施例的描述既定为说明性的,且不限制所附权利要求书的范围。因而,本发明的教示可容易地适用于其它类型的设备,且许多替代方案、修改及变化对于所属领域的技术人员来说将为显而易见的。

Claims (32)

1.一种用于产生图像的局部特征描述符的方法,其包括:
识别来自所述图像的具有相应尺度空间等级的多个图像尺度空间的第一图像尺度空间内的点;
获得所述多个图像尺度空间中的每一图像尺度空间的多个定向图;
使所述多个定向图中的每一者平滑以获得对应的多个经平滑定向图;以及
稀疏地对对应于来自所述多个图像尺度空间的两个或两个以上图像尺度空间的多个经平滑定向图进行取样,以产生所述点的局部特征描述符。
2.根据权利要求1所述的方法,其进一步包括:
使所述图像逐渐地平滑以获得所述多个图像尺度空间,其中对定向图进行所述平滑以获得经平滑定向图与所述定向图的图像尺度空间等级成比例。
3.根据权利要求1所述的方法,其进一步包括:
获得所述多个图像尺度空间中的每一者的多个图像导数,其中从对应图像导数的非负值获得所述多个定向图中的每一者。
4.根据权利要求1所述的方法,其中所述点是来自所述多个图像尺度空间内的位置子集的取样点。
5.根据权利要求4所述的方法,其中基于对象的模式选择所述位置子集。
6.根据权利要求4所述的方法,其中基于所述图像内的所识别关键点来选择所述位置子集,其中关键点是已识别为对成像条件的变化稳健的点。
7.根据权利要求1所述的方法,其中所述两个或两个以上图像尺度空间包含所述第一图像尺度空间以及分辨率低于所述第一图像尺度空间的一个或一个以上额外图像尺度空间。
8.根据权利要求1所述的方法,其中所述局部特征描述符具有由分布于所述点的中心上的取样点的空间汇集界定的内核汇集配置。
9.根据权利要求1所述的方法,其中稀疏地对多个经平滑定向图进行取样包含
对第一经平滑定向图上的第一多个点进行取样,所述第一多个点布置在与所述点的位置同心的第一环中;以及
对第二经平滑定向图上的第二多个点进行取样,所述第二多个点布置在与所述点的所述位置同心的第二环中,所述第二经平滑定向图对应于分辨率低于所述第一图像尺度空间的第二图像尺度空间。
10.根据权利要求9所述的方法,其中稀疏地对多个经平滑定向图进行取样进一步包含
对第三经平滑定向图上的第三多个点进行取样,所述第三多个点布置在与所述点的所述位置同心的第三环中,所述第三经平滑定向图对应于分辨率低于所述第一图像尺度空间的第三图像尺度空间。
11.根据权利要求10所述的方法,其中所述第二环具有大于所述第一环的第一半径的第二半径,且所述第三环具有大于所述第二环的所述第二半径的第三半径。
12.根据权利要求1所述的方法,其中每一图像尺度空间的所述多个定向图包含针对多个不同定向的定向图。
13.根据权利要求1所述的方法,其中每一定向图分解为单个对应的经平滑定向图。
14.根据权利要求1所述的方法,其进一步包括:
从所述多个经平滑定向图的所述稀疏取样建立所定向梯度的多个直方图,其中所述局部特征描述符包括所述多个直方图。
15.根据权利要求1所述的方法,其中使用同一平滑系数来平滑所述多个定向图,所述第一图像尺度空间为所述两个或两个以上图像尺度空间中的一者,且第二图像尺度空间经选择以实现相对于所述第一图像尺度空间的所要平滑。
16.一种图像处理装置,其包括:
输入接口,其适于获得图像;
存储装置,其用以存储一个或一个以上图像的局部特征描述符;
处理电路,其耦合到所述输入接口和所述存储装置,所述处理装置适于:
识别来自所述图像的具有相应尺度空间等级的多个图像尺度空间的第一图像尺度空间内的点;
获得所述多个图像尺度空间中的每一图像尺度空间的多个定向图;
使所述多个定向图中的每一者平滑以获得对应的多个经平滑定向图;以及
稀疏地对对应于来自所述多个图像尺度空间的两个或两个以上图像尺度空间的多个经平滑定向图进行取样,以产生所述点的局部特征描述符。
17.根据权利要求16所述的装置,其中所述两个或两个以上图像尺度空间包含所述第一图像尺度空间以及分辨率低于所述第一图像尺度空间的一个或一个以上额外图像尺度空间。
18.根据权利要求16所述的装置,其中所述处理装置进一步适于:
获得所述多个图像尺度空间中的每一者的多个图像导数,其中从对应图像导数的非负值获得所述多个定向图中的每一者。
19.根据权利要求16所述的装置,其中所述点是来自所述多个图像尺度空间内的位置子集的取样点。
20.根据权利要求16所述的装置,其中所述局部特征描述符具有由分布于所述点的中心上的取样点的空间汇集界定的内核汇集配置。
21.根据权利要求16所述的装置,其中稀疏地对多个经平滑定向图进行取样包含
对第一经平滑定向图上的第一多个点进行取样,所述第一多个点布置在与所述点的位置同心的第一环中;以及
对第二经平滑定向图上的第二多个点进行取样,所述第二多个点布置在与所述点的所述位置同心的第二环中,所述第二经平滑定向图对应于分辨率低于所述第一图像尺度空间的第二图像尺度空间。
22.根据权利要求21所述的装置,其中稀疏地对多个经平滑定向图进行取样进一步包含
对第三经平滑定向图上的第三多个点进行取样,所述第三多个点布置在与所述点的所述位置同心的第三环中,所述第三经平滑定向图对应于分辨率低于所述第一图像尺度空间的第三图像尺度空间。
23.根据权利要求16所述的装置,其中所述处理装置进一步适于:
从所述多个经平滑定向图的所述稀疏取样建立所定向梯度的多个直方图,其中所述局部特征描述符包括所述多个直方图。
24.根据权利要求16所述的装置,其中使用同一平滑系数来平滑所述多个定向图,所述第一图像尺度空间为所述两个或两个以上图像尺度空间中的一者,且第二图像尺度空间经选择以实现相对于所述第一图像尺度空间的所要平滑。
25.一种用于产生图像的局部特征描述符的图像处理装置,其包括:
用于识别来自所述图像的具有相应尺度空间等级的多个图像尺度空间的第一图像尺度空间内的点的装置;
用于获得所述多个图像尺度空间中的每一图像尺度空间的多个定向图的装置;
用于使所述多个定向图中的每一者平滑以获得对应的多个经平滑定向图的装置;以及
用于稀疏地对对应于来自所述多个图像尺度空间的两个或两个以上图像尺度空间的多个经平滑定向图进行取样以产生所述点的局部特征描述符的装置。
26.根据权利要求25所述的装置,其进一步包括:
用于获得所述多个图像尺度空间中的每一者的多个图像导数的装置,其中所述多个定向图中的每一者是从对应图像导数的非负值获得。
27.根据权利要求25所述的装置,其中所述点是来自所述多个图像尺度空间内的位置子集的取样点。
28.根据权利要求25所述的装置,其中所述两个或两个以上图像尺度空间包含所述第一图像尺度空间以及分辨率低于所述第一图像尺度空间的一个或一个以上额外图像尺度空间。
29.根据权利要求25所述的装置,其中所述局部特征描述符具有由分布于所述点的中心上的取样点的空间汇集界定的内核汇集配置。
30.根据权利要求25所述的装置,其中用于稀疏地对多个经平滑定向图进行取样的装置包含
用于对第一经平滑定向图上的第一多个点进行取样的装置,所述第一多个点布置在与所述点的位置同心的第一环中;以及
用于对第二经平滑定向图上的第二多个点进行取样的装置,所述第二多个点布置在与所述点的所述位置同心的第二环中,所述第二经平滑定向图对应于分辨率低于所述第一图像尺度空间的第二图像尺度空间。
31.根据权利要求30所述的装置,其中用于稀疏地对多个经平滑定向图进行取样的装置进一步包含
用于对第三经平滑定向图上的第三多个点进行取样的装置,所述第三多个点布置在与所述点的所述位置同心的第三环中,所述第三经平滑定向图对应于分辨率低于所述第一图像尺度空间的第三图像尺度空间。
32.根据权利要求25所述的装置,其进一步包括:
用于从所述多个经平滑定向图的所述稀疏取样建立所定向梯度的多个直方图的装置,其中所述局部特征描述符包括所述多个直方图。
CN201180019900.5A 2010-04-20 2011-04-20 从预先计算的尺度空间产生Daisy描述符 Expired - Fee Related CN102859535B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US32608710P 2010-04-20 2010-04-20
US61/326,087 2010-04-20
US41275910P 2010-11-11 2010-11-11
US61/412,759 2010-11-11
US13/090,180 2011-04-19
US13/090,180 US9530073B2 (en) 2010-04-20 2011-04-19 Efficient descriptor extraction over multiple levels of an image scale space
PCT/US2011/033316 WO2011133714A1 (en) 2010-04-20 2011-04-20 Daisy descriptor generation from precomputed scale - space

Publications (2)

Publication Number Publication Date
CN102859535A CN102859535A (zh) 2013-01-02
CN102859535B true CN102859535B (zh) 2016-04-06

Family

ID=44788244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180019900.5A Expired - Fee Related CN102859535B (zh) 2010-04-20 2011-04-20 从预先计算的尺度空间产生Daisy描述符

Country Status (6)

Country Link
US (1) US9530073B2 (zh)
EP (1) EP2561467A1 (zh)
JP (1) JP5602940B2 (zh)
KR (1) KR101470112B1 (zh)
CN (1) CN102859535B (zh)
WO (1) WO2011133714A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782708A (zh) 2009-12-02 2012-11-14 高通股份有限公司 用于图像辨识的描述符小块的快速子空间投影
US9530073B2 (en) * 2010-04-20 2016-12-27 Qualcomm Incorporated Efficient descriptor extraction over multiple levels of an image scale space
US8274508B2 (en) * 2011-02-14 2012-09-25 Mitsubishi Electric Research Laboratories, Inc. Method for representing objects with concentric ring signature descriptors for detecting 3D objects in range images
US9805282B2 (en) * 2011-11-18 2017-10-31 Nec Corporation Local feature descriptor extracting apparatus, method for extracting local feature descriptor, and program
ITTO20120602A1 (it) * 2012-07-09 2014-01-10 Sisvel Technology Srl Method for transforming an image descriptor based on a gradient histogram and relative image processing apparatus.
EP2767931A3 (en) * 2013-02-15 2016-06-29 Samsung Electronics Co., Ltd Electronic device and method of determining descriptor thereof
US20140238338A1 (en) 2013-02-22 2014-08-28 Hyundai Motor Company Variable compression engine
JP2014186520A (ja) * 2013-03-22 2014-10-02 Toshiba Corp 画像処理装置、画像処理方法およびプログラム
JP2014230251A (ja) * 2013-05-27 2014-12-08 ソニー株式会社 画像処理装置、および画像処理方法
GB2516037A (en) * 2013-07-08 2015-01-14 Univ Surrey Compact and robust signature for large scale visual search, retrieval and classification
ITMI20131244A1 (it) * 2013-07-24 2015-01-25 Telecom Italia Spa Identificazione di keypoint
JP6113018B2 (ja) * 2013-08-01 2017-04-12 セコム株式会社 対象検出装置
KR101491461B1 (ko) * 2013-08-02 2015-02-23 포항공과대학교 산학협력단 공분산 기술자를 이용하는 물체 인식 방법 및 장치
JP2015032211A (ja) * 2013-08-05 2015-02-16 株式会社東芝 画像処理装置、方法およびプログラム
US9129189B2 (en) 2013-08-14 2015-09-08 Qualcomm Incorporated Performing vocabulary-based visual search using multi-resolution feature descriptors
KR102018046B1 (ko) * 2014-02-24 2019-09-04 한국전자통신연구원 이미지 특징 추출 장치 및 방법
JP6448767B2 (ja) * 2014-04-24 2019-01-09 ナント・ホールデイングス・アイ・ピー・エル・エル・シー 画像物体認識におけるロバスト特徴特定
CN104008400A (zh) * 2014-06-16 2014-08-27 河南科技大学 结合sift和bp网络进行物体识别的方法
CN105224582B (zh) * 2014-07-03 2018-11-09 联想(北京)有限公司 信息处理方法和设备
CN104156696B (zh) * 2014-07-23 2017-04-12 华南理工大学 基于双方向图的快速局部不变特征描述子的构造方法
KR102302621B1 (ko) * 2015-03-09 2021-09-16 한국전자통신연구원 고차 라플라시안 오브 가우시안 커널을 이용한 이미지의 특징점 추출 장치 및 방법
US10839487B2 (en) * 2015-09-17 2020-11-17 Michael Edwin Stewart Methods and apparatus for enhancing optical images and parametric databases
US10592729B2 (en) * 2016-01-21 2020-03-17 Samsung Electronics Co., Ltd. Face detection method and apparatus
JP6873600B2 (ja) * 2016-03-04 2021-05-19 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
US11010630B2 (en) * 2017-04-27 2021-05-18 Washington University Systems and methods for detecting landmark pairs in images
GB2582072B (en) * 2018-04-05 2021-06-30 Imagination Tech Ltd Sampling for feature detection
GB2572756B (en) * 2018-04-05 2020-05-06 Imagination Tech Ltd Sampling for feature detection
US10769474B2 (en) * 2018-08-10 2020-09-08 Apple Inc. Keypoint detection circuit for processing image pyramid in recursive manner
US11189020B2 (en) 2019-02-06 2021-11-30 Thanh Phuoc Hong Systems and methods for keypoint detection
US11507105B2 (en) * 2019-06-27 2022-11-22 Sensable Inc. Method and system for using learning to generate metrics from computer vision-derived video data
CN112037128B (zh) * 2020-08-21 2023-11-03 苏州巨能图像检测技术有限公司 一种全景视频拼接方法
CN112215751A (zh) * 2020-10-13 2021-01-12 Oppo广东移动通信有限公司 图像缩放方法、图像缩放装置及终端设备
US20220171959A1 (en) * 2020-11-27 2022-06-02 Samsung Electronics Co., Ltd. Method and apparatus with image processing
US11475240B2 (en) * 2021-03-19 2022-10-18 Apple Inc. Configurable keypoint descriptor generation
KR20230017549A (ko) * 2021-07-28 2023-02-06 주식회사 넥스트칩 특징점에 대한 기술자를 생성하기 위한 전자 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975755B1 (en) * 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
CN101390108A (zh) * 2006-02-24 2009-03-18 索尼株式会社 用于执行基于小波的纹理特征提取和分级的系统和方法
EP2138978A2 (en) * 2008-06-27 2009-12-30 Palo Alto Research Center Incorporated System and method for finding stable keypoints in a picture image using localized scale space properties

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481621A (en) 1992-05-28 1996-01-02 Matsushita Electric Industrial Co., Ltd. Device and method for recognizing an image based on a feature indicating a relative positional relationship between patterns
US7194134B2 (en) 2001-01-02 2007-03-20 Microsoft Corporation Hierarchical, probabilistic, localized, semantic image classifier
US6678874B1 (en) 2001-11-28 2004-01-13 Unisys Corporation Computer-aided design (CAD) tool
US7054468B2 (en) 2001-12-03 2006-05-30 Honda Motor Co., Ltd. Face recognition using kernel fisherfaces
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
US7949186B2 (en) 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
EP1850270B1 (en) * 2006-04-28 2010-06-09 Toyota Motor Europe NV Robust interest point detector and descriptor
CN101536035B (zh) 2006-08-31 2012-09-26 公立大学法人大阪府立大学 图像识别方法、以及图像识别装置
US8363973B2 (en) * 2008-10-01 2013-01-29 Fuji Xerox Co., Ltd. Descriptor for image corresponding point matching
US8374442B2 (en) * 2008-11-19 2013-02-12 Nec Laboratories America, Inc. Linear spatial pyramid matching using sparse coding
US8315465B1 (en) * 2009-01-12 2012-11-20 Google Inc. Effective feature classification in images
DE102009022834A1 (de) * 2009-05-27 2010-12-09 Siemens Aktiengesellschaft Verfahren zur automatischen Analyse von Bilddaten einer Struktur
JP4844657B2 (ja) * 2009-07-31 2011-12-28 カシオ計算機株式会社 画像処理装置及び方法
US20120014578A1 (en) * 2010-07-19 2012-01-19 Qview Medical, Inc. Computer Aided Detection Of Abnormalities In Volumetric Breast Ultrasound Scans And User Interface
CN102782708A (zh) * 2009-12-02 2012-11-14 高通股份有限公司 用于图像辨识的描述符小块的快速子空间投影
EP2507744A2 (en) * 2009-12-02 2012-10-10 QUALCOMM Incorporated Feature matching by clustering detected keypoints in query and model images
US8798377B2 (en) * 2010-02-08 2014-08-05 Telefonica, S.A. Efficient scale-space extraction and description of interest points
US8948515B2 (en) * 2010-03-08 2015-02-03 Sightera Technologies Ltd. Method and system for classifying one or more images
US9189137B2 (en) * 2010-03-08 2015-11-17 Magisto Ltd. Method and system for browsing, searching and sharing of personal video by a non-parametric approach
US9639949B2 (en) * 2010-03-15 2017-05-02 Analog Devices, Inc. Edge orientation for second derivative edge detection methods
US9530073B2 (en) * 2010-04-20 2016-12-27 Qualcomm Incorporated Efficient descriptor extraction over multiple levels of an image scale space

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975755B1 (en) * 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
CN101390108A (zh) * 2006-02-24 2009-03-18 索尼株式会社 用于执行基于小波的纹理特征提取和分级的系统和方法
EP2138978A2 (en) * 2008-06-27 2009-12-30 Palo Alto Research Center Incorporated System and method for finding stable keypoints in a picture image using localized scale space properties

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A fast local descriptor for dense matching;tola e et al;《computer vision and pattern recognition》;isbn:978-1-4244-2242-5;20080623;第1-8页 *

Also Published As

Publication number Publication date
US9530073B2 (en) 2016-12-27
JP2013525905A (ja) 2013-06-20
CN102859535A (zh) 2013-01-02
EP2561467A1 (en) 2013-02-27
US20110255781A1 (en) 2011-10-20
JP5602940B2 (ja) 2014-10-08
KR20130019430A (ko) 2013-02-26
WO2011133714A1 (en) 2011-10-27
KR101470112B1 (ko) 2014-12-05

Similar Documents

Publication Publication Date Title
CN102859535B (zh) 从预先计算的尺度空间产生Daisy描述符
Kwon et al. Learning jpeg compression artifacts for image manipulation detection and localization
CN102763123B (zh) 通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配
CN102713938B (zh) 用于均匀和非均匀照明变化中的改善的特征检测的尺度空间正规化技术
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN102782708A (zh) 用于图像辨识的描述符小块的快速子空间投影
CN111667030B (zh) 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质
CN109829853A (zh) 一种无人机航拍图像拼接方法
CN104616247B (zh) 一种用于基于超像素sift航拍地图拼接的方法
Ghouaiel et al. Coupling ground-level panoramas and aerial imagery for change detection
Zhang et al. Automatic generation of synthetic datasets from a city digital twin for use in the instance segmentation of building facades
Andaló et al. Efficient height measurements in single images based on the detection of vanishing points
Lati et al. Robust aerial image mosaicing algorithm based on fuzzy outliers rejection
Kristollari et al. Change detection in VHR imagery with severe co-registration errors using deep learning: A comparative study
Cai et al. Improving CNN-based planar object detection with geometric prior knowledge
Park et al. Estimating the camera direction of a geotagged image using reference images
Maiwald A window to the past through modern urban environments: Developing a photogrammetric workflow for the orientation parameter estimation of historical images
US20230053952A1 (en) Method and apparatus for evaluating motion state of traffic tool, device, and medium
Said et al. Countries flags detection based on local context network and color features
Atik et al. An automatic image matching algorithm based on thin plate splines
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质
CN114140581A (zh) 一种自动建模方法、装置、计算机设备及存储介质
Meddeber et al. Efficient photometric and geometric stitching approach for remote sensing images based on wavelet transform and local invariant
Xu et al. Local Feature Matching Using Deep Learning: A Survey
Ahn et al. Research of panoramic image generation using IoT device with camera for cloud computing environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160406

Termination date: 20170420