CN104221031B - 将影像特征与参考特征相匹配之方法及其所用集成电路 - Google Patents

将影像特征与参考特征相匹配之方法及其所用集成电路 Download PDF

Info

Publication number
CN104221031B
CN104221031B CN201180076241.9A CN201180076241A CN104221031B CN 104221031 B CN104221031 B CN 104221031B CN 201180076241 A CN201180076241 A CN 201180076241A CN 104221031 B CN104221031 B CN 104221031B
Authority
CN
China
Prior art keywords
feature
descriptor
fixed reference
current signature
reference feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180076241.9A
Other languages
English (en)
Other versions
CN104221031A (zh
Inventor
诺柏特·史托费勒
彼得·米尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN104221031A publication Critical patent/CN104221031A/zh
Application granted granted Critical
Publication of CN104221031B publication Critical patent/CN104221031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features

Abstract

本发明是关于一种将影像特征与参考特征相匹配之方法，其包含以下步骤：提供由摄取装置摄取之当前影像；提供参考特征(r)，其中所述参考特征中之每一者包含至少一参考特征描述符(d(r))；决定该当前影像中之当前特征(c)及使所述当前特征中之每一者与至少一各自当前特征描述符(d(c))相关联；及借由决定每一各自当前特征描述符(d(c))与每一各自参考特征描述符(d(r))之间的各自相似性度量(D(c,r))来将所述当前特征与所述参考特征中之至少一些相匹配。根据本发明，决定相似性度量是在集成电路上由固线式逻辑组件或可组配逻辑组件执行，该固线式逻辑组件或可组配逻辑组件处理用以决定相似性度量之逻辑功能。本发明亦关于一种用于影像特征与参考特征之匹配的集成电路。

Description

将影像特征与参考特征相匹配之方法及其所用集成电路
技术领域
本发明是关于一种将影像特征与参考特征相匹配之方法，其包含以下步骤：提供由摄取装置摄取之当前影像；提供参考特征，其中所述参考特征中之每一者包含至少一参考特征描述符；决定该当前影像中之当前特征及使所述当前特征中之每一者与至少一各自当前特征描述符相关联；及借由决定每一各自当前特征描述符与每一各自参考特征描述符之间的各自相似性度量来将所述当前特征与所述参考特征相匹配。本发明亦关于一种用于影像特征与参考特征之匹配的集成电路。
背景技术
标准方法、局限及现有解决方案：
诸如在扩增实境应用及电脑视觉中处理由相机拍摄之影像的许多任务需要找到同一物件或场景之多个影像中对应于同一实体三维(3D)表面之点或特征。举例而言，在扩增实境中，主要问题是确定相机相对于世界的位置及定向(相机姿势(camera pose))。
初始化光学追踪(亦即，当没有来自先前帧(frame)之知识可获得时)之标准方法可分成三个主要构成区块：特征侦测、特征描述及特征匹配(参见图1)。如所属领域技术人员将理解，当没有来自先前帧之知识可获得时，其并不意味不允许来自非光学感测器(例如GPS或罗盘)之知识。特征侦测亦称为特征抽取。
首先，借助于具有高可重复性之方法来执行特征侦测以用于识别影像中之特征。换言之，该方法将针对不同视点、不同定向及/或照明设定来选择影像中对应于同一实体三维表面之部分作为特征(例如，局部特征描述符作为SIFT([1])、形状描述符([18])或所属领域技术人员已知的其他方法)。通常是在尺度空间中(亦即，按不同尺度)抽取特征。因此，除二维位置外，每一特征还具有可重复的尺度。另外，可重复的定向(旋转)是根据特征周围的区域中的像素之强度计算，例如，为强度梯度之主要方向。
其次，决定特征描述符以实现对特征的比较及匹配。常用方法使用特征之计算出的尺度及定向来转换特征描述符之坐标，其不随旋转及尺度而改变。举例而言，该描述符可为n维实数向量，此向量是借由串连局部影像强度(诸如梯度)之函数的直方图而构成(如[1]中)。
最后，一个重要的任务是特征匹配。已知在当前强度影像中侦测到并描述之当前特征，目标是找到所提供特征之集合中对应于同一实体三维表面之特征，所述所提供特征将被称为参考特征。最简单的特征匹配方法是借助于穷举搜寻来找到当前特征之描述符之最近邻居并选择相对应的参考特征作为匹配。更先进的方法使用描述符领域中之空间数据结构来加速匹配。不幸的是，还没有已知方法可以实现高维空间中的最近邻居搜寻，而能够显著快于穷举搜寻。因此，常用方法改为使用例如借由诸如kd树之空间分割数据结构来实现的近似最近邻居搜寻([1])。
图1(结合图2)示出将当前特征集合与参考特征集合相匹配之标准方法之流程图。在步骤S11中，提供由摄取装置拍摄之当前影像CI。下一步骤S12接着侦测并描述当前影像CI中之特征(可选的为：已根据估计模型特征位置作选择性抽取)，其中每个所得的当前特征c具有特征描述符d(c)及在相机影像cl中之二维位置。以下参考示范性实施更详细地阐述可用于特征侦测及描述之可能方法。在步骤S13中提供参考特征r之集合，所述参考特征各自具有描述符d(r)及在全球坐标系统中之(局部)位置及/或定向。可自参考影像或三维模型或关于物件(object)之其他信息抽取参考特征。请注意，在视觉搜寻及分类任务的情况下，在全球坐标系统中之位置及/或定向是可选的。在步骤S14中，将来自步骤S12之当前特征c与来自步骤S13之参考特征r相匹配。举例而言，针对每个当前特征，搜寻相对于某一距离度量具有最接近当前特征之描述符之描述符的参考特征。根据步骤S15，应用程序使用所述特征匹配，例如，以便在扩增实境应用中非常准确地估计摄取装置之位置及定向，该扩增实境应用将经空间配准(spatially registered)之虚拟三维物件整合到相机影像中。
标准方法之局限：
为了在不同环境中成功初始化追踪，灵活性很重要。例如，[1]中所描述之特征非常适用于纹理化的环境。在纹理很少的环境中，或在纹理改变(例如，汽车表层的外观取决于其环境及相机位置而剧烈改变)的情况下，如[1]中之特征具有很大难度。如[18]中所描述之特征更适合于非纹理化的环境。因此，经常调适并改变特征侦测及特征描述演算法，以便更好地适合特殊任务。
随着参考特征之数目增长，匹配单一当前特征所用之时间增加，因硬件的局限性导致有时不能进行实时处理。此外，特征描述符之独特性随着参考特征之数目增长而减小，此又限制了匹配品质并显著影响稳健性。
已提议之解决方案：
存在基于充当参考特征的地理参考(geo-referenced)局部影像特征之集合的不同方法。这些方法的假设为，若摄取装置之位置大致已知，则唯有位于摄取装置附近的那些参考特征可能是可见的。换言之，所述方法旨在减少参考特征之间的潜在匹配之数目。举例而言，已提议使用感测器数据(例如，GPS定位)来使搜寻区域变窄且针对每个空间区域使用预先建置之字汇树(vocabulary tree)之集合在此搜寻区域中找到最佳匹配影像之方法([2]、[4])。另外，在使用单一整体字汇树且在特征匹配评分程序中预先并入GPS位置时达成更好的结果([4])。[5]之方法使用GPS获得装置之粗略位置，以用于在室外扩增实境系统中初始化视觉追踪。已知此位置，以粗略GPS测量结果周围的数个位置样本处的受限相机位置执行初始化，直至初始化成功。在另一种方法中，使用差分GPS/IMU硬件模型与卡尔曼滤波器中之气压高度测量结果的组合，以便改良装置之三维单位估计的准确度([7])。[8]之方法使用潜在可见集合(PVS)，因而不仅考虑到特征之空间接近度而且考虑到可见度约束。提到用GPS进行的粗略定位以用于在室外应用中撷取PVS。
[3]之视觉惯性追踪方法应用惯性感测器来测量相机自先前帧至当前帧的相对移动。此知识用于为逐个帧进行追踪之特征预测位置且在影像空间中定义二维搜寻空间。因为该技术仅使用相对相机转换之测量，所以其仅适合于初始化相机姿势追踪或视觉搜寻任务。
上述方法均未提出借由在硬件上加速视觉演算法来提升速度及效能。
考虑视觉演算法之硬件加速的典型方法使特征侦测及特征描述最佳化，而特征匹配仍然实施于软件中。举例而言，在[13]中，匹配仍在软件中，而特征侦测及描述在硬件上得以最佳化：「自章节II可看出，用于影像匹配程序之最佳化SIFT演算法由五个阶段组成：1)高斯金字塔建构。2)DoG空间建构及特征识别。3)梯度及定向直方图产生。4)特征描述符产生。5)影像匹配。考虑到Xilinx FPGA嵌入式系统之本质，已针对FPGA实施采用类似于[6]之最高层级系统分割。更具体而言，将前三个阶段以名为SIFT特征侦测模组之硬件核心来实施，而认为使用Xilinx MicroBlaze软件处理器将后两个阶段以名为SIFT特征产生及影像匹配模组之软件模组来实施」。上述情形同样适用于[14]。请注意，[6]论述了高匹配处理时间的问题(称为关联)，但并未提议建置特殊硬件区块来解决此问题。相反地，他们提议借由在更快的通用处理器上运行其软件解决方案来加速其软件解决方案。
借助于硬件加速来加速影像处理的另一实例揭示于[17]中。作者论述了许多视觉追踪演算法并非全部可易于实施于FPGA上。他们使自己明确限于不需要复杂的浮点计算之技术，以便使FPGA上使用之区域最小化。他们选择加速影像处理：「有许多不同的视觉追踪演算法，但所述演算法并非全部可易于实施于FPGA上。我们已经避免使用需要复杂的浮点计算之技术，以便使FPGA上使用之区域最小化。我们发现可使用很少的门来执行分段。」
因此，提供一种在执行视觉计算任务时以减少之处理及功率需求实现更高效能及更高演算法灵活性的方法将是有益的。特定言之，该方法应不仅实现更快的匹配程序，而且借由利用额外的提示改良匹配品质。
发明内容
根据本发明之一态样，一种将影像特征与参考特征相匹配之方法包含以下步骤：提供由摄取装置摄取之当前影像；提供参考特征，其中所述参考特征中之每一者包含至少一参考特征描述符；决定该当前影像中之当前特征及使所述当前特征中之每一者与至少一各自当前特征描述符相关联；及借由决定每一各自当前特征描述符与每一各自参考特征描述符之间的各自相似性度量来将所述当前特征与所述参考特征中之至少一些相匹配，决定该相似性度量是在集成电路上由固线式逻辑组件或可组配逻辑组件执行，该固线式逻辑组件或可组配逻辑组件处理用于决定相似性度量之逻辑功能。
根据本发明，就视觉计算任务如何可借由在硬件中实施专用部件得以最佳化且更稳健地实时运行，提议一种新方法。选择最有用的构成区块及调适软件以利用该最佳化不仅仅是新的，而且极具创造性，从而以减少之处理及功率需求实现更高效能。另一方面，大部分上述方法使用硬件加速，其适用于大大降低了关于所用特征之系统灵活性的特征抽取及特征描述符建置。同时，所述方法并未在描述符层级上加速匹配程序。此外，归因于如上所述之灵活性需求(纹理化环境、非纹理化环境等)，仍经常采用并改变用于特征侦测及特征描述之演算法且所述演算法表现出广泛的多样性。
本发明之另一作用是基于预先得知的数据(参考特征)改良光学追踪系统之初始化，以便以减少之处理及功率需求实现更高效能。
根据本发明之另一态样，提供有一种用于影像特征与参考特征的匹配之集成电路，其包含：用于接收各自当前特征之数个当前特征描述符之接口，所述当前特征是自由摄取装置摄取之当前影像获得；用于接收各自参考特征之数个参考特征描述符之接口；及逻辑电路，该逻辑电路用于决定每一各自当前特征描述符与每一各自参考特征描述符之间的各自相似性度量以便将所述当前特征与所述参考特征相匹配，其中该逻辑电路包含固线式逻辑组件或可组配逻辑组件，该固线式逻辑组件或可组配逻辑组件处理用于决定相似性度量之逻辑功能。
在一较佳实施例中，我们的方法实施于专用硬件区块上且并非由通用处理器执行。该硬件区块当然可为与通用处理器相同的集成电路(亦称为硅或芯片)之部分。
在一较佳实施例中，该专用硬件区块是一非可编程单元，其中可编程是指执行通用指令之动态序列。
在一较佳实施例中，当前影像可为强度影像或深度影像。
当我们在本揭示内容全篇中提到强度影像时，我们指表示自环境反射的不同量之光的影像，其主要取决于环境的材料及光情形。强度影像可以不同位的解析度(8位或高动态范围)将强度编码于一个(例如灰阶)或一个以上通道(例如RGB，即，红-绿-蓝)中。
有若干方法可能提供深度影像或稀疏深度信息，该信息包含影像中的元素(例如像素或特征)之深度，该影像可在以下段落中将描述的根据本发明之匹配程序中使用。
根据决定强度影像中之至少一元素之深度的一实施例，具有已知相对位置及/或定向之至少两个摄取装置各自摄取各自强度影像，其中在所述影像中找到对应，且所述摄取装置之相对位置及/或定向用来计算所述强度影像中之至少一元素之深度，该深度是所述对应中之至少一者的部分。在此情况下，匹配程序将在两个一般步骤中进行。首先，将当前帧1与当前帧2之特征相匹配，以便根据摄取装置1与2之间的给定姿势计算其深度信息。在后一步骤中，接着将当前特征与参考特征相匹配，其中在匹配程序期间利用深度信息或导出的位置信息。
根据决定强度影像中之至少一元素之深度的另一实施例，至少一摄取装置在不同时间点自不同位置摄取强度影像，其中在不同影像中找到对应，且在不同影像之间该摄取装置之相对位置及/或定向及所述对应之结构得以恢复且用来计算所述强度影像中之至少一元素之深度，该深度是所述对应中之至少一者的部分。如在以上情况下一样，匹配同样可在若干程序中进行，即，将最近的影像特征彼此相匹配及接着在与较早的参考特征之匹配程序中并入额外信息。
根据决定强度影像中之至少一元素之深度的另一实施例，提供有强度影像之至少一数据库，其中针对所述强度影像中之每一者，已知总深度、或至少一影像区域之深度、或一或多个像素之深度，且将由摄取装置摄取之强度影像(当前强度影像)与此数据库相匹配。匹配结果用来计算当前强度影像中之至少一元素之深度。
根据决定强度影像中之至少一元素之深度的另一实施例，提供有环境模型及关于在摄取该强度影像时该摄取装置相对于该环境模型之位置及/或定位(其可为初始估计)的信息，其中该环境模型及关于该摄取装置之位置及/或定位的信息得以组合并用来计算该强度影像中之至少一元件之深度或位置估计。
根据决定强度影像中之至少一元素之深度的另一实施例，提供有至少一感测器，用于撷取深度信息或范围数据及该至少一感测器相对于摄取装置之至少一相对位置及/或定向，其中该深度信息或范围数据用来计算该强度影像中之至少一元件之深度。较佳地，已知感测器及摄取装置两者之姿势(位置及定向)及本质参数。
当然，此程序亦可以反复方式实施，其中使用初始位置估计来与参考特征相匹配及计算第一姿势，使用该第一姿势来细化当前特征位置及开始另一匹配程序。
根据一实施例，参考特征是自至少一参考影像抽取，该至少一参考影像已由不同于该摄取装置之第二摄取装置记录。根据一实施例，该至少一参考影像之摄取时间比当前影像之摄取时间早至少一天。
举例而言，可使用距离度量作为根据本发明之相似性度量。根据一实施例，本发明之方法可包括借由比较距离度量与至少一各自临界值来决定至少一各自检验参数，其中该检验参数是用作判定是否执行匹配或影响距离度量之准则。若执行匹配，则在匹配程序中使用各自所决定之相似性度量。
根据本发明之一实施例，用于决定各自距离度量或其部分及各自检验参数(如以下更详细阐述)之计算是在集成电路上以流水线方式平行执行。举例而言，集成电路之时脉信号之每个时脉循环计算一个各自距离度量及/或检验参数。
在本发明之一态样中，在决定各自相似性度量后，该方法进一步包含储存直至此时已决定之相似性度量中之最相似的相似性度量及第二最相似的相似性度量，及与该最相似的相似性度量相关联之各自当前特征描述符之索引。
根据一实施例，比较最相似的相似性度量与第二最相似的相似性度量之衍生值，其中若此比较满足预定条件，则提供该最相似的相似性度量及第二最相似的相似性度量、该索引及相关联之参考特征描述符以用于进一步处理。
该方法可进一步包含：决定计算出之距离度量中之最低的距离度量，及储存已针对其决定该最低的距离度量之各自当前特征描述符之索引。
根据一态样，该方法可进一步包括将当前特征描述符储存于集成电路之记忆体(诸如SRAM)上，所述当前特征描述符是在无需等待状态的情况下自该记忆体撷取。
根据一实施例，该方法进一步包含以下步骤：使当前特征中之每一者与至少一当前特征描述符向量相关联，其中参考特征中之每一者包含至少一参考特征描述符向量；及计算参考特征之参考特征描述符向量中之每一者与当前特征之当前特征描述符向量中之每一者之间的各自相似性度量。
在一可能实施中，将当前影像之至少一像素设定为当前影像中之各自当前特征，即，影像之每个像素可表示特征。
根据本发明之一实施例，对影像之不同解析度运行该方法。
根据本发明之一实施例，第一特征抽取程序可用来抽取第一当前特征集合且针对该第一当前特征集合建置第一当前特征描述符集合，且第二特征抽取程序可用来抽取第二当前特征集合且针对该第二当前特征集合建置第二当前特征描述符集合，其中第一特征抽取程序与第二特征抽取程序或第一特征描述符产生程序与第二特征描述符产生程序彼此不同，且第一与第二当前特征描述符集合之特征匹配程序是由固线式逻辑组件或可组配逻辑组件执行。第一集合与第二集合之匹配程序是彼此独立地由固线式逻辑组件执行。图3示出总程序，其中1..n表示不同的特征抽取方法，1..m表示不同的特征描述符程序且将不同的所得描述符集合相匹配。
在另一态样中，该方法可包含：在分类的情况下，在特征匹配后执行几何验证以移除错误的特征匹配或移除误判(false positive)。
根据本发明之一实施例，该方法可进一步包含：提供参考特征集合之步骤，其中所述参考特征中之每一者包含至少一第一参数，该至少一第一参数至少部分地指示该参考特征相对于全球坐标系统之位置及/或定向，其中该全球坐标系统是地球坐标系统或物件坐标系统，或该至少一第一参数至少部分地指示该参考特征相对于海拔之位置；使各自当前特征与至少一第二参数相关联之步骤，该至少一第二参数至少部分地指示该当前特征相对于全球坐标系统之位置及/或定向，或该至少一第二参数至少部分地指示该当前特征相对于海拔之位置；及借由决定该至少一第一参数与该至少一第二参数之间的相似性度量将该当前特征与该参考特征集合之所述参考特征中之至少一者相匹配之步骤。
举例而言，该方法可包括在匹配各自当前特征时以该参考特征集合内之减少数目个参考特征来定义搜寻空间之步骤，其中该搜寻空间是基于该至少一第二参数来决定。
根据一实施例，该方法可包括考虑特征抽取程序之指示符(例如由特征抽取程序产生之正负号)之步骤。举例而言，在特征抽取期间，SURF特征之正负号对应于高斯拉普拉斯算子(Laplacian)之正负号。
根据本发明之一实施例，在用于建构特征描述符之方法中，自影像抽取特征点以获得呈二维描述(参数a0,a1)形式的特征点。且使用由追踪系统提供之关于摄取装置之定向的空间信息来针对所抽取特征点计算特征定向(参数b0,b1,b2)。举例而言，追踪系统将摄取装置相对于世界坐标系统之定向提供为Euler角度，且特征描述符应该与重力对准。针对所有特征获得定向之一种很简单的方法为：首先使用Euler角度将重力转换至关联于摄取装置之坐标系统，且接着将其投影至影像平面上。进而计算影像中之重力的方向且将其用于影像中之所有特征。此技术假设正交投影，而通常并非如此。并入相机之本质参数放松了此假设，但基于二维影像之所有技术仍假设影像中可见之一切均位于一平面上且因此是近似法。根据本发明之一实施例，基于相邻像素的像素强度计算且储存至少一特征相对于共同坐标系统之一或多个方向。在匹配阶段中，仅匹配相对于共同坐标系统具有类似方向之特征以减少所需比较之数目且降低错误匹配之比率。
根据本发明之一态样，当前特征描述符或参考特征描述符中之至少一者是物件之较高层级描述，从而使其不随尺度及/或旋转及/或光而改变。
根据本发明之实施例，该方法亦可包括侦测及描述来自强度影像之特征的方法，其不随由摄取装置与物件之间的距离产生的尺度而改变，但对于多种应用对物件之真实(实体)尺度敏感。因此提议利用强度影像中之元素(例如像素)的深度在强度影像中之该特定元素(像素)处进行特征侦测及/或描述。因此，可在真实(实体)尺度上侦测并描述特征，从而提供与关于强度影像之标准的尺度不变特征描述符相比得以改良之独特性，而不会引入对相机移动的任何约束。在一实施例中，该方法可包含以下步骤：提供由相机摄取之强度影像；提供用于在侦测该强度影像中之至少一特征之特征侦测程序中决定该强度影像中之至少一元素之深度的方法，其中借由在某一尺度上处理该强度影像之影像强度信息来执行特征侦测，该尺度取决于该强度影像中之至少一元素之深度；及提供至少一侦测到之特征的特征描述符。
根据本发明之一实施例，该方法可进一步包含以下步骤：提供摄取装置在全球坐标系统中之位置及定向之测量结果；根据该测量结果确定摄取装置之姿势；提供环境之三维模型，其中该姿势结合该三维模型用来计算强度影像中之特征之至少一元素的深度，例如，此是借助于投射自摄取装置中心穿过该特征进入该三维模型之虚拟射线。
可借由GPS感测器/接收器、IR或RFID三角测量法，或借助于定位方法使用宽频或无线基础结构来提供摄取装置在全球坐标系统中之位置的测量结果。可借由惯性感测器、加速度计、陀螺仪、罗盘或者机械、电磁、声学或光学追踪系统中之至少一者提供摄取装置在全球坐标系统中之定向的测量结果。在本发明之上下文中，惯性感测器可借由使用以下各者之任何组合来例如不断提供包括物件或装置相对于环境之位置及/或定向的感测器信息：磁力计(例如罗盘)、运动感测器/旋转感测器(加速度计/陀螺仪)、重力感测器及提供此信息之其他感测器。
附图说明
将参考以下诸图进一步描述本发明之实施例，其中：
图1示出将当前特征集合与参考特征集合相匹配之标准方法之流程图，
图2是用于结合图1来说明特征之侦测、描述及匹配的描述，
图3描述特征匹配程序之实施例及其借助于图形处理单元(GPU)之可能应用，
图4示出应用根据本发明之一实施例之方法的示范性场景，
图5示出根据本发明之一实施例之在匹配程序中之决定相似性度量在集成电路上之一可能实施，
图6描绘根据本发明之一实施例之在匹配程序中之决定相似性度量在集成电路上之另一可能实施，
图7示出如参考图5及图6所描述之程序之大致工作流程的流程图，
图8示出的图有关于在匹配程序中的字汇树对最佳分格最先的效能，
图9示出根据本发明之一实施例之用于光学姿势估计的深度抽取机制与实体尺度特征描述符之可能组合之流程图，
图10描绘根据本发明之另一实施例之方法的流程图，其中在匹配前检验特征是否可在理论上适合。
具体实施方式
开头已简要介绍一种初始化程序且在图1中示出该程序。在初始化程序所用时间及初始化之成功率方面可测得改良。在行动系统上，功率消耗是另一重要方面。借由明智选择初始化程序之最有用的构成区块来实施于硬件中且借由相应地调适软件以便利用该最佳化，本发明提出了一种新方法。
观察自特征侦测、特征描述至特征匹配的程序链，所有初始化程序的共同之处在于匹配程序。在此程序中，将来自先前所记录之物件的特征与来自当前相机影像的特征相匹配。此外，与特征抽取及特征描述相比，匹配演算法并不需要不断的且频繁的采用及改变。
借此，本发明之方法不仅改良时间及功率消耗，而且允许演算法之成功率得以改良。另外，珍贵的芯片尺寸并未浪费在不断改变演算法上。采用本发明得出重大改良，同时仅使用小的芯片区域且在信息抽取程序中保持灵活性。
根据较佳实施例，有可能将物件分类(视觉搜寻程序)(这是将当前影像与先前已产生之类别描述相匹配的程序)，或者匹配单独的特征(特征匹配程序)，所述特征可用来运行姿势最佳化程序。记住，视觉搜寻可基于每个影像匹配若干特征。同时，整个影像可为一特征。两种方法均受本发明支援。
类别描述可与相机姿势相关联且亦可用来产生初始相机姿势估计。
根据本发明，视觉搜寻程序及特征匹配程序均可适用于存在于数据库及存在于当前影像中之不同的特征及特征描述符。在该情况下，借由硬件单元在两个独立的运行中使用不同的特征抽取及/或特征描述方法来抽取不同特征且将其匹配(如图3中所指示)。举例而言，首先抽取并匹配SIFT特征，接着抽取并匹配SURF特征。
图3描述类似于上文参考图1所描述的特征匹配程序，及将该匹配应用于姿势估计，从而呈现三维物件及画出背景影像。该呈现及画出背景影像是在图形处理器单元(GPU)上进行。
本发明之一优点为，有可能省去以前必要的处理步骤或以完全不同的有利组态来运行所述处理步骤。举例而言，可省略或省去特征抽取程序，从而产生很高数目个描述符。相反地，可选择每个像素或很高数目个随机选择之像素作为描述符中心。在此情况下，根据本发明，每一像素或所述所选像素中之每一者将被视为特征。代替选择随机像素，可使用网格来抽取描述符中心，例如，一条线之每10个像素抽取一次，其中每10个像素行分析一次。要匹配之特征(每个影像约10.000个特征)的大幅度增加导致几千个影像之测试数据库上成功的初始化增加了76％。
加速匹配避免了不得不建置高效匹配结构，例如字汇树，其无法提供更好的结果且仅仅是出于效能原因而建置。图8示出当使用分别具有5个分支(b)及5个层级(L)或6个分支及6个层级的字汇树(Voc)或具有已定义之最小数目10个匹配的最佳方格最先(BBF)方法时的效能比较(借由每个类别得以正确追踪之参考影像的百分比来指示)。BBF方法可被视为穷举搜寻的近似法。字汇树的另一主要缺点为，其将仅传回类别，而不传回单独的特征对应，所述特征对应是计算准确的相机姿势所必要的。
在应用于许多特征时避免错误匹配之措施为，增加用于初始化之PROSAC([11])反复之数目(高于5000)并引入额外的合理性检验(基于几何验证)。
有利的是，在该程序期间可测试特征对是否可在理论上适合。这可借由对照参考特征之已配准位置检验当前特征之估计位置来达成。根据本发明之此态样，提议借由考虑其在世界坐标(或全球坐标)中的位置之(局部)知识而使搜寻空间变窄或影响用于匹配由摄取装置拍摄之当前影像之影像特征的距离度量。全球坐标系统可为地球坐标系统或物件坐标系统(例如，建筑物或产品包装或汽车)，其具有与地球重力有关之固定的海拔或固定的定向。因为可决定之特征的位置的自由度很大程度上取决于关于摄取装置之位置及定向的可获得信息，所以下文参考图4及图10更具体地阐释本发明之态样之不同的示范性实施。
本发明之另一态样为是考虑特征抽取程序之指示符，例如由SURF特征抽取程序产生之正负号(正或负的高斯拉普拉斯算子)。
本发明之另一态样不仅考虑了两个特征描述符之间的最小距离，而且考虑了最小距离与第二最佳距离之间的距离。特定言之，若第二最佳距离乘以小于0,9之纯量因数大于最佳匹配之距离，则将两个描述符视为匹配。此避免了误判(错误匹配之特征)的发生，误判将导致错误的分类或导致姿势估计中的问题。
在本发明之另一态样中，将当前影像之所有当前特征彼此相匹配，从而移除彼此非常类似的特征(距离度量低于某一临界值)。接着将当前特征之经过滤集合与参考特征相匹配。
本发明之另一态样允许经反复最近点(ICP)方法对三维模型的高效匹配或对准。
在点云集合上运行之标准ICP适用于以下步骤：
1.使用穷举搜寻或使用基于树的搜寻来计算最近点(需要设定最大搜寻半径)；
2.已知最近点对应，估计姿势；
3.已知估计姿势，转换点云中之一者；
4.若估计姿势小于临界值，则结束该程序，否则返回至步骤1。
在此方法中，必须测试三维空间中两个点之间的许多距离，以便找到最近距离。因为引擎是建置得足够灵活而将计算出之特征距离不仅定义为描述符之间的距离，而且定义为三维位置之估计距离，所以可加速纯ICP或与三维描述符耦合之ICP。演算法可将数个当前三维点传递至引擎且将其与更高数目个参考点相匹配，所述参考点是例如借由定义最大搜寻半径而在当前三维点附近选择的。
本发明很适合于物件分类。本发明亦很适合于相机姿势初始化，其中没有关于物件相对于相机之姿势的先前知识可用或此先前知识不完整。
特征侦测：
特征是影像中之显著元素，其可为点、线、曲线、相连区域或像素之任何其他集合。此外，根据本发明，可将像素、影像之所有像素或所选像素集合中之每一者定义为特征。
特征侦测演算法通常为显著性侦测程序。举例而言，其找到线、边缘或微分算子之局部极值。在文献中，此区域被称为特征侦测程序之取样窗口或测量孔径(aperture)。将回应最终定限以决定哪些元素是特征而哪些不是。为了在某一尺度上抽取特征，在计算特征侦测程序之回应前可相应地按比例缩放取样窗口或按比例缩放影像。接着将特征之尺寸定义为用来侦测该特征之取样窗口之尺寸。
关键点侦测方法之常见实例包括拉高斯拉普拉斯算子(LoG)、高斯差(DoG)、海赛行列式(DoH)、最大稳定极值区域(MSER)、哈里斯特征或基于学习的角点侦测程序(诸如FAST)。
针对本发明，三维特征亦表示可能的数据来源。可借由许多方法(例如，识别局部极值)自深度影像或三维模型抽取三维特征。
在本发明之一态样中，整个影像亦可被视为特征。
在本发明之另一态样中，3D数据和强度数据的组合可被用来作为输入数据，例如[19]中所描述的。
特征/影像描述：
抽取之视觉特征(特征点、边缘、角点、局部极值等)需可重复，此意味：尽管视点(定向、尺度等)、照明条件及/或影像杂讯不同，但仍应该可能进行对所述特征之抽取。
匹配程序由找到自两个或两个以上影像抽取之至少一相对应的视觉特征组成。其常常需要产生允许相对于某一相似性或距离度量以类似方式来描述不同影像中之相同实体特征的描述符。[21]中提供某些特征点描述符之综述或比较。一旦产生了针对每个所抽取特征之一个或多个描述符，则根据相似性或距离度量对其进行匹配：使用最近描述符或基于[1]之比率测试给查询影像中之每个特征指派一匹配。
[18]描述了表示局部影像形状及其空间配置之描述符以及空间金字塔核。
[20]描述了基于特征之空间关系的描述符，此亦为一种可能性。该方法为，在集合Pn中选择点X之n个最近邻居。自Pm选择m<n个点。基于m中之f个点(对于交叉比率，f＝5，而对于仿射不变量，f＝4)，计算所有可能的不变量。仿射不变量是两个三角区域之间的比率：A(a,c,d)/A(a,b,c)。透视不变量是三角区域之交叉比率：(A(a,b,c)*A(a,d,e))/(A(a,b,d)*A(a,c,e))。在[20]中，使用散列程序来匹配特征，而使用我们的引擎，则可省去该程序。
[15]对用于匹配之三维描述符及基于深度影像之描述符进行全面综述。
对于本发明，总的来说，描述符可有利地为自二维影像或二维影像之部分或三维数据导出之向量，其不仅仅是借由将像素转换至不同的色空间中或正规化所述像素的值而产生的。在本发明之另一态样中，描述符是自像素、形状或深度值之直方图、统计数据或相对关系导出的。
匹配程序：
匹配程序是本发明之解决方案之关键构成区块。图5中示出根据一实施例之可能配置。图7中示出可能的程序图。根据一实施例，其组合了以下计算：
举例而言，可使用距离度量作为根据本发明之相似性度量。D(c,r)描述根据本发明之在两个描述符之间的一有利距离度量。特定言之，D(c,r)描述在当前特征c之当前特征描述符d(c)与参考特征r之参考特征描述符d(r)之间的距离度量。举例而言，如上文参考图1所描述，分别决定并提供当前特征c及参考特征r及其特征描述符d(c)及d(r)。
通常可决定在包括各自当前特征描述符d(c)之各自当前特征c之一或多个性质与包括各自参考特征描述符d(r)之各自参考特征r之一或多个性质之间的各自距离度量D(c,r)。
本发明之方法可包括决定在每一各自当前特征描述符d(c)与每一各自参考特征描述符d(r)之间的各自第一距离度量Δd以用于决定相似性度量D(c,r)。
根据一实施例，本发明之方法可包括决定在共同坐标系统中在当前影像中的各自当前特征描述符d(c)之位置信息x(c)及/或y(c)与各自参考特征描述符d(r)之各自位置信息x(r)、y(r)之间的各自第二距离度量(此处为Δx及/或Δy)以用于决定相似性度量D(c,r)。举例而言，可将此计算为在由d(c)描述之各自当前特征之三维位置信息x(c)与由d(r)描述之各自参考特征之三维位置信息x(r)之间的欧几里得距离。
根据另一实施例，本发明之方法可包括决定各自第三距离度量Δz以用于决定相似性度量D(c,r)，该各自第三距离度量指示在共同坐标系统中在当前影像中的各自当前特征描述符d(c)之位置信息z(c)与各自参考特征描述符d(r)之位置信息z(r)之间的角度。举例而言，可将此计算为在由相机中心及各自当前特征之三维位置信息定义的第一向量z(c)与由相机中心及各自参考特征之三维位置信息定义的第二向量z(r)之间的纯量乘积。
在另一实施例中，Δz可指示在相对于全球坐标系统之相机定向与特征之各自方向性质之间的角度，例如，该方向性质是由该特征所在之已知表面之表面法线导出。
根据另一实施例，本发明之方法可包括决定在当前影像中的各自当前特征描述符d(c)之纯量性质u(c)及/或v(c)与各自参考特征描述符d(r)之各自纯量性质u(r)、v(r)之间的各自第四距离度量(此处为Δu及/或Δv)以用于决定相似性度量D(c,r)。举例而言，可根据SURF(正或负的高斯拉普拉斯算子)计算此度量。
根据另一实施例，本发明之方法可包括，借由将各自第一、第二、第三及第四距离度量中之至少一者与各自第一、第二、第三及第四距离度量中之至少另一者相组合来决定各自组合式距离度量D(c,r)以用于决定各自相似性度量。
举例而言，D(c,r)可为Δu、Δv、Δx、Δy、Δz及/或Δd之组合。
P(c,r)描述本发明之匹配程序之另一有利的可选部分。其可用于检验是否应该匹配两个描述符。此主要有助于避免错误的匹配。取决于给定之临界值，P检验是否满足特定条件。
根据一实施例，本发明之方法可包括决定检验参数P，计算该检验参数P以判定具有当前特征中之一者及参考特征中之一者的特征对c,r是否有资格作为有效匹配。
根据一实施例，本发明之方法可包括，借由比较各自第二距离度量Δx及/或Δy、第三距离度量Δz及第四距离度量Δu、Δv中之至少一者与至少一各自临界值来决定至少一各自检验参数P(c,r)，其中该检验参数P(c,r)用来判定具有当前特征中之一者及参考特征中之一者的特征对c,r是否有资格作为有效匹配。
举例而言，该方法可进一步包括加权重于各自当前特征c及参考特征r中之至少一者，或在所述性质中之一或多者之间的距离度量中之至少一者。此外，该方法可包括在决定组合式距离度量D(c,r)时加权重于第一、第二、第三及/或第四距离度量中之至少一者。
特定言之，可为上述分量中之每一者提供一权重(诸如wu、wv、wx等)，该权重取决于系统可获得之信息。此处所用之信息可为来自特征抽取程序之信息或为当前特征在全球坐标系统或相机坐标系统中之位置(例如，对于利用极线几何约束的立体匹配)。若无法获得此种信息，则可将公式D(c,r)中之各自权重设定为零或某一值，例如取决于信息之不确定性(uncertainty)。若给出的或可获得的关于Δu、Δv、Δx、Δy、Δz之信息不完整，或没有关于Δu、Δv、Δx、Δy、Δz之信息给出或可获得，则可将临界值设定为很高值或按比例缩放，取决于不确定性信息。
根据一实施例，如上所述之距离度量D(c,r)之各部分(诸如Δu、Δv、Δx、Δy、Δz及Δd)可如以下方式来决定：
Δu＝(u(c)-u(r))2
Δv＝|v(c)-v(r)|
特征描述符之给定长度48应理解为实施例之可能实施而不应理解为会限制本发明。当然可使该长度更长或更短。可计算并考虑类似的、其他或额外类型之距离度量。
根据本发明之实施例，如以上公式中所陈述，计算各自距离度量可包含计算差和(sum-of-differences)或者平方差和(sum-of-square-differences)以用于决定各自长度或维度(i)上的各自距离度量。
根据一实施例，检验参数P(c,r)及距离度量D(c,r)可如以下方式来决定：
P(c，r)＝Δu＜θu∧Δv＜θv∧Δx＜θx∧Δy＜θy∧Δz＞θz
D(c，r)＝wu·Δu+wv·Δv++wx·Δx+wy·Δy+wz·Δz+wd·Δd
举例而言，字段u、v、x、y、z及d可为整数或具有任意位宽度之浮点储存单元。在本发明之一有利实施中，描述符字段di各自为一个字节(byte)长。
硬件经特殊设计以有效解决整个描述符匹配问题，不仅仅是加速绝对差和。若仅一部分得以最佳化，则达成的效能增益很少，这是由于快取未中(cache-miss)等。因此，硬件包括其自身的记忆体(图5中：SRAM6)，该记忆体载入当前描述符之向量(当前描述符已自当前影像抽取)。
关于计算如上所述之各自相似性度量、距离度量、组合式距离度量、检验参数等的上述功能或步骤，根据本发明之集成电路包括实施于该集成电路上之执行所述各自功能或步骤之一或多个各自单元。以下参考图5及图6更具体地描述这些单元之实例。然而，这些实例不应理解为会限制本发明，因为所属领域技术人员将理解，有多种选项来将根据本发明之技术之所述功能或步骤实施于固线式逻辑组件(hardwired logic)或可组配逻辑组件(configurable logic)中。
根据图5及图7，示出根据本发明之一实施例之在匹配程序中的决定相似性度量之一可能实施。在集成电路1上决定相似性度量，在如图5所示之实施例中，该集成电路是可组配的。特定言之，集成电路1包括处理用于决定相似性度量之逻辑功能的固线式逻辑组件或可组配逻辑组件。本发明之一实施例运行如下：
经由外围接口2，主机处理器(图中未示)存取储存了地址、临界值及权重(稍后论述其用途)之组态寄存器3。接着，主机处理器借由写入至虚拟触发器寄存器而开始操作。外部记忆体接口4自外部DRAM读取向量集合C(在当前影像中找到的数个当前描述符向量c)及R(基于参考影像产生的数个参考描述符向量r)。如上所述，在操作开始时将C完全读取至内部SRAM6中。将来自R之向量逐个读取至具有内容「向量r」之寄存器7中。接着将来自SRAM6之向量逐个读取至具有内容「向量c」之寄存器8中。单元9对如上所述之中间值u、v、x、y、z、d进行「减、乘、加」计算。在比较单元10中比较这些值与临界值(「比较、与」)，且在单元11中加权重于这些值(「乘、加」)，从而得出如上所述之值P(c,r)及D(c,r)。在已自当前影像抽取之当前描述符向量超过SRAM6一次可保存之向量的情况下，可将当前描述符向量分成两个或两个以上部分(c1,c2,...cn)且可将其载入至SRAM6中并借由集成电路1逐个处理。
在单元12中，判定P是否成立。若P成立，则比较D与寄存器13中的值D1、D2，该寄存器13经更新而含有直至此时已决定之值D(c,r)之最小值D1及第二最小值D2，且最小值D1之索引c被保存为cmin。在处理来自SRAM6之所有向量c后，在单元14中检验条件D1<t*D2。换言之，判定D1与D2的比率是否低于来自组态寄存器3之一已定义临界值t，以便判定D1是否显著小于D2。若该条件成立，则将新的元组[r,cmin,D1,D2]发送至输出缓冲器15。当输出缓冲器15已满时，将其内容经由外部记忆体接口4及记忆体总线写入至外部记忆体。由控制单元16执行对此程序之总体控制。
图5示出所述组件之一实施例之综述，而图7示出如上所述之程序之大致工作流程。
如上所述之组件及其功能(在本发明之上下文中亦称为硬件引擎)是借由固线式逻辑组件或可组配逻辑组件实施于集成电路上，该固线式逻辑组件或可组配逻辑组件处理用于在芯片上决定相似性度量之逻辑功能。换言之，可直接借助于相对应的数字电子电路，特定言之，借助于固线式逻辑组件或可组配逻辑组件，来实施如上所述之要在匹配程序中执行之功能。可使用数字技术之集成电路以灵活方式实施此电子电路。亦即，为了整合根据本发明之功能，如上所述，可给现有处理系统在适当位置提供或补充至少一可编程逻辑电路，诸如PLD(可编程逻辑器件)或FPGA(现场可编程门阵列)。此逻辑电路可实施于例如集成电路芯片上，该芯片例如用于诸如行动电话之行动装置中。
图6示出本发明在集成电路20上之可能实施之另一实施例。开发出此实施例以便不仅处置基于点的短描述符或其他短描述符，而且处置较长描述符，例如基于形状的描述符，且此实施例使以上方法扩展为适用于较长向量，例如3000个字节长。只要所用的组件与图5之实施例中相同，则给各自组件指定相同参考数目。
在图5之实施例的此变体中，已添加了保存长向量r之寄存器组21及保存各自参数Pacc及Dacc之两个累加寄存器22、23。一次仅比较长向量c及r之部分ci及ri。递增地计算函数Pi(c,r)及Di(c,r)且在Pacc及Dacc中累加所述函数。接着自所述寄存器22、23读取最终值P及D，然后如前所述更新D1及D2。此扩展允许以最小的额外硬件工作量来比较长得多的向量。图6示出经扩展之引擎之组件的综述。
因此，根据本发明之一态样，提供有保存参考特征描述符向量R之寄存器组及用于保存各自检验参数(Pacc)及各自距离度量(Dacc)之两个累加寄存器22、23，其中一次仅比较各自当前特征描述符向量C及参考特征描述符向量R之部分(ci及ri)。
取决于SRAM6之可用大小或总体辨识/初始化流水线(pipeline)中所用的不同描述符之数目，可将引擎开始若干次。举例而言，引擎可首先找到基于点的描述符之间的最佳匹配，且接着针对基于形状的描述符找到最佳匹配(亦使用不同的临界值及权重)。
根据本发明之一实施例，P及D的计算是以流水线方式完全平行地执行。举例而言，总处理量为每个时脉循环一个向量比较：每个循环自SRAM6读取一新的向量c。在流水线已满后，亦每个循环更新D1、D2、cmin之值。引擎针对电脑视觉任务之灵活性亦有利于在例如由硬件(诸如Microsoft Kinect)收集之两个三维点云之间找到姿势。
验证：
视觉特征抽取及匹配通常为基于影像之分类及基于影像之定位与追踪中两个必不可少的步骤。
根据一实施例，在分类的情况下，在特征匹配后执行几何验证以移除错误的特征匹配或移除误判。此步骤亦称为几何异常值否决。常常需要几何验证，因为无论使用什么描述符或分类程序，均常常无法避免有异常值，即，错误匹配之特征。称为RANSAC([10])之标准方法是基于一种反复执行以下两个步骤之演算法：首先，该演算法随机挑选计算某一转换模型所需的最小数目个特征之样本(亦称为样本集合)。通常可使用矩阵来描述此转换，例如，在经由单应性矩阵估计来计算姿势的情况下可使用四个点，在经由必要矩阵估计来计算姿势的情况下可使用五个点，等等。接着，该演算法估计转换参数且对验证所述转换参数之匹配(亦称为一致性集合)的数目计数。为了决定匹配mk＝{rk,ck}是否验证所述转换参数，例如，可借由此估计转换参数将来自参考影像之参考特征rk转换至当前影像中，且计算在当前特征ck与经转换之参考特征之间的距离。当该距离小于某一临界值Tm时，匹配被视为验证了转换参数集合。该演算法执行数目N1次反复，且搜寻最佳转换参数集合，该最佳转换参数集合允许验证该参数集合之最高数目个匹配(一致性集合之最高基数)。若对应于最佳参数集合之匹配的数目超过某一临界值Nm，则一致性集合中验证该参数集合的匹配被视为正常值(正确匹配)且其他匹配被视为异常值(错误匹配)。对应于最佳参数集合之匹配的数目超过Nm之条件通常用来证实匹配程序之成功。唯有在成功匹配程序的情况下，才可判定匹配是正常值还是异常值。
RANSAC方法可改良如下：有可能基于匹配强度来分级或加权重于一致性集合或给样本集合提供先前可能性([11])。通常所用的匹配强度是基于两个已匹配特征之描述符之间的相似性度量有多好。
已提议其他方法来加速并改良RANSAC之结果，例如[12]中，其中设想由同时具有独特的光度及几何性质的特征点之局部及最小子集组成的实体，以允许稳定的物件侦测及可靠的相机姿势估计。这些实体被称为自然三维标记(N3M)。
如[16]中所描述，可应用简化几何检验之方法，所述方法是基于特征定向之直方图或基于简单线边检验。
应用：
图9示出依靠深度信息之描述符之可能用途，以便提供本发明之一更复杂实施例之实例。
根据本发明之态样，在匹配特征时，可使用影像中之元素(例如像素)之深度作为进一步信息。通常可将影像中之元素(例如像素)之深度定义为指在成像为此元素(像素)之实体表面与摄取装置(特定言之，摄取装置之光学中心)之间的距离。
图9示出深度抽取机制与实体尺度特征描述符之可能组合，以用于光学姿势估计，例如，以便产生室外AR体验。在此实例中，如图9中，使用粗略感测器数据及环境模型来抽取深度。
在步骤S111中，由摄取装置摄取强度影像I1或载入该强度影像。另外，根据粗略感测器测量结果(诸如GPS位置及定向感测器信息)估计摄取装置在摄取I1时的初始姿势。最后，提供包括三维数据及影像数据之先进环境模型(类似于Google街景(Streetview))(步骤S112)。仅当未预先产生用于追踪之参考模型(例如，已含有特征三维坐标及特征描述符)，才需要影像数据。在步骤S113中，使用由步骤S111提供之假设相机姿势来载入环境模型，亦即，自强度影像I1之相机视点呈现该环境模型。在步骤S114中自环境模型撷取深度信息，且在步骤S115中使用该深度信息来计算侦测到之特征之真实尺度描述符。换言之，使用随影像I1所记录之深度信息，在例如1m之固定尺度上抽取真实尺度特征。因为环境模型组合了三维数据与影像数据，所以可产生尺度为1m之实体尺度特征之参考三维模型(S116，当然可预先进行此步骤)。
接着可使用S115及S116之结果来产生I1中之特征与思维实体尺度特征之对应。在此步骤中，使用硬件引擎来将I1之当前特征与模型之特征相匹配。三维模型及粗略感测器数据的使用提供对当前特征在世界坐标系统中的位置之估计，这是借由自相机中心射出穿过该特征之像素位置的射线且将特征三维位置假设为该射线碰上虚拟三维模型之处。位置信息可用作x0、x1及x2来计算Δx，且描述符用来计算Δd。有了良好的GPS定位及稳定的定向数据，则可将θx设定为很低且可将wx设定为高于零的值。图10说明位置数据如何可有助于匹配程序。
使用最佳化演算法，可计算I1在环境模型坐标系统中之细化姿势。细化姿势可用于例如游客数据扩增实境视觉效果之应用，或可选地用来细化S111且反复通过步骤S111-S117，直至姿势的变化已低于已定义之品质临界值。
图10描绘根据本发明之另一实施例之方法的流程图，其中在匹配前检验特征是否可在理论上适合。在步骤S31中，提供由摄取装置拍摄之当前影像。在步骤S32中提供此摄取装置在全球坐标系统中之(局部)位置及/或定向。接着，步骤S33侦测并描述来自所提供当前影像之特征且计算每个当前特征在全球坐标系统中之(局部)位置及/或定向。在步骤S34中提供一参考特征集合，所述参考特征各自具有描述符及在全球坐标系统中之(局部)位置及/或定向，其中所述参考特征与所述当前特征一起充当对步骤S35中之匹配的输入。所提议之匹配方法(步骤S35)接着为每个当前特征找到匹配的参考特征，这是借由寻找该参考特征之集合中具有最近描述符之参考特征，所述参考特征在全球坐标系统中的(局部)位置及/或定向接近该当前特征在该全球坐标系统中的(局部)已知位置及/或定向。此知识或部分知识例如可嵌入于Δx、Δy、Δz中。最后，在步骤S36中在应用程序中使用所述特征匹配。
可借由方程式E描述当前特征之位置，该方程式E描述点、射线、直线、圆、圆锥、圆柱或任何其他几何形状。匹配程序接着仅认为位置离由E定义之几何形状的距离低于临界值θ之那些参考特征是可能匹配。因此，θ例如取决于用来计算当前特征之局部位置的感测器度量之已确定的准确度。取决于局部空间信息之各自来源之不确定性，在参考特征与当前特征之位置之间的距离未必需要为欧几里得距离，而是可能对于不同自由度具有不同权重(其意味，位置值x及y可整合于Δy中，而高度值整合于具有不同θ的Δx中)。此外，其可能取决于参考特征与摄取装置之间的距离。[9]中可找到不确定性传递之详情。
在我们的方法中，针对匹配程序之最简单的方法为：执行穷举搜寻，且针对当前与参考特征之每个组合检验所述特征之空间距离，然后才认为该组合是可能匹配并计算两个描述符之间的距离。该想法之更复杂实施将使用描述符域及/或空间域中的空间数据结构来加速匹配。适合的数据结构包括但不限于包围体(轴对准盒、定向盒、球、任意体积)、网格(均匀或不均匀)或任何种类之树(例如四分树、八分树、BSP树、kd树、R树)。此外，未必需要针对所述特征集合中之任一者中的每个单一特征找到匹配，而匹配程序旨在找到在参考特征与当前特征之间的至少一匹配。
找到的特征匹配可用于应用，所述应用包括物件侦测、物件分类、物件定位及相机在全球坐标系统中的定位。后一种定位(亦称为「自我定位」)可例如借助于稳健的姿势估计方法(诸如，例如RANSAC、PROSAC或M估计程序)来执行。注意，这些方法需要对本质相机参数之估计，特定言之，聚焦长度。取决于关于摄取装置之位置及/或定向之可获得信息及像素之深度，产生了本发明之想法之不同的可能实施。所述实施在空间约束方面不同，以在匹配程序中使搜寻空间或P变窄，其取决于参考特征之位置及/或定向，所述参考特征是一给定当前特征之潜在匹配。以下将详细阐释我们认为特别重要的示范性实例。
所述方法假设可获得对相机之本质参数之估计。此估计可例如由校正程序或合理猜测(例如，基于相机解析度)产生。可借由两个不同实施来看基于摄取装置之位置之指示的那些方法。基于测量结果(例如GPS)提供该装置之经度及纬度。取决于所用硬件，可能无法获得海拔测量结果，或海拔测量结果可能很不准确。若可获得摄取装置之绝对海拔之测量结果且可认为该测量结果足够准确，则使用该测量结果。否则，使用假设，例如，使用者位于街道层级且将其手中的摄取装置保持在该街道层级上方大致1.5至2米的海拔处。接着可用较高θ及较低权重来处理该海拔。装置之海拔可独立于经度及纬度，例如，借助于气压计来测量。
以下，我们将假设特征为点(即，特征点、关键点或兴趣点)。然而，可借由任何其他种类之特征，例如，借由将特征之重力中心视为其位置，来以类似方式实施本发明。其他特征可为边缘、小边(edgelet)或区域。以下，使用来自装置位置及三维装置定向之射线或点作为示范性实施来描述本发明之一实施例。
若已知摄取装置在世界坐标中之位置(例如，借助于GPS及可选的气压计)以及三维定向(例如，借由惯性感测器及数字罗盘之组合量测得)，则根据本发明之态样之方法使用此信息以及相机之本质参数及当前影像中之当前特征之位置来以世界坐标定义此特征所在之射线。若另外可获得对特征之深度之估计，则该方法能够计算当前特征在世界坐标中之绝对三维位置。
在匹配阶段中，仅考虑比临界值(θ)更接近当前特征所在之点或射线的参考特征。同样，可以并入位置及/或定向之各自自由度的一或多个不确定性的方式来定义在参考特征与点或射线之间的距离度量。在世界坐标域中适合于此组态之空间数据结构将为均匀的网格。例如，将应用3DDDA演算法来判定射线所穿过之相关单元。针对该网格中的每一单元，可应用在描述符域中的任何空间数据结构来储存该单元中所含的参考特征，例如KD树。
以下，使用来自二维重力方向之一维特征海拔及一维特征深度作为示范性实施来描述本发明之另一实施例。此实施例或参考此实施例所描述之本发明之态样可在无本发明之上述实施例或态样中之任一者的情况下使用或与无本发明之上述实施例或态样中之任一者组合使用。
有了重力向量在与摄取装置相关联之坐标系统中之测量结果(例如借由惯性感测器)及当前相机影像中之当前特征之深度(例如，借助于立体深度方法)，根据本发明之态样之方法计算此特征之相对或绝对海拔。
影像中之特征之二维位置以及本质相机参数使得能够在于摄取装置相关联之坐标系统中定义三维射线。因为另外可能已知该特征之深度，所以可计算该特征在相机对准坐标系统之三维位置。接着将自摄取装置之光学中心至三维特征位置之向量投影至由该特征之海拔产生之正规化重力向量上。
上述方法产生相对于摄取装置之相对海拔度量。为了计算该特征之绝对海拔，需要加上装置之绝对海拔。这可例如经由GPS或气压计量测得，或可基于如上所述之假设。
已知当前影像中之当前特征，该方法在具有(局部已知的)世界坐标之参考特征集合中寻找对应。更特定言之，取决于关于摄取装置在拍摄当前影像时之位置及/或定向之可获得信息，及当前影像之特定像素之可能可获得之深度，可决定当前特征在世界坐标中之(局部)位置。接着可使用此位置使搜寻空间变窄，这是借由仅将位置接近于当前特征在世界坐标中之(局部)位置的那些参考特征视为可能匹配。例如可使用所得匹配在扩增实境应用中初始化视觉相机追踪方法。
如上所述，已知方法基于摄取装置之位置决定哪些参考特征可能可见而哪些参考特征最有可能不可见。此决定是在每个影像的层级上进行，意味：针对当前相机影像中之所有当前特征，将参考特征之同一子集视为可能匹配。根据本发明之方法不同于这些方法，因为其使相机影像之侦测到的特征与该侦测到的特征相对于全球坐标系统之至少局部位置及/或定向信息相关联且在每个特征的层级上进行此决定。针对当前相机影像中之每个侦测到的特征，基于其(局部)已知全球位置来决定可能匹配的参考特征之集合。
图4说明本发明之此态样之一可能实施。特定言之，图4示出摄取装置CD，其提供装置坐标(即，摄取装置坐标系统之坐标)中之重力向量G的测量结果及特征F1之深度D。已知该两条信息，可计算特征F1相对于摄取装置CD之相对海拔RA。特定言之，影像中之特征F1之二维位置以及本质相机参数使得能够在与摄取装置相关联之坐标系统中定义三维射线。因为已知特征F1之深度D，所以可计算该特征在相机对准坐标系统中之三维位置。接着将自摄取装置CD之光学中心至特征F1之三维特征位置之向量投影至由特征F1之相对海拔RA产生之正规化重力向量上。加上摄取装置CD之(绝对)海拔CDA，产生特征F1之绝对海拔AA。可对特征F2进行类似计算，以计算其海拔。
接着在当前特征F1之海拔AA周围定义对应于当前特征F1之参考特征的搜寻空间SS。注意，以此方式，不将参考特征F2视为可能匹配，即使其看上去很类似于F1，因为其不在搜寻空间SS中。当然可经由在所提议之硬件引擎中计算P来控制搜寻空间。因此，根据此态样之本发明减小了不匹配之可能性。
根据本发明之一态样，首先借由软件方法(例如使用GPS数据作为输入)将参考特征之很大集合(例如几十亿或几百万)减小至较小集合(例如几千或几十万)，接着使用硬件引擎来匹配所述参考特征。
在全球坐标系统域中的用于此实施之很适合的数据结构将为不均匀的网格，其大部分小格沿着重力轴。
在本发明之一态样中，至少一各自临界值及权重取决于对摄取装置之姿势(例如相机姿势)之初始估计的不确定性。在此情况下，临界值θ(θi)及权重(wi)取决于特征位置估计之已传递不确定性，此不确定性是基于装置之当前姿势估计而传递。
举例而言，基于用于提供摄取装置的位置、定向及/或海拔之感测器之类型来决定不确定性信息。
根据本发明之一实施例，可获得关于特征之不确定性信息，该信息可用来决定检验参数P(c,r)及/或相似性度量D(c,r)。举例而言，可取决于特征之不确定性信息而动态改变临界值(以上公式中的θx、θy)，及/或取决于不确定性信息而选择用于决定距离度量D(c,r)之部分或其部分(诸如Δu、Δv、Δx、Δy、Δz、Δd)的特征向量之参数。
举例而言，具有低不确定性之参数可用来决定第一距离度量Δx且将θx设定为低值。具有高不确定性之参数可用来决定第二距离度量Δy且相应地将θy设定为较高值。举例而言，可获得当前特征P之三维位置信息之参数p0、p1、p2中之每一者的不确定性(其中例如，p0、p1、p2分别对应于笛卡尔坐标中之x轴、y轴及z轴)。假设以很小的不确定性决定了高度p2，但坐标度量p0及p1具有高不确定性。在此情况下，p2将为Δx之部分，其中p0及p1为Δy之部分，且θx<θy。
参考文献：
[1]Lowe,David G.「Distinctive Image Features from Scale-InvariantKeypoints.」International Journal of Computer Vision60.2(2004):91-110.
[2]Kumar,Ankita等人「Experiments on visual loop closing usingvocabulary trees.」2008IEEE Computer Society Conference on Computer Vision andPattern Recognition Workshops0(2008):1-8.
[3]Bleser,Gabriele及Didier Stricker.「Advanced tracking throughefficient image processing and visual-inertial sensor fusion.」Computers&Graphics33.1(2009):59-72.
[4]Chen,David M等人「City-scale landmark identification on mobiledevices」.2011IEEE Computer Society Conference on Computer Vision and PatternRecognition(2011).
[5]Reitmayr,G.及T.W.Drummond.「Initialisation for Visual Tracking inUrban Environments.」20076th IEEE and ACM International Symposium on Mixed andAugmented Reality(2007):1-9.
[6]Bonato,Vanderlei,Eduardo Marques及George A Constantinides.「AParallel Hardware Architecture for Scale and Rotation Invariant FeatureDetection.」IEEE Transactions on Circuits and Systems for VideoTechnology18.12(2008):1703-1712.
[7]Schall,Gerhard等人「Global pose estimation using multi-sensorfusion for outdoor Augmented Reality.」20098th IEEE International Symposium onMixed and Augmented Reality(2009):153-162.
[8]Arth,Clemens等人「Wide area localization on mobile phones.」20098thIEEE International Symposium on Mixed and Augmented Reality(2009):73-82.
[9]US 7 768 534 B2.
[10]Fischler,M.A.及Bolles,R.C..「Random Sample Consensus:A Paradigmfor Model Fitting with Applications to Image Analysis and AutomatedCartography.」1981Communications of the ACM24(1981):381-395.
[11]Chum,O.及Matas,J.「Matching with PROSAC-progressive sampleconsensus.」2005Proceedings of IEEE Conference on Computer Vision and PatternRecognition(2005):220-226
[12]Hinterstoisser,Stefan等人「N3M:Natural3D Markers for Real-TimeObject Detection and Pose Estimation,」2007 2007IEEE11th InternationalConference on Computer Vision(2007):1-7
[13]Yao,Lifan等人「An architecture of optimised SIFT feature detectionfor an FPGA implementation of an image matcher.」2009International Conferenceon FieldProgrammable Technology(2009):30-37.
[14]Zhang,Jing等人「Overview of approaches for accelerating scaleinvariant feature detection algorithm.」2011International Conference onElectric Information and Control Engineering(2011):585-589.
[15]Taati,Babak:「Generation and Optimization of Local ShapeDescriptors for Point Matching in3-D Surfaces.」Thesis(Ph.D,Electrical&Computer Engineering)-Queen's University,Kingston,Ontario,Canada,August2009.
[16]Wagner,Daniel等人「Pose tracking from natural features on mobilephones.」20087th IEEEACM International Symposium on Mixed and AugmentedReality(2008):125-134.
[17]Smith,Ross,Wayne Piekarski及Grant Wigley.「Hand Tracking For LowPowered Mobile AR User Interfaces.」Proceedings of the Sixth Australasianconference on Userinterface第40卷(1999):7-16.
[18]Bosch,A,Andrew Zisserman及X Munoz.「Representing shape with aspatial pyramid kernel.」Image Processing5(2007):401-408.
[19]Wu,Changchang等人「3D model matching with Viewpoint-InvariantPatches(VIP).」IEEE Conference on Computer Vision and Pattern Recognition(2008)0(2008):1-8.
[20]Uchiyama,Hideaki及Marchand,Eric.「Toward Augmenting Everything:Detecting and Tracking Geometrical Features on Planar Objects.」2011International Symposium on Mixed and Augmented Reality(2011):17-25.
[21]Mikolajczyk,K.及Schmid,C.「A Performance Evaluation of LocalDescriptors.」2005IEEE Trans.Pattern Anal.Mach.Intell.27,10(2005):1615-1630.

Claims (31)

1.一种将影像特征与参考特征相匹配的方法，其包含以下步骤：
获取由一摄取装置摄取之一当前影像，
决定该当前影像中之当前特征，
使所述当前特征中之每一者与至少一各自当前特征描述符相关联，
借由决定每一各自当前特征描述符与对应于两个或更多个参考特征中之一各自特征的每一各自参考特征描述符之间的一各自相似性度量来将所述当前特征与所述两个或更多个参考特征相匹配，决定所述相似度度量在集成电路上借由处理用于决定相似性度量之逻辑功能的固线式逻辑组件或可组配逻辑组件执行，其中在集成电路上执行决定所述相似度度量包括：
将所有的当前特征描述符从接口加载到所述集成电路之专用记忆体，
对于对应于所述两个或更多个参考特征的参考特征描述符中的每一个：
将该参考特征描述符载入该集成电路中之一单元，以及
为每一各自当前特征描述符决定至少一特征描述符与该参考特征描述符之间的一相似性度量，其中从所述单元接收所述参考特征描述符并且从所述集成电路中之一专用记忆体接收所述至少一特征描述符，
其中，该集成电路专用于决定该相似性度量之逻辑功能。
2.根据权利要求1所述的方法，其中该当前影像是一强度影像或一深度影像。
3.根据权利要求1所述的方法，其中，各自当前特征描述符与参考特征描述符之间的相似性度量是根据与该各自当前特征描述符相关联的一个或多个性质和与该各自参考特征描述符相关联的一个或多个性质之间的一个或多个距离度量决定的。
4.根据权利要求1所述的方法，其中决定一相似性度量包含计算一检验参数以判定具有所述当前特征中之一者及所述参考特征中之一者的一特征对是否有资格作为一有效匹配。
5.根据权利要求4所述的方法，其中为每一各自当前特征描述符决定一相似性度量进一步包含：决定在每一各自当前特征描述符与每一各自参考特征描述符之间的一各自第一距离度量，以用于决定该相似性度量。
6.根据权利要求5所述的方法，其中为每一各自当前特征描述符决定一相似性度量进一步包含：决定在一共同坐标系统中在该当前影像中的该各自当前特征描述符之位置信息与该各自参考特征描述符之位置信息之间的一各自第二距离度量。
7.根据权利要求6所述的方法，其包含决定一各自第三距离度量以用于决定该相似性度量，该各自第三距离度量指出在一共同坐标系统中在该当前影像中的该各自当前特征描述符之位置信息与该各自参考特征描述符之位置信息之间的一角度。
8.根据权利要求7所述的方法，其中为每一各自当前特征描述符决定一相似性度量进一步包含：决定在该当前影像中的该各自当前特征描述符之一纯量性质与该各自参考特征描述符之纯量性质之间的一各自第四距离度量。
9.根据权利要求8所述的方法，其包含计算差和或者平方差和以用于决定一各自维度上的该各自第一距离度量。
10.根据权利要求3所述的方法，其进一步包含：在决定该各自当前特征描述符与该参考特征描述符之间的各自相似性度量时，加权重于该各自当前特征与该各自参考特征之所述性质中之至少一者。
11.根据权利要求9所述的方法，其包含借由比较该各自第二距离度量、第三距离度量及第四距离度量中之至少一者与至少一各自临界值来决定至少一各自检验参数，其中该检验参数用来判定具有所述当前特征中之一者及所述参考特征中之一者的一特征对是否有资格作为一有效匹配。
12.根据权利要求11所述的方法，其中该至少一各自临界值取决于对该摄取装置之一姿势之初始估计的不确定性。
13.根据权利要求3所述的方法，其中决定各自距离度量及各自检验参数是在该集成电路上以流水线方式平行执行。
14.根据权利要求3所述的方法，其中一个各自距离度量及/或检验参数是在该集成电路之一时脉信号之每个时脉循环计算。
15.根据权利要求13所述的方法，其中在决定一各自相似性度量后，该方法进一步包含储存已决定之所述相似性度量中之一最相似的相似性度量及一第二最相似的相似性度量，及与该最相似的相似性度量相关联之该各自当前特征描述符之一索引。
16.根据权利要求15所述的方法，其中比较该最相似的相似性度量与该第二最相似的相似性度量之一衍生值，其中若此比较满足一预定条件，则提供该最相似的相似性度量及该第二最相似的相似性度量、该索引及该相关联之参考特征描述符以用于进一步处理。
17.根据权利要求3所述的方法，其进一步包含决定计算出之距离度量中之一最低的距离度量，及储存已针对其决定该最低的距离度量之该各自当前特征描述符之一索引。
18.根据权利要求4所述的方法，其中该集成电路包含：保存一参考特征描述符向量之一寄存器组，及用于保存一各自检验参数及一各自距离度量之两个累加寄存器，其中一次仅比较一各自当前特征描述符向量及参考特征描述符向量之部分。
19.根据权利要求1所述的方法，其中当前特征描述符是在无需等待状态的情况下自该记忆体撷取。
20.根据权利要求1所述的方法，其中将该当前影像之至少一像素设定为该当前影像中之一各自当前特征。
21.根据权利要求1所述的方法，其中使用一第一特征抽取程序来决定一第一当前特征集合，且使用一第二特征抽取程序来决定一第二当前特征集合，其中该第一特征抽取程序与该第二特征抽取程序彼此不同。
22.根据权利要求1所述的方法，其进一步包含：执行几何验证，以移除错误的特征匹配。
23.根据权利要求1所述的方法，其中所述参考特征中之每一者包含至少一第一参数，该至少一第一参数至少部分地指出该参考特征相对于一全球坐标系统之一位置及/或定向，其中该全球坐标系统是一地球坐标系统，所述方法进一步包含：
使一各自当前特征与至少一第二参数相关联，该至少一第二参数至少部分地指出该当前特征相对于该全球坐标系统之一位置及/或定向，
借由决定该至少一第一参数与该至少一第二参数之间的该相似性度量，将该当前特征与该参考特征集合之所述参考特征中之至少一者相匹配。
24.根据权利要求23所述的方法，进一步包含在匹配该各自当前特征时以该参考特征集合内之减少个数的参考特征来定义一搜寻空间，其中该搜寻空间是基于该至少一第二参数决定的。
25.根据权利要求10所述的方法，其中该加权重取决于对该摄取装置之一姿势之初始估计的不确定性。
26.根据权利要求1至25中任一项所述的方法，其中该当前特征描述符或该参考特征描述符中之至少一者不随尺度而改变。
27.一种用以将影像特征与参考特征相匹配的集成电路，其包含：
各自当前特征之当前特征描述符的专用记忆体，所述当前特征是从由一摄取装置摄取之一当前影像获得，其中所述专用记忆体储存数个当前特征描述符，
用以接收各自参考特征之数个参考特征描述符之一单元，及
一逻辑电路，用以：
对于所述数个参考特征描述符中的每一个：
从所述单元接收该参考特征描述符并且从所述专用记忆体接收多个当前特征描述符，其中所述集成电路之时脉信号之每个时脉循环接收所述多个当前特征描述符中之每一者，及
通过为所述多个当前特征描述符中之每一各自当前特征描述符决定每一各自当前特征描述符与对应于两个或更多个参考特征中之一各自特征的该参考特征描述符之间的一各自相似性度量，将所述当前特征与所述两个或更多个参考特征相匹配。
28.根据权利要求27所述的集成电路，其中该当前影像是选自包含一强度影像或一深度影像的组的一影像。
29.根据权利要求27所述的集成电路，其中，为每一各自当前特征描述符决定一相似性度量进一步包含：决定在包括该各自当前特征描述符之该各自当前特征之一或多个性质与包括该各自参考特征描述符之该各自参考特征之一或多个性质之间的一各自距离度量，以用于决定该相似性度量。
30.根据权利要求29所述的集成电路，其中决定各自距离度量以及各自检验参数是在该集成电路上以流水线方式平行执行。
31.根据权利要求29所述的集成电路，其中一个各自距离度量及/或检验参数是在该集成电路之一时脉信号之每个时脉循环计算。
CN201180076241.9A 2011-11-18 2011-11-18 将影像特征与参考特征相匹配之方法及其所用集成电路 Active CN104221031B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2011/070489 WO2013071981A1 (en) 2011-11-18 2011-11-18 Method of matching image features with reference features and integrated circuit therefor

Publications (2)

Publication Number Publication Date
CN104221031A CN104221031A (zh) 2014-12-17
CN104221031B true CN104221031B (zh) 2019-06-11

Family

ID=45002953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180076241.9A Active CN104221031B (zh) 2011-11-18 2011-11-18 将影像特征与参考特征相匹配之方法及其所用集成电路

Country Status (5)

Country Link
US (1) US9378431B2 (zh)
EP (1) EP2780861A1 (zh)
CN (1) CN104221031B (zh)
TW (1) TWI601097B (zh)
WO (1) WO2013071981A1 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036925B2 (en) 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
US9977992B2 (en) * 2012-02-28 2018-05-22 Snell Advanced Media Limited Identifying points of interest in an image
EP2648157A1 (en) * 2012-04-04 2013-10-09 Telefonaktiebolaget LM Ericsson (PUBL) Method and device for transforming an image
JP6261187B2 (ja) * 2013-05-21 2018-01-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2015017941A1 (en) * 2013-08-09 2015-02-12 Sweep3D Corporation Systems and methods for generating data indicative of a three-dimensional representation of a scene
WO2015102711A2 (en) * 2013-10-14 2015-07-09 Indiana University Research And Technology Corporation A method and system of enforcing privacy policies for mobile sensory devices
US9303999B2 (en) * 2013-12-30 2016-04-05 Google Technology Holdings LLC Methods and systems for determining estimation of motion of a device
CN106462568A (zh) 2014-02-13 2017-02-22 河谷控股Ip有限责任公司 全局视觉词汇、系统和方法
JP6230442B2 (ja) * 2014-02-20 2017-11-15 株式会社東芝 算出装置、方法及びプログラム
US9277361B2 (en) 2014-02-20 2016-03-01 Google Inc. Methods and systems for cross-validating sensor data acquired using sensors of a mobile device
TWI554899B (zh) * 2014-08-08 2016-10-21 雅虎股份有限公司 影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品
EP2993612B1 (en) 2014-09-03 2017-10-25 Metaio GmbH Apparatus and method for detecting a feature in an image
US10796196B2 (en) * 2015-03-05 2020-10-06 Nant Holdings Ip, Llc Large scale image recognition using global signatures and local feature information
US9721186B2 (en) 2015-03-05 2017-08-01 Nant Holdings Ip, Llc Global signatures for large-scale image recognition
US9984301B2 (en) * 2015-04-20 2018-05-29 Qualcomm Incorporated Non-matching feature-based visual motion estimation for pose determination
ITUB20153277A1 (it) * 2015-08-28 2017-02-28 St Microelectronics Srl Procedimento per ricerche visuali, sistema, apparecchiatura e prodotto informatico corrispondenti
US9947111B2 (en) * 2015-10-28 2018-04-17 Sony Corporation Method of multiple camera positioning utilizing camera ordering
CN108700743A (zh) 2016-01-22 2018-10-23 康宁股份有限公司 宽视场个人显示器
US10482681B2 (en) 2016-02-09 2019-11-19 Intel Corporation Recognition-based object segmentation of a 3-dimensional image
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US9892543B2 (en) * 2016-02-26 2018-02-13 Carnegie Mellon University Systems and methods for estimating pose of textureless objects
US9864931B2 (en) * 2016-04-13 2018-01-09 Conduent Business Services, Llc Target domain characterization for data augmentation
TWI571805B (zh) * 2016-04-15 2017-02-21 元智大學 基於雜湊函數的漸進式影像匹配方法與裝置
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
US10571925B1 (en) 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and task planning
US11314262B2 (en) 2016-08-29 2022-04-26 Trifo, Inc. Autonomous platform guidance systems with task planning and obstacle avoidance
US10390003B1 (en) 2016-08-29 2019-08-20 Perceptln Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US10571926B1 (en) 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and obstacle avoidance
US10395117B1 (en) 2016-08-29 2019-08-27 Trifo, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10043076B1 (en) 2016-08-29 2018-08-07 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10453213B2 (en) * 2016-08-29 2019-10-22 Trifo, Inc. Mapping optimization in autonomous and non-autonomous platforms
US10402663B1 (en) 2016-08-29 2019-09-03 Trifo, Inc. Visual-inertial positional awareness for autonomous and non-autonomous mapping
US10032276B1 (en) 2016-08-29 2018-07-24 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous device
US10410328B1 (en) 2016-08-29 2019-09-10 Perceptin Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
US10366508B1 (en) 2016-08-29 2019-07-30 Perceptin Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
TWI595446B (zh) * 2016-10-19 2017-08-11 國立清華大學 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
WO2018145291A1 (en) * 2017-02-10 2018-08-16 SZ DJI Technology Co., Ltd. System and method for real-time location tracking of drone
DE102017107335A1 (de) * 2017-04-05 2018-10-11 Testo SE & Co. KGaA Verfahren zur Identifikation von korrespondierenden Bildbereichen in einer Folge von Bildern
TWI660156B (zh) * 2017-04-28 2019-05-21 宏達國際電子股份有限公司 追蹤系統及方法
CN107330917B (zh) * 2017-06-23 2019-06-25 歌尔股份有限公司 移动目标的跟踪拍摄方法和跟踪设备
US10496104B1 (en) 2017-07-05 2019-12-03 Perceptin Shenzhen Limited Positional awareness with quadocular sensor in autonomous platforms
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
CN111406238B (zh) * 2017-11-27 2024-04-09 西门子股份公司 用于规划特定的工艺技术设施的方法和设备
US11113522B2 (en) * 2018-02-08 2021-09-07 Datalogic Ip Tech S.R.L. Segment-based pattern matching algorithm
US10866989B1 (en) * 2018-04-06 2020-12-15 Architecture Technology Corporation Real time recommender modeling system, methods of construction, and methods of use
JP6973285B2 (ja) * 2018-05-15 2021-11-24 日本電信電話株式会社 テンプレート姿勢推定装置、方法、及びプログラム
CN112955930A (zh) 2018-10-30 2021-06-11 Alt有限责任公司 用于对移动对象进行反向光学跟踪的系统和方法
US11774983B1 (en) 2019-01-02 2023-10-03 Trifo, Inc. Autonomous platform guidance systems with unknown environment mapping
CN110547766B (zh) * 2019-08-22 2023-04-28 苏州佳世达光电有限公司 口扫机的操作方法
US11281917B2 (en) * 2019-10-31 2022-03-22 Aptiv Technologies Limited Multi-domain neighborhood embedding and weighting of point cloud data
CN111444948B (zh) * 2020-03-21 2022-11-18 哈尔滨工程大学 一种图像特征提取与匹配方法
AU2020289853B2 (en) 2020-04-09 2022-02-03 Sensetime International Pte. Ltd. Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
CN111861883B (zh) * 2020-06-23 2022-06-14 燕山大学 基于同步积分surf算法的多路视频拼接方法
CN113221921B (zh) * 2021-05-21 2022-05-27 吉林大学 基于优选空间的sift特征快速提取方法、计算机设备以及存储介质
US11954882B2 (en) * 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN113627446B (zh) * 2021-08-18 2023-10-31 成都工业学院 基于梯度向量的特征点描述算子的图像匹配方法及系统
CN117115487B (zh) * 2023-10-23 2024-03-08 睿励科学仪器（上海）有限公司 模板匹配方法、模板匹配系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1656515A (zh) * 2002-05-30 2005-08-17 皇家飞利浦电子股份有限公司 估计当前运动矢量的单元和方法
CN1776716A (zh) * 2004-04-27 2006-05-24 微软公司 使用多尺度取向片段的多图像匹配
CN102110228A (zh) * 2009-12-23 2011-06-29 Metaio有限公司 确定在光学对象初始化追踪过程中使用的参考特征的方法以及对象初始化追踪方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1736928A1 (en) * 2005-06-20 2006-12-27 Mitsubishi Electric Information Technology Centre Europe B.V. Robust image registration
US20070009159A1 (en) * 2005-06-24 2007-01-11 Nokia Corporation Image recognition system and method using holistic Harr-like feature matching
US7583857B2 (en) * 2005-08-24 2009-09-01 Siemens Medical Solutions Usa, Inc. System and method for salient region feature based 3D multi modality registration of medical images
DE102005061952B4 (de) 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
US8417037B2 (en) * 2007-07-16 2013-04-09 Alexander Bronstein Methods and systems for representation and matching of video content
CN101576894B (zh) * 2008-05-09 2012-05-30 中国科学院半导体研究所 实时图像内容检索系统及图像特征提取方法
RU2542946C2 (ru) * 2009-11-19 2015-02-27 Нокиа Корпорейшн Способ и устройство для отслеживания и распознавания объектов с использованием дескрипторов, инвариантных относительно вращения

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1656515A (zh) * 2002-05-30 2005-08-17 皇家飞利浦电子股份有限公司 估计当前运动矢量的单元和方法
CN1776716A (zh) * 2004-04-27 2006-05-24 微软公司 使用多尺度取向片段的多图像匹配
CN102110228A (zh) * 2009-12-23 2011-06-29 Metaio有限公司 确定在光学对象初始化追踪过程中使用的参考特征的方法以及对象初始化追踪方法

Also Published As

Publication number Publication date
WO2013071981A1 (en) 2013-05-23
US9378431B2 (en) 2016-06-28
TWI601097B (zh) 2017-10-01
US20150049955A1 (en) 2015-02-19
EP2780861A1 (en) 2014-09-24
TW201329908A (zh) 2013-07-16
CN104221031A (zh) 2014-12-17

Similar Documents

Publication Publication Date Title
CN104221031B (zh) 将影像特征与参考特征相匹配之方法及其所用集成电路
CN104007817B (zh) 具有至少一个摄像机的可穿戴信息系统
Chen et al. Satellite pose estimation with deep landmark regression and nonlinear pose refinement
Irschara et al. From structure-from-motion point clouds to fast location recognition
Huang et al. A systematic approach for cross-source point cloud registration by preserving macro and micro structures
Zhang et al. Vision-based pose estimation for textureless space objects by contour points matching
EP2491529B1 (en) Providing a descriptor for at least one feature of an image
US7680300B2 (en) Visual object recognition and tracking
Zhong et al. A real-time embedded architecture for SIFT
US9560273B2 (en) Wearable information system having at least one camera
Fei et al. Visual-inertial object detection and mapping
Chen et al. R-CNN-based satellite components detection in optical images
AliAkbarpour et al. Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies
Wu et al. Remote sensing image registration based on local structural information and global constraint
Shen et al. An anchor-free lightweight deep convolutional network for vehicle detection in aerial images
Radanovic et al. Aligning the real and the virtual world: Mixed reality localisation using learning-based 3D–3D model registration
Sánchez-Belenguer et al. RISE: A novel indoor visual place recogniser
Brenot et al. FPGA based hardware acceleration of a BRIEF correlator module for a monocular SLAM application
Hou et al. Navigation landmark recognition and matching algorithm based on the improved SURF
Yang et al. Object detection and localization algorithm in agricultural scenes based on YOLOv5
Xu et al. Automatic registration method for TLS LiDAR data and image-based reconstructed data
Wang et al. Aerial-DEM geolocalization for GPS-denied UAS navigation
Roggow Real-time ellipse detection on an embedded reconfigurable system-on-chip
Ferranti Confidence estimation in image-based localization
Huang Application of Information Processing System Based on DSP in Electronic Information Engineering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180420

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: Munich, Germany

Applicant before: METAIO GMBH

GR01 Patent grant
GR01 Patent grant