CN104350524A - 基于外围信息的姿势估计 - Google Patents

Abstract

一种用于估计相机姿势的方法包含：获得经由相机俘获的位置的图像，其中所述图像包含目标对象及在所述目标对象外部的边缘线特征；及基于所述边缘线特征来计算所述相机相对于所述目标对象的姿势。

Description

基于外围信息的姿势估计

背景技术

无线通信技术中的进步已极大地增加了当今无线通信装置的通用性。这些进步已使得无线通信装置能够从简单的移动电话及寻呼机演变为能够具有广泛多种功能性的复杂计算装置，所述功能性例如为多媒体记录及回放、事件日程安排、文字处理、电子商务等。因此，当今的无线通信装置的用户能够通过单一便携式装置执行常规上需要多个装置或更大的非便携式设备的广泛范围的任务。

利用各种应用来获得并且定位无线通信装置的位置。举例来说，基于位置的服务(LBS)充分利用相关联装置的位置来提供对运行在所述装置上的一或多个应用的控制。关于无线通信装置而实施的LBS功能性的应用包含个人导航、社交联网、内容(例如，广告、搜索结果等)的投送，以及其它。

发明内容

一种用于估计相机姿势的实例包含：获得经由相机俘获的位置的图像，其中所述图像包含目标对象及在所述目标对象外部的边缘线特征；及基于所述边缘线特征来计算所述相机相对于所述目标对象的姿势。

此方法的实施方案可包含以下特征中的一或多者。所述方法进一步包含独立于计算所述相机的姿势经由计算机视觉算法来识别所述目标对象。所述识别包括检测图像中的目标对象的关键点。所述方法进一步包含从用户输入接收所述图像内的所述目标对象的身份。

而且或替代地，此方法的实施方案可包含以下特征中的一或多者。所述方法进一步包含估计与边缘线特征相关联的一或多个消失点，其中所述计算包括基于所估计的消失点来计算所述相机相对于所述目标对象的所述姿势。所述方法进一步包含检测所述图像内的所述边缘线特征。检测所述边缘线特征包括检测水平边缘线特征及垂直边缘线特征。检测所述边缘线特征包括检测地板、屋顶或门中的至少一者。估计所述一或多个消失点包括从所述水平边缘线特征估计水平消失点或从所述垂直边缘线特征估计垂直消失点中的至少一者。估计所述一或多个消失点包括估计一个消失点，且计算所述相机的所述姿势包括基于所述所估计的消失点从一组离散旋转状态估计由图像中的可检测目标的位置界定的所述相机相对于平面的旋转。估计所述一或多个消失点包括估计两个或两个以上消失点，且计算所述相机的所述姿势包括基于所述两个或两个以上消失点将所述相机的所述姿势计算为由图像中的可检测目标界定的相对于平面的摇摄、倾斜或横滚旋转矩阵中的至少一者。计算所述姿势包括计算所述横滚、所述摇摄及所述倾斜。所述方法进一步包含从耦合到相机的定向传感器获得与所述倾斜或所述摇摄中的至少一者相关的信息。所述方法进一步包含至少部分基于所述倾斜来确定所述横滚。

而且或替代地，此方法的实施方案可包含以下特征中的一或多者。所述方法进一步包含基于地理区域的地图数据独立于计算所述相机的所述姿势来确定所述地理区域内的所述目标对象的位置。所述方法进一步包含基于所述目标对象的位置及所述相机的所述姿势来估计所述地理区域内的所述相机的用户的位置。

一种用于估计相机姿势的实例系统包含：相机，其经配置以俘获包含目标对象的位置的图像；边缘提取器，其经配置以检测所述图像内的所述目标对象外部的边缘线特征；及相机姿势计算器，其经配置以基于所述边缘线特征来计算所述相机相对于所述目标对象的姿势。

此系统的实施方案可包含以下特征中的一或多者。所述系统进一步包含消失点估计器，其经配置以估计与所述边缘线特征相关联的一或多个消失点，其中所述相机姿势计算器进一步经配置以基于所述消失点来计算所述相机的所述姿势。所述边缘线特征包括水平边缘线特征及垂直边缘线特征。所述边缘线特征对应于检测地板、屋顶或门中的至少一者。所述消失点估计器进一步经配置以执行从所述水平边缘线特征估计水平消失点或从所述垂直边缘线特征估计垂直消失点中的至少一者。所述消失点估计器经配置以估计一个消失点，所述相机姿势计算器进一步经配置以基于所述一个所估计的消失点从一组离散旋转状态估计由图像中的可检测目标界定的所述相机相对于平面的旋转。所述消失点估计器经配置以估计两个或两个以上消失点，且所述相机姿势计算器进一步经配置以基于所述两个或两个以上消失点将所述相机的所述姿势计算为由图像中的可检测目标界定的相对于平面的摇摄、倾斜或横滚中的至少一者。所述相机姿势计算器经配置以计算横滚、摇摄及倾斜以计算所述相机的姿势。所述系统进一步包含耦合到所述相机的定向传感器，其中所述相机姿势计算器进一步经配置以从所述定向传感器获得与所述倾斜或所述摇摄中的至少一者相关的信息。所述相机姿势计算器进一步经配置以至少部分基于所述倾斜来确定所述横滚。

而且或替代地，此系统的实施方案可包含以下特征中的一或多者。所述系统进一步包含关注点(POI)检测器，其经配置以基于地理区域的地图数据独立于所述相机姿势计算器来确定所述地理区域内的所述目标对象的位置。所述系统进一步包含定位引擎，所述定位引擎经配置以基于所述目标对象的位置及所述相机的所述姿势来估计所述地理区域内的所述相机的用户的位置。

一种用于估计相机姿势的另一实例系统包含：一种用于俘获位置的图像的装置，其中所述图像包含目标对象；用于检测所述图像内的所述目标对象外部的边缘线特征的装置；及用于基于所述边缘线特征来计算所述用于俘获的装置相对于所述目标对象的姿势的装置。

此系统的实施方案可包含以下特征中的一或多者。所述方法进一步包含用于估计与边缘线特征相关联的一或多个消失点的装置，其中所述计用于计算的装置包括用于基于所述消失点来计算所述用于俘获的装置的所述姿势的装置。所述用于检测所述边缘线特征的装置包括用于检测水平边缘线特征及垂直边缘线特征的装置。所述用于检测所述边缘线特征的装置包括用于检测地板、屋顶或门中的至少一者的装置。所述用于估计所述一或多个消失点的装置包括用于从所述水平边缘线特征估计水平消失点的装置或用于从所述垂直边缘线特征估计垂直消失点的装置中的至少一者。所述用于估计所述一或多个消失点的装置包括用于估计一个消失点的装置，且所述用于计算所述用于俘获的装置的所述姿势的装置包括用于基于所述所估计的消失点从一组离散旋转状态估计由图像中的可检测目标界定的所述用于俘获的装置相对于平面的旋转的装置。所述用于估计所述一或多个消失点的装置包括用于估计两个或两个以上消失点的装置，且所述用于计算所述相机的所述姿势的装置包括用于基于所述两个或两个以上消失点将所述用于俘获的装置的所述姿势计算为由图像中的可检测目标界定的相对于平面的摇摄、倾斜或横滚中的至少一者的装置。所述用于计算所述用于俘获的装置的所述姿势的装置包括用于将所述用于俘获的装置的所述姿势计算为横滚、摇摄和倾斜的装置。所述系统进一步包含用于从耦合到所述用于俘获的装置的定向传感器获得与所述倾斜或所述摇摄中的至少一者相关的信息的装置。所述系统进一步包含用于至少部分基于所述倾斜来确定所述横滚的装置。

一种实例处理器可读存储媒体包含处理器可执行指令，所述处理器可执行指令经配置以致使处理器：获得经由相机俘获的位置的图像，其中所述图像包含目标对象及在所述目标对象外部的边缘线特征；及基于所述边缘线特征来计算所述相机相对于所述目标对象的姿势。所述处理器可读存储媒体可包含经配置以致使所述处理器进行以下操作的指令：估计与所述边缘线特征相关联的一或多个消失点；及基于所述消失点来计算所述相机的所述姿势。

一种实例方法包含：至少部分基于目标的图像中的关键点而检测所述目标，其中所述图像是在装置处俘获的；及至少部分基于所述图像中的所述目标外围的信息来估计所述装置的姿势。所述信息可包括建筑结构的边缘线，且所述估计可包括至少部分基于所述边缘线来确定消失点。

另一实例方法包含：至少部分基于在移动装置处可检测的信息来确定所述移动装置的大致位置；及至少部分基于所述移动装置处可观察到的结构边缘线来改进所述移动装置的所述大致位置。

此方法的实施方案可包含以下特征中的一或多者。所述信息包括视觉数据，且所述大致位置是基于由所述移动装置俘获的所述视觉数据的图像来确定。所述信息包括无线信号，且所述大致位置是基于所述无线信号的热图或所述无线信号的签名来确定。所述改进包括至少部分基于所述结构边缘线来确定所述移动装置的姿势。所述姿势是基于由所述移动装置俘获的所述结构边缘线的图像来确定。

另一实例方法包含：获得经由相机俘获的位置的图像，其中所述图像包含目标对象及线特征；估计与所述线特征相关联的一或多个消失点；及基于所述所估计的消失点来计算所述相机相对于所述目标对象的姿势。

此方法的实施方案可包含以下技术中的一或多者。所述目标对象包括所述线特征。所述线特征安置在所述目标对象外部。所述目标对象包括所述线特征中的至少一者且所述线特征中的至少一者安置在所述目标对象外部。所述估计包括估计仅一个消失点。所述估计包括估计至少两个消失点。

另一实例方法包含：获得经由相机俘获的位置的图像，其中所述图像包含目标对象及线特征；及基于所述目标对象及所述线特征来估计所述相机相对于位置的地图所面向的方向。

此方法的实施方案可包含以下特征中的一或多者。所述目标对象包括所述线特征。所述线特征安置在所述目标对象外部。

本文所述的项目及/或技术可提供以下能力中的一或多者以及未提及的其它能力。例如在关键点的数量和/或放置不足以使用先前的技术进行姿势估计时，可确定二维地图中的相机姿势的稳健估计。可使用一或多个水平消失点来估计相机旋转。可不管所分析的线中的缺陷来执行估计。可提高例如移动装置的定位准确度。可提供其它功能且根据本发明的每一实施方案不一定提供任何特定能力，更不要说提供所论述的所有所述能力。此外，可有可能通过除了所述的手段之外的手段来实现上述效果，且所述的项目/技术可能不一定产生所述的效果。

附图说明

图1是无线电信系统的示意图。

图2是图1中展示的移动台的一个实施例的组件的框图。

图3是用于基于外围信息来估计相机姿势的系统的框图。

图4是用于基于视觉的室内定位的图3中展示的系统的应用的说明性视图。

图5是用于基于在图像内检测到的会聚边缘来估计与图像相关联的旋转矩阵的系统的框图。

图6A到6B是用于如本文所描述的相机姿势估计的实例图像。

图7是由本文中所描述的相机姿势估计技术利用的坐标变换的说明性视图。

图8A到8B是图7中展示的坐标变换的应用的曲线图。

图9是利用基于视觉的定位的室内定位系统的框图。

图10是估计对应于图像的相机姿势的过程的框流程图。

图11是计算机系统的实例的框图。

具体实施方式

本文中所描述的是用于估计与对象的图像相关的相机姿势或方位的系统和方法。虽然本文在基于地标的室内定位系统的上下文中描述各种实施例，但本文中所描述的系统和方法可更一般地扩展到其中相对于在由对应相机俘获的图像中出现的对象来合意地估计相机姿势或方位的任何情形。用于定位中的对象和/或相关联的用户位置可在内部或外部。在一些实施例中，可相对于从除图像中出现的对象之外的信息估计的相机的位置来估计相机姿势或方位。举例来说，可使用来自卫星定位系统的测量值和/或网络测量值(例如，通过比较热图或签名数据等)来获得初始所估计的用户位置。此初始估计可随后基于图像中的所捕获图像及检测到的边缘线特征进行改进，如本文所描述。

本文中所描述的系统和方法经由在无线通信系统中操作的一或多个移动装置而操作。参看图1，无线通信系统10包含一或多个基站收发器(BTS)(在这里是一个BTS 14)，及无线接入点(AP)16。BTS 14及AP 16为在本文中被称为移动装置12的多种无线通信装置提供通信服务。由BTS 14和/或AP 16服务的无线通信装置可包含(但不限于)个人数字助理(PDA)、智能电话、例如膝上型计算机、桌上型计算机或平板计算机等计算装置、汽车计算系统等，不论是目前存在的还是将来开发的。

系统10可支持多个载波(不同频率的波形信号)上的操作。多载波发射器可在所述多个载波上同时发射经调制信号。每一经调制信号可为码分多址(CDMA)信号、时分多址(TDMA)信号、正交频分多址(OFDMA)信号、单载波频分多址(SC-FDMA)信号等。每一经调制信号可在不同载波上发送且可载运导频、开销信息、数据等。

BTS 14及AP 16可经由天线与系统10中的移动装置12无线地通信。BTS 14也可被称作基站、节点B、演进型节点B(eNB)等。AP 16也可被称作接入节点(AN)、热点等。BTS 14经配置以经由多个载波与移动装置12通信。BTS 14可提供用于相应的地理区域的通信覆盖，例如小区。BTS 14的小区可依据基站天线而被分割为多个扇区。

系统10可包含仅宏基站14或其可具有不同类型的基站14，例如宏基站、微微基站和/或毫微微基站等。宏基站可覆盖相对大的地理区域(例如，数公里半径)且可允许具有服务预订的终端进行不受约束的接入。微微基站可覆盖相对小的地理区域(例如，微微小区)且可允许具有服务预订的终端进行不受约束的接入。毫微微或归属基站可覆盖相对小的地理区域(例如，毫微微小区)且可允许与所述毫微微小区(例如，家中的用户的终端)具有关联的终端进行受约束的接入。

如系统10中进一步展示的，移动装置12定位在区域40内，例如大型购物广场(在图1中展示的实例中)、学校或其它室内区域或室外区域，其或其一部分可由位置背景识别符(LCI)识别。AP 16定位在区域40内且提供用于区域40的相应区域(房间、商店等)的通信覆盖。到系统10中的AP 16的接入可为开放的，或替代地可使用口令、加密密钥或其它证书来保护接入。

移动装置12可分散在整个系统10中。移动装置12可被称为终端、接入终端(AT)、移动台、用户设备(UE)、订户单元等。移动装置12可包含上文所列的各种装置和/或任何其它装置。

如图1中进一步展示的，移动装置12可例如通过SPS卫星20从卫星定位系统(SPS)接收导航信号。SPS卫星20可与单一多个全球导航卫星系统(GNSS)或多个此类系统相关联。与卫星20相关联的GNSS可包含(但不限于)全球定位系统(GPS)、伽利略、格洛纳斯、北斗(指南针)等。SPS卫星20还被称作卫星、航天器(SV)等。

如上文所论述，无线通信系统10可包含一或多个基站收发器(BTS)。因此，系统10可包括比图1中所说明的更多或更少数目的BTS。在一些实施例中，移动装置12仅例如在不存在BTS时或在BTS不在范围内时与一或多个卫星20通信。在其它实施例中，移动台12例如在无法准确地接收来自卫星20的信号时且/或在系统10中存在一或多个BTS时不与任何卫星20通信。

系统10内的移动装置12可基于视野内的其它通信实体和/或可用于移动装置12的信息而使用各种技术来估计其在系统10内的当前位置。举例来说，移动装置12可使用从与一或多个无线局域网(LAN)、利用例如蓝牙或紫蜂等联网技术的个域网(PAN)、SPS卫星20相关联的AP 16获得的信息和/或从地图服务器24或区域服务器获得的地图约束数据以及如下文进一步详细描述的额外信息来估计其位置。

作为另一实例，移动装置12可在视觉上估计其相对于定位在区域40内的各种地标18(例如，店面标识或其它标记)的已知位置的位置。如系统10所示，移动装置12俘获移动装置12的视野内的各种地标18的图像(经由相机)。基于这些图像，移动装置12可使用各种技术来估计其位置。举例来说，移动装置12可与对象服务器22通信以识别地标18且确定它们的位置。对于给定室内区域，移动装置12还可基于所述区域的地图来确定地标18的位置。所述地图或其部分可由移动装置12预先存储且/或在需要时从地图服务器24或系统10内的另一实体获得。基于地标18的位置以及从BTS 14、AP 16或移动装置12自身获得的其它信息，移动装置12估计其在区域40内的位置。作为另一实例，可分析由移动装置12俘获的一或多个地标18的图像以估计所述图像内的地标18的姿势或方位。此所估计的姿势或方位与经由与对象服务器22的通信、用户输入或其它机构而提供的相关地标18的身份的组合用于估计移动装置12相对于地标18的方向及粗略位置。此信息可与地标的所确定的位置和/或其它获得的信息组合以估计移动装置12的位置。

接下来参看图2，移动装置12的一个实例包含无线收发器121，所述无线收发器在无线网络上经由无线天线122传送及接收无线信号123。无线收发器121通过无线收发器总线接口120而连接到总线101。虽然在图2中展示为相异的组件，但无线收发器总线接口120还可为无线收发器121的一部分。此处，移动装置12被说明为具有单一无线收发器121。然而，移动装置12可替代地具有多个无线收发器121及无线天线122以支持多个通信标准，例如WiFi、CDMA、宽带CDMA(WCDMA)、长期演进(LTE)、蓝牙等。

移动装置12进一步包含连接到总线101的定向传感器或传感器132。定向传感器132经配置以提供移动装置12的定向的指示且可包含(例如)一或多个加速度计、陀螺仪和/或磁力计。

移动装置12还包含经由SPS天线158接收SPS信号159(例如，来自SPS卫星20)的SPS接收器155。SPS接收器155整体或部分地处理SPS信号159且使用这些SPS信号159来确定移动装置12的位置。通用处理器111、存储器140、DSP 112和/或专用处理器(未图示)也可用于整体或部分地处理SPS信号159且/或结合SPS接收器155来计算移动装置12的位置。使用存储器140或寄存器(未图示)来执行对来自SPS信号159或其它位置信号的信息的存储。虽然在图2中仅展示一个通用处理器111、一个DSP 112及一个存储器140，但移动装置12可使用一个以上这些组件中的任一者、一对或全部。

与移动装置12相关联的通用处理器111及DSP 112直接地或通过总线接口110连接到总线101。另外，与移动装置12相关联的存储器140直接地或通过总线接口(未图示)连接到总线101。总线接口110在实施时可与和其相关联的通用处理器111、DSP 112和/或存储器140一起集成或与其独立。

存储器140可包含将功能存储为一或多个指令或代码的非暂时性计算机可读存储媒体(或媒体)。可构成存储器140的媒体包含(但不限于)RAM、ROM、闪存、光盘驱动器等。由存储器140存储的功能是由通用处理器111、专用处理器或DSP 112来执行。因此，存储器140是存储经配置以致使处理器111和/或DSP 112执行所描述的功能的软件170(编程代码、指令等)的处理器可读存储器和/或计算机可读存储器。或者，移动装置12的一或多个功能可整体或部分地在硬件中执行。

移动装置12进一步包含俘获移动装置12附近的图像和/或视频的相机135。相机135包含光学系统160，所述光学系统包含一或多个透镜，所述一或多个透镜共同地界定从其俘获图像的相机135的视野。光学系统160的透镜和/或其它组件可收容在移动装置12内和/或移动装置12之外，例如，以作为透镜附件或其类似者。光学系统160与图像俘获单元162通信地耦合。图像俘获单元162包含电荷耦合装置(CCD)、互补型金属氧化物半导体(CMOS)装置和/或将光学图像转换为电信息的其它技术，所述电信息被传送到移动装置12的一或多个处理实体，例如通用处理器111和/或DSP 112。在一些实施例中，图像俘获单元162经配置以俘获可见光谱外部的能量，例如红外(IR)光。移动装置可进一步包含发射器，例如可见闪光灯和/或IR发射器。

虽然移动装置12在此处包含一个相机135，但可使用多个相机135，例如沿着移动装置12的前侧安置的面向前面的相机及沿着移动装置12的背侧安置的面向背面的相机，其可相互依赖地或彼此独立地操作。相机135独立地或通过总线接口110连接到总线101。举例来说，在相机135不具有独立的图像处理器的情况下，相机135可通过总线101与DSP 112通信，以便处理由图像俘获单元162俘获的图像。另外，相机135可与图2中未展示的其它组件相关联，例如用于捕获与给定的所俘获视频段相关联的音频的麦克风、经配置以检测图像的方向性或姿态的传感器等。相机135可另外与通用处理器111和/或存储器140通信以产生或以其他方式获得与所俘获的图像或视频相关联的元数据。与图像相关联或有联系的元数据含有关于图像的各种特性的信息。举例来说，元数据包含俘获图像的时间、日期和/或位置、图像尺寸或分辨率、用于俘获图像的相机135和/或移动装置12的身份等。由相机135利用的元数据以合适的格式产生和/或存储，例如可交换图像文件格式(EXIF)标签或其类似者。相机135还可与无线收发器121通信以促进将由相机135俘获的图像或视频发射到相关联的通信网络内的一或多个其它实体。

虽然移动装置12在图2中展示为具有上文所描述的组件中的每一者，但在一些实施例中，可从移动装置12省略所说明的及所描述的组件中的一或多者。举例来说，在一些实施例中可省略元件120到123和/或150、155、158、159中的一或多者。此外，本文中所描述的功能性或处理中的一些或全部可由如图2中所示和/或上文所描述的移动装置12或由与移动装置12分开的装置或组件执行。举例来说，可将在移动装置12处俘获的图片或其它信息发射到服务器以进行处理。所述服务器可随后基于所接收的信息来估计相机姿势，且在一些实施例中可将所估计的姿势发射回到移动装置12。在一些实施例中，所述服务器可包含关于移动装置12所描述的和/或所说明的经配置以估计相机姿势且/或接收和/或发射信息的元件

接下来参看图3，用于基于外围信息来估计相机姿势的系统200包含相机135、特征提取器202、相机姿势计算器204及关注点(POI)检测器206。特征提取器202、相机姿势计算器204及POI检测器206可实施于硬件中(例如，处理器111或另一处理器或硬件元件中)、软件中(例如，作为计算机可执行代码，所述计算机可执行代码作为软件170存储在存储器140上且由通用处理器111执行)，或实施于硬件与软件的组合中。特征提取器202接收由相机135俘获的图像且提取与所述图像相关联的关键点和/或其它图像特征。这些特征由相机姿势计算器204利用以确定与所述图像相关联的大致相机姿势或方位，如下文所描述。

POI检测器206利用信息的一或多个源来检测所捕获图像内的POI或其它目标对象。举例来说，POI检测器206可利用从特征提取器202提取的特征来检测所述图像内的对象。或者，可先验地将给定图像内的对象的身份和/或位置(例如)作为用户输入提供给POI检测器206。在此情况下，POI检测器206可辅助特征提取器202识别对应于所述图像内的对象和/或外围图像特征的图像特征。

在视觉辨识技术(例如用于大型购物广场中的基于视觉的定位的视觉辨识技术)的情况下，POI检测器206将测试图像(例如，店面图像)与一组已知参考图像进行比较以检测POI。所述参考图像可为独立图像，或替代地所述参考图像可更一般地指代对应于标识、标准店面等的一组已知的品牌专有的视觉签名(VS)。一般使用计算机视觉技术(例如，尺度不变特征变换(SIFT)算法或其类似者)来执行检测。虽然这些技术提供用于检测POI的充分结果，但出于多种原因，基于经由这些技术获得的关键点来执行姿势或相机方位估计是具挑战性的。举例来说，所检测到的目标可能占据测试图像中的较小区，关键点的数目可能不足以允许对相机姿势估计的稳健的随机样本一致(RANSAC)，关键点的位置可能沿着一个旋转轴共线，以及其它困难。这不同于典型的增强现实(AR)使用情况，其中用于姿势估计的图像含有良好地分布在图像内的大量关键点并且目标对象一般显示大量的纹理细节。因为在室内定位应用或其类似者的背景下俘获的图像一般具有集中在目标中间且未广泛分布在图像内的较少的关键点，所以对这些图像的姿势估计呈现出较高的困难度及复杂度。

此处，相机姿势计算器204经配置以使用来自相机135的图像来估计相机姿势。所述图像可具有很少及局部化的对象关键点(例如，与图像的小部分内的检测到的对象相关联的关键点等)，且姿势计算器204可通过使用所述对象周围的外围信息来估计相机姿势。这样，POI检测器206的操作与相机姿势计算器204的操作解耦。因此，POI检测器206经配置以基于计算机视觉技术来检测图像内的POI(或其它图像目标，例如店面标识)，而相机姿势计算器204经配置以基于例如来自建筑结构或其类似者的线及边缘等信息来计算与图像相关联的相机姿势。姿势计算可由相机姿势计算器204独立于POI检测器206的操作来执行，以使得相机姿势计算器204不利用从POI检测器206导出的任何信息来确定与给定图像相关联的相机姿势，且反之亦然。在其它实施例中，POI检测器206及相机姿势计算器204可一起实施且/或相机姿势计算器204可利用从POI检测器206导出的任何信息来确定与给定图像相关联的相机姿势，且反之亦然。

图4中的图220说明用于基于视觉的室内定位系统的系统200的实例实施方案。如图220中所示，将由用户持着的相机135的视野中的店面检测为用于定位或位置服务的视觉提示。假定用户与相机面向相同的方向，基于相对于店面的墙壁的相机旋转角度来推断2D地图上的用户方位。此角度还可用于改进相关联区域内的用户的可能的位置。在图4中展示的实例中，商店及商店处于一地点。标识225安置在GAP商店的前方，且标识230安置在ALDO商店的前方。

图5说明用于基于图像内检测到的会聚边缘线来估计与图像相关联的旋转矩阵的系统300。系统300包含相机135、边缘提取器302、消失点估计器304及旋转矩阵估计模块306。可将边缘提取器、消失点估计器304及旋转矩阵计算模块306实施为硬件、软件或硬件或软件的组合。可将系统300实施为系统200的子组件；举例来说，边缘提取器302可至少部分由特征提取器202及消失点估计器304实施，且旋转矩阵估计模块306可至少部分由相机姿势计算器204实施。

给定来自相机135的图像，系统300例如以相对于图像中的一或多个对象的与相机相关联的旋转矩阵的形式来计算对应于所述图像的单应性。如果用于俘获参考图像和/或测试图像的相机的固有参数是已知的，那么可执行对所述旋转矩阵的精确计算。然而，如果这些相机参数不是已知的，那么对所述旋转矩阵的计算变得更加困难。此处，旋转矩阵估计模块306基于图像内所识别的外围特征(例如，边缘特征)以不同的准确度提供相对于所捕获图像中的表面的相机旋转的估计。

如上文所描述，可独立于对象或POI检测来执行如由系统300执行的相机姿势估计。举例来说，如果相机135指向店面，那么系统300可在不知晓特定店面的身份的情况下确定相机与所述店面之间的方位角度。相机姿势估计一旦完成便可与和相机视野内的POI相关的信息组合，以提供对区域内的相机135的位置的估计。相机的视野内的POI可作为用户输入而提供且/或通过一或多个计算机视觉算法来检测。此外，可在不影响由系统300执行的相机姿势估计的情况下指定或不指定给定图像内的POI的特定位置。

参看图6A到6B，图像400、402说明可针对其执行相机姿势估计的实例位置。虽然图像400、402说明店面位置，但本文中所描述的技术可应用于任何合适的位置。举例来说，可在以下情况应用本文中所描述的技术：在图像中的可检测目标(例如，店面上提供的品牌标识等)放置在所述位置的墙壁上或平行于所述墙壁的平面中时，如由图像402中的商店标识401所展示；在所述可检测目标在平面表面上或在并行平面表面上，且相机角度(倾斜及横滚)是所述位置的可检测目标的平面与相机图像的平面之间的角度时；和/或在所述位置的结构具有已知或共同的布局(例如，曼哈顿布局)(例如)以使得所有边缘线具有充分水平或垂直定向时。在笔直观看(即，垂直于显示标识225的标志)的情况下，GAP商店的标识225是GAP标识的外观。

给定对应于以上假定的结构，系统300基于图像内的位置周围的边缘线来推断相机旋转角度。这些边缘线可包含屋顶、地板、门的边缘及其它边缘线特征。通过边缘提取器302提取(检测)由相机俘获的给定图像内的边缘线。从这些边缘线，消失点估计器304尝试确定所述图像内描绘的平行边缘线的一或多个消失点。实例消失点是图像402中的一些边缘线的水平消失点404。因此，在POI检测之后，作为使用来自POI(例如，图像400、402中的商店标识)的关键点来用于姿势估计的代替，旋转矩阵估计模块306使用所检测到的POI周围的屋顶、地板及门的边缘来推断相机旋转角度。

旋转矩阵估计模块306可如下从与图像相关联的消失点导出对应于所述图像的旋转矩阵。对于针孔相机，可如下在具有旋转分量R及平移分量T的均匀坐标中表示从欧几里得3D空间到图像的透视投影：

${\mathrm{\λ}}_i\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=K\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right]\begin{array}{c}K=\left[\begin{array}{ccc}{\mathrm{\α}}_u& s& u_0\\ 0& {\mathrm{\α}}_v& v_0\\ 0& 0& 1\end{array}\right]\\ R=R_{\mathrm{pan}}*R_{\mathrm{tilt}}*R_{\mathrm{roll}}\end{array}$

在以上等式中，λ_i是缩放因数，(u_i，v_i)是图像内的位置的2D图像坐标，(X_i，Y_i，Z_i)是这些位置的3D现实世界坐标，且K及其分量是相机专有参数的矩阵。通过图7中的图410来说明以上坐标变换。

如上文中另外提到的，R是相机相对于图像的旋转角度。R是用摇摄、倾斜及横滚参数来定义，其如下定义：

横滚：通过围绕x轴的旋转横滚来给出y-z平面中的定向。此处，由 $\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left(\mathrm{roll}\right)& -\sin \left(\mathrm{roll}\right)\\ 0& \sin \left(\mathrm{roll}\right)& \cos \left(\mathrm{roll}\right)\end{array}\right]$ 给出横滚R_roll。

倾斜：通过围绕y轴的旋转倾斜来给出x-z平面中的定向。此处，由 $\left[\begin{array}{ccc}\cos \left(\mathrm{tilt}\right)& 0& \sin \left(\mathrm{tilt}\right)\\ 0& 1& 0\\ -\sin \left(\mathrm{tilt}\right)& 0& \cos \left(\mathrm{tilt}\right)\end{array}\right]$ 给出倾斜R_tilt。

摇摄：通过围绕z轴的旋转摇摄来给出x-y平面中的定向。此处，由 $\left[\begin{array}{ccc}\cos \left(\mathrm{pan}\right)& -\sin \left(\mathrm{pan}\right)& 0\\ \sin \left(\mathrm{pan}\right)& \cos \left(\mathrm{pan}\right)& 0\\ 0& 0& 1\end{array}\right]$ 给出摇摄R_pan。

从这些定义，可如下将R表达为：

$R=\left(\begin{array}{ccc}\cos \left(\mathrm{pan}\right)\cos \left(\mathrm{tilt}\right)& \cos \left(\mathrm{pan}\right)\sin \left(\mathrm{tilt}\right)\sin \left(\mathrm{roll}\right)-\sin \left(\mathrm{pan}\right)\cos \left(\mathrm{roll}\right)& \cos \left(\mathrm{pan}\right)\sin \left(\mathrm{tilt}\right)\cos \left(\mathrm{roll}\right)+\sin \left(\mathrm{pan}\right)\sin \left(\mathrm{roll}\right)\\ \sin \left(\mathrm{pan}\right)\cos \left(\mathrm{tilt}\right)& \sin \left(\mathrm{pan}\right)\sin \left(\mathrm{tilt}\right)\sin \left(\mathrm{roll}\right)+\cos \left(\mathrm{pan}\right)\cos \left(\mathrm{roll}\right)& \sin \left(\mathrm{pan}\right)\sin \left(\mathrm{tilt}\right)\cos \left(\mathrm{roll}\right)-\cos \left(\mathrm{pan}\right)\sin \left(\mathrm{roll}\right)\\ -\sin \left(\mathrm{tilt}\right)& \cos \left(\mathrm{tilt}\right)\sin \left(\mathrm{roll}\right)& \cos \left(\mathrm{tilt}\right)\cos \left(\mathrm{roll}\right)\end{array}\right)$

在所述图像内检测到的消失点被界定为沿着三个正交方向。此处，图像被界定为具有三个消失点：x轴上的(u₁，v₁)、y轴上的(u₂，v₂)及深度或z轴上的(u₃，v₃)。对于这些消失点，导出以下等式：

$\left[\begin{array}{ccc}{\mathrm{\λ}}_1{u}_1& {\mathrm{\λ}}_2{u}_2& {\mathrm{\λ}}_3{u}_3\\ {\mathrm{\λ}}_1{v}_1& {\mathrm{\λ}}_2{v}_2& {\mathrm{\λ}}_3{v}_3\\ {\mathrm{\λ}}_1& {\mathrm{\λ}}_2& {\mathrm{\λ}}_3\end{array}\right]=K\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\\ 0& 0& 0\end{array}\right]$

假定相机具有正方形像素及零歪斜，且基于将λ_i定义为任意缩放因数，进一步导出以下等式：

$\left[\begin{array}{ccc}{\mathrm{\λ}}_1{u}_1& {\mathrm{\λ}}_2{u}_2& {\mathrm{\λ}}_3{u}_3\\ {\mathrm{\λ}}_1{v}_1& {\mathrm{\λ}}_2{v}_2& {\mathrm{\λ}}_3{v}_3\\ {\mathrm{\λ}}_1& {\mathrm{\λ}}_2& {\mathrm{\λ}}_3\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\α}& 0& u_0\\ 0& \mathrm{\α}& v_0\\ 0& 0& 1\end{array}\right]R$

从以上等式，根据以下等式导出旋转角度R：

$R=\left[\begin{array}{ccc}{\mathrm{\λ}}_1(u_1-u_0)/\mathrm{\α}& {\mathrm{\λ}}_2(u_2-u_0)/\mathrm{\α}& {\mathrm{\λ}}_3(u_3-u_0)/\mathrm{\α}\\ {\mathrm{\λ}}_1(v_1-v_0)/\mathrm{\α}& {\mathrm{\λ}}_2(v_2-v_0)/\mathrm{\α}& {\mathrm{\λ}}_3(v_3-v_0)/\mathrm{\α}\\ {\mathrm{\λ}}_1& {\mathrm{\λ}}_2& {\mathrm{\λ}}_3\end{array}\right]$

在上文中，R另外对应于矩阵R＝[r1 r2 r3]，其中分量r1、r2、r3中的每一者对应于R的列。从R的此表示，给定三个消失点(u₁，v₁)、(u₂，v₂)、(u₃，v₃)，可估计旋转矩阵及相关联的旋转角度。选择在i＝1，2，3下的参数λ_i，以使R的每一列具有单位范数。

根据上文，给定图像内所识别的两个消失点，可计算相机旋转角度、摇摄、倾斜及横滚的精确计算。举例来说，返回参看图6B中的图像402，可相对于会聚到图像402的右边的水平线405的水平消失点404及在图像402上方会聚的垂直线407的垂直消失点406来执行计算。取决于所述图像内的边缘线特征，还可识别并使用第二水平消失点。当3D坐标轴(所述图像中的x，y，z及u，v，深度)是垂直时，如果已知两个消失点，那么可基于所述已知的消失点来计算第三消失点的位置，例如r3＝r1×r2。

为了旋转矩阵的归一化，进行以下定义：

$\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{R}^2(i,j)=1$

对于其中相机的水平轴保持平行于地面的图像来说，摇摄＝0。在此情况下，可如下简化R：

$R=\left[\begin{array}{ccc}\cos \left(\mathrm{tilt}\right)& \sin \left(\mathrm{tilt}\right)\sin \left(\mathrm{roll}\right)& \sin \left(\mathrm{tilt}\right)\cos \left(\mathrm{roll}\right)\\ 0& \cos \left(\mathrm{roll}\right)& \sin \left(\mathrm{roll}\right)\\ -\sin \left(\mathrm{tilt}\right)& \cos \left(\mathrm{tilt}\right)\sin \left(\mathrm{roll}\right)& \cos \left(\mathrm{tilt}\right)\cos \left(\mathrm{roll}\right)\end{array}\right]$

对于其中在x-y平面中的二维地图中计算位置的实施方案来说，估计横滚角度。此处，利用以上计算来确定横滚角度，所述横滚角度是沿着围绕x轴旋转的y-z平面的旋转。通过图8A到8B中的图500、502展示此旋转的实例。

可在一组离散的相机旋转状态内给出所述估计。举例来说，在给定可能的倾斜状态(例如，相对于地面向上、与地面平行或相对于地面向下倾斜(或(例如)+15、0或-15度))的情况下，可估计横滚角度。具体来说，基于所确定的图像特征、相机传感器数据或其类似者来估计相机的倾斜角度或所述倾斜角度的正负号(例如，正(向上)倾斜或负(向下)倾斜)。基于此估计，采用以下定义：

倾斜＝sin^-1(-1/λ₁)

横滚＝cos^-1(λ₂(v2-v0)/a)

假定倾斜及横滚角度在-90到+90度内，λ₁的正负号由(u₁-u₀)确定，且λ₂的正负号由(v₂-v₀)确定。此提供对横滚的粗略估计(例如，从左边或右边看)。如果仅检测到垂直方向上的消失点，那么可以与上文类似的方式来确定所述横滚的范围。

除了上文所描述的技术之外，可至少部分经由与相机相关联的定向传感器(例如，加速度计、陀螺仪等)来确定相机相对于图像的旋转。因此，在以上实例中，可从作为图像数据的补充或替代的加速度数据来计算相机相对于地球的倾斜或倾斜方向(例如，朝上或朝下)。举例来说，使用来自传感器的信息而确定的重力向量可用于计算相机的倾斜和/或摇摄，如上文在图8中展示及描述。另外，可通过除图像自身之外的其它手段来获得用于确定相机相对于图像的旋转的信息的至少一部分。举例来说，此类信息可从如上文提供的网络测量值获得(例如，通过将网络测量值与热图或签名数据进行比较)。

作为另一实例，对于在其中识别多个目标或表面的图像，与所检测到的目标和/或表面中的每一者相关的信息可用于进一步改进相机的旋转估计。举例来说，对描绘两个或两个以上非平行墙壁(例如相交的墙壁或内部或外部拐角)的图像的处理可通过提取对应于所检测到的墙壁中的每一者的边缘线特征及消失点的信息来进行。对应于所检测到的边缘线特征及消失点中的每一者的组合信息可随后用于提高相机的旋转估计的准确性，如上文所描述。

可针对其中由相机135俘获的任何给定图像含有一个所关注对象的情形应用上文所描述的技术。如果多个对象存在于图像中，且所述对象与周围环境中的不同墙壁相关联，那么对应于所述对象中的每一者的消失点可被识别且用于辅助上文所描述的计算。

通过利用上文所描述的技术，可相对于2D地图执行相机姿势的稳健的粗略估计，甚至在来自计算机视觉检测的关键点的数目和/或放置自身不足以进行姿势估计时也如此。可仅使用水平消失点或多个消失点来执行相对于店面或其它目标的相机旋转的粗略估计。此外，所述估计可包容所检测到的线中的一定量的缺陷。对于其中使用地图的定位目的，本文中所描述的估计导致在定位准确度上的显著提高。

如上文所论述，在检测到店面标志或其它POI之后，基于POI周围的线(例如，地板、屋顶等的边缘)而不是POI自身来执行姿势估计。可基于平行于所检测到的图像的平面的门、屋顶和/或地板线来估计位置的相机视野。在已知相关的相机参数时，准确的消失点位置可用于计算摇摄及倾斜角度。在相机参数是未知时，可执行粗略估计(例如，来自左边、右边、顶部或底部的视野)。

图9说明可利用如上文所描述的相机姿势估计技术的定位系统600。系统600通过在视觉上搜索已知对象且将其与地图上的POI匹配来操作，可如此确定区域内的用户的位置。举例来说，系统600可通过在视觉上搜索不同零售商的标识、使所述标识与大型购物广场内的位置匹配且基于所确定的位置来确定用户的位置而估计大型购物广场内的用户的位置。或者，用户可所述区域中的各种位置的图像以及位于所述图像中的每一者内的POI的识别。

为了利用系统600，用户激活与待定位的装置相关联的相机且经由相机俘获其周围环境的一或多个图像(例如通过围绕所述周围环境摇摄装置，在所述装置静止时捕获一或多个图像等)。所得的相机输入602被传递到中间定位模块606，所述中间定位模块从相机视野识别商店标识和/或其它对象，且基于包含POI或视觉签名数据库、与区域相关联的地图约束数据等的辅助数据604将这些对象与POI进行比较。可基于图像特征提取及匹配和/或任何其它技术来执行对象识别。在匹配的对象中遇到问题的情况下，可给予用户反馈以用于重新获得相机输入602，例如放慢摇摄、摇摄较大的半径等。

中间定位模块根据辅助数据604使检测到的POI与其位置匹配。所述中间定位模块还确定与POI的相应图像相关联的旋转角度，如上文所论述。基于这些位置、相关联的相机旋转角度及与辅助数据604相关联的地图约束条件，估计所述装置的中间位置。举例来说，可基于检测到的POI从其是可见的可能的区、基于地图约束条件、相机观看所述POI所处的角度及所述POI的已知位置来估计用户位置。其它技术也是可能的。此中间位置被提供给定位引擎610，所述定位引擎将所述中间位置与其它定位位置数据进行组合，所述其它定位位置数据例如为从一或多个定向传感器612(例如，加速度计、陀螺仪、指南针等)获得的测量值、经由基于网络的定位模块614从Wi-Fi网络或其它无线通信网络获得的网络测量值(例如，接收信号强度指示(RSSI)、往返时间(RTT)等)，或其类似者。还可基于(例如)相机图像内的POI的大小、相机的缩放因数、相机的定向、POI的已知大小等来计算或估计相机与相应的检测到的POI之间的距离，且将其进一步提供给定位引擎610。定位引擎610利用组合的定位位置数据来获得装置的最终定位估计。虽然定位引擎610展示为从中间定位模块606、定向传感器612及基于网络的定位模块614获得信息，但定位引擎610可从少于所有这些源获得数据，且/或定位模块610可从未说明的其它源获得数据。

系统600可由移动装置12实施。举例来说，定向传感器612可为定向传感器132，且相机输入602、地图约束条件/辅助数据604、中间定位模块606、定位引擎610及基于网络的定位模块614可由通用处理器111和/或DSP 112、存储器140及相机135提供和/或实施。

参看图10，进一步参考图1到9，估计对应于图像的相机姿势的过程700包含所展示的阶段。然而，过程700仅为一实例并且没有限制性。例如，可以通过添加、移除、重新布置、组合及/或并行地执行各阶段来更改过程700。对所展示及描述的过程700的另外其它更改也是可能的。

在阶段702处，使用相机135俘获例如区域内的店面等位置的图像。所述图像包含目标对象(例如，店面标识)及所述目标对象外部的边缘线特征。外围边缘线特征是(例如，由边缘提取器302)从目标对象周围的位置(例如，地板或屋顶、门、窗等)的特征导出的。

在阶段704处，例如通过消失点估计器304来估计与来自在阶段702处俘获的图像的边缘线特征相关联的一或多个消失点。

在阶段706处，基于在阶段702处检测到的边缘特征和/或在阶段704处所估计的一或多个消失点来计算(例如，通过旋转矩阵计算模块(例如，模块306))相机135相对于目标对象的姿势或方位。在阶段706处执行的计算的本质可取决于在阶段704处识别的消失点的数目。举例来说，如果在阶段704处识别一个消失点，那么可在阶段706处执行相机旋转的粗略估计。或者，如果在阶段704处识别两个或两个以上消失点，那么可在706处以较高精度计算相机旋转。还可在阶段706处的计算中利用例如由定向传感器提供的加速度数据等其它信息，如上文所论述。在阶段706处完成计算后，可即刻利用计算出的相机姿势来提高室内定位准确度和/或用于其它目的，如上文所提供。

可利用如图11中所说明的计算机系统800来至少部分实施先前所描述的计算机化的装置(例如图2、3及9中展示的装置)的组件和/或功能性。图11提供计算机系统800的一个实施例的示意性说明，所述计算机系统可执行由如本文所描述的各种其它实施例提供的方法且/或可充当移动装置或其它计算机系统。图11提供对各种组件的一般化说明，在适当时可利用所述组件中的任一者或全部。因此，图11大致说明可如何以相对分离或相对更整合的方式实施个别系统元件。

将计算机系统800展示为包括可经由总线805电耦合(或在适当时可以其它方式通信)的硬件元件。所述硬件元件可包含一或多个处理器810，包含(不限制)一或多个通用处理器和/或一或多个专用处理器(例如，数字信号处理芯片、图形加速处理器，和/或类似物)；一或多个输入装置815，其可包含(不限制)鼠标、键盘和/或类似物；以及一或多个输出装置820，其可包含(不限制)显示装置、打印机和/或类似物。处理器810可包含(例如)智能硬件装置，例如中央处理单元(CPU)(例如由公司或制成的中央处理单元)、微控制器、ASIC等。还可利用其它处理器类型。

计算机系统800可进一步包含(且/或与之通信)一或多个非暂时性存储装置825，其可包括(不限制)本地和/或网络可存取存储装置，且/或可包含(不限制)磁盘驱动器、驱动阵列、光学存储装置、固态存储装置，例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，其可为可编程的、闪存可更新的，和/或类似物。此些存储装置可经配置以实施任何适当的数据存储装置，包含(不限制)各种文件系统、数据库结构和/或类似物。

计算机系统800还可能包含通信子系统830，所述通信子系统可包含(不限制)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置和/或芯片组(例如，Bluetooth^TM装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)，和/或类似物。通信子系统830可准许与网络(例如，下文所描述的网络(举一个实例))、其它计算机系统和/或本文中所描述的任何其它装置交换数据。在许多实施例中，计算机系统800将进一步包括(在这里)工作存储器835，其可包含如上文所描述的RAM或ROM装置。

计算机系统800还可包括展示为当前位于工作存储器835内的软件元件，包含操作系统840、装置驱动器、可执行库和/或其它代码，例如一或多个应用程序845，所述应用程序可包括由各种实施例提供的计算机程序，且/或可经设计以实施由其它实施例提供的方法且/或配置由其它实施例提供的系统，如本文中所描述。仅举例来说，本文中所描述的一或多个过程可能实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令。此类代码和/或指令可用于配置和/或调适通用计算机(或其它装置)来根据所描述的方法执行一或多个操作。

一组这些指令和/或代码可能存储在计算机可读存储媒体上，例如上文所描述的存储装置825。在一些情况下，存储媒体可能并入计算机系统内，例如系统800。在其它实施例中，存储媒体可能与计算机系统分开(例如，可移除媒体，例如压缩光盘)，且/或提供在安装包中，使得存储媒体可用其上存储的指令/代码来编程、配置和/或调适通用计算机。这些指令可能采取可由计算机系统800执行的可执行代码的形式，且/或可能采取源和/或可安装代码的形式，其在计算机系统800上编译和/或安装后(例如，使用多种一般可用的编译器、安装程序、压缩/解压缩公用程序等中的任一者)即刻采取可执行代码的形式。

可根据特定要求作出实质性变化。举例来说，还可能使用定制的硬件，且/或特定元件可能实施于硬件、软件(包含便携式软件，例如applet等)或两者中。此外，可使用到例如网络输入/输出装置等其它计算装置的连接。

计算机系统(例如，计算机系统800)可用于执行根据本发明的方法。所描述的方法的过程中的一些或全部可由计算机系统800响应于处理器810执行工作存储器835中所含有的一或多个指令的一或多个序列(其可能并入到操作系统840和/或其它代码(例如，应用程序845)中)来执行。可从另一计算机可读媒体(例如，存储装置825中的一或多者)将此些指令读取到工作存储器835中。仅举例来说，执行工作存储器835中所含有的指令的序列可能致使处理器810执行本文中所描述的方法的一或多个程序。

如本文中所使用的术语“机器可读媒体”和“计算机可读媒体”指代参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算机系统800实施的实施例中，各种计算机可读媒体可能涉及向处理器810提供指令/代码以供执行且/或可能用于存储和/或携载此类指令/代码(例如，作为信号)。在许多实施方案中，计算机可读媒体是物理的和/或有形的存储媒体。此媒体可采取许多形式，包含(但不限于)非易失性媒体、易失性媒体和传输媒体。非易失性媒体包含(例如)光盘和/或磁盘，例如存储装置825。易失性媒体包含(不限制)动态存储器，例如工作存储器835。传输媒体包含(不限制)同轴电缆、铜线和光纤，包含包括总线805的电线，以及通信子系统830的各种组件(和/或通信子系统830借以提供与其它装置的通信的媒体)。此处，传输媒体还可采取波(包含(不限制)无线电、声波和/或光波，例如在无线电波和红外线数据通信期间所产生的波)的形式。

物理的和/或有形的计算机可读媒体的常见形式包含(例如)软盘、柔性磁盘、硬盘、磁带或任何其它磁性媒体、CD-ROM、蓝光光盘、任何其它光学媒体，穿孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或盒式磁带、载波(如下文所描述)，或计算机可从其读取指令和/或代码的任何其它媒体。

在将一或多个指令的一或多个序列载运到处理器810以供执行的过程中可涉及各种形式的计算机可读媒体。仅举例来说，所述指令可起初被携载在远程计算机的磁盘和/或光盘上。远程计算机可能将所述指令加载到其动态存储器中，且经由传输媒体将所述指令作为信号进行发送以让计算机系统800接收和/或执行。根据本发明的各种实施例，可能呈电磁信号、声学信号、光学信号和/或类似物的形式的这些信号是可在其上编码指令的载波的全部实例。

通信子系统830(和/或其组件)一般将接收所述信号，且总线805随后可能将所述信号(和/或由所述信号载运的数据、指令等)载运到工作存储器835，处理器805从所述工作存储器检索和执行所述指令。由工作存储器835接收的指令可在由处理器810执行之前或之后任选地存储于存储装置825上。

上文所论述的方法、系统和装置是实例。各种替代性实施例可在适当时省略、替代或添加各种过程或组件。举例来说，在替代性方法中，多个阶段可以不同于以上论述的次序执行，且可添加、省略或组合各种阶段。而且，关于某些配置所描述的特征可组合在各种其它配置中。配置的不同方面和元件可以类似方式组合。而且，技术会演进且因此许多元件是实例，且不限制本发明或权利要求书的范围。

在描述中给出特定细节以提供对实例配置(包含实施方案)的透彻理解。然而，可以在没有这些特定细节的情况下实践配置。举例来说，已在没有不必要的细节的情况下展示众所周知的电路、过程、算法、结构和技术，以便避免使所述配置模糊不清。此描述仅提供实例性配置，且不限制权利要求书的范围、适用性或配置。而是，对配置的前述描述将向所属领域的技术人员提供用于实施所描述的技术的启用性描述。在不脱离本发明的精神或范围的情况下，可在元件的功能和布置方面作出各种改变。

可将配置描述为被描绘为流程图或框图的过程。虽然可将操作描述为连续过程，但许多操作可并行地或同时地执行。另外，操作的次序可重新布置。过程可具有图中未包含的额外步骤。此外，所述方法的实例可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施。当实施于软件、固件、中间件或微码中时，用以执行必需的任务的程序代码或代码段可存储在例如存储媒体等非暂时性计算机可读媒体中。处理器可执行所描述的任务。

如本文所使用，包含在权利要求书中，以“至少一个”开始的项目的列表中所使用的“或”指示分离性列表，以使得(例如)“A、B或C中的至少一者”的列表是指A或B或C或AB或AC或BC或ABC(即，A及B及C)，或与一个以上特征的组合(例如，AA、AAB、ABBC等)。

描述了若干实例配置，在不脱离本发明的精神的情况下，可使用各种修改、替代性构造和等效物。举例来说，以上元件可为较大系统的组件，其中其它规则可优先于或以其它方式修改本发明的应用。而且，可在考虑以上元件之前、期间或之后来着手一定数目的步骤。因此，以上描述不限制权利要求书的范围。

Claims (40)

1.一种用于估计相机姿势的方法，所述方法包括：

获得经由相机俘获的位置的图像，其中所述图像包含目标对象及在所述目标对象外部的边缘线特征；及

基于所述边缘线特征来计算所述相机相对于所述目标对象的姿势。

2.根据权利要求1所述的方法，其进一步包括独立于计算所述相机的所述姿势而经由计算机视觉算法来识别所述目标对象。

3.根据权利要求2所述的方法，其中所述识别包括检测所述图像中的所述目标对象的关键点。

4.根据权利要求1所述的方法，其进一步包括从用户输入接收所述图像内的所述目标对象的身份。

5.根据权利要求1所述的方法，其进一步包括估计与所述边缘线特征相关联的一或多个消失点，其中所述计算包括基于所述所估计的消失点来计算所述相机相对于所述目标对象的所述姿势。

6.根据权利要求5所述的方法，其进一步包括检测所述图像内的所述边缘线特征。

7.根据权利要求6所述的方法，其中检测所述边缘线特征包括检测水平边缘线特征及垂直边缘线特征。

8.根据权利要求7所述的方法，其中检测所述边缘线特征包括检测地板、屋顶或门中的至少一者。

9.根据权利要求7所述的方法，其中估计所述一或多个消失点包括以下操作中的至少一者：从所述水平边缘线特征估计水平消失点或从所述垂直边缘线特征估计垂直消失点。

10.根据权利要求5所述的方法，其中：

估计所述一或多个消失点包括估计一个消失点；且

计算所述相机的所述姿势包括基于所述一个所估计的消失点从一组离散旋转状态估计所述相机相对于由所述图像中的可检测目标界定的平面的旋转。

11.根据权利要求5所述的方法，其中：

估计所述一或多个消失点包括估计两个或两个以上消失点；且

计算所述相机的所述姿势包括基于所述两个或两个以上消失点将所述相机的所述姿势计算为相对于由所述图像中的可检测目标界定的平面的摇摄、倾斜或横滚中的至少一者。

12.根据权利要求11所述的方法，其中计算所述姿势包括计算所述横滚、所述摇摄及所述倾斜。

13.根据权利要求12所述的方法，其进一步包括从耦合到所述相机的定向传感器获得与所述倾斜或所述摇摄中的至少一者相关的信息。

14.根据权利要求12所述的方法，其进一步包括至少部分基于所述倾斜来确定所述横滚。

15.根据权利要求1所述的方法，其进一步包括基于地理区域的地图数据独立于计算所述相机的所述姿势来确定所述地理区域内的所述目标对象的位置。

16.根据权利要求15所述的方法，其进一步包括基于所述目标对象的所述位置及所述相机的所述姿势来估计所述地理区域内的所述相机的用户的位置。

17.一种用于估计相机姿势的系统，所述系统包括：

相机，其经配置以俘获包含目标对象的位置的图像；

边缘提取器，其经配置以检测所述图像内的所述目标对象外部的边缘线特征；及

相机姿势计算器，其经配置以基于所述边缘线特征来计算所述相机相对于所述目标对象的姿势。

18.根据权利要求17所述的系统，其进一步包括消失点估计器，所述消失点估计器经配置以估计与所述边缘线特征相关联的一或多个消失点，其中所述相机姿势计算器进一步经配置以基于所述消失点来计算所述相机的所述姿势。

19.根据权利要求18所述的系统，其中所述边缘线特征包括水平边缘线特征及垂直边缘线特征。

20.根据权利要求19所述的系统，其中所述边缘线特征对应于地板、屋顶或门中的至少一者。

21.根据权利要求19所述的系统，其中所述消失点估计器进一步经配置以执行以下操作中的至少一者：从所述水平边缘线特征估计水平消失点或从所述垂直边缘线特征估计垂直消失点。

22.根据权利要求18所述的系统，其中：

所述消失点估计器经配置以估计一个消失点；且

所述相机姿势计算器进一步经配置以基于所述一个所估计的消失点从一组离散旋转状态估计所述相机相对于由所述图像中的可检测目标界定的平面的旋转。

23.根据权利要求18所述的系统，其中：

所述消失点估计器经配置以估计两个或两个以上消失点；且

所述相机姿势计算器进一步经配置以基于所述两个或两个以上消失点将所述相机的所述姿势计算为相对于由所述图像中的可检测目标界定的平面的摇摄、倾斜或横滚中的至少一者。

24.根据权利要求23所述的系统，其中所述相机姿势计算器经配置以计算横滚、摇摄及倾斜以计算所述相机的所述姿势。

25.根据权利要求24所述的系统，其进一步包括耦合到所述相机的定向传感器，其中所述相机姿势计算器进一步经配置以从所述定向传感器获得与所述倾斜或所述摇摄中的至少一者相关的信息。

26.根据权利要求24所述的系统，其中所述相机姿势计算器进一步经配置以至少部分基于所述倾斜来确定所述横滚。

27.根据权利要求17所述的系统，其进一步包括关注点POI检测器，所述关注点POI检测器经配置以基于地理区域的地图数据独立于所述相机姿势计算器来确定所述地理区域内的所述目标对象的位置。

28.根据权利要求27所述的系统，其进一步包括定位引擎，所述定位引擎经配置以基于所述目标对象的所述位置及所述相机的所述姿势来估计所述地理区域内的所述相机的用户的位置。

29.一种用于估计相机姿势的系统，所述系统包括：

用于俘获位置的图像的装置，其中所述图像包含目标对象；

用于检测所述图像内的所述目标对象外部的边缘线特征的装置；及

用于基于所述边缘线特征来计算所述用于俘获的装置相对于所述目标对象的姿势的装置。

30.根据权利要求29所述的系统，其进一步包括用于估计与所述边缘线特征相关联的一或多个消失点的装置，其中所述用于计算的装置包括用于基于所述消失点来计算所述用于俘获的装置的所述姿势的装置。

31.根据权利要求29所述的系统，其中所述用于检测所述边缘线特征的装置包括用于检测水平边缘线特征及垂直边缘线特征的装置。

32.根据权利要求31所述的系统，其中所述用于检测所述边缘线特征的装置包括用于检测地板、屋顶或门中的至少一者的装置。

33.根据权利要求31所述的系统，其中所述用于估计所述一或多个消失点的装置包括用于从所述水平边缘线特征估计水平消失点的装置或用于从所述垂直边缘线特征估计垂直消失点的装置中的至少一者。

34.根据权利要求30所述的系统，其中：

所述用于估计所述一或多个消失点的装置包括用于估计一个消失点的装置；且

所述用于计算所述用于俘获的装置的所述姿势的装置包括用于基于所述一个所估计的消失点从一组离散旋转状态估计所述用于俘获的装置相对于由所述图像中的可检测目标界定的平面的旋转的装置。

35.根据权利要求30所述的系统，其中：

所述用于估计所述一或多个消失点的装置包括用于估计两个或两个以上消失点的装置；且

所述用于计算所述用于俘获的装置的所述姿势的装置包括用于基于所述两个或两个以上消失点将所述用于俘获的装置的所述姿势计算为相对于由所述图像中的可检测目标界定的平面的摇摄、倾斜或横滚中的至少一者的装置。

36.根据权利要求35所述的系统，其中所述用于计算所述用于俘获的装置的所述姿势的装置包括用于将所述用于俘获的装置的所述姿势计算为横滚、摇摄和倾斜的装置。

37.根据权利要求36所述的系统，其进一步包括用于从耦合到所述用于俘获的装置的定向传感器获得与所述倾斜或所述摇摄中的至少一者相关的信息的装置。

38.根据权利要求36所述的系统，其进一步包括用于至少部分基于所述倾斜来确定所述横滚的装置。

39.一种处理器可读存储媒体，其包括处理器可执行指令，所述处理器可执行指令经配置以致使处理器：

获得经由相机俘获的位置的图像，其中所述图像包含目标对象及在所述目标对象外部的边缘线特征；及

基于所述边缘线特征来计算所述相机相对于所述目标对象的姿势。

40.根据权利要求39所述的处理器可读存储媒体，其进一步包括经配置以致使所述处理器进行以下操作的指令：

估计与所述边缘线特征相关联的一或多个消失点；及

基于所述消失点来计算所述相机的所述姿势。