CN107194969B - 基于消失点确定的传感器校准和位置估计 - Google Patents

基于消失点确定的传感器校准和位置估计 Download PDF

Info

Publication number
CN107194969B
CN107194969B CN201710270027.6A CN201710270027A CN107194969B CN 107194969 B CN107194969 B CN 107194969B CN 201710270027 A CN201710270027 A CN 201710270027A CN 107194969 B CN107194969 B CN 107194969B
Authority
CN
China
Prior art keywords
orientation
region
vanishing point
location
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710270027.6A
Other languages
English (en)
Other versions
CN107194969A (zh
Inventor
辉·赵
萨梅拉·波杜里
萨乌米特拉·莫汉·达斯
艾曼·福齐·纳吉布
法拉·穆罕默德·米尔扎耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107194969A publication Critical patent/CN107194969A/zh
Application granted granted Critical
Publication of CN107194969B publication Critical patent/CN107194969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C17/00—Compasses; Devices for ascertaining true or magnetic north for navigation or surveying purposes
    • G01C17/38—Testing, calibrating, or compensating of compasses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Gyroscopes (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及基于消失点确定的传感器校准和位置估计。本发明揭示系统、设备、装置、方法、计算机程序产品和其它实施方案，包含一种方法，所述方法包含：由包含至少一个传感器的装置的图像俘获单元俘获场景的图像；至少部分基于所述场景的所述所俘获图像中的至少一个消失点的所确定位置确定所述装置的相对装置定向；以及至少部分基于所述所确定相对装置定向执行用于所述至少一个传感器的一或多个校准操作。

Description

基于消失点确定的传感器校准和位置估计
分案申请的相关信息
本申请是国际申请日为2013年8月22日、国际申请号为PCT/US2013/056127、发明名称为“基于消失点确定的传感器校准和位置估计”的PCT申请进入中国国家阶段申请号为201380053591.2的发明专利申请的分案申请。
技术领域
本申请涉及传感器校准技术。
背景技术
来自例如陀螺仪和磁力计等定向传感器的信息可用于各种应用，例如定位和跟踪、活动和动作识别等。然而，陀螺仪需要频繁校准以校正由于例如偏差、按比例缩放和未对准等因素所致的误差。这些因素可随着温度变化而使得单次校准为低效的。常见的校准技术是当装置停置时进行检测以及校准传感器。然而，此校准技术可需要相对长的时间来完成。另一传感器——磁力计对室内环境中常见的局部磁场敏感，且可能提供不正确定向。
发明内容
在一些变化形式中，揭示一种方法。所述方法包含：由包含至少一个传感器的装置的图像俘获单元俘获场景的图像；至少部分基于所述场景的所述所俘获图像中的至少一个消失点的所确定位置确定所述装置的相对装置定向；以及至少部分基于所述所确定相对装置定向执行用于所述至少一个传感器的一或多个校准操作。
所述方法的实施例可包含本发明中描述的至少一些特征，包含以下特征中的一或多者。
确定所述相对装置定向可包含确定与所述图像俘获单元的参考系和所述场景的参考系中的位置坐标相关的旋转矩阵。
至少部分基于所述至少一个消失点的所述所确定位置确定所述相对装置定向可包含基于所述场景的所述所俘获图像中的两个或两个以上消失点的所确定位置确定所述相对装置定向。
所述方法可进一步包含至少部分基于从所述场景的所述所俘获图像中的所述至少一个消失点的所述位置确定的所述相对装置定向且进一步基于与所述场景相关联的场景定向值确定实际装置定向。
所述方法可进一步包含从用于包含对应于由所述图像俘获单元俘获的所述图像中的所述场景的区域的区的地图数据检索所述场景定向值。
所述方法可进一步包含至少部分基于所述所确定相对装置定向且进一步基于先前确定的定向值确定实际装置定向。
所述方法可进一步包含至少部分基于相对装置定向值确定装置定向的改变，所述相对装置定向值是至少部分基于在一段时间内从由所述图像俘获单元俘获的多个图像确定的消失点的位置而确定。
所述至少一个传感器可包含(例如)以下各者中的一或多者：陀螺仪，和/或磁力计。
执行用于所述至少一个传感器的所述一或多个校准操作可包含(例如)以下各者中的一者：响应于从由所述至少一个传感器确定的测得定向与所述所确定相对装置定向的比较产生的指示所述至少一个传感器需要校准的比较结果而校准所述至少一个传感器；响应于指示所述至少一个传感器经校准的所述比较结果而确定所述至少一个传感器经校准；响应于指示磁力计需要校准的所述比较结果基于造成所述测得定向的临时误差测量的磁性干扰存在的指示而校准所述磁力计；或基于所述比较结果且进一步基于造成所述测得定向的所述临时误差测量的所述磁性干扰存在的所述指示而确定所述磁力计经校准。
校准所述至少一个传感器可包含基于所述比较结果针对所述至少一个传感器确定(例如)以下各者中的一或多者：传感器偏差，传感器按比例缩放，或传感器未对准。
确定所述相对装置定向可包含确定所述至少一个消失点从所述场景的所述所俘获图像的中心的偏差。
在一些变化形式中，揭示一种装置。所述装置包含图像俘获单元、用以测量所述装置的定向的至少一个传感器，以及控制器。所述控制器经配置以：至少部分基于由所述图像俘获单元俘获的场景的图像中的至少一个消失点的所确定位置确定所述装置的相对装置定向；以及基于所述所确定相对装置定向执行用于所述至少一个传感器的一或多个校准操作。
所述装置的实施例可包含本发明中描述的至少一些特征，包含上文关于所述方法描述的至少一些特征，以及以下特征中的一或多者。
经配置以确定所述相对装置定向的所述控制器可经配置以确定与所述图像俘获单元的参考系和所述场景的参考系中的位置坐标相关的旋转矩阵。
经配置以至少部分基于所述至少一个消失点的所述所确定位置确定所述相对装置定向的所述控制器可经配置以基于所述场景的所述所俘获图像中的两个或两个以上消失点的所确定位置确定所述相对装置定向。
所述控制器可进一步经配置以至少部分基于从所述场景的所述所俘获图像中的所述至少一个消失点的所述位置确定的所述相对装置定向且进一步基于与所述场景相关联的场景定向值确定实际装置定向。
所述控制器可进一步经配置以至少部分基于相对装置定向值确定装置定向的改变，所述相对装置定向值是至少部分基于在一段时间内从由所述图像俘获单元俘获的多个图像确定的消失点的位置而确定。
经配置以执行用于所述至少一个传感器的所述一或多个校准操作的所述控制器可经配置以执行(例如)以下各者中的一者：响应于从由所述至少一个传感器确定的测得定向与所述所确定相对装置定向的比较产生的指示所述至少一个传感器需要校准的比较结果而校准所述至少一个传感器；响应于指示所述至少一个传感器经校准的所述比较结果而确定所述至少一个传感器经校准；响应于指示磁力计需要校准的所述比较结果基于造成所述测得定向的临时误差测量的磁性干扰存在的指示而校准所述磁力计；或基于所述比较结果且进一步基于造成所述测得定向的所述临时误差测量的所述磁性干扰存在的所述指示而确定所述磁力计经校准。
在一些变化形式中，揭示一种设备。所述设备包含：用于包含至少一个传感器的装置的用于俘获场景的图像的装置；用于至少部分基于所述场景的所述所俘获图像中的至少一个消失点的所确定位置确定所述装置的相对装置定向的装置；以及用于至少部分基于所述所确定相对装置定向执行用于所述至少一个传感器的一或多个校准操作的装置。
所述设备的实施例可包含本发明中描述的至少一些特征，包含上文关于所述方法和装置描述的至少一些特征，以及以下特征中的一或多者。
所述用于确定所述相对装置定向的装置可包含用于确定与所述用于俘获所述图像的装置的参考系和所述场景的参考系中的位置坐标相关的旋转矩阵的装置。
所述用于至少部分基于所述至少一个消失点的所述所确定位置确定所述相对装置定向的装置可包含用于基于所述场景的所述所俘获图像中的两个或两个以上消失点的所确定位置确定所述相对装置定向的装置。
所述设备可进一步包含用于至少部分基于从所述场景的所述所俘获图像中的所述至少一个消失点的所述位置确定的所述相对装置定向且进一步基于与所述场景相关联的场景定向值确定实际装置定向的装置。
所述设备可进一步包含用于至少部分基于相对装置定向值确定装置定向的改变的装置，所述相对装置定向值是至少部分基于在一段时间内从由所述用于俘获所述图像的装置俘获的多个图像确定的消失点的位置而确定。
所述用于执行用于所述至少一个传感器的所述一或多个校准操作的装置可包含用于执行(例如)以下各者中的一者的装置：响应于从由所述至少一个传感器确定的测得定向与所述所确定相对装置定向的比较产生的指示所述至少一个传感器需要校准的比较结果而校准所述至少一个传感器；响应于指示所述至少一个传感器经校准的所述比较结果而确定所述至少一个传感器经校准；响应于指示磁力计需要校准的所述比较结果基于造成所述测得定向的临时误差测量的磁性干扰存在的指示而校准所述磁力计；或基于所述比较结果且进一步基于造成所述测得定向的所述临时误差测量的所述磁性干扰存在的所述指示而确定所述磁力计经校准。
在一些变化形式中，揭示一种非暂时性处理器可读媒体。所述处理器可读媒体经编程有可在处理器上执行的指令集合，所述指令当执行时造成包含以下各项的操作：由包含至少一个传感器的装置的图像俘获单元俘获场景的图像；至少部分基于所述场景的所述所俘获图像中的至少一个消失点的所确定位置确定所述装置的相对装置定向；以及至少部分基于所述所确定相对装置定向执行用于所述至少一个传感器的一或多个校准操作。
所述处理器可读媒体的实施例可包含本发明中描述的至少一些特征，包含上文关于所述方法、装置和设备描述的至少一些特征。
在一些变化形式中，揭示另一方法。所述方法包含：由装置的图像俘获单元俘获与场景定向值相关联的场景的图像，所述装置进一步包括至少一个传感器；确定所述场景的所述所俘获图像中的至少一个消失点的位置；基于由所述装置的所述至少一个传感器执行的一或多个测量确定所述装置的测得装置定向；以及至少部分基于所述场景的所述所俘获图像中的所述至少一个消失点的所述位置、所述测得装置定向以及与包含对应于所述场景的区域的区内的多个区域相关联的定向数据确定所述区中的所述装置的候选位置。
所述方法的实施例可包含本发明中描述的至少一些特征，包含上文关于第一方法、装置、设备和处理器可读媒体描述的至少一些特征以及以下特征中的一或多者。
所述方法可进一步包含响应于确定所述所俘获图像中的所述至少一个消失点的所述所确定位置处于偏离中心位置，产生指示以致使所述装置移动以使得后续所俘获图像中的后续消失点将大体上位于所述后续所俘获图像的中心。
确定所述候选位置可包含基于从所述所俘获图像中的所述至少一个消失点的所述位置确定的所述装置的相对定向且基于所述测得装置定向确定包含与相应定向值相关联的多个走廊的区域中的候选走廊。
所述方法可进一步包含从用于所述区的地图数据检索与所述区内的所述多个区域相关联的所述定向数据。
在一些变化形式中，揭示另一装置。所述装置包含图像俘获单元、用以测量所述装置的定向的至少一个传感器，以及控制器。所述控制器经配置以：确定由所述图像俘获单元俘获的场景的图像中的至少一个消失点的位置；基于由所述装置的所述至少一个传感器执行的一或多个测量确定所述装置的测得装置定向；以及至少部分基于所述场景的所述所俘获图像中的所述至少一个消失点的所述位置、所述测得装置定向以及与包含对应于所述场景的区域的区内的多个区域相关联的定向数据确定所述区中的所述装置的候选位置。
所述装置的实施例可包含本发明中描述的至少一些特征，包含上文关于所述方法、第一装置、设备和处理器可读媒体描述的特征以及以下特征中的一或多者。
所述控制器可进一步经配置以响应于确定所述所俘获图像中的所述至少一个消失点的所述所确定位置处于偏离中心位置，产生指示以致使所述装置移动以使得后续所俘获图像中的后续消失点将大体上位于所述后续所俘获图像的中心。
经配置以确定所述候选位置的所述控制器可经配置以基于从所述所俘获图像中的所述至少一个消失点的所述位置确定的所述装置的相对定向且基于所述测得装置定向确定包含与相应定向值相关联的多个走廊的区域中的候选走廊。
所述控制器可进一步经配置以从用于所述区的地图数据检索与所述区内的所述多个区域相关联的所述定向数据。
在一些变化形式中，揭示另一设备。所述设备包含：用于包含至少一个传感器的装置的用于俘获场景的图像的装置；用于确定所述场景的所述所俘获图像中的至少一个消失点的位置的装置；用于基于由所述装置的所述至少一个传感器执行的一或多个测量确定所述装置的测得装置定向的装置；以及用于至少部分基于所述场景的所述所俘获图像中的所述至少一个消失点的所述位置、所述测得装置定向以及与包含对应于所述场景的区域的区内的多个区域相关联的定向数据确定所述区中的所述装置的候选位置的装置。
所述设备的实施例可包含本发明中描述的至少一些特征，包含上文关于所述方法、装置、第一设备和处理器可读媒体描述的特征以及以下特征中的一或多者。
所述设备可进一步包含用于响应于确定所述所俘获图像中的所述至少一个消失点的所述所确定位置处于偏离中心位置产生指示以致使所述装置移动以使得后续所俘获图像中的后续消失点将大体上位于所述后续所俘获图像的中心的装置。
所述用于确定所述候选位置的装置可包含用于基于从所述所俘获图像中的所述至少一个消失点的所述位置确定的所述装置的相对定向且基于所述测得装置定向确定包含与相应定向值相关联的多个走廊的区域中的候选走廊的装置。
所述设备可进一步包含用于从用于所述区的地图数据检索与所述区内的所述多个区域相关联的所述定向数据的装置。
在一些变化形式中，揭示一种非暂时性处理器可读媒体。所述处理器可读媒体经编程有可在处理器上执行的指令集合，所述指令当执行时造成包含以下各项的操作：由装置的图像俘获单元俘获与场景定向值相关联的场景的图像，所述装置进一步包括至少一个传感器；确定所述场景的所述所俘获图像中的至少一个消失点的位置；基于由所述装置的所述至少一个传感器执行的一或多个测量确定所述装置的测得装置定向；以及至少部分基于所述场景的所述所俘获图像中的所述至少一个消失点的所述位置、所述测得装置定向以及与包含对应于所述场景的区域的区内的多个区域相关联的定向数据确定所述区中的所述装置的候选位置。
所述处理器可读媒体的实施例可包含本发明中描述的至少一些特征，包含上文关于所述方法、装置、设备和第一处理器可读媒体描述的至少一些特征。
除非另外界定，否则本文所用的所有技术和科学术语具有与通常或常规理解相同的意义。如本文所使用，冠词“一”指所述冠词的一个或一个以上(即至少一个)语法对象。借助于实例，“一元件”意味着一个元件或一个以上元件。当参考例如量、持续时间及类似者等可测量值时如本文所使用的“大约”和/或“近似”包含从指定值的±20％或±10％、±5％或+0.1％的变化，因为此变化在本文所描述的系统、装置、电路、方法和其它实施方案的情况下是适当的。当参考例如量、持续时间、物理属性(例如频率)及类似者等可测量值时如本文所使用的“大体上”也包含从指定值的±20％或±10％、±5％或+0.1％的变化，因为此变化在本文所描述的系统、装置、电路、方法和其它实施方案的情况下是适当的。
如本文所使用，在权利要求书中包含，以“中的至少一者”或“中的一或多者”为序言的项目列表中使用的“或”及“和”指示可使用所列出的项目的任何组合。举例来说，“A、B或C中的至少一者”的列表包含A或B或C或AB或AC或BC和/或ABC(即，A和B和C)的组合中的任一者。此外，在项目A、B或C的一次以上出现或使用是可能的程度上，A、B和/或C的多次使用可形式预期组合的部分。举例来说，“A、B或C中的至少一者”的列表还可包含AA、AAB、AAA、BB等。
如本文所使用，包含在权利要求书中，除非另行说明，否则功能、操作或特征是“基于”一项目和/或条件的陈述意味着所述功能、操作、功能是基于所陈述的项目和/或条件且可基于除所陈述项目和/或条件之外的一或多个项目和/或条件。
本发明的其它和进一步目的、特征、方面和优点通过以下附图的详细描述将变得更好理解。
附图说明
图1是展示3D场景的所俘获2-D图像中的线到消失点的汇聚的图。
图2是用于移动装置的实例操作环境的示意图。
图3是移动装置的框图。
图4是确定图像中的消失点的实例程序的流程图。
图5是基于所确定一或多个消失点的传感器校准的实例程序的流程图。
图6是展示携带装置(例如移动装置)的用户可位于其中的多个通道/走廊的实例地图的图。
图7是其中呈现十字线导引的实例以使得用户能够对准其持有的移动装置的图像。
图8是估计移动装置的位置的实例程序的流程图。
图9是实例计算系统的示意图。
图10A是说明单位球体与位于图像平面的线之间的实例关系的图。
图10B是说明单位球体与位于图像平面中的线之间的另一实例关系的图。
具体实施方式
本文所描述的是系统、设备、装置、方法、计算机程序产品和其它实施方案，包含一种方法，其包含：通过装置的图像俘获单元(例如相机)俘获场景的图像，所述装置还包含至少一个传感器(例如，空间/定向/惯性传感器，例如陀螺仪、磁力计等)；至少部分基于所述场景的所俘获图像中的至少一个消失点的所确定位置而确定所述装置的相对装置定向(例如，表示为旋转矩阵)；以及至少部分基于所确定相对装置定向而执行用于所述至少一个传感器的一或多个校准操作。
举例来说且参考图1，展示3D场景的对应2-D所俘获图像100中的线110-118(在3-D场景中平行)到共同消失点的汇聚，考虑其中用户站在定向已知(从地图或从地理参考信息)的走廊中的情形。如果站在走廊中间的用户近似沿着走廊的纵向轴线指向移动装置的相机，那么边缘线的共同消失点120界定走廊的方向。基于共同消失点120的位置，可确定相机的相对定向(例如，在建立现实世界坐标与相机坐标系之间的关系的旋转矩阵方面表达)。在一些实施例中，当相机恰当地对准时，消失点从图像的中心的偏差可用以估计相机定向。在一些实施例中，可需要图像中的至少两个消失点来确定所述相对定向。如果相机定向例如基于所确定相对定向和/或走廊或用户所位于的另一地理特征的已知定向是已知的，那么由至少一个定向传感器执行的独立定向测量的正确性可通过将此类独立测量与所确定的装置定向进行比较而确定。因此，图像中的消失点可用以校准传感器。
参考图2，展示用于移动装置208的实例操作环境200的示意图。所述移动装置(也被称作无线装置或移动台)208可经配置以与多个类型的其它通信系统/装置操作和相互作用，包含局域网装置(或节点)，例如用于室内通信的WLAN、毫微微小区、基于蓝牙的收发器、其它类型的室内通信网络节点、广域无线网络节点、卫星通信系统等，并且因此，移动装置208可包含用以与各种类型的通信系统通信的一或多个接口。如本文所使用，移动装置208可与其通信的通信系统/装置也被称作接入点(AP)。移动装置还经配置以通过至少部分基于场景的至少一个2D所俘获图像中的至少一个消失点的计算确定其相对定向而校准一或多个定向传感器(也被称作空间或惯性传感器)，例如陀螺仪、磁力计等。在一些变化形式中，装置的绝对定向可基于例如从服务器提供到移动台的预定定向值而确定，所述服务器针对由装置的图像俘获单元俘获的3D场景的特定特征维持此类值。举例来说，当装置位于室内环境中时，所述环境中的走廊的预定定向值可用以确定所述装置的绝对定向。如下文将更详细描述，在一些实施例中，定向值也可从多个相对定向(基于消失点确定而计算)确定以实现(例如)装置208经历的定向改变的确定。
在一些变化形式中，移动装置可进一步经配置以基于从装置的相机可见的场景的所俘获图像中的消失点的确定而促进装置的位置确定。具体来说，移动装置208可俘获与场景定向值(可(例如)从存储在装置上的地图信息获得或从远程服务器获得)相关联的场景的图像(例如，通过其图像俘获单元，例如相机)。所述装置经配置以确定所俘获图像的场景中的至少一个消失点的位置，且基于装置上包含的定向传感器(例如，陀螺仪、磁力计等)执行的测量而确定装置的所测得定向。此定向传感器假定为经校准的，且因此提供移动装置的大体上准确定向测量。包含对应于场景的区域的区中的装置的候选位置因此可至少部分基于场景中的所述至少一个消失点的位置、所测得的装置定向和与所述区内的多个区域(例如多个走廊)相关联的定向数据而确定。
如所指出，操作环境200可含有一或多个不同类型的无线通信系统或节点。也被称作无线接入点(或WAP)的此类节点可包含LAN和/或WAN无线收发器，包含(例如)WiFi基站、毫微微小区收发器、蓝牙收发器、蜂窝式基站、WiMax收发器等等。因此，举例来说且继续参考图2，操作环境200可包含局域网无线接入点(LAN-WAP)206a-e，其可用于与移动装置208的无线话音和/或数据通信。LAN-WAP 206a-e在一些实施例中也可以例如通过(例如)基于到达时间技术的基于三边测量的程序的实施而用作位置数据的独立源。LAN-WAP 206a-e可为无线局域网(WLAN)的部分，其可在建筑物中操作且执行在比WWAN小的地理区上的通信。另外在一些实施例中，LAN-WAP 206a-e也可为作为WWAN网络的部分的微微或毫微微小区。在一些实施例中，LAN-WAP 206a-e可为(例如)WiFi网络(802.11x)、蜂窝式微微网和/或毫微微小区、蓝牙网络等的部分。LAN-WAP 206a-e也可形成室内定位系统的部分。虽然图2中描绘五(5)个LAN-WAP接入点，但可使用任何数目的此类LAN-WAP，并且在一些实施例中，操作环境200可根本不包含LAN-WAP接入点，或可包含单个LAN-WAP接入点。此外，图2中所描绘的LAN-WAP 206a-e中的每一者可为可移动节点，或可另外能够重定位。
如图2中进一步所示，操作环境200在一些实施例中还可包含多种一或多个类型广域网无线接入点(WAN-WAP)204a-c，其可用于无线话音和/或数据通信，且还可充当移动装置208可通过其确定其位置/定位的另一独立信息源。WAN-WAP 204a-c可为广域无线网络(WWAN)的部分，其可包含蜂窝式基站，和/或其它广域无线系统，例如WiMAX(例如，802.16)、毫微微小区收发器等。WWAN可包含图2中未图示的其它已知网络组件。通常，WWAN内的每一WAN-WAP 204a-204c可从固定位置操作，且提供大城市和/或地区性区域上的网络覆盖。虽然图2中描绘三(3)个WAN-WAP，但可使用任何数目的此类WAN-WAP。在一些实施例中，操作环境200可根本不包含WAN-WAP，或可包含单个WAN-WAP。另外，图2中描绘的WAN-WAP 204a-c中的每一者可为可移动节点，或可另外能够重定位。
去往和来自移动装置208的通信(用以交换数据，启用装置208的位置确定等)因此在一些实施例中也可使用各种无线通信网络来实施，例如广域无线网络(WWAN)、无线局域网(WLAN)、无线个域网(WPAN)等。术语“网络”和“系统”可以可互换方式使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、WiMax(IEEE 802.16)等等。CDMA网络可以实施一或多种无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)等等。Cdma2000包含IS-95、IS-2000和/或IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某一其它RAT。来自名为“第三代合作伙伴计划”(3GPP)的协会的文献中描述了GSM和W-CDMA。来自名为“第三代合作伙伴计划2”(3GPP2)的协会的文献中描述了Cdma2000。3GPP和3GPP2文献可公开获得。WLAN也可为IEEE 802.11x网络，且WPAN可为蓝牙网络、IEEE802.15x或某一其它类型的网络。本文所描述的技术也可以用于WWAN、WLAN和/或WPAN的任何组合。
当使用WLAN导出位置时，移动装置208可利用到达时间技术，任选地具有定位服务器210和网络212的辅助。因此，移动装置208可经配置以使用可包含不同类型的WAP(例如，蜂窝式基站、WiMax基站等)的WAN-WAP 204a-c确定位置信息。在此操作环境中，移动装置208可能够使用来自不同类型的WAN-WAP的信号来改善准确性。定位服务器210可通过网络212与移动装置208通信。
在一些实施例中且如图2中进一步所描绘，移动装置208还可经配置以至少接收来自卫星定位系统(SPS)202a-b的信息，所述SPS可用作用于移动装置208的独立位置信息源。移动装置208可因此包含一或多个专用SPS接收器，其具体经设计以从SPS卫星接收用于导出地理位置信息的信号。因此，在一些实施例中，移动装置208可与SPS卫星202a-b、WAN-WAP204a-c和/或LAN-WAP 206a-e中的任一者或组合通信。在一些变化形式中，前述系统中的每一者可使用不同技术提供用于移动装置208的位置的独立信息估计。在一些实施例中，移动装置可组合从不同类型的接入点中的每一者导出的解决方案以改善位置数据的准确性。
在其中移动装置208可接收卫星信号的实施例中，移动装置可利用经具体实施以用于与从由SPS卫星202a-b发射的多个信号提取位置数据的SPS一起使用的接收器。发射的卫星信号可包含(例如)标记有设定数目的码片的重复伪随机噪声(PN)码的信号且可位于基于地面的控制台、用户设备和/或航天器上。卫星定位系统可包含例如以下系统：全球定位系统(GPS)、伽利略(Galileo)、格洛纳斯(Glonass)、指南针、日本上方的准天顶卫星系统(QZSS)、印度上方的印度区域导航卫星系统(IRNSS)、中国上方的北斗等，和/或可与一或多个全球和/或地区性导航卫星系统相关联或另外经启用以与所述系统一起使用的各种增强系统(例如，基于卫星的增强系统(SBAS))。以实例说明而非限制，SBAS可包含提供完整性信息、微分校正等的增强系统，例如广域增强系统(WAAS)、欧洲地球同步卫星导航叠加服务(EGNOS)、多功能卫星增强系统(MSAS)、GPS辅助地理增强导航或GPS和地理增强导航系统(GAGAN)，及/或其类似者。
如本文所使用，移动装置或台(MS)指代装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机，或能够接收无线通信和/或导航信号(例如导航定位信号)的其它合适移动装置。术语“移动台”(或“移动装置”或“无线装置”)还既定包含(例如)通过短程无线、红外线、有线连接或其它连接与个人导航装置(PND)通信的装置，而不管装置处或PND处是否发生卫星信号接收、辅助数据接收和/或位置相关处理。此外，“移动台”既定包含所有装置，包含无线通信装置、计算机、膝上型计算机、平板计算机装置等，所述装置能够(例如)经由因特网、WiFi或其它网络与服务器通信，而不管在所述装置处、在服务器处或在与所述网络相关联的另一装置处是否发生卫星信号接收、辅助数据接收和/或与位置相关的处理。以上各项的任何可操作组合也视为“移动台”。在一些实施例中，本文所描述的程序，包含确定消失点、基于所确定消失点校准传感器等程序，可由并不具有无线功能性(例如，与其它远程装置无线通信的功能性)的装置执行。
根据某些方面，在此呈现的技术/程序不限于用于SPS的全球系统(例如，GNSS)。举例来说，本文中所提供的技术可应用于或以其它方式经启用以用于在各种地区性系统中使用，例如，日本上方的准天顶卫星系统(QZSS)、印度上方的印度地区性导航卫星系统(IRNSS)、中国上方的北斗等，和/或可与一或多个全球的及/或地区性导航卫星系统相关联或以其它方式经启用以与一或多个全球的及/或地区性导航卫星系统一起使用的各种增强系统(例如，基于卫星的增强系统(SBAS))。以实例说明而非限制，SBAS可包含提供完整性信息、微分校正等的增强系统，例如广域增强系统(WAAS)、欧洲地球同步卫星导航叠加服务(EGNOS)、多功能卫星增强系统(MSAS)、GPS辅助地理增强导航或GPS和地理增强导航系统(GAGAN)，及/或其类似者。因此，如本文所使用，SPS可包含一或多个全球及/或地区性导航卫星系统及/或增强系统的任何组合，且SPS信号可包含SPS、类似SPS及/或与此类一或多个SPS相关联的其它信号。
现在参看图3，展示可类似于关于图2描述的装置208的移动装置300的框图。如图3中所示，移动装置300可包含至少一个定向传感器(也被称作空间或惯性传感器)320，其可为例如磁力计、加速度计(例如，3D加速度计)、陀螺仪等。虽然描绘仅一个定向传感器，但随装置300可包含额外传感器。所述移动台进一步包含图像俘获装置，例如相机330(例如，电荷耦合装置(CCD)类型相机、CMOS类型相机等)，其可产生可在例如显示器或屏幕等用户接口装置上显示的静止或移动图像(例如，视频序列)。
移动装置300可包含接收器340，例如经由天线344接收来自SPS卫星(例如图2的卫星202a-b)的信号的卫星定位系统(SPS)接收器。移动装置300还包含无线收发器335，其可为例如蜂窝式调制解调器或无线网络无线电接收器/发射器，其经配置以向一或多个无线接入点(例如LAN-WAP 206a-e和/或WAN-WAP 204a-c中的任一者)发送通信和从其接收通信，或与经配置以用于无线/蜂窝式通信的任何其它类型的网络节点发送和接收通信。去往和来自无线收发器的通信可经由专用天线336、经由天线344或经由某种其它天线而启用。如果需要，移动装置300可包含充当蜂窝式调制解调器和无线网络无线电接收器/发射器的单独收发器。
所述至少一个定向传感器320、相机330、SPS接收器340和无线收发器335连接到移动装置控制器350且与其通信。控制器350经配置以接受和处理来自至少一个定向传感器320、相机330、SPS接收器340和/或无线收发器335的数据，且控制装置300的各种机载单元/模块的操作以及移动装置300的一般操作。举例来说，控制器350经配置以处理由相机330俘获的图像，确定所俘获图像中的至少一个消失点(例如，两个或两个以上消失点)，至少部分基于所确定的至少一个消失点确定装置300的相对定向，和/或至少部分基于装置300的所确定相对定向校准所述至少一个传感器320。在一些实施方案中，控制器350可包含处理器352和相关联存储器354、时钟353、硬件356、软件358和固件357。在一些实施例中，移动台控制器350可进一步包含专用图像处理引擎355，其出于清楚起见与处理器352分开地说明，但可构成处理器352的部分。图像处理引擎355经配置以处理图像以识别(例如)由相机330俘获的图像中的各种特征的线以便识别/确定所识别线汇聚于的消失点。基于所确定的消失点，可确定装置300的相对定向(例如，相对于例如走廊等某个地理特征)，如下文将更详细描述，通过所述相对定向可校准安装在移动装置300上的定向传感器。
确定由(例如)图3的相机330俘获的图像中的消失点可基于例如图4中所描绘的一个程序的程序而执行。图4的流程图中说明的实例消失点确定程序400包含检测和提取410(例如)由移动装置300的相机330俘获的图像中的边缘线。举例来说，在一些实施方案中，检测和提取边缘线可通过应用边缘或线检测器算子而执行，所述算子例如为用来检测边缘像素的卷积核(例如索贝尔(Sobel)滤波、坎尼(Canny)、坎尼-德里奇(Canny-Deriche)、差分、普鲁伊特(Prewitt)、罗伯茨交叉(Roberts Cross)或其它适当算子)，其随后经连接且配合到线段中。也可以使用用于识别图像中的行的其它程序/技术，包含基于例如霍夫(Hough)变换的线配合技术的程序。从图像提取的线段的实例包含从图1中所示的图像100提取的线110-118和线130-136。
确定所俘获图像中存在的边缘线后，选择420集合数目M对的线(其中M可为可基于确定消失点所需的精度程度而调整的预定数目)，且确定/计算(也在420)每一此对线的交叉点。所述选定M对线中的每一者的交叉点可表示消失点假设。基于(例如)消失点的坐标的分布而群集430消失点的所确定假设。在一些实施例中(例如，其中可提取一个消失点以确定装置的相对定向的实施例)，识别440满足一或多个准则的一或多个消失点假设，且认为/估计450处于(或近似处于)所识别群集的中心的点作为所俘获图像的消失点。可应用于识别消失点的一或多个准则可包含例如以下准则：消失点群集中的点的数目(例如，针对具有最大数目的点的群集，其点中的一者(例如最中心点)可选择为所识别消失点)，消失点假设的群集到某一位置(例如图像的中心)的接近度等。也可以使用用于识别消失点的其它程序/技术。在一些实施例中，可选择两个或两个以上消失点，其中的一者可包含最接近于图像的中心的消失点。
回到图3，处理器352可以(但不一定需要)包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)及类似者。如本文所使用，术语“存储器”指代任何类型的非暂时性计算机存储媒体，包含与移动台相关联的长期、短期或其它存储器，且不限于任何特定类型的存储器或数目的存储器或存储器存储于其上的媒体的类型。下文关于图9提供关于可类似于处理器352的处理器或计算系统的实例实施例的进一步细节。
移动装置300还包含与控制器350通信的用户接口360，例如控制器350可接受数据且控制所述用户接口360。所述用户接口360包含可显示图像的显示器362，所述图像包含由相机330产生的图像。显示器362可进一步显示控制菜单和位置信息。所述用户接口360进一步包含输入接口装置，例如小键盘364、触摸屏(未图示)、麦克风和扬声器(未图示)，或用户可用来将信息输入到移动台300中的其它输入装置。
定向传感器的校准
如所指出，通过由移动装置(例如移动装置300)的相机俘获的图像中的至少一个消失点(且大体上两个或两个以上消失点)的确定，可执行用于移动装置的定向/运动传感器的校准操作。因此，参考图5，展示用于基于确定的消失点的传感器校准的实例程序500的流程图。程序500包含通过图像俘获单元(例如，例如关于图3描述的相机330的相机)俘获510装置的用户位于其中的地理区域的场景的图像。俘获所述场景可在携带装置的可激活相机的用户的判断下执行，或其可响应于装置的一或多个机载定向传感器需要经校准的确定而自动起始，所述校准例如是基于某个预定时间表或基于指示所述一或多个定向传感器的性能已降级到所述传感器需要校准的点的某个基于性能的测量值。校准程序的自动起始可包含将指令/方向发送到用户，其中需要用户的帮助来进行校准程序(例如，请求用户举起相机且激活相机以具有场景的曝光)。在一些实施例中，屏幕显示器(例如图3的装置300的显示器362)可呈现以装置的相机(此相机可定位在装置的与显示器所位于的侧相对的侧)拍摄的图像以使用户能够将相机指向走廊(或场景中的某个其它突出特征以辅助装置定向的确定)。一旦拍摄走廊的图像，图像中确定的消失点在一些实施例中便可在显示于装置的显示器上的所俘获图像中经标记/识别(例如，在所显示图像上对应于所述图像中的所确定消失点的位置处类似于星或点的叠加特征)。在一些实施例中，装置的显示器还可呈现用户位于其中的区域的地图。举例来说，用户位于其中的区域的地图可占据显示表面的大部分，而由相机俘获的图像可呈现在显示表面的剩余区域上(例如，显示表面的一个拐角处的小矩形区域中)。或者，由相机俘获的图像可呈现在显示器的表面的大部分上，用户位于其中的区域的地图占据显示表面的较小部分(例如，在显示表面的拐角中的一者处)。在一些实施例中，移动装置可包含多个相机(例如，在装置的背面的相机、位于其一个侧面上的相机等)而因此伴随地拍摄场景的多个图像，从所述图像可确定消失点。随单个移动装置包含的多个相机的使用可实现相机相对于拍摄图像的场景的定向的经改善的估计。
如图5中进一步所示，至少部分基于场景的所俘获图像中的至少一个消失点(且大体上至少两个)的所确定位置而确定520装置的相对定向(例如，相对于场景的定向)。如所指出，在一些实施方案中例如图4的程序400的消失点确定程序可用以计算场景的所俘获图像中的消失点。因此举例来说，在此些实施方案中，检测所俘获图像中的边缘线，确定多对线的交叉点的群集，且从那些交叉点群集选择一或多个群集(例如，基于一或多个准则，例如群集中的交叉点的数目、群集到所俘获图像的中心的接近度等)。基于消失点的位置，确立俘获场景的图像的相机的相对定向(且因此移动装置的相对定向)。举例来说且再次参考图1，在一些实施例中，基于从线110-118的交叉点确定的消失点120的位置，消失点120的位置从图像的中心的偏差实现相机相对于场景如何定位的确定。在图1的实例中，一个消失点定位在图像的中心的上方且右边(例如，在从图像的中心大约20°角)，且垂直线几乎平行(对应于在无限远处的消失点)。消失点的位置从图像的中心的所计算偏差指示装置的图像俘获单元可在相对于图像的中心的向左方向上稍微旋转。大体上，当检测到两个或两个以上消失点时可根据消失点从图像的中心的偏差确定相对定向。
在一些实施方案中，当在所俘获图像中识别出两个消失点时，可(例如)基于例如通过执行对所述两个消失点(表示为向量)的叉乘运算确定正交于所述两个识别消失点的消失点向量来估计第三消失点。基于三个消失点(即，从所俘获图像确定的两个以及(例如)作为前两个消失点的叉乘确定的第三个)，确定旋转矩阵，从其可导出相机的图像平面与世界坐标系之间的旋转角度(且因此实现装置相对于场景的定向的确定)。举例来说，以下程序说明用于针孔相机的旋转矩阵R的确定。
具体来说，当相机本质上经校准时(例如，与例如相机的焦距和主点等相机的光学属性相关联的矩阵是已知的)，图像中的线段可表示为所谓的“大圆”，其位于相机的视角中心周围的单位半径球体上(即，所俘获图像中出现的线段将大圆界定为单位球体与穿过所述线段和视角中心的平面的交叉点。举例来说，参考图10A，展示单位球体1010与图像平面1020之间的关系的图，线段1022与大圆1012相关联，且线段1024与大圆1014相关联。如图10A中进一步所示，线1022和1024在点1026处交叉。此消失点对应于球体1010上的单位向量1016(点1016还对应于两个大圆1012和1014的交叉点)。此单位球体通常被称为“高斯球体”。通过使高斯球体与穿过线段和相机视角中心的(力矩)平面交叉可检测所述大圆。
在其中从图像提取的线段不平行(例如，图1的线110-118)的情形中，所述线段在图像平面上彼此交叉。此交叉的(均质)坐标可表示为p＝[u v 1]T，其中u和v是图像平面上的消失点的有限坐标。所述消失点的单位长度向量可根据下式确定：
Figure BDA0001277103660000151
在其中3D平行线在2D图像平面中出现作为平行线(如图10B中所描绘的线1030、1032和1034或在图1的实例中出现的线130、132、134和136中的任一者的情况)的情形中，那些平行线段在图像平面上将不彼此交叉。在此情况下消失点被视为在无限远处。然而，高斯球体上对应于处于无限远处的图像平面消失点的消失点可在对应于那些平行线段的大圆的交叉点处获得。在此情况下，从对应于图像平面中的平行线的大圆的交叉点确定的单位向量在平行于图像平面中的平行线段的方向的方向上延伸。基于此观察，在对应于平行2D线段的大圆的交叉点(其对应消失点在无限远处)处获得的消失点的单位范数向量可计算为：
Figure BDA0001277103660000152
其中θ是图像平面(1020)上的水平轴线与线1034之间的角度1040。
为了确定旋转矩阵，假定其中从所俘获图像确定至少两个消失点的情形，其为对应于图像中汇聚于某个消失点的线段(如对应于走廊的墙壁的线的情况)或并不汇聚(例如，垂直线，例如图像中出现的门或其它结构的线)且因此对应于在无限远处的消失点的平行线段的消失点。如果检测到对应于包围结构的两个主方向(例如，x和y方向)的两个消失点p1和p2，那么相机的坐标框架与包围结构之间的旋转矩阵R可如下计算(由于方向指派而达到某一不明确性)：
R＝[p1 p2 p1×p2]
如所指出，项p1x p2对应于至少两个消失点中的一者(例如，p1)与所述至少两个消失点中的另一者(例如，p2)的叉乘。如果以上矩阵R由于消失点检测的不准确性而不是正交的，那么可使用QR分解获得最近的正交矩阵。框架指派不明确性发生，因为p1和p2是否对应于x方向、y方向或z方向可能不是已知的。此不明确性导致若干相异解。如果存在定向的粗略估计(例如从磁力计)那么可容易地从这些解当中选择正确解。否则，可分析对应于可行解的多个假设以选择那些假设中的一者。
所得旋转矩阵R因此表示移动装置的相机的相对定向(即，在拍摄场景的图像的特定时刻)。也可以使用从至少一个消失点的所确定位置计算图像俘获装置的相对定向(且因此移动装置的定向)的其它方式。
在一些实施方案中，(例如)从所俘获图像中的消失点确定的装置的相对定向可能不足以校准定向传感器以使得所述传感器可测量实际或绝对定向(然而，在一些实施例中，定向传感器可经配置以提供相对于装置的初始定向的定向以使得所述传感器可当装置的定向已从其初始定向改变时提供装置的定向改变，例如当两个图像共享共同可检测特征时确定两个图像的旋转矩阵)。因此，在此些实施方案中，除相对定向之外，还可能需要确定装置的实际/绝对定向。举例来说，在一些实施例中，可基于从至少一个消失点确定的相对装置定向且进一步基于与场景相关联的场景定向值而确定实际定向。更确切地说，考虑(例如)图6中说明的地图600，其展示携带例如图3的装置300等装置的用户可位于其中的多个通道/走廊。假定用户且因此装置位于沿着走廊610(也标记为走廊1a)的标记有‘X’的点处。装置在对应于地图600的局部区域内的位置可基于从各种基站或接入点(例如，使用蜂窝式或WiFi技术实施)传送且由装置300的无线收发器335接收的信号导出。随后可基于从所接收信号导出的度量执行多边定位位置确定程序。装置的位置可从其确定的此类度量包含(例如)往返时间(RTT，其大体上对应于信号从移动装置发送到接入点且从接入点接收对其的答复所花费的时间长度)、接收信号强度指示(RSSI，其为由移动装置的天线接收的信号的信号功率电平的指示)等。如果装置300也可接收SPS信号(例如，由SPS接收器340)，那么可至少部分基于SPS信号确定装置300在局部区域(例如对应于地图600的一个局部区域)内的位置。
通过如此确定的装置的位置(装置的位置的近似可为足够的)，可获得与对应于装置的位置的地理特征相关联的预定定向值。举例来说，表示地图600中所描绘的走廊610(装置经确定为位于其中)相对于某个参考点(例如，绝对北方向，其在一些实施例中可视为表示0°方向)的配置/位置的场景定向值可从地图数据(使用数据库或存储库布置)检索，这是通过(例如)存取地图数据(可位于远程服务器中或本地存储在装置处)，识别地图数据中对应于装置的所确定位置(或近似位置)的条目，且读取与所述条目相关联的定向值。在图6的实例中，走廊1a可与45°(从存储在数据库620中的地图的北角位置)的定向值相关联。因为装置(相对于走廊)的相对定向已确定(基于从走廊610的场景的所俘获图像确定的所述至少一个消失点)，且走廊610的定向也已确定，所以可导出装置的实际定向，且因此可执行其中需要绝对定向的装置定向/运动传感器的校准操作(如下文将更详细描述)。
在一些实施方案中，确定装置(即，包含图像俘获单元和待校准的至少一个传感器的装置)的定向可基于相对装置定向值的改变而执行，所述相对装置定向值是至少部分基于从在一段时间内由所述图像俘获单元俘获的多个图像确定的消失点的位置而确定。因此，在此些实施方案中，装置的图像俘获单元(例如，图3的装置300的相机330)俘获场景(例如由图6的地图600表示的走廊中的一者的场景或其中可识别消失点且计算其位置的任何其它场景)的多个图像。对于俘获的图像中的至少一些，确定(例如，根据类似于图4中所描绘的程序400的程序)相应消失点以因此导出装置的多个相对定向。基于装置的所述多个计算的相对定向，确定装置的定向的改变。举例来说，当用户正沿着笔直通道移动时，可检测在多个位置处的多个消失点。通过比较这些时间点之间的定向改变，可确定相机(且因此装置)的相对定向，其又实现传感器的校准。因此，在其中确定定向改变(即，定向差量(Δ))是足够的情形中，可校准定向传感器以使得所测得的定向改变将大体上与根据所述多个图像和从其计算的所述多个消失点确定的定向改变相同。举例来说，假定世界坐标系与例如走廊的第一图像之间的旋转矩阵确定为R0，且来自后续图像的后续旋转矩阵是R1、R2、...Rn，用于第i图像和第一图像的旋转矩阵可计算为R＝R0*R1*R2...Ri，且随后可计算第i图像与走廊之间的旋转角。在后一个等式中，R是3X3矩阵，任何两个矩阵的乘积(例如，Ri*Rj)对应于矩阵乘法运算，且Ri表示第i与第(i+1)相机位置之间的相对旋转。
应注意在其中场景不是具有平行墙壁的走廊中的一者的情形中，可采用不同方法。举例来说，当转向左边(或右边)时，可跟踪当前消失点(例如，在装置移动到右边时，场景的多个图像的序列中的消失点可移位到左边)。在其中俘获的场景是(例如)T接头的场景的情形中，当相机太接近墙壁而见到楼层和屋顶线时，消失点消失，且在可执行进一步校准程序之前可能需要获取新场景。
在一些实施方案中，可至少部分基于相对装置定向(从场景的图像中的所确定至少一个消失点计算)且进一步基于先前确定的定向值(例如走廊的地图)确定实际装置定向。
在一些实施例中，为了进一步改善消失点的确定的准确性(例如，以使得所俘获图像中的消失点大体上处于图像的中心)，可在由图像俘获单元俘获的图像上显示(例如，叠加)一个导引，例如十字线，以指示所俘获图像中的所计算消失点的当前位置。所俘获场景的图像上的大体上对称十字线显示可指示所计算消失点大体上处于图像的中心。图7中展示在走廊的图像700中出现的可用以使用户能够对准其正持有的移动装置的十字线导引702的实例。
回到图5，如所指出，基于针对具有图像俘获单元的装置确定的相对定向值，可执行530用于所述装置的至少一个定向传感器的一或多个校准操作。在一些实施例中，执行此类校准操作可包含做出关于装置的机载定向传感器的校准是否必要的确定。因此，机载的至少一个定向传感器的校准可响应于指示传感器需要校准的比较结果而视为必要的，所述结果是从由所述至少一个传感器确定的所测得定向与所确定的相对(或实际/绝对)装置定向的比较产生。举例来说，当比较结果使得由定向传感器测得的定向与从消失点计算确定的定向(相对或实际)之间的差超过某个预定阈值时，可确定校准为必要的。另一方面，所述至少一个定向传感器的校准可响应于指示所述至少一个传感器已经校准的比较结果而被视为不必要的，所述结果是从由所述至少一个传感器确定的所测得定向与所确定的相对装置定向的比较产生。举例来说，当比较结果使得由所述至少一个定向传感器测得的定向与从消失点计算确定的定向之间的差小于某个预定阈值(可与用以确定校准是否必要的阈值不同或相同)时，随后可确定所述至少一个定向传感器的校准为不必要的。
如所指出，在一些实施例中，装置的定向传感器的校准可使得传感器经校准以测量相对于装置当前位于其中的区域的当前参考帧的相对定向。举例来说，在其中仅导出装置的相对定向(例如，基于至少一个消失点的计算)的情形中，传感器可经校准以使得由所述传感器测得的定向将是相对于基于所述至少一个消失点计算的定向。举例来说，如果消失点计算指示装置的图像俘获单元相对于走廊的中心在向左方向(或逆时针方向)旋转大约20°，那么装置的机载定向传感器可同样经校准以便将其当前测得的定向设定到相对于参考点在向左方向上20°的值。
当装置的实际定向确定(例如，基于根据从所俘获图像计算的所述至少一个消失点以及从与对应于所俘获图像的场景相关联的所获得定向值确定的相对定向)时，装置的定向传感器可经校准以便测量实际定向。因此，举例来说，使用基于消失点计算确定的装置的实际定向(和任选地已确定定向传感器的校准是必要的，例如由于定向传感器当前产生的定向测量与基于消失点计算的实际定向之间的不一致)，装置的定向传感器可经校准以便(例如)校正定向传感器的传感器偏差、传感器按比例缩放和/或传感器未对准中的一或多者，以使得装置的至少一个传感器提供与基于消失点方法确定的定向值大体上相同的定向测量值。传感器的偏差(也称为传感器的偏移)表示当实际测量值应为零时由传感器报告的固定误差(例如，旋转传感器的固定误差角度旋转值)。为抵消此误差，可将偏移添加到传感器的测量。举例来说，对于旋转定向传感器(例如陀螺仪或陀螺测试仪)，当不存在旋转改变时，表示旋转传感器的测量的数据应指示零角度旋转改变。传感器按比例缩放(有时表示为因数k)表示当所测得的属性中存在改变时的测量值不一致。举例来说，在旋转传感器的情况下，k＝1的值表示实际角加速度与所测得的角加速度之间无误差。1.1的值表示由传感器测得的旋转加速度(或改变)相对于实际旋转加速度或改变之间的10％差异。传感器的未对准是X、Y、Z轴线从正交轴的角度变化。这是由于当构造陀螺仪时引起的不精确而发生的。未对准可表示为三个角度或表示为旋转向量。
在某一实施方案中，为了校正定向传感器的传感器偏差、传感器按比例缩放和/或传感器未对准中的一或多者，可使用最小二乘优化技术。通过最小化误差函数(例如，使用候选校准参数集预测的定向值与从消失点计算的定向值之间的差的平方)估计校准参数。
如所指出，在一些实施例中，可执行基于所计算消失点的校准程序以校准(例如)陀螺仪传感器。装置的陀螺仪传感器在一些实施例中可基于微机电系统(MEMS)技术实施，且可为单轴陀螺仪、双轴陀螺仪或经配置以感测围绕(例如)三个正交轴的运动的3-D陀螺仪。其它类型的陀螺仪可代替或除基于MEMS的陀螺仪之外使用。在一些变化形式中，可(例如)通过将陀螺仪测得的定向与使用消失点方法获得的定向进行比较以计算陀螺仪的偏差、按比例缩放和/或未对准来执行移动装置的陀螺仪的校准。如所指出，对于一些应用，由陀螺仪测得的定向并不需要为绝对定向。而是，对于一些应用，计算定向的改变、即定向差量(定向Δ)可为足够的。因此，在一些实施例中，陀螺仪的校准可包含确定陀螺仪测得的定向的改变，且将测得的改变与从消失点方法确定的定向的改变进行比较(即，比较由两个方法检测的差量角度)。从消失点计算确定的相对定向的改变可因此实现传感器校准系数的计算和/或陀螺仪设定/参数中的一些(例如传感器的按比例缩放因数、传感器的偏差等)的校正，以使得陀螺仪将测量与从消失点计算确定的定向一致(例如，大体上相同)的定向改变。在一些实施例中，与陀螺仪相关联的偏差误差和/或按比例缩放误差的确定可通过以下方法实现：致使移动装置进行旋转改变，测量从在陀螺仪的旋转改变期间俘获的多个图像的定向改变，且从所述旋转改变(从消失点计算确定)和从由陀螺仪产生的输出确定与陀螺仪相关联的偏移和按比例缩放值，例如通过基于使用例如线性回归等程序的多个测量求解例如偏差误差和按比例缩放误差等若干未知量。
在一些实施例中，装置的定向测量传感器可为磁力计。磁力计经配置以测量磁场强度和/或方向，且在一些实施例中可测量相对于磁北的绝对定向，其可转换为相对于真实北的定向。在一些实施方案中，可使用基于MEMS的磁力计。此类基于MEMS的传感器可经配置以检测由通过MEMS导体的电流产生的洛仑兹力引起的运动。随后可电子地或光学地感测所得运动。代替于基于MEMS的实施方案或除基于MEMS的实施方案之外，包含(例如)霍耳效应磁力计、旋转线圈磁力计等磁力计的其它类型的磁力计也可以在移动装置的实施方案中使用。
结合采用图像俘获单元的移动装置使用的磁力计类型定向/惯性传感器的校准可以类似于陀螺仪类型传感器的校准的方式执行，其方法为通过(例如)将磁力计测得的定向与使用消失点方法获得的定向进行比较以计算待校准磁力计的偏差、按比例缩放和/或未对准。在一些实施例中，校准程序可包含提供磁力计的绝对定向测量值且基于来自场景的一或多个俘获图像的消失点计算确定绝对装置定向(例如，计算图像中的消失点，确定装置的相对定向，且基于场景中的装置的所确定相对定向且基于与所述场景相关联的已知方向/定向值确定绝对装置定向)。磁力计传感器的测得的定向与从消失点确定的装置定向之间的差异因此可实现例如磁力计的偏差/偏移值、其按比例缩放因数等参数的计算。校准程序可需要使用若干定向测量和从一或多个图像的若干计算的消失点来执行磁力计校准(例如，在其中磁力计的校准需要计算多个校准系数的情况中，例如关于传感器的偏移/偏差、按比例缩放、未对准等的系数)。
如同陀螺仪校准程序，在一些实施例中，磁力计传感器的校准可基于装置的定向的改变(例如，定向Δ)而执行，而不具体要求知道装置的绝对定向。举例来说，磁力计的校准可包含确定磁力计测得的定向的改变，且将测得的改变与通过消失点的移动检测的定向的改变进行比较(即，比较由两个方法检测到的差量角度)。从消失点确定的相对定向的改变实现校准系数的计算和/或校正/调整传感器的设定/参数中的一些，例如传感器的按比例缩放因数、传感器的偏差等，以使得磁力计将测量与从消失点计算确定的定向一致(例如，大体上相同)的定向的改变。在一些实施例中，与磁力计相关联的偏差误差和/或按比例缩放误差的确定可通过以下方式实现：致使移动装置进行旋转改变，测量从在磁力计的旋转改变期间俘获的多个图像的定向的改变，且从旋转改变(从消失点计算确定)和从由磁力计产生的输出确定与陀螺仪相关联的偏移和按比例缩放值(例如，使用多个测量值求解传感器的校准所需的多个系数/参数)。
磁力计使用中的共同挑战是考虑可能造成大误差的磁性异常。因此，在一些实施例中，消失点方法也可用以检测且校正这些误差。举例来说，因为室内磁性异常通常是由于通常保持在相同位置的金属对象和电子设备引起，所以可产生可用于未来参考的磁性偏差图。应注意有可能在无图的情况下通过使用消失点确定定向尚未改变且随后校准消除通常由金属梁引起的周期性异常(或其它异常)而操作。因为梁是大体上均匀的，所以甚至可确定任何给定梁对磁力计的影响是什么且随后在传感器接近梁时检测所述梁以：1)将其校准消除；2)绘制它们的图(例如，包含其作为磁性图的部分)；和/或3)对其进行计数或使用其作为地标以确定距离和位置(因为它们通常沿着栅格隔开或在拐角处)。因此，校准磁力计传感器可部分基于知道磁性干扰和/或其它磁性异常的存在(和水平)以便确定由磁力计测得的定向值与基于消失点方法确定的装置定向之间的不一致可归因于此类磁性干扰/异常的程度。如果磁性干扰的存在和水平可大体上说明由磁力计测得的定向与从所俘获图像中的消失点计算/导出的装置定向之间的不一致，那么磁力计可视为经校准的。然而，如果由磁力计测得的定向与从消失点计算的装置定向之间的不一致无法完全归因于磁性干扰的存在和水平(如可能已先前计算/确定)，那么这可为磁力计可需要校准的指示。因此，在一些实施例中，执行用于磁力计的校准程序(根据图5的530)可包含响应于从由磁力计确定的测得的定向与从消失点计算确定的相对装置定向的比较产生的比较结果而校准磁力计，所述比较结果另外基于造成测得的定向的临时误差测量的磁性干扰的存在的指示而指示磁力计需要校准。执行用于磁力计的校准程序还可包含基于所述比较结果且进一步基于造成测得的定向的临时误差测量的磁性干扰的存在的指示而确定磁力计经校准。
位置估计
场景的所俘获图像中的消失点的确定也可以用于位置估计/确定。举例来说，在闭合区域(例如，包含多个走廊/通道的区域)内移动的用户可能够基于来自移动装置的定向传感器的定向信息和场景的至少一个消失点的识别而获得其可位于的可能走廊的估计。
为了确定用户可位于的可能的候选走廊，可使用包含相机(例如图3的装置300的相机330)和另一独立定向传感器(例如，由陀螺仪、磁力计或对应于图3中所描绘的传感器320的某个其它传感器执行)的装置俘获与定向值相关联的场景的图像。确定所俘获图像中的场景中的消失点的位置。还从由装置的定向传感器执行的测量确定测得的装置定向。装置在包含对应于所俘获图像中的场景的区域的区中的候选位置可至少部分基于场景中的至少一个消失点的位置、测得的装置定向以及与所述区内的多个区域相关联的定向数据而确定。
考虑(例如)可类似于图6中所描绘的一个布局的已知走廊布局。在此实例中走廊1a、1b、...1j相对于北位置(出于此实例的目的设定成表示0°位置)对准于α或α+180°的角度，其中α是从北位置近似45°。走廊2a、2b、2c和2d对准于近似90°+α。当用户站在走廊中且举起其装置的相机拍摄走廊的图片时，由定向传感器(假定此传感器大体上经校准)确定的装置的定向可用以将装置的位置缩窄到与由所述传感器测得的定向相关联的若干走廊中的一者。具体来说，从消失点计算确定的装置的相对定向(即，相对于场景或例如用户站在其中的走廊等场景中的特征的定向)可假定为与由传感器相对于所述场景或特征测得的定向相同。因此，所述特征相对于全球参考点(例如北的位置)的定向可从基于消失点计算的相对定向且基于由定向传感器提供的测得的定向而确定。举例来说，在其中消失点大体上出现在图像的中心的情形中，可假设由定向传感器(其为陀螺仪、磁力计和/或某个其它类型的定向传感器)提供的定向测量值是走廊(相对于例如北位置等参考点)的定向的大体上准确估计。通过将此确定的定向估计与(例如)与走廊位于其中的区域相关联的定向值进行比较，可将区域600内的装置的位置缩窄到若干候选走廊。举例来说，如果定向传感器测得45°的定向值(当进行定向传感器的测量时消失点大体上在所俘获图像的中心时)，那么从与区域600相关联的定向值可推断移动装置(且因此用户)位于走廊1a-1j中的一者中。
应注意在其中未检测到消失点的情形中，可推断用户站在例如图6中所示的空间3a-3d等开放空间中。在其中存在“低置信度”消失点(例如，由于外来的线)且所述线并不汇聚于1、2或3个消失点的情形中，则此情形等效于其中不可检测消失点的情况，并且因此在所述情形中，基于消失点方法的近似位置估计可能不是可行的。
因此，参考图8，展示估计移动装置的位置的程序800的流程图。如所示，程序800包含由装置的图像俘获单元(例如，CCD相机、CMOS相机等)俘获810与场景定向值相关联的场景的图像。举例来说，可提示用户移动装置以使得相机处于适当位置以俘获图像，且一旦相机处于适当位置，图像俘获单元便可自动或响应于用户按压按钮致使取得图像而在(例如)CCD相机的CCD阵列上俘获图像，其又致使表示所俘获图像的数字数据记录在存储装置(存储器或某个其它媒体)中。
所述装置(例如，移动装置)进一步包含至少一个传感器，例如定向传感器。从场景的所俘获图像，确定820图像中的至少一个消失点的位置。所述至少一个消失点的位置可基于例如关于图4描述的程序400等程序确定。在一些实施例中，为了改进位置估计程序的准确性和可靠性和/或简化程序，可提示用户定位其装置的相机以使得图像的至少一个消失点中的一者大体上出现在图像的中心。在此类实施例中，响应于所俘获图像中的消失点的所确定的位置处于偏离中心位置的确定，可产生指示以致使装置移动以使得另一所俘获图像中的后续消失点将大体上位于后续所俘获图像的中心。
另外，基于由装置的定向传感器执行的一或多个测量确定830装置的测得的装置定向。举例来说，所述传感器可为MEMS实施的陀螺仪或磁力计，其经配置以取得表示传感器的定向的测量值(例如，以测量定向的改变、测量相对于某个参考点的定向等)。
至少部分基于场景的图像中的至少一个消失点的所确定的位置、测得的装置定向以及与包含对应于所述场景的区域的区内的多个区域相关联的定向数据(此类定向数据可从可存储在远程装置或本地存储在移动装置处的所述区的地图数据检索)，确定840所述区中的装置的候选位置。举例来说，如在此所指出，至少一个消失点的位置可用以例如相对于例如走廊等场景中的特征确定装置的相对定向(例如表示为旋转矩阵)。根据从所述至少一个消失点确定的装置的相对定向，也可确定传感器相对于同一特征的相对定向。举例来说，如果装置确定为定向在从中心大约10°，那么传感器也可以假定为关于所俘获图像的参考特征(例如，走廊)具有与装置相同的相对定向，且因此，所述特征(相对于例如北位置等参考位置)的定向可通过将从消失点确定的装置的相对定向与通过定向传感器获得的定向值一起考虑而确定。随后可将所得定向值与同场景中的区域的特征相关联的预定定向值(此类预定值可存储在远程服务器中或本地存储在移动装置处)进行比较。定向值大体上匹配于从定向传感器测量值确定的所得定向值和基于消失点计算的相对定向的特征被认为是所述装置的可能的候选位置。如果找到仅一个具有匹配定向值的特征，那么所述特征(例如，走廊)可视为所述装置当前位于的特征。
本文所描述的执行定向传感器校准程序和/或位置估计程序(例如，基于消失点确定)可由基于处理器的计算系统促进。参考图9，展示实例计算系统900的示意图。计算系统900包含例如个人计算机、专用计算装置等基于处理器的装置910，其通常包含中央处理器单元912。除CPU 912之外，系统还包含主存储器、高速缓存存储器和总线接口电路(未图示)。基于处理器的装置910可包含大容量存储装置914，例如与计算机系统相关联的硬盘驱动器和/或快闪驱动器。计算系统900可进一步包含键盘或小键盘916和监视器920，例如CRT(阴极射线管)或LCD(液晶显示器)监视器，其可放置在用户可取用它们的地方(例如，移动装置的屏幕)。
基于处理器的装置910经配置以(例如)基于场景的所俘获图像中确定的消失点而促进定向传感器(例如，陀螺仪、磁力计)的校准程序的实施，并且还基于此类消失点促进位置确定程序的实施。大容量存储装置914因此可包含计算机程序产品，其当在基于处理器的装置910上执行时致使所述基于处理器的装置执行操作以促进上述程序的实施。所述基于处理器的装置可进一步包含外围装置以实现输入/输出功能性。此类外围装置可包含(例如)光盘驱动器和/或快闪驱动器，或用于将相关内容下载到所连接系统的网络连接。此类外围装置也可以用于下载含有计算机指令的软件以实现相应系统/装置的一般操作。可替代地和/或另外，在一些实施例中，在计算系统900的实施方案中可使用专用逻辑电路，例如FPGA(现场可编程门阵列)、DSP处理器或ASIC(专用集成电路)。可随基于处理器的装置910包含的其它模块是扬声器、声卡、用户可用来对计算系统900提供输入的指向装置(例如鼠标或轨迹球)。基于处理器的装置910可包含操作系统。
计算机程序(也被称作程序、软件、软件应用程序或代码)包含用于可编程处理器的机器指令，且可以高级程序和/或面向对象的编程语言和/或以汇编/机器语言实施。如本文所使用，术语“机器可读媒体”指代用以将机器指令和/或数据提供到可编程处理器的任何计算机程序产品、设备和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包含接收机器指令作为机器可读信号的非暂时性机器可读媒体。
存储器可以实施在处理单元内或处理单元外部。在本文中使用时，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其它存储器，并且不应限于任何特定类型的存储器或任何特定类型数目的存储器或存储存储器的媒体的类型。
如果以固件和/或软件实施，那么可将所述功能作为一或多个指令或代码存储在计算机可读媒体上。实例包含编码有数据结构的计算机可读媒体和编码有计算机程序的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制，此类计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置，磁盘存储装置、半导体存储装置或其它存储装置，或任何其它可用于存储指令或数据结构的形式的所要程序代码并且可由计算机存取的媒体；在本文中使用时，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)，软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上的组合也应包含在计算机可读媒体的范围内。
除了存储在计算机可读媒体上之外，还可将指令和/或数据提供为通信设备中包含的传输媒体上的信号。例如，通信设备可以包含具有指示指令和数据的信号的收发器。所述指令和数据经配置以致使一或多个处理单元实施权利要求书中概述的功能。也就是说，通信设备包含具有指示用以执行所揭示的功能的信息的信号的传输媒体。在第一时间，通信设备中所包含的传输媒体可包含执行所揭示的功能的信息的第一部分，而在第二时间，通信设备中所包含的传输媒体可包含执行所揭示的功能的信息的第二部分。
虽然本文已经详细揭示具体实施例，但这仅是借助于实例出于说明的目的而完成，且并不希望相对于所附权利要求书的范围为限制性的。确切地说，预期在不脱离由权利要求书界定的本发明的精神和范围的情况下可做出各种替代、更改和修改。其它方面、优点和修改被认为在所附权利要求书的范围内。呈现的权利要求书代表本文所揭示的实施例和特征。其它未要求的实施例和特征也是预期的。因此，其它实施例在所附权利要求书的范围内。

Claims (22)

1.一种用于传感器校准的方法，其包括：
由装置的图像俘获单元俘获场景的图像，所述装置进一步包括至少一个传感器；
确定所述场景的所俘获图像中的至少一个消失点的位置；
基于由所述装置的所述至少一个传感器执行的一或多个测量确定所述装置的测得装置定向；以及
至少部分基于所述场景的所述所俘获图像中的所述至少一个消失点的所述位置、所述测得装置定向以及与包含对应于所述场景的区域的区内的多个区域相关联的定向数据确定所述区中的所述装置的候选位置，其中确定所述候选位置包括基于从所述所俘获图像中的所述至少一个消失点的所述位置确定的所述装置的相对定向且基于所述测得装置定向，从所述区内的所述多个区域确定候选区域，且其中确定所述候选区域包括基于从所述所俘获图像中的所述至少一个消失点的所述位置确定的所述装置的所述相对定向且基于所述测得装置定向来确定所述区域中的候选走廊，其中所述区域包含与相应定向值相关联的多个走廊。
2.根据权利要求1所述的方法，其中确定所述装置在所述区中的所述候选位置包括：
响应于确定所述至少一个消失点大体上位于所述图像的中心，将基于由所述装置的所述至少一个传感器执行的所述一或多个测量确定的所述测得装置定向设定为所述装置的定向估计；以及
使用大体上匹配于所述装置的所述定向估计的相关联定向值，从所述区内的所述多个区域中识别候选区域。
3.根据权利要求1所述的方法，其进一步包括：
响应于确定所述所俘获图像中的所述至少一个消失点的所确定位置处于偏离中心位置，产生指示以提示用户移动所述装置以使得后续所俘获图像中的后续消失点将大体上位于所述后续所俘获图像的后续图像中心。
4.根据权利要求1所述的方法，其中确定所述装置的所述相对定向包括：
确定与所述图像俘获单元的参考系和所述场景的参考系中的位置坐标相关的旋转矩阵。
5.根据权利要求1所述的方法，其中至少部分基于所述至少一个消失点的所述所确定位置确定所述装置的所述相对定向包括：
基于所述场景的所述所俘获图像中的两个或两个以上消失点的所确定位置来确定所述相对装置定向。
6.根据权利要求1所述的方法，其进一步包括：
通过将从所述所俘获图像中的所述至少一个消失点的所述位置确定的所述装置的所述相对定向与基于由所述至少一个传感器执行的所述一或多个测量确定的所述测量装置定向一起考虑而计算所述候选走廊的定向。
7.根据权利要求1所述的方法，其进一步包括：
从用于所述区的地图数据检索与所述区内的所述多个区域相关联的所述定向数据。
8.根据权利要求1所述的方法，其中所述至少一个传感器包括以下各者中的一或多者：
陀螺仪、磁力计或加速度计，或其任何组合。
9.根据权利要求1所述的方法，其中确定所述所俘获图像中的所述至少一个消失点的所述位置包括：
在所述所俘获图像中提取边缘线；
选择预定数目对的所提取边缘线；
针对所述所提取边缘线的所选择对中的每一者确定对应于相应所提取边缘线的交叉点的消失点假设；
将所确定消失点假设中的所述每一者群集到消失点群集；以及
将所识别消失点群集中的至少一者中的中心点设定为所述至少一个消失点。
10.一种移动装置，其包括：
图像俘获单元以俘获场景的图像；
至少一个传感器，其用以测量所述移动装置的定向；以及
控制器，其经配置以：
确定由所述图像俘获单元俘获的所述场景的所述图像中的至少一个消失点的位置；
基于由所述移动装置的所述至少一个传感器执行的一或多个测量确定所述移动装置的测得装置定向；以及
至少部分基于所述场景的所俘获图像中的所述至少一个消失点的所述位置、所述测得装置定向以及与包含对应于所述场景的区域的区内的多个区域相关联的定向数据确定所述区中的所述移动装置的候选位置，其中经配置以确定所述区中的所述移动装置的所述候选位置的所述控制器经配置以基于从所述所俘获图像中的所述至少一个消失点的所述位置确定的所述移动装置的相对定向且基于所述测得装置定向，从所述区内的所述多个区域确定候选区域，且其中经配置以确定所述候选区域的所述控制器经配置以基于从所述所俘获图像中的所述至少一个消失点的所述位置确定的所述移动装置的所述相对定向且基于所述测得装置定向来确定所述区域中的候选走廊，其中所述区域包含与相应定向值相关联的多个走廊。
11.根据权利要求10所述的移动装置，其中经配置以确定所述区中的所述移动装置的所述候选位置的所述控制器经配置以：
响应于确定所述至少一个消失点大体上位于所述图像的中心，将基于由所述移动装置的所述至少一个传感器执行的所述一或多个测量确定的所述测得装置定向设定为所述移动装置的定向估计；以及
使用大体上匹配于所述移动装置的所述定向估计的相关联定向值，从所述区内的所述多个区域中识别候选区域。
12.根据权利要求10所述的移动装置，其中所述控制器进一步经配置以：
响应于确定所述所俘获图像中的所述至少一个消失点的所述所确定位置处于偏离中心位置，产生指示以提示用户移动所述移动装置以使得后续所俘获图像中的后续消失点将大体上位于所述后续所俘获图像的后续图像中心。
13.根据权利要求10所述的移动装置，其中经配置以确定所述移动装置的所述相对定向的所述控制器经配置以：
确定与所述图像俘获单元的参考系和所述场景的参考系中的位置坐标相关的旋转矩阵。
14.根据权利要求10所述的移动装置，其中所述控制器进一步经配置以：
从用于所述区的地图数据检索与所述区内的所述多个区域相关联的所述定向数据。
15.根据权利要求10所述的移动装置，其中所述至少一个传感器包括以下各者中的一或多者：
陀螺仪、磁力计或加速度计，或其任何组合。
16.一种用于传感器校准的设备，其包括：
用于包含至少一个传感器的装置的用于俘获场景的图像的装置；
用于确定所述场景的所俘获图像中的至少一个消失点的位置的装置；
用于基于由所述装置的所述至少一个传感器执行的一或多个测量确定所述装置的测得装置定向的装置；以及
用于至少部分基于所述场景的所述所俘获图像中的所述至少一个消失点的所述位置、所述测得装置定向以及与包含对应于所述场景的区域的区内的多个区域相关联的定向数据确定所述区中的所述装置的候选位置的装置，其中用于确定所述候选位置的所述装置包括用于基于从所述所俘获图像中的所述至少一个消失点的所述位置确定的所述装置的相对定向且基于所述测得装置定向，从所述区内的所述多个区域确定候选区域的装置，且其中用于确定所述候选区域的所述装置包括用于基于从所述所俘获图像中的所述至少一个消失点的所述位置确定的所述装置的所述相对定向且基于所述测得装置定向来确定所述区域中的候选走廊的装置，其中所述区域包含与相应定向值相关联的多个走廊。
17.根据权利要求16所述的设备，其中用于确定所述区中的所述装置的所述候选位置的所述装置包括：
用于响应于确定所述至少一个消失点大体上位于所述图像的中心，将基于由所述装置的所述至少一个传感器执行的所述一或多个测量确定的所述测得装置定向设定为所述装置的定向估计的装置；以及
用于使用大体上匹配于所述装置的所述定向估计的相关联定向值，从所述区内的所述多个区域中识别候选区域的装置。
18.根据权利要求16所述的设备，其中所述至少一个传感器包括以下各者中的一或多者：
陀螺仪、磁力计或加速度计，或其任何组合。
19.一种非暂时性计算机可读介质，其经编程有指令集合，所述指令集合可在处理器上执行以：
由装置的图像俘获单元俘获场景的图像，所述装置进一步包括至少一个传感器；
确定由所述图像俘获单元俘获的场景的图像中的至少一个消失点的位置；
基于由所述装置的所述至少一个传感器执行的一或多个测量确定所述装置的测得装置定向；以及
至少部分基于所述场景的所俘获图像中的所述至少一个消失点的所述位置、所述测得装置定向以及与包含对应于所述场景的区域的区内的多个区域相关联的定向数据确定所述区中的所述装置的候选位置，其中确定所述区中的所述装置的所述候选位置的所述指令包括一或多个指令以基于从所述所俘获图像中的所述至少一个消失点的所述位置确定的所述装置的相对定向且基于所述测得装置定向，从所述区内的所述多个区域确定候选区域，且其中确定所述候选区域的所述一或多个指令包括进一步指令以基于从所述所俘获图像中的所述至少一个消失点的所述位置确定的所述装置的所述相对定向且基于所述测得装置定向来确定所述区域中的候选走廊，其中所述区域包含与相应定向值相关联的多个走廊。
20.根据权利要求19所述的非暂时性计算机可读介质，其中确定所述区中的所述装置的所述候选位置的所述指令包括指令以：
响应于确定所述至少一个消失点大体上位于所述图像的中心，将基于由所述装置的所述至少一个传感器执行的所述一或多个测量确定的所述测得装置定向设定为所述装置的定向估计；以及
使用大体上匹配于所述装置的所述定向估计的相关联定向值，从所述区内的所述多个区域中识别候选区域。
21.根据权利要求19所述的非暂时性计算机可读介质，其中所述指令集合进一步包括指令以：
从用于所述区的地图数据检索与所述区内的所述多个区域相关联的所述定向数据。
22.根据权利要求19所述的非暂时性计算机可读介质，其中所述至少一个传感器包括以下各者中的一或多者：
陀螺仪、磁力计或加速度计，或其任何组合。
CN201710270027.6A 2012-10-16 2013-08-22 基于消失点确定的传感器校准和位置估计 Active CN107194969B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261714508P 2012-10-16 2012-10-16
US61/714,508 2012-10-16
US13/671,390 2012-11-07
US13/671,390 US9135705B2 (en) 2012-10-16 2012-11-07 Sensor calibration and position estimation based on vanishing point determination
CN201380053591.2A CN104718561B (zh) 2012-10-16 2013-08-22 基于消失点确定的传感器校准和位置估计

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380053591.2A Division CN104718561B (zh) 2012-10-16 2013-08-22 基于消失点确定的传感器校准和位置估计

Publications (2)

Publication Number Publication Date
CN107194969A CN107194969A (zh) 2017-09-22
CN107194969B true CN107194969B (zh) 2020-04-24

Family

ID=50475007

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710270027.6A Active CN107194969B (zh) 2012-10-16 2013-08-22 基于消失点确定的传感器校准和位置估计
CN201380053591.2A Active CN104718561B (zh) 2012-10-16 2013-08-22 基于消失点确定的传感器校准和位置估计

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380053591.2A Active CN104718561B (zh) 2012-10-16 2013-08-22 基于消失点确定的传感器校准和位置估计

Country Status (7)

Country Link
US (2) US9135705B2 (zh)
EP (2) EP3012804B1 (zh)
JP (2) JP5893802B2 (zh)
KR (2) KR20160018847A (zh)
CN (2) CN107194969B (zh)
ES (1) ES2776674T3 (zh)
WO (1) WO2014062293A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146260B2 (en) 2001-04-24 2006-12-05 Medius, Inc. Method and apparatus for dynamic configuration of multiprocessor system
US9928425B2 (en) * 2012-06-20 2018-03-27 Apstec Systems Usa Llc Methods and systems for non-cooperative automatic security screening in crowded areas
US10162075B2 (en) * 2012-06-20 2018-12-25 Apstec Systems Usa Llc Non-cooperative automatic security screening with antennas for high cross-polarization discrimination
US9135705B2 (en) 2012-10-16 2015-09-15 Qualcomm Incorporated Sensor calibration and position estimation based on vanishing point determination
US9113077B2 (en) * 2013-01-17 2015-08-18 Qualcomm Incorporated Orientation determination based on vanishing point computation
US8860818B1 (en) 2013-07-31 2014-10-14 Apple Inc. Method for dynamically calibrating rotation offset in a camera system
US9631920B2 (en) * 2013-10-16 2017-04-25 Google Inc. Sensing system for verifying deadbolt engagement
JP6292915B2 (ja) * 2014-02-13 2018-03-14 キヤノン株式会社 表示制御装置及びその制御方法、プログラム
KR102225620B1 (ko) * 2014-04-03 2021-03-12 한화테크윈 주식회사 카메라 모델링 시스템
US9911190B1 (en) * 2014-04-09 2018-03-06 Vortex Intellectual Property Holding LLC Method and computer program for generating a database for use in locating mobile devices based on imaging
US10444030B1 (en) * 2014-05-12 2019-10-15 Inertial Labs, Inc. Automatic calibration of magnetic sensors based on optical image tracking
US9528837B2 (en) * 2014-06-04 2016-12-27 Qualcomm Incorporated Mobile device position uncertainty based on a measure of potential hindrance of an estimated trajectory
US10068336B1 (en) 2015-04-20 2018-09-04 Hrl Laboratories, Llc Generic frontal and side doorway detection with line tracking and vanishing point based verification
US9978149B1 (en) * 2015-04-20 2018-05-22 Hrl Laboratories, Llc System and method for door detection for corridor exploration
KR20170037466A (ko) * 2015-09-25 2017-04-04 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10012517B2 (en) * 2016-08-01 2018-07-03 Infinity Augmented Reality Israel Ltd. Method and system for calibrating components of an inertial measurement unit (IMU) using scene-captured data
US10304210B2 (en) * 2017-05-25 2019-05-28 GM Global Technology Operations LLC Method and apparatus for camera calibration
US10819449B2 (en) * 2017-05-29 2020-10-27 Robert Bosch (Australia) Pty Ltd Method and system for near-field localization
US11170531B2 (en) * 2017-09-13 2021-11-09 Xiaochun Nie Systems and methods for calibrating imaging and spatial orientation sensors
US10636137B1 (en) * 2017-10-23 2020-04-28 Amazon Technologies, Inc. System for determining object orientations in an image
US11508084B2 (en) 2017-11-01 2022-11-22 Sony Corporation Information processing apparatus and information processing method for accurately estimating a self location
DE102018205065A1 (de) 2018-04-04 2019-10-10 Volkswagen Aktiengesellschaft Verfahren zur Kalibrierung eines Positionssensors in einem Fahrzeug, Computerprogramm, Speichermittel, Steuergerät und Kalibrierstrecke
WO2019206247A1 (en) * 2018-04-27 2019-10-31 Shanghai Truthvision Information Technology Co., Ltd System and method for camera calibration
JP2021122079A (ja) * 2018-05-08 2021-08-26 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
US20210178250A1 (en) * 2018-08-27 2021-06-17 Digibit, Llc Electronic Motion Sensing Devices and Method of Operating Same
EP3620747A1 (fr) 2018-09-10 2020-03-11 Tissot S.A. Calibration ou reglage de magnetometre
JP7153594B2 (ja) 2019-03-26 2022-10-14 日立建機株式会社 較正作業支援システム
JP7213740B2 (ja) * 2019-04-16 2023-01-27 京セラ株式会社 システム、装置、方法、及び管理プログラム
US11249197B2 (en) 2019-05-03 2022-02-15 Apple Inc. Image-based techniques for stabilizing positioning estimates
US20200348143A1 (en) * 2019-05-03 2020-11-05 Apple Inc. Adjusting heading sensor output based on image data
CN110132280B (zh) * 2019-05-20 2021-07-13 广州小鹏自动驾驶科技有限公司 室内场景下的车辆定位方法、车辆定位装置和车辆
US11699279B1 (en) 2019-06-28 2023-07-11 Apple Inc. Method and device for heading estimation
KR102293561B1 (ko) * 2019-12-31 2021-08-24 재단법인대구경북과학기술원 이동형 측위 장치 및 위치 측정 방법
US11917119B2 (en) 2020-01-09 2024-02-27 Jerry Nims 2D image capture system and display of 3D digital image
IT202000009937A1 (it) * 2020-05-05 2021-11-05 St Microelectronics Srl Metodo di controllo di un apparecchio elettronico eseguito tramite il calcolo di un angolo di apertura, relativo apparecchio elettronico e prodotto software
CN113608576B (zh) * 2020-05-05 2024-06-25 意法半导体股份有限公司 电子装置控制方法、其电子装置和软件产品
US11348277B2 (en) 2020-08-12 2022-05-31 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface
EP3961525A1 (en) * 2020-08-31 2022-03-02 Koninklijke Philips N.V. Determining a level of interaction experienced by a subject
WO2022104077A1 (en) * 2020-11-13 2022-05-19 Nims, Jerry 2d digital image capture system, frame speed, and simulating 3d digital image sequence
CN113063442B (zh) * 2021-03-17 2024-06-07 深圳市云鼠科技开发有限公司 扫地机器人陀螺仪标定方法、装置、计算机设备及存储器
CN112990117B (zh) * 2021-04-21 2021-08-17 智道网联科技(北京)有限公司 基于智能驾驶系统的安装数据处理方法及装置
CN113566847B (zh) * 2021-07-22 2022-10-11 北京百度网讯科技有限公司 导航校准方法和装置、电子设备、计算机可读介质
US11674727B2 (en) 2021-07-23 2023-06-13 Goodman Manufacturing Company, L.P. HVAC equipment with refrigerant gas sensor
CN118056226A (zh) * 2021-08-06 2024-05-17 埃沃卡尔戈有限责任公司 校准外部摄像机参数的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764818A (zh) * 2003-05-09 2006-04-26 施耐宝公司 用于自适应巡航控制(acc)传感器调节的相机技术

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000182051A (ja) * 1998-12-14 2000-06-30 Meidensha Corp カメラキャリブレーション方法
US6968094B1 (en) * 2000-03-27 2005-11-22 Eastman Kodak Company Method of estimating and correcting camera rotation with vanishing point location
US7583858B2 (en) * 2004-10-12 2009-09-01 Eastman Kodak Company Image processing based on direction of gravity
US7539557B2 (en) * 2005-12-30 2009-05-26 Irobot Corporation Autonomous mobile robot
JP4757142B2 (ja) 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
SG183690A1 (en) * 2007-08-06 2012-09-27 Trx Systems Inc Locating, tracking, and/or monitoring personnel and/or assets both indoors and outdoors
FR2936607B1 (fr) 2008-09-26 2012-10-12 Thales Sa Dispositif de detection optique de position et/ou d'orientation d'objets comprenant au moins un capteur lineaire
US8259174B2 (en) * 2009-02-06 2012-09-04 GM Global Technology Operations LLC Camera auto-calibration by horizon estimation
CN101894366B (zh) 2009-05-21 2014-01-29 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
WO2010146695A1 (ja) * 2009-06-18 2010-12-23 富士通株式会社 画像処理装置および画像処理方法
US8812015B2 (en) * 2009-10-01 2014-08-19 Qualcomm Incorporated Mobile device locating in conjunction with localized environments
US8427536B2 (en) * 2009-11-19 2013-04-23 Qualcomm Incorporated Orientation determination of a mobile station using side and top view images
CN102103747B (zh) 2009-12-16 2012-09-05 中国科学院电子学研究所 采用参照物高度的监控摄像机外部参数标定方法
TWI401175B (zh) * 2010-06-08 2013-07-11 Automotive Res & Testing Ct Dual vision front vehicle safety warning device and method thereof
US9684989B2 (en) * 2010-06-16 2017-06-20 Qualcomm Incorporated User interface transition between camera view and map view
US8610708B2 (en) * 2010-09-22 2013-12-17 Raytheon Company Method and apparatus for three-dimensional image reconstruction
WO2012044308A1 (en) 2010-09-30 2012-04-05 Hewlett-Packard Development Company, L.P. Projection matrix
US8731303B2 (en) * 2010-12-07 2014-05-20 Sony Corporation Vanishing point estimation system and methods
US9160980B2 (en) 2011-01-11 2015-10-13 Qualcomm Incorporated Camera-based inertial sensor alignment for PND
US20130102334A1 (en) * 2011-10-21 2013-04-25 Qualcomm Incorporated Egress based map region classification
US9147122B2 (en) * 2012-05-31 2015-09-29 Qualcomm Incorporated Pose estimation based on peripheral information
JP5878634B2 (ja) * 2012-08-15 2016-03-08 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 特徴抽出方法、プログラム及びシステム
US9013617B2 (en) * 2012-10-12 2015-04-21 Qualcomm Incorporated Gyroscope conditioning and gyro-camera alignment
US9135705B2 (en) * 2012-10-16 2015-09-15 Qualcomm Incorporated Sensor calibration and position estimation based on vanishing point determination
US9576183B2 (en) * 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
US8849308B2 (en) * 2012-11-21 2014-09-30 Apple Inc. Tiling of map data
US9020191B2 (en) * 2012-11-30 2015-04-28 Qualcomm Incorporated Image-based indoor position determination
US9113077B2 (en) * 2013-01-17 2015-08-18 Qualcomm Incorporated Orientation determination based on vanishing point computation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764818A (zh) * 2003-05-09 2006-04-26 施耐宝公司 用于自适应巡航控制(acc)传感器调节的相机技术

Also Published As

Publication number Publication date
EP3012804A1 (en) 2016-04-27
KR20160018847A (ko) 2016-02-17
CN104718561A (zh) 2015-06-17
CN104718561B (zh) 2017-11-24
EP3012804B1 (en) 2019-12-11
US9361688B2 (en) 2016-06-07
WO2014062293A1 (en) 2014-04-24
KR20150070277A (ko) 2015-06-24
KR101639029B1 (ko) 2016-07-12
JP5893802B2 (ja) 2016-03-23
JP2016504561A (ja) 2016-02-12
CN107194969A (zh) 2017-09-22
JP6239659B2 (ja) 2017-11-29
US9135705B2 (en) 2015-09-15
US20140104437A1 (en) 2014-04-17
US20150178924A1 (en) 2015-06-25
EP2909810B1 (en) 2020-01-08
ES2776674T3 (es) 2020-07-31
JP2016154009A (ja) 2016-08-25
EP2909810A1 (en) 2015-08-26

Similar Documents

Publication Publication Date Title
CN107194969B (zh) 基于消失点确定的传感器校准和位置估计
US9113077B2 (en) Orientation determination based on vanishing point computation
KR101750469B1 (ko) 하이브리드 포토 네비게이션 및 맵핑
CN103635778B (zh) 在具有矩形平面布置图的建筑物中的导航
US9316501B2 (en) Generating magnetic field map for indoor positioning
FI124153B (en) Using magnetic field navigation
US20150192656A1 (en) Received signal direction determination in using multi-antennas receivers
US9361889B2 (en) Landmark based positioning with verbal input
KR20130116923A (ko) 이미지 프로세싱에 기초한 카메라-기반 포지션 로케이션 및 네비게이션
US20170219717A1 (en) Alignment of visual inertial odometry and satellite positioning system reference frames
JP2021143861A (ja) 情報処理装置、情報処理方法及び情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant