CN103328928A - 用于个人导航设备的基于相机的惯性传感器对准 - Google Patents

用于个人导航设备的基于相机的惯性传感器对准 Download PDF

Info

Publication number
CN103328928A
CN103328928A CN2012800050476A CN201280005047A CN103328928A CN 103328928 A CN103328928 A CN 103328928A CN 2012800050476 A CN2012800050476 A CN 2012800050476A CN 201280005047 A CN201280005047 A CN 201280005047A CN 103328928 A CN103328928 A CN 103328928A
Authority
CN
China
Prior art keywords
rotation matrix
image sequence
mobile device
processor
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800050476A
Other languages
English (en)
Other versions
CN103328928B (zh
Inventor
L·J·盖林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103328928A publication Critical patent/CN103328928A/zh
Application granted granted Critical
Publication of CN103328928B publication Critical patent/CN103328928B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Gyroscopes (AREA)

Abstract

公开了一种用于基于来自相机的图像使用惯性传感器测量来增强航位推测导航的装置和方法。移动设备内置的相机被用于校准惯性传感器和旋转矩阵。来自相机的图像可被用于（1）从加速度计测量中移除重力元素；（2）设置陀螺仪的缩放因子和偏移；以及（3）设置旋转矩阵的初始值和更新值。

Description

用于个人导航设备的基于相机的惯性传感器对准
相关申请的交叉引用
本申请要求于2011年1月11日提交的、题为“Camera-based inertial sensoralignment for PND（用于个人导航设备的基于相机的惯性传感器对准）”的美国临时申请61/431,748（代理人案卷号090015P1）的优先权和权益，该临时申请通过整体引用纳入于此。本申请还要求于2011年6月30日提交的、题为“Camera-based inertialsensor alignment for PND（用于个人导航设备的基于相机的惯性传感器对准）”的美国申请13/173,261（代理人案卷号090015）的优先权和权益，该申请通过整体引用纳入于此。
背景
I．发明领域
本发明一般涉及基于图像处理的导航，并且尤其涉及确定个人导航设备相对于移动的交通工具的定向，以便解读加速计和陀螺仪测量。
II.背景
位置估计通常通过接收和处理卫星定位信号来提供。当卫星信号不可用时，移动设备借助于航位推测技术来估计增量定位更新。一般来说，航位推测技术依赖于来自惯性传感器（例如，加速度计和陀螺仪）的测量数据。这类惯性传感器必须被频繁校准以维持可靠的测量。例如，当加速度计没有检测到除重力以外的加速度时，则可假定移动设备是静止的，此时适合对陀螺仪进行校准。即使执行了频繁的重新校准，惯性传感器提供的传感器测量仍然带有某些固有误差。这些误差随时间累积，并且如果这些传感器未被校准，则在某刻，通过航位推测提供的位置估计将不再可靠。需要改进的方法和设备来降低这些固有误差。
发明内容
根据一些方面，公开了一种使用图像用于导航的移动设备，所述移动设备包括：相机，其中该相机捕获图像序列；存储器，用于保存第一旋转矩阵，其中该第一旋转矩阵用于在移动设备的体参考系和平台参考系之间转换；以及耦合到相机和存储器的处理器，其中该处理器被配置成基于该图像序列确定第一旋转矩阵的初始值。
根据一些方面，公开了一种在移动设备中使用图像用于导航的方法，所述方法包括：捕获来自相机的图像序列；基于该图像序列确定第一旋转矩阵的初始值，第一旋转矩阵被用于从移动设备的体参考系进行转换；将第一旋转矩阵写入存储器；以及使用第一旋转矩阵在移动设备的体参考系和局部参考系之间转换测量。
根据一些方面，公开了一种使用图像用于导航的移动设备，该移动设备包括：用于捕获来自相机的图像序列的装置；用于基于该图像序列确定第一旋转矩阵的初始值的装置，该第一旋转矩阵用于从移动设备的体参考系进行转换；用于将第一旋转矩阵写入存储器的装置；以及用于使用第一旋转矩阵在移动设备的体参考系和局部参考系之间转换测量的装置。
根据一些方面，公开了一种计算机可读介质，其实质地实施计算机可读指令的程序，该计算机可读指令可由数字处理装置执行以执行一种在移动设备中使用图像用于导航的方法，所述数字处理装置具有相机、存储器以及处理器，所述方法包括以下操作：捕获来自相机的图像序列；基于该图像序列确定第一旋转矩阵的初始值，该第一旋转矩阵被用于从移动设备的体参考系进行转换；将第一旋转矩阵写入存储器；以及使用第一旋转矩阵在移动设备的体参考系和局部参考系之间转换测量。
应理解，根据以下详细描述，其他方面对于本领域技术人员而言将变得显而易见，其中以解说方式示出和描述了各个方面。附图和详细描述应被认为在本质上是解说性而非限制性的。
附图说明
将参照附图仅作为示例来描述本发明的诸实施例。
图1、2和3示出安装在交通工具中的个人导航设备（PND）的各个视图。
图4示出根据本发明的诸实施例的PND的框图。
图5示出根据本发明的诸实施例的用于航位推测的数据流程图。
图6和7关于根据本发明的诸实施例的旋转矩阵、参考矢量以及参考系。
图8示出了根据本发明的诸实施例的用于设置初始重力矢量的过程。
图9-10根据本发明的诸实施例将Wahba问题应用于矢量对以设置初始的第一旋转矩阵。
图11-12根据本发明的各实施例将Wahba问题应用于矢量对以设置初始的第二旋转矩阵。
图13示出根据本发明的各实施例的用于计算初始的第一旋转矩阵的数据流程图。
图14示出根据本发明的诸实施例的用于更新第二旋转矩阵和第三旋转矩阵的数据流程图。
图15示出根据本发明的诸实施例的用于更新陀螺仪校准的数据流程图。
图16、17、18、19、20、21和22示出根据本发明的诸实施例的彼此相关的特征。
图23、24和25示出根据本发明的诸实施例的用于图像处理的数据流程图。
具体实施方式
以下结合附图阐述的详细描述旨在作为本公开的各个方面的描述，而无意代表可实践本公开的仅有方面。本公开中描述的每个方面是仅作为本公开的示例或解说而提供的，并且不应被必然地解释成优于或胜过其他方面。本详细描述包括具体细节，其目的在于提供对本公开的透彻理解。然而，对于本领域技术人员而言明显的是，本公开无需这些具体细节也可实践。在一些实例中，众所周知的结构和设备以框图形式示出以避免湮没本公开的概念。首字母缩写和其它描述性术语可能仅为方便和清楚而使用，且无意限定本公开的范围。
本文中所描述的位置确定技术可连同诸如无线广域网（WWAN）、无线局域网（WLAN）、无线个域网（WPAN）之类的各种无线通信网络来实现。术语“网络”和“系统”常被可互换地使用。WWAN可以是码分多址（CDMA）网络、时分多址（TDMA）网络、频分多址（FDMA）网络、正交频分多址（OFDMA）网络、单载波频分多址（SC-FDMA）网络、长期演进（LTE）等等。CDMA网络可实现诸如cdma2000、宽带CDMA（W-CDMA）等一种或多种无线电接入技术（RAT）。cdma2000包括IS-95、IS-2000和IS-856标准。TDMA网络可实现全球移动通信系统（GSM）、数字高级移动电话系统（D-AMPS）、或其它某种RAT。GSM和W-CDMA在来自名为“第三代伙伴项目”（3GPP）的联盟的文献中描述。Cdma2000在来自名为“第三代伙伴项目2”（3GPP2）的联盟的文献中描述。3GPP和3GPP2文献是公众可获取的。WLAN可以是IEEE 802.11x网络，并且WPAN可以是蓝牙网络、IEEE 802.15x、或其他某种类型的网络。这些技术也可结合WWAN、WLAN和/或WPAN的任何组合来实现。
卫星定位系统（SPS）典型地包括发射机系统，这些发射机定位成使得各实体能够至少部分地基于从这些发射机接收到的信号来确定自己在地球上或上方的位置。此类发射机通常发射用具有设定数目个码片的重复伪随机噪声（PN）码作标记的信号，并且可位于基于地面的控制站、用户装备和/或空间飞行器上。在特定示例中，此类发射机可位于环地轨道卫星飞行器（SV）上。例如，诸如全球定位系统（GPS）、Galileo（伽利略）、GLONASS（格洛纳斯）或Compass（北斗）等全球导航卫星系统（GNSS）的星座中的SV可发射用可与由该星座中的其它SV所发射的PN码区分开的PN码作标记的信号（例如，如在GPS中那样对每颗卫星使用不同PN码，或者如在GLONASS中那样在不同频率上使用相同的码）。根据某些方面，本文中给出的技术不限于全球SPS系统（例如，GNSS）。例如，可将本文中所提供的技术应用于或另行使之能在各种地区性系统中使用，诸如举例而言日本上空的准天顶卫星系统（QZSS）、印度上空的印度地区性导航卫星系统（IRNSS）、中国上空的北斗等，和/或可与一个或多个全球和/或地区性导航卫星系统相关联或另行使其能与之联用的各种扩增系统（例如，基于卫星的扩增系统（SBAS））。作为示例而非限定，SBAS可包括提供完整性信息、差分校正等的（诸）扩增系统，诸如举例而言，广域扩增系统（WAAS）、欧洲对地静止导航覆盖服务（EGNOS）、多功能卫星扩增系统（MSAS）、GPS辅助式Geo（对地静止）扩增导航或GPS和Geo扩增导航系统（GAGAN）和/或类似系统。因此，如本文中所使用的，SPS可包括一个或多个全球和/或区域性导航卫星系统和/或扩增系统的任何组合，并且SPS信号可包括SPS信号、类SPS信号和/或与此一个或多个SPS相关联的其他信号。
如本文中所使用的，个人导航设备（PND）是指诸如以下的设备：蜂窝或其他无线通信设备、个人通信系统（PCS）设备、移动站（MS）、个人信息管理器（PIM）、个人数字助理（PDA）、膝上型设备或能够接收无线通信和/或导航信号的其他合适的移动设备。术语“移动站”还旨在包括诸如藉由短程无线、红外、有线连接、或其他连接与个人导航设备（PND）通信的设备——不管卫星信号接收、辅助数据接收、和/或位置相关处理是发生在该设备处还是在PND处。而且，“移动站”旨在包括所有能够（诸如经由因特网、Wi-Fi、或其他网络）与服务器通信的设备，包括无线通信设备、计算机、膝上型电脑等，而不管卫星信号接收、辅助数据接收、和/或位置有关的处理是发生在该设备处、服务器处、还是与网络相关联的另一设备处。以上的任何可操作组合也被认为是PND。
图1、2和3显示了安装在交通工具中的PND 1000的各个视图。在图1中，俯瞰视图示出了安装在交通工具10的仪表盘上的PND 1000。PND 1000被机械式地（例如，经由旋转架、支架、或车用免提套件）耦合到交通工具10。交通工具10可处于休息或者以恒速、加速或减速行进。当移动时，交通工具10沿直线行驶、向右或向左转弯，并且可保持某个高度或者逐渐增加或降低高度。可施加非完整约束，使得交通工具移动被假定为要么向前要么向后，并且限制任何垂直以及斜的移动。完整系统被不严格地描述为机械系统，该机械系统具有针对速度的约束，而这些约束不能从位置或姿态约束中推导出。
在这一示例中，交通工具10被示出为正向前行驶，由此定义了相对于局部参考系（LRS）的运动方向50。局部参考系与地球的表面相关。在局部参考系中，位置可通过本地附连到地球的LRS中的一组笛卡尔坐标来表示。这类LRS的一个示例通过NEU（北、东、上）来标识，其中原点位于当前位置或最近经过的位置。线移动可通过笛卡尔方向或罗盘航向、坡道以及速度来表示。局部参考系中的重力沿向上/向下的轴。
由交通工具10定义的第二参考系被称为平台参考系（PRS）。交通工具上的任意一点被设为平台参考系的原点。例如，仪表盘上的安装结构、交通工具10的质心、驾驶员的座椅、驾驶员的观看点、或者前角落可被定义为平台参考系的原点（0,0,0）。在平台参考系中，X轴可被定义为与交通工具10的运动方向50对齐，Y轴可表示从交通工具10向左的侧向轴，而Z轴可表示相对于交通工具10的垂直轴。平台参考系独立于局部参考系，除了交通工具运动可被限制到X轴运动（向前和向后）以及Y轴运动（向左和向右），其中Z轴（向上和向下）设置为运动噪声。
由PND 1000定义的第三参考系被称为体参考系（BRS），其是通过PND 1000的主体定向来设定的。例如，PND 1000的相机透镜的中心或图像传感器的中心可被设置为体参考系的原点（0,0,0）。在具有相机或其它图像传感器（被称为相机100）的PND 1000的体参考系中，X轴表示相机100的图像宽度轴，Y轴表示相机100的图像高度轴，而Z轴定义沿相机100的观看方向的直线。体参考系独立于局部参考系。体参考系也独立于平台参考系。即，在平台参考系中，PND 1000可以任何方式取向（例如，右侧向上、倒置、平躺）。PND 1000中的所有惯性传感器及其灵敏度轴还在与图像传感器相同的垂直X、Y和Z轴中被定义。
PND 1000的相机100定义视野（FOV 30），该视野描述了被捕捉的图像的呈角度的水平和垂直宽度。FOV 30定义了相对于图像平面中的图像宽度轴的可视角以及相对于图像高度轴的可视角。同样，当沿直线向前移动时，相机的图像平面中存在虚点，图像平面中的远处物体的投影看上去像源自该虚点。这个点被定义为扩展焦点（FOE点20）。FOE点20指向运动的方向50。FOE点20可由运动矢量
Figure BDA00003492076300061
来定义，
Figure BDA00003492076300062
是沿虚线取向、从相机的投射中心（COP）开始到图像平面中的FOE点20结束的单位向量。在所解说的示例中，FOV 30包括FOE点20和运动矢量
Figure BDA00003492076300063
取决于相机相对于交通工具10的移动的定向，FOV 30可以或可以不包括FOE点20和运动矢量
Figure BDA00003492076300064
即，FOE点20可以或可以不落在图像平面或相机100的成像区域内。此外，FOE点20可以是暂时不确定的，例如当交通工具10不沿直线行进时，诸如当其转弯或静止时。
图2示出了安装在交通工具10的仪表盘上的PND 1000的侧视图。PND 1000的相机100定义了跨图像高度轴（示出为BRS中的Y轴）的FOV 30。在此情况中，FOE点20和运动矢量
Figure BDA00003492076300065
在FOV 30内。如所示出的，平台由交通工具10定义。运动方向50与运动矢量
Figure BDA00003492076300066
相同并且偏离平台参考系的X轴一坡道。在两个参考系中，各轴被示出为在参考系中垂直。
图3示出了该情况的不同示例，当FOE点20和运动矢量
Figure BDA00003492076300067
落在FOV 30外时。这意味着FOE点20不位于相机100的视野中；然而，FOE点20和相应的运动矢量
Figure BDA00003492076300071
仍然可被如下所述地计算。该图还解说了其中相机100指向远离运动方向50的示例。在此情况下，FOE点20可被称为收缩域（FOC）点。FOC点是FOE点20的补充。作为放大图像的替代，相机100看上去看上去像是从单个FOC点缩小图像。
图4示出根据本发明的诸实施例的PND 1000的框图。PND 1000实现了基于相机的导航技术，并且包括相机100、加速度计110、陀螺仪120、位置定位模块130、存储器140以及处理器150。如以下将还描述的，处理器150可直接或间接连接到这些模块的每一个。
相机100用作用于捕获图像序列的装置，该图像序列可以是顺序的静止图像，或者可替换的，是视频流。取决于实施例，相机100所提供的图像可以是模拟的或是数字的，并且可以是高、中或低分辨率。相机100可具有单个透镜或者可以是立体相机（提供左图像和右图像作为图像序列）。处理器150分析这些图像以增强位置确定，增强航向推测导航以及启用传感器校准。
加速度计110生成线性加速度测量（被标识为原始加速度测量），该线性加速度测量与体参考系有关。陀螺仪120生成角加速度测量（被标识为原始陀螺仪测量），该角加速度测量也与体参考系有关。陀螺仪120可要求更新偏移以及缩放因子k两者以校准陀螺仪测量。加速度计110也可要求更新偏移以及缩放因子k以校准加速度计测量。
加速度计110和陀螺仪120各自是一维、两维或三维模块，诸如由已知的MEMS设备所提供的。即，加速度计110可以是单轴加速度计、双轴加速度计、或三维（3-D）加速度计。类似地，陀螺仪120可以是单轴陀螺仪、双轴陀螺仪或3-D陀螺仪。但为了最为高效，PND 1000包括3-D模块。3-D传感器沿着（线性）或绕着（有角度的）三根垂直的轴感测。例如，加速度计110可以是感测沿体参考系中的三根垂直的X-Y-Z轴线性加速度的3-D模块。类似地，陀螺仪120可以是感测绕这三根垂直的轴的角加速度的3-D模块。加速度计110和陀螺仪120被示出为分立模块；然而，它们可被集成在单个惯性传感器模块内。
原始传感器测量可被直接提供给处理器150作为加速度和陀螺仪测量，或者可替换地，原始传感器测量可被过滤和/或积分，随后再被提供给处理器150作为加速度和陀螺仪测量。原始传感器测量指示加速度（加速度计110生成线性加速度测量，而陀螺仪120生成角加速度测量）。原始传感器测量的第一次积分将线性加速度和角加速度转换成线性速度和角速度。第二次积分将线性速度和角速度转换成线性位移和角位移，两者可被用于航位推测位置估计。过滤和/或积分可在惯性传感器内执行，或者可替换地，在处理器150或部分在每个惯性传感器且部分在处理器150中执行。
由于最初的原始传感器测量是在体参考系中捕获的，因此测量在它们被积分之前必须最终被转换到局部参考系。可使用几种不同的办法。第一种办法使用两个步骤。第一步需要使用第一旋转矩阵（CPRS←BRS）来将体参考系中的原始测量转换成平台参考系中的中间测量。在一些实施例中，通过对平台参考系中的中间测量设置约束来更改测量。例如，侧向和/或垂直角速度可被过滤、调零、或以其它方式限制（例如，用非完整约束来限制）。第二步使用第二旋转矩阵（CLRS←PRS）来将平台参考系中的中间测量转换成局部参考系中的测量。这些测量随后经历双重积分。一种不同的办法仅使用第三旋转矩阵并且不计算中间数据。如果中间数据不被更改，则第一和第二转换矩阵可被组合成第三旋转矩阵（CLRS←BRS=CLRS←PRS×CPRS←BRS）。在任何情况下，准确且频繁更新的转换矩阵导致具有较少累积噪声和误差的积分结果。
位置定位模块130可以是GNSS接收机或其它卫星接收机（例如，GPS接收机）和/或伪卫星接收机。位置定位模块130生成SPS位置信息，SPS位置信息可以是从未处理信号（例如，原始SPS信号）或完全处理信号（例如，经度/纬度位置或经度/纬度/海拔（LLA）位置和/或线性位移）。SPS位置信息被用于定义局部参考系。
处理器150接收来自相机100的图像序列和来自惯性传感器（加速度计110和陀螺仪120两者）的原始惯性传感器测量。处理器150被配置成基于来自相机100的图像序列并且基于估计的重力矢量方向来确定第一、第二和/或第三旋转矩阵（CPRS←BRS、CLRS←PRS、CLRS←BRS）的初始值，如以下详细说明的。从这个意义上来说，处理器150用作用于基于图像序列确定旋转矩阵的初始值的装置。
处理器150被配置成基于图像序列来确定重力矢量的初始值并且将该重力矢量保存到存储器140。重力矢量被部分用于定向第一旋转矩阵（CPRS←BRS）并且稍后间接地使重力在加速度计测量中的影响归零。
基于传感器测量和图像序列，处理器150确定重力矢量、初始化并更新旋转矩阵、校准陀螺仪120并使用航位推测来提供位置估计。即，处理器150用作用于将重力矢量和旋转矩阵写入存储器140的装置。处理器150稍后将来自存储器140的旋转矩阵用于体参考系、平台参考系以及局部参考系之间的转换。存储器140存储由处理器150初始化并更新的旋转矩阵。
图5示出根据本发明的诸实施例的用于航位推测的数据流程图。
在200，处理器150从加速度计110接收原始加速度测量。原始加速度测量是参照体参考系提供的。处理器150从原始加速度测量中移除如何已知的加速度计偏移以得到体参考系中的原始加速度，该原始加速度仍然带有重力，但不带有任何已知的加速度计偏移误差。
在210，使用存储器140中找到的第一旋转矩阵（CPRS←BRS），处理器150将不带有已知加速度计偏移的原始加速度从体参考系转换到平台参考系，以得到中间加速度测量。
在220，处理器150对中间加速度测量施加非完整约束。例如，处理器150假设在横的方向（侧向或平台参考系中的Y轴）上不可能有加速度，而是被限制为或主要是与运动方向50对齐的向前和向后（即平台参考系中的X轴）以及向上和向下（即平台参考系中的Z轴）。由于中间加速度测量是在平台参考系中表示的，处理器150可将数据的侧向分量（Y轴）调零或衰减，只留下前向分量（X轴）和垂直分量（Z轴），由此得到平台参考系中的经约束的加速度测量。
这一步骤可通过确定时间上的平均侧向值并且根据这一平均值调整侧向分量来更改。以此方式，沿加速度计110（在平台参考系中的）Y轴的侧向校准误差被消除或降低。
在230，处理器150接收平台参考系中的经约束的加速度测量。第二旋转矩阵（CLRS←PRS）是用于在平台参考系和局部参考系之间转换数据的装置。使用在存储器140中找到的第二旋转矩阵（CLRS←PRS），处理器150将经约束的加速度测量从平台参考系转换成局部参考系。
在240，将表示因重力导致的影响的重力分量或重力矢量从经约束的加速度测量中移除，以得到无重力的经约束的加速度测量。在某种意义上，处理器150使用重力矢量来使重力在加速度测量中的影响归零。可使用低通滤波器或对局部参考系中的经约束的加速度测量进行长期求平均来确定重力矢量。不在平台参考系中移除重力，因为交通工具可能不平坦地处于水平面中（即，非零的坡道）。因此，平台参考系中的Z轴可能不表示真正的重力方向。一旦移除了重力矢量，剩下的就是非重力垂直加速度和前向/后向加速度。
在250，处理器150对局部参考系中的经约束的加速度测量执行双重积分，以得到基于加速度计的线性位移值，该线性位移值可被用于航位推测。例如，双重积分操作可得到估计的方向或朝向以及行进距离。处理器150可能使用一段几毫秒的时间来执行这些步骤200到250，因此被确定行进距离和旋转代表在那几毫秒之中行进的距离和发生的旋转。估计的长度和方向可与先前的位置或先前估计的位置一起被累积以得到估计的当前位置。
在260，示出了常规转换。与使用两个旋转矩阵和非完整约束的本发明的步骤200－250不同，已知系统仅使用第三旋转矩阵（CLRS←BRS）来直接将原始加速度测量从体参考系转换到局部参考系。在该已知情况中，不在中间步骤约束加速度测量，并且仅使用单个旋转矩阵。
根据本发明的诸实施例，（使用第一旋转矩阵（CPRS←BRS））将原始测量从体参考系转换到平台参考系，其中在平台参考系中施加非完整约束，以及随后（使用第二旋转矩阵（CLRS←PRS））从平台参考系转换到局部参考系，其中在局部参考系，经转换的测量值经历双重积分。每当PND 1000在其安装架中被调整，第一旋转矩阵（CPRS←BRS）和第三旋转矩阵（CLRS←BRS）两者必须被更新或重新初始化。每当交通工具10转向，第二旋转矩阵（CLRS←PRS）和第三旋转矩阵（CLRS←BRS）被更新（例如，使用陀螺仪测量）。
图6、7、8、9和10关于根据本发明的诸实施例的旋转矩阵、参考矢量对以及参考系。参考矢量对被用于求解Wahba问题。该算法使用一对公共的参考矢量，但在两个不同参考系中作为四个输入值。这四个输入值的每一个可以是单个矢量或者可以是矢量的统计集。可应用这四个单个矢量来获得Wahba问题的解。或者，矢量的一至四个统计集可替代相应的单个矢量。Wahba问题的输出值是第一、第二或第三旋转矩阵。替代地，可对矢量的统计集应用最小平方算法来形成旋转矩阵。
在图6中，使用了各种旋转矩阵来在各个参考系中转换测量。可使用第一旋转矩阵（CPRS←BRS）将体参考系中的测量转换到平台参考系。第一旋转矩阵（CPRS←BRS）代表PND 1000和交通工具10之间的相对定向。只要PND 1000没有在其安装架中被调整，第一旋转矩阵（CPRS←BRS）就保持不变。然而，一旦PND 1000被相对于交通工具10调整，则第一旋转矩阵（CPRS←BRS）必须或者被更新或者被重新初始化。
可使用第二旋转矩阵（CLRS←PRS）将平台参考系中的测量转换到局部参考系。第二旋转矩阵代表交通工具10和地球之间的相对定向。每当交通工具10转向，第二旋转矩阵（CLRS←PRS）被更新（例如，使用陀螺仪测量）。因此，在交通工具10行进时，第二旋转矩阵（CLRS←PRS）经常被更新。
为了完整起见，可使用第三旋转矩阵（CLRS←BRS）将体参考系中的测量转换到局部参考系。每当PND 1000在其安装架中被调整或者交通工具10转向，第三旋转矩阵（CLRS←BRS）将被更新。
为了在相反方向转换测量，可使用转换的逆转换。例如，第一旋转矩阵的逆（CBRS←PRS=INV(CPRS←BRS)）可被用于将测量从平台参考系转换到体参考系。类似地，第二旋转矩阵的逆（CPRS←LRS=INV(CLRS←PRS)）可被用于将测量从局部参考系转换到平台参考系。同样，第三旋转矩阵的逆（CBRS←LRS=INV(CLRS←BRS)）可被用于将测量从局部参考系转换到体参考系。
一般来说，三个旋转矩阵中的任何一个可用另两个旋转矩阵的组合来形成。例如，第一旋转矩阵可通过(CPRS←BRS)=(CLRS←BRS)×INV(CLRS←PRS)来形成，第二旋转矩阵可通过(CLRS←PRS)=INV(CPRS←BRS)×(CLRS←BRS)来形成，而第三旋转矩阵可通过(CLRS←BRS)=(CPRS←BRS)×(CLRS←PRS)来形成。
使用适当参考系中的合适的输入矢量对，这些旋转矩阵的每一个可通过Wahba问题来解出。
在图7中，表格概括了三个参考矢量对之间的数学对应关系。每对中的第一参考矢量是重力方向
Figure BDA00003492076300111
每对中的第二参考矢量是行进方向
在体参考系中，第一参考矢量被标示为重力矢量
Figure BDA00003492076300113
，并且被标示的第二参考矢量是方向矢量在其中PND 1000恰巧位于较佳直立、直接指向前方并且在直行且平坦行驶的交通工具10中行进的详细情形中，重力矢量
Figure BDA00003492076300115
可与体参考系中的Y轴对齐，而方向矢量
Figure BDA00003492076300116
可与体参考系中的Z轴对齐。
在平台参考系中，第一参考矢量是重力矢量其沿交通工具10的垂直Z轴偏移一坡道，而第二参考矢量是X轴或交通工具10的方向矢量
Figure BDA00003492076300122
最后，在局部参考系中，第一参考矢量是向上/向下或沿着Z轴或重力矢量
Figure BDA00003492076300123
而第二参考矢量是方向矢量方向矢量
Figure BDA00003492076300125
是交通工具10的行进方向，并且可使用GPS速度矢量来设置或者通过地图匹配到道路方向来设置。
在执行本发明的诸实施例时，可能存在若干挑战。第一项挑战是准确地确定重力矢量，重力矢量被用作以下并且进一步参照图8描述的若干计算的基础。第二项挑战是准确地确定第二旋转矩阵（CLRS←PRS），第二旋转矩阵（CLRS←PRS）在以上步骤220（图5）被应用并且以下将参照图9和10来进一步描述。第三项挑战是准确地确定第三旋转矩阵（CLRS←BRS），第三旋转矩阵（CLRS←BRS）被用于计算第一旋转矩阵（CPRS←BRS），并且以下将参照图11和12来进一步描述。第四项挑战是计算从第二旋转矩阵（CLRS←PRS)）和第三旋转矩阵（CLRS←BRS）中导出的第一旋转矩阵（CPRS←BRS），第一旋转矩阵（CPRS←BRS）被用于以上步骤205（图5）并且以下将参照图13进一步描述。第五项挑战是维持更新的旋转矩阵，这将在以下参照图14进一步描述。第六项挑战是更新陀螺仪校准，这将在以下参照图15进一步描述。第七项挑战是确定何时PND 1000已在交通工具10内的安装架中被重新定位，这使第一旋转矩阵（CPRS←BRS）和第三旋转矩阵（(CLRS←BRS）无效，并且触发对这些旋转矩阵的新的初始化，这将在以下从图16开始进一步描述。
第一项挑战的解决方案：
第一项挑战是准确地确定重力矢量，重力矢量被用作以下描述并且参照图8进一步描述的若干计算的基础。
为了找到相对于体参考系的重力矢量，典型设备在时间上对体参考系中的加速度测量求平均，这独立于静止还是移动而发生。随着时间推移，因设备的移动导致的非重力加速度消除并合计为零，因此在长期求平均之后的加速度的剩余分量就是重力本身。如果设备保持相对于地球的恒定定向，则该重力矢量是准确的。然而，如果设备相对于地球重新定向，则长期求平均破坏性地组合了重力分量并且该重力矢量变得不准确。此外，如果设备被重新定向，则第一旋转矩阵也是不准确的。为了缓和被重新定位的设备扰乱重力和第一旋转矩阵的准确性这一固有问题，可使用来自相机100的图像序列，如以下描述的。
图8示出了根据本发明的诸实施例的用于设置初始重力矢量的过程。处理器150基于来自相机100的图像确定重力校准。
在300，处理器150接收多个图像并使用这些图像来确定PND 1000何时处于零运动状态。例如，时间－顺序图像对（或多个时间－顺序图像对）可被逐像素地对比或相减以确定这些图像是否从不同位置被捕捉，由此指示PND 1000正经历运动。替代地，可随时间在单个相机图像中捕捉连续的图像。该时间流逝的图像以确定是否存在任何模糊，并且确定该模糊是否是运动的结果。时间流逝的图像有效地包括连续的图像序列，该连续的图像序列看上去像是从该连续的图像序列的第一图像到该连续的图像序列的最后一幅图像的模糊。处理器150可基于单个零运动检测或零运动检测的经平均或其它经过滤序列来确定不存在运动。
替代地，处理器150可确定存在零加速度状态。零加速度状态出现在PND 1000仅仅经历由于重力导致的加速度并且可能是静止或移动的。采用这一较为宽松的标准，PND 1000以恒定速度行进，因此就不经历任何线性加速度或角加速度。可使用一序列的三幅或更多幅时间上隔开的图像来确定PND 1000是否正以恒定速度在恒定方向上行进。例如，处理器150可分析FOE点20以及对于三个连续图像公同的自然特征。如果处理器150确定FOE点20在每幅图像中停留在一恒定点，则PND 1000没有经历因转向导致的角加速度。如果处理器150确定自然特征如预期地随恒定速度进行，则PND 1000没有经历因加速或减速导致的线性加速度。
在310，如果没有检测到运动（或者作为替代，没有非重力加速度），则处理器150可将重力矢量
Figure BDA00003492076300131
设置为等于当前加速度计测量。处理器150可对一系列这样的加速度值求平均以基于相应系列的零运动检测确定重力矢量
Figure BDA00003492076300132
即，如果PND 1000被确定为在一段时间内没有移动，则可在该时间段上对加速度计测量求平均以确定平均的重力矢量
处理器150可通过使用被坡道偏移的交通工具的垂直轴（Z轴）来确定平台参考系中的重力矢量处理器150通过使用局部参考系中的上/下轴来定义局部参考系中的重力矢量
Figure BDA00003492076300135
重力矢量
Figure BDA00003492076300136
Figure BDA00003492076300137
以及
Figure BDA00003492076300138
中的每一个可被保存到存储器140中供将来使用。以上述方式，处理器150基于图像序列来确定重力矢量的初始值。随后，重力矢量可被用于将来自加速度测量的重力影响归零，如以上参照步骤210（图5）所描述的，并且重力矢量可被用作为Wahba问题的输入矢量，如以下将描述的。
第二项挑战的解决发方案：
第二项挑战是准确地确定第二旋转矩阵（CLRS←PRS），第二旋转矩阵（CLRS←PRS）在以上的步骤220（图5）中被应用并且以下将参照图9和10来进一步描述。图9和10根据本发明的诸实施例将Wahba问题应用于矢量对以设置初始的第二旋转矩阵（CLRS←PRS）。
在图9中，Wahba问题被施加到来自平台参考系的第一参考矢量对以及来自局部参考系的第二参考矢量对。同样，每对中的第一参考矢量是重力方向
Figure BDA00003492076300141
而每对中的第二参考矢量是行进方向
Figure BDA00003492076300142
具体来说，在平台参考系中，第一参考矢量是重力矢量
Figure BDA00003492076300143
且第二参考矢量是方向矢量
Figure BDA00003492076300144
而在局部参考系中，第一参考矢量是重力矢量
Figure BDA00003492076300145
且第二参考矢量是方向矢量
可通过对加速度计测量的长期求平均来假定平台参考系中的重力矢量
Figure BDA00003492076300147
因为交通工具的倾斜平均为零。即，从长期来看，交通工具10上坡和下坡或者向左、向右、向上和向下倾斜大致相同的时间量。平台参考系中的方向矢量
Figure BDA00003492076300148
是交通工具10的X轴。
局部参考系中的重力矢量
Figure BDA00003492076300149
被定义为局部参考系中的垂直轴（即，海拔轴或上/下轴）。局部参考系中的方向矢量从例如GNSS或GPS信号中确定。
这两个参考矢量对被用于找到第二旋转矩阵（CLRS←PRS）。需要注意的是，如果存在非零的坡道，则参考矢量对不是垂直的。可通过非归一化的参考矢量幅值归一化诸参考矢量以形成单位参考矢量。用于将两个参考系中的两个参考矢量对相关并得出旋转矩阵的该算法被称为Wahba问题的解，并且通过应用Wahba问题形成第二旋转矩阵（CLRS←PRS）。
图10示出了处理器150形成第二旋转矩阵（CLRS←PRS）的过程。位置定位模块130提供局部参考系中的位置测量。该位置测量可以是GNSS卫星信息（诸如GPS信息）。任选地，在400，处理器150使用地图匹配算法来约束来自位置定位模块130的位置测量。在410，处理器150直接基于来自位置定位模块130的位置测量或基于来自地图匹配的经约束的位置测量来确定局部参考系中的移动矢量
Figure BDA00003492076300151
在420，处理器150接受平台参考系中的重力矢量
Figure BDA00003492076300152
和方向矢量
Figure BDA00003492076300153
以及局部参考系中的重力矢量
Figure BDA00003492076300154
和方向矢量
Figure BDA00003492076300155
这些矢量可被保存到存储器140中供后来使用。处理器150可假定方向矢量
Figure BDA00003492076300156
与平台参考系中的X轴对齐。处理器150还可假定重力矢量
Figure BDA00003492076300157
与局部参考系中的上/下轴对齐。Wahba问题的解采用这四个矢量来计算第二旋转矩阵（CLRS←PRS），第二旋转矩阵（CLRS←PRS）被保存到存储器140。以此方式，确定初始的第二旋转矩阵（CLRS←PRS）。
第三项挑战解决方案：
第三项挑战是准确地确定第三旋转矩阵（CLRS←BRS），第三旋转矩阵（CLRS←BRS）被用于计算第一旋转矩阵（CPRS←BRS），并且以下将参照图11和12来进一步描述。在图11中，Wahba问题再次被应用于来自体参考系的第一参考矢量对以及来自局部参考系的第二参考矢量对。在体参考系中，第一参考矢量是重力矢量
Figure BDA00003492076300158
并且被标示的第二参考矢量是方向矢量
Figure BDA00003492076300159
在局部参考系中，第一参考矢量是重力矢量
Figure BDA000034920763001510
并且第二参考矢量是方向矢量
Figure BDA000034920763001511
如果交通工具10位于坡道上，则参考矢量对不是垂直的。
图12示出了处理器150形成第三旋转矩阵（CLRS←BRS）的过程。再次，如以上在图10中描述的，在任选的步骤400和步骤410处形成局部参考系中的方向矢量
Figure BDA000034920763001512
在430，处理器150捕获来自相机100的图像序列并确定FOE点20。在440，处理器150根据FOE点20定义体参考系中的方向矢量以此方式，基于图像序列来确定方向矢量
在450，处理器150接受体参考系中的重力矢量
Figure BDA000034920763001515
和方向矢量
Figure BDA000034920763001516
以及局部参考系中的重力矢量
Figure BDA000034920763001517
和方向矢量
Figure BDA000034920763001518
这些矢量可被保存到存储器140中供后来使用。处理器150还可假定重力矢量
Figure BDA000034920763001519
与局部参考系中的上/下轴对齐。Wahba问题的解应用这四个矢量来计算第三旋转矩阵（CLRS←BRS），第三旋转矩阵（CLRS←BRS）被保存到存储器140。以此方式，确定初始的第三旋转矩阵（CLRS←BRS）。
第四项挑战的解决方案：
第四项挑战是计算从第二旋转矩阵（CLRS←PRS)）和第三旋转矩阵（CLRS←BRS）导出的第一旋转矩阵（CPRS←BRS），第一旋转矩阵（CPRS←BRS）被用于以上的步骤200（图5）并且以下将参照图13进一步描述。在460，处理器150从存储器140中检索第二旋转矩阵（CLRS←PRS）和第三旋转矩阵（CLRS←BRS）。处理器150计算第二旋转矩阵（CLRS←PRS）的逆以形成{CPRS←LRS＝INV(CLRS←PRS)}。随后，处理器150计算第三旋转矩阵（CLRS←BRS）和第二旋转矩阵（CLRS←PRS）的逆的矩阵积以形成第一旋转矩阵（CPRS←BRS），即{(CPRS←BRS)=(CLRS←BRS)×INV(CLRS←PRS)}。
第五项挑战的解决方案：
第五项挑战是维持更新的旋转矩阵，这将在以下参照图14进一步描述。
每当PND 1000和交通工具10之间的相对定向改变（例如，当用户调整放置于安装架中的PND 1000时），第二旋转矩阵（CLRS←PRS）必须被更新。如果PND1000没有被移动，则第二旋转矩阵（CLRS←PRS）不需要被更新。类似地，每当交通工具10转向或改变倾角，第三旋转矩阵（CLRS←BRS）必须被更新。在通常情况下，第二旋转矩阵（CLRS←PRS）很少需要更新而第三旋转矩阵（CLRS←BRS）必须持续更新。当第二或第三旋转矩阵中被更新时，第一旋转矩阵（CPRS←BRS）也必须通过遵循以上参照图13描述的规程概述来更新。
图14示出根据本发明的诸实施例的用于更新第一、第二和第三旋转矩阵的数据流程图。处理器150基于陀螺仪测量更新第二和/或第三旋转矩阵并基于第二旋转矩阵（CLRS←PRS）或第三旋转矩阵（CLRS←BRS）的更新来重新计算第一旋转矩阵（CPRS←BRS）。
此时，处理器150已经确定第一旋转矩阵（CPRS←BRS）仍然是有效的（即，PND1000没有相对于交通工具10移动）。在500，处理器150从陀螺仪120接收体参考系中的原始陀螺仪测量，并且执行单次积分以得到体参考系中的增量角偏移。增量角偏移表示在陀螺仪测量期间发生的体相对于局部参考系的角度变化。即，如果PND 1000和交通工具10之间的相对定向没有改变，则增量角偏移完全是由于局部参考系中的交通工具移动所导致。
在510，处理器150从存储器140中检索第三旋转矩阵（CLRS←BRS）并且将增量角偏移从体参考系转换到局部参考系。
在520，处理器150使用局部参考系中的增量角偏移来旋转存储器140中的第二旋转矩阵（CLRS←PRS）以形成更新的第二旋转矩阵（CLRS←PRS）。类似地，处理器150可使用增量角偏移来旋转第三旋转矩阵（CLRS←BRS），或者作为替代，计算第一旋转矩阵（CPRS←BRS）和第二旋转矩阵（CLRS←PRS）的矩阵积以形成更新的第三旋转矩阵（CLRS←BRS）。所得到的更新的第二旋转矩阵（CLRS←PRS）和更新的第三旋转矩阵（CLRS←BRS）现在代表它们先前的旋转加上增量角偏移。随后，处理器150将更新的第二旋转矩阵（CLRS←PRS）和更新的第三旋转矩阵（CLRS←BRS）保存到存储器140。
第六项挑战的解决方案：
第六项挑战是更新陀螺仪校准，这将在以下参照图15进一步描述。在图15中，示出了根据本发明的诸实施例的用于更新陀螺仪校准的数据流程图。处理器150基于来自相机100的图像序列更新陀螺仪120的校准。以此方式，陀螺仪120功能地耦合到相机100。换句话说，来自相机100的图像被用于校准陀螺仪120。
在600，处理器150接收来自相机100的图像序列。处理器150例如通过比较图像对之间的特征的移动来确定FOE点20。在图像序列上，处理器150可确定一个或多个FOE点20。
在610，处理器150确定FOE点20是否是静态的。即，处理器150比较所确定的FOE点20以检查这些点是否聚集地足够近以表示单个FOE点20。如果这些FOE点20聚集地足够近以表示单个FOE点20，则PND 1000正沿直线行进。在此情况下，PND 1000处于运动中，并且可以是恒定速度、加速或减速，然而，不存在或存在很小的角加速度。另一方面，如果这些FOE点20散布在单个固定区域之外，则PND 1000正经历角加速度（例如，向右转向）。
在620，处理器150确定PND 1000没有经历角加速度并且随后确定陀螺仪偏移（偏移更新）。陀螺仪偏移表示当实际角旋转应当为零时由陀螺仪120所报告的错误的角旋转。即，陀螺仪120所报告的任何旋转是仅仅由于陀螺仪120的漏校准导致的。陀螺仪120使用陀螺仪偏移来补偿并校准未来的测量。即，陀螺仪120将其现有偏移（偏移现有）与更新的偏移组合以得到新的偏移（偏移新）以形成更新的陀螺仪偏移（偏移更新），其目标是当PND1000不在旋转时（例如，偏移新=偏移现 有–偏移更新），未来的陀螺仪测量报告没有角旋转。在一些实施例中，使用3-D矢量来同时在三个维度中调整偏移。在其它实施例中，分开地在每个维度中调整偏移。
在630，处理器150确定PND 1000正经历不是由于PND 1000正在其安装架中被调整而导致的角加速度。首先，处理器150基于图像序列确定角加速度。其次，处理器150根据来自陀螺仪120的陀螺仪测量来确定角加速度。第三，处理器150将基于图像的角加速度与来自陀螺仪测量的角加速度进行比较。处理器150随后可计算这两个加速度的比例。例如，比例可以是k＝陀螺仪角加速度/图像角加速度，其中k是陀螺仪缩放因子。陀螺仪缩放因子k表示由陀螺仪120引入的旋转误差。K的值＝1表示在图像角加速度和陀螺仪角加速度之间没有误差。值1.1表示陀螺仪120过快了10％。处理器150将这一缩放因子k发送给陀螺仪120，陀螺仪120可将其与其现有缩放因子组合以得到新的缩放因子（例如，k新=K旧/k）。在一些实施例中，使用3-D矢量来同时在三个维度中调整缩放因子。在其它实施例中，分开地在每个维度中调整缩放因子。以此方式，如600－630中描述的，处理器150基于从相机100捕获的图像序列来更新陀螺仪校准值（偏移和缩放因子）。
使用特征追踪来确定FOE点20。通过逐个图像地追踪多个特征的移动，处理器150可确定一个或多个FOE点20。基于FOE点20如何从顺序的图像对行进，处理器150可确定PND 1000是否已相对于交通工具10移动（由此，第一旋转矩阵需要被更新）或者交通工具是否移动（由此，第二和第三旋转矩阵需要被更新）。以下的附图描述了特征和FOE点的处理。
第七项挑战的解决方案：
第七项挑战是确定何时PND 1000已在交通工具10内的安装架中被重新定位，这使第一旋转矩阵（CPRS←BRS）和第三旋转矩阵（(CLRS←BRS）无效，并且触发对这些旋转矩阵的新的初始化，这将在以下从图16开始进一步描述。一旦检测到安装架移动，第三旋转矩阵（CLRS←BRS）被初始化，如以上参照图11和12描述的，并且第一旋转矩阵（CPRS←BRS）被初始化，如以上参照图13描述的。
处理器150基于FOE点20的移动来确定PND 1000是否已被移动。如果FOE点20从一静态点移动到一新的静态点，则PND 1000已被调整。如果FOE点20从该静态点转移穿过相机的视野并回到最初的FOE点20，则交通工具10已从直线行驶转换成转向并回到直线行驶。同样，如果处理器150确定PND 1000已经历转动，则PND 1000已在其安装架中被移动。在一些实施例中，如果PND 1000呈现出FOE点在静态点之间移动且PND 1000已经历转动两者，则处理器150设置或更新第一旋转矩阵（CPRS←BRS）和第三旋转矩阵（CLRS←BRS）。即，处理器150要求检测新的静态FOE点20和检测转动两者。在其它实施例中，如果PND 1000确定FOE点在静态点之间移动或PND 1000已经历转动，则处理器150设置或更新第一旋转矩阵（CPRS←BRS）和第三旋转矩阵（CLRS←BRS）。
图16、17、18、19、20、21和22示出根据本发明的诸实施例的彼此相关的特征。处理器150接收图像序列。对于每一图像对，处理器150从第一图像中标识并提取一个或多个自然特征，从而定义相应数目的点。处理器150随后将这些特征与第二图像相关联。在一些实施例中，处理器150从每幅图像中提取特征。在这些实施例中，在下一迭代期间，每对的第二图像变为下一对的第一图像。在其它实施例中，处理器150从每幅其它图像中提取特征。以此方式，图像对不交迭。
基于这些特征在图像对内的移动，处理器150可确定FOE点20。对于数个图像对，处理器150可确定FOE点20的序列，这些FOE点20随时间可被聚集在一起（指示没有角加速度）、暂时地位于限制区域之外（指示交通工具10的角加速度）、或持久地位于限制区域之外（指示PND 1000相对于交通工具10的角加速度）。
在图17的示例中，处理器150接收图像序列中的第一图像并且从第一图像中提取一个或多个自然特征，从而定义在时间ti摄取的第一图像内的相应的第一多个点（三个特征F1、F2和F3）。在X-Y图像平面中，这三个特征被示出为F1(ti)、F2(ti)和F3(ti)。
在图18中，处理器150标识在时间ti＋1摄取的第二图像内的相同的三个特征，示出为点F1(ti＋1)、F2(ti＋1)和F3(ti＋1)。这些特征可通过在第二图像和关于第一图像中的特征的一块像素之间的相关处理来追踪。
在图19中，处理器150可在每个特征F1、F2和F3的第一和第二位置之间放置一条线来标识诸条线的交点。该交点表示在时间ti+1的FOE点20（或FOC点），被示出为FOE(ti+1)。该交点可位于诸图像的帧内或帧外。在一些实施例中，所确定的FOE点20被表示在体参考系中。在其它实施例中，所确定的FOE点20被表示在局部参考系或平台参考系中。
处理器150可将FOE点20设置在由每个特征F1、F2和F3的第一和第二位置形成的多条线的中心。例如，处理器150可将FOE点20设置到一点，在该点处，两条线相交，或者一组线在其附近相交（例如，最小均方点）。
如果FOE点20位于图像中心，则相机100正直接指向行进的线，并且PND 1000的体与运动方向50对齐。通常，运动方向50不与PND 1000的机体对齐。如果FOE点20在中心水平参考线（示出为宽度参考）之上（或之下），则PND 1000与运动方向50相比指向下方（或上方）。如果FOE点20在中心垂直参考线（示出为高度参考）的左边（或右边），则PND 1000指向运动方向50的右边（或左边）。
如果连接共同特征的线相交于一点，则在两幅图像之间存在很少或没有转动。另一方面，如果仅仅是线对相交并且每个交点都间隔开，则PND 1000可能经历顺时针旋转或逆时针旋转。如果PND 1000正经历转动动作，则PND 1000最有可能在交通工具的安装架中被重新定位，因此第一旋转矩阵（CPRS←BRS）和第三旋转矩阵（CLRS←BRS）需要被重新计算。
为了确定转动量，处理器150可尝试找出螺纹状进入FOE点20的线的交点。取决于经处理的图像的数量和运动度的数量，处理器150能够从特征位置和FOE点20中确定垂直角（相对于高度参考）、水平角（相对于宽度参考）、以及转动角（Δα、Δβ、Δθ）中的变化。
图19示出了来自三个相应的图像对的三个FOE点20：FOE(t1)=(α1,β1)、FOE(t2)=(α2,β2)以及FOE(t3)=(α3,β3)，其中αi表示时间ti时的高度角，且βi表示宽度角。第一图像对得出FOE(t1)，第二图像对得出FOE(t2)，而第三图像对得出FOE(t3)。在该示例中，前两个FOE点20位于同处或者聚集在一起使得α1≈α2且β1≈β2，而第三个FOE点20与前两个隔开，使得α3≠α1和/或β3≠β1。因此，在前两个图像对中，PND 1000经历很小或没有角加速度。不过从第二图像对到第三图像对，PND1000确实经历一定的角加速度，这通过FOE从（α2,β2）转移到（α3,β3）来表示。如果FOE点20没有返回其第一位置，相反在其新位置保持静止，则PND 1000已相对于交通工具的安装架被旋转（由此，第一旋转矩阵（CPRS←BRS）和第三旋转矩阵（CLRS←BRS）必须被改变）。如果FOE点20返回其第一位置，则交通工具10经历了转向（因此，第一旋转矩阵（CPRS←BRS）没有改变）。
在图20中，示例侧视图示出了PND 1000和相机100，其中具有高度参考线（α参考=0）。（基于前两个FOE点20：FOE(t1)和FOE（t2）形成的）前两个方向矢量是一致的，这表示在图像对之间的零角加速度。（基于第三个FOE点20：FOE(t3)形成的）第三方向矢量与前两个方向矢量分开，这表示PND 1000经历了角加速度。处理器150确定在时间t1和t2之间没有高度角变化，然而它确定在时间t2和t3之间有高度角变化，即Δα=α3–α2。
在图21中，示例顶视图示出了PND 1000和相机100，其中具有宽度参考线（β参考=0）。前两个方向矢量是一致的，而第三个方向矢量与前两个方向矢量分开，这指示PND 1000在时间t3经历角加速度。处理器150确定在时间t1和t2之间没有宽度角变化，然而它确定在时间t2和t3之间有宽度角变化，即Δβ=β3–β2。
在图22中，特征被示出在X-Y图像平面中第一图像的第一位置处和第二图像的第二位置处。由于PND 1000所经历的转动，特征点F1(ti)和F1(ti+1)不形成具有所确定的FOE点20的线。分别来自第一和第二图像的第一和第二特征的转动是相对于参考θ参考=0的θ=θ1和θ=θ2。PND 1000在第一和第二图像间所经历的相应转动是Δθ=θ2–θ1。如果PND 1000经历转动，则第一旋转矩阵（CPRS←BRS）和第三旋转矩阵（CLRS←BRS）可被相应更新。
图23、24和25示出根据本发明的诸实施例的用于图像处理的数据流程图。在一些实施例中，来自相机100的完整分辨率图像不是必须的。通过把完整分辨率图像降低至子分辨率图像，处理器150可使用更少的计算和储存存储器且更快速地处理图像序列。
在图23中，在700，处理器150用作用于获取来自相机100的数字图像序列的装置。替代地，相机100和处理器150之间的模数转换器用作用于通过将来自相机100的模拟图像转换成数字图像（例如，从1.5到10M像素/图像）来获取图像序列的装置。替代地，相机100用作用于获取图像序列的装置并将数字图像提供给处理器150。
在710，处理器150对数字图像重新采样以将数字图像的分辨率降低到较低的分辨率图像（例如，320×240或640×480）。在720，处理器150提取强度信息或强度值，从而进一步将图像的分辨率降低到低分辨率图像（例如，灰度）。重新采样的动作或重新采样以及强度提取的动作可由处理器150、相机100、两者之间的硬件、以及相机100、额外硬件和/或处理器150的组合来执行。如果分辨率足够低，这两个步骤中的一步或两个步骤可被跳过。
在图24中继续，在730，处理器150提取一个或多个自然特征以生成或更新特征列表，其中Fj(ti)表示第j个特征在时间ti时在图像i中的位置。每个特征可通过图像内的一块像素（例如，8×8或15×15个像素）来定义。
在740，处理器150执行特征追踪。在下一图像对中搜索全部特征或一组特征。例如，处理器150可在像素块和下一图像之间执行相关以在下一图像上定位特征的位置。
在750，处理器150可从特征列表中消除异常特征。异常特征可以是在图像中找到的在下一图像中不具有对应特征（或反之亦然）的特征。特征列表将随时间演进以丢弃在图像中不再被找到的旧特征，但也添加在新的图像中被检测到的新特征。
在760，处理器150调整诸特征的位置以考虑一个或多个透镜像差。以此方式，处理器150校正图像序列以移除透镜像差。在一些示例中，高质量透镜包括很小或没有图像失真。低质量透镜可能具有使捕获的图像失真的不足，使得线上的诸点在图像上看上去不在线上。一种常见形式的透镜失真来自透镜的非均匀放大（例如，桶形失真和枕形失真），它们放大图像的周边与放大图像中心不同。对于桶形失真，放大朝向图像的边缘衰减。对于枕形失真，放大在两侧并拢或缩窄图像。处理器150移除这一失真，使得特征的相对位置被更适当地呈现，从而随时间提供经校正的特征列表。处理器150可对被选择的数个点（例如，被检测到的以及被追踪的特征）而不是原始图像或较低或低分辨率图像执行这一校正，从而减少对于计算所必须的处理。
被校正的特征点在图16和17中被示出。被追踪的特征对（来自第一图像的一个特征和来自第二图像的被追踪的特征）定义X-Y图像平面中的线。理想地，来自多个被追踪的特征的多条这类线定义所有线的共同交点。事实上，线相交于一个区域或范围中。通过例如确定多条线的最小平方误差点或者基于卡曼过滤器估计，可将FOE点20定义为这一区域的中心点。在一些实施例中，得到定义不对应于其它相交点的相交点的线的特征对被丢弃，因为它们是由异常特征导致的。处理器150可消除这些异常特征以免被考虑以及影响FOE计算。
在图25中，在770，处理器150使用经校正的特征列表来从对应的图像对序列中提取FOE点20的序列。以上参照图16、17、18和19描述了提取FOE点的过程。在780，处理器150还使用经校正的特征列表来提取高度、宽度和转动角度，这在上文参照图20－22进行了描述。
如以上描述的，图像序列可被用于准确地确定重力矢量、第一旋转矢量（CPRS←BRS）、第二旋转矢量（CLRS←PRS）和第三旋转矢量（CLRS←BRS）。图像序列还可被用于更新这些旋转矩阵并更新陀螺仪校准值。图像序列还可被用于确定PND 100是否已在其安装架中被移动。使用这些矩阵和值，加速度计测量和陀螺仪测量包括更少的固有误差。结果是，累积的测量包括更少的累积误差，并且得到的航位推测定位对于较长的时间段来说更为准确。因此，图像序列可被用于改进航位推测导航。以此方式，PND 1000内的处理器150基于图像序列执行更准确的航位推测。
本文中所描述的方法体系取决于应用可藉由各种手段来实现。例如，这些方法体系可在硬件、固件、软件、或其任何组合中实现。对于硬件实现，处理单元可以在以下的一个或多个中实现：特定用途集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、处理器、控制器、微控制器、微处理器、电子设备、数字处理装置或被设计为执行本文所描述的功能的其它电子单元、或以上的组合。
对于固件和/或软件实现，这些方法体系可用执行本文中描述的功能的模块（例如，规程、函数等等）来实现。任何有形地实施指令的机器可读介质可被用来实现本文中所描述的方法体系。例如，软件代码可被存储在存储器中并且可由处理器150或其它处理器单元来执行。存储器可以实现在处理器单元内或在处理器单元外部。如本文所使用的，术语“存储器”是指任何类型的长期、短期、易失性、非易失性、或其他存储器，且并不限于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的类型的介质。
如果在固件和/或软件中实现，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上。示例包括用数据结构编码的计算机可读介质和用计算机程序编码的计算机可读介质。计算机可读介质包括物理计算机存储介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来存储以指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质；如本文中所使用的盘（disk）和碟（disc）包括压缩碟（CD）、激光碟、光碟、数字多用碟（DVD）、软盘和蓝光碟，其中盘常常磁学地再现数据，而碟用激光光学地再现数据。以上组合也应被包括在计算机可读介质的范围内。
除了存储在计算机可读介质上，指令和/或数据还可作为包括在通信装置中的传输介质上的信号来提供。例如，通信装置可包括具有指示指令和数据的信号的收发机。指令和数据被配置成致使一个或更多个处理器以实现权利要求中概括的功能。即，通信装置包括具有指示用以执行所公开功能的信息的信号的传输介质。在第一时间，通信装置中所包括的传输介质可包括用以执行所公开功能的信息的第一部分，而在第二时间，通信装置中所包括的传输介质可包括用以执行所公开功能的信息的第二部分。
提供以上对所公开方面的描述是为了使得本领域任何技术人员皆能够制作或使用本公开。对这些方面的各种改动对本领域技术人员而言将是明显的，并且本文中所定义的普适原理可应用于其他方面而不会脱离本公开的精神实质或范围。

Claims (26)

1.一种使用图像用于导航的移动设备，所述移动设备包括：
相机，其中所述相机捕获图像序列；
存储器，用于保存
第一旋转矩阵，其中所述第一旋转矩阵用于在所述移动设备的体参考系和交通工具的平台参考系之间转换；
第二旋转矩阵，其中所述第二旋转矩阵用于在所述交通工具的平台参考系和局部参考系之间转换；以及
第三旋转矩阵，其中所述第三旋转矩阵用于在所述体参考系和所述局部参考系之间转换；以及
耦合到所述相机和所述存储器的处理器，其中所述处理器被配置成
基于所述图像序列确定所述第一旋转矩阵的初始值；以及
基于所述图像序列确定所述第三旋转矩阵的初始值。
2.如权利要求1所述的移动设备，还包括：
用于提供加速度计测量的加速度计；
其中所述处理器被还耦合到所述加速度计；并且
其中所述处理器还被配置成基于所述图像序列确定重力矢量的初始值，其中所述重力矢量被用于使重力在所述加速度计测量中的影响归零。
3.如权利要求2所述的移动设备，其特征在于，所述加速度计包括三维加速度计。
4.如权利要求1所述的移动设备，还包括：
功能地耦合到所述相机的陀螺仪；
其中所述处理器还被耦合到所述陀螺仪。
5.如权利要求4所述的移动设备，其特征在于，所述处理器还被配置成基于所述图像序列更新所述陀螺仪的校准。
6.如权利要求1所述的移动设备，其特征在于，还包括位置定位模块。
7.如权利要求6所述的移动设备，其特征在于，所述位置定位模块包括全球导航卫星系统接收机（GNSS接收机）。
8.如权利要求7所述的移动设备，其特征在于，所述GNSS接收机包括全球定位卫星（GPS）接收机。
9.如权利要求1所述的移动设备，其特征在于，所述移动设备被机械地耦合到所述交通工具。
10.如权利要求1所述的移动设备，其特征在于，所述处理器还被配置成基于所述图像序列执行航位推测。
11.如权利要求1所述的移动设备，其特征在于，还包括：
用于提供加速度计测量的加速度计；以及
功能地耦合到所述相机的陀螺仪；
其中所述处理器还被耦合到所述加速度计以及所述陀螺仪；并且
其中所述处理器还被配置成：
基于所述图像序列确定重力矢量的初始值，其中所述重力矢量被用于使重力在所述加速度计测量中的影响归零；以及
基于所述图像序列更新所述陀螺仪的校准。
12.一种在移动设备中使用图像来导航的方法，所述方法包括：
捕获来自相机的图像序列；
基于所述图像序列确定所述第二旋转矩阵的初始值；
将所述第二旋转矩阵写入存储器；以及
使用所述第二旋转矩阵在所述平台参考系和局部参考系之间转换测量。
13.如权利要求12所述的方法，其特征在于，还包括：
基于所述图像序列确定重力矢量的初始值；
其中所述重力矢量被用于使重力在加速度计测量中的影响归零。
14.如权利要求12所述的方法，其特征在于，还包括基于所述图像序列更新陀螺仪的校准。
15.如权利要求12所述的方法，其特征在于，还包括机械地将所述移动设备耦合到交通工具。
16.如权利要求12所述的方法，其特征在于，捕获所述图像序列包括将具有第一分辨率的所述图像序列重新采样至第二分辨率，其中所述第二分辨率低于所述第一分辨率。
17.如权利要求12所述的方法，其特征在于，捕获所述图像序列包括从所述图像序列中提取强度值。
18.如权利要求12所述的方法，其特征在于，基于所述图像序列确定第一旋转矩阵的初始值包括确定从所述图像序列中的至少两个序列推导出的扩展焦点（FOE点），从而设置所述移动设备在体参考系中的移动方向，并且所述方法还包括：
确定所述体参考系中的重力矢量；以及
基于以下各项来计算所述第一旋转矩阵：
(1)第三旋转矩阵；以及
(2)所述第二旋转矩阵的逆。
19.如权利要求18所述的方法，其特征在于，所述FOE点指示相对于所述体参考系的高度角（α）和宽度角（β）。
20.如权利要求18所述的方法，其特征在于，所述FOE点指示X-Y图像平面中相对于所述体参考系的点。
21.如权利要求18所述的方法，其特征在于，确定所述FOE点包括：
从所述图像序列的第一图像中提取多个特征，从而定义相应的第一多个点；
在所述图像序列的第二图像上追踪所述多个特征，从而定义相应的第二多个点，并且还定义所述相应的第一多个点和所述相应的第二多个点之间的相应的多条线；以及
将所述FOE点设置在所述相应的多条线的中心。
22.如权利要求21所述的方法，其特征在于，所述相应的多条线的中心包括所述相应的多条线的最小平方误差点。
23.如权利要求21所述的方法，其特征在于，所述相应的多条线的中心基于卡曼过滤器估计。
24.如权利要求12所述的方法，其特征在于，捕获所述图像序列包括校正所述图像序列以移除透镜像差。
25.一种使用图像用于导航的移动设备，所述移动设备包括：
用于捕获来自相机的图像序列的装置；
用于基于所述图像序列确定第一旋转矩阵的初始值的装置，所述第一旋转矩阵被用于从所述移动设备的体参考系进行转换；
用于将所述第一旋转矩阵写入存储器的装置；以及
用于使用所述第一旋转矩阵来在所述移动设备的体参考系和局部参考系之间转换测量的装置。
26.一种计算机可读介质，其实质地实施计算机可读指令的程序，所述计算机可读指令可由数字处理装置执行以执行一种用于在移动设备中使用图像用于导航的方法，所述数字处理装置具有相机、存储器以及处理器，所述方法包括以下操作：
捕获来自相机的图像序列；
基于所述图像序列确定第一旋转矩阵的初始值，所述第一旋转矩阵被用于从所述移动设备的体参考系进行转换；
将所述第一旋转矩阵写入存储器；以及
使用所述第一旋转矩阵来在所述移动设备的体参考系和局部参考系之间转换测量。
CN201280005047.6A 2011-01-11 2012-01-09 用于个人导航设备的基于相机的惯性传感器对准 Expired - Fee Related CN103328928B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161431748P 2011-01-11 2011-01-11
US61/431,748 2011-01-11
US13/173,261 2011-06-30
US13/173,261 US9160980B2 (en) 2011-01-11 2011-06-30 Camera-based inertial sensor alignment for PND
PCT/US2012/020623 WO2012096876A2 (en) 2011-01-11 2012-01-09 Camera-based inertial sensor alignment for pnd

Publications (2)

Publication Number Publication Date
CN103328928A true CN103328928A (zh) 2013-09-25
CN103328928B CN103328928B (zh) 2016-08-10

Family

ID=46454958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280005047.6A Expired - Fee Related CN103328928B (zh) 2011-01-11 2012-01-09 用于个人导航设备的基于相机的惯性传感器对准

Country Status (5)

Country Link
US (1) US9160980B2 (zh)
EP (1) EP2663838B1 (zh)
JP (1) JP5710784B2 (zh)
CN (1) CN103328928B (zh)
WO (1) WO2012096876A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015143892A1 (en) * 2014-03-25 2015-10-01 Tencent Technology (Shenzhen) Company Limited Video processing method, device and system
CN105716625A (zh) * 2014-12-12 2016-06-29 空中客车运营简化股份公司 用于在飞行器的监测传感器的操作期间自动地检测失准的方法和系统
CN108419442A (zh) * 2015-08-27 2018-08-17 高通股份有限公司 托架旋转不敏感型惯性导航
CN108496096A (zh) * 2016-02-02 2018-09-04 高通股份有限公司 可视化惯性里程计参考系与卫星定位系统参考系的对准
CN110057352A (zh) * 2018-01-19 2019-07-26 北京图森未来科技有限公司 一种相机姿态角确定方法及装置
CN111247389A (zh) * 2019-03-29 2020-06-05 深圳市大疆创新科技有限公司 关于拍摄设备的数据处理方法、装置及图像处理设备
CN112710327A (zh) * 2019-10-25 2021-04-27 通用汽车环球科技运作有限责任公司 用于车辆传感器的无监督的自动对准的方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948446B2 (en) * 2011-01-19 2015-02-03 Honeywell International Inc. Vision based zero velocity and zero attitude rate update
US9151613B2 (en) * 2011-08-12 2015-10-06 Qualcomm Incorporated Methods and apparatus for detecting, measuring, and mitigating effects of moving an inertial navigation device's cradle
US9581615B2 (en) * 2011-09-30 2017-02-28 Ntelligent Mechatronic Systems Inc. Method of correcting the orientation of a freely installed accelerometer in a vehicle
EP2618305B1 (de) * 2012-01-20 2014-04-30 ESG Elektroniksystem- und Logistik-GmbH Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras
US9716847B1 (en) 2012-09-25 2017-07-25 Google Inc. Image capture device with angled image sensor
US9013617B2 (en) * 2012-10-12 2015-04-21 Qualcomm Incorporated Gyroscope conditioning and gyro-camera alignment
US9135705B2 (en) 2012-10-16 2015-09-15 Qualcomm Incorporated Sensor calibration and position estimation based on vanishing point determination
WO2014071291A2 (en) 2012-11-02 2014-05-08 Strongwatch Corporation, Nevada C Corp Wide area imaging system and method
US9159133B2 (en) * 2012-11-05 2015-10-13 Qualcomm Incorporated Adaptive scale and/or gravity estimation
KR101628427B1 (ko) * 2012-12-17 2016-06-08 주식회사 만도 카메라를 이용한 추측항법 기반 네비게이션 시스템 및 그 제어방법
US9330471B2 (en) 2013-02-14 2016-05-03 Qualcomm Incorporated Camera aided motion direction and speed estimation
US20140287783A1 (en) * 2013-03-22 2014-09-25 Qualcomm Incorporated Methods and apparatuses for use in determining a likely motion state of a mobile device
US9053516B2 (en) * 2013-07-15 2015-06-09 Jeffrey Stempora Risk assessment using portable devices
CN103475816A (zh) * 2013-08-30 2013-12-25 广东欧珀移动通信有限公司 一种自拍控制方法和装置
WO2015066560A1 (en) * 2013-11-01 2015-05-07 InvenSense, Incorporated Systems and methods for optical sensor navigation
GB2525232A (en) * 2014-04-17 2015-10-21 Nokia Technologies Oy A device orientation correction method for panorama images
WO2015165015A1 (zh) * 2014-04-28 2015-11-05 中国科学院自动化研究所 图像水平重力方向的检测方法
US9513311B2 (en) 2014-04-29 2016-12-06 Intel Corporation Inertial sensor pendulum test apparatus
DE102014210739A1 (de) 2014-06-05 2015-12-17 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Drehratensensors und elektrisches Gerät
FI126877B (en) 2014-07-08 2017-07-14 Helsingin Yliopisto Formation of Gravity Estimate
US9392174B2 (en) 2014-12-11 2016-07-12 Facebook, Inc. Systems and methods for time-lapse selection subsequent to capturing media content
IL237971A (en) * 2015-03-26 2016-10-31 Gandelsman Mark A device and method for determining relative orientation between two different locations
US10242281B2 (en) * 2015-07-05 2019-03-26 RideOn Ltd. Hybrid orientation system
CN105203129B (zh) * 2015-10-13 2019-05-07 上海华测导航技术股份有限公司 一种惯导装置初始对准方法
EP3211370A1 (fr) * 2016-02-29 2017-08-30 Movea Procede de filtrage des signaux issus d'un ensemble capteur comprenant au moins un capteur de mesure d'un champ physique vectoriel sensiblement constant dans le temps et l'espace dans un repere de reference
KR102522609B1 (ko) * 2016-08-16 2023-04-17 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 동작 방법
JP6757226B2 (ja) * 2016-10-07 2020-09-16 株式会社マキタ 電動工具
IT201700047233A1 (it) * 2017-05-02 2018-11-02 Ids Georadar S R L Metodo perfezionato per l’esecuzione di indagini georadar e relativa apparecchiatura
US10663298B2 (en) * 2017-06-25 2020-05-26 Invensense, Inc. Method and apparatus for characterizing platform motion
CN107314778B (zh) * 2017-08-04 2023-02-10 广东工业大学 一种相对姿态的标定方法、装置及系统
US10948299B1 (en) 2017-09-28 2021-03-16 Apple Inc. Relative inertial measurement system with visual correction
DE102018204451A1 (de) * 2018-03-22 2019-09-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
CN109725340B (zh) * 2018-12-31 2021-08-20 成都纵横大鹏无人机科技有限公司 直接地理定位方法及装置
JP7273696B2 (ja) * 2019-11-15 2023-05-15 株式会社東芝 位置推定装置及びシステム
US11726327B2 (en) * 2020-09-15 2023-08-15 Snap Inc. Eyewear having unsynchronized rolling shutter cameras
US20230104188A1 (en) * 2021-09-28 2023-04-06 Here Global B.V. Method, apparatus, and system for calibrating vehicle motion data based on mobile device sensor data
CN115546042B (zh) * 2022-03-31 2023-09-29 荣耀终端有限公司 视频处理方法及其相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594600B1 (en) * 1997-10-24 2003-07-15 Commissariat A L'energie Atomique Method for calibrating the initial position and the orientation of one or several mobile cameras
CN101067557A (zh) * 2007-07-03 2007-11-07 北京控制工程研究所 适用于自主移动车辆的环境感知的单目视觉导航方法
CN101636637A (zh) * 2007-03-23 2010-01-27 高通股份有限公司 多传感器数据采集和/或处理
WO2010096670A1 (en) * 2009-02-20 2010-08-26 Google Inc. Estimation of panoramic camera orientation relative to a vehicle coordinate frame

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778255A (ja) 1993-09-08 1995-03-20 Sumitomo Electric Ind Ltd 画像の直線部抽出方法
WO2004007287A2 (en) * 2002-07-16 2004-01-22 The Charles Stark Draper Laboratory, Inc. Integrated inertial stellar attitude sensor
JP5214100B2 (ja) 2005-10-12 2013-06-19 旭化成エレクトロニクス株式会社 携帯型地図表示装置、その方法、およびプログラム
JP2007315956A (ja) 2006-05-26 2007-12-06 Aisin Aw Co Ltd 駐車場マップ作成方法、駐車場案内方法及びナビゲーション装置
JP4816340B2 (ja) 2006-08-31 2011-11-16 ソニー株式会社 ナビゲーション装置、位置検出方法及び位置検出プログラム
EP1983740A1 (en) * 2007-04-16 2008-10-22 STMicroelectronics (Research & Development) Limited Image stabilisation method and apparatus
JP4939316B2 (ja) 2007-06-20 2012-05-23 パイオニア株式会社 停止判断装置、ナビゲーション装置、停止判断方法、停止判断プログラムおよび記録媒体
JP5070982B2 (ja) * 2007-08-09 2012-11-14 ソニー株式会社 撮像装置及び変倍レンズ
US8855917B2 (en) * 2008-10-16 2014-10-07 Csr Technology Inc. System and method for use of a vehicle back-up camera as a dead-reckoning sensor
US9459113B2 (en) 2008-11-21 2016-10-04 GM Global Technology Operations LLC Visual guidance for vehicle navigation system
US20100226437A1 (en) * 2009-03-06 2010-09-09 Sony Corporation, A Japanese Corporation Reduced-resolution decoding of avc bit streams for transcoding or display at lower resolution
JP4690476B2 (ja) 2009-03-31 2011-06-01 アイシン精機株式会社 車載カメラの校正装置
US20110010026A1 (en) * 2009-07-13 2011-01-13 Utah State University Calibration Method for Aerial Vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594600B1 (en) * 1997-10-24 2003-07-15 Commissariat A L'energie Atomique Method for calibrating the initial position and the orientation of one or several mobile cameras
CN101636637A (zh) * 2007-03-23 2010-01-27 高通股份有限公司 多传感器数据采集和/或处理
CN101067557A (zh) * 2007-07-03 2007-11-07 北京控制工程研究所 适用于自主移动车辆的环境感知的单目视觉导航方法
WO2010096670A1 (en) * 2009-02-20 2010-08-26 Google Inc. Estimation of panoramic camera orientation relative to a vehicle coordinate frame

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015143892A1 (en) * 2014-03-25 2015-10-01 Tencent Technology (Shenzhen) Company Limited Video processing method, device and system
CN105716625A (zh) * 2014-12-12 2016-06-29 空中客车运营简化股份公司 用于在飞行器的监测传感器的操作期间自动地检测失准的方法和系统
CN105716625B (zh) * 2014-12-12 2021-01-22 空中客车运营简化股份公司 用于自动地检测飞行器的监测传感器的失准的方法和系统
CN108419442A (zh) * 2015-08-27 2018-08-17 高通股份有限公司 托架旋转不敏感型惯性导航
CN108496096A (zh) * 2016-02-02 2018-09-04 高通股份有限公司 可视化惯性里程计参考系与卫星定位系统参考系的对准
CN108496096B (zh) * 2016-02-02 2022-06-10 高通股份有限公司 可视化惯性里程计参考系与卫星定位系统参考系的对准
CN110057352A (zh) * 2018-01-19 2019-07-26 北京图森未来科技有限公司 一种相机姿态角确定方法及装置
US11715232B2 (en) 2018-01-19 2023-08-01 Beijing Tusen Zhitu Technology Co., Ltd. Method and device to determine the camera position and angle
CN111247389A (zh) * 2019-03-29 2020-06-05 深圳市大疆创新科技有限公司 关于拍摄设备的数据处理方法、装置及图像处理设备
CN112710327A (zh) * 2019-10-25 2021-04-27 通用汽车环球科技运作有限责任公司 用于车辆传感器的无监督的自动对准的方法

Also Published As

Publication number Publication date
EP2663838B1 (en) 2018-04-25
WO2012096876A3 (en) 2013-04-18
US9160980B2 (en) 2015-10-13
JP5710784B2 (ja) 2015-04-30
US20120176492A1 (en) 2012-07-12
EP2663838A2 (en) 2013-11-20
CN103328928B (zh) 2016-08-10
WO2012096876A2 (en) 2012-07-19
JP2014505249A (ja) 2014-02-27

Similar Documents

Publication Publication Date Title
CN103328928A (zh) 用于个人导航设备的基于相机的惯性传感器对准
US9922422B2 (en) Mobile imaging platform calibration
KR101524395B1 (ko) 이미지 프로세싱에 기초한 카메라-기반 포지션 로케이션 및 네비게이션
Atia et al. A low-cost lane-determination system using GNSS/IMU fusion and HMM-based multistage map matching
US8427536B2 (en) Orientation determination of a mobile station using side and top view images
US20080319664A1 (en) Navigation aid
JP5908584B2 (ja) 長方形の見取り図による建物内のナビゲーションのための方法、デバイス、及び非一時的コンピュータ可読記録媒体
Kim et al. Ground vehicle navigation in harsh urban conditions by integrating inertial navigation system, global positioning system, odometer and vision data
EP2133662B1 (en) Methods and system of navigation using terrain features
US8676498B2 (en) Camera and inertial measurement unit integration with navigation data feedback for feature tracking
WO2011120141A1 (en) Dynamic network adjustment for rigorous integration of passive and active imaging observations into trajectory determination
WO2014062293A1 (en) Sensor calibration and position estimation based on vanishing point determination
KR101569354B1 (ko) 영상센서를 이용한 위성항법시스템 신호의 오차 보정 방법 및 장치
CN108419442A (zh) 托架旋转不敏感型惯性导航
CN108613675B (zh) 低成本无人飞行器移动测量方法及系统
JP5355443B2 (ja) 位置補正システム
Skaloud et al. Mapping with MAV: experimental study on the contribution of absolute and relative aerial position control
JP2021143861A (ja) 情報処理装置、情報処理方法及び情報処理システム
Niu et al. Directly georeferencing terrestrial imagery using MEMS-based INS/GNSS integrated systems
KR102445400B1 (ko) 사용자 단말의 이동 경로 추적 방법 및 장치
Kennedy Sightline Control Basics for Geo-Pointing and Locating Part 3
Colomina et al. Pose versus state: are sensor position and attitude sufficient for modern photogrammetry and remote sensing?
Miller Hardware and software considerations for monocular SLAM in a riverine environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160810

Termination date: 20190109

CF01 Termination of patent right due to non-payment of annual fee