CN103119611A

CN103119611A - 基于图像的定位的方法和设备

Info

Publication number: CN103119611A
Application number: CN2011800314431A
Authority: CN
Inventors: O·P·苏博拉; S·B·王; H·滕; G·C·拜斯特; B·M·舍青格; P·G·弗朗斯; J·M·扬基
Original assignee: Trimble Navigation Ltd
Current assignee: Trimble AB
Priority date: 2010-06-25
Filing date: 2011-06-23
Publication date: 2013-05-22
Anticipated expiration: 2031-06-23
Also published as: US9683832B2; CN103119611B; US20120163656A1; DE112011102132T5; US20140267700A1; JP6002126B2; WO2011163454A1; US8754805B2; JP2013535013A

Abstract

提供用于基于图像的定位的方法和设备，其包括用图像捕获装置（34）捕获第一图像（126），其中所述第一图像包括至少一个对象。移动平台，并用所述图像捕获装置捕获第二图像，所述第二图像包括所述至少一个对象。在所述第一图像中捕获表面的图像；在所述第二图像中捕获所述表面的第二图像。使用组合的基于特征的过程和表面追踪过程处理所述对象和所述表面的多个图像，以追踪所述表面的位置（134）。最后，通过处理所述组合的基于特征的过程和基于表面的过程而确定所述平台的位置（138）。

Description

基于图像的定位的方法和设备

技术领域

本技术涉及导航领域。

发明背景

本原始美国专利申请第12/313,560号（在下文中称为“Scherzinger”）是针对用于获得精确测量级定位数据的系统和方法。

发明概要

提供本概要来介绍在下文详细描述中进一步描述的概念精选。本概要并非旨在识别所主张的主题的关键或基本特征，也并非旨在用作帮助确定所主张的主题的范围。

提供一种克服现有技术中的限制的基于图像的定位方法。

附图简述

整合于本说明书中，并形成本说明书的一部分的附图图示了本技术的实施方案，并与描述一起用于解释原理，如下：

图1示出“Scherzinger”中公开的GIE测量仪器。

图2图示了本技术的基于图像的定位设备，其包括被配置来捕获包括至少一个对象的至少一个图像的图像捕获装置，基于特征的过程和定位确定过程。

图3描绘了通过使用基于地理参考图像的过程实施的本技术的图2的基于特征的过程。

图4图示摄影测量方法，以从2点之间的已知距离（比例因数），和至对向角的像素转换而找到至相机的距离。

图5图示了描述通过使用图3的地理参考对象图像数据库和图像处理引擎而实施图2的基于特征的过程的步骤的流程图。

图6示出出于本技术的目的而用于基于地理参考图像的定位的装置，其包括安装在杆上的GPS接收器，其中相机安装在相同杆上，其光学中心与杆轴对准，以及GIS/测量数据收集器。

图7图示出于本技术的目的而被配置来启用图3的图像处理引擎的计算机系统。

图8示出出于本技术的目的的基于图像的定位设备，其包括双重特征追踪过程。

图9图示出于本技术的目的的基于图像的定位设备，其包括特征和表面追踪过程。

具体实施方式

现在对本技术的实施方案进行详细参考，其实施例图示于附图中。虽然本技术将结合各种实施方案描述，但是应理解，其并非旨在将本技术限制于这些实施方案。相反，本技术旨在覆盖可包括在如由随附权利要求所定义的各种实施方案的精神和范围内的替代、修改和等效物。

此外，在下文详细的描述中，阐述许多特定细节以提供对所呈现的实施方案的彻底理解。然而，所属领域一般技术人员显然了解，可在没有这些特定细节的情况下实践所呈现的实施方案。在其它情况中，没有详细描述熟知的方法、程序、组件和电路，以便不会不必要地模糊所呈现的实施方案的方面。

I．“Scherzinger”

图1示出“Scherzinger”中公开的GIE测量仪器10。

II．单个对象追踪过程。

在本技术的一个实施方案中，图2图示基于图像的定位设备30，其包括被配置来捕获包括至少一个对象的至少一个图像的图像捕获装置34；定位确定过程38，和基于特征的过程36，其被配置来处理至少一个图像以追踪至少一个捕获对象的位置。

在本技术的一个实施方案中，对象可含有一个或多个特征；特征本质上是可通过算法检测的图像的一部分。其可以是点，或区域，或轮廓，或纹理的抽象区，或任何其它特征。在本文中讨论的许多算法中，也具有特征可跨图像识别的假设（找到对应），但这不是特征的定义的一部分。对应寻找是对特征执行的操作，而不是其特性。

在本技术的一个实施方案中，图像捕获装置34可来自由以下项组成的组：数码相机；数码摄像机；数码摄录机；立体数码相机；立体摄像机；电影摄像机；深度相机和电视摄像机或类似物。

仍然参考图2，在本技术的一个实施方案中，基于图像的定位设备30还包括平台32。

在本技术的一个实施方案中，平台32还包括移动站。

在本技术的一个实施方案中，平台32还包括移动站RTK系统。

在本技术的一个实施方案中，平台32还包括GIS/地图创建手持设备。

仍然参考图2，在本技术的一个实施方案中，由GNSS定位过程38确定图像捕获装置34（或平台32）的参考定位的坐标。

全球导航卫星系统（GNSS）过程可选自由以下项组成的组：GPS过程；GLONASS过程；组合的GPS/GLONASS过程；GALILEO过程和COMPASS（北斗导航系统）过程，基于陆地的伪卫星过程或类似过程。

全球定位系统（GPS）是发射信息的卫星信号发射器系统，可从所述信息中确定观测者的当前位置和/或观测时间。GPS由美国国防部（DOD）在其NAVSTAR卫星计划项目下开发。

仍然参考图2，在本技术的一个实施方案中，作为GNSS过程的替代，或如果卫星信号无法获得或不完整，那么通过选自由以下项组成的组的基于特征的过程而确定图像捕获装置34（或平台32）的参考定位坐标：惯性航位推算；同时定位与地图创建（SLAM）过程；匹配移动过程或类似的图像处理算法；和摄影测量过程。

在本技术的一个实施方案中，由同时定位与地图创建（SLAM）过程实施基于特征的过程36。

同时定位与地图创建（SLAM）过程使用来自一个或多个摄像机的图像序列以识别固定特征，并且接着建立这些固定特征的地图。可应用两种图像处理技术。

同时定位与地图创建（SLAM）方法中应用的第一种图像处理技术是图像分割和特征提取。SLAM使用这来识别已知是静止的特定对象，以及因此在三维（3D）空间中的有效参考点。典型选择是具有合理精确定义的特性的对象，通常是户外环境中的角落或室内环境中的各种壁装器具（灯、开关、窗台或角落）。可接着在软件中处理这些特性以在算法内产生特征。

同时定位与地图创建（SLAM）方法中应用的第二种图像处理技术是用于提取深度以及因此范围至对象信息的立体成像方法。SLAM在从不同机器人位置使特征成像时在三维（3D）坐标网格中建立特征的地图，并且从而在所述网格中确定其自身的定位。在估计所有变量的卡尔曼（Kalman）滤波器中实施地图创建和自定位过程。在这个情况中，通过使用从多个重叠的二维（2D）图像立体成像而完成范围提取。

在本技术的一个实施方案中，同时定位与地图创建（SLAM）方法利用摄像机。

在本技术的一个实施方案中，同时定位与地图创建（SLAM）方法利用电荷耦合装置（CCD）。CCD是电荷通常从装置内至可操纵电荷（例如，转换成数字值）的区的移动的装置。这通过在装置内的级之间一次“移位”一个信号而实现。技术上，CCD实施为在装置中的电容箱之间移动电荷的移位寄存器，其中所述移位允许在箱之间的电荷传递。通常CCD与图像传感器（诸如光电装置）整合以产生正被读取的电荷，因此使CCD成为数字成像的主要技术。

在本技术的一个实施方案中，同时定位与地图创建（SLAM）方法利用具有CMOS传感器的摄像机。

在本技术的一个实施方案中，同时定位与地图创建（SLAM）方法利用窄视场（FOV）。对于给定的传感器大小，这将提供可见世界的更小总面积的更高分辨率视图，并且将容许更小的对象的检测。宽FOV允许相机捕获更大对象，或对象在更大空间域内传播，但对于给定传感器将不会给出相同分辨率。仪器将包括SLAM处理算法，其以固定帧速率或以由仪器动态所规定的可变帧速率接收图像，且接着都在适于所述应用的坐标系中输出其已识别的特征的定位和仪器定位。相对于仪器初始方位的笛卡尔坐标，从定义的原点、纬度-经度-海拔和地心地固绝对测量的笛卡尔坐标；相对于仪器初始方位的球面坐标。为进一步参考，请参见：（i）ThomasLemaire,Cyrille Berger,Il-Kyun Jung和Simon Lacroix,“Vision-BasedSLAM：Stereo and Monocular Approaches”，International J ournal ofComputer Vision 74(3),第343至364页,2007年；和（ii）Moritz Kohler,Shwetak N.Patel,Jay W.Smrnnet,Erich P.Stuntebeck和Gregory D.Abowd,Institute for Pervasive Computing,Department of ComputerScience ETH Zurich,8092Zurich,Switzerland,“TrackSense:Infrastructure Free Precise Indoor Positioning Using Projected Patterns”。

在本技术的一个实施方案中，通过使用匹配移动过程而实施基于特征的过程36。所述匹配移动过程包括若干个步骤。第一步骤是识别并追踪对象。

在本技术的一个实施方案中，特征追踪过程由两个步骤组成。第一步骤是从图像特征中导出定位和方位参考。这个步骤通常称为“特征检测”。

第二步骤涉及三维（3D）运动求解。这个过程尝试通过对图像特征中检测到的从2D图像平面至图像捕获装置34的3D运动的估计的变换的反投影进行求解而导出（图2的）图像捕获装置34的运动。更明确而言，何时在二维（2D）坐标系中拍摄到三维对象的表面上的一点的定位可通过三维（3D）投影函数来计算。

可以介绍抽象相机的概念。这种抽象相机在定义上是持有在真实或虚拟世界中对图像捕获装置34建模所必需的所有参数的抽象化。

因此，抽象相机基本上是相机矢量，其包括作为其元素的图像捕获装置34的定位，其方位、焦距和定义图像捕获装置34如何将光聚焦于胶片平面上的其它可能参数。只要具有兼容的投影函数P，这个相机矢量究竟如何构造并不重要。

投影函数P采用相机矢量（指示为相机）和另一矢量（空间中三维（3D）点的定位）（指示为xyz）作为其输入，并返回已投影于相机前的平面上的二维（2D）点（指示为XY）。表达为如下：

XY=P(相机,xyz). （方程式1）

例如，在特征投影的情况中，相机在帧i和j上取决于相机参数而将视图投影至平面上。以这种方式，二维（2D）空间中追踪的特征对应于三维（3D）空间中的真实特征。

然而，投影函数变换真实3D的特征，并减少其含有的信息量。在不知道组件的全部信息内容的情况下，反投影函数P’可能只返回可能的3D点集，其形成从相机中心放射并经过所投影的2D点的线。类似的模糊性出现在包含在投影特征中的任何方位信息的解译上。反投影表达为：

xyz∈P’(相机，XY). （方程式2）

或

{xyz:P(相机，xyz)=XY}. （方程式3）

在本技术的一个实施方案中，如果特征在刚性对象表面上，诸如建筑物，那么真实点xyz将在真实空间中从图像的一帧至下一帧保持在相同位置：

(xyz)_i＝(xyz)_j；（方程式4）

其中下标i和j指正在被分析的拍摄中的任意帧。由此可知：

P’(相机_i，XY_i)∩P’(相机_j，XY_j)≠{} （方程式5）

因为已对特征通过追踪程序追踪的所有帧确定了XY_i的值，所以只要P’(相机_i，XY_i)∩P’(相机_j，XY_j)是在i和j上解出方程式的可能相机矢量的较小集合，就可以解出任何两个帧之间的反投影函数（指示为C_ij）。

C_ij=((相机_i,相机_j):P’(相机_i，XY_i)∩P’(相机_j，XY_j)≠{});（方程式6）

由（方程式6）可知，具有相机矢量对C_ij的集合，其两个点XY_i和XY_j的反投影的交集是以静止点xyz为中心的非空集合。

由（方程式6）还可知，对于图像捕获装置34在空间中的任何定位，具有将以完整相同方式拍摄单点特征的对应参数（方位、焦距，等等）集。然而，因为相机矢量对C_ij的集合具有无穷数量的元素，所以单点特征不足以确定图像捕获装置34的实际定位。

附加点特征或附加方位信息形式的追踪信息越多，可越精确地确定图像捕获装置34的实际定位。

对于点集{(xyz)_i,0,…,(xyz)_i,n}和{(xyz)_j,0,…,(xyz)_j,n}，其中i和j仍然指帧，且n是正在被跟踪的许多追踪特征的一个的指标，可导出相机矢量对集合的一个集合{C_i，j,0,…,C_i，j,n}.

使用这种多重追踪法将减少相机的可能参数数量。合适的可能相机参数的集合F是所有集合的交集：

F=C_i，j,0∩…∩C_i，j,n （方程式7）

这个集合F中的元素数量越少，越可得以提取图像捕获装置34的实际参数。

由于引入追踪过程的误差，需要统计法以确定每个帧的相机矢量。可利用最优化算法和光束法区域网平差（bundle block adjustment）以缩小对相机运动的可能解的范围。

三维匹配移动工具使得可从二维摄影推断三维信息。能够3D匹配移动的程序包括但不限于：

Voodoo(免费软件;Scenespector VooCAT);

Icarus(曼彻斯特大学);

Maya Live;

The Pixel Farm PFTrack;

PFHoe(基于PFTrack算法);

REAL VIZ MatchMover;

Science.D.Visions 3DEqualizer(其获得奥斯卡技术成就奖);

Andersson Technologies SynthEyes;和

Boujou(其在2002年获得艾美奖)

在本技术的一个实施方案中，通过使用摄影测量过程而实施基于特征的过程36。

摄影测量是从摄影图像确定对象的几何属性的实践。在最简单的实施例中，如果已知图像的比例s，那么位于平行于摄影图像平面的平面上的两点之间的距离可通过测量其在图像上的距离而确定。这通过将所测量的距离乘以1/s而完成。

一种称为立体摄影测量的更复杂的技术涉及估计对象上的点的三维坐标。其通过在从不同定位拍摄的两个或多个摄影图像中进行的测量来确定（参见立体学）。在每个图像上识别公共点。可从相机位置至对象上的所述点构造视线（或光线）。正是这些光线的交点（三角测量）确定了所述点的三维位置。更复杂的算法可利用事先已知的关于场景的其它信息，例如对称性，在一些情况中允许仅从一个相机定位重构3D坐标。

摄影测量的算法通常将问题表达成使误差集合的平方和最小化。这种最小化被称作光束法平差，并且通常使用Levenberg-Marquardt算法（LMA）而执行，其对在函数参数空间内最小化函数（一般是非线性的）的问题提供数值解。这些最小化问题尤其出现在最小二乘曲线拟合和非线性规划中。

Levenberg-Marquardt算法（LMA）在高斯-牛顿算法（GNA）与梯度下降方法之间内插。Levenberg-Marquardt算法（LMA）比高斯-牛顿算法（GNA）更可靠，这意味着在许多情况中，即使其开始时离最终最小值很远，其还是能找到解。

3D坐标定义了3D空间中对象点的位置。图像坐标定义胶片或电子成像装置上的对象点图像的位置。相机的外部方位定义其在空间中的位置和其观看方向。内部方位定义成像过程的几何参数。这主要是镜头的焦距，但也可以包括镜头失真的描述。更多的附加观测起到重要作用：使用比例尺，基本上空间中两点的已知距离或已知固定点，建立与基本测量单位的联系。

摄影测量数据与来自扫描仪的密集范围数据彼此互补。摄影测量在接近平行于图像平面的维度中更准确，而范围数据一般在垂直于图像平面的维度中更准确。这个范围数据可由像激光雷达（LiDAR）、激光扫描仪（使用飞行时间、三角测量或干涉测量）、白光数字化仪的技术和扫描一个区并返回多个离散点（通常称为“点云”）的x,y,z坐标的任何其它技术提供。

可通过在相同参考系中地理参考照片和激光雷达数据来建立3D可视化。接着使用诸如自适应最小二乘立体匹配的技术以产生密集对应数组，其通过相机模型变换以产生x,y,z数据的密集数组。

仍然参考图2，在本技术的一个实施方案中，通过使用基于地理参考图像的过程而实施基于特征的过程36，如图3中所图示。基于地理参考图像的过程36使用“Image-Based Georeferencing”方法，其在由James M.Janky等人在2009年9月14日申请的专利申请案第12/559,322号中公开。标题为“Image-Based Georeferencing”的本原始专利申请案的全部内容并入本文中。

更明确而言，（图3的）图像处理引擎62基本上是一系列计算机程序，其从图像图像捕获装置64取得图像，通过使用图像轮廓器68而在视图中建立对象的轮廓，通过在地理参考对象图像本地数据库66中搜索而搜索类似轮廓，识别相机图像70中的特征，并（通过使用图案识别轮廓匹配过程72）寻找与数据库中的特征的匹配，并且测试看由匹配过程找到的特征是否具有地理参考位置坐标。

仍然参考图3，在本技术的一个实施方案中，如果具有与地理参考坐标的匹配，那么地理参考检索程序74从数据库提取这些坐标，且位置确定器76通过使用基于特征的处理方法，如摄影测量、匹配移动等等而确定图像捕获装置64的位置坐标。请参见上文的讨论。

仍然参考图3，在本技术的一个实施方案中，图像捕获装置64的初始位置可经由方框78以任何精确级键入，例如：（a）经由GNSS接收器；或（b）手动，如对交点使用两个名称；或（c）近似的横坐标/纵坐标。在本技术的这个实施方案中，这种输入图像捕获装置64的初始定位确定的方法可通过径直到所关注的区域而加速搜索过程。

仍然参考图3，在本技术的一个实施方案中，手动定位输入可经由手持装置完成，如Trimble TSC2（Trimble测量控制器型号2）。

仍然参考图3，在本技术的一个实施方案中，图像处理引擎62可被配置成驻留在便携式计算装置中，诸如TSC2数据收集器，或笔记本电脑，或个人数字助理，或苹果iPad。可经由这些装置进行图像捕获装置64的初始（种子）位置的输入。

仍然参考图3，在本技术的一个实施方案中，可利用通信装置80以提供图像捕获装置64的种子（初始）位置。

在本技术的一个实施方案中，可使用无线系统，包括Wi-Fi、蜂窝、ZigBee或类似系统来将通信装置80与外部数据库连接。

在本技术的一个实施方案中，远程通用地理参考对象图像数据库82代表适当填充的数据库，其中本地对象，诸如建筑屋顶边角、前门、窗台、路牌、消防栓，等等，几乎地面上的一切都被地理定位，且具有来自某个任意有利点的图像。

因此，远程通用地理参考对象图像数据库82可用于输入图像捕获装置64的种子位置。

如果是这种情况，那么可从远程通用地理参考对象图像数据库82下载对于本地存储地理参考对象图像数据库66的更本地化更新。使用图案识别轮廓匹配程序72中的特征，可执行图像旋转和平移作为搜索与本地捕获的图像的匹配的一部分。

在本技术的一个实施方案中，更明确而言，如果通过使用来自GPS/GNSS接收器的GPS定位或从其它器件获得的位置信息而获得种子定位，那么其可通过使用可交换图像文件格式（Exif）而与相机图像组合。Exif是数码相机所使用的图像文件格式的一种规范。所述规范使用现有JPEG，TIFF Rev.6.0和RIFF WAV文件格式，添加了特定元数据标签。

在本技术的一个实施方案中，其中通过使用来自GPS/GNSS接收器的GPS定位而获得种子定位，种子定位的准确度完全取决于GPS接收器的复杂性和性能水平。在配有相机的手机中使用的简单的GPS芯片组接收器在地球上任何位置提供以4至7米数量级的绝对准确度。

另一方面，更复杂的接收器利用可极大地改进准确度的多种校正技术。例如，由美国联邦航空管理局提供的广域增强服务从2个同步卫星以与GPS信号相同的频率发送信号（其具有特殊代码）并且在全国范围内将准确度改进至约1米。其它差异化服务提供至约20cm的改进。最后，实时动态测量方法与虚拟参考站服务可相对于已知参考点提供至约2cm至5cm的准确度。

在本技术的一个实施方案中，仍然参考图3，将相机图像提供至便携式图像处理引擎62，以与使用简单GPS接收器的完成情况相比更准确地确定相机定位。相机图像实时提供，或可根据同时待审的申请案“Image-Based Georeferencing”中解释的原理后期处理。

在本技术的一个实施方案中，仍然参考图3，便携式图像处理引擎62提供有本地地理参考对象图像数据库66，其含有建筑物和其它对象的图像，以及数据库中识别的地理参考特征。所述地理参考数据可由经度、纬度和海拔信息组成，或可按照从本地参考点的“向北和向东”存储，诸如由美国地质调查局安装和维护的测量标记。也可以使用其它坐标系。

在本技术的一个实施方案中，本地地理参考对象图像数据库66通过启用适当标签而被配置成可搜索的。

在本技术的一个实施方案中，可通过使用谷歌街景视图或类似类型的服务而实施本地地理参考对象图像数据库66。本地地理参考对象图像数据库66将位置信息与经度/纬度坐标中的位置标签关联，所述经度/纬度坐标与图片的每个部分相关联，因此启用了搜索引擎。因此，用户可基于其地址或基于其在经度/纬度坐标中的位置而找到街景视图的图像。街道十字路口也可用于搜索。

在本技术的一个实施方案中，可通过使用地理参考对象图像而实施本地地理参考对象图像数据库66。地理参考对象图像数据库含有多个涉及建筑物特征和边缘、停车标志、路牌、消防栓和类似物的精确定位数据。地理参考对象图像数据库还包括配有适当分析软件的图像处理引擎，所述分析软件被配置来从给定对象上的已知特征定位推导至可能在捕获用户的图像中的特征。可通过使用内插法执行这种推导，其利用适当几何变换以调整图像并寻找从已知地理参考特征至未知但更适当特征的几何关系（距离和方向）。

在本技术的一个实施方案中，通过使用摄影测量方法而完成从图像中的数据确定相机定位，且在本领域中是熟知的。请参见上文的讨论。

在本技术的一个实施方案中，可从处理与捕获的图像中所关注的对象相关的地理参考数据而找到执行摄影测量解决方案所需的距离比例因数。两个或多个点的地理参考数据立即使得能够通过使用熟知公式简单地计算两个选定点之间的三维距离而建立距离比例因数：

距离=√((x1-x2)²+(y1-y2)²+(z1-z2)²), （方程式8）

其中x,y和z是与所关注对象相关的点的地理参考坐标。

在本技术的一个实施方案中，图像处理引擎（图3的62）提供现成的摄影测量图像处理算法，其接着能够基于使用所捕获图像中的选定参考点而计算相机位置。选择过程利用在所捕获图像中寻找边缘（两条线的交点）或角的搜索程序。自动选择具有最尖锐的角或点的边缘或角。如果选定的边缘/角与地理参考数据点不相关，那么内插算法用于估计所选定点的地理参考数据（请参见上文的讨论）。

在本技术的一个实施方案中，所捕获图像中的选定参考点接着用于计算相机64的定位。如果选定三个或多个点，那么计算过程通过一系列步骤进行以直接计算所述定位。

经由选定参考点之间的可计算距离，按照其地理参考位置数据而确定比例因数。按照以米或英尺计的物理距离，或在地表的对向角而找到比例因数。

接着，如图4中所示，确定前两个地理参考点之间的角度。更明确而言，图4图示摄影测量方法以从2个点P₁96与P₂98之间的已知距离D1101（比例因数），和至对向角的像素转换而找到至相机92的距离106。在几何上，由弧所对的角度是其两条射线经过所述弧的端点的角度。

在数码相机92中，这通过测量两点P₁96与P₂98之间的距离，且接着取该数值对相机视场中像素100的总数的比而完成。使用一半的这个角度A 102，和2个地理参考点之间的一半距离1/2D 104而计算从2个选定地理参考点之间的线的中点107至相机入射光瞳94的距离106，因为两个选定点之间的半角的正切是由与相机的距离对一种类型的问题解的两个点之间的已知距离的一半的比而给出。

Tan(A)=D₁/2D₂ （方程式9）

在本技术的一个实施方案中，可实行从连接所捕获图像中的对象上的任何两个地理参考点的线的中点确定更多距离估计的这个过程。现在，也可以按照地理参考坐标系而计算任何两个已知地理参考点之间的中点。

刚才描述的距离不是确定相机定位所需的距离。但是使用这个信息，针对一种类型的问题解，作为从点P₁96至相机入射光瞳94的实际距离的斜边（长边）108（和作为从点P₂98至相机入射光瞳94的实际距离的斜边110）可计算如下：

距离(P1-相机)=1/2D.sin(A)；（方程式10）

其中1/2D是P₁与P₂之间的一半距离，且A是两个点P₁和P₂的总角位移的半角。

在本技术的一个实施方案中，仍然参考图4，作为对理解接下来步骤的帮助，地理参考点P₁96和P₂98现在用作球体的中心，且从每个点至相机入射光瞳94的距离提供每个球体的半径。因此，用三个已知地理参考点的最小值，三条线与三个点提供表示至相机的距离的三个方程式。即，三个球体将将在相机入射光瞳处相交，存在一些误差。现在这个相交位置的解（三个未知量的三个方程式）给出了入射光瞳的地理参考点。这是所谓的三角测量法。

在本技术的一个实施方案中，如果具有多于三个已知点，那么方程组是超定的。大多数摄影测量程序使用多得多的点以帮助减小误差。

最小二乘法是针对超定方程组（即，其中方程式比未知量更多的方程组）的近似解的标准法。“最小二乘”意味着整个解使在解每个单个方程式时造成的误差的平方和最小化。

最重要的应用是数据拟合。最小二乘意义上的最佳拟合使残差平方和最小化，残差是所观测的值与由模型提供的值之间的差。最小二乘问题取决于所有未知量中的残差是否为线性而分为两类，线性最小二乘和非线性最小二乘。线性最小二乘问题出现在统计回归分析中；其具有封闭形式解。非线性问题没有封闭解，且通常通过迭代加细而求解；在每次迭代时，方程组由线性方程组近似，因此在两种情况中，核心计算是类似的。如果实验误差具有正态分布，那么最小二乘对应于最大似然准则，并且也可以衍生为矩估计法。另外，通过对似然迭代地应用局部二次逼近，最小二乘法可用于拟合广义线性模型。

具有许多执行上文步骤的可用摄影测量程序。此外，也考虑确定两个拍照相机相对于地理参考点的确切方位的过程，以补偿线系中存在倾斜的事实。具有多个参考点或来自两个不同相机位置的至少两个图像，提供充分数据以确定相机定位。

在用户选择拍摄多张含有所关注对象的场景图片的情况中，附加处理也随时可用于处理这些其它主要情况。这个过程可经由被称作“光束法平差”的方法一次全部完成。

给出从不同视角描绘许多3D点的图像，根据涉及所有点的对应图像投影的最优性准则，光束法平差可定义为同时细化描述场景几何以及用于获取图像的相机的相对运动和光学特性的参数的3D坐标的问题。

光束法平差几乎总是用作每个基于特征的3D重构算法的最后步骤。其相当于是有关3D结构和观看参数（即，相机姿势和可能的内部校准和径向失真）的最优化问题，以获得在关于有关于所观测到的图像特征的噪声的某些假设情况下是最优的重构。

如果图像误差是零均值高斯，那么光束法平差是最大似然估计。其名称指源自每个3D特征且会聚于每个相机的光学中心的光线“束”，其相对于结构和观看参数两者而最优调整。

在光束法平差过程期间，所观测到的图像位置与预测图像点之间的重投影误差被最小化，其表达为大量非线性、实值函数的平方和。因此，使用非线性最小二乘算法实现最小化。通过使在当前估计的附近将被最小化的函数迭代地线性化，Levenberg-Marquardt算法涉及被称作正规方程的线性方程组的解。当解决光束法平差的框架中引起的最小化问题时，由于不同3D点和相机的参数之间缺乏相互作用，因此正规方程具有稀疏分组结构。这可通过利用Levenberg-Marquardt算法的稀疏变量而用于获取计算上的益处，其明确利用正规方程的零模式，避免有关零元素的存储和操作。

在本技术的一个实施方案中，图5图示了描述通过使用地理参考对象图像数据库66和（图3的）图像处理引擎62实施（图2的）基于特征的过程36的步骤的流程图120。

更明确而言在一个实施方案中，在步骤124，图像处理引擎62可用与预期位置区域有关的数据集初始化（图3的）。接着，在步骤126，图像捕获装置64捕获所关注区域中所关注对象的至少一个图像，且（在步骤128）将至少一个所关注的捕获图像提供至（图3的）图像处理引擎62。执行图案匹配过程（步骤130）以寻找捕获图像中的对象与地理参考对象图像数据库66中的对象的轮廓之间的匹配。在所关注对象的捕获图像中的至少一个特征被识别之后（步骤132），在地理参考对象图像数据库66中对所捕获图像中的选定特征与数据库66中的地理参考特征之间的匹配执行搜索（步骤134）。对选定数量的特征匹配重复搜索过程（步骤136）。在步骤138，应用摄影测量图像处理算法以在从地理参考对象图像数据库导出的地理参考坐标系中确定相机入射光瞳定位的位置（图4的94）。视需要，（步骤140），此外，初始化图像处理引擎的步骤124还包括输入由街道地址、两条街的交叉口、地标或地理参考数据定义的本地参考定位。

在本技术的一个实施方案中，图6示出基于图像的定位装置150，其包括安装在杆154上的GNSS接收器152，其中相机156安装在相同杆154上。其也示出GIS/测量数据控制器162，如TSC2。

在本技术的一个实施方案中，图7图示了被配置来启用图3的图像处理引擎62的计算机系统170。硬件部分包括处理器172、计算机可用非易失性存储器（ROM）174、计算机可用易失性存储器176、数据存储单元178、总线180、图像数据库管理系统（IDMS）182、显示装置183、字母数字输入184、光标控制186、I/O装置188和周边计算机可读存储媒体190。软件模块192包括操作系统194、应用程序196、模块198和数据模块200。这仅仅意在作为这种计算机系统的实施例。不包括所有列出的组件，或其包括没有列出的部分的实际计算机系统仍然可以适于启用图像处理引擎。

III．包括双重对象追踪过程的基于图像的定位设备

在本技术的一个实施方案中，图8示出包括双重特征追踪过程212的基于图像的定位设备210。可通过使用通用处理器或通过使用专用处理器（ASIC、FPGA、PLD等等）而实施过程212。

在本技术的一个实施方案中，基于图像的定位设备210还包括安装在平台211上的至少两个图像捕获装置214和216（第三装置218是选用的）。

在本技术的一个实施方案中，图像捕获装置214和216具有重叠视场。

在本技术的一个实施方案中，图像捕获装置214和216具有不重叠视场。

在本技术的一个实施方案中，平台211包括移动站。

在本技术的一个实施方案中，平台211包括移动站RTK系统。

在本技术的一个实施方案中，平台211包括GIS/地图创建手持设备。

在本技术的一个实施方案中，每个图像捕获装置214和216（和选用的218）被配置来捕获包括在平台211的第一定位处和平台211的第二定位处的至少一个特征的图像。

在本技术的一个实施方案中，基于图像的定位设备210还包括同步模块226，其被配置来同步第一图像捕获装置214和第二图像捕获装置216（和选用的第三图像捕获装置218）。请参见下文的讨论。

在本技术的一个实施方案中，通过使用由控制器（没有示出）产生的控制信号而实施同步模块226。

在本技术的一个实施方案中，基于图像的定位设备210还包括定位过程220，其选自由以下项组成的组：GNSS过程；图像匹配摄影测量过程；基于地理参考图像的过程；匹配移动过程；表面追踪过程；和SLAM过程。

GNSS过程；图像匹配摄影测量过程；基于地理参考图像的过程；匹配移动过程；表面追踪过程；和SLAM过程的操作在上文给出的讨论中详细公开。定位过程220被配置来获得平台211的定位。

在本技术的一个实施方案中，基于双重特征的过程212被配置来处理在平台211的第一定位和第二定位处获得的每个图像，以提取至少两个特征的追踪数据集。基于双重特征的过程212也被配置来通过使用对于每至少两个捕获的特征而获得的追踪数据集而确定平台212的第二定位的位置。

在本技术的一个实施方案中，过程212也被配置来由第三图像捕获装置218处理包括在平台211的第一定位和第二定位处获得的至少一个特征的图像，以提取对于至少一个捕获特征的追踪数据集。在本技术的这个实施方案中，过程212也被配置来通过使用对于每至少一个捕获特征而获得的追踪数据集而确定平台212的第二定位的位置。

在本技术的一个实施方案中，基于图像的定位设备210还包括卡尔曼滤波器222。卡尔曼滤波器222被配置来通过将作为第一噪声测量值的至少一个第一捕获特征的追踪数据集和作为第二噪声测量值的至少一个第二捕获特征的追踪数据集组合而获得平台211的第二定位的卡尔曼估计。视需要，卡尔曼滤波器222被配置来通过将作为第一噪声测量值的至少一个第一捕获特征的追踪数据集、作为第二噪声测量值的至少一个第二捕获特征的追踪数据集和作为第三噪声测量值的至少一个第三捕获特征的追踪数据集组合而获得平台211的第二定位的卡尔曼估计。

在本技术的一个实施方案中，基于图像的定位设备210还包括外部存储器模块224，其被配置来存储平台的基于至少一个特征的三维（3D）定位坐标，以进一步处理。

在本技术的一个实施方案中，基于图像的定位设备210还包括无线调制解调器228，其被配置来对外部存储器模块224提供远程互联网访问。

IV.包括双重对象追踪过程的基于图像的定位设备的操作模式

A．同步操作

在本技术的一个实施方案中，图8的基于图像的定位设备210的同步操作包括通过使用第一图像捕获装置214在平台211的第一定位处捕获第一图像（第一-第一图像），其中所述第一-第一图像包括至少一个第一对象。

在本技术的一个实施方案中，通过使用（图8的）定位过程220而确定平台211的定位，所述定位过程220选自由以下项组成的组：GNSS过程；表面追踪过程；基于特征的过程；和基于地理参考图像的过程。

在本技术的一个实施方案中，预先确定平台211的定位。

接着，通过使用第一图像捕获装置214在平台211的第二定位处捕获第二图像（第二-第一图像），其中所述第二-第一图像包括至少一个相同第一捕获对象。

通过使用过程212以锁定和追踪至少一个第一捕获对象的位置而处理第一-第一图像和第二-第一图像。过程212被配置来从处理提供第一捕获对象的追踪数据集的第一-第一集和第二-第一图像而获得对于至少一个第一捕获对象的二维定位集。

在本技术的一个实施方案中，追踪算法可用于锁定至少一个捕获的第一对象，并通过一系列多个帧而跟踪所述锁定的第一对象。请参见上文的讨论和方程式（1至7）。

类似地，通过使用（图8的）第二图像捕获装置216而在平台211的第一定位处捕获第一图像（第一-第二图像），其中所述第一-第二图像包括至少一个第二对象。

在本技术的一个实施方案中，同步模块226可用于同步（图8的）第一图像捕获装置214和（图8的）第二图像捕获装置216的操作，使得两个装置同时捕获（分别）位于每个装置的对应FOV中的第一对象和第二对象，其中平台211位于相同定位处。

通过使用（图8的）第二图像捕获装置216而在平台211的第二定位处捕获第二图像（第二-第二图像）；其中所述第二-第二图像包括至少一个相同的第二捕获对象。

在本技术的一个实施方案中，同步模块226可用于同步（图8的）第一图像捕获装置214和（图8的）第二图像捕获装置216的操作，使得两个装置同时捕获（分别）位于每个装置的对应FOV中的第一对象和第二对象，其中平台211位于相同的第二定位处。

通过使用过程212追踪至少一个第二捕获对象的位置而处理第一-第二图像和第二-第二图像。过程212被配置来从处理提供第二捕获对象的追踪数据集的第一-第二集和第二-第二图像而获得对于至少一个第二捕获对象的二维定位集。

在本技术的一个实施方案中，追踪算法可用于追踪至少一个捕获的第二对象，并通过一系列多个帧而跟踪第一特征。请参见上文的讨论和方程式（1至7）。

通过使用至少一个第一对象的追踪数据集和至少一个第二对象的追踪数据集而由双重特征过程212确定平台211的位置。

更明确而言，在本技术的一个实施方案中，过程212对至少一个第一捕获对象的二维（2D）追踪数据集应用反投影函数以解平台211的定位的三维（3D）坐标集。

更明确而言，在本技术的一个实施方案中，过程212对至少一个第二捕获对象的二维（2D）追踪数据集应用反投影函数以解平台211的定位的三维（3D）坐标集。请参见上文的讨论和方程式（1至7）。

在本技术的一个实施方案中，将第一权重分配给至少一个第一捕获对象的追踪数据集，且将第二权重分配给至少一个第二捕获对象的追踪数据集。在本技术的这个实施方案中，由过程212通过使用至少一个第一捕获对象的加权追踪数据集和至少一个第二捕获对象的加权追踪数据集而完成平台211的定位的位置确定。

在本技术的一个实施方案中，卡尔曼滤波器222用于通过将作为第一噪声测量值的至少一个第一捕获对象的追踪数据集和作为第二噪声测量值的至少一个第二捕获对象的追踪数据集组合而获得平台211的定位的卡尔曼估计。

B.异步操作

在本技术的一个实施方案中，图8的基于图像的定位设备210的异步操作是基于第一图像捕获装置214和第二图像捕获装置216在不同时间（非同步）捕获对应图像。

在本技术的一个实施方案中，图8的基于图像的定位设备210的异步操作包括以下步骤：通过使用第一图像捕获装置214在平台211的第一定位处捕获第一图像（第一-第一图像）；其中所述第一-第一图像包括至少一个第一对象；通过使用第一图像捕获装置214在平台211的第二定位处捕获第二图像（第二-第一图像）；其中所述第二-第一图像包括至少一个捕获的第一对象；处理所述第一-第一图像和所述第二-第一图像以追踪至少一个捕获的第一对象的位置；其中从处理提供捕获的第一对象的追踪数据集的第一-第一图像和第二-第一图像而获得对于至少一个捕获的第一对象的二维定位集。

在本技术的一个实施方案中，图8的基于图像的定位设备210的异步操作还包括以下步骤：通过使用第二图像捕获装置216在平台211的第三定位处捕获第一图像（第一-第二图像）；其中所述第一-第二图像包括至少一个第二对象；通过使用第二图像捕获装置216在平台211的第四定位处捕获第二图像（第二-第二图像）；其中所述第二-第二图像包括至少一个第二捕获对象；处理所述第一-第二图像和所述第二-第二图像以追踪至少一个第二对象的位置；其中从处理提供第二对象的追踪数据集的第一-第二图像和第二-第二图像而获得对于至少一个第二捕获对象的二维定位集。

在本技术的一个实施方案中，图8的基于图像的定位设备210的异步操作还包括通过使用至少一个第一捕获对象的追踪数据集而确定平台211的定位。在本技术的这个实施方案中，可通过定位过程220确定平台211的定位。

在本技术的一个实施方案中，图8的基于图像的定位设备210的异步操作还通过使用至少一个第二捕获对象的追踪数据集而确定平台211的第四定位的位置。在本技术的这个实施方案中，可由定位过程220确定平台211的另一定位。

在本技术的这个“异步”实施方案中，可在实际上没有由装置214和216捕获任何新图像的情况下通过执行平台211的先前定位的线性内插而获得平台211的另一定位。

进一步举例而言，移动平台211可简单地进入“暗”区，此处第一图像捕获装置214和第二图像捕获装置216两者不接收产生可用图像的充分光。因此，可在实际上没有由装置214和216捕获所述“暗”区中的任何新图像的情况下，通过执行平台211的前面两个（进入“暗”区）定位的线性内插而获得移动平台211在这个暗区中的至少一个定位（通过使用装置214和216两者而获得）。内插可简单依赖于可用定位之间的线的时间分割，或其可整合已知关于速度、加速度和运动的更高阶导数的信息以及方位和旋转信息。用于内插的信息可从双重特征过程212或定位过程220导出。

V．包括对象和表面追踪过程的基于图像的定位设备

在本技术的一个实施方案中，图9图示包括特征和表面追踪过程270的基于图像的定位设备260。可通过使用通用处理器，或通过使用专用处理器（ASIC、FPGA、PLD等等）而实施过程270。

在本技术的一个实施方案中，过程270包括两个子过程：被配置来执行表面追踪处理的子过程270-1（请参见下文的讨论），和被配置来执行特征追踪处理的子过程270-2（请参见上文的讨论）。

在本技术的一个实施方案中，基于图像的定位设备210还包括安装在平台262上的两个图像捕获装置264和266。在本技术的一个实施方案中，两个图像捕获装置的视场重叠。在本技术的一个实施方案中，两个图像捕获装置的视场不重叠。

在本技术的一个实施方案中，平台262包括移动站。

在本技术的一个实施方案中，平台262包括移动站RTK系统。

在本技术的一个实施方案中，平台262包括GIS/地图创建手持设备。

在本技术的一个实施方案中，第一图像捕获装置264被配置来在平台262的第一定位处捕获表面的图像。

在本技术的一个实施方案中，所述表面可选自由以下项组成的组：地表面；顶表面；侧表面；和以任意角倾斜的表面或类似表面。

在本技术的一个实施方案中，基于图像的定位设备260还包括范围测量装置280，其被配置来获得选定表面的深度数据集。

在本技术的一个实施方案中，范围测量装置280可选自由以下项组成的组：点激光束；声纳；雷达；激光扫描仪；和深度相机或类似物。

可通过使用可持续照射激光的蓝色固态激光器、红色二极管激光器、IR激光器，或脉冲激光器，或测序激光器或类似装置而实施点激光束范围测量装置280。

可通过使用包括声音发射器和接收器的主动声纳而实施声纳范围测量装置280。

可通过使用发射器而实施雷达范围测量装置280，所述发射器发射由表面反射且由通常在与发射器相同的位置中的接收器检测的微波或无线电波。

可通过使用可捕获具有深度信息的视频的摄像机而实施深度相机。

这个相机具有能够使用叫做飞行时间的原理而测量每个所捕获像素的深度的传感器。其通过发射脉冲光（通常是红外线）至场景中的所有对象，并感测从每个对象表面反射的光而得到3D信息。通过计算光线在其离开源并由表面上的对象反射时的飞行时间而测量深度。往返时间使用熟知的光速而被转换成距离信息。

仍然参考图9，在本技术的一个实施方案中，第二图像捕获装置266被配置来捕获包括在平台262的第一定位和第二定位处的至少一个对象的图像。

在本技术的一个实施方案中，基于图像的定位设备260还包括同步模块268，其被配置来同步第一图像捕获装置264和第二图像捕获装置266。

在本技术的一个实施方案中，通过使用由控制器产生的控制信号而实施同步模块266。

在本技术的一个实施方案中，基于图像的定位设备260还包括定位过程274，其可选自由以下项组成的组：GNSS过程；图像匹配摄影测量过程；基于地理参考图像的过程；SLAM过程；匹配移动过程；表面追踪过程；或类似装置。GNSS过程；图像匹配摄影测量过程；基于地理参考图像的过程；SLAM过程；匹配移动过程；表面追踪过程的操作在上文给出的讨论中详细公开。定位过程274被配置来获得平台262的定位。

在本技术的一个实施方案中，表面追踪子过程270-1被配置来处理由第一图像捕获装置264在平台262的第一定位处获得的选定表面的图像。

表面追踪的方法和设备在由Hongbo Teng，Gregory C.Best和Sy BorWang的专利申请案第12/459,843号“IMAGE-BASED TRACKING”中公开，该案的全部内容并入本文中。

更明确而言，仍然参考图9，根据美国专利申请案“IMAGE-BASEDTRACKING”，图像捕获装置264被配置来执行选定表面的图像捕获，且范围测量装置280被配置来获得选定表面上的深度数据集。通过使用被配置来通过使用图像处理算法282而分析图像的表面追踪过程270-1而执行平台262的追踪。

在本技术的一个实施方案中，图像处理算法282假设全局刚性运动。通过用图像捕获装置264的六个自由度而使全局光学流参数化，可通过解非线性最小二乘问题而找到两个连续帧之间的最优全局变换。

在本技术的一个实施方案中，图像处理算法282通过使用帧函数而匹配像素的光学属性。

在本技术的一个实施方案中，在深度信息可获得的情况下，图像处理算法282通过重新定义帧函数而匹配两个帧的深度（而不是像素的光学属性）。

在本技术的一个实施方案中，可通过匹配像素光学属性和深度信息的组合而改进图像处理算法282。如在下文完全地公开，这可通过使用组合的成本函数，或用另一过程帮助一个过程而完成。

在本技术的一个实施方案中，图像处理算法282利用若干个坐标系：静止参考系；附至图像捕获装置264的参考系；和图像捕获装置的传感器平面上的2D参考系。

在静止参考系中，表面上的点具有坐标x=(x,y,z)，图像捕获装置264通过6个矢量描述，其包括对于每个第i帧的装置的定位坐标x_ci=(x_ci,y_ci,z_ci)和装置的方位坐标（ψ_i,θ_i,φ_i）（偏转，俯仰和侧倾）。

在附至图像捕获装置264的参考系中，表面上的相同点具有相对于图像捕获装置264的坐标x_i=(x_i,y_i,z_i)。

在附至图像捕获装置的传感器平面32的2D参考系中，第i帧中的点的2D像素坐标是：u_i=(u_i,v_i)。

静止3D坐标系与图像捕获装置所附的3D坐标系之间的关系如下：

x_i=(x-x_ci)R_i，（方程式11）

其中

（方程式12）

是两个坐标系之间的旋转矩阵。

图像捕获装置所附的3D坐标与2D像素坐标之间的关系取决于图像捕获装置264的映射函数m。映射函数采用第i帧的图像捕获装置所附的坐标系中的3D坐标x_i，并映射至第i帧的2D像素坐标中：

u_i=m(x_i). （方程式13）

映射函数的形成取决于镜头的类型。在本技术的一个实施方案中，其中镜头包括常规直线性镜头（在倒置针孔型号），可从以下方程式导出映射函数m：

u_{i} = \frac{f}{S_{u}} \frac{x_{i}}{z_{i}} - u_{0}

v_{i} = \frac{f}{S_{v}} \frac{y_{i}}{z_{i}} - v_{0};

（方程式14）

其中f是图像捕获装置264的焦距，S_u,S_v是像素宽度和高度。u₀,v₀是光学中心与传感器中心之间的偏移。

在本技术的一个实施方案中，其中镜头16包括正投影鱼眼镜头，可从以下方程式导出映射函数m：

u_{i} = \frac{f}{S_{u}} \frac{x_{i}}{r} - u_{0}

v_{i} = \frac{f}{S_{v}} \frac{y_{i}}{r} - v_{0};

（方程式15）

其中r是点与光学中心之间的距离

在本技术的一个实施方案中，映射函数m可被校准并以数值形式存储。

为找出映射函数的反函数：

x_i＝m^-1(u_i)，（方程式16）

需要知道对象点的深度。

在本技术的一个实施方案中，场景对象点的深度作为每个帧中的像素位置的函数z_i=z_i(u_i)而获得。在图像捕获装置所附的3D参考系中进行这些测量。

在表面上的相同点在两帧中产生相同强度的两个像素的假设的基础上建立两个连续帧f_i与f_j之间的关系。

即，如果u_i和u_j是相同对象点的f_i和f_j中的像素位置，那么f_i(u_i)=f_j(u_j)。此处f_i(u_i)指在帧f_i中处于u_i的像素强度。在这个假设下，两帧之间的关系纯粹是源自图像捕获装置的运动的几何变换。

可由

和δR_i->j表示图像捕获装置从f_i至f_j的运动，其是帧之间的相对移位和旋转，或

其是具有六个自由度的6个矢量。如果已知图像捕获装置在帧f_i的定位和姿态，那么解从f_i至f_j的这个相对运动给我们在帧f_j处的定位和姿态。在下文中尽可能去掉下标i->j。

在帧f_i的参考系中具有坐标x_i的相同对象点在帧f_j的参考系中具有坐标x_j，且：

x_j＝(x_i-δx_c)δR (方程式17)

因此在2D像素坐标系中，u_i与u_j之间的关系如下：

u_{i} \overset{m^{- 1}}{&RightArrow;} x_{i} \overset{ξ}{&RightArrow;} x_{j} \overset{m}{&RightArrow;} u_{j}

(方程式18)

其中m是映射函数。或简单地为

u_j＝δP(u_i) (方程式19)

其中δP＝moξom^-1表示三个操作的组合。

现在的任务是找出最优ξ，使得成本函数

∫|f_i(u)-f_j(δP(u))|²du (方程式20)

被最小化。这是精心研究过的非线性最小二乘问题。解它通常涉及线性逼近和迭代。不同线性逼近得到不同的收敛方法，诸如高斯一牛顿、最陡下降、Levenberg-Marquar下降等等。

在本技术的一个实施方案中，仍然参考图9，第二图像捕获装置266被配置来捕获包括在平台262的第一定位和第二定位处的至少一个对象的图像。

在本技术的一个实施方案中，特征追踪子过程270—2被配置来处理由第二图像捕获装置266在平台262的第一定位和第二定位处获得的每个图像，并被配置来提取至少一个捕获对象的追踪数据集。

在本技术的一个实施方案中，仍然参考图9，特征追踪子过程270-2也被配置来通过使用对于至少一个捕获对象所获得的追踪数据集而确定平台262的定位的位置。

在本技术的一个实施方案中，仍然参考图9，基于图像的定位设备260还包括卡尔曼滤波器272。卡尔曼滤波器272被配置来通过将作为第一噪声测量值的平台262的第二定位的基于表面追踪的坐标与作为第二噪声测量值的平台262的第二定位的基于特征的坐标组合而获得平台262的定位的卡尔曼估计。

在本技术的一个实施方案中，基于图像的定位设备260还包括被配置来存储平台262的至少一个基于表面追踪和特征的三维（3D）定位坐标以供进一步处理的外部存储器模块276。

在本技术的一个实施方案中，基于图像的定位设备260还包括无线调制解调器278，其被配置来对外部存储器模块276提供远程互联网访问。

VI．包括对象和表面追踪过程的基于图像的定位设备的操作。

在本技术的一个实施方案中，仍然参考图9，基于图像的定位设备260的操作包括特征和表面追踪过程270，其包括以下步骤。

通过使用第一图像捕获装置264而在平台262的第一定位处捕获选定表面的图像。通过使用范围测量装置280而计算选定表面的深度数据集。通过使用图像处理算法282而执行将捕获图像数据集和选定表面深度数据集刚性全局变换至6个坐标数据集；其中6个坐标数据集表示平台262的移动。通过使用图像处理算法282而处理6个坐标数据集以获得平台262的定位的位置。

在本技术的一个实施方案中，仍然参考图9，基于图像的定位设备260的操作包括特征和表面追踪过程270，其进一步包括以下步骤。

通过使用第二图像捕获装置266而在平台262的第一定位处捕获第一图像；其中所述第一图像包括至少一个对象。通过使用第二图像捕获装置266而在平台262的第二定位处捕获第二图像；其中所述第二图像包括至少一个捕获对象。

第一图像和第二图像被处理以追踪至少一个捕获对象的位置；其中从处理的第一图像和第二图像而获得对于至少一个捕获对象的二维定位集，提供所捕获对象的追踪数据集。请参见方程式（1至7）。

通过使用至少一个捕获对象的追踪数据集而确定平台262的第二定位的位置。请参见方程式（1至7）。

最后，通过将平台262的定位的基于表面追踪的坐标和平台262的定位的基于特征的坐标组合而确定平台262的定位。

在本技术的一个实施方案中，仍然参考图9，卡尔曼滤波器272用于通过将作为第一噪声测量值的平台262的定位的基于表面追踪的坐标与作为第二噪声测量值的平台262的定位的基于特征的坐标组合而获得平台262的定位的卡尔曼估计。

在本技术的一个实施方案中，作为组合两个位置估计以提出对于平台改进的位置估计的替代，原始对象追踪数据和原始表面追踪数据可在共同估计器中组合，且可获得平台位置的单个估计。方法包括使用来自任何估计方法（诸如SLAM、移动匹配、表面追踪或摄影测量）的元素。可利用卡尔曼滤波器以与最小二乘解决方案可利用的相同的方式进行估计。

上文的讨论已阐述各种示例性系统和装置的操作，以及有关于操作这些系统和装置的示例性方法的各种实施方案。在各种实施方案中，在计算机可读和计算机可执行指令的控制下通过过程实行方法的一个或多个步骤的实施。因此，在一些实施方案中，这些方法经由计算机实施。

在一个实施方案中，计算机可读和计算机可执行指令可驻留在计算机可用/可读媒体上。

因此，可使用计算机可执行指令（诸如由计算机执行的程序模块）而控制或实施各种实施方案的一个或多个操作。一般而言，程序模块包括例程、程序、对象、组件、数据结构等等，其执行特定任务或实施特定抽象数据类型。此外，本技术也可以在分布式计算环境中实践，其中任务通过透过通信网络链接的远程处理装置执行。在分布式计算环境中，程序模块可位于本地和远程计算机存储媒体中，包括存储器存储装置。

虽然在本文中公开了实施示例性方法的特定步骤，但是这些步骤是可根据各种示例性实施方案执行的步骤实施例。即，本文中公开的实施方案非常适于执行所叙述的各种其它步骤或步骤变动。此外，本文中公开的步骤可以与所呈现的不同的顺序执行，且在特定实施方案中不必执行所有所述步骤。

虽然在本文中讨论了各种基于电子和软件的系统，但是这些系统仅是可被利用的环境的实施例，且并不旨在暗示对本技术的使用或功能范畴的任何限制。这些系统也不应诠释为对所公开实施例中图示的组件或功能的任何一个或组合具有任何依赖性或联系。

虽然已经用结构特征和/或方法行为的专门语言描述了主题，但是随附权利要求中定义的主题不一定限于上文所述的特定特征或行为。相反，上文所述的特定特征和行为作为实施权利要求的示例性形式而公开。

Claims

1.一种基于图像的方法，用于追踪含有至少一个图像捕获装置的平台的位置，该方法包括：

用所述图像捕获装置捕获第一图像；其中所述第一图像包括至少一个对象；

移动所述平台，并用所述图像捕获装置捕获第二图像；其中所述第二图像包括所述至少一个对象；

在所述第一图像中捕获表面的图像；

在所述第二图像中捕获所述表面的第二图像；

使用组合的基于特征的过程和表面追踪过程处理所述对象和所述表面的所述多个图像；和

从所述组合的基于特征的过程和表面追踪过程确定所述平台的所述位置。

2.根据权利要求1所述的方法，其中所述基于特征的过程是基于同时定位与地图创建（SLAM）追踪过程。

3.根据权利要求1所述的方法，其中所述基于特征的过程是基于匹配移动追踪过程。

4.根据权利要求1所述的方法，其中所述基于特征的过程是基于摄影测量追踪过程。

5.根据权利要求1所述的方法，其中由第一图像捕获装置捕获所述对象的所述图像，且由第二图像捕获装置捕获所述表面的所述图像。

6.根据权利要求5所述的方法，其还包括：

同步所述第一图像捕获装置和所述第二图像捕获装置。

7.根据权利要求1所述的方法，其还包括：

所述平台上的GNSS接收器输出所述平台的位置；和

通过组合由所述组合的基于特征的过程和表面追踪过程输出的所述位置和由所述GNSS接收器输出的所述位置而确定所述平台的所述位置。

8.根据权利要求1所述的方法，其还包括：

访问与所述至少一个对象相关的地理参考数据；和

基于所述至少一个对象的所述地理参考数据而确定所述平台的所述位置。

9.一种基于图像的方法，用于追踪含有至少一个图像捕获装置的平台的位置，该方法包括：

使用基于特征的过程处理所述多个图像以追踪所述对象的位置；

基于所述基于特征的过程而输出所述平台的坐标；

在所述第一图像中捕获表面的图像；

在所述第二图像中捕获所述表面的第二图像；

使用表面追踪过程处理所述表面的所述多个图像，以追踪所述表面的位置；

基于所述表面追踪过程而输出所述平台的坐标；和

通过处理由所述基于特征的过程和所述基于表面的过程输出的所述坐标而确定所述平台的所述位置。

10.根据权利要求9所述的方法，其中所述基于特征的过程是基于同时定位与地图创建（SLAM）追踪过程。

11.根据权利要求9所述的方法，其中所述基于特征的过程是基于匹配移动追踪过程。

12.根据权利要求9所述的方法，其中所述基于特征的过程是基于摄影测量追踪过程。

13.根据权利要求9所述的方法，其中由第一图像捕获装置捕获所述对象的所述图像，且由第二图像捕获装置捕获所述表面的所述图像。

14.根据权利要求13所述的方法，其还包括：

同步所述第一图像捕获装置和所述第二图像捕获装置。

15.根据权利要求9所述的方法，其还包括：

所述平台上的GNSS接收器输出所述平台的位置；和

通过组合由所述基于特征的过程、所述基于表面的过程和所述GNSS接收器输出的所述位置而确定所述平台的所述位置。

16.根据权利要求9所述的方法，其还包括：

访问与所述至少一个对象相关的地理参考数据；和

17.一种基于图像的方法，用来估计含有图像捕获装置和GNSS接收器的平台的位置，所述方法包括：

使用GNSS接收器确定所述平台的位置；

在所述图像捕获装置的第一定位处捕获至少一个图像；其中所述第一图像包括至少一个对象；在所述图像捕获装置的第二定位处捕获至少一个图像；其中所述第二图像包括所述至少一个对象；

处理所述多个图像以追踪所述至少一个捕获的对象的位置；其中从处理所述多个图像中获得针对所述至少一个捕获的对象的二维定位集，提供所述至少一个对象的追踪数据集；通过使用所述至少一个对象的所述追踪数据集而确定所述图像捕获装置的位置；

和

通过将所述图像捕获装置的所述位置与由所述GNSS接收器确定的所述位置组合而计算所述平台的新位置。

18.根据权利要求17所述的方法，其还包括：

使用应用于所述至少一个捕获的对象的所述二维（2D）追踪数据集的反投影函数来求解所述图像捕获装置的所述定位的三维（3D）坐标集。

19.根据权利要求17所述的方法，其还包括：

获得至少三个特征的二维（2D）追踪数据集，其中所述至少三个特征的所述二维（2D）追踪数据集被配置来通过使用三角测量法而确定所述图像捕获装置的三维（3D）定位坐标。

20.根据权利要求17所述的方法，其中所述平台选自由以下项组成的组：

GNSS移动站；GNSS移动站RTK系统；和GIS/地图创建手持设备。

21.根据权利要求17所述的方法，其还包括：

所述平台上的第二图像捕获装置；

用所述第二图像捕获装置在所述第一定位处捕获至少一个图像；其中所述第二图像捕获装置的所述第一图像包括至少一个第二对象；

用所述第二图像捕获装置在第二定位处捕获至少一个图像；其中所述第二图像捕获装置的所述第二图像包括所述至少一个第二对象；

处理所述多个图像以追踪所述至少一个第二对象的位置；其中从处理所述多个图像中获得针对所述至少一个第二对象的二维定位集，提供所述至少一个第二对象的追踪数据集；通过使用所述至少一个第二对象的所述追踪数据集而确定所述第二图像捕获装置的位置；

和

通过将所述第二图像捕获装置的所述位置和所述图像捕获装置的所述位置与由所述GNSS接收器确定的所述位置组合而计算所述平台的新位置。

22.根据权利要求21所述的方法，其还包括：

确定所述平台的所述位置的加权的基于特征的坐标。

23.根据权利要求22所述的方法，其还包括：

将第一权重分配给所述至少一个第一对象的追踪数据集；

将第二权重分配给所述至少一个第二对象的追踪数据集；

和

通过使用所述至少一个第一对象的所述加权追踪数据集和所述至少一个第二对象的所述加权追踪数据集而确定所述平台的所述位置的基于特征的坐标。

24.根据权利要求21所述的方法，其还包括：

通过组合作为第一测量值的所述至少一个第一特征的所述追踪数据集和作为第二测量值的所述至少一个第二特征的所述追踪数据集使用卡尔曼滤波器来获得所述平台的所述第二定位的卡尔曼估计。

25.一种基于图像的定位设备，其包括：

图像捕获装置，其被配置来捕获包括至少一个特征和表面的第一图像；所述图像捕获装置被配置来捕获包括所述至少一个特征和所述表面的第二图像；

和

处理器，其被配置来处理每个所述图像；其中所述处理器被配置来通过使用组合的基于特征的过程和表面追踪过程而确定所述平台的位置。

26.一种基于图像的定位设备，其包括：

至少两个图像捕获装置；

每个所述图像捕获装置安装在平台上；所述第一图像捕获装置被配置来捕获包括至少一个特征的图像；所述第一图像捕获装置被配置来捕获包括至少一个特征的第二图像；所述第二图像捕获装置被配置来捕获包括表面的图像；所述第二图像捕获装置被配置来捕获包括所述表面的第二图像；

和