CN102577349B - 基于图像的表面追踪 - Google Patents

Abstract

本发明涉及一种使用图像捕捉装置(12)进行图像追踪的方法。所述方法包括：使用图像捕捉装置执行场景(54)的图像捕捉；通过使用图像处理算法(64)分析一组图像，追踪图像捕捉装置(12)的运动(62)。

Description

基于图像的表面追踪

技术领域

本发明涉及基于图像的导航的领域。

背景技术

在看不清天空的区域，例如隧道或森林中，GPS设备由于难以从GPS卫星接收信号，故而在保持准确定位方面面临着巨大挑战。我们提出一种应用，我们称作“地面追踪”，其可发现图像捕捉装置的3D位置。此图像捕捉装置可以采用任意走向，它捕捉图像并组合使用统计学和图像处理算法，估算其3D轨道。

发明内容

在本节发明内容中，将下文具体实施方式中深入描述的概念选出一部分进行介绍。本节发明内容不是为了标识申请标的物的关键或核心特征，也不是为了协助决定申请标的物的范围。

本发明提供一种图像追踪的方法。所述方法包括：(A)使用图像捕捉装置执行场景的图像捕捉；以及(B)通过分析一组图像，追踪所述图像捕捉装置的运动。

附图说明

作为并入本说明书的一部分，以下附图图解说明了本技术的实施方式，并与具体实施方式一起详细解释了本发明：

图1描绘了如本技术一实施方式的图像追踪装置。

图2是如本技术一实施方式的图像追踪方法的流程图。

图3图解说明了如本技术一实施方式的图像追踪方法的流程图，其中使用测距装置获得场景的深度数据。

图4的图表图解说明了图像捕捉装置的所得：一场景的图像。

图5的图表图解说明了如本技术一实施方式使用图像处理算法算出的图像捕捉装置2D运动。

图6的图表图解说明了如本技术一实施方式使用图像处理算法算出的图像捕捉装置高度运动。

图7的图表图解说明了如本技术一实施方式使用图像处理算法算出的图像捕捉装置的总旋转角(yaw、pitch和roll)。

具体实施方式

附图举例说明了本技术的实施方式，以下将对本技术的实施方式进行详细描述。尽管下文将结合各实施方式描述本技术，应知，它们不应将本技术局限于这些实施方式。相反，本技术应涵盖任何替换、修改和等同方式，只要其不脱离所附权利要求书所定义的各实施方式的精神和范畴。

此外，在以下具体实施方式中，为提供对所呈实施方式的透彻理解而提出了众多具体细节。然而，本领域的一般技术人员显然易知，所呈实施方式无须这些特定细节也可实施。另外，对于熟知的方法、工艺、组件和电路不再详细描述，以免对所呈实施方式造成不必要的混淆。

图1的方块图10图解说明了如本技术一实施方式的图像追踪装置22。

在本技术一实施方式中，图像追踪装置22进一步包括：图像捕捉装置12，其被够设为以软件模式(SW)执行场景20的图像捕捉。图像捕捉装置12进一步包括：存储器24，存储器24上装载有图像处理算法25；以及通用处理器(或数字信号处理器、或图形处理单元等)26，其被构设为通过启动图像处理算法25来分析图像组。

在本技术一实施方式中，图像追踪装置22进一步包括：图像捕捉装置12，其被够设为以硬件模式(HW)执行场景20的图像捕捉。图像捕捉装置12进一步包括：ASIC芯片(或FPGA芯片)27(模拟或数字模式)，其被构设为通过以硬件执行图像处理算法25来分析图像组。

图像捕捉装置12选自以下集合：{数码相机；数码摄像机；数码摄录机；立体数码相机；立体摄像机；电影摄影像机；电视摄像机；以及深度相机}。

在本技术一实施方式中，图像捕捉装置12为不透光的暗盒，在此暗盒中场景20的图像是通过针孔或镜头16形成在传感器感光板32上。另外，数码摄像机和数码相机将图像存储在固态存储器28、或磁性媒体或光碟28中。

动影或电影摄影机以规则间隔在一系列帧中记录运动。电视摄像机或数码摄像机以电子方式记录运动用于播出，并存储在磁性媒体或光碟上。摄录机和摄像机可在一个设备中同时含有图像传感器和图像记录媒体。

除了针孔相机通过极小的孔将图像聚焦于胶片上，其他所有相机都使用镜头16进行聚焦。镜头的焦距，即镜头后端(聚焦于无穷远时)到成像装置之间的距离，决定了视角或视场(FOV)18以及物体出现在成像表面传感器感光板32上的尺寸。通过调整镜头与所述表面之间的距离可将图像聚焦于所述表面上。

在本技术一实施方式中，镜头16进一步包括规则直线性镜头。直线性镜头是直线没有严重弯曲或扭曲的镜头。

在本技术一实施方式中，镜头16进一步包括鱼眼镜头。鱼眼镜头是采集极广的半球图像的广角镜头。鱼眼镜头常用来拍摄宽幅风景。鱼眼镜头通过弃用直线性图像，达到极宽的视角，替之以一种特殊映射(例如等固角)，这种镜头得到的图像将具有典型的凸面外观。

在本技术一实施方式中，镜头16进一步包括用户校准镜头。

在本技术一实施方式中，图像捕捉装置12进一步包括显示器34，显示器34进一步包括光学显示器、液晶显示器(LCD)或屏幕。

在本技术一实施方式中，图像捕捉装置12进一步包括立体数码相机。立体相机是含有两个或更多镜头的相机类型。这样做使相机可以模拟双眼的视觉效果，从而能够捕捉三维图像，即所谓的立体拍摄过程。立体相机可用于制作立体视图和电影用的3D照片，或用于距离成像(range imaging)。位于英国的3D Images Ltd.公司生产一种3D立体数码相机，它是一种全自动的时间同步的立体数码相机。位于加拿大的Point Grey Research Inc.公司生产的双眼镜头或多阵列相机可提供未系统化环境中的全视野3D测量。

物体的图像的基本要素是像素，像素描述单个颜色点或灰阶点。

每个像素包括一系列描述其颜色或亮度的数字。一个像素能声明其颜色的精确程度称为其位元或颜色深度。图像包含的像素越多，其就能描述越多的细节。

由于一个像素仅为信息的一个逻辑单元，故而其不能描述真实世界的维度，除非还声明了其尺寸。术语“每英寸像素数(PPI)”的引入是为了将此理论像素单元与真实世界目视分辨率相关联。

“每英寸像素数(PPI)”是非常直接的术语。它正是表示：图像在水平和垂直方向上的每英寸距离内包含多少像素。

“兆像素”是单位“百万像素”的简称。数码相机可使用兆像素(百万个极小的像素)的传感器阵列来产生图像。当按下相机快门开始曝光时，这些像素的每一个都有一个“光站(photo site)”可存储光子。一旦曝光结束，相机便尝试评估有多少个光子落入其中。继而每个小室中的光子的相对数量被分为不同的亮度级别，其精度由位元深度(8位元图像为0-255)决定。

每个小室不能区分每种颜色落入多少，因此上述描述只能产生灰阶图像。一种提供数字传感器以捕捉颜色信息的方法是：过滤进入每个小室的光，从而使传感器能区分红色(R)、绿色(G)和蓝色(B)光。

在本技术一实施方式中，从场景20上的物点30深度到基于图像的追踪装置22的距离的测定，是使用选自以下集合的测距装置14：{点激光束；声纳；雷达；激光扫描仪；以及深度相机}。

点激光束测距装置14的实施可使用蓝色固态激光仪、红色二极管激光仪、IR激光仪，且可为连续照射激光仪、或脉冲激光仪、或顺序激光仪。

激光扫描仪测距装置14的实施可使用传感器信息网站www.sick.com提供的定位传感器。

例如，可使用型号名称为S10B-9011DA的激光扫描仪，其拥有小巧的外壳和强大的IP 65设计。这种激光扫描仪具有以下数据表单：尺寸：(WxHxD)＝102x152x105mm，270°的扫描角度，以及10米的切换场距(field range)。它具有以下功能：待机模式，7段输入显示，系统内的一体化参数存储器，插入式CANopen接口，以及较低的能量消耗。

声纳测距装置14的实施可使用包括声音发送器和接收器的主动式声纳。

主动式声纳产生声音脉冲(常称作“ping”)，而后倾听脉冲的反射(回声)。声音脉冲通常是使用声纳发射器以电子方式产生，声纳发射器由信号发生器、功率放大器和电/声换能器/阵列、可能还有波束形成器组成。测量场景20的距离时，测量脉冲从发送到接收的时间，并通过知晓声音的速度将其转换为间距。脉冲可以采用固定频率或变化频率的线性调频脉冲(chirp)(从而允许接收后的脉冲压缩)。脉冲压缩可以使用数字关联技术达成。

雷达测距装置14的实施可使用发送器发出微波或无线电波，微波或无线电波由场景20反射，并由接收器探测，所述接收器通常与所述发送器置于一处。

在本技术一实施方式中，图像捕捉装置12进一步包括深度相机，深度相机将物体图像的采集和物体距离的测量结合在一起。

深度相机的实施可使用能同时捕捉视频和深度信息的ZCam摄像机。这种相机的传感器能够使用一种称为飞行时间(Time-Of-Flight)的原理，测量每个所捕捉到的像素的深度。它通过向场景内所有物体发送红外光脉冲、并感测从每个物体表面反射回来的光，来获得3D信息。深度的测量是通过计算光线从离开光源到被场景20内的物体反射回来的飞行时间。使用CMOS时数转换器，单独将每个像素的该往返时间转换为数字码。根据厂商3DV System的输入，深度分辨率非常好：它可以探测到低至0.4英寸的3D运动和体积，且同时以每秒60帧的速度捕捉1.3兆像素的全色视频。

在本技术一实施方式中，仍参见图1，图像捕捉装置12进一步包括选自以下集合的调查仪器36：{全球导航卫星系统(GNSS)调查系统；激光平面系统；和经纬仪}。在此实施方式中，对场景20进行预调查，并由基于图像的追踪装置22将场景距离数据与一组图像结合起来使用，以确定基于图像的追踪装置22的位置坐标。

全球导航卫星系统(GNSS)调查系统36的实施可使用TRIMBLE R8 GNSS系统，它支持所有的GPS和GLONASS L1/L2信号，包括GPS新的L2C和即将问世的L5信号，并且能够追踪高达44颗卫星。

全球导航卫星系统(GNSS)调查系统36的实施也可使用R7 GNSS系统，它包括整合在一个设备中的高精度GPS接收器和UHF无线电设备。Trimble R7GNSS可用于RTK或静态调查。模块化的Trimble R7 GNSS系统使用独立天线：作为流动站时用Trimble Zephyr^TM 2而作为基站时用Zephyr Geodetic^TM 2。TrimbleGeoExplorer软件可用于各种探路者(pathfinder)情景。Trimble GeoExplorer具有以下数据表单：含一体化SBAS的1至3米GPS；能清楚生动地查看地图的高分辨率VGA显示器；蓝牙和无线LAN连接选项；1GB的机载存储器外加SD插槽以便使用移动式卡。它包括Windows Mobile第6版操作系统。它也可以实施为带有全天电池的加固手持设备。

激光平面调查系统36的实施也可使用Trimble产品-Spectra Precision激光仪GL412和GL422。激光仪GL 412和GL 422坡度激光仪是性价比高的自动自找平激光仪，可使用铅锤完成三项工作-水平、坡度和垂直对准。两种激光仪都提供双向全功能遥控，这样用户可以在作业现场任何位置进行坡度变化，从而即可缩短设置时间又可加快操作速度。GL 412(单坡度)和GL 422(双坡度)在整个工作区域上发射360度的连续自找平的激光参考信号，并且坡度范围很宽，从而可应用于各种斜坡场合。

激光平面调查系统36的实施也可使用Apache Horizon激光仪，它可发出连续的自找平激光束，而激光束的旋转将产生激光平面。此平面能覆盖的作业面积的直径高达1600英寸(500米)。参考平面被一或更多个激光探测器感测到，所述激光探测器可指示坡度变化的方向。

经纬仪调查系统36的实施也可使用S6 DR(直接反射)全站仪(TotalStation)，它是无线的机器人全站和流动站。用户可使用Trimble MultiTrack Targe选择主动式或被动式追踪。主动式追踪允许用户定位并锁定正确目标。

在本技术一实施方式中，图像追踪的方法的实施是使用图1所示的基于图像的追踪装置22。具体而言，通过使用图像捕捉装置12执行场景20的图像捕捉，执行步骤(A)，而通过使用图像处理算法25分析一组图像，执行步骤(B)-追踪图像捕捉装置12的运动。

在本技术一实施方式中，使用图像捕捉装置12，实时执行步骤(A)-执行场景20的图像捕捉。

在本技术另一实施方式中，使用图像捕捉装置12，预记录步骤(A)-执行场景20的图像捕捉。

在本技术一实施方式中，步骤(A)-执行场景20的图像捕捉-进一步包括步骤(A3)-通过使用如上文完整揭示的调查仪器36预调查场景20，获得场景20的一组深度数据。

在本技术一实施方式中，使用图像处理算法25，执行步骤(B)-追踪图像捕捉装置12的运动。

在本技术一实施方式中，通过分析图像捕捉装置12所捕捉的所述一组图像，图像处理算法25可实现图像捕捉装置12的视频追踪。

在本技术一实施方式中，图像处理算法25采取全局刚性运动。用图像捕捉装置12的六个自由度将全局光流参数化，便可通过求解非线性最小二乘法问题找出两个相邻帧之间的最优全局变换。

要执行六个自由度的刚性全局变换，需要知晓场景20的深度。如上文完整揭示，或者预调查场景20，或者随同外部装置(如点激光束、深度图像捕捉装置、立体相机装置等)的图像捕捉一起实时获得深度测量值。

在本技术一实施方式中，图像处理算法25使用帧函数匹配像素的光学性能。

在本技术一实施方式中，当深度信息可获得时，图像处理算法25通过对帧函数的重新定义匹配两个帧的深度(而非像素的光学性能)。

在本技术一实施方式中，可通过像素光学性能和深度信息的结合改进图像处理算法25。此举的达成可通过结合使用成本函数、或使两个进程相互辅助，如下文完整揭示。

在本技术一实施方式中，图像处理算法25使用若干坐标系统：固定参考系统；图像捕捉装置12附带的参考系统；以及图像捕捉装置的传感器平面32上的2D参考系统。

在固定参考系统中，场景20中的点30的坐标为x＝(x，y，z)，图像捕捉装置12表述为6维矢量38，其包括对于每个第i帧装置的位置坐标x_ci＝(x_ci，y_ci，z_ci)和装置的走向坐标(yaw、pitch和roll)。

在图像捕捉装置12附带的参考系统中，场景20中的相同点30的坐标为相对图像捕捉装置12的x_i＝(x_i，y_i，z_i)。

在图像捕捉装置的传感器平面32附带的2D参考系统中，第i帧中一点的2D像素坐标为：

u_i＝(u_i，v_i)。

固定3D系统与图像捕捉装置附带的3D系统之间的关系如下：

x_i＝(x-c_ci)R_i，           (等式1)

其中

(等式2)

为两个系统之间的旋转矩阵。

图像捕捉装置附带的3D坐标与2D像素坐标之间的关系取决于图像捕捉装置12的映射函数m。映射函数使用在第i帧的图像捕捉装置附带的系统中的3D坐标x_i，并映射为第i帧中的2D坐标：

u_i＝m(x_i)           (等式3)

映射函数的形式取决于镜头的类型。在本技术一实施方式中，镜头16包括规则直线性镜头(反转针孔模式)，则映射函数m可由以下等式得出：

$u_i=\frac{f}{s_u}\frac{x_i}{z_i}-u_0$

$v_i=\frac{f}{s_v}\frac{y_i}{z_v}-v_0;$ (等式4)

其中f为图像捕捉装置12焦距，s_u、s_v为像素宽度及高度，u₀、v₀为光学中心和传感器中心之间的偏差。

在本技术另一实施方式中，镜头16包括正交鱼眼镜头，则映射函数m可由以下等式得出：

$u_i=\frac{f}{s_u}\frac{x_i}{r}-u_0$

$v_i=\frac{f}{s_v}\frac{y_i}{r}-v_0;$ (等式5)

其中r为点到光学中心的距离 $r=\sqrt{x_i^2+y_i^2+z_i^2}.$

在本技术一实施方式中，映射函数m可以用数字形式校准和存储。

要得出映射函数的反函数：

x_i＝m^-1(u_i)，          (等式6)

需知晓物点30的深度。

在本技术一实施方式中，如上文所揭示，可预调查场景20。在本技术的此实施方式中，深度测量值的取得是在3D固定参考系统中z＝z(x，y)，帧与帧之间没有变化。

在本技术一实施方式中，如果测距装置14附带于图像捕捉装置12，则场景物点30的深度可作为每一帧中像素位置的函数z_i＝z_i(u_i)而获得。这些测量值的取得是在图像捕捉装置附带的3D参考系统中。

在本技术一实施方式中，测距装置14的实施使用了数个点激光仪。在本技术的此实施方式中，由于点激光仪的数目通常远小于像素的数目，所以每个第i帧的深度测量值的密度很可能远小于像素密度。可通过在这些测量值中进行插值，获得每个像素的深度。

在本技术一实施方式中，测距装置14的实施使用了深度相机，如来自3DVsystems的Zcam。在本技术的此实施方式中，可以得到分辨率足以匹敌视频帧的深度测量值阵列，从而使深度测量值阵列可以直接使用而无需进一步处理。

在本技术一实施方式中，测距装置14的实施使用了立体相机。立体相机允许将深度信息从数个已标识特征点中提取出来，并且剩下的像素可以通过插值完成。

两个相继帧-f_i和f_j-间关系的建立是基于以下假设：场景20中的同一物点30在两个帧中产生亮度相同的像素。意即，如果u_i和u_j是同一物点在f_i和f_j中的像素位置，那么f_i(u_i)＝f_j(u_j)。此处f_i(u_i)指帧f_i中u_i处的像素亮度。在此假设下，两个帧之间的关系就是由图像捕捉装置的运动导致的纯粹的几何变换。

图像捕捉装置从f_i到f_j的运动可以表示为δx_ci→j和δR_i→j(即帧之间的相对位移和旋转)或(即有六个自由度的6维矢量)。如果图像捕捉装置在帧f_i处的位置和姿态已知，那么通过求解从f_i到f_j的相对运动，我们可以得到帧f_j处的位置和姿态。下文中只要可以我们将不写下标i->j。

同一物点30在帧f_i的参考系统中坐标为x_i，而在帧f_j的参考系统中坐标为x_j且：

x_j＝(x_i-δx_c)δR，        (等式7)

因此在2D像素坐标系统中，u_i和u_j之间的关系如下：

$u_i\stackrel{m^{-1}}{\→}{x}_i\stackrel{\mathrm{\ξ}}{\→}{x}_j\stackrel{m}{\→}{u}_j,$ (等式8)

其中m为映射函数。或简单表示为：

u_j＝δP(u_i)，          (等式9)

其中δP＝moξom^-1表示三个运算的结合。

现在的任务是得出最优ξ从而最小化成本函数：

∫|f_i(u)-f_j(δP(u))|²du。        (等式10)

这是研究成熟的非线性最小二乘法问题。它的求解涉及线性近似和迭代。不同的线性近似产生不同的收敛方法，如高斯牛顿法、最速下降法、列文伯格-马夸尔特法等。

在本技术一实施方式中，图像处理算法25的实施使用了高斯牛顿公式。要得到高斯牛顿公式，需要展开

$f_j\left(\mathrm{\δP}\left(u\right)\right)\≈f_j\left(u\right)+\mathrm{d\ξ}\▿f_j\frac{\∂\mathrm{\δP}\left(u\right)}{\∂\mathrm{\ξ}}$ (等式11)

为帧f_j的梯度图像，为几何变换的雅可比行列式(Jacobian)。将

$D={\▿f}_i\frac{\∂\mathrm{\δP}\left(u\right)}{\∂\mathrm{\ξ}}$ (等式12)

写作6x1列矢量，于是得到

dξ≈∫(f_i(u)-f_j(u))D^Tdu/∫DD^Tdu         (等式13)

由于f_j不是ξ的的线性方程，(等式13)的求解需使用以下迭代例行循环：

1.初始化ξ；

2.由ξ算出δP，执行f_j上的变换：

$f_j\left(u\right)\⇒f_j^{\′}\left(u\right)=f_j\left(\mathrm{\δP}\left(u\right)\right);$

3.由f_i、f′_j算出dξ，

dξ＝∫(f_i(u)-f′_j(u))D^Tdu/∫DD^Tdu；

4.更新 $\mathrm{\ξ},\mathrm{d\ξ}\⇒\mathrm{\ξ};$

5.如果dξ足够小或达到最大迭代就退出，否则绕回步骤2。

在以上例行程序性中，每个后续迭代f_j越来越靠近f_j直到他们足够近。然而，在每次迭代中，必须计算f′_j的梯度图像，因为步骤2中已经更新了f′_j。另外一个问题在于，δP(故而还有雅可比行列式)取决于深度测量值z_j，或者当深度的预调查是在固定参考系统中时，取决于深度测量值z和朝向帧f_j的总的图像捕捉装置运动：x_cj，R_j。

在本技术一实施方式中，深度测量值的取得是在图像捕捉装置附带的参考系统中(如点激光束、深度相机、立体装置等)，则对于帧f_j可得到更多深度测量值，因为既然x_ci，R_i已知，那么所有的先行帧测量值都可以变换为帧f_j的参考系统。

在本技术一实施方式中，尽管场景深度的预调查是在固定系统中，但还要求解总运动x_cj，R_j，因此当算出雅可比行列式的形式时总运动只能表述为x_ci，R_i和ξ的函数。这不仅会使雅可比行列式的形式复杂化，还会使雅可比行列式与迭代法相关。

在本技术一实施方式中，计算f_j的梯度图像和帧f_j处的雅可比行列式的同时用迭代进行f_j的变换。因此1)dξ用∫|f_i(δP^-1(u))-f_j(u)|²du计算而不用每次迭代(从而允许我们使用f_j的梯度图像)，且求出帧f_j处反向变换的雅可比行列式二者仅需计算一次。2)将累计的ξ和δP应用于f_j上以使其接近f_j，从而避免f_j的任何变换。

因此，在重新定义了帧f_j处求出的后，图像处理算法25作如下修改：

1.初始化ξ；

2.初始化帧f_j处的 $D={\▿f}_i\frac{\∂\mathrm{\δP}\left(u\right)}{\∂\mathrm{\ξ}};$

3.由ξ算出δP，执行f_j上的变换：

$f_j\left(u\right)\⇒f_j^{\′}\left(u\right)=f_j\left(\mathrm{\δP}\left(u\right)\right);$

4.由f_i、f′_j算出dξ，

dξ＝∫(f_i(u)-f′_j(u))D^Tdu/∫DD^Tdu；

5.更新 $\mathrm{\ξ},\mathrm{d\ξ}\⇒\mathrm{\ξ};$

6.如果dξ足够小或达到最大迭代就退出，否则绕回步骤3。

步骤3中计算δP(u)需要f′_j中每个像素的深度。因为f′_j是f_i此刻的最佳估算，所以最简单的选择是使用f_i中的像素代替。

在本技术一实施方式中，迭代的收敛情况取决于梯度图像有多“平滑”。如果梯度图像的变化程度远小于两个帧之间的图像捕捉装置运动所导致的图像移位，那么循环不可收敛。因此在将两个帧输入上述循环中之前首先对其进行平滑处理。从平滑处理过的帧得出近似ξ后，可以去掉或减少平滑处理，且可以以前一个ξ作为起点得到更精确的ξ。

因此，在图像迭代金字塔中，较高级经过大量平滑处理，而底部级为没有经过平滑处理的原始图像。如下所述从图像金字塔顶端到底部细化ξ：

1.初始化ξ

2.构建f_i和f_j的图像金字塔(如果没有现成的)

3.从金字塔顶端到底部的每一级

3.1初始化帧f_i处的 $D={\▿f}_i\frac{\∂\mathrm{\δP}\left(u\right)}{\∂\mathrm{\ξ}};$

3.2由f_i、f′_j算出dξ，

dξ＝∫(f_i(u)-f′_j(u))D^Tdu/∫DD^Tdu；

3.3更新 $\mathrm{\ξ},\mathrm{d\ξ}\⇒\mathrm{\ξ};$

3.4执行f_j上的变换：

$f_j\left(u\right)\⇒f_j^{\′}\left(u\right)=f_j\left(\mathrm{\δP}\left(u\right)\right);$

3.5如果dξ足够小或达到最大迭代就退出，否则绕回步骤3.2。

δP(u_i)的直接形式取决于映射函数m。即使给定m，δP(u_i)的形式也非唯一。在本技术一实施方式中，当镜头16包括直线性镜头时且当能得到预调查深度z时，可以选择：

$(\tilde{u},\tilde{v},\tilde{w})=(u_i,1)(1-\frac{R_i^T(3,:)}{z-z_{\mathrm{ci}}}{\mathrm{\δx}}_c)\mathrm{\δR}$

$\mathrm{\δP}\left(u_i\right)=(\frac{\tilde{u}}{\tilde{w}},\frac{\tilde{v}}{\tilde{w}}),$ (等式14)

其中为帧f_i处总旋转矩阵R_i的第三行的转置。它是z方向上的单位矢量，其表述是在帧f_i的图像捕捉装置附带的参考系统中。

$D=\left(\begin{array}{c}-{\mathrm{af}}_{i,u}\\ -{\mathrm{af}}_{i,v}\\ a({\mathrm{uf}}_{i,u}+{\mathrm{vf}}_{i,v})\\ {\mathrm{vf}}_{i,v}-{\mathrm{uf}}_{i,u}\\ -(1+u^2)f_{i,u}-{\mathrm{uvf}}_{i,v}\\ {\mathrm{uvf}}_{i,u}+(1+v^2)f_{i,v}\end{array}\right)$

$a=(u,1)\frac{R_i^T(3,:)}{z-z_{\mathrm{ci}}}$ (等式15)

在本技术一实施方式中，当深度测量值的取得是在图像捕捉装置附带的系统(z_i已知)时，可以选择

$(\tilde{u},\tilde{v},\tilde{w})=((u_i,1)-\frac{1}{z}{\mathrm{\δx}}_c)\mathrm{\δR}$

$\mathrm{\δP}\left(u_i\right)=(\frac{\tilde{u}}{\tilde{w}},\frac{\tilde{v}}{\tilde{w}})$ (等式16)

和

$D=\left(\begin{array}{c}-{\mathrm{af}}_{i,u}\\ -{\mathrm{af}}_{i,v}\\ a({\mathrm{uf}}_{i,u}+{\mathrm{vf}}_{i,v})\\ {\mathrm{vf}}_{i,u}-{\mathrm{uf}}_{i,v}\\ -(1+u^2)f_{i,u}-{\mathrm{uvf}}_{i,v}\\ {\mathrm{uvf}}_{i,u}+(1+v^2)f_{i,v}\end{array}\right)$

$a=\frac{1}{z_i}$ (等式17)

在本技术一实施方式中，当深度为已知时，可以匹配两个帧的深度而非像素密度，因为当深度已知时，像素点的3D坐标也是已知的。通过将图像捕捉装置附带的系统中的3D坐标作为2D像素坐标的矢量函数：

(x_i(u_i)-δx_c)δR＝x_j(u_j)，      (等式18)

可以使用帧f_i和帧f_j之间的3D距离的平方的成本函数：

∫||(x_i(u-δx_c)δR-x_j(δP(u))||²du。     (等式19)

另一种可能性是使用这两者之间z要素之差的平方。

很容易便可延伸此算法以用于处理彩色图像。例如，对于RGB图像，帧f＝(f^r，f^g，f^b)为行矢量，D＝(D^r，D^g，D^b)为6x3矩阵，D^r、D^g、D^b各为一个6x1列矢量。

类似于像素密度的算法优化，雅可比行列式的计算在x_i上完成，且变换在x_j上执行。因为一组3D坐标中有三个分量，所以现在用6x3矩阵D′代替列矢量D：

$D^{\′}={\▿x}_i\frac{\∂\mathrm{\δP}}{\∂\mathrm{\ξ}}-\left(\begin{array}{c}-I_{3\×3}\\ \left(\begin{array}{ccc}{y}_i& -x_i& 0\\ -z_i& 0& x_i\\ 0& z_i& -y_i\end{array}\right)\end{array}\right),$ (等式20)

在本技术一实施方式中，图像处理算法25的实施使用了以下例行循环：

1.初始化ξ

2.构建z_i和z_j的图像金字塔(如果没有现成的)

3.从金字塔顶端到底部的每一级

3.1初始化帧f_i处的D′

3.2由ξ算出δP，执行x_j上的变换：

$x_j\left(u\right)\⇒x_j^{\′}\left(u\right)=x_j\left(\mathrm{\δP}\left(u\right)\right){\mathrm{\δR}}^T+{\mathrm{\δx}}_c$

3.3由x_i、x′_j算出dξ，

dξ＝∫(x_i(u)-x′_j(u))D′^Tdu/∫D′D′^Tdu

3.4更新 $\mathrm{\ξ},\mathrm{d\ξ}\⇒\mathrm{\ξ};$

3.5如果dξ足够小或达到最大迭代就退出，否则绕回步骤3.2。

在本技术一实施方式中，可以结合使用像素亮度匹配成本函数与深度匹配成本函数

∫(λ|f_i(u)-f_j(δP(u))|²+(1-λ)||(x_i(u)-δx_c)δR-x_j(δP(u))||)²du。(等式21)

λ∈[0，1]是加权因子，它根据光流取定的进展情况、光学图像的质量以及深度图像的质量进行调整。每次迭代中的递增量为：

dξ＝∫λ(f_i(u)-f′_j(u))D^T+(1-λ)(x_i(u)-x′_j(u))D′^Tdu/∫λDD^T+(1-λ)D′D′^Tdu

(等式22)

在本技术一实施方式中，f_i和f_i+1之间的δ运动和总运动的关系如下：

R_i+1＝R_iδR_i→i+1

$x_{\mathrm{ci}+1}=x_{\mathrm{ci}}+{\mathrm{\δx}}_{\mathrm{ci}\→i+1}{R}_i^r.$ (等式23)

如果循环在最大迭代上退出，而不是在f_i和f_j之间收敛于ξ，那么我们可以选择用f_i-1代替f_i，找出f_i-1和f_i+1之间的运动，或者可以选择在f_i和f_i+2之间进行，并将f_i和f_i+1之间的结果标注为不可靠。

需要每个像素f_i的深度信息，以便1)变换以及2)计算f_i处的雅可比行列式。深度信息可以不同的形式取得。

在本技术一实施方式中，场景相对平坦，可以使用一些(远少于帧中的像素点)固定参考系统中的预调查点进行描述。若是如此，表述在固定参考系统中的预调查点需要变换为帧f_i的参考系统：继而使用这些点作为参考点，通过三角插值得出f_i中每个点的深度。在三角插值中，三角形中的一点表述为三角形三个顶点的组合。在3D参考系统和投影2D参考系统之间切换时，三个组合系数需要根据三个顶点的深度进行调整。

在本技术一实施方式中，与图像捕捉装置附带的系统中每个帧(例如来自图像捕捉装置附带的点激光仪)、或来自立体相机的匹配特征点一起，获得一些(远少于帧中的像素点)深度点。若是如此，那么激光点深度测量值与每个帧一起出现。它们和来自前面帧的点被分为三种类型：

1)休息点(settling point)：激光点深度测量值与帧f_i+1一起出现。只有在使用深度匹配时才使用它们。

2)活动点(active point)：激光点深度测量值与帧f_i一起出现，且激光点深度测量值与没有移出任何帧、且已变换成帧f_i的参考系统的先期帧一起出现。这些点被放入Delaunay三角剖分。Delaunay顶点作为参考点，用于通过三角插值算出像素深度。

3)停用点(retired point)这些点来自没有移出f_i和f_i+1的前面的帧。这些点被保存以便需要时可形成场景的深度地图。

在本技术一实施方式中，每个帧可得到深度点阵列(在图像捕捉装置附带的参考系统中)，其具有与视频帧相同的或可匹敌的分辨率。在此情形下，帧f_i获得的深度测量值在分辨率相同时可直接使用、或在分辨率较低时可进行插值。f_i和f_i+1获得的深度测量值可直接或进行插值后用于深度匹配。

在本技术一实施方式中，图2是使用图1的装置22进行图像追踪的方法的流程图50，其中场景20的深度数据是通过预调查场景获得。

在本技术的此实施方式中，图像追踪方法包括两个步骤：(步骤54)使用图像捕捉装置执行场景20(如图1)的图像捕捉；以及(步骤62)通过分析步骤54中获得的一组图像，追踪图像捕捉装置的运动。

在本技术一实施方式中，使用图像捕捉装置22(如图1)，实时执行场景20的图像捕捉-步骤56。

在本技术一实施方式中，步骤54的执行是通过：使用图像捕捉装置22，预记录场景20-步骤58。

在本技术一实施方式中，步骤54进一步包括：通过预调查场景20，获得场景的一组深度数据-步骤60。

如上所述，图像捕捉装置选自以下集合：{数码相机；数码摄像机；数码摄录机；立体数码相机；立体摄像机；电影摄影机；以及电视摄像机}。

在本技术一实施方式中，通过分析步骤54中获得的一组图像追踪图像捕捉装置的运动这一步骤62进一步包括步骤64：对一组捕捉图像数据和一组场景深度数据执行刚性全局变换，将之变换为一组6坐标数据；其中一组6坐标数据表示图像捕捉装置22(见图1)的运动。

在本技术一实施方式中，图3图解说明了一种图像追踪方法的流程图100，其中使用测距装置14获得场景的深度数据。

在本技术一实施方式中，图像追踪方法的流程图100进一步包括步骤104：使用图像捕捉装置执行场景的图像捕捉。

在本技术一实施方式中，步骤104的实施可通过：使用图像捕捉装置实时执行场景的图像捕捉-步骤106。

在本技术一实施方式中，步骤104的实施可通过执行步骤108：使用图像捕捉装置执行场景的图像记录。

在本技术一实施方式中，图像追踪方法的流程图100进一步包括步骤110：使用选自以下集合的测距装置获得一组场景深度数据：{点激光束；声纳；雷达；激光扫描仪；以及深度相机}。

在本技术一实施方式中，步骤110的实施是通过：使用图像捕捉装置附带的K点测距系统，测定图像捕捉装置附带的3D参考系统中的一组场景深度数据-步骤112。

在本技术一实施方式中，步骤110的实施是通过：使用图像捕捉装置附带的M点测距系统，直接为物点的至少一个像点测定物点的深度，其中场景的深度测量值的数目整数M大致等于帧中的像素数目-步骤114。

在本技术一实施方式中，步骤110的实施是通过：使用图像捕捉装置附带的特征点测距系统，测定图像捕捉装置附带的3D参考系统中的一组场景深度数据-步骤116。

最后，在本技术一实施方式中，图像追踪方法的流程图100进一步包括步骤118：通过分析一组图像，追踪图像捕捉装置的运动。

在本技术一实施方式中，步骤118的实施是通过：对一组捕捉图像数据和一组场景深度数据执行刚性全局变换，将之变换为一组6坐标数据；其中一组6坐标数据表示图像捕捉装置的运动-步骤120。

图4、图5、图6和图7图解说明了使用图1的装置22进行基于图像的追踪的结果举例。更具体而言，图4所描绘的图表140图解说明了场景20在传感器平面16中的图像捕捉装置图像。

图5的图表150图解说明了使用图1的算法25算出的图像捕捉装置2D运动，上文对此已有完整描述。

图6的图表160图解说明了使用图1的算法25算出的图像捕捉装置高度运动，上文对此已有完整描述。

图7的图表170图解说明了使用图1的算法25算出的图像捕捉装置的总旋转角(yaw 172、pitch 174和roll 176)，上文对此已有完整描述。

在本技术一实施方式中，特征体并未被定义为仅仅是点，也可以表示区域及/或轮廓线。在本技术的此实施方式中，可使用广义特征体充分扩展表面追踪的能力。

在本技术一实施方式中，可使用广义特征体从而用场景理解技术排除问题物体(即车辆)。

在本技术一实施方式中，场景理解技术意味着更高的图像推断水平。例如，它可以涉及探测一场景中的车辆、人行道边界，并排除位于这些区域中的匹配特征体。一旦标识了这种不需要的物体；就会提取图像的可用区域。接着特征体匹配被限于此区域。

在本技术一实施方式中，探测不需要的物体涉及到物体识别，包括：(A)从一个图像中提取稀疏特征体；(B)执行将相邻特征体聚集成簇；(C)以及从至少一个给定簇推断物体类别。

在本技术一实施方式中，可在初始图像分析(如对比度评估)中使用广义特征体，以确定图像或图像区域就追踪而言的适合性。

在本技术一实施方式中，如果所收集图像的质量差到不得进行表面追踪的程度，例如图像太黑且提取和匹配的特征体很少，那么可执行初始图像评估分析，以提示现场操作者图像是否可用或是否需要重新收集。

在本技术一实施方式中，初始图像评估分析包括从图像中提取至少三个属性：(A)检查图像的饱和性质，看图像是否主要由单个红-绿-蓝值组成；(B)检查图像的纹理性质，看图像是否大部分模糊且缺少进行特征体提取的尖锐区域；(C)检查图像的图像对比度，看图像是否大部分。

在本技术一实施方式中，可使用广义特征体初始化表面追踪解答。

在本技术一实施方式中，更具体而言，可通过使用广义特征体和随机抽样共识(RANdom SAmple Consensus：RANSAC)得到初始解答。

RANSAC是一种迭代方法，用来由一组包含利群的被观测数据估算出数学模型的参数。

在统计学上，离群是其余数据的观测。更具体而言，离群被定义为视觉上明显偏离其所在取样中其他成员的外围观测。

离群可以偶然发生于任何分布中，但它们常常不是暗示测量误差就是暗示总体具有重尾分布。在前一种情形下，我们希望将其排除或使用足以应付离群的统计，而在后一种情形下，它们说明分布峭度较高，且我们在使用正态分布适用的工具或直觉时应该特别谨慎。离群的一个常见原因是混合了两个分布，可以是两个子总体，或可表示“正确检验”而非“测量误差”，它使用混合模型建模。

在本技术一实施方式中，基于广义特征体和RANSAC的初始解答是使用一种非确定性算法，鉴于其仅以某一概率产生合理结果，此概率随着允许迭代次数的增加而增加。该算法最早由Fischler和Bolles在1981年公开。

在本技术一实施方式中，使用广义特征体和RANSAC的初始解答是基于以下假设：数据由“内群”和“离群”组成，“内群”即分布可以用一组模型参数来解释的数据，而“离群”则是不符合模型的数据。此外，数据可能受杂音影响。离群可以来自例如杂音的极值，或来自错误测量值或关于数据解读的错误假设。RANSAC也假设，在给定一组(通常较少)内群的情况下，有一种程序可估算出最能解释或最适合此数据的模型参数。

在本技术一实施方式中，使用一组广义特征体寻找相机位置的初始解答来作为表面追踪的输入这一方法包括以下步骤：探测一组广义特征体；建立一组广义特征体和至少两个选定帧之间的对应性；使用RANSAC数学模型的参数，估算至少两个选定帧之间的单应性；(E1，1，4)从至少两个选定帧之间的单应性中，得出图像捕捉装置的初始态势；其中图像捕捉装置的态势包括图像捕捉装置的位置坐标和图像捕捉装置的一组角坐标；以及使用所得出的图像捕捉装置的初始态势，作为对表面追踪解答的初始解答。

在本技术一实施方式中，使用广义特征体寻找严格二维(strict_2D)表面追踪解答这一方法包括：探测单个追踪表面上的一组广义特征体；使用RANCAC数学模型，选择一组共面广义特征体；建立一组选定的共面广义特征体和至少两个选定帧之间的对应性；从至少两个选定帧之间的单应性中，得出图像捕捉装置的初始态势；使用所得出的图像捕捉装置的初始态势，作为对严格二维(strict_2D)表面追踪解答的初始解答；以及将一组共面特征体组成群组，并使用一个围绕共面特征体群组的区域作为strict_2D表面追踪解答的输入。

在本技术一实施方式中，使用多个二维(2D)追踪表面上的一组共面广义特征体寻找近似二维(sub_2D)表面追踪解答这一方法进一步包括：

探测多个追踪表面上的一组广义特征体；使用RANCAC数学模型，选择一组共面广义特征体；建立一组共面广义特征体和至少两个选定帧之间的对应性；从至少两个选定帧之间的单应性中，得出图像捕捉装置的初始态势；使用所得出的图像捕捉装置的初始态势，作为对近似二维(sub_2D)表面追踪解答的初始解答；以及选择一个围绕选定的每个共面广义特征体的局部区域，将多个选定的局部区域组成一个二维(2D)全局区域，并使用2D全局区域作为sub_2D表面追踪解答的输入。

在本技术一实施方式中，使用从三维(3D)中提取的一组广义特征体寻找近似三维(sub_3D)表面追踪这一方法进一步包括：探测3D表面上的一组广义特征体；建立一组广义特征体和至少两个选定帧之间的对应性；估算至少两个选定帧之间的单应性；从至少两个选定帧之间的单应性中，得出图像捕捉装置的初始态势；使用所得出的图像捕捉装置的初始态势，作为对近似三维(sub_3D)表面追踪解答的初始解答；以及选择一个围绕选定的每个广义特征体的局部区域，将多个选定的局部区域组成一个三维(3D)全局区域，并使用3D全局区域作为近似sub_3D表面追踪解答的输入。

以上论述提出了各种示例系统和装置的操作，以及各种关于操作这些系统和装置的示例方法的实施方式。在各种实施方式中，实施方法的一或更多个步骤的执行使用了一种处于电脑可读且电脑可执行指令控制之下的处理器。因此，在一些实施方式中，这些方法的实施是通过电脑。

在一实施方式中，电脑可读且电脑可执行指令可以储存于电脑可用/可读媒体上。

因此，各种实施方式的一或更多操作的控制或执行可使用电脑可执行指令，例如由电脑执行的程序模块。一般而言，程序模块包括执行特定任务或执行特定抽象数据类型的例行程序、程序、对象、组件、数据结构等。此外，本技术也可实现于分布式计算环境中，分布式计算环境中任务的执行是使用通过通讯网络连接的远程处理装置。在分布式计算环境中，程序模块既可位于本地的也可位于远程的电脑存储媒体(存储器存储装置)中。

尽管本文揭示了示例性实施方法的特定步骤，然而这些步骤只是根据各种示例性实施方式执行的步骤的举例。意即，本文揭示的实施方式很适合于执行各种其他步骤或所述步骤的变形。此外，本文揭示的步骤可以以不同于上文所述的顺序执行，且一个特定实施方式中并非所有的步骤皆要执行。

尽管本文论述了各种基于电子和软件的系统，然而这些系统只是可供利用的环境的举例，并非想要暗示对于本技术的使用范围和功能有任何限制。这些系统也不应理解为与揭示示例中所说明的组件或功能的任一个或其组合有着任何依赖性或相关性。

尽管上文使用构造特征体及/或方法行为特定的语言描述了标的物，然而随附权利要求书中定义的标的物不一定限于上文所述的特定特征体或行为。事实上，所述的特定特征体和行为只是作为实施权利要求的示例性形式来揭示。

Claims (13)

1.一种基于图像的定位方法，其包括：

步骤(A)使用图像捕捉装置执行场景的图像捕捉；

步骤(B)获得所述场景的一组深度数据；

步骤(C)对一组捕捉到的图像数据和所述一组场景深度数据执行刚性全局变换，将之变换为一组6坐标数据；其中所述一组6坐标数据表示所述图像捕捉装置的运动；所述一组6坐标数据包括描述所述图像捕捉装置的运动的6维矢量；所述6维矢量进一步包括对于每一帧所述图像捕捉装置的位置坐标和所述图像捕捉装置的走向坐标；

步骤(D)对描述所述图像捕捉装置的运动的所述6维矢量进行最优化；以及

步骤(E)使用经所述最优化的描述所述图像捕捉装置的运动的6维矢量来估算所述图像捕捉装置的位置坐标。

2.根据权利要求1所述的方法，其中所述步骤(A)进一步包括：

(A1)使用所述图像捕捉装置执行所述场景的所述图像捕捉；其中所述图像捕捉装置选自以下集合：{数码相机；数码摄像机；数码摄录机；立体数码相机；立体摄像机；电影摄影机；以及电视摄像机}。

3.根据权利要求1所述的方法，其中所述步骤(A)进一步包括：

(A2)使用所述图像捕捉装置执行所述场景的图像记录。

4.根据权利要求1所述的方法，其中所述步骤(B)进一步包括：

(B1)通过预调查所述场景获得所述场景的一组深度数据。

5.根据权利要求4所述的方法，其中所述步骤(B1)进一步包括：

(B1,1)使用选自以下构成的组的调查仪器获得所述场景的所述一组深度数据：{全球导航卫星系统(GNSS)调查系统；激光平面系统；和经纬仪}。

6.根据权利要求1所述的方法，其中所述步骤(C)进一步包括：

(C1))使用所述图像捕捉装置的映射函数，对于至少一个第i帧将至少一个物点在所述图像捕捉装置附带的参考系统中的3D坐标，映射为一个像点在所述图像捕捉装置传感器平面上2D参考坐标系统中的2D像素坐标；其中i为整数。

7.根据权利要求6所述的方法，其中所述步骤(C1)进一步包括：

(C1,1)从以下集合中选择所述图像捕捉装置的所述映射函数：{规则直线性镜头的映射函数；鱼眼镜头的映射函数；以及用户校准镜头的映射函数}。

8.根据权利要求6所述的方法，其中所述步骤(C1)进一步包括：

(C1,2)取得所述映射函数的反函数；其中所述映射函数的所述反函数被构设为：对于至少一个第i帧，将至少一个像点在所述图像捕捉装置传感器平面上2D参考坐标系统中的2D像素坐标，映射为至少一个物点在所述图像捕捉装置附带的参考系统中的3D坐标。

9.根据权利要求1所述的方法，其中所述步骤(C)进一步包括：

(C2)从第i帧和第k帧这两个相继帧之间的关系中提取描述所述图像捕捉装置的所述运动的6维矢量，其中至少一个物点在所述两个相继帧中产生至少两个亮度大致相同的像素。

10.根据权利要求9所述的方法，其中所述对描述所述图像捕捉装置的运动的所述6维矢量进行最优化的步骤(D)进一步包括：

(D1)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题，对描述所述图像捕捉装置的运动的所述6维矢量进行最优化。

11.根据权利要求9所述的方法，其中所述对描述所述图像捕捉装置的运动的所述6维矢量进行最优化的步骤(D)进一步包括：

(D2)通过使所述两个相继帧之间的所述关系最优化，对描述所述图像捕捉装置的n维受限运动的(6-n)维矢量进行最优化；其中整数n小于6。

12.根据权利要求1所述的方法，其中所述步骤(C)进一步包括：

(C3)通过匹配至少两个像素——第一像素和第二像素——的所述深度数据，从第i帧和第k帧这两个相继帧之间的关系中提取描述所述图像捕捉装置的所述运动的6维矢量；其中所述第一像素位于所述第i帧内，而所述第二像素位于所述第k帧内。

13.根据权利要求1所述的方法，其中所述步骤(C)进一步包括：

(C4)通过匹配至少两个像素的所述深度数据，以及通过匹配至少两个位于两个相继帧中且亮度大致相同的像素，从第i帧和第k帧这两个相继帧之间的关系中提取描述所述图像捕捉装置的所述运动的6维矢量；其中第一像素位于所述第i帧内，而第二像素位于所述第k帧内。