CN110009739B - 移动摄像机的数字视网膜的运动特征的提取与编码方法 - Google Patents

Abstract

一种移动摄像机的数字视网膜的运动特征的提取与编码方法，在数字视网膜特征流中加入移动摄像机的运动位姿信息，从而能够在云端准确推算移动摄像机三维空间地理位置。在摄像机端，通过多传感器(IMU、激光雷达、高度计、GPS/BDS等)和摄像机的测量数据的融合得到运动位姿，使其能在GPS/BDS信号缺失、环境复杂多变的情况下继续推算相机的运动位姿，并将最终得到的运动位姿通过特征编码上传到云端，实现基于摄像机地理位置信息的快速视频检索。相对运动信息并编码，上传到云端；根据已知位置信息推算视频图像的三维地理位姿，并实现快速视频检索和三维重建，实现高精度地图的更新。

Description

移动摄像机的数字视网膜的运动特征的提取与编码方法

技术领域

本发明属于数字视网膜标准中特征编码领域，涉及移动摄像机的数字视网膜的运动特征的提取与编码方法，该方法是通过多传感器融合视频定位和云端视频快速三维检索技术实现视频的快速检索。

背景技术

随着移动摄像应用场景越来越多，比如车载摄像，行人手持摄像等，云端的视频数据量呈现爆炸性成长，基于GPS(Global Positioning System)和BDS(北斗)为基础的地理信息视频快速检索面临挑战。在高楼林立的城市环境中，GPS/BDS带来几十米到几百米的定位误差；在室内环境中，GPS/BDS丧失精确定位功能，不能提供3D地理定位信息。所以，需要发展出一种在室内、外环境中能够提供满足三维视频检索的精确地理位置定位技术，特别在楼宇内还能够提供楼层精度的三维地理信息。

为解决上述问题，学术界和工业界分别发展出许多超越GPS/BDS的定位技术，包括无线定位、惯性导航定位、视频定位等。无线定位基于预先架设的辅助定位设备，包括Wi-Fi、蓝牙等。惯性导航定位不需要预先架设定位辅助设备，只需要在摄像机上增加额外的IMU(Inertial Measurement Unit)设备，适合在未知环境中实现导航定位，确定是定位误差会随着时间累计增加。同样，视频定位不需要增加额外的辅助定位设备，其定位精度易受光照条件和动态环境的影响。总而言之，多传感器融合定位技术能够有效提高定位的精确度、鲁棒性、稳定性和可扩展性。

在现有的数字视网膜技术中，包含了视频特征编码和AVS视频编码，并且采用GPS/BDS定位作为视频图像的地理位置信息。如上所述，GPS/BDS的定位技术在一些复杂环境中不能够提供精确的地理定位信息。然而移动摄像机的视觉定位技术可以在GPS/BDS技术失效的情况下继续提供准确的地理位置信息，特别是三维空间信息，包括高度信息，从而极大地提高地理位置定位的准确率。在实际的应用环境中，视频图像会出现特征少、或缺失的情况。在这种情况下，无法采用云端接收的视频特征值估计摄像机的运动。同时，由于云端接收的压缩视频图像存在失真，无法采用直接法估计摄像机的运动。

实际的经验告诉，精确的地理位置信息需要多传感器融合估计技术，实现多传感器融合的摄像机运动估计只能在摄像机端实现、然后编码上传到云端，在云端获得准确的地理位置信息实现视频图像的快速检索、或三维重建。

总而言之，针对全环境快速视频检索日益增长的需求，需要发展一种综合技术，在未知的环境中(无预先铺设定位辅助设备)，仅在移动摄像机上增加辅助模块，能够解决估计移动摄像机三维空间地理位置的问题，实现基于三维地理位置信息的快速视频检索和三维视频重建。

发明内容

本发明的目的在于公开一种移动摄像机的数字视网膜的运动特征的提取与编码方法。

该提取与编码方法是通过如下方式实施的，在数字视网膜特征流中加入移动摄像机的运动位姿信息，从而能够在云端准确推算移动摄像机三维空间地理位置。在摄像机端，通过多传感器(IMU、激光雷达、高度计、GPS/BDS等)和摄像机的测量数据的融合得到运动位姿，使其能在GPS/BDS信号缺失、环境复杂多变的情况下继续推算相机的运动位姿，并将最终得到的运动位姿通过特征编码上传到云端，实现基于摄像机地理位置信息的快速视频检索，

本发明提供的技术方案是：

通过视觉里程计估计移动摄像机所拍摄图像之间的运动信息(图像之间的旋转矩阵和位移向量)，并融合绑定在摄像机上多传感器(GPS/BDS、IMU、激光雷达、高度计等)得到的运动信息，通过对运动信息进行处理，得到每一帧(或关键帧)视频图像的相对运动位姿，然后将相对运动位姿与对应的图像特征一起编码上传到云端，在云端基于运动位姿编码信息推算所需视频图像的地理位置信息。下面以特征法视频定位技术和IMU传感器融合为例说明运动位姿估计过程，包括如下步骤：

1)视觉里程计系统初始化：使用特征点法初始化相机位姿并构建局部地图，得到3D-2D匹配点，若周围环境特征点数量偏少，则使用直接法求解相机位姿，得到初始帧之间的2D-2D匹配点；

2)IMU预处理：IMU预积分，构建图像关键帧之间的位姿约束方程；

3)激光雷达测量数据，对3维点云图进行特征匹配，得到3D-3D点对；

4)视觉传感器、惯性传感器、激光雷达联合初始化：对IMU、视觉传感器和激光雷达进行数据对齐，融合数据；

5)优化相机位姿：通过重投影误差方程和IMU预积分约束方程以及激光雷达构建的3D-3D匹配误差方程，用最小二乘法优化相机位姿。若相机运动到特征缺失地方时，则使用直接法得到的光度误差方程替代源重投影误差方程；

6)将相机绝对位姿转换为相对位姿；

7)对相对位姿进行编码，上传云端；

8)云端解码，并修正。

上述步骤1)所述的视觉里程计系统初始化，其具体过程如下：

1-1)特征点提取：提取关键点和计算描述子，并匹配特征点。

1-2)特征点计算相机位姿：通过特征点法得到的匹配点，通过求解本质矩阵得到相机位姿。

1-3)直接法计算相机位姿：若相机运动到特征缺失的地方，则采用直接法构建两帧之间的光度误差方程，通过后面提出的非线性优化方法求解出位姿。

上述步骤2)所述的IMU预积分，其具体过程如下：

2-1)IMU测量得到数据，得到加速度a和角速度ω。

2-2)IMU构建帧与帧之间的约束方程：通过积分公式，对加速度和角速度进行积分，得到帧与帧之间的约束方程：

/>

上述步骤4)所述的视觉传感器、惯性传感器、激光雷达联合初始化：对IMU、视觉传感器和激光雷达进行数据对齐，融合数据步骤是：

4-1)陀螺仪偏置标定、加速度计偏置标定和尺度重力加速度优化：通过联立N-1个相机做旋转矩阵的最小二乘法，然后通过高斯牛顿法得到IMU的零偏，并假设重力加速度G是一个不变值，优化重力加速度的方向；

4-2)摄像机、IMU和激光雷达进行数据对齐：对上述过程仅提取关键帧，仅在关键帧上关联点云、图像和IMU数据，实现数据对齐。

上述步骤5)所述的最小二乘法优化相机位姿，其具体过程如下：

5-1)构建摄像机、IMU、激光雷达共同误差方程。

通过BA共同优化两个传感器的误差，从而实现单目视觉传感器和惯性传感器的数据融合。误差方程如下：

其中θ表示待优化变量，i，j分别表示上一帧和当前帧。

分别表示旋转矩阵、位移向量、速度向量以及两个IMU偏置。∑_kE_proj(k，j)表示视觉传感器构建的重投影误差，E_IMU(i，j)表示IMU构建的约束误差。E_ICP(i，j)表示通过激光雷达构建的3D-3D匹配误差；

5-2)联合求解优化位姿，通过最小二乘法，求得误差方程相对于位姿的导数，然后以

高斯牛顿法求解相机位姿。

本发明的移动摄像机的数字视网膜的运动特征的提取与编码方法采用多传感器融合估计移动摄像机帧(或关键帧)之间的相对运动信息并编码，作为数字视网膜特征码一部分，上传到云端；在云端，根据已知位置信息，推算视频图像的三维地理位姿，并实现快速视频检索和三维重建；在云端，结合上传的视频图像，实现基于推算出的视频图像地理信息，实现高精度地图的更新。

由于采取了上述技术方案，本发明具有如下优点：

1、全环境，能够提供至少米级精度的定位。步骤1中采用特征点法求解位姿，现有SLAM算法通过特征点法得到的相机位置误差在米级以内，因此可以预见本方案最终能够提供至少米级精度的定位。

2、增加一个维度，实现3维定位。步骤5中优化得到的结果为相机位姿。相机的位姿势包括相机的旋转和位移，其中位移是一个3维向量，因此最终得到的是3维定位，与传统GPS定位相比增加了一个维度。

3、融合了多传感器，复杂环境下仍能够定位。通过步骤4中的多传感器联合初始化和步骤5中的联合约束方程求解，本方案最终得到的位姿即使在复杂的环境下依旧能够定位。由于融合了多传感器的数据，使得其中某一个传感器失效的情况下，其余传感器依旧能够完成定位过程，增加了系统的鲁棒性。

4、未知环境，摆脱预设的辅助设备，仅依靠摄像机自身携带的传感器。整个系统采用多传感器融合的方式，通过slam算法进行定位。其中采用的slam算法不需要依靠外界的辅助设备，仅仅通过自身的传感器便能实现定位。因此本方案即使面对复杂、未知的环境依旧能够良好工作。

附图说明

图1系统定位简易示意图；

图2系统工作原理图－特征点法；

图3系统工作原理图－直接法；

图4系统流程图；

图5本发明的特征编码示意图；

图6 8比特均匀量化的算法轨迹图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明的移动摄像机的数字视网膜的运动特征的提取与编码方法，但不以任何方式限制本发明的范围。采用一个简单的多传感器包含视觉、激光雷达、惯性导航的里程计系统的来实现位姿计算和运动恢复。

图1系统定位简易示意图，如图1所示，摄像机从已知初始位置1运动到位置2，其中n表示帧数，n＝0表示第0帧，T₀表示第0帧摄像机位姿对应的变换矩阵，ΔT₀₁表示第0帧到第1帧的相对变换矩阵，Δt₀₁为ΔT₀₁分解得到的平移向量，表示两帧之间的三维坐标变换向量。通过算法计算得到ΔT₀₁，接着通过式T₁＝ΔT₀₁T₀便可计算得到下一帧位姿对应的变换矩阵，其它T₂、T₃等帧的运算方式相似，本方案最终编码上传Δt_ij，i、j分别表示第i帧和第j帧。

在具体实施例中，本发明的移动摄像机的数字视网膜的运动特征的提取与编码方法，包括以下步骤：

1)视觉里程计系统初始化：读入2帧视频图像数据，提取图像数据的特征点，并进行特征匹配。根据特征点匹配估计视频图像帧之间的相对运动，得到初步的位姿，并通过三角化得到特征点的世界坐标，构建局部地图，得到3D-2D匹配点。如果图像匹配的特征点的数量太少，基于灰度不变假设，使用直接法，快速求解相机位姿，增强系统的鲁棒性。

2)对IMU读取的数据进行预处理：IMU预积分，构建图像关键帧之间的位姿约束方程。

3)激光雷达通过发射激光束探测目标的位置、速度等特征量，激光雷达通过测量激光的出射和反射数据生成点云图。首先扫描器对点云和IMU数据进行预处理，提取点云数据中尖锐的边和平整的面，并分类、去除畸变、排除瑕点，对其进行匹配得到3D-3D点对，以便于进行ICP求解。

4)视觉传感器、惯性传感器、激光雷达联合初始化：将准确的视觉数据(但缺少尺度)和快速的IMU数据(需要重力加速度又存在零偏误差)以及更加精确的激光雷达数据相结合，对IMU、视觉传感器和激光雷达进行数据对齐，融合数据。

5)通过最小二乘法进一步优化相机位姿：通过构建视觉传感器得到的重投影误差方程和IMU得到的关键帧之间的约束方程以及激光雷达构建的3D-3D匹配误差方程，用最小二乘法优化相机位姿。使得相机、IMU和激光雷达之间的数据相互影响，相互补充，从而能够得到更精确的位姿。当视觉传感器运动到视觉特征缺失的地方时，视觉传感器采用直接法替代原先对物体特征依赖较大的特征点法，构建新的光度误差方程，替代原先联合误差方程中的重投影误差方程，使得系统在周围图像特征缺失的情况下依旧能够运行。

6)将系统求得的视觉传感器绝对位姿转换为帧与帧之间的相对位姿：假设第i帧相对世界坐标系的变换矩阵为T_i，第i+1帧的变换矩阵为T_i+1，则i帧到i+1帧之间的相对变换矩阵T_ii+1为

通过这样的一系列运算便将摄像机相对世界坐标系的绝对位姿转换为了帧与帧之间的相对位姿。

7)对系统得到的摄像机帧与帧之间的相对位姿进行特征编码，嵌入数字视网膜中的特征编码流。

8)云端解码摄像头帧与帧之间的相对位姿，并融合GPS进行位置修正。

上述的步骤1)所述的视觉里程计系统初始化，其具体过程如下：

(1-1)图像特征点提取和计算

特征点由关键点和描述子两部分构成。首先对图像提取关键点。运用如下方式进行关键点提取。

a)在图像中选取像素p，假设它的亮度为I_p。

b)设置一个阈值T(I_p的20％)。

c)以像素p为中心，选取半径为3的圆上的16个像素点。

d)假如选取的圆上有连续的N个点的亮度大于I_p+T或小于I_p-T，那么像素p可以被认为是特征点。

e)循环以上四步，对每一个像素执行相同的操作。

f)通过以上步骤得到一系列角点后，首先指定最终要提取的角点数量N，对原始角点分别计算Harris响应值，然后选取前N个具有最大响应值的角点作为最终角点集合。

g)通过构建图像金字塔，对图像进行不同层次的降采样，以获得不同分辨率图像，然后在金字塔的每一层上检测角点来实现尺度不变性。接着使用灰度质心法，计算特征点的方向，使角点具有尺度不变性。

接下来进行描述子的计算。通过编码关键点附近的两个像素(p和q)的大小关系：如果p比q大，则取1，反之就取0。最终编码得到了256位的向量描述关键点。

(1-2)特征点匹配

如果此时是初始帧，需要首先进行摄像机初始化。考虑两个时刻的图像，如果在图像I_t中提取到特征点

m＝1，2，...，M，在图像I_t+1中提取得到/>

n＝1，2，...，N。通过暴力匹配的方法，即对每一个特征点/>

与所有/>

测量描述子的汉明距离，然后排序，取最近的一个作为匹配点。/>

(1-3)特征点匹配法求解相机位姿

假设经过特征匹配之后，得到的两个像素点p₁，p₂，根据对极几何约束得到：

上述公式中R表示旋转矩阵，t表示平移向量，这两个变量一起组成从世界坐标到相机坐标的变换矩阵，又称为相机的外参，另外K表示相机的内参，定义了相机的焦距和畸变参数等变量。

定义E＝t^R称为本质矩阵，使用8点法，求解E，然后对E进行奇异值分解，那么对于任何一个E可以得到两组，t和R的解。将任意一点带入4个解中，计算相机的深度，得到相机的优化位姿R、t。接着进行三角测量，得到单目相机下的特征点的深度信息，构建了特征点在世界坐标系当中的坐标。当新的一帧到来时，重新进行上述特征匹配步骤，最终构建出3D-2D匹配，方便后面用BA优化。

(1-4)直接法求相机位姿

图像中关键点的提取与描述子的计算是非常耗时的，成为制约vSLAM系统的瓶颈；稀疏的特征点与可能会丢失大部分可能有用的信息；某些单一场景下会出现输入图像特征缺失的情况。直接法根据像素的明暗变化估计相机的运动，根据使用的像素数量可以构建稀疏、半稠密、稠密的地图。基于灰度不变假设，通过优化相机位姿寻找和像素点p₁匹配的p₂，计算误差，因此上述问题转化为一个最小二乘问题：

其中ξ表示相机的位姿，I表示图像，i表示空间点，e表示图象上两点之间的亮度误差。通过后面的非线性优化方法便能求解出位姿。

上述步骤2)所述的IMU预积分，其具体过程如下：

(2-1)IMU测量得到数据

IMU测量得到两个东西，加速度a和角速度ω。并且IMU的测量数据中，除了存在白噪声以外，还存在特别的零偏bias，IMU的加速度计和陀螺仪的每个轴都用彼此相互独立的参数建模：

其中

表示角速度，右上角的B表示这是属于陀螺仪的测量数据。右下角的WB表示陀螺仪坐标系和世界坐标系之间的变换。b^g(t)、b^a(t)表示零偏，/>

表示加速度，

表示旋转矩阵，g^(w)是重力加速度，η^g(t)、η^a(t)表示噪音。

(2-2)差分方程表示的两个IMU数据之间的关系

通过对测量数据得到的加速度和角速度进行运算，构建了两个时刻之间的状态关系。

/>

IMU通过上个时刻的状态推算出了下个时刻的状态。这里的状态指的是旋转角度R，速度v，位置p，t+Δt表示下一个时刻状态量。这样在已知t时刻状态的情况下，可以通过IMU的数据推算t+Δt时刻的状态。

(2-3)两个关键帧之间的积分形式

为了以后将摄像机数据和IMU数据进行融合，继续进行积分，构建两个关键帧之间的关系。

其中δφ_ij、δv_ij、δp_ij为误差项，这样在已知i帧时刻状态的情况下，可以通过IMU的数据推算j帧时刻的状态，这样便完成了预积分部分。通过IMU构建了两个关键帧之间的关系，这个约束方程帮助在后面同时优化摄像机数据和IMU数据。

上述步骤4)所述的视觉传感器、惯性传感器、激光雷达联合初始化，其具体过程如下：

(4-1)陀螺仪偏置标定

通过联立N-1个相机做旋转矩阵的最小二乘法，然后通过高斯牛顿法得到IMU的零偏b^g，求得零偏b^g后将其带入预积分公式。

(4-2)尺度恢复和重力加速度预估

首先建立预估状态向量X＝[s，g_w]，其中s是尺度，g_w是世界坐标系下的重力加速度也是第一个相机坐标系下的重力加速度。使用了三个关键帧联立视觉和IMU预积分数据构建一个AX＝B的最小二乘超定方程，至少需要四个关键帧，采用奇异值分解求最小二乘问题。

(4-3)加速度计偏置标定和尺度重力加速度优化

上面计算过程没有考虑到加速度计偏置的影响，使得重力加速度和加速度计偏置难以区分，很有可能会导致系统病态性问题，假设重力加速度G是一个不变值，优化重力加速度的方向。

(4-4)对摄像机、IMU和激光雷达进行数据对齐

系统中三个传感器得到的数据还需要进一步对齐。因为三个传感器采集数据的频率不同，且由于激光雷达采集的点云帧频率为5～20Hz，而上述图像处理过程仅取关键帧，因此仅在关键帧上关联点云、图像和IMU数据。

上述步骤5)所述的最小二乘法优化相机位姿，其具体过程如下：

(5-1)对每一帧数据构建共同误差方程

通过BA共同优化两个传感器的误差，从而实现单目视觉传感器和惯性传感器的数据融合。误差方程如下：

其中θ表示待优化变量，i，j分别表示上一帧和当前帧。∑_kE_proj(k，j)表示视觉传感器构建的重投影误差，E_IMU(i，j)表示IMU构建的约束误差。E_ICP(i，j)表示通过激光雷达构建的3D-3D匹配误差。

(5-2)视觉传感器误差方程

视觉传感器的误差是一个PnP问题，前面成功构建了3D-2D匹配点，把PnP问题建模成一个李代数上的非线性最小二乘问题，考虑n个三维点P及其投影，计算相机的位姿R、t，李代数表示为ξ，假设三维点的坐标是P_i，像素坐标是u_i，那么有：

s_iu_i＝Kexp(ξ^)Pi#(式13)

其中s是一个常数，表示三维点在相机坐标系中的深度值，K是相机内参，ξ^是位姿对应的反对称矩阵。因为相机位姿不确定，又存在噪声，这个等式存在一个误差，需要对误差求和构建最小二乘问题：

最小二乘的优化是一种无约束的优化问题，为了使用高斯牛顿法，列文伯格等优化算法进行求解，分别求误差项对于位姿与空间点的导数得到：

其中[X′，Y′，Z′]表示原三维点的坐标，f_x，f_y，c_x，x_y均是相机的内参。且有如下等式成立：

这个优化问题称为Bundle Adjustment，使用g2o优化库进行求解。

(5-3)惯性传感器的误差方程

/>

通过IMU得到了关键帧之间的

同时有视觉传感器通过BA优化得到的ΔR_ij，这样又得到了一个新的关于R的优化方程。

(5-4)激光雷达的3D-3D匹配误差方程

通过激光雷达，匹配好了一组3D点：

P＝{p₁，...，p_n}，P′＝{p′₁，...，p′_n}#(式20

根据这组3D-3D匹配点，构建误差方程：

此时的T需要同时最小化重投影误差和IMU形成的预积分约束方程以及3D-3D点构建的匹配方程。因此IMU数据就和视觉传感器以及激光雷达的数据融合在了一起。

图2系统工作原理图－特征点法；如图2所示，此时系统如图所示，初始化2与空间

点1之间是三角测量，关键帧(i)3和关键帧(i+1)4两个关键帧之间形成了3个约束，

并且空间点1和关键帧(i+1)4之间也有一个重投影误差约束。

(5-5)直接法构建的共同误差方程

若图像的特征点缺少，则摄像头转为使用直接法估计位姿，此时的共同误差方程如下：

其中E_optical(i，j)为两帧之间的光度误差，其公式如下：

其中ξ表示相机的位姿，I表示图像，e表示图象上两点之间的亮度误差，因此系统即使在图像特征缺失的情况下，继续工作。

图3系统工作原理图－直接法，如图3所示，系统工作原理图－直接法与图2系统工作原理图－特征点法的区别在于：空间点1和关键帧(i+1)4之间没有重投影误差约束。关键帧(i)3和关键帧(i+1)4之间形成了三个约束。

图4为本发明移动摄像机的数字视网膜的运动特征的提取与编码方法的系统流程图，如图所示，本实施例中的提取与编码方法包括：

(1)传感器系统初始化。首先是摄像机系统初始化，视觉传感器的初始化步骤如下：

输入视频图像I₀和下一帧I₁，利用特征点匹配算法进行两帧图像的匹配，然后求解基础矩阵，从而得到两帧之间的相对位姿(R₀，T₀)，然后利用三角化，求得两帧匹配特征点的深度，构造若干地图点MapPoints，包含该点在世界坐标系下坐标和多个描述子，放入局部地图，然后采用BA算法，优化位姿和地图点数据。对于有IMU传感器的系统，可以添加尺度s和重力加速度g，然后用至少4帧联立视觉数据构建最小二乘超定方程求解尺度恢复的相对位姿(R₀，T₀)。激光雷达不用初始化，但是需要与IMU和视觉图像数据进行时间轴对齐，这里对仅对关键帧对齐，然后提取特征点，进行点云特征匹配，利用非线性优化求得相对位姿约束视觉和IMU的观测数据。传感器初始化后，结合给定初始的精确世界坐标，求得上面帧的世界坐标系下的位姿和相对运动信息，然后将前面几帧作为关键帧插入局部关键帧集合S。

(2)对于接下来的每一帧I_t，这里以视觉传感器为主，其他传感器为辅助信息,包括IMU的预积分数据和激光雷达的点云帧。采取从以下三种策略中选择一种获得当前帧位姿，以增加系统的鲁棒性和稳定性。

(2-1)跟踪方式：假设相机匀速运动，那么根据前一帧的运动速率乘上上一帧的位姿获得当前帧的预测位姿，然后根据预测位姿，将上一帧包含的地图点根据位姿投影到当前帧，在邻近范围进行匹配搜索，获得匹配的2D特征点，获得一些匹配点之后，再利用BA算法优化位姿。在有IMU的情况下，相机的运动信息从IMU测量得到,并通过预积分的方式获得相对运动信息，然后作为约束加入BA算法一起优化。

(2-2)当匀速运动假设失效，即投影后匹配的特征点数量太少后，采取重新和关键帧集合中时间最近的关键帧(称为上一关键帧)利用词袋的方式进行特征点匹配，重新获得上一关键帧的地图点和当前帧2D点的匹配集合，将其作为约束条件，然后用上一帧的位姿作为初始值进行BA优化。

(2-3)如果上述两种情况均得不到足够的匹配点，那么需要重定位，即采用遍历局部关键帧集合S，利用词袋模型，判断是否有相似的关键帧，如果有，则利用EPnP算法求解位姿，重定位成功。

(2-4)否则重定位失败，相机位置跟丢，根据GPS重新获得当前位置信息，回到第一步，重新执行系统初始化过程。

(3)在由局部关键帧集合S维护的局部地图中，获得更多的地图点，并且判断是否与当前帧的特征点匹配，利用更多的匹配点信息的重投影误差和多帧的IMU测量误差，再次利用BA优化当前帧的位姿。

(4)维护长度为N的关键帧集合[K₀，K₁，...，K_n-1，K_n]，即采用滑动窗口的方式，判断当前帧是否作为关键帧加入关键帧集合S，判断条件包括时间间隔适当，特征点匹配数量适当，局部地图维护线程空闲等条件。

(5)处理点云帧，对于每一点云帧，先提前特征，主要包括多组边线和平面，然后和局部地图中的点云进行特征匹配，采用ICP算法从3D特征点中估计相对运动。对于新的特征点，暂时加入到局部地图，等待RGB信息进行补充优化；对于已有的特征点，利用BA进行位姿优化，使得激光雷达的点云图和视觉点云图融合，位姿信息更为准确。

(6)当有新的关键帧加进来后，在局部关键帧集合S中维护一个局部地图，当前关键帧与地图中的地图点进行特征匹配，生成当前帧的地图点，然后在局部地图中扩充地图点，具体做法是

(6-1)从与邻近帧做特征点匹配，然后三角化获取深度，从而获得一些新的地图点，生成了当前帧大量地图点之后，进行地图点融合和剔除，并且更新每个地图点最佳描述子等信息。

(6-2)然后结合新的地图点，当前关键帧的位姿，优化视觉重投影误差和地图中邻近帧的IMU测量误差，使用算法同样是BA优化。

同时需要处理激光点云的临时特征点，对其进行投影匹配，补充二维图像信息，然后去除掉二维图像信息缺失或者不完整的点，作为最终的特征点，等待后续优化。

最后是局部地图中的关键帧剔除，防止局部地图过大，优化时间太长，做法是丢弃时间戳最早的关键帧，维护固定长度的关键帧集合S，然后从局部地图中删除相应的只有丢弃帧对应的地图特征点。

(7)位姿转换：将前面算法输出的绝对位姿转换成相对位姿，最终输出帧与帧之间的相对位姿(Δx，Δy，Δz，Δα，Δβ，Δγ)。其中(Δx，Δy，Δz)表示相对位移向量，(Δα，Δβ，Δγ)表示相对旋转向量。

(8)均匀量化：设[-1，1](单位m)为位移向量范围。[-0.6，0.6](单位°)为旋转角范围。使用不同bits对groundtruth值均匀量化，再将量化后的相对位姿转换成绝对位姿，比较其与真实位姿之间的APE(Absolute Pose Error)，得到量化误差。另外我们对算法的输出结果进行同样步骤的量化，因为算法本身与真实值之间存在误差，因此其总体误差等于量化误差加上算法误差。我们最终选用8bits对输出相对位姿结果进行均匀量化。不同bits的量化误差表,如表1所示。

表1：量化误差和总体误差表

图3显示了量化误差和累积误差和编码比特数的关系。表1中左1列表示量化位数。左2表示直接对数据集groundtruth相对位姿进行量化后，恢复成绝对位姿得到的量化误差值。可以看到随着编码比特数增多，误差降低越来越接近0，原因是数据集groundtruth本身没有算法误差。左3列同为数据集groundtruth误差，不过计算的是其角度误差，可以看到其随编码比特数增多而逐渐接近0。右1表示总体位移误差，可以看到其随编码比特数增多逐渐接近0.041m，原因是算法本身存在一个位移误差，这靠增大编码比特数是无法弥补的。

图6为8比特均匀量化的算法轨迹图，如图6所示，图中的虚线表示真实轨迹，实线表示算法的预测轨迹被8比特均匀量化后的结果。该图表示当使用8比特进行均匀量化时，预测轨迹基本重合。

(9)将量化后的比特流嵌入数字视网膜特征流中。

图5为本发明的特征编码示意图，如图5所示，包括数字视网膜特征和摄像机运动特征等。

(10)云端解码获得每帧的相对位姿，按需计算世界坐标系下的位姿，结合有效的GPS信息修正位姿，确定最终的精确地理位置

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (5)

1.一种移动摄像机的数字视网膜的运动特征的提取与编码方法，通过视觉里程计估计移动摄像机所拍摄图像之间的运动信息，并融合绑定在摄像机上多传感器得到的运动信息，通过对运动信息进行处理，得到每一帧或关键帧视频图像的相对运动位姿，然后将运动位姿与对应的图像特征一起编码上传到云端，在云端基于运动位姿编码信息推算所需视频图像的地理位置信息，包括如下步骤：

1)视觉里程计系统初始化：使用特征点法初始化相机位姿并构建局部地图，得到3D-2D匹配点，若周围环境特征点数量偏少，则使用直接法求解相机位姿，得到初始帧之间的2D-2D匹配点；

2)IMU预处理：IMU预积分，构建图像关键帧之间的位姿约束方程；

3)激光雷达测量数据，对3维点云图进行特征匹配，得到3D-3D点对；

4)视觉传感器、惯性传感器、激光雷达联合初始化：对IMU、视觉传感器和激光雷达进行数据对齐，融合数据；

5)优化相机位姿：通过重投影误差方程和IMU预积分约束方程以及激光雷达构建的3D-3D匹配误差方程，用最小二乘法优化相机位姿，若相机运动到特征缺失地方时，则使用直接法得到的光度误差方程替代源重投影误差方程；

6)将相机绝对位姿转换为相对位姿；

7)对相对位姿进行编码，上传云端；

8)云端解码，并修正。

2.根据权利要求1所述的提取与编码方法，其特征在于：上述步骤1)所述的视觉里程计系统初始化，其具体过程如下：

1-1)特征点提取：提取关键点和计算描述子，并匹配特征点；

1-2)特征点计算相机位姿：通过特征点法得到的匹配点，通过求解本质矩阵得到相机位姿；

1-3)直接法计算相机位姿：若相机运动到特征缺失的地方，则采用直接法构建两帧之间的光度误差方程，通过后面提出的非线性优化方法求解出位姿。

3.根据权利要求1所述的提取与编码方法，其特征在于：上述步骤2)所述的IMU预积分，其具体过程如下：

2-1)IMU测量得到数据，得到加速度a和角速度ω；

2-2)IMU构建帧与帧之间的约束方程：通过积分公式，对加速度和角速度进行积分，得到帧与帧之间的约束方程：

4.根据权利要求1所述的提取与编码方法，其特征在于：上述步骤4)所述的视觉传感器、惯性传感器、激光雷达联合初始化：对IMU、视觉传感器和激光雷达进行数据对齐，融合数据步骤是：

4-1)陀螺仪偏置标定、加速度计偏置标定和尺度重力加速度优化：通过联立N-1个相机做旋转矩阵的最小二乘法，然后通过高斯牛顿法得到IMU的零偏，并假设重力加速度G是一个不变值，优化重力加速度的方向；

4-2)摄像机、IMU和激光雷达进行数据对齐：对上述过程仅提取关键帧，仅在关键帧上关联点云、图像和IMU数据，实现数据对齐。

5.根据权利要求1所述的提取与编码方法，其特征在于：上述步骤5)所述的最小二乘法优化相机位姿，其具体过程如下：

5-1)构建摄像机、IMU、激光雷达共同误差方程；

通过BA共同优化两个传感器的误差，从而实现单目视觉传感器和惯性传感器的数据融合，误差方程如下：

其中θ表示待优化变量，i,j分别表示上一帧和当前帧，

分别表示旋转矩阵、位移向量、速度向量以及两个IMU偏置；∑_kE_proj(k,j)表示视觉传感器构建的重投影误差，E_IMU(i,j)表示IMU构建的约束误差；E_ICP(i,j)表示通过激光雷达构建的3D-3D匹配误差；

5-2)联合求解优化位姿，通过最小二乘法，求得误差方程相对于位姿的导数，然后以高斯牛顿法求解相机位姿。

Images