CN114581517A - 一种针对复杂光照环境的改进型vins方法 - Google Patents

Abstract

本发明公开了一种针对复杂光照环境的改进型VINS方法，首先通过初始化过程估计相机响应函数，这一过程可以对相机成像过程进行建模和标定，之后利用该函数将光流过程从位姿与灰度的关系拆解为位姿与曝光参数以及辐照度的关系，从而能够在这一过程中估计曝光参数对于位姿估计带来的影响。通过这种方法可以将复杂光照引发的相机参数的变化整合到整体的VINS系统位姿估计中，从而使系统适应环境。最后通过真实实验使用本发明算法和传统VIINS算法对比，证明了本算法的可行性和有效性，从而完成了对基于传统VINS算法的复杂光照环境下的改进型SLAM系统的实现。

Description

一种针对复杂光照环境的改进型VINS方法

技术领域

针对传统VINS算法在复杂光照环境中位姿估计不准确的问题，本发明设计了一种基于传统VINS系统的、对于复杂光照环境更鲁棒的改进型VINS系统。该方法通过估计相机成像响应函数，将传统光流中的灰度误差进一步拆分为辐照度误差，同时将相机将现实中真实的场景采集成为视觉信息过程中的曝光参数加入视觉数据关联过程，同时进行数据关联与估计曝光信息，改善了视觉信号在复杂光照环境下的质量，从而使得整体改进型VINS系统在复杂光照环境中更鲁棒。

背景技术

导航就是正确地引导载体沿着预定的航线、以要求的精度、在指定的时间内将载体引导至目的地的过程。多年以来，惯性导航单元已经十分成熟并成功的应用于诸如导弹舰艇航空航天等多方面应用，特别是在GPS信号受到较大影响是尤为重要。惯性导航系统是一种自主式的导航系统，在工作时不依靠外界信息，也不向外界辐射任何能量，隐蔽性好、抗干扰性强，能够全天时、全天候为载体提供完备的运动信息。然而大多数高精度惯性导航，精度较高的同时占地面积较大且成本较高。

近些年来，随着微电子技术的发展，通过微电子技术实现的低成本陀螺仪和加速度计单元使得惯性导航单元更多的应用与各个领域。然而，低成本惯性单元在测量中更容易受到噪声的干扰。为了弥补惯性导航单元低成本化带来的精度损失，许多解决方案选择了采用视觉测量模块对惯性单元进行一定的补偿和纠正，视觉测量模块成本低体积小，能够很好的与惯性模块集成在一起。单目视觉slam和低成本惯性slam相融合可以很好的弥补对方的缺陷。

通过视觉传感器获取机体位姿信息的实现方法主要分为直接法与特征点法两类。直接法通过假设视觉传感器获取的图像流中对应点的灰度不变，从而优化对应点的光度误差来获取机体的位姿变化。这种方法具有恢复稠密地图的可能，但是通常需要计算量大耗时较长。特征点法通过计算图像梯度等方式选取关键点，通过对应关键点匹配得到机体的位姿变化。然而仅有关键点很多时候无法描述复杂的图像信息。为此，引入了描述子描述特征点周围图像特征，如著名的SIFT、SURF、ORB、FAST。但是描述子的匹配计算过程其精度与速度无法兼得。

目前的主流视觉惯性SLAM方法中，为了充分利用IMU信息高帧率的优势，也为了能够满足现有图像流的实时帧率，多采用半直接法处理图像数据关联问题。该方法只进行角点检测计算关键点不计算描述子，用光流追踪关键点的运动。这种方法的好处在于光流计算通常较描述子的计算耗时更短，使得整体系统实时性更好并能够将更多的计算资源放在整体优化层面提高整体系统位姿估计精度。然而光流法对图像灰度变化鲁棒性较差，光照和相机曝光等会对图像灰度产生影响的因素极大的影响了视觉信息的精度。由于传统VINS系统采用该方法进行前端数据关联，所以在光照复杂环境中系统的精度和稳定性都会受到极大的影响。

发明内容

本发明为了解决现有系统对于复杂光照环境不适应这一问题，对灰度变化进行估计并补偿，提高机体搭载的系统在该环境中的鲁棒性。许多研究者提出采用光度标定算法用来解决这个问题。但是现行的光度标定算法主要针对直接法设计，由于要同时计算曝光时间与每个像素的辐照度导致优化向量很大，从而导致曝光时间计算速度略慢。对于的相机帧率30H_z左右的VINS算法，很难满足在线运行的需求。本文提出的针对机体行进过程中图像出现不正常的灰度变化的补偿方案对于机体在光照变化的环境中运行的稳定性有着极大的提高且运行速度能够满足相机帧率要求。

1.系统初始化过程中标定相机响应函数模型

相机的成像过程一般分为图像获取部分和图像后处理部分，场景物体吸收光能并遵循光学原理反射到镜头中，通过各种传感器与光学器件转化为一组图像序列。会对位姿估计产生不良影响的主要是第二部分图像后处理部分，该部分中相机传感器或光学元件的性能和设置会直接影响到图像亮度，与直接法匹配过程中的灰度不变假设相冲突，极大的影响了位姿估计的质量。

为了矫正并估计相机成像过程，本发明提出的算法需要在初始化过程中对相机成像模型进行标定，以提高系统运行过程中在线光学补偿的运算速度。

相机成像过程可以抽象为：(1)场景中的物体吸收光能后反射出一部分光能，称为辐照度B(x)(2)场景辐照度B(x)通过镜头被相机中成像阵列所吸收(传统相机的感光元件是胶卷，数码相机的感光元件一般是CCD、CMOS传感器)(3)通过曝光时间等参数控制成像阵列吸收的能量总量。于是，为了估计相机对图像的影响，引入相机成像模型：

I(x)＝f(tV(x)B(x)) (1)

其中，t是相机曝光时间，整张图像具有相同的曝光时间，y(x)表示镜头畸变，与镜头上的透镜形态以及折射率有关，B(x)表示成像平面对应的场景中的辐照度，仅与场景中具体物质自身的性质有关，在光源不变的情况下辐照度B(x)不会发生变化。f()代表映射过程，该过程是一个非线性过程，包含了不同相机个体之间的差异或者相机制造工艺带来的对曝光过程的影响，I(x)是输出的图像，x点的像素灰度值。

标定相机响应函数模型的过程就是估计f()(或是f^-1())的过程。在相机模型中，V(x)是镜头固有属性，仅与镜头的物理属性有关，不会随着相机曝光参数改变而改变。因此，在模型设计中令B(x)吸收V(x)，得到宽松的辐照度B′(x)，假设B′(x)＝V(x)B(x)，相机模型变为：

I(x)＝f(tB′(x)) (2)

对于第i张图像，有一个假设的f^-1()，可以得出以下等式：

即，通过函数f^-1()可以将图像在位置x处的灰度值变换为曝光时间参数与宽松辐照度的乘积，同时由于变换带来的误差，假设变换后的值与真值之间有一个误差w_i，该误差为一个服从高斯分布的噪声

因此，可以构造一个最小二乘问题估计函数f^-1()如下：

由于I(x)的函数值范围是0到255的离散整数值，f^-1(I_i(x))对应有限个映射关系(总共256个)，待解的未知变量是每个场景点的辐照度和256个映射关系f^-1()。在响应函数的校准过程中，应使相机保持不动，通过拍摄一系列不同曝光时间的图像，可以得到最优解。该过程中输出的图像流，每一个都已知曝光时间t_i，并且相机保持不动，图像中的每一个像素x对应的场景点不变，每一个等式中每一个场景点的辐照度B′(x)不变，因此未知量仅仅是f^-1()与场景点的辐照度。对于实际图像来说，未知量个数等于像素数量加256个，采集足够多不同曝光时间的图像可以构建超定方程用以解得最接近真实值的相机响应函数f^-1()。

2.运行过程中估计曝光时间

本发明提供了一种在系统运行过程中同步估计相机曝光时间的算法，该算法是基于LK光流进行针对性改进而来的。

光流法是一种描述像素随时间在图像之间运动的方法。其中，以LK光流为代表的仅追踪部分像素运动的稀疏光流能很好的用于特征点跟踪。为使其算法成立，LK光流需要满足三个假设：

1灰度不变假设，即被用于光流法求解过程中的像素点其灰度值不随时间发生变化。

2微动假设，即相邻两帧图像中被追踪像素不会出现剧烈位置变化。

3空间一致假设，即被追踪像素的邻域像素在下一帧仍是其邻域像素。

在满足这三个假设的情况下，有两帧连续一维图像：

其中，F(x)代表上一帧图像点x，F(x+h)代表下一帧图像中的x点在这一帧中的灰度，h代表位移，x与h代表着图像中的位置信息，F′(x)代表图像梯度。当相邻两帧图像之间没有剧烈变化的时候，即满足微动假设，h足够小的时候，上式成立，使得系统能够将图像梯度与相机机体运动建立联系。

当被追踪图像点x在被追踪过程中灰度值不变，即满足灰度不变假设时，有F(x+h)＝G(x)，上式变为：

将方程变形，突出未知量h，有：

利用上述方法可以求解两幅图像对应点的位移。

当被追踪图像点x周围的图像点运动一致时，即满足空间一致假设时，有：

通过超定方程可解出最符合实际的h。

将这一原理推广到连续二维图像序列。因为灰度不变假设表明，当图像序列第t帧上的点(x，y)对应的场景点经过时间

后位于图像序列帧

上的(x+Δx，y+Δy)位置，并且两个点的灰度值仍然相等。建立等式如下：

因为微动假设，上述方程的右端可以被泰勒展开：

当运动较小时，可忽略高阶无穷小，将方程4带入方程3，建立等式如下：

等式两端同时除以δt，同时令

有：

I_xu+I_yv＝-I_t (14)

其中u和v是连续的光流。I_x和I_y是点处沿x和y方向的图像梯度。根据空间一致性假设，图像上对应像素周围的区域之间的光流值为常数。假设该区域大小为m×m，其包含的像素数为n＝m×m，建立等式如下：

构造超定方程有：

最优解可由上述方程求解，即该邻域内最有可能的光流值。

在传统VINS系统运行过程中由于其图像序列来自于机体运动，后两项假设一般较为容易满足，但是同样由于传统vINS系统运行过程中的机体运动，机体移动过程中光照环境常常会出现变化，因此灰度不变假设常常会受各种因素影响而不能满足。

由11式

将机体运动与图像灰度联系起来。同时，由3式4式可求出一个符合条件的f^-1()使得f^-1(I_i(x))≈t_iB′(x) (17)

利用17式展开图像流I(x，y，t)可得

f^-1(I(x，y，t))≈eB′(x，y，t) (18)

式中，为了区分图像流时间戳t，使用e表示曝光时间。利用18式展开11式

eB′(x，y，t)＝(eΔexp)B′(x+Δx，y+Δy，t+Δt) (19)

式中，Δexp是两个相邻帧之间曝光时间的变化。令B′_e＝eB′时，泰勒展开公式19的右侧，得到如下方程：

将20式带入19式，得到形如13式的21式：

令

化简21式可得超定方程：

其中_u和_v是光流，_τ与曝光时间直接相关。通过上述公式，可以同时估计出曝光时间的变化量和在这个变化量下的姿势变化量。考虑到位姿估计的速度，它还可以为后端优化提供更高质量的图像，以解决构建地图时可能出现的问题。其中，由于状态_τ仅与曝光时间变化有关，通过22式可同步解得相机运行过程中的曝光信息。

附图说明

图1：相机成像过程流程图；

图2：系统流程图；

图3：曝光补偿图像流对比图；

图4：实验结果对比图；

具体实施方式

步骤1：搭建信息数据采集系统

依据各传感器之间的信息采集和传输方式，构建载有GPS，相机，IMU等传感器的多传感器的信息数据采集系统。

步骤2：系统初始化

启动并初始化系统，标定载体相机内参、IMU偏置、IMU坐标系(机体坐标系)与相机坐标系之间的转换矩阵等基本信息。

步骤3：相机初始化

在机体相同位姿状态下连续采集多组不同曝光时间的图像，并对采集到的图像进行处理，建立相机响应函数的代价函数，建立非线性优化过程。

通过上述方程求解f^-1()与B′(x)，分别求解代价函数对于两组未知量的偏导并令偏导等于零以得到局部最小值，有：

解得最优的f^-1()与B′(x)

步骤4：机体运动过程中曝光参数估计

读取相邻两帧图片，将数据导入22式

同时求解曝光参数τ与补偿后的光流估计u，u。

增益验证

为了评价文中提出的改进型VINS算法的性能，设计了一个在校园教学楼附近采集实际数据的装置，并利用改进型VINS算法和传统的VINS算法进行处理，然后对两者进行比较，说明本文提出的算法的优缺点。

为了验证算法在复杂光照变化情况下对系统精度的提高，选取了下午学校最高建筑周围采集数据。数据集周围的主建筑基本上对应于几种不同的光强度，构成了一个光照较为复杂的环境，在该环境中机体一共运行了两圈作为实验数据。

为了验证本发明对图像的补偿效果，本文选取图像流中存在明显问题的相邻图像分别进行灰度校正。从实验的视觉数据可以看出，摄像机自身的参数设置对图像流的获取确实有很大的影响。图像流中相邻两帧图像的灰度值存在显著差异，这是VINS算法无法估计的。这种差异导致视觉信息的可信度显著降低，本文提出的补偿方法后，图像中的这种差异被显著消除。

为了验证本发明对于整个视觉惯性SLAM系统位姿估计精度的提升，设计实验同时使用传统VINS系统与改进型VINS系统处理上述方法中采集的数据集。由于传统的VINS没有考虑其他问题引起的图像干扰，基于传统LK光流的视觉处理方法无法解决光线急剧变化时的一些问题。与传统方法相比，本文提出的算法减小了位姿估计的漂移，提高了位姿估计的精度。改进后的算法与传统算法相比，整体姿态估计更接近实际GPS值。与传统算法相比，三轴平均定位误差分别降低了9.3％、11.9％和1.6％。三轴稳定性分别提高了10.3％、9.5％、2.7％。

Claims (2)

1.一种针对复杂光照环境的改进型VINS方法，其特征在于：

为了估计相机对图像的影响，引入相机成像模型：

I(x)＝f(tV(x)B(x)) (1)

其中，t是相机曝光时间，整张图像具有相同的曝光时间，V(x)表示镜头畸变，与镜头上的透镜形态以及折射率有关，B(x)表示成像平面对应的场景中的辐照度，仅与场景中具体物质自身的性质有关，在光源不变的情况下辐照度B(x)不会发生变化；f()代表映射过程，I(x)是输出的图像，x点的像素灰度值；

标定相机响应函数模型的过程就是估计f()或是f^-1()过程；在相机模型中，V(x)是镜头固有属性，在模型设计中令B(x)吸收V(x)，得到宽松的辐照度B′(x)，假设B′(x)＝V(x)B(x)，相机模型变为：

I(x)＝f(tB′(x)) (2)

对于第i张图像，有一个假设的f^-1()，可以得出以下等式：

即，通过函数f^-1()可以将图像在位置x处的灰度值变换为曝光时间参数与宽松辐照度的乘积，同时由于变换带来的误差，假设变换后的值与真值之间有一个误差w_i，该误差为一个服从高斯分布的噪声

因此，可以构造一个最小二乘问题估计函数f^-1()如下：

由于I(x)的函数值范围是0到255的离散整数值，f^-1(I_i(x))对应有限个映射关系，待解的未知变量是每个场景点的辐照度和256个映射关系f^-1()；在响应函数的校准过程中，应使相机保持不动，通过拍摄一系列不同曝光时间的图像，可以得到最优解；该过程中输出的图像流，每一个都已知曝光时间t_i，并且相机保持不动，图像中的每一个像素x对应的场景点不变，每一个等式中每一个场景点的辐照度B′(x)不变，因此未知量仅仅是f^-1()与场景点的辐照度；对于实际图像来说，未知量个数等于像素数量加256个，采集足够多不同曝光时间的图像可以构建超定方程用以解得最接近真实值的相机响应函数f^-1()；

应用初始化过程中估计的相机响应函数f^-1()，可以得到在系统运行过程中同步估计相机曝光时间的算法，该算法是基于LK光流进行针对性改进而来的；

光流法建立等式如下：

因为微动假设，上述方程的右端可以被泰勒展开：

当运动较小时，可忽略高阶无穷小，将方程4带入方程3，建立等式如下：

等式两端同时除以δt，同时令

有：

I_xu+I_yv＝-I_t (14)

其中u和v是连续的光流；I_x和I_y是点处沿x和y方向的图像梯度；根据空间一致性假设，图像上对应像素周围的区域之间的光流值为常数；假设该区域大小为m×m，其包含的像素数为n＝m×m，建立等式如下：

构造超定方程有：

最优解可由上述方程求解，即该邻域内最有可能的光流值；

在传统vINS系统运行过程中由于其图像序列来自于机体运动，后两项假设一般较为容易满足，但是同样由于传统VINS系统运行过程中的机体运动，机体移动过程中光照环境常常会出现变化，因此灰度不变假设常常会受各种因素影响而不能满足；

由11式

将机体运动与图像灰度联系起来；同时，由3式4式可求出一个符合条件的f^-1()使得

f^-1(I_i(x))≈t_iB′(x) (17)

利用17式展开图像流I(x，y，t)可得

f^-1(I(x，y，t))≈eB′(x，y，t) (18)

式中，为了区分图像流时间戳t，使用e表示曝光时间；利用18式展开11式

eB′(x，y，t)＝(eΔexp)B′(x+Δx，y+Δy，t+Δt) (19)

式中，Δexp是两个相邻帧之间曝光时间的变化；令B′_e＝eB′时，泰勒展开公式19的右侧，得到如下方程：

将20式带入19式，得到形如13式的21式：

令

化简21式可得超定方程：

其中u和v是光流，τ与曝光时间直接相关；通过上述公式，可以同时估计出曝光时间的变化量和在这个变化量下的姿势变化量；考虑到位姿估计的速度，它还可以为后端优化提供更高质量的图像，以解决构建地图时可能出现的问题；其中，由于状态τ仅与曝光时间变化有关，通过22式可同步解得相机运行过程中的曝光信息。

2.根据权利要求1所述的一种针对复杂光照环境的改进型VINS方法，其特征在于：该方法的具体步骤如下：

步骤1：搭建信息数据采集系统

依据各传感器之间的信息采集和传输方式，构建载有GPS，相机，IMU等传感器的多传感器的信息数据采集系统；

步骤2：系统初始化

启动并初始化系统，标定载体相机内参、IMU偏置、IMU坐标系与相机坐标系之间的转换矩阵等基本信息；

步骤3：相机初始化

在机体相同位姿状态下连续采集多组不同曝光时间的图像，并对采集到的图像进行处理，建立相机响应函数的代价函数，建立非线性优化过程；

通过上述方程求解f^-1()与B′(x)，分别求解代价函数对于两组未知量的偏导并令偏导等于零以得到局部最小值，有：

解得最优的f^-1()与B′(x)

步骤4：机体运动过程中曝光参数估计

读取相邻两帧图片，将数据导入下式

同时求解曝光参数τ与补偿后的光流估计u，v。

Images