CN114549656A - Ar眼镜相机与imu的标定方法 - Google Patents

Abstract

本发明涉及一种AR眼镜相机与IMU的标定方法，包括采用应用同一世界坐标系的相机坐标系经过一体的IMU和相机多次移动拟合求出相机坐标系到IMU坐标系的变换矩阵T；本发明通过先标定出相机的内参数，再由机器人的空间矩阵变换理论转换成求解AT＝TB问题，解决了现有技术中对图像重投影误差的计算方法复杂且优化参数众多的技术问题。本发明保护了相机拍照一次同时IMU积分多次的标定方法，减少了IMU和图像的重投影误差计算、减少了IMU和相机时间延时的校准参数，减少了IMU和摄像机移动的次数，减少了IMU和相机的标定时间。

Description

AR眼镜相机与IMU的标定方法

技术领域

本发明涉及图像处理领域，尤其涉及一种AR眼镜相机与IMU的标定方法。

背景技术

SLAM，全称叫Simultaneous Localization and Mapping，中文叫同时定位与建图。就是一个传感器在不停的运动，并在实时的扫描周围的地形。目前基于SLAM技术开发的代表性产品有微软的Hololens和谷歌的Project Tango。但现有技术中在AR眼镜中单目SLAM处在初始化的尺度问题和追踪的尺度漂移问题，而双目也存在精度不高和鲁棒性不好的问题。IMU(Inertial Measurement Unit)，中文叫惯性测量单元，惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装置。一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。

现在常用的是采kalibr(视觉-惯性标定工具箱)标定原理是来对图像的重投影误差进行计算，但该方法计算复杂且优化参数众多，计算效率低。

发明内容

针对上述现有技术中存着的不足之处，本发明提供了一种AR眼镜相机与IMU的标定方法，解决了现有技术中对图像重投影误差的计算方法复杂且优化参数众多的技术问题。

本发明公开了一种AR眼镜相机与IMU的标定方法，包括采用应用同一世界坐标系的相机坐标系经过一体的IMU和相机多次移动拟合求出相机坐标系到IMU坐标系的变换矩阵T；

T_imu1×T×T_c1×P₁＝T_imu1×T₁×T_imu2×T×T_c2×P₂ (1)

其中，Timu₁为AR模块位置1时的IMU坐标系，Tc₁为位置1相机坐标系；Timu₂为AR模块位置2时的IMU坐标系，Tc₂为位置2相机坐标系；T₁为IMU从位置1移动到位置2的变换矩阵；P₁为一个图像特征点在相机坐标系T_C2下的坐标点；P₂为一个图像特征点在相机坐标系T_C2下的坐标点。

本发明AR眼镜相机与IMU的标定方法进一步改进在于，相机坐标系到IMU坐标系的变换矩阵：

其中r₁₁，r₁₂，r₁₃，r₂₁，r₂₂，r₂₃，r₃₁，r₃₂，r₃₃代表旋转矩阵；p₁，p₂，p₃代表平移矩阵x,y,z分量；

按照公式(9)和(10)设定待求的变换矩阵：

其中，T’代表相机坐标系到IMU坐标系的变换矩阵，R’代表相机坐标系到IMU坐标系变换矩阵的旋转矩阵，

R_z(θ′)分别代表相机坐标系到IMU坐标系的变换矩阵的x轴的旋转矩阵、y轴的旋转矩阵，Z轴的旋转矩阵；

θ′,p_X′,p_y′,p_z′表示相机坐标系到IMU坐标系的变换矩阵的x,y,z坐标轴的旋转和x,y,z坐标轴的平移量；

相机坐标系到IMU坐标系的变换矩阵可转换成6个代求的未知数；

采用非线性函数的最小二乘处理方法来求取18个未知数，其中6个未知数为相机坐标系到IMU坐标系的变换矩阵；

其中，相机坐标系到物体坐标系的变换矩阵为(R，t)，其中矩阵(R,t)可分解成绕x，y，z坐标轴的旋转，则总的旋转R是矩阵

R_z(θ)乘积：

其中，

t为t＝(p_x,p_y,p_z)^T(10)

其中

θ，p_x，p_y，p_z代表相机坐标系到物体坐标系绕x坐标轴的旋转角,相机坐标系到物体坐标系绕y坐标轴的旋转角,相机坐标系到物体坐标系绕z坐标轴的旋转角，代表相机坐标系到物体坐标系x坐标轴平移量，代表相机坐标系到物体坐标系y坐标轴平移量,代表相机坐标系到物体坐标系z坐标轴平移量；

R_z(θ)代表相机坐标系到IMU坐标系的变换矩阵的x轴的旋转矩阵、y轴的旋转矩阵，Z轴的旋转矩阵；

变换理论IMU和相机同时经过一次运动则相机坐标系到物体坐标系(相机标定板)产生两个相机坐标系到物体坐标系T₁₁和T₁₂为12个待求的未知数。

本发明和已有技术相比较，其效果是积极和明显的。本发明通过先标定出相机的内参数，再由机器人学的空间矩阵变换理论转换成求解AT＝TB问题，解决了现有技术中对图像重投影误差的计算方法复杂且优化参数众多的技术问题。本发明保护了相机拍照一次同时IMU积分多次的标定方法，减少了IMU和图像的重投影误差计算、减少了IMU和相机时间延时的校准参数，减少了IMU和摄像机移动的次数，减少了IMU和相机的标定时间。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的AR眼镜相机与IMU的标定方法的原理图。

图2为本发明的AR眼镜相机与IMU的标定方法的相机坐标系到物体坐标系的变换矩阵(R，t)的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例中，以相机坐标系到物体坐标系的变换矩阵作为中间量来求取相机坐标系到IMU坐标系的变换矩阵，物体坐标系即相机标定板处，也即世界坐标系。

如图1所示，本发明提供了AR眼镜相机与IMU的标定方法，包括采用应用同一世界坐标系的相机坐标系经过一体的IMU和相机多次移动拟合求出相机坐标系到IMU坐标系的变换矩阵T；

T_imu1×T×T_c1×P₁＝T_imu1×T₁×T_imu2×T×T_c2×P₂ (1)

其中，Timu₁为AR模块位置1时的IMU坐标系，Tc₁为位置1相机坐标系；Timu₂为AR模块位置2时的IMU坐标系，Tc₂为位置2相机坐标系；T₁为IMU从位置1移动到位置2的变换矩阵；P₁为一个图像特征点在相机坐标系T_C1下的坐标点；P₂为一个图像特征点在相机坐标系T_C2下的坐标点。

通过IMU的测量模型公式(2)、(3)计算陀螺仪读数

和加速度计读数

η为白噪声、b缓慢变化传感器偏差，

为imu直接的陀螺仪读数，_Bw_WB(t)为陀螺仪真实的采集读数，

为imu直接的加速度计读数，_wa(t)加速度计真实的采集读数，

数为IMU坐标系到世界坐标的旋转矩阵。

通过运动积分模型公式(4)和(6)计算下一帧imu的旋转矩阵、下一刻imu的速度和下一刻imu的位置：

R(t+Δt)为下一帧imu的旋转矩阵，R(t)为当成帧的imu旋转矩阵。Exp为e的指数函数，

为真实的陀螺仪角加速度Δt为时间间隔；

v(t+Δt)为下一刻imu的速度，g为当地的重力加速度，

真实的加速度值；

p(t+Δt)下一刻imu的位置，p(t)为imu当前帧的位置，v(t)为imu当前的速度，R(t)为当成帧的imu旋转矩阵，

真实的加速度值。

通过公式(7)计算T₁为相机从imu₁位置移动到imu₂位置的变换矩阵：

R(t+Δt)为T1时刻的IMU旋转矩阵，p(t+Δt)T1时刻的IMU平移矩阵。

其中由公式(8)相机的针孔模型或得：

如图2所示，先用opencv(跨平台计算机视觉和机器学习软件库)标定好针孔模型相机的内参数f_x，f_y，c_x，c_y，f_x，f_y为相机焦距(像素单位)c_x，c_y为相机光轴在图像坐标系中的偏移量(像素单位)，u，v为像素点x，y方向坐标，XYZ为该像素点在相机坐标系下坐标，Z代表代表相机到物体的距离。

由相机坐标系到物体坐标系的转换，物体上的点P对应图像平面上的点p，通过使用旋转矩阵R和平移向量t将点p和点P关联起来。

其中矩阵(R,t)可分解成绕x，y，z坐标轴的旋转，则总的旋转R是矩阵

R_z(θ)乘积：

其中，

t为t＝(p_x,p_y,p_z)^T (10)

其中

θ，p_x，p_y，p_z代表相机坐标系到物体坐标系绕x坐标轴的旋转角,相机坐标系到物体坐标系绕y坐标轴的旋转角,相机坐标系到物体坐标系绕z坐标轴的旋转角，代表相机坐标系到物体坐标系x坐标轴平移量，代表相机坐标系到物体坐标系y坐标轴平移量,代表相机坐标系到物体坐标系z坐标轴平移量；

R_z(θ)代表相机坐标系到IMU坐标系的变换矩阵的x轴的旋转矩阵、y轴的旋转矩阵，Z轴的旋转矩阵；

变换理论IMU和相机同时经过一次运动则相机坐标系到物体坐标系(相机标定板)产生两个相机坐标系到物体坐标系T₁₁和T₁₂为12个待求的未知数。

公式(11)为相机坐标系到IMU坐标系的变换矩阵，其中：

其中r₁₁，r₁₂，r₁₃，r₂₁，r₂₂，r₂₃，r₃₁，r₃₂，r₃₃代表旋转矩阵；p₁，p₂，p₃代表平移矩阵x,y,z分量；

按照公式9和10同样设定待求的变换矩阵：

其中，T’代表相机坐标系到IMU坐标系的变换矩阵，R’代表相机坐标系到IMU坐标系变换矩阵的旋转矩阵，

R_z(θ′)分别代表相机坐标系到IMU坐标系的变换矩阵的x轴的旋转矩阵、y轴的旋转矩阵，Z轴的旋转矩阵；

θ′,p_X′,p_y′,p_z′表示相机坐标系到IMU坐标系的变换矩阵的x,y,z坐标轴的旋转和x,y,z坐标轴的平移量；

相机坐标系到IMU坐标系的变换矩阵可转换成6个代求的未知数。

综上所述，采用非线性函数的最小二乘处理方法来求取18个未知数，其中6个未知数为相机坐标系到IMU坐标系的变换矩阵；

具体求法：经过公式(1)可以整理出

其中

θ₁,p_x1,p_y2,p_z1相机移动前相机坐标系到物体坐标系的变换矩阵的x,y,z坐标轴的旋转和x,y,z坐标轴的平移量；

其中

θ₂,p_x2,p_y2,p_z2相机移动后相机坐标系到物体坐标系的变换矩阵的x,y,z坐标轴的旋转和x,y,z坐标轴的平移量；

其中

θ′,p_X′,p_y′,p_z′相机坐标系到IMU坐标系的变换矩阵的x,y,z坐标轴的旋转和x,y,z坐标轴的平移量；

此方程为非线性函数，其测量方程、误差方程和正规方程也将都是非线性方程，对公式(12)先将其线性化，然后在按线性函数求解。

具体作法是：对被测量值取近似值

θ₁″,p_x1″,p_y1″,p_z1″,

θ₂″,p_x2″,p_y2″,p_z2″,

θ″,p_X″′,p_y″′,p_z″′其与估计值之间有

θ₁,p_x1,p_y1,p_z1,

θ₂,p_x2,p_y2,p_z2,

θ′,p_X′,p_y′,p_z′有微小的差别δ_i；

这样只要求得δ₁,δ₂,Lδ₁₆问题便可解决；

其中L表示中间的若干个数，M表示中间的若干个方程；

其中

为代表相机坐标系到物体坐标系绕x坐标轴的旋转角,相机坐标系到物体坐标系绕y坐标轴的旋转角；

其中δ₁～δ₆为相机移动前相机坐标系到物体坐标系的变换矩阵的x,y,z坐标轴的旋转和x,y,z坐标轴的平移量误差；

其中δ₇～δ₁₂为相机移动后相机坐标系到物体坐标系的变换矩阵的x,y,z坐标轴的旋转和x,y,z坐标轴的平移量误差；

其中δ₁₃～δ₁₈为相机坐标系到IMU坐标系的变换矩阵的x,y,z坐标轴的旋转和x,y,z坐标轴的平移量误差；

解方程组：

以其诸解作为近似值；

其中l_i代表有误差的实测值，L表示中间的若干个数，m代表有M个方程取18；

θ₁″,p_x1″,p_y1″,p_z1″,

θ₂″,p_x2″,p_y2″,p_z2″,

θ″′,p_X″′,p_y″′,p_z″′

这样δ_i将很小。其中l_i为有误差的实测值；

函数在

L,p_z″′处按泰勒公式展开，取一次项，得：

设

其中l_i代表有误差的实测值，

代表求偏导，a_i1，a_i2，a_im代表求偏导的结果；

则有以下线性误差方程组；

其中残差矩阵

固有V′V＝最小

其中L表示中间的若干个数，M表示中间的若干个方程；

v₁～v₆代表相机移动前相机坐标系到物体坐标系的变换矩阵的x,y,z坐标轴的旋转和x,y,z坐标轴的平移量实际测量数值与估计值之差；

其中v₇～v₁₂相机移动后相机坐标系到物体坐标系的变换矩阵的x,y,z坐标轴的旋转和x,y,z坐标轴的平移量实际测量数值与估计值之差；

其中v₁₃～v₁₈相机坐标系到IMU坐标系的变换矩阵的x,y,z坐标轴的旋转和x,y,z坐标轴的平移量实际测量数值与估计值之差；

转化求解线性方程最小二乘问题，以求取上述的18个未知数。

现有技术中通用的kalibr(视觉-惯性标定工具箱)标定方法图像两帧之间的IMU采集帧数有很多帧，这样应用IMU预积分时需要计算每一帧的IMU运动模型；而本发明提出的理论是IMU和相机同时触发，一帧图像数据对应一帧IMU数据，这样IMU和摄像机移动的次数就不需要很多次，而且不需要IMU和相机时间延时的校准。

本发明通过先标定出相机的内参数，再由机器人的空间矩阵变换理论转换成求解AT＝TB问题，解决了现有技术中对图像重投影误差的计算方法复杂且优化参数众多的技术问题。本发明保护了相机拍照一次同时IMU积分多次的标定方法，减少了IMU和图像的重投影误差计算、减少了IMU和相机时间延时的校准参数，减少了IMU和摄像机移动的次数，减少了IMU和相机的标定时间。

本发明中未涉及部分均与现有技术相同或可采用现有技术加以实现。以上所述仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (2)

1.一种AR眼镜相机与IMU的标定方法，其特征在于：包括采用应用同一世界坐标系的相机坐标系经过一体的IMU和相机多次移动拟合求出相机坐标系到IMU坐标系的变换矩阵T；

由公式(1)求出变换矩阵T：

T_imu1×T×T_c1×P₁＝T_imu1×T₁×T_imu2×T×T_c2×P₂ (1)

其中，Timu₁为AR模块位置1时的IMU坐标系，Tc₁为位置1的相机坐标系；Timu₂为AR模块位置2时的IMU坐标系，Tc₂为位置2的相机坐标系；T₁为IMU从位置1移动到位置2的变换矩阵；P₁为一个图像特征点在相机坐标系T_C1下的坐标点；P₂为一个图像特征点在相机坐标系T_C2下的坐标点。

2.根据权利要求1所述的AR眼镜相机与IMU的标定方法，其特征在于，相机坐标系到IMU坐标系的变换矩阵T表示为公式(11)：

其中r₁₁，r₁₂，r₁₃，r₂₁，r₂₂，r₂₃，r₃₁，r₃₂，r₃₃代表旋转矩阵；p₁，p₂，p₃代表平移矩阵x,y,z分量；

按照公式(9)和(10)设定待求的变换矩阵：

其中，T’代表相机坐标系到IMU坐标系的变换矩阵，R’代表相机坐标系到IMU坐标系变换矩阵的旋转矩阵，

R_z(θ′)分别代表相机坐标系到IMU坐标系的变换矩阵的x轴的旋转矩阵、y轴的旋转矩阵，Z轴的旋转矩阵；

θ′,p_X′,p_y′,p_z′表示相机坐标系到IMU坐标系的变换矩阵的x,y,z坐标轴的旋转和x,y,z坐标轴的平移量；

相机坐标系到IMU坐标系的变换矩阵可转换成6个代求的未知数；

采用非线性函数的最小二乘处理方法来求取18个未知数，其中6个未知数为相机坐标系到IMU坐标系的变换矩阵；

其中，相机坐标系到物体坐标系的变换矩阵为(R，t)，其中矩阵(R,t)分解成绕x，y，z坐标轴的旋转，则总的旋转R是矩阵

R_z(θ)乘积：

其中，

t为t＝(p_x,p_y,p_z)^T (10)

其中

θ，p_x，p_y，p_z代表相机坐标系到物体坐标系绕x坐标轴的旋转角,相机坐标系到物体坐标系绕y坐标轴的旋转角,相机坐标系到物体坐标系绕z坐标轴的旋转角，代表相机坐标系到物体坐标系x坐标轴平移量，代表相机坐标系到物体坐标系y坐标轴平移量,代表相机坐标系到物体坐标系z坐标轴平移量；

R_z(θ)代表相机坐标系到IMU坐标系的变换矩阵的x轴的旋转矩阵、y轴的旋转矩阵，Z轴的旋转矩阵；

变换理论IMU和相机同时经过一次运动则相机坐标系到物体坐标系产生相机坐标系到物体坐标系的两个变换矩阵，得到12个待求的未知数。

Images