CN108090921A - 单目视觉和imu融合的自适应室内定位方法 - Google Patents
单目视觉和imu融合的自适应室内定位方法 Download PDFInfo
- Publication number
- CN108090921A CN108090921A CN201611036472.8A CN201611036472A CN108090921A CN 108090921 A CN108090921 A CN 108090921A CN 201611036472 A CN201611036472 A CN 201611036472A CN 108090921 A CN108090921 A CN 108090921A
- Authority
- CN
- China
- Prior art keywords
- carrier
- imu
- representing
- point
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及单目视觉和IMU融合的自适应室内定位方法，包含以下步骤：采集IMU的加速度和角速度以此来确定载体的运动模式；若载体处于慢速运动模式，对图像采用基于视觉SIFT特征点匹配算法得到相邻两帧图像中目标的偏移量；若载体处于快速运动模式，对图像采用基于视觉的稀疏光流算法得到相邻两帧图像中目标的偏移量；若载体处于超快速运动模式，采用基于IMU的扩展卡尔曼滤波算法得到目标的位置；本发明方法既能保证定位的精度，也能极大减少计算量，可广泛应用于行人的室内定位。
Description
技术领域
本发明涉及计算机视觉技术和信息融合技术，具体是一种面向多运动模式的单目视觉和IMU融合的自适应室内定位方法。
背景技术
室内定位方法可用于视觉障碍人群的室内导航、商场内消费者的购物引导、机器人自主运动估计等领域。现有的主流室内定位方法包括基于惯性的定位方法、基于可穿戴相机的定位方法、基于Wi-Fi的定位方法等。但已有的方法过于依赖基础设施而无法应用于未知环境下的行人定位。随着MEMS(Micro-Electro-Mechanical System微机电系统)传感器的成本越来越低、体积越来越小，出现了加速计、陀螺仪和磁力计集成的IMU。IMU优势在于不依赖于某个特定的基础条件，也不受视线的限制；然而，1)方向估测容易受本地磁场的影响，而地球磁场却容易受到周围电子产品或者是铁制材料的影响；2)位置和方向测量是根据集成的双惯性传感器获得的，该方法在长时间对行人进行跟踪的时候会产生低频漂移以及错误积累的问题，无法对行人位置进行准确的定量评估。上述两个缺点阻碍了IMU在室内定位的推广应用。
为了克服IMU的局限性，大量学者提出了利用可穿戴的摄像机对IMU的漂移进行补偿，通过采集摄像机对周围环境的观测图像序列，得到基于视觉的位置估计值，再通过卡尔曼滤波的方法与IMU进行融合，从而实现更为准确的位置估计。然而这一补偿方法在图像处理过程中存在相邻帧特征点匹配耗时或者匹配数量不足的问题，大大制约了运算速度和计算精度。为此，有学者提出多状态约束的扩展卡尔曼滤波(Multi-State ConstraintKalman Filter,MSCKF)算法，用IMU采集的加速度和角速度来传播模型中的状态向量，再用单目视觉方法得到的观测值来更新状态向量。然而，MSCKF算法利用单目视觉解算出的位置估计存在尺度缺失的问题。还有学者为了解决尺度缺失问题，提出基于关键帧选择的双目视觉和IMU融合的优化方法。该方法采用双目摄像头，利用基线三角化的方法解决了尺度缺失的问题；该算法将视频序列关键帧的特征点引入到状态模型中，再逐步边缘化时间间隔较长的图像特征点序列，以保证实时状态向量估计的可行性。然而该算法运算量大，难以应用在计算资源受限的视觉IMU平台上。
针对上述视觉惯性融合的室内定位方法存在的问题，本发明提出一种基于自适应运动模式的单目视觉和IMU融合的自适应室内定位方法。
发明内容
本发明提出一种面向多运动模式的单目视觉和IMU(Inertial MeasurementUnit，IMU)融合的自适应室内定位方法。
本发明采用的技术方案如下：单目视觉和IMU融合的自适应室内定位方法，包含以下步骤：
步骤1：采集IMU的加速度和角速度确定载体的运动模式；
步骤2：若载体处于慢速运动模式，对采集的图像采用基于视觉SIFT特征点匹配算法得到相邻两帧图像间的偏移量，以此来确认目标的位置；
若载体处于快速运动模式，对采集的图像采用基于视觉的稀疏光流算法得到相邻两帧图像间的偏移量，以此来确认目标的位置；
若载体处于超快速运动模式，采用基于IMU的扩展卡尔曼滤波算法得到目标的位置。
所述确定载体的运动模式包括以下步骤：
步骤1.1：获取IMU输出的三轴加速度向量和三轴角速度向量
步骤1.2：确定载体的运动模式：
如果并且则载体处于慢速运动模式；
如果或者则载体处于快速运动模式；
如果或者并且相机采集的相邻帧图像<CN1,CN2>的匹配点个数SP(CN1,CN1)满足SP(CN1,CN1)＜λP，则载体处于超快速运动模式；
其中和分别表示IMU角速度向量和加速度向量的二范数；λω和λα是预先设定的三轴角速度阈值和三轴加速度阈值；<CN1,CN2>是单目相机采集的第N1帧和第N2帧图像对；SP(CN1,CN1)表示相邻帧图像<CN1,CN2>间的匹配点对数；λP是预先设定的匹配点对数的阈值。
所述基于视觉SIFT特征点匹配算法包括以下步骤：
步骤2.1.1：对单目相机采集的相邻帧图像做Canny边缘检测，得到边缘候选点集Ωi,1≤i≤N＝{Ω1,Ω2,...,ΩN}，其中集合中的第i的元素Ωi对应第i个候选点；
步骤2.1.2：对候选点集合Ωi,1≤i≤N＝{Ω1,Ω2,...,ΩN}中的每个候选点Ωi，做Harris角点检测，提取出每个候选点的Hessian矩阵特征值λi1和λi2；
步骤2.1.3：若当前候选点的Hessian矩阵特征值λi1和λi2都大于预先设定的阈值λH，则将此候选点作为图像的特征点；遍历候选点集合所有点，得到图像的特征点集合Ψi,1≤i≤M≤N＝{Ψ1,Ψ2,…,ΨM}；M为候选点集中元素的个数；
步骤2.1.4：针对集合Ψi,1≤i≤M≤N＝{Ψ1,Ψ2,…,ΨM}中的每个特征点Ψi，利用SIFT特征点描述方法生成特征点描述子；
步骤2.1.5：当相邻帧图像匹配点对间特征点描述子之差的二范数小于阈值dτ时，该匹配点对为正确的匹配点对，将正确的匹配点对构成匹配点对集合；并根据匹配点对集合得到目标的偏移量，以此确定目标的位置。
所述采用基于IMU的扩展卡尔曼滤波算法得到目标的位置通过下式实现：
其中，表示t-1时刻载体的速度，Δt表示IMU的采样间隔，arcsin表示反正弦函数；arctan表示反正切函数；表示四元数乘积；
表示t时刻载体的位置；
表示t时刻载体的速度；
表示t时刻载体的加速度；
表示t时刻载体的加速度偏差；
表示t时刻载体的角速度；
表示t时刻载体的四元数。
本发明具有以下优点：
1.本发明采用相机镜头朝向向下的影像采集模式能够有效缓解位置估计过程中出现的图像影像模糊、特征点数量不足对视觉定位的影响；其次，相机定焦的模式解决了视觉定位中尺度因子不确定的问题；
2.本发明针对载体不同运动模式，采用两种视觉定位算法：在慢速运动模式下采用更为准确的SIFT特征点匹配算法；在快速运动模式下采用运算速度快的稀疏光流算法。这种方式既能保证视觉定位的精度也能极大减少计算量。
3.本发明针对载体在超快速运动模式下，相机会出现影像模糊难以做位置估计的问题，提出利用动态特性更好的IMU来做基于扩展卡尔曼滤波的短时位置估计。
4.本发明方法既能保证定位的精度，也能极大减少计算量，可广泛应用于行人的室内定位。
附图说明
图1为发明方法原理图。
图2为慢速运动模式下SIFT特征点匹配原理图。
具体实施方式
下面结合附图及实例对本发明做进一步的详细说明。
本发明利用IMU的加速度和角速度判断载体的运行模式，根据各模式的特点分别采用不同的视觉惯性定位策略。此外，本发明方法采用相机焦距固定、镜头朝向向下的配置模式能有效缓解图像影像模糊、特征量匹配不足所导致的定位精度低的问题。本发明方法定位精度高、运算速度快，可广泛应用于行人室内定位的场景。
本发明中的相机设于载体前方，镜头朝下，焦距固定。当载体处于慢速运动模式时，实时采集地面图像(地面具有纹理特征)，通过图像处理得到载体的实时位置。
首先，本发明采用的视觉IMU自适应定位方法能够有效缓解图像影像模糊、特征点数量不足对视觉定位的影响；其次，相机镜头朝下和定焦的模式解决了视觉定位中尺度因子不确定的问题；最后，根据IMU输出的加速度和角速度判断出载体的三种运动模式并采用相应的定位算法：
①在慢速运动模式下，采用基于SIFT特征点匹配算法；
②在快速运动模式下，采用稀疏光流算法；
③在超快速运动模式下，采用基于IMU的扩展卡尔曼滤波算法。
本发明为实现上述目的所采用的技术方案是：
一种面向多运动模式的单目视觉和IMU融合的自适应室内定位方法，包含以下步骤：
步骤1：基于IMU的加速度和角速度来对载体运动模式分类；
步骤2：根据载体的不同运动模式，分别采用基于视觉的光流算法、基于SIFT特征点匹配算法和基于IMU的扩展卡尔曼滤波方法；
步骤1：基于IMU的载体运动模式分类包含以下实现过程：
步骤1.1：IMU输出三轴加速度分量和三轴角速度分量
步骤1.2：确定载体的运动模式：
如果并且则载体处于慢速运动模式；
如果或者则载体处于快速运动模式；
如果或者并且相机采集的相邻帧图像<CN1,CN2>的匹
配点个数满足SP(CN1,CN1)＜λP，则载体处于超快速运动模式；
其中λω和λα是预先设定的三轴角速度阈值和三轴加速度阈值；<CN1,CN2>是单目相机采集的第N1帧和第N2帧图像对；SP(CN1,CN1)表示<CN1,CN2>的匹配点对数；λP是预先设定的匹配点对数目阈值。
步骤2：根据载体的不同运动模式，分别采用基于视觉的光流算法、基于SIFT的特征点匹配算法和基于IMU的扩展卡尔曼滤波算法包含以下实现过程：
步骤2.1：如果载体处于慢速运动模式，采用基于视觉的SIFT特征点匹配算法；
步骤2.2：如果载体处于快速运动模式，采用基于视觉的稀疏光流算法；
步骤2.3：如果载体处于超快速运动模式，采用基于IMU的扩展卡尔曼滤波算法。
步骤2.1：如果载体处于慢速运动模式，采用基于视觉的SIFT特征点匹配算法包含以下实现过程：
步骤2.1.1：单目相机采集的第i帧图像，做Canny边缘检测，得到边缘候选点集Ωi,1≤i≤N＝{Ω1,Ω2,…,ΩN}；
步骤2.1.2：对集合Ωi,1≤i≤N＝{Ω1,Ω2,...,ΩN}中的每个候选角点，做Harris角点检测，提取出每个候选角点的Hessian矩阵特征值λi1和λi2；
步骤2.1.3：如果候选角点的Hessian矩阵特征值λi1和λi2大于阈值λH，则将此候选点作为图像的特征点，依此方法得到第i帧图像的特征点集合Ψi,1≤i≤M＝{Ψ1,Ψ2,…,ΨM}；
步骤2.1.4：集合Ψi,1≤i≤M＝{Ψ1,Ψ2,…,ΨM}中的每个特征点Ψi，利用SIFT特征点描述方法生成128维特征向量fΨi＝(d1,d2,...,d128)；
步骤2.1.5：当相邻帧图像匹配点对间特征点描述子之差的二范数小于阈值dτ时，该匹配点对为正确的匹配点对，将正确的匹配点对构成匹配点对集合；并根据匹配点对集合得到目标的偏移量，以此确定目标的位置。
步骤2.2：如果载体处于快速运动模式，采用基于视觉的稀疏光流算法包含以下实现过程：
步骤2.2.1：利用Harris角点检测器生成特征点集合Ψi,1≤i≤M＝{Ψ1,Ψ2,...,ΨM}；
步骤2.2.2：根据光流法特征要求1：在相邻帧图像间特征点的像素值具有不变性，得到如下结果：
I(x,y,t)＝I(x+Δx,y+Δy,z+Δz,t+Δt)
其中I(x,y,t)表示t时刻图像平面内(x,y)处的像素值；I(x+Δx,y+Δy,z+Δz,t+Δt)表示t+Δt时刻图像平面内(x+Δx,y+Δy)处的像素值；
步骤2.2.3：根据光流法特征要求2：图像特征点的光流分量变化有界，对假设要求1得到的结果进行一阶泰勒展开，得到如下结果：
Ixux+Iyuy+It＝0
其中(ux,uy)表示特征点在X和Y方向的光流矢量；(Ix,Iy)表示特征点在X和Y方向的像素值变化量；It表示特征点像素值在相邻时刻的变化量。
步骤2.2.4：根据光流法特征要求3：图像特征点的邻居点具有相同的运动趋势，得到如下结果：
其中表示该特征点的第i个邻居像素点在X和Y方向的像素值变化量；表示特征点的第i个邻居像素点像素值在相邻时刻的变化量；Q表示特征点的邻居像素点数目。
步骤2.2.5：利用最小二乘法，得到图像平面内(x,y)点处的光流矢量(ux,uy).
步骤2.3：如果载体处于超快速运动模式，采用基于IMU的扩展卡尔曼滤波算法包含以下实现过程：
步骤2.3.1：确定扩展卡尔曼滤波器的多维状态向量，形式如下：
其中表示t时刻载体的位置估计值；
表示t时刻载体的速度估计值；
表示t时刻载体的加速度估计值；
表示t时刻载体的角度估计值；
表示t时刻载体的角速度估计值；
表示t时刻载体的四元数估计值；
表示t时刻载体的加速度偏差估计值；
表示t时刻载体的角速度偏差估计值。
步骤2.3.2：根据上述状态向量，得到扩展卡尔曼滤波的动态方程如下所示：
其中，arcsin表示反正弦函数；arctan表示反正切函数，表示四元数乘积。
步骤2.3.3：根据上述状态向量，得到扩展卡尔曼滤波的观测方程如下所示：
yt＝SH·Xt
其中观测矩阵为：
SH＝[O3×3,O3×3,I3×3,O3×3,I3×3,I4×4,O3×3,O3×3]
其中，O3×3表示3×3阶元素均为0的方阵；I3×3表示3×3阶单位矩阵；I4×4表示4×4阶单位矩阵；yt表示观测向量。
本发明主要分为两部分，图1所示为本发明方法原理图，图2所示为本发明方法在慢速运动模式下的特征点匹配原理图。具体实现过程如下所述。
步骤1：基于IMU的载体运动模式分类。
步骤1.1：IMU输出三轴加速度分量和三轴角速度分量
步骤1.2：基于三轴加速度分量和三轴角速度分量来确定载体的运动模式：
如果并且则载体处于慢速运动模式；
如果或者则载体处于快速运动模式；
如果或者并且相机采集的相邻帧图像<CN1,CN2>的匹配点个数满足SP(CN1,CN1)＜λP，则载体处于超快速运动模式。
其中λω和λα是预先设定的三轴角速度阈值和三轴加速度阈值；<CN1,CN2>是单目相机采集的第N1帧和第N2帧图像对；SP(CN1,CN1)表示<CN1,CN2>的匹配点对数；λP是预先设定的匹配点对数的阈值。
步骤2：根据载体的不同运动模式，分别采用基于视觉的光流法、改进SIFT方法和基于IMU的位置估计方法。
步骤2.1：如果载体处于慢速运动模式，采用基于视觉的改进SIFT特征点匹配算法，流程图如图2所示。
步骤2.1.1：单目相机采集相邻帧图像，做Canny边缘检测，具体包括先用一阶偏导的有限差分计算梯度的幅值和方向；再对梯度赋值进行非极大值抑制；最后用双阈值法检测和连接边缘，得到边缘候选点集Ωi,1≤i≤N＝{Ω1,Ω2,...,ΩN}；
步骤2.1.2：对集合Ωi,1≤i≤N＝{Ω1,Ω2,...,ΩN}中的每个候选角点，做Harris角点检测，提取出每个候选角点的Hessian矩阵的两个特征值λi1和λi2；
步骤2.1.3：如果候选角点的Hessian矩阵特征值λi1和λi2都大于预先设定的阈值λH，则将此候选点作为图像的特征点，依此得到特征点集合Ψi,1≤i≤M＝{Ψ1,Ψ2,...,ΨM}；
步骤2.1.4：特征点集合Ψi,1≤i≤M＝{Ψ1,Ψ2,...,ΨM}中的每个特征点，利用SIFT特征点描述方法生成128维特征向量：M表示特征点集合中元素的个数。
步骤2.1.5：根据特征点集的描述子生成K-D树的数据结构，再利用匹配的特征点对的特征向量之差具有最小欧氏距离这一法则得到相邻帧图像间的匹配点对。
步骤2.2：如果载体处于快速运动模式，采用基于视觉的稀疏光流算法。
步骤2.2.1：利用Harris角点检测器生成特征点集合Ψi,1≤i≤M＝{Ψ1,Ψ2,...,ΨM}；
步骤2.2.2：根据光流法特征要求1：在相邻帧图像间特征点的像素值具有不变性，得到如下结果：
I(x,y,t)＝I(x+Δx,y+Δy,z+Δz,t+Δt)
其中I(x,y,t)表示t时刻图像平面内(x,y)处的像素值；I(x+Δx,y+Δy,z+Δz,t+Δt)表示t+Δt时刻图像平面内(x+Δx,y+Δy)处的像素值；
步骤2.2.3：根据光流法特征要求2：图像特征点的光流分量变化有界，对要求1得到的结果进行一阶泰勒展开，得到如下结果：
Ixux+Iyuy+It＝0
其中(ux,uy)表示特征点在X和Y方向的光流矢量；(Ix,Iy)表示特征点在X和Y方向的像素值变化量；It表示特征点像素值在相邻时刻的变化量。
步骤2.2.4：根据光流法特征要求3：图像特征点的邻居点具有相同的运动趋势，得到如下结果：
其中表示该特征点的第i个邻居像素点在X和Y方向的像素值变化量；表示特征点的第i个邻居像素点像素值在相邻时刻的变化量；Q表示特征点的邻居像素点数目。
步骤2.2.5：利用最小二乘法，得到图像平面内(x,y)点处的光流矢量，结果如下：
步骤2.3：如果载体处于超快速运动模式，采用基于IMU的扩展卡尔曼滤波算法。
步骤2.3.1：确定扩展卡尔曼滤波器的多维状态向量，形式如下：
其中表示t时刻载体的位置估计值；
表示t时刻载体的速度估计值；
表示t时刻载体的加速度估计值；
表示t时刻载体的角度估计值；
表示t时刻载体的角速度估计值；
表示t时刻载体的四元数估计值；
表示t时刻载体的加速度偏差估计值；
表示t时刻载体的角速度偏差估计值。
步骤2.3.2：根据上述状态向量，得到扩展卡尔曼滤波的动态方程如下所示：
其中，arcsin表示反正弦函数；arctan表示反正切函数；表示四元数乘积。表示t-1时刻载体的速度，Δt表示IMU的采样间隔。
步骤2.3.3：根据上述状态向量，得到扩展卡尔曼滤波的观测方程如下所示：
yt＝SH·Xt
其中观测矩阵为：
SH＝[O3×3,O3×3,I3×3,O3×3,I3×3,I4×4,O3×3,O3×3]
其中，O3×3表示元素均为0的3×3阶方阵；I3×3表示3×3阶单位矩阵；I4×4表示4×4阶单位矩阵；yt表示观测向量。
Claims (4)
1.单目视觉和IMU融合的自适应室内定位方法，其特征在于，包含以下步骤：
步骤1：采集IMU的加速度和角速度确定载体的运动模式；
步骤2：若载体处于慢速运动模式，对采集的图像采用基于视觉SIFT特征点匹配算法得到相邻两帧图像间的偏移量，以此来确认目标的位置；
若载体处于快速运动模式，对采集的图像采用基于视觉的稀疏光流算法得到相邻两帧图像间的偏移量，以此来确认目标的位置；
若载体处于超快速运动模式，采用基于IMU的扩展卡尔曼滤波算法得到目标的位置。
2.根据权利要求1所述的单目视觉和IMU融合的自适应室内定位方法，其特征在于所述确定载体的运动模式包括以下步骤：
步骤1.1：获取IMU输出的三轴加速度向量和三轴角速度向量
步骤1.2：确定载体的运动模式：
如果并且则载体处于慢速运动模式；
如果或者则载体处于快速运动模式；
如果或者并且相机采集的相邻帧图像<CN1,CN2>的匹配点个数SP(CN1,CN1)满足SP(CN1,CN1)＜λP，则载体处于超快速运动模式；
其中和分别表示IMU角速度向量和加速度向量的二范数；λω和λα是预先设定的三轴角速度阈值和三轴加速度阈值；<CN1,CN2>是单目相机采集的第N1帧和第N2帧图像对；SP(CN1,CN1)表示相邻帧图像<CN1,CN2>间的匹配点对数；λP是预先设定的匹配点对数的阈值。
3.根据权利要求1所述的单目视觉和IMU融合的自适应室内定位方法，其特征在于所述基于视觉SIFT特征点匹配算法包括以下步骤：
步骤2.1.1：对单目相机采集的相邻帧图像做Canny边缘检测，得到边缘候选点集Ωi,1≤i≤N＝{Ω1,Ω2,…,ΩN}，其中集合中的第i个元素Ωi对应第i个候选点；
步骤2.1.2：对候选点集合Ωi,1≤i≤N＝{Ω1,Ω2,...,ΩN}中的每个候选点Ωi，做Harris角点检测，提取出每个候选点的Hessian矩阵特征值λi1和λi2；
步骤2.1.3：若当前候选点的Hessian矩阵特征值λi1和λi2都大于预先设定的阈值λH，则将此候选点作为图像的特征点；遍历候选点集合所有点，得到图像的特征点集合Ψi,1≤i≤M≤N＝{Ψ1,Ψ2,...,ΨM}；M为候选点集中元素的个数；
步骤2.1.4：针对集合Ψi,1≤i≤M≤N＝{Ψ1,Ψ2,...,ΨM}中的每个特征点Ψi，利用SIFT特征点描述方法生成特征点描述子；
步骤2.1.5：当相邻帧图像匹配点对间特征点描述子之差的二范数小于阈值dτ时，该匹配点对为正确的匹配点对，将正确的匹配点对构成匹配点对集合；并根据匹配点对集合得到目标的偏移量，以此确定目标的位置。
4.根据权利要求1所述的单目视觉和IMU融合的自适应室内定位方法，其特征在于所述采用基于IMU的扩展卡尔曼滤波算法得到目标的位置通过下式实现：
<mrow>
<msub>
<mmultiscripts>
<mover>
<mi>P</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>s</mi>
</mmultiscripts>
<mi>t</mi>
</msub>
<mo>=</mo>
<msub>
<mmultiscripts>
<mover>
<mi>P</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mi>&Delta;</mi>
<mi>t</mi>
<mo>&CenterDot;</mo>
<msub>
<mover>
<mi>v</mi>
<mo>&RightArrow;</mo>
</mover>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mfrac>
<mrow>
<msup>
<mi>&Delta;t</mi>
<mn>2</mn>
</msup>
</mrow>
<mn>2</mn>
</mfrac>
<mo>&CenterDot;</mo>
<msub>
<mmultiscripts>
<mover>
<mi>&alpha;</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>s</mi>
</mmultiscripts>
<mi>t</mi>
</msub>
<mo>+</mo>
<mfrac>
<mrow>
<msup>
<mi>&Delta;t</mi>
<mn>3</mn>
</msup>
</mrow>
<mn>6</mn>
</mfrac>
<mo>&CenterDot;</mo>
<msub>
<mmultiscripts>
<mover>
<mi>&alpha;</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>b</mi>
<mi>s</mi>
</mmultiscripts>
<mi>t</mi>
</msub>
</mrow>
<mrow>
<msub>
<mmultiscripts>
<mover>
<mi>v</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>s</mi>
</mmultiscripts>
<mi>t</mi>
</msub>
<mo>=</mo>
<msub>
<mmultiscripts>
<mover>
<mi>v</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mi>&Delta;</mi>
<mi>t</mi>
<mo>&CenterDot;</mo>
<msub>
<mmultiscripts>
<mover>
<mi>&alpha;</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>s</mi>
</mmultiscripts>
<mi>t</mi>
</msub>
<mo>+</mo>
<mfrac>
<mrow>
<msup>
<mi>&Delta;t</mi>
<mn>2</mn>
</msup>
</mrow>
<mn>2</mn>
</mfrac>
<mo>&CenterDot;</mo>
<msub>
<mmultiscripts>
<mover>
<mi>&alpha;</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>b</mi>
<mi>s</mi>
</mmultiscripts>
<mi>t</mi>
</msub>
</mrow>
<mrow>
<msub>
<mmultiscripts>
<mover>
<mi>&alpha;</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>s</mi>
</mmultiscripts>
<mi>t</mi>
</msub>
<mo>=</mo>
<msub>
<mmultiscripts>
<mover>
<mi>&alpha;</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mi>&Delta;</mi>
<mi>t</mi>
<mo>&CenterDot;</mo>
<msub>
<mmultiscripts>
<mover>
<mi>&alpha;</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>b</mi>
<mi>s</mi>
</mmultiscripts>
<mi>t</mi>
</msub>
</mrow>
<mrow>
<msub>
<mmultiscripts>
<mover>
<mi>&theta;</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>s</mi>
</mmultiscripts>
<mi>t</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>arctan</mi>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>(</mo>
<mrow>
<msub>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>w</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mn>1</mn>
<mo>-</mo>
<mn>2</mn>
<mo>(</mo>
<mrow>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<msup>
<msub>
<mrow></mrow>
<mrow>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<msup>
<msub>
<mrow></mrow>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mn>2</mn>
</msup>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>arcsin</mi>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>(</mo>
<mrow>
<msub>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>w</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>z</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>arctan</mi>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>(</mo>
<mrow>
<msub>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>w</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>z</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mn>1</mn>
<mo>-</mo>
<mn>2</mn>
<mo>(</mo>
<mrow>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<msup>
<msub>
<mrow></mrow>
<mrow>
<mi>z</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<mmultiscripts>
<mi>q</mi>
<mi>s</mi>
</mmultiscripts>
<msup>
<msub>
<mrow></mrow>
<mrow>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
</msub>
<mn>2</mn>
</msup>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<msub>
<mmultiscripts>
<mover>
<mi>q</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>s</mi>
</mmultiscripts>
<mi>t</mi>
</msub>
<mo>=</mo>
<msub>
<mmultiscripts>
<mover>
<mi>q</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msub>
<mmultiscripts>
<mover>
<mi>q</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>s</mi>
</mmultiscripts>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>&CircleTimes;</mo>
<mmultiscripts>
<mover>
<mi>&omega;</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>s</mi>
</mmultiscripts>
<msup>
<msub>
<mrow></mrow>
<mi>t</mi>
</msub>
<mi>T</mi>
</msup>
</mrow>
其中，表示t-1时刻载体的速度，Δt表示IMU的采样间隔，arcsin表示反正弦函数；arctan表示反正切函数；表示四元数乘积；表示t时刻载体的位置；
表示t时刻载体的速度；
表示t时刻载体的加速度；
表示t时刻载体的加速度偏差；
表示t时刻载体的角速度；
表示t时刻载体的四元数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611036472.8A CN108090921A (zh) | 2016-11-23 | 2016-11-23 | 单目视觉和imu融合的自适应室内定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611036472.8A CN108090921A (zh) | 2016-11-23 | 2016-11-23 | 单目视觉和imu融合的自适应室内定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108090921A true CN108090921A (zh) | 2018-05-29 |
Family
ID=62169958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611036472.8A Pending CN108090921A (zh) | 2016-11-23 | 2016-11-23 | 单目视觉和imu融合的自适应室内定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108090921A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108871311A (zh) * | 2018-05-31 | 2018-11-23 | 北京字节跳动网络技术有限公司 | 位姿确定方法和装置 |
| CN109296286A (zh) * | 2018-09-18 | 2019-02-01 | 惠州拓邦电气技术有限公司 | 基于视觉的无轨电动门运行控制方法、装置及系统 |
| CN109376785A (zh) * | 2018-10-31 | 2019-02-22 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
| CN109671105A (zh) * | 2018-12-19 | 2019-04-23 | 青岛小鸟看看科技有限公司 | 一种视觉导航系统的跟踪恢复方法和装置 |
| CN109977909A (zh) * | 2019-04-04 | 2019-07-05 | 山东财经大学 | 基于细节点区域匹配的手指静脉识别方法及系统 |
| CN110147164A (zh) * | 2019-05-22 | 2019-08-20 | 京东方科技集团股份有限公司 | 头部运动跟踪方法、设备、系统及存储介质 |
| CN110415277A (zh) * | 2019-07-24 | 2019-11-05 | 中国科学院自动化研究所 | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 |
| CN110458887A (zh) * | 2019-07-15 | 2019-11-15 | 天津大学 | 一种基于pca的加权融合室内定位方法 |
| CN110706194A (zh) * | 2018-06-21 | 2020-01-17 | 北京三快在线科技有限公司 | 一种定位方法、装置及移动设备 |
| CN111415371A (zh) * | 2019-01-07 | 2020-07-14 | 阿里巴巴集团控股有限公司 | 一种稀疏光流确定方法和装置 |
| CN111595334A (zh) * | 2020-04-30 | 2020-08-28 | 东南大学 | 基于视觉点线特征与imu紧耦合的室内自主定位方法 |
| CN112819898A (zh) * | 2021-01-20 | 2021-05-18 | 广州中国科学院沈阳自动化研究所分所 | 热像仪-rgb相机-imu空间联合标定方法、系统和存储介质 |
| CN113490137A (zh) * | 2021-05-08 | 2021-10-08 | 湖南大学 | 一种基于WiFi与视觉融合室内定位方法 |
| CN113608523A (zh) * | 2020-04-20 | 2021-11-05 | 中国科学院沈阳自动化研究所 | 一种基于单目视觉和惯性融合的车辆场景动态性分析方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
-
2016
- 2016-11-23 CN CN201611036472.8A patent/CN108090921A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| YINLONG ZHANG等: "Monocular camera and IMU integration for indoor position estimation", 《2014 36TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108871311A (zh) * | 2018-05-31 | 2018-11-23 | 北京字节跳动网络技术有限公司 | 位姿确定方法和装置 |
| CN108871311B (zh) * | 2018-05-31 | 2021-01-19 | 北京字节跳动网络技术有限公司 | 位姿确定方法和装置 |
| CN110706194A (zh) * | 2018-06-21 | 2020-01-17 | 北京三快在线科技有限公司 | 一种定位方法、装置及移动设备 |
| CN109296286A (zh) * | 2018-09-18 | 2019-02-01 | 惠州拓邦电气技术有限公司 | 基于视觉的无轨电动门运行控制方法、装置及系统 |
| CN109296286B (zh) * | 2018-09-18 | 2021-07-02 | 惠州拓邦电气技术有限公司 | 基于视觉的无轨电动门运行控制方法、装置及系统 |
| CN109376785A (zh) * | 2018-10-31 | 2019-02-22 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
| CN109376785B (zh) * | 2018-10-31 | 2021-09-24 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
| CN109671105A (zh) * | 2018-12-19 | 2019-04-23 | 青岛小鸟看看科技有限公司 | 一种视觉导航系统的跟踪恢复方法和装置 |
| CN111415371B (zh) * | 2019-01-07 | 2022-05-31 | 阿里巴巴集团控股有限公司 | 一种稀疏光流确定方法和装置 |
| CN111415371A (zh) * | 2019-01-07 | 2020-07-14 | 阿里巴巴集团控股有限公司 | 一种稀疏光流确定方法和装置 |
| CN109977909A (zh) * | 2019-04-04 | 2019-07-05 | 山东财经大学 | 基于细节点区域匹配的手指静脉识别方法及系统 |
| CN110147164A (zh) * | 2019-05-22 | 2019-08-20 | 京东方科技集团股份有限公司 | 头部运动跟踪方法、设备、系统及存储介质 |
| CN110458887A (zh) * | 2019-07-15 | 2019-11-15 | 天津大学 | 一种基于pca的加权融合室内定位方法 |
| CN110458887B (zh) * | 2019-07-15 | 2022-12-06 | 天津大学 | 一种基于pca的加权融合室内定位方法 |
| CN110415277A (zh) * | 2019-07-24 | 2019-11-05 | 中国科学院自动化研究所 | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 |
| CN110415277B (zh) * | 2019-07-24 | 2022-03-08 | 中国科学院自动化研究所 | 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置 |
| CN113608523B (zh) * | 2020-04-20 | 2023-03-14 | 中国科学院沈阳自动化研究所 | 一种基于单目视觉和惯性融合的车辆场景动态性分析方法 |
| CN113608523A (zh) * | 2020-04-20 | 2021-11-05 | 中国科学院沈阳自动化研究所 | 一种基于单目视觉和惯性融合的车辆场景动态性分析方法 |
| CN111595334A (zh) * | 2020-04-30 | 2020-08-28 | 东南大学 | 基于视觉点线特征与imu紧耦合的室内自主定位方法 |
| CN111595334B (zh) * | 2020-04-30 | 2022-01-28 | 东南大学 | 基于视觉点线特征与imu紧耦合的室内自主定位方法 |
| CN112819898A (zh) * | 2021-01-20 | 2021-05-18 | 广州中国科学院沈阳自动化研究所分所 | 热像仪-rgb相机-imu空间联合标定方法、系统和存储介质 |
| CN113490137B (zh) * | 2021-05-08 | 2022-05-03 | 湖南大学 | 一种基于WiFi与视觉融合室内定位方法 |
| CN113490137A (zh) * | 2021-05-08 | 2021-10-08 | 湖南大学 | 一种基于WiFi与视觉融合室内定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108090921A (zh) | 单目视觉和imu融合的自适应室内定位方法 | |
| US11668571B2 (en) | Simultaneous localization and mapping (SLAM) using dual event cameras | |
| US10762643B2 (en) | Method for evaluating image data of a vehicle camera | |
| Li et al. | Monocular visual-inertial state estimation for mobile augmented reality | |
| KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR101776620B1 (ko) | 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| Dong et al. | Plenoptic cameras in real-time robotics | |
| EP3159126A1 (en) | Device and method for recognizing location of mobile robot by means of edge-based readjustment | |
| KR20150144728A (ko) | 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법 | |
| US20090297036A1 (en) | Object detection on a pixel plane in a digital image sequence | |
| Fiala et al. | Visual odometry using 3-dimensional video input | |
| Michot et al. | Bi-objective bundle adjustment with application to multi-sensor slam | |
| CN110942470B (zh) | 图像处理装置 | |
| CN104331907B (zh) | 一种基于orb特征检测测量载体速度的方法 | |
| CN111723624A (zh) | 一种头部运动跟踪方法和系统 | |
| CN112731503A (zh) | 一种基于前端紧耦合的位姿估计方法及系统 | |
| Ling et al. | RGB-D inertial odometry for indoor robot via keyframe-based nonlinear optimization | |
| CN115861352A (zh) | 单目视觉、imu和激光雷达的数据融合和边缘提取方法 | |
| CN116151320A (zh) | 一种抗动态目标干扰的视觉里程计方法及视觉里程计装置 | |
| Spevakov et al. | Detecting objects moving in space from a mobile vision system | |
| KR101741501B1 (ko) | 카메라와 객체 간 거리 추정 장치 및 그 방법 | |
| JP6886136B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
| Xia et al. | YOLO-Based Semantic Segmentation for Dynamic Removal in Visual-Inertial SLAM | |
| KR20210028538A (ko) | 가상 현실에서 인사이드 아웃 트래킹을 위한 imu 센서 데이터를 활용하는 가속 비전 기반 포즈 추정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180529 |
|
| WD01 | Invention patent application deemed withdrawn after publication |