CN107767425A - 一种基于单目vio的移动端AR方法 - Google Patents
一种基于单目vio的移动端AR方法 Download PDFInfo
- Publication number
- CN107767425A CN107767425A CN201711050182.3A CN201711050182A CN107767425A CN 107767425 A CN107767425 A CN 107767425A CN 201711050182 A CN201711050182 A CN 201711050182A CN 107767425 A CN107767425 A CN 107767425A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- msubsup
- imu
- mtd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Navigation (AREA)
Abstract
本发明提供了一种基于单目vio的移动端AR方法，步骤包括：利用相机和IMU分别进行图像采集和惯性数据采集；提取相机获取的每一帧图像的特征点并设置为关键帧；预积分计算出两帧图像对应的IMU位置和旋转信息；获取关键帧中跟踪的特征点并根据该特征点计算出每个关键帧的位姿；根据IMU得到的位移和旋转信息与相机测得两帧之间的位移和旋转信息相等算出相机与IMU之间的外参；初始化IMU的速度、加速度以及尺度因子；利用紧耦合非线性优化得到相机姿态，再叠加虚拟物体实现AR效果。该移动端AR方法采用IMU正好弥补了VSLAM的缺点，在短时间内不受环境特征点的影响；在时间长时利用VSLAM与IMU对齐，防止偏移。
Description
技术领域
本发明涉及一种AR方法，尤其是一种基于单目vio的移动端AR方法。
背景技术
SLAM(simultaneous localization and mapping)分为两大功能：定位与建图。其中建图主要作用是对周边环境的理解，建立周边环境与空间的对应关系；定位主要是根据建好的图，判断设备在地图中的位姿，从而得到相机在环境中的信息。
SLAM分为dense和sparse两种，基于计算能力的考虑，移动端一般选择sparseSLAM。Sparse SLAM虽然速度快，但是效果很依赖环境：在比较复杂，特征点多的环境下，sparse SLAM效果很好，而对于白墙、光滑平面等特征点比较少的环境，其效果很差，很难准确的估算出相机的姿态。
发明内容
本发明的目的在于提供一种基于单目vio的移动端AR方法，能够弥补VSLAM的缺点，在短时间内，定位效果很好且不受环境特征点的影响。
为了实现上述发明目的，本发明提供了一种基于单目vio的移动端AR方法，包括如下步骤：
步骤1，利用相机和IMU分别进行图像采集和惯性数据采集，且IMU的采集频率大于相机的采集频率；
步骤2，提取相机获取的每一帧图像的特征点，并用光流法对各个特征点进行跟踪，并将成功跟踪的帧设置为关键帧；
步骤3，对IMU得到的多组IMU数据进行预积分，计算出两帧图像对应的IMU位置和速度分别为：
式中，Pk和Pk+1分别表示第k和k+1帧时IMU的位置，vk和vk+1表示第k和k+1帧时IMU的速度，Δt为k与k+1帧之间的时间间隔，Rt为t时刻旋转矩阵，at为t时刻的加速度，g为重力加速度；
步骤4，利用SFM算法获取关键帧中跟踪的特征点，并根据该特征点计算出每个关键帧的位姿其中表示关键帧的位置，为表示关键帧的四元数，代表关键帧的旋转信息；
步骤5，根据IMU测得的两帧之间的IMU位置相减计算获得位移，再根据IMU得到的位移和旋转信息与相机测得两帧之间的位移和旋转信息相等算出相机与IMU之间的外参外参的计算公式为：
式中，s为尺度因子，表示相机坐标系下IMU的四元数，即相机与IMU之间的旋转关系，为相机与IMU之间的位置关系，为IMU测量的位置，为IMU测量的四元数，表示旋转信息；
步骤6，初始化IMU的速度、加速度以及尺度因子，初始化公式为：
式中，表示IMU预积分结果，预积分结果包括和两项，分别表示IMU在第k与k+1帧之间的位置约束和速度约束，为测量矩阵，表示IMU在第k帧下的四元数，为的逆，、则表示IMU在第k、k+1帧下的位置，为两帧图像之间的时间，χI为估算参数，、分别为IMU在第k和k+1帧时对应的速度，gv为加速度，s为尺度因子，为高斯噪声；
步骤7，利用紧耦合非线性优化IMU测量数据以及相机测量数据得到相机姿态，优化公式为：
式中，与分别为IMU测量与相机测量的残差，优化上式得到相机的姿态，从而根据相机姿态叠加虚拟物体实现AR效果。
进一步地，步骤1中，相机以30HZ的速度获取图像，即1秒30帧的速度；IMU以100HZ的速度获取数据，即1秒100组IMU数据。
进一步地，步骤2中，光流法假设同一个特征点的灰度不变，对于t时刻位于(x,y)处的像素，假设t+dt时刻他运动到(x+dx，y+dy)处，灰度值不变，表示式为：
I(x+dx，y+dy，t+dt)＝I(x，y，t)
式中，(x+dx，y+dy表示运动后的坐标，(x,y)表示运动前坐标，t表示运动前时刻，t+dt表示运动后时刻。
本发明的有益效果在于：采用IMU(惯性测量单元)正好弥补了VSLAM的缺点，在短时间内，其效果很好且不受环境特征点的影响；在时间长时，可利用VSLAM与IMU对齐，防止偏移；结合VSLAM与IMU的VIO系统(Visual-Inertial Odometry)，可保证算法在移动端实时运行，且效果很稳定。
附图说明
图1为本发明的方法流程图。
具体实施方式
如图1所示，本发明提供了一种基于单目vio的移动端AR方法，包括如下步骤：
步骤1，利用相机和IMU分别进行图像采集和惯性数据采集，且IMU的采集频率大于相机的采集频率；
步骤2，提取相机获取的每一帧图像的特征点，并用光流法对各个特征点进行跟踪，并将成功跟踪的帧设置为关键帧；
步骤3，由于IMU的频率远高于相机获取图像的速度，所以当获取到两帧图像时，往往会得到多组IMU数据，因此对IMU得到的多组IMU数据进行预积分，计算出两帧图像对应的IMU位置和速度分别为：
式中，Pk和Pk+1分别表示第k和k+1帧时IMU的位置，vk和vk+1表示第k和k+1帧时IMU的速度，Δt为k与k+1帧之间的时间间隔，Rt为t时刻旋转矩阵，at为t时刻的加速度，g为重力加速度；
步骤4，利用SFM算法获取关键帧中跟踪的特征点，并根据该特征点计算出每个关键帧的位姿位姿此处的计算方法为本领域的常规计算，此处不再细述，其中表示关键帧的位置，为表示关键帧的四元数，代表关键帧的旋转信息；
步骤5，根据IMU测得的两帧之间的IMU位置相减计算获得位移，再根据IMU得到的位移和旋转信息与相机测得两帧之间的位移和旋转信息相等算出相机与IMU之间的外参外参的计算公式为：
式中，s为尺度因子，可由步骤6的初始化公式计算获得，表示相机坐标系下IMU的四元数，即相机与IMU之间的旋转关系，为相机与IMU之间的位置关系，为IMU测量的位置，由步骤3获得，为IMU测量的四元数，表示旋转信息，旋转信息包括速度值和方向信息，有步骤3中的旋转矩阵Rt计算获得，该计算方法为本领域常规计算，此处不再细述；
步骤6，判断是否已经进行过初始化，若还未进行初始化，则初始化IMU的速度、加速度以及尺度因子，若已经进行过初始化，则直接进入步骤7，初始化公式为：
式中，表示IMU预积分结果，预积分结果包括和两项，分别表示IMU在第k与k+1帧之间的位置约束和速度约束，由步骤3计算获得，计算方法为本领域常规计算，此处不再细述，为测量矩阵，中的表示IMU在第k帧下的四元数，由步骤4中的SFM结果以及步骤5中第一个公式计算得到，该计算方法为本领域常规计算，此处不再细述，为的逆，、则表示IMU在第k、k+1帧下的位置，且满足步骤5中第二个公式的约束，为两帧图像之间的时间，χI为估算参数，、分别为IMU在第k和k+1帧时对应的速度，gv为加速度，s为尺度因子，为高斯噪声，在计算时可忽略；
步骤7，利用紧耦合非线性优化IMU测量数据以及相机测量数据得到相机姿态，相机测量数据由SFM算法根据相机拍摄的图像计算得到，优化公式为：
式中，与分别为IMU测量与相机测量的残差，相机测量的残差由相机的基本参数计算获得，为本领域常规计算方法，此处不再细述，优化上式得到相机的姿态，从而根据相机姿态叠加虚拟物体实现AR效果。
进一步地，步骤1中，相机以30HZ的速度获取图像，即1秒30帧的速度；IMU以100HZ的速度获取数据，即1秒100组IMU数据。
进一步地，步骤2中，光流法假设同一个特征点的灰度不变，对于t时刻位于(x,y)处的像素，假设t+dt时刻他运动到(x+dx，y+dy)处，灰度值不变，表示式为：
1(x+dx，y+dy，t+dt)＝1(x，y，t)
式中，(x+dx，y+dy)表示运动后的坐标，(x,y)表示运动前坐标，t表示运动前时刻，t+dt表示运动后时刻。
本发明采用IMU(惯性测量单元)正好弥补了VSLAM的缺点，在短时间内，其效果很好且不受环境特征点的影响；在时间长时，可利用VSLAM与IMU对齐，防止偏移；结合VSLAM与IMU的VIO系统(Visual-Inertial Odometry)，可保证算法在移动端实时运行，且效果很稳定。
Claims (3)
1.一种基于单目vio的移动端AR方法，其特征在于，包括如下步骤：
步骤1，利用相机和IMU分别进行图像采集和惯性数据采集，且IMU的采集频率大于相机的采集频率；
步骤2，提取相机获取的每一帧图像的特征点，并用光流法对各个特征点进行跟踪，并将成功跟踪的帧设置为关键帧；
步骤3，对IMU得到的多组IMU数据进行预积分，计算出两帧图像对应的IMU位置和速度分别为：
<mrow>
<msub>
<mi>P</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>P</mi>
<mi>k</mi>
</msub>
<mo>+</mo>
<msub>
<mi>v</mi>
<mi>k</mi>
</msub>
<mi>&Delta;</mi>
<mi>t</mi>
<mo>+</mo>
<mo>&Integral;</mo>
<msubsup>
<mo>&Integral;</mo>
<mi>k</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>R</mi>
<mi>t</mi>
</msub>
<msub>
<mi>&alpha;</mi>
<mi>t</mi>
</msub>
<mo>-</mo>
<mi>g</mi>
</mrow>
<mo>)</mo>
</mrow>
<msup>
<mi>dt</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<msub>
<mi>v</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>v</mi>
<mi>k</mi>
</msub>
<mo>+</mo>
<msubsup>
<mo>&Integral;</mo>
<mi>k</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>R</mi>
<mi>t</mi>
</msub>
<msub>
<mi>&alpha;</mi>
<mi>t</mi>
</msub>
<mo>-</mo>
<mi>g</mi>
</mrow>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mi>t</mi>
</mrow>
式中，Pk和Pk+1分别表示第k和k+1帧时IMU的位置，vk和vk+1表示第k和k+1帧时IMU的速度，Δt为k与k+1帧之间的时间间隔，Rt为t时刻旋转矩阵，at为t时刻的加速度，g为重力加速度；
步骤4，利用SFM算法获取关键帧中跟踪的特征点，并根据该特征点计算出每个关键帧的位姿其中表示关键帧的位置，为表示关键帧的四元数，代表关键帧的旋转信息；
步骤5，根据IMU测得的两帧之间的IMU位置相减计算获得位移，再根据IMU得到的位移和旋转信息与相机测得两帧之间的位移和旋转信息相等算出相机与IMU之间的外参外参的计算公式为：
<mrow>
<msubsup>
<mi>q</mi>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
<mi>v</mi>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>q</mi>
<msub>
<mi>c</mi>
<mi>k</mi>
</msub>
<mi>v</mi>
</msubsup>
<mo>&CircleTimes;</mo>
<msubsup>
<mi>q</mi>
<mi>b</mi>
<mi>c</mi>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>sp</mi>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
<mi>v</mi>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>sp</mi>
<msub>
<mi>c</mi>
<mi>k</mi>
</msub>
<mi>v</mi>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>q</mi>
<msub>
<mi>c</mi>
<mi>k</mi>
</msub>
<mi>v</mi>
</msubsup>
<msubsup>
<mi>p</mi>
<mi>b</mi>
<mi>c</mi>
</msubsup>
</mrow>
式中，s为尺度因子，定示相机坐标系下IMU的四元数，即相机与IMU之间的旋转关系，为相机与IMU之间的位置关系，为IMU测量的位置，为IMU测量的四元数，表示旋转信息；
步骤6，初始化IMU的速度、加速度以及尺度因子，初始化公式为：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>z</mi>
<msub>
<mi>b</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
</msubsup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>&alpha;</mi>
<msub>
<mi>b</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>&beta;</mi>
<msub>
<mi>b</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msubsup>
<mi>H</mi>
<msub>
<mi>b</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
</msubsup>
<msub>
<mi>&chi;</mi>
<mi>I</mi>
</msub>
<mo>+</mo>
<msubsup>
<mi>n</mi>
<msub>
<mi>b</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
</msubsup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>&ap;</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>q</mi>
<mi>v</mi>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
</msubsup>
<mo>&dtri;</mo>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msubsup>
<mi>q</mi>
<mi>v</mi>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
</msubsup>
<mo>&dtri;</mo>
<msubsup>
<mi>t</mi>
<mi>k</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>q</mi>
<mi>v</mi>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
</msubsup>
<mrow>
<mo>(</mo>
<mrow>
<msubsup>
<mi>p</mi>
<msub>
<mi>b</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mi>v</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>p</mi>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
<mi>v</mi>
</msubsup>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<msubsup>
<mi>q</mi>
<mi>v</mi>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
</msubsup>
</mrow>
</mtd>
<mtd>
<msubsup>
<mi>q</mi>
<mi>v</mi>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
</msubsup>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>q</mi>
<mi>v</mi>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
</msubsup>
<mo>&dtri;</mo>
<msub>
<mi>t</mi>
<mi>k</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>v</mi>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
<mi>v</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>v</mi>
<msub>
<mi>b</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mi>v</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>g</mi>
<mi>v</mi>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>s</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
式中，表示IMU预积分结果，预积分结果包括和两项，分别表示IMU在第k与k+1帧之间的位置约束和速度约束，为测量矩阵，表示IMU在第k帧下的四元数，为的逆，则表示IMU在第k、k+1帧下的位置，为两帧图像之间的时间，χI为估算参数，分别为IMU在第k和k+1帧时对应的速度，gv为加速度，s为尺度因子，为高斯噪声；
步骤7，利用紧耦合非线性优化IMU测量数据以及相机测量数据得到相机姿态，优化公式为：
<mrow>
<munder>
<mi>min</mi>
<mi>&chi;</mi>
</munder>
<mo>{</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>&Element;</mo>
<mi>&beta;</mi>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>&gamma;</mi>
<mi>&beta;</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<msubsup>
<mi>z</mi>
<msub>
<mi>b</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
</msubsup>
<mo>,</mo>
<mi>&chi;</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mrow>
<mo>(</mo>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>&Element;</mo>
<mi>&zeta;</mi>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>&gamma;</mi>
<mi>&zeta;</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<msubsup>
<mi>z</mi>
<mi>l</mi>
<msub>
<mi>c</mi>
<mi>j</mi>
</msub>
</msubsup>
<mo>,</mo>
<mi>&chi;</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>}</mo>
</mrow>
式中，与分别为IMU测量与相机测量的残差，优化上式得到相机的姿态，从而根据相机姿态叠加虚拟物体实现AR效果。
2.根据权利要求1所述的基于单目vio的移动端AR方法，其特征在于，步骤1中，相机以30HZ的速度获取图像，即1秒30帧的速度；IMU以100HZ的速度获取数据，即1秒100组IMU数据。
3.根据权利要求1所述的基于单目vio的移动端AR方法，其特征在于，步骤2中，光流法假设同一个特征点的灰度不变，对于t时刻位于(x，y)处的像素，假设t+dt时刻他运动到(x+dx，y+dy)处，灰度值不变，表示式为：
I(x+dx，y+dy，t+dt)＝I(x，y，t)
式中，(x+dx，y+dy)表示运动后的坐标，(x，y)表示运动前坐标，t表示运动前时刻，t+dt表示运动后时刻。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711050182.3A CN107767425A (zh) | 2017-10-31 | 2017-10-31 | 一种基于单目vio的移动端AR方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711050182.3A CN107767425A (zh) | 2017-10-31 | 2017-10-31 | 一种基于单目vio的移动端AR方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107767425A true CN107767425A (zh) | 2018-03-06 |
Family
ID=61271735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711050182.3A Pending CN107767425A (zh) | 2017-10-31 | 2017-10-31 | 一种基于单目vio的移动端AR方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107767425A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629793A (zh) * | 2018-03-22 | 2018-10-09 | 中国科学院自动化研究所 | 使用在线时间标定的视觉惯性测程法与设备 |
| CN108827315A (zh) * | 2018-08-17 | 2018-11-16 | 华南理工大学 | 基于流形预积分的视觉惯性里程计位姿估计方法及装置 |
| CN108986162A (zh) * | 2018-06-28 | 2018-12-11 | 四川斐讯信息技术有限公司 | 基于惯性测量单元和视觉信息的菜品和背景分割方法 |
| CN108981693A (zh) * | 2018-03-22 | 2018-12-11 | 东南大学 | 基于单目相机的vio快速联合初始化方法 |
| CN109029448A (zh) * | 2018-06-28 | 2018-12-18 | 东南大学 | 单目视觉惯性定位的imu辅助跟踪模型 |
| CN109631894A (zh) * | 2018-12-11 | 2019-04-16 | 智灵飞（北京）科技有限公司 | 一种基于滑动窗口的单目视觉惯性紧耦合方法 |
| CN110009681A (zh) * | 2019-03-25 | 2019-07-12 | 中国计量大学 | 一种基于imu辅助的单目视觉里程计位姿处理方法 |
| CN110288702A (zh) * | 2019-06-28 | 2019-09-27 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
| CN110378968A (zh) * | 2019-06-24 | 2019-10-25 | 深圳奥比中光科技有限公司 | 相机和惯性测量单元相对姿态的标定方法及装置 |
| CN110428452A (zh) * | 2019-07-11 | 2019-11-08 | 北京达佳互联信息技术有限公司 | 非静态场景点的检测方法、装置、电子设备及存储介质 |
| CN110717927A (zh) * | 2019-10-10 | 2020-01-21 | 桂林电子科技大学 | 基于深度学习和视惯融合的室内机器人运动估计方法 |
| CN111354042A (zh) * | 2018-12-24 | 2020-06-30 | 深圳市优必选科技有限公司 | 机器人视觉图像的特征提取方法、装置、机器人及介质 |
| CN111784775A (zh) * | 2020-07-13 | 2020-10-16 | 中国人民解放军军事科学院国防科技创新研究院 | 一种标识辅助的视觉惯性增强现实注册方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824080A (zh) * | 2014-02-21 | 2014-05-28 | 北京化工大学 | 动态稀疏环境下机器人slam物体状态检测方法 |
| CN105116431A (zh) * | 2015-09-08 | 2015-12-02 | 中国人民解放军装备学院 | 一种惯性导航平台和北斗卫星的高精度超紧耦合导航方法 |
| US9390344B2 (en) * | 2014-01-09 | 2016-07-12 | Qualcomm Incorporated | Sensor-based camera motion detection for unconstrained slam |
| CN105783913A (zh) * | 2016-03-08 | 2016-07-20 | 中山大学 | 一种融合车载多传感器的slam装置及其控制方法 |
| CN106446815A (zh) * | 2016-09-14 | 2017-02-22 | 浙江大学 | 一种同时定位与地图构建方法 |
-
2017
- 2017-10-31 CN CN201711050182.3A patent/CN107767425A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9390344B2 (en) * | 2014-01-09 | 2016-07-12 | Qualcomm Incorporated | Sensor-based camera motion detection for unconstrained slam |
| CN103824080A (zh) * | 2014-02-21 | 2014-05-28 | 北京化工大学 | 动态稀疏环境下机器人slam物体状态检测方法 |
| CN105116431A (zh) * | 2015-09-08 | 2015-12-02 | 中国人民解放军装备学院 | 一种惯性导航平台和北斗卫星的高精度超紧耦合导航方法 |
| CN105783913A (zh) * | 2016-03-08 | 2016-07-20 | 中山大学 | 一种融合车载多传感器的slam装置及其控制方法 |
| CN106446815A (zh) * | 2016-09-14 | 2017-02-22 | 浙江大学 | 一种同时定位与地图构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| SHAOJIE SHEN等: "VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator", 《HTTPS://ARXIV.ORG/ABS/1708.03852》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108981693A (zh) * | 2018-03-22 | 2018-12-11 | 东南大学 | 基于单目相机的vio快速联合初始化方法 |
| CN108629793A (zh) * | 2018-03-22 | 2018-10-09 | 中国科学院自动化研究所 | 使用在线时间标定的视觉惯性测程法与设备 |
| CN108986162B (zh) * | 2018-06-28 | 2022-02-22 | 杭州吉吉知识产权运营有限公司 | 基于惯性测量单元和视觉信息的菜品和背景分割方法 |
| CN108986162A (zh) * | 2018-06-28 | 2018-12-11 | 四川斐讯信息技术有限公司 | 基于惯性测量单元和视觉信息的菜品和背景分割方法 |
| CN109029448A (zh) * | 2018-06-28 | 2018-12-18 | 东南大学 | 单目视觉惯性定位的imu辅助跟踪模型 |
| CN108827315B (zh) * | 2018-08-17 | 2021-03-30 | 华南理工大学 | 基于流形预积分的视觉惯性里程计位姿估计方法及装置 |
| CN108827315A (zh) * | 2018-08-17 | 2018-11-16 | 华南理工大学 | 基于流形预积分的视觉惯性里程计位姿估计方法及装置 |
| CN109631894A (zh) * | 2018-12-11 | 2019-04-16 | 智灵飞（北京）科技有限公司 | 一种基于滑动窗口的单目视觉惯性紧耦合方法 |
| CN111354042B (zh) * | 2018-12-24 | 2023-12-01 | 深圳市优必选科技有限公司 | 机器人视觉图像的特征提取方法、装置、机器人及介质 |
| CN111354042A (zh) * | 2018-12-24 | 2020-06-30 | 深圳市优必选科技有限公司 | 机器人视觉图像的特征提取方法、装置、机器人及介质 |
| CN110009681A (zh) * | 2019-03-25 | 2019-07-12 | 中国计量大学 | 一种基于imu辅助的单目视觉里程计位姿处理方法 |
| CN110009681B (zh) * | 2019-03-25 | 2021-07-30 | 中国计量大学 | 一种基于imu辅助的单目视觉里程计位姿处理方法 |
| CN110378968A (zh) * | 2019-06-24 | 2019-10-25 | 深圳奥比中光科技有限公司 | 相机和惯性测量单元相对姿态的标定方法及装置 |
| CN110288702B (zh) * | 2019-06-28 | 2021-05-18 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
| CN110288702A (zh) * | 2019-06-28 | 2019-09-27 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
| CN110428452A (zh) * | 2019-07-11 | 2019-11-08 | 北京达佳互联信息技术有限公司 | 非静态场景点的检测方法、装置、电子设备及存储介质 |
| CN110428452B (zh) * | 2019-07-11 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 非静态场景点的检测方法、装置、电子设备及存储介质 |
| CN110717927A (zh) * | 2019-10-10 | 2020-01-21 | 桂林电子科技大学 | 基于深度学习和视惯融合的室内机器人运动估计方法 |
| CN111784775B (zh) * | 2020-07-13 | 2021-05-04 | 中国人民解放军军事科学院国防科技创新研究院 | 一种标识辅助的视觉惯性增强现实注册方法 |
| CN111784775A (zh) * | 2020-07-13 | 2020-10-16 | 中国人民解放军军事科学院国防科技创新研究院 | 一种标识辅助的视觉惯性增强现实注册方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107767425A (zh) | 一种基于单目vio的移动端AR方法 | |
| CN104704384B (zh) | 具体用于装置的基于视觉的定位的图像处理方法 | |
| CN103745474B (zh) | 基于惯性传感器和摄像机的图像配准方法 | |
| CN110095116A (zh) | 一种基于lift的视觉定位和惯性导航组合的定位方法 | |
| CN111462231B (zh) | 一种基于rgbd传感器和imu传感器的定位方法 | |
| CN109166149A (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 | |
| CN108051002A (zh) | 基于惯性测量辅助视觉的运输车空间定位方法及系统 | |
| CN110146099B (zh) | 一种基于深度学习的同步定位与地图构建方法 | |
| CN106780699A (zh) | 一种基于sins/gps和里程计辅助的视觉slam方法 | |
| CN112815939B (zh) | 移动机器人的位姿估计方法及计算机可读存储介质 | |
| CN105953796A (zh) | 智能手机单目和imu融合的稳定运动跟踪方法和装置 | |
| CN107941217A (zh) | 一种机器人定位方法、电子设备、存储介质、装置 | |
| Sun et al. | Adaptive sensor data fusion in motion capture | |
| CN110675453B (zh) | 一种已知场景中运动目标的自定位方法 | |
| CN111862316B (zh) | 一种基于优化的imu紧耦合稠密直接rgbd的三维重建方法 | |
| CN111354043A (zh) | 一种基于多传感器融合的三维姿态估计方法及装置 | |
| CN108981693A (zh) | 基于单目相机的vio快速联合初始化方法 | |
| CN103994765A (zh) | 一种惯性传感器的定位方法 | |
| CN111609868A (zh) | 一种基于改进光流法的视觉惯性里程计方法 | |
| CN104848861A (zh) | 一种基于图像消失点识别技术的移动设备姿态测量方法 | |
| CN112985450B (zh) | 一种具有同步时间误差估计的双目视觉惯性里程计方法 | |
| CN114529576A (zh) | 一种基于滑动窗口优化的rgbd和imu混合跟踪注册方法 | |
| CN105607760A (zh) | 一种基于微惯性传感器的轨迹还原方法及系统 | |
| CN111595332B (zh) | 一种融合惯性技术与视觉建模的全环境定位方法 | |
| CN106709222A (zh) | 基于单目视觉的imu漂移补偿方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180306 |
|
| RJ01 | Rejection of invention patent application after publication |