CN111307176A - 一种vr头戴显示设备中视觉惯性里程计的在线标定方法 - Google Patents

一种vr头戴显示设备中视觉惯性里程计的在线标定方法 Download PDF

Info

Publication number
CN111307176A
CN111307176A CN202010135116.1A CN202010135116A CN111307176A CN 111307176 A CN111307176 A CN 111307176A CN 202010135116 A CN202010135116 A CN 202010135116A CN 111307176 A CN111307176 A CN 111307176A
Authority
CN
China
Prior art keywords
measurement unit
camera
inertial measurement
pose
odometer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010135116.1A
Other languages
English (en)
Other versions
CN111307176B (zh
Inventor
乔洋洋
郭犇
于洋
牛建伟
任涛
王平平
姚立群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University Qingdao Research Institute
Original Assignee
Beihang University Qingdao Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University Qingdao Research Institute filed Critical Beihang University Qingdao Research Institute
Priority to CN202010135116.1A priority Critical patent/CN111307176B/zh
Publication of CN111307176A publication Critical patent/CN111307176A/zh
Application granted granted Critical
Publication of CN111307176B publication Critical patent/CN111307176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Navigation (AREA)

Abstract

本申请公开了一种VR头戴显示设备中视觉惯性里程计的在线标定方法，其特征在于：包括以下步骤：1)处理设备获取相机的外部参数初值、惯性测量单元200的外部参数初值；2)处理设备获取VR头显设备的历史位姿；3)在处理设备中对相机的外部参数、惯性测量单元200的外部参数进行在线更新；4)利用处理设备获得的VR头显设备的历史位姿对惯性测量单元200的内部参数进行在线优化更新；所述惯性测量单元200包括加速度计和陀螺仪；所述相机包括首个相机(101)和额外相机(102)。本发明的优点在于它能克服现有技术的弊端，结构设计合理新颖。

Description

一种VR头戴显示设备中视觉惯性里程计的在线标定方法
技术领域
本发明涉及一种VR头戴显示设备中视觉惯性里程计的在线标定方法，属于计算机视觉、虚拟现实(VR)技术领域。
背景技术
近年来，随着VR技术的发展，消费级的VR头显设备越来越普遍。在VR应用中，对头戴显示设备运动状态的准确追踪，能够增加VR内容带来的沉浸感，提升消费级VR产品的用户体验。基于视觉的、视觉惯性融合的内向外定位追踪技术方案，可使用成本低廉的相机传感器和惯性传感器获取丰富的应用场景环境信息，提供较为准确的VR头显设备位姿，在目前的消费级VR头显设备中取得了广泛应用。
廉价的相机传感器和惯性传感器存在较大的畸变、噪声等问题。部分传感器内外参数会受外界环境诸如温度、震动等变化的影响。
发明内容
本发明提供一种VR头戴显示设备中视觉惯性里程计的在线标定方法，通过其对应的内外参数修正，可使传感器提供更优质的测量值，提升定位追踪系统的准确度。采用随VR应用一并运行的视觉惯性传感器在线标定系统，可以保证消费级VR头显设备的追踪精度。
本发明采取的技术方案是，一种VR头戴显示设备中视觉惯性里程计的在线标定方法，包括以下步骤：1)处理设备获取相机的外部参数初值、惯性测量单元200的外部参数初值；2)处理设备获取VR头显设备的历史位姿；3)在处理设备中对相机的外部参数、惯性测量单元200的外部参数进行在线更新；4)利用处理设备获得的VR头显设备的历史位姿对惯性测量单元200的内部参数进行在线优化更新；所述惯性测量单元200包括加速度计和陀螺仪；所述相机包括首个相机(101)和额外相机(102)；
所述相机的外部参数初值、惯性测量单元200的外部参数包括：首个相机与惯性测量单元200的相对位姿、额外相机(102)与首个相机(101)的相对位姿、相机与惯性测量单元200输出采样数据的时差；
所述惯性测量单元200的内部参数包括：加速度计的三轴倾斜、刻度因子、零点偏移，陀螺仪的三轴倾斜、刻度因子、零点偏移。
优化的，上述VR头戴显示设备中视觉惯性里程计的在线标定方法，所述处理设备包括视觉惯性里程计、视觉里程计；或者处理设备为处理器(300)，处理器(300)内集成有视觉惯性里程计、视觉里程计；在VR头显设备初始化阶段，处理设备获取相机的外部参数初值、惯性测量单元200的外部参数初值，此时获取的相机的外部参数初值、惯性测量单元200的外部参数初值包括：通过视觉里程计获取所述相机的多个位姿；通过所述惯性测量单元200测量数据进行姿态解算获取其多个位姿；利用同时间戳的相机和惯性测量单元200的多个位姿优化获得额外相机(102)与首个相机(101)之间、惯性测量单元200与额外相机(102)之间、惯性测量单元200与首个相机(101)之间的外部参数初值。
优化的，上述VR头戴显示设备中视觉惯性里程计的在线标定方法，获得所述额外相机(102)与首个相机(101)之间外部参数初值的过程包括如下步骤：
5)定义额外相机(102)的坐标系到首个相机(101)的坐标系的变换矩阵；
6)利用步骤5)得到的变换矩阵将首个相机(101)的位姿转换到额外相机(102)的坐标系下；
获得所述首个相机(101)与惯性测量单元200外部参数初值、额外相机(102)与惯性测量单元200外部参数初值包括如下过程：
7)定义额外相机(102)坐标系到惯性测量单元200坐标系的变换矩阵；
8)利用额外相机(102)坐标系到惯性测量单元200坐标系的变换矩阵将额外相机(102)的位姿转换到惯性测量单元200的坐标系下。
优化的，上述VR头戴显示设备中视觉惯性里程计的在线标定方法，获得所述额外相机(102)与首个相机(101)之间外部参数初值的过程中还包含以下步骤：
9)统计多组额外相机(102)位姿与首个相机(101)位姿的绝对误差，并获得额外相机(102)位姿与首个相机(101)位姿的最小化位姿误差；统计的额外相机(102)位姿与首个相机(101)位姿的绝对误差包括旋转误差和平移误差；
10)以步骤7)获得的最小化位姿误差为优化目标，利用数值计算方法解算获得外部参数变换矩阵的最优值；
获得所述首个相机(101)与惯性测量单元200外部参数初值、额外相机(102)与惯性测量单元200外部参数初值的过程中还包含以下步骤：
统计额外相机(102)位姿与惯性测量单元200位姿的绝对误差，其中包括统计额外相机(102)位姿与惯性测量单元200位姿的旋转误差、平移误差；
12)定义首个相机(101)与惯性测量单元200输出数据的时差，定义额外相机(102)与惯性测量单元200输出数据的时差；
13)将惯性测量单元200测量数据姿态解算所得速度与时差乘积，参与构建首个相机(101)、额外相机(102)图像的重投影误差；
14)以步骤11)、步骤12)、步骤13)获得的最小化位姿误差与重投影误差之和为优化目标，利用数值计算方法解算获得外部参数的最优值。
优化的，上述VR头戴显示设备中视觉惯性里程计的在线标定方法，所述视觉里程计是基于最小化重投影误差或最小化光度误差对首个相机(101)和额外相机(102)的位姿进行优化的。
优化的，上述VR头戴显示设备中视觉惯性里程计的在线标定方法，所述视觉惯性里程计是基于扩展卡尔曼滤波、无迹卡尔曼滤波或基于最小化误差函数对所述首个相机(101)、额外相机(102)和惯性测量单元200的外部参数进行迭代更新的；所述外部参数作为视觉惯性里程计的系统状态。
优化的，上述VR头戴显示设备中视觉惯性里程计的在线标定方法，在步骤4)中利用处理设备获得的VR头显设备的历史位姿对惯性测量单元200的内部参数进行在线优化更新，包括通过惯性测量单元200测量数据进行姿态解算获得位姿变化；将通过惯性测量单元200测量数据进行姿态解算获得的位姿变化进行最小化，并通过最小化的该位姿变化、视觉惯性里程计输出值间的绝对误差对惯性测量单元200的内部参数进行迭代优化。
优化的，上述VR头戴显示设备中视觉惯性里程计的在线标定方法，通过最小化的该位姿变化、视觉惯性里程计输出值间的绝对误差对惯性测量单元200的内部参数进行迭代优化包括如下过程：
15)定义惯性测量单元200内部参数更新矩阵；
16)选择惯性测量单元200测量数据，利用更新矩阵表示的惯性测量单元200测量数据解算所得惯性测量单元200位姿；
17)选择惯性测量单元200位姿对应时间戳的视觉惯性里程计输出位姿；
18)将惯性测量单元200位姿通过外部参数转换到视觉惯性里程计同一坐标系下，以惯性测量单元200坐标系作为视觉惯性里程计坐标系的情况可以省略该步骤；
19)统计惯性测量单元200位姿与视觉惯性里程计输出位姿的绝对误差，包含旋转误差和平移误差；
20)以最小化位姿绝对误差为优化目标，利用数值方法解算获得内部参数更新矩阵的最优值。
优化的，上述VR头戴显示设备中视觉惯性里程计的在线标定方法，利用处理设备获得的VR头显设备的历史位姿对惯性测量单元200的内部参数进行在线优化更新，还包括：选择触发惯性测量单元200内部参数更新的频率，选择参与每次惯性测量单元200内部参数更新的惯性测量单元200测量样本数量。
本申请的技术方案中，针对廉价的相机传感器和惯性传感器存在较大的畸变、噪声等问题，通过其对应的内外参数修正，可使传感器提供更优质的测量值，提升定位追踪系统的准确度。部分传感器内外参数会受外界环境诸如温度、震动等变化的影响，采用随VR应用一并运行的视觉惯性传感器在线标定系统，可以保证消费级VR头显设备的追踪精度。
附图说明
图1示出本发明中VR头显设备中相关硬件配置与相关坐标系示意图；
图2示出本发明中各个相机与惯性测量单元外部参数初始值流程示意图；
图3示出本发明中各个相机与惯性测量单元外部参数更新流程示意图；
图4示出本发明中惯性测量单元内部参数优化更新流程示意图。
具体实施方式
下面结合附图与具体实施例进一步阐述本发明的技术特点。
图1给出本实施例的VR头显设备中相关的传感器、处理器硬件配置关系，以及传感器测量数据坐标系间的转换关系。VR头显设备中的相关硬件包括：首个相机101、额外相机102、惯性测量单元200、处理器300，视觉惯性里程计、视觉里程计集成于处理器300内，惯性测量单元200包括加速度计和陀螺仪。
首个相机101、额外相机102为VR头显设备获取外部视觉信息的传感器，首个相机101、额外相机102获取的视觉信息分别通过信道P1、P2传入处理器300，参与视觉里程计、视觉惯性里程计的信息处理过程。惯性测量单元200为VR头显设备获取自身加速度、角速度的传感器，惯性信息通过信道P3传入处理器300，参与位姿解算、视觉惯性里程计的信息处理过程。本实施例中信息处理过程，包括计算首个相机101、额外相机102与惯性测量单元200的外部参数初始值、计算首个相机101、额外相机102与惯性测量单元200的外部参数更新、计算惯性测量单元200内部参数更新，这些都是在处理器300中进行的。
首个相机101与额外相机102的原始测量数据均处于自身坐标系，变换过程L1将相机101的测量数据转换到相机102的坐标系下，变换过程以变换矩阵Tcc描述。首个相机101、额外相机102与惯性测量单元200的原始测量数据均处于自身坐标系，变换过程L2将相机的测量数据转换到惯性测量单元200坐标系下，变换过程以变换矩阵Tci描述；首个相机101、额外相机102可以通过相同的快门触发使测量数据时间同步，相机测量数据与惯性测量单元200测量数据的时间延迟以时差Δt描述。
图2中显示出本实施例中首个相机101与额外相机102的变换矩阵推算流程。
步骤201、步骤202中相机(包括首个相机101和额外相机102)采集的视觉图像传输至处理器中，使用视觉里程计算法如PTAM、SVO等解算相机位姿。对于步骤201中获取的首个相机101的位姿S1，在步骤203中使用预定义的坐标系变换矩阵Tci将S1变换到额外相机102的坐标系下；对于步骤202中获取的额外相机102的位姿S2，直接使用。上述步骤获取的多组位姿数据会参与步骤204中的位姿绝对误差统计:
Figure BDA0002397044330000031
利用统计误差构建优化问题，其优化变量为变换矩阵Tci，优化目标为最小化位姿绝对误差。形式为：
Figure BDA0002397044330000032
步骤205使用数值方法如高斯牛顿法、列文伯格-马夸尔特法迭代求得较优的变换矩阵Tcc。此时如步骤206中所述，利用该变换矩阵将首个相机101和额外相机102位姿统一为Sc，步骤207使用预定义的额外相机102到惯性测量单元200坐标系的变换矩阵Tci将相机位姿Sc转换到惯性测量单元200坐标系下。
步骤208使用惯性测量单元200姿态解算获取惯性测量单元200位姿数据Si，该数据与上述首个相机101和额外相机102统一的位姿Sc存在采样时间延迟。步骤209中定义该采样时间延迟为初始时差t0，该步骤中的误差函数既包含步骤204中的位姿绝对误差Eci(Tci)，也包含由时差导致的重投影误差Er(t0)。优化问题的优化变量为变换矩阵Tci和初始时差t0，优化目标为最小化位姿绝对误差与重投影误差之和。形式为：
Figure BDA0002397044330000041
步骤210使用数值方法解算得较优的变换矩阵Tci和初始时差t0。该阶段所得Tcc，Tci，t0将作为各个相机与惯性测量单元200间外部参数的初始值参与视觉惯性里程计。
图3展示了本实施例中外部参数在视觉惯性里程计中的更新流程。
在本流程中使用的视觉惯性里程计，可以是基于扩展卡尔曼滤波、无迹卡尔曼滤波或基于最小化误差函数等方法。在视觉惯性里程计的系统状态向量表示中，必须包含首个相机101和额外相机102之间、首个相机101与惯性测量单元200之间、额外相机102与惯性测量单元200之间的外部参数。步骤301中，首个相机101和额外相机102之间、首个相机101与惯性测量单元200之间、额外相机102与惯性测量单元200之间的外部参数初始值参与视觉惯性里程计系统状态向量的初始阶段；步骤302，视觉惯性里程计通过滤波或优化方法完成单次迭代，迭代过程会同时产生新的外部参数；步骤303，获取新的外部参数；步骤304，使用新的外部参数覆盖视觉惯性里程计系统状态向量中旧的外部参数值，使用更新后的系统状态向量进行下一次滤波或优化迭代步骤。
图4展示了本实施例中惯性测量单元200内部参数优化更新流程。
步骤401，预定义变量惯性测量单元200内部参数的更新矩阵Uα,Ug；步骤402，利用内部参数的更新矩阵，表示多个惯性测量单元200测量数据，加速度计测量值修正为UαKα(αS-bα)，陀螺仪测量值修正为UgKg(ωS-bω)其中Kα,Kg分别为加速度计和陀螺仪的内部参数矩阵，bα,bω分别为加速度和陀螺仪的零点偏移，bα,bω会作为视觉惯性里程计中系统状态向量的一部分，在每次视觉惯性里程计迭代后发生更新，因此这里不做修改。
步骤403，利用更新矩阵表示下的惯性测量单元200测量值解算位姿[p1,v1,q1]。解算方法为龙格库塔数值积分，形式为：
Figure BDA0002397044330000042
Figure BDA0002397044330000051
Figure BDA0002397044330000052
步骤404，视觉惯性里程计中获取与上述步骤中惯性测量单元200解算位姿对应时间戳的历史位姿[p0,v0,q0]。步骤405，统计多组两种位姿的绝对误差值，使用该误差累积构建优化问题，优化变量为Uα,Ug，形式为：
Figure BDA0002397044330000053
步骤406，使用数值方法求解上述优化问题得到惯性测量单元200内部参数的更新矩阵Uα,Ug；步骤407，将更新矩阵Uα,Ug更新的IMU的内部参数矩阵，新的惯性测量单元200内部参数将参与视觉惯性里程计的后续步骤。
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，作出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (9)

1.一种VR头戴显示设备中视觉惯性里程计的在线标定方法，其特征在于：包括以下步骤：1)处理设备获取相机的外部参数初值、惯性测量单元200的外部参数初值；2)处理设备获取VR头显设备的历史位姿；3)在处理设备中对相机的外部参数、惯性测量单元200的外部参数进行在线更新；4)利用处理设备获得的VR头显设备的历史位姿对惯性测量单元200的内部参数进行在线优化更新；所述惯性测量单元200包括加速度计和陀螺仪；所述相机包括首个相机(101)和额外相机(102)；
所述相机的外部参数初值、惯性测量单元200的外部参数包括：首个相机与惯性测量单元200的相对位姿、额外相机(102)与首个相机(101)的相对位姿、相机与惯性测量单元200输出采样数据的时差；
所述惯性测量单元200的内部参数包括：加速度计的三轴倾斜、刻度因子、零点偏移，陀螺仪的三轴倾斜、刻度因子、零点偏移。
2.根据权利要求1所述的VR头戴显示设备中视觉惯性里程计的在线标定方法，其特征在于：所述处理设备包括视觉惯性里程计、视觉里程计；或者处理设备为处理器(300)，处理器(300)内集成有视觉惯性里程计、视觉里程计；在VR头显设备初始化阶段，处理设备获取相机的外部参数初值、惯性测量单元200的外部参数初值，此时获取的相机的外部参数初值、惯性测量单元200的外部参数初值包括：通过视觉里程计获取所述相机的多个位姿；通过所述惯性测量单元200测量数据进行姿态解算获取其多个位姿；利用同时间戳的相机和惯性测量单元200的多个位姿优化获得额外相机(102)与首个相机(101)之间、惯性测量单元200与额外相机(102)之间、惯性测量单元200与首个相机(101)之间的外部参数初值。
3.根据权利要求2所述的VR头戴显示设备中视觉惯性里程计的在线标定方法，其特征在于：获得所述额外相机(102)与首个相机(101)之间外部参数初值的过程包括如下步骤：
5)定义额外相机(102)的坐标系到首个相机(101)的坐标系的变换矩阵；
6)利用步骤5)得到的变换矩阵将首个相机(101)的位姿转换到额外相机(102)的坐标系下；获得所述首个相机(101)与惯性测量单元200外部参数初值、额外相机(102)与惯性测量单元200外部参数初值包括如下过程：
7)定义额外相机(102)坐标系到惯性测量单元200坐标系的变换矩阵；
8)利用额外相机(102)坐标系到惯性测量单元200坐标系的变换矩阵将额外相机(102)的位姿转换到惯性测量单元200的坐标系下。
4.根据权利要求3所述的VR头戴显示设备中视觉惯性里程计的在线标定方法，其特征在于：获得所述额外相机(102)与首个相机(101)之间外部参数初值的过程中还包含以下步骤：
9)统计多组额外相机(102)位姿与首个相机(101)位姿的绝对误差，并获得额外相机(102)位姿与首个相机(101)位姿的最小化位姿误差；统计的额外相机(102)位姿与首个相机(101)位姿的绝对误差包括旋转误差和平移误差；
10)以步骤7)获得的最小化位姿误差为优化目标，利用数值计算方法解算获得外部参数变换矩阵的最优值；
获得所述首个相机(101)与惯性测量单元200外部参数初值、额外相机(102)与惯性测量单元200外部参数初值的过程中还包含以下步骤：
统计额外相机(102)位姿与惯性测量单元200位姿的绝对误差，其中包括统计额外相机(102)位姿与惯性测量单元200位姿的旋转误差、平移误差；
12)定义首个相机(101)与惯性测量单元200输出数据的时差，定义额外相机(102)与惯性测量单元200输出数据的时差；
13)将惯性测量单元200测量数据姿态解算所得速度与时差乘积，参与构建首个相机(101)、额外相机(102)图像的重投影误差；
14)以步骤11)、步骤12)、步骤13)获得的最小化位姿误差与重投影误差之和为优化目标，利用数值计算方法解算获得外部参数的最优值。
5.根据权利要求2所述的VR头戴显示设备中视觉惯性里程计的在线标定方法，其特征在于：所述视觉里程计是基于最小化重投影误差或最小化光度误差对首个相机(101)和额外相机(102)的位姿进行优化的。
6.根据权利要求2所述的VR头戴显示设备中视觉惯性里程计的在线标定方法，其特征在于：所述视觉惯性里程计是基于扩展卡尔曼滤波、无迹卡尔曼滤波或基于最小化误差函数对所述首个相机(101)、额外相机(102)和惯性测量单元200的外部参数进行迭代更新的；所述外部参数作为视觉惯性里程计的系统状态。
7.根据权利要求2所述的VR头戴显示设备中视觉惯性里程计的在线标定方法，其特征在于：在步骤4)中利用处理设备获得的VR头显设备的历史位姿对惯性测量单元200的内部参数进行在线优化更新，包括通过惯性测量单元200测量数据进行姿态解算获得位姿变化；将通过惯性测量单元200测量数据进行姿态解算获得的位姿变化进行最小化，并通过最小化的该位姿变化、视觉惯性里程计输出值间的绝对误差对惯性测量单元200的内部参数进行迭代优化。
8.根据权利要求7所述的VR头戴显示设备中视觉惯性里程计的在线标定方法，其特征在于：通过最小化的该位姿变化、视觉惯性里程计输出值间的绝对误差对惯性测量单元200的内部参数进行迭代优化包括如下过程：
15)定义惯性测量单元200内部参数更新矩阵；
16)选择惯性测量单元200测量数据，利用更新矩阵表示的惯性测量单元200测量数据解算所得惯性测量单元200位姿；
17)选择惯性测量单元200位姿对应时间戳的视觉惯性里程计输出位姿；
18)将惯性测量单元200位姿通过外部参数转换到视觉惯性里程计同一坐标系下，以惯性测量单元200坐标系作为视觉惯性里程计坐标系的情况可以省略该步骤；
19)统计惯性测量单元200位姿与视觉惯性里程计输出位姿的绝对误差，包含旋转误差和平移误差；
20)以最小化位姿绝对误差为优化目标，利用数值方法解算获得内部参数更新矩阵的最优值。
9.根据权利要求7所述的VR头戴显示设备中视觉惯性里程计的在线标定方法，其特征在于:在步骤18)中利用处理设备获得的VR头显设备的历史位姿对惯性测量单元200的内部参数进行在线优化更新，还包括：选择触发惯性测量单元200内部参数更新的频率，选择参与每次惯性测量单元200内部参数更新的惯性测量单元200测量样本数量。
CN202010135116.1A 2020-03-02 2020-03-02 一种vr头戴显示设备中视觉惯性里程计的在线标定方法 Active CN111307176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010135116.1A CN111307176B (zh) 2020-03-02 2020-03-02 一种vr头戴显示设备中视觉惯性里程计的在线标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010135116.1A CN111307176B (zh) 2020-03-02 2020-03-02 一种vr头戴显示设备中视觉惯性里程计的在线标定方法

Publications (2)

Publication Number Publication Date
CN111307176A true CN111307176A (zh) 2020-06-19
CN111307176B CN111307176B (zh) 2023-06-16

Family

ID=71160338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010135116.1A Active CN111307176B (zh) 2020-03-02 2020-03-02 一种vr头戴显示设备中视觉惯性里程计的在线标定方法

Country Status (1)

Country Link
CN (1) CN111307176B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114199275A (zh) * 2020-09-18 2022-03-18 阿里巴巴集团控股有限公司 传感器的参数确定方法和装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1291628A2 (en) * 2001-08-30 2003-03-12 Xerox Corporation Systems and methods for determining spectra using a multi-LED color sensor and dynamic Karhunen-Loeve algorithms
EP1367408A2 (en) * 2002-05-31 2003-12-03 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings monitoring device, and image production method
CN103033189A (zh) * 2012-12-26 2013-04-10 北京航空航天大学 一种深空探测巡视器惯性/视觉组合导航方法
CN103940434A (zh) * 2014-04-01 2014-07-23 西安交通大学 基于单目视觉和惯性导航单元的实时车道线检测系统
WO2016187759A1 (en) * 2015-05-23 2016-12-01 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
WO2017083420A1 (en) * 2015-11-10 2017-05-18 Thales Visionix, Inc. Robust vision-inertial pedestrian tracking with heading auto-alignment
CN107402012A (zh) * 2016-05-20 2017-11-28 北京自动化控制设备研究所 一种车辆的组合导航方法
CN107702709A (zh) * 2017-08-31 2018-02-16 西北工业大学 一种非合作目标运动与惯性参数的时频域混合辨识方法
CN108592950A (zh) * 2018-05-17 2018-09-28 北京航空航天大学 一种单目相机和惯性测量单元相对安装角标定方法
CN108629793A (zh) * 2018-03-22 2018-10-09 中国科学院自动化研究所 使用在线时间标定的视觉惯性测程法与设备
CN108827315A (zh) * 2018-08-17 2018-11-16 华南理工大学 基于流形预积分的视觉惯性里程计位姿估计方法及装置
CN109685852A (zh) * 2018-11-22 2019-04-26 上海肇观电子科技有限公司 相机与惯性传感器的标定方法、系统、设备及存储介质
WO2019157925A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN110411476A (zh) * 2019-07-29 2019-11-05 视辰信息科技(上海)有限公司 视觉惯性里程计标定适配及评价方法和系统
CN110455309A (zh) * 2019-08-27 2019-11-15 清华大学 具备在线时间校准的基于msckf的视觉惯性里程计
CN110702107A (zh) * 2019-10-22 2020-01-17 北京维盛泰科科技有限公司 一种单目视觉惯性组合的定位导航方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1291628A2 (en) * 2001-08-30 2003-03-12 Xerox Corporation Systems and methods for determining spectra using a multi-LED color sensor and dynamic Karhunen-Loeve algorithms
EP1367408A2 (en) * 2002-05-31 2003-12-03 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings monitoring device, and image production method
CN103033189A (zh) * 2012-12-26 2013-04-10 北京航空航天大学 一种深空探测巡视器惯性/视觉组合导航方法
CN103940434A (zh) * 2014-04-01 2014-07-23 西安交通大学 基于单目视觉和惯性导航单元的实时车道线检测系统
WO2016187759A1 (en) * 2015-05-23 2016-12-01 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
WO2017083420A1 (en) * 2015-11-10 2017-05-18 Thales Visionix, Inc. Robust vision-inertial pedestrian tracking with heading auto-alignment
CN107402012A (zh) * 2016-05-20 2017-11-28 北京自动化控制设备研究所 一种车辆的组合导航方法
CN107702709A (zh) * 2017-08-31 2018-02-16 西北工业大学 一种非合作目标运动与惯性参数的时频域混合辨识方法
WO2019157925A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN108629793A (zh) * 2018-03-22 2018-10-09 中国科学院自动化研究所 使用在线时间标定的视觉惯性测程法与设备
CN108592950A (zh) * 2018-05-17 2018-09-28 北京航空航天大学 一种单目相机和惯性测量单元相对安装角标定方法
CN108827315A (zh) * 2018-08-17 2018-11-16 华南理工大学 基于流形预积分的视觉惯性里程计位姿估计方法及装置
CN109685852A (zh) * 2018-11-22 2019-04-26 上海肇观电子科技有限公司 相机与惯性传感器的标定方法、系统、设备及存储介质
CN110411476A (zh) * 2019-07-29 2019-11-05 视辰信息科技(上海)有限公司 视觉惯性里程计标定适配及评价方法和系统
CN110455309A (zh) * 2019-08-27 2019-11-15 清华大学 具备在线时间校准的基于msckf的视觉惯性里程计
CN110702107A (zh) * 2019-10-22 2020-01-17 北京维盛泰科科技有限公司 一种单目视觉惯性组合的定位导航方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
KE SUN 等: "Robust stereo visual inertial odometry for fast autonomous flight" *
SANCHENG PENG 等: "An Immunization Framework for Social Networks Through Big Data Based Influence Modeling" *
WEIBO HUANG 等: "Online temporal calibration based on modified projection model for visual-inertial odometry" *
吴少波 等: "基于移动机器人的无线传感器网络高效广播策略" *
吴腾 等: "车载视觉里程计发展现状与趋势研究" *
周单 等: "基于自适应重投影误差单目位姿优化算法" *
王延东: "多位姿信息融合的双目视觉惯性里程计研究" *
黄仁强 等: "鲁棒单目视觉惯性里程计初始化方法" *
黄伟杰 等: "基于快速不变卡尔曼滤波的视觉惯性里程计" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114199275A (zh) * 2020-09-18 2022-03-18 阿里巴巴集团控股有限公司 传感器的参数确定方法和装置

Also Published As

Publication number Publication date
CN111307176B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN109376785B (zh) 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
CN110009681B (zh) 一种基于imu辅助的单目视觉里程计位姿处理方法
CN110243358B (zh) 多源融合的无人车室内外定位方法及系统
CN111415387B (zh) 相机位姿确定方法、装置、电子设备及存储介质
CN112859051B (zh) 激光雷达点云运动畸变的矫正方法
CN110702107A (zh) 一种单目视觉惯性组合的定位导航方法
CN113311411B (zh) 一种用于移动机器人的激光雷达点云运动畸变校正方法
CN107449444B (zh) 一种多星图姿态关联的星敏感器内参数标定方法
CN111780781B (zh) 基于滑动窗口优化的模板匹配视觉和惯性组合里程计
CN111156987A (zh) 基于残差补偿多速率ckf的惯性/天文组合导航方法
CN110044377B (zh) 一种基于Vicon的IMU离线标定方法
CN114216456B (zh) 一种基于imu与机器人本体参数融合的姿态测量方法
CN114612348B (zh) 激光点云运动畸变校正方法、装置、电子设备及存储介质
CN113516692A (zh) 一种多传感器融合的slam方法和装置
CN114111776B (zh) 定位方法及相关装置
CN112985450A (zh) 一种具有同步时间误差估计的双目视觉惯性里程计方法
CN114383612A (zh) 一种视觉辅助惯性差分位姿测量系统
CN111998870B (zh) 一种相机惯导系统的标定方法和装置
CN113759384A (zh) 一种传感器位姿转换关系确定方法、装置、设备和介质
CN112284381B (zh) 视觉惯性实时初始化对准方法及系统
CN111307176B (zh) 一种vr头戴显示设备中视觉惯性里程计的在线标定方法
CN117073720A (zh) 弱环境与弱动作控制下快速视觉惯性标定与初始化方法及设备
WO2023226156A1 (zh) 时间戳校正方法、装置、设备、介质及计算机程序产品
CN114543786B (zh) 一种基于视觉惯性里程计的爬壁机器人定位方法
CN114323011A (zh) 一种适用于相对位姿测量的卡尔曼滤波方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant