CN110954134B - 陀螺仪偏差校正方法、校正系统、电子设备及存储介质 - Google Patents
陀螺仪偏差校正方法、校正系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110954134B CN110954134B CN201911224108.8A CN201911224108A CN110954134B CN 110954134 B CN110954134 B CN 110954134B CN 201911224108 A CN201911224108 A CN 201911224108A CN 110954134 B CN110954134 B CN 110954134B
- Authority
- CN
- China
- Prior art keywords
- data
- image
- frame
- transformation data
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000009466 transformation Effects 0.000 claims abstract description 91
- 238000005259 measurement Methods 0.000 claims abstract description 58
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
- G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
- Gyroscopes (AREA)
Abstract
本发明提供一种陀螺仪偏差矫正方法,所述陀螺仪偏差校正方法包括,获取图像采集‑惯性测量固连系统的图像帧数据和惯性测量数据,根据所述图像帧数据获取第一位姿变换数据,根据所述惯性测量数据获取与所述第一位姿变换数据相对应的第二位姿变换数据,根据所述第一位姿变换数据和所述第二位姿变换数据获取陀螺仪偏差。利用本发明,可以结合摄像头和惯性测量单元两者进行位资估算时的优点,使两种传感器在进行位姿估算时形成互补,提高位姿估计的稳定性和准确性。
Description
技术领域
本发明涉及陀螺仪偏差校正技术领域,特别涉及一种陀螺仪偏差校正方法、校正系统、电子设备及存储介质。
背景技术
为了提高位置姿态估计的准确性和稳定性,越来越广泛的使用摄像头和惯性测量单元(英文:Inertial measurement unit,简称IMU)固连系统,这是因为IMU相对于摄像头,其输出数据的稳定性受环境影响较小,不会出现摄像头中跟踪丢失的情况,但是IMU进行位姿输出的时候需要进行一次积分以及二次积分,在得不到外界矫正的情况下,误差会持续累计,故而单独的IMU很难进行长时间准确的位姿估算,而摄像头在剧烈运动的情况下具有位姿估算准确的特性。
针对于普通的MEMS(Microelectro Mechanical Systems,微机电系统)加速度和陀螺仪传感器,其偏差(bais)是客观存在的,而且其受外界环境如温度的影响,往往不是一个定值,可以用随机自走误差表示。现有的陀螺仪偏差校正,一般需要提前标定,以预先获取摄像头和IMU变换外参,然后才能实现陀螺仪偏差的求解,这无疑增加了陀螺仪偏差校正的复杂性和时效性,而且现有的陀螺仪偏差校正,对摄像头运动模式以及面对的环境场景要求较高,一般只适合特定运动模式或特定运动场景。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种陀螺仪偏差校正方法、校正系统、电子设备及存储介质,用于解决现有技术中的陀螺仪偏差校正需要提前标定获取摄像头和IMU变换外参,以及对摄像头运动模式以及面对的环境要求较高的技术问题。
为实现上述目的及其他相关目的,本发明提供一种陀螺仪偏差矫正方法,所述陀螺仪偏差校正方法包括:
获取图像采集-惯性测量固连系统的图像帧数据和惯性测量数据;
根据所述图像帧数据获取第一位姿变换数据;
根据所述惯性测量数据获取与所述第一位姿变换数据相对应的第二位姿变换数据;
根据所述第一位姿变换数据和所述第二位姿变换数据获取陀螺仪偏差。
在一实施例中,所述根据所述图像帧数据获取第一位姿变换数据的步骤包括:
在所述图像帧数据中选取连续的若干帧图像,作为若干帧选取图像;
计算所述若干帧选取图像中除第一帧选取图像的其他帧选取图像相对于所述第一帧选取图像的位姿变换数据,作为第一位姿变换数据。
在一实施例中,所述计算所述若干帧选取图像中除第一帧选取图像的其他帧选取图像相对于所述第一帧选取图像的位姿变换数据的步骤包括:
获取所述第一帧选取图像与所述若干帧选取图像中的第二帧选取图像的匹配点对;
根据所述匹配点对获取所述第二帧选取图像相对于所述第一帧选取图像的位姿变换数据,并计算出所述匹配点对在所述第一帧选取图像的相机坐标系下的三维坐标数据;
根据所述匹配点对的所述三维坐标数据计算若干帧所述选取图像中除所述第一帧选取图像和所述第二帧选取图像的其他帧选取图像相对于所述第一帧选取图像的位姿变换数据。
在一实施例中,所述根据所述匹配点对获取所述第二帧选取图像相对于所述第一帧选取图像的位姿变换数据的步骤包括:
根据所述匹配点对计算单应矩阵模型和基础矩阵模型;
选取所述单应矩阵模型和所述基础矩阵模型中模型评估值较大的一个矩阵模型,并根据选取的矩阵模型恢复所述第二帧选取图像相对于所述第一帧选取图像的位姿变换数据。
在一实施例中,所述根据所述惯性测量数据获取与所述第一位姿变换数据相对应的第二位姿变换数据的步骤包括:
根据所述惯性测量数据计算出所述若干帧选取图像中除所述第一帧选取图像的其他帧选取图像所对应的时刻相对于所述第一帧选取图像所对应的时刻之间的位姿变换数据,作为所述第二位姿变换数据。
在一实施例中,所述根据所述第一位姿变换数据和所述第二位姿变换数据获取陀螺仪偏差的步骤包括:
根据所述第一位姿变换数据和所述第二位姿变换数据建立优化问题模型;
使所述优化问题模型取最小值,以获取所述陀螺仪偏差。
为实现上述目的及其他相关目的,本发明还提供一种陀螺仪偏差校正系统,所述陀螺仪校正系统包括:
数据接收单元,用于获取图像采集-惯性测量固连系统的图像帧数据和惯性测量数据;
第一位姿获取单元,与所述数据接收单元连接,所述第一位姿获取单元用于根据所述图像帧数据获取第一位姿变换数据;
第二位姿获取单元,与所述数据接收单元连接,所述第二位姿获取单元用于根据所述惯性测量数据获取与所述第一位姿变换数据相对应的第二位姿变换数据;
偏差获取单元,与所述第一位姿获取单元和所述第二位姿获取单元连接,所述偏差获取单元用于根据所述第一位姿变换数据和所述第二位姿变换数据获取陀螺仪偏差。
在一实施例中,所述数据接收单元分别与所述图像采集-惯性测量固连系统的图像采集单元和惯性测量单元连接。
为实现上述目的及其他相关目的,本发明还提供一种电子设备,所述电子设备包括:
通信器,用于与外部通信;
存储器,用于存储计算机程序;
处理器,连接所述通信器及存储器,用于运行所述计算机程序以执行上文中任意一项所述的陀螺仪偏差矫正方法。
为实现上述目的及其他相关目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序;所述计算机程序运行时执行上文中任意一项所述的陀螺仪偏差矫正方法。
利用本发明,可以结合摄像头和惯性测量单元两者进行位资估算时的优点,使两种传感器在进行位姿估算时形成互补,提高位姿估计的稳定性和准确性;
利用本发明,分别通过图像采集单元(例如摄像头)和IMU进行旋转变换的,使图像采集-惯性测量固连系统(例如摄像头-IMU系统系统),在更少的前提下(不需要知道两个传感器的变换外参),可以在更多的场景以及运动模式下,都可以完成对对陀螺仪偏差的矫正,从而为进一步准确的位置和姿态估计提供可能;
进一步地,在通过2D-2D图像姿态求解的过程中,通过并行计算两个模型,让系统在纯平面场景的情况下,都可以成功矫正陀螺仪偏差,适用范围更广。
附图说明
图1显示为本发明的陀螺仪偏差校正方法的流程示意图。
图2显示为本发明的陀螺仪偏差校正方法的图像帧和IMU帧示意图。
图3显示为图1中步骤S20的子流程示意图。
图4显示为图3中步骤S22的子流程示意图。
图5显示为图1中步骤S40的子流程示意图。
图6显示为利用本发明的陀螺仪偏差校正方法对纯平面场景下图像采集-惯性测量固连系统的陀螺仪偏差进行校正的效果图。
图7显示为本发明的陀螺仪偏差校正系统的框图。
图8显示为用于实现本发明的陀螺仪偏差校正方法的电子设备的框图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1-8。需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
请参阅图1,本发明的实施例公开一种可应用于图像采集-惯性测量固连系统的陀螺仪偏差矫正方法,所述陀螺仪偏差校正方法包括以下步骤:步骤S10、获取图像采集-惯性测量固连系统的图像帧数据和惯性测量数据;步骤S20、根据所述图像帧数据获取第一位姿变换数据;步骤S30、根据所述惯性测量数据获取与所述第一位姿变换数据相对应的第二位姿变换数据;步骤S40、根据所述第一位姿变换数据和所述第二位姿变换数据获取陀螺仪偏差。本发明的陀螺仪偏差矫正方法,可以结合图像采集(例如摄像头)和惯性测量单元两者进行位资估算时的优点,使两种传感器在进行位姿估算时形成互补,提高位姿估计的稳定性和准确性。
需要说明的是,在本实施例中,所述图像采集-惯性测量固连系统例如可应用于机器人,至少包括图像采集单元和惯性测量单元IMU;所述图像采集三元例如可以是摄像头;所述惯性测量单元(英文:Inertial measurement unit,简称IMU)是测量物体三轴姿态角(或角速率)以及加速度的装置。
在步骤S10中,可以通过图像采集-惯性测量固连系统的图像采集单元(例如摄像头)获取图像帧数据以及相对应的惯性测量数据。作为示例,例如可以从摄像头-IMU固连系统启动后,利用摄像头获取固连系统的图像帧数据,利用惯性测量单元获取固连系统的得惯性测量数据,其中,IMU频率一般高于摄像头频率,图2示出了图像帧数据和IMU帧数据示意图,二者都可以进行姿态(pose)上的估计,详见下文相关描述。
请参阅图3,根据所述图像帧数据获取第一位姿变换数据的步骤(步骤S20)包括,在所述图像帧数据中选取连续的若干帧图像,作为若干帧选取图像(步骤S21);计算所述若干帧选取图像中除第一帧选取图像的其他帧选取图像相对于所述第一帧选取图像的位姿变换数据,作为第一位姿变换数据(步骤S22)。
在步骤S21中,为了快速准确的获取固连系统的位姿数据时,不仅需要保证用于位姿估计的图像帧数据和惯性测量数据的同步,这样才能联立求解,而且参与位姿估计的数据也不能过多,以免影响计算效率,为此,在进行位姿估计时,可以从图像帧数据中选取连续的合适数量的若干帧图像,作为用于进行位姿估计以获取第一位姿变换数据的若干选取帧图像,并且还可同步的选择与若干选取帧图像相对应时刻的惯性测量数据进行位姿估计以获取第二位姿变换数据,详见下文相关部分描述。作为示例,例如可以从摄像头-IMU固连系统启动时刻,选取若干帧选取图像,这样可以在固连系统启动后,迅速的完成陀螺仪偏差的校正。需要说明的是,在其他示例中,当然也可以从摄像头-IMU固连系统启动后的某一时刻进行选择。在一可选示例中,如图2所示,例如可以从摄像头-IMU固连系统启动时刻起选取连续四帧图像,作为四帧选取图像,在实际应用中,可以根据陀螺仪偏差校正的精度要求以及偏差校正的计算速率两方面综合考虑,选择合适数量帧的选取图像。
请参阅图4,选取了若干帧选取图像后,就可以利用若干帧选图图像进行位姿求解,以获取第一位姿变换数据,为了便于叙述方便,将若干帧选取图像依次标记为第一帧选取图像,第二帧选取图像,……。其中,所述计算所述若干帧选取图像中除第一帧选取图像的其他帧选取图像相对于所述第一帧选取图像的位姿变换数据的步骤(也即步骤S22)包括,获取所述第一帧选取图像与所述若干帧选取图像中的第二帧选取图像的匹配点对(也即步骤S221);根据所述匹配点对获取所述第二帧选取图像相对于所述第一帧选取图像的位姿变换数据,并计算出所述匹配点对在所述第一帧选取图像的相机坐标系下的三维坐标数据(也即步骤S222),其中,步骤S221和步骤S222为2D-2D图像姿态求解;根据所述匹配点对的所述三维坐标数据计算若干帧所述选取图像中除所述第一帧选取图像和所述第二帧选取图像的其他帧选取图像相对于所述第一帧选取图像的位姿变换数据(也即),其中,步骤S223为3D-2D图像姿态求解。
在一可选实施例中,在步骤S222中,所述根据所述匹配点对获取所述第二帧选取图像相对于所述第一帧选取图像的位姿变换数据包括,根据所述匹配点对计算单应矩阵模型和基础矩阵模型,选取所述单应矩阵模型和所述基础矩阵模型中模型评估值较大的一个矩阵模型,并根据选取的矩阵模型恢复所述第二帧选取图像相对于所述第一帧选取图像的位姿变换数据。需要说明的是,在通过2D-2D图像姿态求解的过程中,通过并行计算两个模型,让系统在纯平面场景的情况下,都可以成功矫正陀螺仪偏差,适用范围更广。
通过若干帧选取图像获取摄像头-IMU固连系统的位姿变换数据(也即第一位姿变换数据后),还需要通过惯性测量数据计算出摄像头-IMU固连系统的与两帧选取图像所对应时刻之间的位姿变换数据,也即根据所述惯性测量数据获取与所述第一位姿变换数据相对应的第二位姿变换数据(步骤S30),具体地,在本实施例中,所述根据所述惯性测量数据获取与所述第一位姿变换数据相对应的第二位姿变换数据的步骤包括,根据所述惯性测量数据计算出所述若干帧选取图像中除所述第一帧选取图像的其他帧选取图像所对应的时刻相对于所述第一帧选取图像所对应的时刻之间的位姿变换数据,作为所述第二位姿变换数据;然后联立(第一位姿变换数据和第二位姿变换数据)进行求解,得到陀螺仪的偏差,最终实现对陀螺仪偏差的矫正(步骤S40),具体地,请参阅图5,根据所述第一位姿变换数据和所述第二位姿变换数据获取陀螺仪偏差的步骤包括,步骤S41、根据所述第一位姿变换数据和所述第二位姿变换数据建立优化问题模型;步骤S42、使所述优化问题模型取最小值,以获取所述陀螺仪偏差。
下面将以一个具体的示例来说明本发明。
在该示例中,如图2所示,从摄像头-IMU固连系统启动后,分别利用摄像头和惯性测量单元得到图像帧数据以及IMU数据,同时,分别利用两种数据分别进行位姿估计。
利用图像帧数据进行姿态估算,可分为2D-2D图像姿态求解3D-3D姿态求解:
2D-2D图像姿态求解发生在第一帧选取图像和第二帧选取图像之间。首先,我们找到第一帧选取图像和第二帧选取图像匹配对应的点特征,记为(对应步骤S221),接着我们并行计算两个模型:单应矩阵H和基础矩阵F,具体求解方法都是利用找到的匹配点对,在RANSAC(一致性随机采样)框架下通过直接线性求解(DLT)计算:
x1=H10x0 (1)
在计算出单应矩阵和基础矩阵后,我们通过公式(3)对计算结果进行评估与选择,
其中ρM为鲁棒函数,T为阈值,我们设置其值为5.99,则为M10变换下的鲁棒函数,M10为H10或F10变换,同样M01为H01或F01变换,d10为在M10变换后计算值M10x0与测量值x1之间的欧式距离,同理,d01为M01变换后计算值M01x1与x0的欧式距离,最终我们将所有的匹配点的距离差在经过鲁棒函数处理后相加,得到一个分数(score)S;并行计算出两个模型(H和F)的S值后,对比对应S值的大小,S值(得分)大的模型则被选中;通过选中的单应矩阵H10或基础矩阵F10,恢复出第二帧选取图像相对于第一帧选取图像的位姿变换数据:T10=[R10|t10],在恢复出姿态变换的同时,也会三角计算出匹配点对在第一帧坐标系下的3D坐标P(对应步骤S222);在成功的进行2D-2D姿态求解后,接下来可以通过3D-2D进行姿态求解,如图2中所示,在计算出一系列点的3D坐标后,我们再计算第三帧选取图像,第四帧选取图像相对于第一帧选取图像的位姿变换数据,即可通过PnP算法,进而得到T20和T30(对应步骤S223)。
陀螺仪的运动学方程可写为:
其中为陀螺仪t时刻三轴角速率的测量值,wt为三轴角速率真值,其是一个三维向量[wx wy wz]T,分别为陀螺仪xyz三轴的角速度,为陀螺仪t时刻的偏差,其是一种随机自走变量,它的微分是高斯模型公式(4)中nw则为高斯噪声。
那么两帧选取帧图像[k,k+1]对应的两个时刻为[tk,tk+1],则利用惯性测量数据计算的两个时刻[tk,tk+1]间的姿态变换用四元数可表示为:
其中,为tk时刻陀螺仪在世界坐标系(东北天,记为上标w)中姿态是四元数表示,也即第二位姿变换数据,我们可以将虚部写在前,则同理为tk+1时刻陀螺仪在世界坐标系的姿态,被积分的为从tk到t的姿态变换,而Ω(w)为:
同时,我们通过前文中的图像帧数据求解得到Rk,0和Rk+1,0变换用四元数和表示,作为第一位姿变换数据,意义为从第一帧选取图像坐标系(记为c0)到k帧以及k+1帧图像姿态变换的四元数表示。理论上在两帧图像[k,k+1]对应的两个时刻为[tk,tk+1]之间由图像帧数据求得的姿态变换和陀螺仪推演的姿态变换是相同的,故而我们可以认为:
bw即为我们待求解的偏差,我们需要找到最合适的偏差bw值使得上述方程最小,目前问题已经变成了一个最小二乘问题。
k∈B表示的是所选的图像帧,如图2所示,如果总共有4帧图像,则选择优化的帧间有:(0,1)(1,2)和(2,3),则由图像得到的值为同时我们可以给定一个bw的初始猜测值,如三维0向量,进而得到陀螺仪的姿态初始估计值为我们将其带入公式(7)(8)中,并依照最小二乘问题的通用解法,即可得到我们最终要矫正的目标值bw,也就是陀螺仪的偏差。
图6显示为利用本示例的陀螺仪偏差校正方法对纯平面场景下图像采集-惯性测量固连系统的陀螺仪偏差进行校正的效果图,如图2所示,坐标轴代表的为IMU(惯性测量单元2),悬于上空的为摄像头(图像采集单元1),在不知道IMU和摄像头变换关系以及纯平面场景的前提下,成功的实现了对陀螺仪偏差进行矫正,进而为准确定位提供可能。
请参阅图7,本发明的实施例还提供一种可应用于图像采集-惯性测量固连系统100的陀螺仪偏差校正系统3,所述陀螺仪校正系统3包括数据接收单元31,用于获取图像采集-惯性测量固连系统的图像帧数据和惯性测量数据;第一位姿获取单元32,与所述数据接收单元31连接,所述第一位姿获取单元32用于根据所述图像帧数据获取第一位姿变换数据;第二位姿获取单元33,与所述数据接收单元31连接,所述第二位姿获取单元33用于根据所述惯性测量数据获取与所述第一位姿变换数据相对应的第二位姿变换数据;偏差获取单元34,与所述第一位姿获取单元32和所述第二位姿获取单元33连接,所述偏差获取单元34用于根据所述第一位姿变换数据和所述第二位姿变换数据获取陀螺仪偏差。
需要说明的是,在本实施例中,上述各单元的功能详见上文中的各步骤,在此不做赘述。
需要说明的是,上述的各功能单元,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分单元通过处理元件调用软件的形式实现,部分单元通过硬件的形式实现。此外这些单元全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
请参阅图7,所述数据接收单元31分别与所述图像采集-惯性测量固连系统100的图像采集单元1和惯性测量单元2连接。
需要说明的是,如图8所示,本实施例的陀螺仪偏差校正系统和校正方法还可以通过一电子设备200实现,所述电子设备200包括相互连接的存储器203、处理器201及通信器202,所述存储器201存储有计算机程序,该程序被所述处理器201执行时实现所述陀螺仪偏差校正方法。
上述的处理器201可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件;上述的存储器203可能包含随机存取存储器(RandomAccessMemory,简称RAM),也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
需要说明的是,上述存储器203中的计算机程序可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,电子设备,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
综上所述,利用本发明,分别通过图像采集单元(例如摄像头)和IMU采集数据并进行旋转变换,实现了对陀螺仪偏差的矫正,使摄像头-IMU固连系统在更少的前提下(不需要知道两个传感器的变换外参),都可以完成对对陀螺仪偏差的矫正,而且图像帧数据在通过2D-2D图像姿态求解的过程中,通过并行计算两个模型,让系统在纯平面场景的情况下,都可以成功矫正陀螺仪偏差。
在本文的描述中,提供了许多特定细节,诸如部件和/或方法的实例,以提供对本发明实施例的完全理解。然而,本领域技术人员将认识到可以在没有一项或多项具体细节的情况下或通过其他设备、系统、组件、方法、部件、材料、零件等等来实践本发明的实施例。在其他情况下,未具体示出或详细描述公知的结构、材料或操作,以避免使本发明实施例的方面变模糊。
在整篇说明书中提到“一个实施例(one embodiment)”、“实施例(anembodiment)”或“具体实施例(a specific embodiment)”意指与结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中,并且不一定在所有实施例中。因而,在整篇说明书中不同地方的短语“在一个实施例中(in one embodiment)”、“在实施例中(inan embodiment)”或“在具体实施例中(in a specific embodiment)”的各个表象不一定是指相同的实施例。此外,本发明的任何具体实施例的特定特征、结构或特性可以按任何合适的方式与一个或多个其他实施例结合。应当理解本文所述和所示的发明实施例的其他变型和修改可能是根据本文教导的,并将被视作本发明精神和范围的一部分。
还应当理解还可以以更分离或更整合的方式实施附图所示元件中的一个或多个,或者甚至因为在某些情况下不能操作而被移除或因为可以根据特定应用是有用的而被提供。
另外,除非另外明确指明,附图中的任何标志箭头应当仅被视为示例性的,而并非限制。此外,除非另外指明,本文所用的术语“或”一般意在表示“和/或”。在术语因提供分离或组合能力是不清楚的而被预见的情况下,部件或步骤的组合也将视为已被指明。
如在本文的描述和在下面整篇权利要求书中所用,除非另外指明,“一个(a)”、“一个(an)”和“该(the)”包括复数参考物。同样,如在本文的描述和在下面整篇权利要求书中所用,除非另外指明,“在…中(in)”的意思包括“在…中(in)”和“在…上(on)”。
本发明所示实施例的上述描述(包括在说明书摘要中所述的内容)并非意在详尽列举或将本发明限制到本文所公开的精确形式。尽管在本文仅为说明的目的而描述了本发明的具体实施例和本发明的实例,但是正如本领域技术人员将认识和理解的,各种等效修改是可以在本发明的精神和范围内的。如所指出的,可以按照本发明所述实施例的上述描述来对本发明进行这些修改,并且这些修改将在本发明的精神和范围内。
本文已经在总体上将系统和方法描述为有助于理解本发明的细节。此外,已经给出了各种具体细节以提供本发明实施例的总体理解。然而,相关领域的技术人员将会认识到,本发明的实施例可以在没有一个或多个具体细节的情况下进行实践,或者利用其它装置、系统、配件、方法、组件、材料、部分等进行实践。在其它情况下,并未特别示出或详细描述公知结构、材料和/或操作以避免对本发明实施例的各方面造成混淆。
因而,尽管本发明在本文已参照其具体实施例进行描述,但是修改自由、各种改变和替换意在上述公开内,并且应当理解,在某些情况下,在未背离所提出发明的范围和精神的前提下,在没有对应使用其他特征的情况下将采用本发明的一些特征。因此,可以进行许多修改,以使特定环境或材料适应本发明的实质范围和精神。本发明并非意在限制到在下面权利要求书中使用的特定术语和/或作为设想用以执行本发明的最佳方式公开的具体实施例,但是本发明将包括落入所附权利要求书范围内的任何和所有实施例及等同物。因而,本发明的范围将只由所附的权利要求书进行确定。
Claims (8)
1.一种陀螺仪偏差矫正方法,其特征在于,包括:
获取图像采集-惯性测量固连系统的图像帧数据和惯性测量数据,所述图像采集-惯性测量固连系统应用于机器人;
在所述图像帧数据中选取连续的若干帧图像,作为若干帧选取图像;
获取第一帧选取图像与所述若干帧选取图像中的第二帧选取图像的匹配点对;
根据所述匹配点对获取所述第二帧选取图像相对于所述第一帧选取图像的位姿变换数据,并计算出所述匹配点对在所述第一帧选取图像的相机坐标系下的三维坐标数据;
根据所述匹配点对的所述三维坐标数据计算若干帧所述选取图像中除所述第一帧选取图像和所述第二帧选取图像的其他帧选取图像相对于所述第一帧选取图像的位姿变换数据;
将所述若干帧选取图像中除第一帧选取图像的其他帧选取图像相对于所述第一帧选取图像的位姿变换数据,作为第一位姿变换数据;
根据所述惯性测量数据获取与所述第一位姿变换数据相对应的第二位姿变换数据;
根据所述第一位姿变换数据和所述第二位姿变换数据获取陀螺仪偏差。
2.根据权利要求1所述的陀螺仪偏差矫正方法,其特征在于,所述根据所述匹配点对获取所述第二帧选取图像相对于所述第一帧选取图像的位姿变换数据的步骤包括:
根据所述匹配点对计算单应矩阵模型和基础矩阵模型;
选取所述单应矩阵模型和所述基础矩阵模型中模型评估值较大的一个矩阵模型,并根据选取的矩阵模型恢复所述第二帧选取图像相对于所述第一帧选取图像的位姿变换数据。
3.根据权利要求1所述的陀螺仪偏差矫正方法,其特征在于,所述根据所述惯性测量数据获取与所述第一位姿变换数据相对应的第二位姿变换数据的步骤包括:
根据所述惯性测量数据计算出所述若干帧选取图像中除所述第一帧选取图像的其他帧选取图像所对应的时刻相对于所述第一帧选取图像所对应的时刻之间的位姿变换数据,作为所述第二位姿变换数据。
4.根据权利要求1-3中任意一项所述的陀螺仪偏差矫正方法,其特征在于,所述根据所述第一位姿变换数据和所述第二位姿变换数据获取陀螺仪偏差的步骤包括:
根据所述第一位姿变换数据和所述第二位姿变换数据建立优化问题模型;
使所述优化问题模型取最小值,以获取所述陀螺仪偏差。
5.一种陀螺仪偏差校正系统,其特征在于,包括:
数据接收单元,用于获取图像采集-惯性测量固连系统的图像帧数据和惯性测量数据;
第一位姿获取单元,与所述数据接收单元连接,所述第一位姿获取单元用于根据所述图像帧数据获取第一位姿变换数据;
第二位姿获取单元,与所述数据接收单元连接,所述第二位姿获取单元用于根据所述惯性测量数据获取与所述第一位姿变换数据相对应的第二位姿变换数据;
偏差获取单元,与所述第一位姿获取单元和所述第二位姿获取单元连接,所述偏差获取单元用于根据所述第一位姿变换数据和所述第二位姿变换数据获取陀螺仪偏差。
6.根据权利要求5所述陀螺仪偏差校正系统,其特征在于,所述数据接收单元分别与所述图像采集-惯性测量固连系统的图像采集单元和惯性测量单元连接。
7.一种电子设备,其特征在于,包括:
通信器,用于与外部通信;
存储器,用于存储计算机程序;
处理器,连接所述通信器及存储器,用于运行所述计算机程序以执行如权利要求1至4中任意一项所述的陀螺仪偏差矫正方法。
8.一种计算机可读存储介质,其特征在于,存储有计算机程序;所述计算机程序运行时执行如权利要求1至4中任意一项所述的陀螺仪偏差矫正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911224108.8A CN110954134B (zh) | 2019-12-04 | 2019-12-04 | 陀螺仪偏差校正方法、校正系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911224108.8A CN110954134B (zh) | 2019-12-04 | 2019-12-04 | 陀螺仪偏差校正方法、校正系统、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110954134A CN110954134A (zh) | 2020-04-03 |
CN110954134B true CN110954134B (zh) | 2022-03-25 |
Family
ID=69979614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911224108.8A Active CN110954134B (zh) | 2019-12-04 | 2019-12-04 | 陀螺仪偏差校正方法、校正系统、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110954134B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111595362B (zh) * | 2020-06-05 | 2022-07-26 | 联想(北京)有限公司 | 一种惯性测量单元的参数标定方法、装置及电子设备 |
CN111951180B (zh) * | 2020-07-09 | 2024-05-14 | 北京迈格威科技有限公司 | 图像抖动校正方法、装置、计算机设备和存储介质 |
CN112215904A (zh) * | 2020-10-16 | 2021-01-12 | 东华理工大学 | 一种用于标定照片方位的相机元器件和拍摄设备 |
CN112263188B (zh) * | 2020-10-22 | 2022-04-05 | 湖南格兰博智能科技有限责任公司 | 一种移动机器人行进方向的矫正方法及其设备 |
CN113739819B (zh) * | 2021-08-05 | 2024-04-16 | 上海高仙自动化科技发展有限公司 | 校验方法、装置、电子设备、存储介质及芯片 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107389088A (zh) * | 2017-05-27 | 2017-11-24 | 纵目科技(上海)股份有限公司 | 车载惯性导航的误差修正方法、装置、介质及设备 |
CN108428249A (zh) * | 2018-01-30 | 2018-08-21 | 哈尔滨工业大学深圳研究生院 | 一种基于光流跟踪和双几何模型的初始位姿估计方法 |
CN109218562A (zh) * | 2018-09-07 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 时钟同步方法、装置、设备、存储介质和车辆 |
CN110163909A (zh) * | 2018-02-12 | 2019-08-23 | 北京三星通信技术研究有限公司 | 用于获得设备位姿的方法、装置和存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9773330B1 (en) * | 2016-12-29 | 2017-09-26 | BioMech Sensor LLC | Systems and methods for real-time data quantification, acquisition, analysis, and feedback |
CN106940186B (zh) * | 2017-02-16 | 2019-09-24 | 华中科技大学 | 一种机器人自主定位与导航方法及系统 |
-
2019
- 2019-12-04 CN CN201911224108.8A patent/CN110954134B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107389088A (zh) * | 2017-05-27 | 2017-11-24 | 纵目科技(上海)股份有限公司 | 车载惯性导航的误差修正方法、装置、介质及设备 |
CN108428249A (zh) * | 2018-01-30 | 2018-08-21 | 哈尔滨工业大学深圳研究生院 | 一种基于光流跟踪和双几何模型的初始位姿估计方法 |
CN110163909A (zh) * | 2018-02-12 | 2019-08-23 | 北京三星通信技术研究有限公司 | 用于获得设备位姿的方法、装置和存储介质 |
CN109218562A (zh) * | 2018-09-07 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 时钟同步方法、装置、设备、存储介质和车辆 |
Also Published As
Publication number | Publication date |
---|---|
CN110954134A (zh) | 2020-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110954134B (zh) | 陀螺仪偏差校正方法、校正系统、电子设备及存储介质 | |
CN110009681B (zh) | 一种基于imu辅助的单目视觉里程计位姿处理方法 | |
US10012504B2 (en) | Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps | |
CN108592950B (zh) | 一种单目相机和惯性测量单元相对安装角标定方法 | |
WO2020237574A1 (zh) | 相机的内参及相对姿态的标定方法、装置、无人机和存储装置 | |
US20210183100A1 (en) | Data processing method and apparatus | |
CN111380514A (zh) | 机器人位姿估计方法、装置、终端及计算机存储介质 | |
KR20160037972A (ko) | 카메라 모션 추정 및 정정 방법 | |
CN104848861B (zh) | 一种基于图像消失点识别技术的移动设备姿态测量方法 | |
JP2012173190A (ja) | 測位システム、測位方法 | |
JP2017119102A (ja) | 運動解析装置、方法及びプログラム | |
CN112465877B (zh) | 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法 | |
TWI795885B (zh) | 視覺定位方法、設備和電腦可讀儲存介質 | |
US20220114757A1 (en) | Method for processing event data flow and computing device | |
CN106709222B (zh) | 基于单目视觉的imu漂移补偿方法 | |
CN116205947A (zh) | 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质 | |
CN108827341A (zh) | 用于确定图像采集装置的惯性测量单元中的偏差的方法 | |
WO2021218731A1 (zh) | Imu与刚体的位姿融合方法、装置、设备及存储介质 | |
CN110645976B (zh) | 一种移动机器人的姿态估计方法及终端设备 | |
CN116086493A (zh) | 一种九轴imu的校准方法、系统、电子设备和存储介质 | |
Huttunen et al. | A monocular camera gyroscope | |
Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
CN112284381B (zh) | 视觉惯性实时初始化对准方法及系统 | |
CN108507567A (zh) | 姿态四元数确定方法、装置及用户朝向确定方法、装置 | |
CN113392909B (zh) | 数据处理方法、数据处理装置、终端及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |