CN109073407B - 惯性测量单元的漂移标定方法、设备及无人飞行器 - Google Patents

惯性测量单元的漂移标定方法、设备及无人飞行器 Download PDF

Info

Publication number
CN109073407B
CN109073407B CN201780018725.5A CN201780018725A CN109073407B CN 109073407 B CN109073407 B CN 109073407B CN 201780018725 A CN201780018725 A CN 201780018725A CN 109073407 B CN109073407 B CN 109073407B
Authority
CN
China
Prior art keywords
measurement unit
inertial measurement
image frame
freedom
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780018725.5A
Other languages
English (en)
Other versions
CN109073407A (zh
Inventor
卢庆博
李琛
朱磊
王晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN109073407A publication Critical patent/CN109073407A/zh
Application granted granted Critical
Publication of CN109073407B publication Critical patent/CN109073407B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Abstract

一种惯性测量单元的漂移标定方法、设备及无人飞行器,该方法包括:获取拍摄设备(104)拍摄的视频数据(20);根据视频数据(20),以及拍摄设备(104)在拍摄视频数据(20)过程中惯性测量单元的旋转信息,确定惯性测量单元的测量误差;其中,惯性测量单元的旋转信息中包括惯性测量单元的测量误差。由于视频数据(20)和IMU的测量结果都是可以准确获取的,因此,根据视频数据(20)以及IMU的旋转信息,确定出的IMU的测量误差的精确度较高,从而提高了可移动物体运动信息的计算精度。

Description

惯性测量单元的漂移标定方法、设备及无人飞行器
技术领域
本发明实施例涉及无人机领域,尤其涉及一种惯性测量单元的漂移标定方法、设备及无人飞行器。
背景技术
现有技术中惯性测量单元(Inertial measurement unit,简称IMU)可以检测可移动物体的运动信息,在环境因素的影响下,IMU的测量结果存在一定的漂移问题,例如当IMU静止时,IMU依然能够检测到运动信息。
为了解决IMU的测量结果存在的漂移问题,现有技术通过离线标定的方法标定IMU的测量误差,具体的,将IMU静止放置,记录其输出的测量结果,并将IMU静止放置时其输出的测量结果作为IMU的测量误差。当IMU测量可移动物体的运动信息时,将IMU实际输出的测量结果减去IMU的测量误差即得到可移动物体实际的运动信息。
但是,IMU的测量误差会随着环境因素的变化而变化,在IMU所处的环境因素发生变化的情况下,如果还采用固定的IMU的测量误差,将会导致计算出的可移动物体的运动信息不准确。
发明内容
本发明实施例提供一种惯性测量单元的漂移标定方法、设备及无人飞行器,以提高可移动物体运动信息的计算精度。
本发明实施例的第一方面是提供一种惯性测量单元的漂移标定方法,包括:
获取拍摄设备拍摄的视频数据;
根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差;
其中,所述惯性测量单元的旋转信息中包括所述惯性测量单元的测量误差。
本发明实施例的第二方面是提供一种惯性测量单元的漂移标定设备,包括:存储器和处理器;
所述存储器用于存储程序代码;
所述处理器,调用所述程序代码,当程序代码被执行时,用于执行以下操作:
获取拍摄设备拍摄的视频数据;
根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差;
其中,所述惯性测量单元的旋转信息中包括所述惯性测量单元的测量误差。
本发明实施例的第三方面是提供一种无人飞行器,包括:
机身;
动力系统,安装在所述机身,用于提供飞行动力;
飞行控制器,与所述动力系统通讯连接,用于控制所述无人飞行器飞行;
拍摄设备,用于拍摄视频数据;以及
上述第二方面所述的漂移标定设备。
本实施例提供的惯性测量单元的漂移标定方法、设备及无人飞行器,通过在拍摄设备拍摄视频数据的过程中,根据IMU的测量结果确定出拍摄设备在拍摄视频数据过程中IMU的旋转信息,IMU的旋转信息中包括IMU的测量误差,由于视频数据和IMU的测量结果都是可以准确获取的,因此,根据视频数据以及IMU的旋转信息,确定出的IMU的测量误差的精确度较高,从而提高了可移动物体运动信息的计算精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的惯性测量单元的漂移标定方法的流程图;
图2为本发明实施例提供的视频数据的示意图;
图3为本发明实施例提供的视频数据的示意图;
图4为本发明实施例提供的惯性测量单元的漂移标定方法的流程图;
图5为本发明实施例提供的惯性测量单元的漂移标定方法的流程图;
图6为本发明另一实施例提供的惯性测量单元的漂移标定方法的流程图;
图7为本发明另一实施例提供的惯性测量单元的漂移标定方法的流程图;
图8为本发明另一实施例提供的惯性测量单元的漂移标定方法的流程图;
图9为本发明实施例提供的惯性测量单元的漂移标定设备的结构图;
图10为本发明实施例提供的无人飞行器的结构图。
附图标记:
20-视频数据 21-图像帧 22-图像帧
31-图像帧 32-图像帧 90-漂移标定设备
91-存储器 92-处理器 100-无人飞行器
107-电机 106-螺旋桨 117-电子调速器
118-飞行控制器 108-传感系统 110-通信系统
102-支撑设备 104-拍摄设备 112-地面站
114-天线 116-电磁波
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
惯性测量单元(Inertial measurement unit,简称IMU)可以检测可移动物体的运动信息,在环境因素的影响下,IMU的测量结果存在一定的漂移问题,例如当IMU静止时,IMU依然能够检测到运动信息。当可移动物体运动的时候,IMU的测量结果记为ω+Δω,ω+Δω=(ωx+Δωxy+Δωyz+Δωz),ω=(ωxyz),Δω=(Δωx,Δωy,Δωz),其中,ω=(ωxyz)表示该可移动物体实际的运动信息,Δω=(Δωx,Δωy,Δωz)表示IMU输出测量结果ω+Δω时IMU的漂移值。可以理解,IMU的漂移值为IMU的测量结果的误差即测量误差,IMU输出的测量结果包括IMU的测量误差。由于IMU的测量误差会随着环境因素的变化而变化,例如,IMU的测量误差会随着环境温度的变化而变化。通常情况下,IMU和图像传感器贴合在一起,随着图像传感器工作时间的延长,图像传感器的温度会升高,而图像传感器的温度会对IMU的测量误差造成显著的影响。
为了得到该可移动物体实际的运动信息ω=(ωxyz),需要根据IMU输出的测量结果和IMU当前的测量误差来计算ω=(ωxyz),而IMU的测量误差是一个随环境因素变化的值,如果采用固定的IMU的测量误差,将会导致计算出的可移动物体的运动信息不准确。为了解决该问题,本实施例提供了一种惯性测量单元的漂移标定方法,下面结合具体的实施例进行介绍。
本发明实施例提供一种惯性测量单元的漂移标定方法。图1为本发明实施例提供的惯性测量单元的漂移标定方法的流程图。如图1所示,本实施例中的方法,可以包括:
步骤S101、获取拍摄设备拍摄的视频数据。
本实施例所述的惯性测量单元的漂移标定方法适用于标定IMU的漂移值,也就是IMU的测量误差。IMU的测量结果表示IMU的姿态信息,IMU的姿态信息包括如下至少一种:IMU的角速度、IMU的旋转矩阵、IMU的四元数。可选的,拍摄设备和IMU设置在同一印制电路板(Printed Circuit Board,简称PCB)上,或者拍摄设备和IMU刚性连接。
拍摄设备具体可以是摄像机、相机等设备,通常情况下,根据拍摄设备的镜头参数可确定出拍摄设备的内参,或者,拍摄设备的内参也可通过标定的方法得到。在本实施例中,拍摄设备的内参是已知的,可选的,拍摄设备的内参包括如下至少一种:所述拍摄设备的焦距、所述拍摄设备的像素大小。另外,拍摄设备和IMU之间的相对姿态也已经标定,即拍摄设备和IMU之间的相对姿态是已知的,可以理解,拍摄设备和IMU之间的相对姿态为拍摄设备和IMU之间的相对旋转关系,记为
Figure BDA0001801825650000051
拍摄设备例如为相机,相机的内参记为g,图像坐标表示为[x,y]T,过相机光心的射线表示为[x',y',z']T,根据如下公式(1)可知,由图像坐标[x,y]T和相机的内参g可得到由[x',y',z']T表示的一条过相机光心的射线。根据图像公式(2)可知,由一条过相机光心的射线[x',y',z']T和相机的内参g可得到图像坐标[x,y]T
[x',y',z']T=g([x,y]T) (1)
[x,y]T=g-1([x',y',z']T) (2)
在本实施例中,拍摄设备和IMU可以设置在无人机上,也可以设置在手持云台上,还可以设置在其他的可移动设备上。拍摄设备和IMU可以同时工作,也就是说,拍摄设备在拍摄目标物体的同时IMU检测自身的姿态信息并输出测量结果。例如,在IMU输出第一个测量结果时刻拍摄设备拍摄第一帧图像。
可选的,目标物体距离拍摄设备在3米之外的地方,例如,拍摄设备从t1时刻开始拍摄目标物体的视频数据,到t2时刻拍摄设备结束拍摄,IMU从t1时刻开始检测自身的姿态信息并输出测量结果,到t2时刻IMU结束检测自身的姿态信息以及停止输出测量结果。可见,通过拍摄设备可获得从t1时刻到t2时刻这段时间内目标物体的视频数据,通过IMU可获得从t1时刻到t2时刻这段时间内IMU的姿态信息。
步骤S102、根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差。
其中,所述惯性测量单元的旋转信息中包括所述惯性测量单元的测量误差。
在本实施例中,根据从t1时刻到t2时刻这段时间内IMU输出的测量结果,可确定IMU在t1时刻到t2时刻这段时间内的转动信息,也就是拍摄设备在拍摄视频数据过程中IMU的转动信息。由于IMU输出的测量结果包括IMU的测量误差,因此,根据IMU输出的测量结果确定出的IMU的转动信息中也包括IMU的测量误差。进一步的,根据t1时刻到t2时刻这段时间内拍摄设备拍摄的视频数据和t1时刻到t2时刻这段时间内IMU的转动信息,确定IMU的测量误差。
可选的,所述旋转信息包括如下至少一种:旋转角度、旋转矩阵、四元数。
具体的,根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差,包括:根据所述视频数据中相隔预设帧数的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差。
假设t1时刻到t2时刻这段时间内拍摄设备拍摄的视频数据记为I,视频数据I包括多帧图像,Ik表示视频数据I的第k帧图像。可选的,假设拍摄设备在拍摄视频数据的过程中对图像信息的采样帧率为fI,也就是说,拍摄设备在拍摄视频数据时每秒钟拍摄图像的帧数为fI。同时,IMU以fw的频率采集自身的姿态信息,也就是说,IMU以fw的频率输出测量结果。IMU的测量结果记为ω+Δω,ω+Δω=(ωx+Δωxy+Δωyz+Δωz)。可选的,fw大于fI。也就是说,在相同时间内,拍摄设备拍摄的图像帧数少,IMU输出的测量结果数量多。
如图2所示,20表示视频数据,21表示视频数据中的一帧图像,22表示视频数据中的另一帧图像,本实施例不限定视频数据包括的图像帧的数量。拍摄设备在拍摄视频数据20的过程中,IMU以fw的频率输出测量结果,根据拍摄设备在拍摄视频数据20的过程中IMU输出的测量结果可以确定出拍摄设备在拍摄视频数据20的过程中IMU的旋转信息,进一步,根据视频数据20,以及拍摄设备在拍摄视频数据20的过程中IMU的旋转信息,确定IMU的测量误差。
如图2所示,假设拍摄设备先拍摄图像帧21,后拍摄图像帧22,图像帧21和图像帧22之间相隔预设帧图像,可选的,根据视频数据20,以及拍摄设备在拍摄视频数据20的过程中IMU的旋转信息,确定IMU的测量误差可通过如下的方式实现:根据视频数据20中相隔预设帧数的图像帧21和图像帧22,以及从图像帧21的第一曝光时刻到图像帧22的第二曝光时刻的时间内IMU的旋转信息,确定IMU的测量误差。其中,从图像帧21的第一曝光时刻到图像帧22的第二曝光时刻的时间内IMU的旋转信息具体是根据从第一曝光时刻到第二曝光时刻的时间内IMU的测量结果确定的。
不失一般性,假设图像帧21是视频数据20的第k帧图像,图像帧22是视频数据20的第k+n帧图像,n≥1,也就是说,图像帧21和图像帧22之间相隔n-1帧图像,假设视频数据20包括m帧图像,m>n,1≤k≤m-n。可选的,根据视频数据20,以及拍摄设备在拍摄视频数据20的过程中IMU的旋转信息,确定IMU的测量误差可通过如下的方式实现:根据视频数据20中的第k帧图像和第k+n帧图像,以及从第k帧图像的曝光时刻到第k+n帧图像的曝光时刻的时间内IMU的旋转信息,确定IMU的测量误差,其中,1≤k≤m-n,也就是说,k从1遍历到m-n。例如,根据视频数据20中的第1帧图像和第1+n帧图像、从第1帧图像的曝光时刻到第1+n帧图像的曝光时刻的时间内IMU的旋转信息、视频数据20中的第2帧图像和第2+n帧图像、从第2帧图像的曝光时刻到第2+n帧图像的曝光时刻的时间内IMU的旋转信息、……、一直到第m-n帧图像和第m帧图像、从第m-n帧图像的曝光时刻到第m帧图像的曝光时刻的时间内IMU的旋转信息,确定出IMU的测量误差。
可选的,根据所述视频数据中相隔预设帧数的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差,包括如下几种可行的实现方式:
一种可行的实现方式是:根据所述视频数据中相邻的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差。
可选的,视频数据中相隔预设帧数的第一图像帧和第二图像帧可以是视频数据中相邻的第一图像帧和第二图像帧,例如,图像帧21和图像帧22之间相隔n-1帧图像,当n=1时,图像帧21表示视频数据20的第k帧图像,图像帧22是视频数据20的第k+1帧图像,图像帧21和图像帧22为相邻的两帧图像,如图3所示,图像帧31和图像帧32是相邻的两帧图像,相应的,根据视频数据20中相隔预设帧数的图像帧21和图像帧22,以及从图像帧21的第一曝光时刻到图像帧22的第二曝光时刻的时间内IMU的旋转信息,确定IMU的测量误差可通过如下方式实现:根据视频数据20中相邻的图像帧31和图像帧32,以及从图像帧31的第一曝光时刻到图像帧32的第二曝光时刻的时间内IMU的旋转信息,确定IMU的测量误差。由于IMU输出测量结果的频率大于拍摄设备采集图像信息的频率,因此,在相邻两帧图像的曝光时间内,IMU可输出多个测量结果,根据IMU输出的多个测量结果,可确定出从图像帧31的第一曝光时刻到图像帧32的第二曝光时刻的时间内IMU的旋转信息。
不失一般性,假设图像帧31是视频数据20的第k帧图像,图像帧32是视频数据20的第k+1帧图像,图像帧31和图像帧32是相邻的两帧图像,假设视频数据20包括m帧图像,m>n,1≤k≤m-1。可选的,根据视频数据20,以及拍摄设备在拍摄视频数据20的过程中IMU的旋转信息,确定IMU的测量误差可通过如下的方式实现:根据视频数据20中的第k帧图像和第k+1帧图像,以及从第k帧图像的曝光时刻到第k+1帧图像的曝光时刻的时间内IMU的旋转信息,确定IMU的测量误差,其中,1≤k≤m-1,也就是说,k从1遍历到m-1。例如,根据视频数据20中的第1帧图像和第2帧图像、从第1帧图像的曝光时刻到第2帧图像的曝光时刻的时间内IMU的旋转信息、视频数据20中的第2帧图像和第3帧图像、从第2帧图像的曝光时刻到第3帧图像的曝光时刻的时间内IMU的旋转信息、……、一直到第m-1帧图像和第m帧图像、从第m-1帧图像的曝光时刻到第m帧图像的曝光时刻的时间内IMU的旋转信息,确定出IMU的测量误差。
另一种可行的实现方式是:如图4所示的如下步骤S401-S403:
步骤S401、对所述视频数据中相隔预设帧数的第一图像帧和第二图像帧分别进行特征提取,得到所述第一图像帧的多个第一特征点和所述第二图像帧的多个第二特征点。
如图2所示,图像帧21是视频数据20的第k帧图像,图像帧22是视频数据20的第k+n帧图像,n≥1,图像帧21和图像帧22之间相隔n-1帧图像。本实施例不限定图像帧21和图像帧22之间相隔的图像的帧数,即不限定n-1的具体取值。图像帧21可记为第一图像帧,图像帧22可记为第二图像帧,可以理解的是,视频数据20中存在多对相隔预设帧数的第一图像帧和第二图像帧。
可选的,以n=1为例,如图3所示,图像帧31和图像帧32是相邻的两帧图像。图像帧31是视频数据20的第k帧图像,图像帧32是视频数据20的第k+1帧图像。图3只是示意性说明相邻两帧图像。可选的,将图像帧31记为第一图像帧,将图像帧32记为第二图像帧,可以理解的是,视频数据20中存在多对相邻的第一图像帧和第二图像帧。
具体的,采用特征检测方法对每一对相邻的第一图像帧和第二图像帧分别进行特征提取,得到第一图像帧的多个第一特征点和第二图像帧的多个第二特征点,可选的,特征检测方法包括如下至少一种:尺度不变特征变换(scale invariant feature transform,简称SIFT),SURF算法,ORB算法,Haar角点。假设第k帧图像的第i个特征点表示为Dk,i,Dk,i=(Sk,i,[xk,i,yk,i]),可以理解,i的取值不只一个。其中,Sk,i表示第k帧图像的第i个特征点的描述子,该描述子包括如下至少一种:SIFT描述子、SUFR描述子、ORB描述子、LBP描述子。[xk,i,yk,i]表示第k帧图像的第i个特征点在第k帧图像中的位置即坐标点。同理,第k+1帧图像的第i个特征点表示为Dk+1,i,Dk+1,i=(Sk+1,i,[xk+1,i,yk+1,i])。在本实施例中,不限定第k帧图像的特征点的个数,也不限定第k+1帧图像的特征点的个数。
步骤S402、对所述第一图像帧的多个第一特征点和所述第二图像帧的多个第二特征点进行特征点匹配。
例如,对第k帧图像的多个特征点和第k+1帧图像的多个特征点进行特征点匹配,经过匹配、错误匹配点排除之后,得到第k帧图像和第k+1帧图像一一匹配的特征点对。例如,第k帧图像的第i个特征点Dk,i和第k+1帧图像的第i个特征点Dk+1,i匹配,则特征点之间的匹配关系可以表示为
Figure BDA0001801825650000101
可以理解,i的取值不只一个。
步骤S403、根据所述匹配后的第一特征点和第二特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差。
可以理解,视频数据20中存在多对相邻的第一图像帧和第二图像帧,相邻的第一图像帧和第二图像帧匹配的特征点不只一对。如图3所示,图像帧31是视频数据20的第k帧图像,图像帧32是视频数据20的第k+1帧图像,假设第k帧图像的曝光时刻为tk,第k+1帧图像的曝光时刻为tk+1。从第k帧图像的曝光时刻tk到第k+1帧图像的曝光时刻tk+1的时间内IMU输出多个测量结果;根据从第k帧图像的曝光时刻tk到第k+1帧图像的曝光时刻tk+1的时间内IMU输出的测量结果,可确定出从tk到tk+1这段时间内IMU的旋转信息,进一步的,根据第k帧图像和第k+1帧图像匹配的特征点对,以及从tk到tk+1这段时间内IMU的旋转信息,确定IMU的测量误差。
可选的,拍摄设备包括相机模组,根据相机模组所采用的传感器不同,可通过如下几种可能的实现方式确定某帧图像的曝光时刻,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息:
一种可能的实现方式是:相机模组采用全局快门(global shutter)传感器,在这种情况下,一帧图像的不同行是同时曝光的。相机模组在拍摄视频数据时每秒钟拍摄图像的帧数为fI,也就是说,相机模组拍摄一帧图像所用的时间为1/fI,则第k帧图像开始曝光的时刻为k/fI,即tk=k/fI,同理,第k+1帧图像开始曝光的时刻为tk+1=(k+1)/fI。在[tk,tk+1]这段时间内,IMU以fw的频率采集IMU的姿态信息,IMU的姿态信息包括如下至少一种:IMU的角速度、IMU的旋转矩阵、IMU的四元数。IMU的旋转信息包括如下至少一种:旋转角度、旋转矩阵、四元数。如果IMU的测量结果是IMU的角速度,则对IMU的角速度在[tk,tk+1]这段时间内进行积分可得到[tk,tk+1]这段时间内IMU的旋转角度。如果IMU的测量结果是IMU的旋转矩阵,则对IMU的旋转矩阵在[tk,tk+1]这段时间内进行连乘积分可得到[tk,tk+1]这段时间内IMU的旋转矩阵。如果IMU的测量结果是IMU的四元数,则对IMU的四元数在[tk,tk+1]这段时间内进行连乘积分可得到[tk,tk+1]这段时间内IMU的四元数。可选的,本实施例采用对IMU的旋转矩阵在[tk,tk+1]这段时间内进行连乘积分以得到[tk,tk+1]这段时间内IMU的旋转矩阵,[tk,tk+1]这段时间内IMU的旋转矩阵记为Rk,k+1(Δω)。
另一种可能的实现方式是:相机模组采用卷帘快门(rolling shutter)传感器。在这种情况下,一帧图像的不同行是在不同时刻曝光的。例如,在一帧图像内部,从第一行开始曝光到最后一行曝光结束所需的时间为T,假设一帧图像的高度为H。对于卷帘快门而言,特征点的曝光时刻还取决于该特征点在图像中所在的位置。由于第k帧图像的第i个特征点Dk,i在第k帧图像中的位置为[xk,i,yk,i],如果将第k帧图像作为矩阵,xk,i表示第i个特征点在图像宽度方向的坐标,yk,i表示第i个特征点在图像高度方向的坐标,则Dk,i在第k帧图像的第yk,i行,Dk,i的曝光时刻记为tk,i
Figure BDA0001801825650000121
同理,与Dk,i匹配的特征点Dk+1,i的曝光时刻记为tk+1,i
Figure BDA0001801825650000122
在[tk,i,tk+1,i]这段时间内,IMU以fw的频率采集IMU的姿态信息,IMU的姿态信息包括如下至少一种:IMU的角速度、IMU的旋转矩阵、IMU的四元数。IMU的旋转信息包括如下至少一种:旋转角度、旋转矩阵、四元数。如果IMU的测量结果是IMU的角速度,则对IMU的角速度在[tk,i,tk+1,i]这段时间内进行积分可得到[tk,i,tk+1,i]这段时间内IMU的旋转角度。如果IMU的测量结果是IMU的旋转矩阵,则对IMU的旋转矩阵在[tk,i,tk+1,i]这段时间内进行连乘可得到[tk,i,tk+1,i]这段时间内IMU的旋转矩阵。如果IMU的测量结果是IMU的四元数,则对IMU的四元数在[tk,i,tk+1,i]这段时间内进行连乘可得到[tk,i,tk+1,i]这段时间内IMU的四元数。可选的,本实施例采用对IMU的旋转矩阵在[tk,i,tk+1,i]这段时间内进行连乘以得到[tk,tk+1]这段时间内IMU的旋转矩阵,[tk,i,tk+1,i]这段时间内IMU的旋转矩阵记为
Figure BDA0001801825650000131
具体的,根据所述匹配的第一特征点和第二特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差,包括如图5所示的如下步骤S501-S503:
步骤S501、根据所述第一特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述第一特征点在所述第二图像帧中的投影位置。
例如,第k帧图像的第i个特征点Dk,i和第k+1帧图像的第i个特征点Dk+1,i匹配,第k帧图像的第i个特征点Dk,i记为第一特征点,第k+1帧图像的第i个特征点Dk+1,i记为第二特征点,当相机模组采用全局快门(global shutter)传感器时,[tk,tk+1]这段时间内IMU的旋转矩阵记为Rk,k+1(Δω),根据第k帧图像的第i个特征点Dk,i,以及[tk,tk+1]这段时间内IMU的旋转矩阵Rk,k+1(Δω),可确定第k帧图像的第i个特征点Dk,i在第k+1帧图像中的投影位置。当相机模组采用卷帘快门(rolling shutter)传感器时,[tk,i,tk+1,i]这段时间内IMU的旋转矩阵记为
Figure BDA0001801825650000132
根据第k帧图像的第i个特征点Dk,i,以及[tk,i,tk+1,i]这段时间内IMU的旋转矩阵
Figure BDA0001801825650000133
可确定第k帧图像的第i个特征点Dk,i在第k+1帧图像中的投影位置。
具体的,根据所述第一特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述第一特征点在所述第二图像帧中的投影位置,包括:根据所述第一特征点在所述第一图像帧中的位置、从所述第一曝光时刻到所述第二曝光时刻的时间内所述惯性测量单元的旋转信息、所述拍摄设备和所述惯性测量单元的相对姿态、以及所述拍摄设备的内参,确定所述第一特征点在所述第二图像帧中的投影位置。
具体的,假设所述拍摄设备和所述惯性测量单元的相对姿态记为
Figure BDA0001801825650000147
可以理解的是,所述拍摄设备和所述惯性测量单元的相对姿态
Figure BDA0001801825650000148
为相机模组的坐标系相对于IMU的坐标系的旋转关系。在本实施例中,
Figure BDA0001801825650000149
已知。
当相机模组采用全局快门(global shutter)传感器时,第k帧图像的第i个特征点Dk,i在第k帧图像中的位置为[xk,i,yk,i],第k帧图像开始曝光的时刻为tk=k/fI,第k+1帧图像开始曝光的时刻为tk+1=(k+1)/fI,[tk,tk+1]这段时间内IMU的旋转矩阵记为Rk,k+1(Δω),所述拍摄设备和所述惯性测量单元的相对姿态为
Figure BDA00018018256500001410
拍摄设备的内参为g,则根据相机的成像原理,第k帧图像的第i个特征点Dk,i在第k+1帧图像中的投影位置为
Figure BDA00018018256500001411
当相机模组采用卷帘快门(rolling shutter)传感器时,第k帧图像的第i个特征点Dk,i在第k帧图像中的位置为[xk,i,yk,i],Dk,i的曝光时刻为
Figure BDA0001801825650000141
与Dk,i匹配的特征点Dk+1,i的曝光时刻为
Figure BDA0001801825650000142
[tk,i,tk+1,i]这段时间内IMU的旋转矩阵
Figure BDA0001801825650000143
所述拍摄设备和所述惯性测量单元的相对姿态为
Figure BDA0001801825650000144
拍摄设备的内参为g,则根据相机的成像原理,第k帧图像的第i个特征点Dk,i在第k+1帧图像中的投影位置为
Figure BDA0001801825650000145
可选的,所述拍摄设备的内参包括如下至少一种:所述拍摄设备的焦距、所述拍摄设备的像素大小。
步骤S502、根据所述第一特征点在所述第二图像帧中的投影位置,以及与所述第一特征点匹配的第二特征点,确定所述投影位置和所述第二特征点之间的距离。
在本实施例中,拍摄设备和IMU的相对姿态
Figure BDA0001801825650000146
是已知的,Δω是未知的,Rk,k+1(Δω)是未知的,若相机模组采用全局快门(global shutter)传感器,在给定正确的Δω时,如下公式(3)成立。若相机模组采用卷帘快门(rolling shutter)传感器,在给定正确的Δω时,如下公式(4)成立。
Figure BDA0001801825650000151
Figure BDA0001801825650000152
当IMU不存在偏移,即Δω=0时,第k帧图像的第i个特征点Dk,i在第k+1帧图像中的投影位置和第k+1帧图像中与Dk,i匹配的特征点Dk+1,i是重合的,即在Δω=0时,第k帧图像的第i个特征点Dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与Dk,i匹配的特征点Dk+1,i之间的距离为0。
由于实际情况中IMU存在偏移,即Δω≠0且不断变化,需要求解Δω,在Δω未知的情况下,若相机模组采用全局快门(global shutter)传感器,第k帧图像的第i个特征点Dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与Dk,i匹配的特征点Dk+1,i之间的距离d可表示为如下公式(5)。若相机模组采用卷帘快门(rolling shutter)传感器,第k帧图像的第i个特征点Dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与Dk,i匹配的特征点Dk+1,i之间的距离d可表示为如下公式(6)。
Figure BDA0001801825650000153
Figure BDA0001801825650000154
在本实施例中,所述距离包括如下至少一种:欧式距离、城市距离、马氏距离。例如,公式(5)和公式(6)中的d可以是欧式距离、城市距离、马氏距离中的一种或多种。
步骤S503、根据所述投影位置和所述第二特征点之间的距离,确定所述惯性测量单元的测量误差。
具体的,所述根据所述投影位置和所述第二特征点之间的距离,确定所述惯性测量单元的测量误差,包括:通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述惯性测量单元的测量误差。
在公式(5)中,IMU的测量误差Δω是未知的,需要求解Δω,如果在Δω=0时,第k帧图像的第i个特征点Dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与Dk,i匹配的特征点Dk+1,i之间的距离为0即公式(5)表示的距离d为0。反之,如果能找到一个Δω,使公式(5)表示的第k帧图像的第i个特征点Dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与Dk,i匹配的特征点Dk+1,i之间的距离d最小例如为0,则能使该距离d最小的Δω即可作为Δω的解。
同理,在公式(6)中,IMU的测量误差Δω是未知的,需要求解Δω,如果在Δω=0时,第k帧图像的第i个特征点Dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与Dk,i匹配的特征点Dk+1,i之间的距离为0即公式(6)表示的距离d为0。反之,如果能找到一个Δω,使公式(6)表示的第k帧图像的第i个特征点Dk,i在第k+1帧图像中的投影位置与第k+1帧图像中与Dk,i匹配的特征点Dk+1,i之间的距离d最小例如为0,则能使该距离d最小的Δω即可作为Δω的解。
所述通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述惯性测量单元的测量误差,包括:通过使所述投影位置和所述第二特征点之间的距离最小,确定所述惯性测量单元的测量误差。
也就是说,通过对公式(5)进行最优化求出可使d取到最小值的IMU的测量误差Δω,确定出IMU的测量误差Δω。或者,通过对公式(6)进行最优化求出可使d取到最小值的IMU的测量误差Δω,确定出IMU的测量误差Δω。
可以理解的是,视频数据20中存在多对相邻的第一图像帧和第二图像帧,相邻的第一图像帧和第二图像帧匹配的特征点不只一对,不失一般性,如果相机模组采用全局快门(global shutter)传感器,则IMU的测量误差Δω可通过如下公式(7)确定,如果相机模组采用卷帘快门(rolling shutter)传感器,则IMU的测量误差Δω可通过如下公式(8)确定:
Figure BDA0001801825650000171
Figure BDA0001801825650000172
其中,k表示视频数据中的第k帧图像,i表示第i个特征点。
另外,公式(7)的等价形式可以有多种,例如公式(9)、公式(10)、公式(11)所示,但不限于此:
Figure BDA0001801825650000173
Figure BDA0001801825650000174
Figure BDA0001801825650000175
此外,公式(8)的等价形式可以有多种,例如公式(12)、公式(13)、公式(14)所示,但不限于此:
Figure BDA0001801825650000176
Figure BDA0001801825650000177
Figure BDA0001801825650000178
本实施例通过在拍摄设备拍摄视频数据的过程中,根据IMU的测量结果确定出拍摄设备在拍摄视频数据过程中IMU的旋转信息,IMU的旋转信息中包括IMU的测量误差,由于视频数据和IMU的测量结果都是可以准确获取的,因此,根据视频数据以及IMU的旋转信息,确定出的IMU的测量误差的精确度较高,从而提高了可移动物体运动信息的计算精度。
在上述实施例的基础上,所述根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差之后,还包括:根据所述惯性测量单元的测量误差,对所述惯性测量单元的测量结果进行校准。
例如,IMU的测量结果ω+Δω不能准确反映出IMU所检测的可移动物体实际的运动信息,因此,当确定出IMU的测量误差Δω之后,还可以根据Δω对IMU的测量结果ω+Δω进行校准,例如,从IMU的测量结果ω+Δω中减去IMU的测量误差Δω后,可得到IMU准确的测量结果ω,IMU准确的测量结果ω可表示出IMU所检测的可移动物体实际的运动信息,从而提高了IMU的检测精度。
另外,在其他实施例中,还可以实时的在线标定IMU的测量误差,当IMU所处的环境因素发生变化时,实时标定IMU的测量误差Δω,可使标定出的IMU的测量误差Δω随着环境因素的变化而变化,而非采用固定的IMU的测量误差对IMU的测量结果ω+Δω进行校准,从而进一步提高了IMU的检测精度。
例如,IMU和图像传感器贴合在一起,随着图像传感器工作时间的延长,图像传感器的温度会升高,而图像传感器的温度会对IMU的测量误差造成显著的影响。如果实时标定IMU的测量误差Δω,可使标定出的IMU的测量误差Δω随着图像传感器温度的变化而变化,避免采用固定的IMU的测量误差对IMU的测量结果ω+Δω进行校准,而导致的IMU的检测精度不高。
本发明实施例提供一种惯性测量单元的漂移标定方法。图6为本发明另一实施例提供的惯性测量单元的漂移标定方法的流程图;图7为本发明另一实施例提供的惯性测量单元的漂移标定方法的流程图。在图1所示实施例的基础上,所述惯性测量单元的测量误差包括第一自由度、第二自由度和第三自由度。例如,IMU的测量误差Δω包括第一自由度、第二自由度和第三自由度,第一自由度记为Δωx,第二自由度记为Δωy,第三自由度记为Δωz,也就是说,Δω可以表示为Δω=(Δωx,Δωy,Δωz)。将Δω=(Δωx,Δωy,Δωz)带入上述公式(7)-公式(14)中的任一公式中,可得到变形后的公式,以公式(8)为例,将Δω=(Δωx,Δωy,Δωz)带入公式(8)后,可变形为公式(15):
Figure BDA0001801825650000191
公式(15)还可以进一步变形为公式(16):
Figure BDA0001801825650000192
在本实施例中,所述通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述惯性测量单元的测量误差,可通过如下几种可行的实现方式实现:
一种可行的实现方式是:如图6所示的步骤S601-步骤S604:
步骤S601、根据预设的第二自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第一自由度。
在公式(16)中,[xk,i,yk,i]T
Figure BDA0001801825650000193
g是已知的,(Δωx,Δωy,Δωz)是未知的,本实施例可以通过求解第一自由度Δωx、第二自由度Δωy、第三自由度Δωz来求解(Δωx,Δωy,Δωz)。假设第一自由度Δωx、第二自由度Δωy、第三自由度Δωz各自的初始值是预设的。可选的,第一自由度Δωx的初始值为
Figure BDA0001801825650000194
第二自由度Δωy的初始值为
Figure BDA0001801825650000195
第三自由度Δωz的初始值为
Figure BDA0001801825650000196
根据预设的第二自由度
Figure BDA0001801825650000197
和预设的第三自由度
Figure BDA0001801825650000198
求解公式(16)得到最优的第一自由度
Figure BDA0001801825650000199
也就是说,根据第二自由度Δωy的初始值和第三自由度Δωz的初始值,求解公式(16)得到最优的第一自由度
Figure BDA00018018256500001910
步骤S602、根据优化后的第一自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第二自由度。
根据步骤S601中求出的最优的第一自由度
Figure BDA00018018256500001911
和预设的第三自由度
Figure BDA00018018256500001912
即第三自由度Δωz的初始值,求解公式(16)得到最优的第二自由度
Figure BDA00018018256500001913
步骤S603、根据优化后的第一自由度和优化后的第二自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第三自由度。
根据步骤S601中求出的最优的第一自由度
Figure BDA0001801825650000201
和步骤S602求出的最优的第二自由度
Figure BDA0001801825650000202
求解公式(16)得到最优的第三自由度
Figure BDA0001801825650000203
步骤S604、通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到所述惯性测量单元的测量误差。
通过步骤S601-S603可分别得到最优的第一自由度
Figure BDA0001801825650000204
最优的第二自由度
Figure BDA0001801825650000205
和最优的第三自由度
Figure BDA0001801825650000206
进一步的,返回步骤S601,根据最优的第二自由度
Figure BDA0001801825650000207
和最优的第三自由度
Figure BDA0001801825650000208
再次求解公式(16)得到最优的第一自由度
Figure BDA0001801825650000209
再执行步骤S602,根据最优的第一自由度
Figure BDA00018018256500002010
和最优的第三自由度
Figure BDA00018018256500002011
再次求解公式(16)得到最优的第二自由度
Figure BDA00018018256500002012
再执行步骤S603,根据最优的第一自由度
Figure BDA00018018256500002013
和最优的第二自由度
Figure BDA00018018256500002014
求解公式(16)得到最优的第三自由度
Figure BDA00018018256500002015
可见,每循环执行一遍步骤S601-S603,最优的第一自由度、最优的第二自由度、最优的第三自由度就会得到一次更新,随着循环执行步骤S601-S603的次数不断增加,最优的第一自由度、最优的第二自由度、最优的第三自由度逐渐收敛。本实施例可以不断的循环执行步骤S601-S603,直到最优的第一自由度、最优的第二自由度、最优的第三自由度收敛,可选的,将收敛后的最优的第一自由度、最优的第二自由度、最优的第三自由度作为本实施例最终所求的第一自由度Δωx、第二自由度Δωy、第三自由度Δωz,根据收敛后的最优的第一自由度、最优的第二自由度、最优的第三自由度,可确定出IMU的测量误差Δω的解,记为(Δωx,Δωy,Δωz)。
另一种可行的实现方式是:如图7所示的步骤S701-步骤S704:
步骤S701、根据预设的第二自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第一自由度。
在公式(16)中,[xk,i,yk,i]T
Figure BDA00018018256500002016
g是已知的,(Δωx,Δωy,Δωz)是未知的,本实施例可以通过求解第一自由度Δωx、第二自由度Δωy、第三自由度Δωz来求解(Δωx,Δωy,Δωz)。假设第一自由度Δωx、第二自由度Δωy、第三自由度Δωz各自的初始值是预设的。可选的,第一自由度Δωx的初始值为
Figure BDA0001801825650000211
第二自由度Δωy的初始值为
Figure BDA0001801825650000212
第三自由度Δωz的初始值为
Figure BDA0001801825650000213
根据预设的第二自由度
Figure BDA0001801825650000214
和预设的第三自由度
Figure BDA0001801825650000215
求解公式(16)得到最优的第一自由度
Figure BDA0001801825650000216
也就是说,根据第二自由度Δωy的初始值和第三自由度Δωz的初始值,求解公式(16)得到最优的第一自由度
Figure BDA0001801825650000217
步骤S702、根据预设的第一自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第二自由度。
根据预设的第一自由度
Figure BDA0001801825650000218
和预设的第三自由度
Figure BDA0001801825650000219
求解公式(16)得到最优的第二自由度
Figure BDA00018018256500002110
也就是说,根据第一自由度Δωx的初始值和第三自由度Δωz的初始值,求解公式(16)得到最优的第二自由度
Figure BDA00018018256500002111
步骤S703、根据预设的第一自由度和预设的第二自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第三自由度。
根据预设的第一自由度
Figure BDA00018018256500002112
和预设的第二自由度
Figure BDA00018018256500002113
求解公式(16)得到最优的第三自由度
Figure BDA00018018256500002114
也就是说,根据第一自由度Δωx的初始值和第二自由度Δωy的初始值,求解公式(16)得到最优的第三自由度
Figure BDA00018018256500002115
步骤S704、通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到所述惯性测量单元的测量误差。
通过步骤S701-S703可分别得到最优的第一自由度
Figure BDA00018018256500002116
最优的第二自由度
Figure BDA00018018256500002117
和最优的第三自由度
Figure BDA00018018256500002118
进一步的,返回步骤S701,根据最优的第二自由度
Figure BDA00018018256500002119
和最优的第三自由度
Figure BDA00018018256500002120
再次求解公式(16)得到最优的第一自由度
Figure BDA00018018256500002121
再执行步骤S702,根据最优的第一自由度
Figure BDA00018018256500002122
和最优的第三自由度
Figure BDA00018018256500002123
再次求解公式(16)得到最优的第二自由度
Figure BDA00018018256500002124
再执行步骤S703,根据最优的第一自由度
Figure BDA00018018256500002125
和最优的第二自由度
Figure BDA00018018256500002126
求解公式(16)得到最优的第三自由度
Figure BDA0001801825650000221
可见,每循环执行一遍步骤S701-S703,最优的第一自由度、最优的第二自由度、最优的第三自由度就会得到一次更新,随着循环执行步骤S701-S703的次数不断增加,最优的第一自由度、最优的第二自由度、最优的第三自由度逐渐收敛。本实施例可以不断的循环执行步骤S701-S703,直到最优的第一自由度、最优的第二自由度、最优的第三自由度收敛,可选的,将收敛后的最优的第一自由度、最优的第二自由度、最优的第三自由度作为本实施例最终所求的第一自由度Δωx、第二自由度Δωy、第三自由度Δωz,根据收敛后的最优的第一自由度、最优的第二自由度、最优的第三自由度,可确定出IMU的测量误差Δω的解,记为(Δωx,Δωy,Δωz)。
可选的,所述第一自由度用于表示所述测量误差在惯性测量单元的坐标系X轴的分量;所述第二自由度用于表示所述测量误差在惯性测量单元的坐标系Y轴的分量;所述第三自由度用于表示所述测量误差在惯性测量单元的坐标系Z轴的分量。
本实施例通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到IMU的测量误差,提高了计算IMU的测量误差的准确性。
本发明实施例提供一种惯性测量单元的漂移标定方法。图8为本发明另一实施例提供的惯性测量单元的漂移标定方法的流程图。如图8所示,在上述实施例的基础上,所述获取拍摄设备拍摄的视频数据之后,还包括如下步骤:
步骤S801、在所述拍摄设备拍摄所述视频数据的过程中,获取惯性测量单元的测量结果,所述测量结果包括所述惯性测量单元的测量误差。
在本实施例中,IMU的测量结果可以是IMU的姿态信息,IMU的姿态信息包括如下至少一种:IMU的角速度、IMU的旋转矩阵、IMU的四元数。
可选的,所述惯性测量单元以第一频率采集所述惯性测量单元的角速度;所述拍摄设备在拍摄视频数据的过程中以第二频率采集图像信息;其中,第一频率大于第二频率。
例如,拍摄设备在拍摄视频数据的过程中对图像信息的采样帧率为fI,也就是说,拍摄设备在拍摄视频数据时每秒钟拍摄图像的帧数为fI。同时,IMU以fw的频率采集自身的姿态信息例如角速度,也就是说,IMU以fw的频率输出测量结果,fw大于fI。可就是说,在相同时间内,拍摄设备拍摄的图像帧数少,IMU输出的测量结果数量多。
步骤S802、根据所述惯性测量单元的测量结果,确定所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息。
例如,根据拍摄设备在拍摄视频数据20的过程中IMU输出的测量结果可以确定出拍摄设备在拍摄视频数据20的过程中IMU的旋转信息。
具体的,所述根据所述惯性测量单元的测量结果,确定所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,包括:对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息。
例如,IMU的测量结果包括如下至少一种:IMU的角速度、IMU的旋转矩阵、IMU的四元数,可选的,拍摄设备在拍摄视频数据20的过程中,第k帧图像开始曝光的时刻为k/fI,第k+1帧图像开始曝光的时刻为tk+1=(k+1)/fI,在[tk,tk+1]这段时间内,对IMU的测量结果进行积分,可得到[tk,tk+1]这段时间内IMU的旋转信息。
具体的,所述对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息,包括如下几种可行的实现方式:
一种可行的实现方式是:对所述惯性测量单元的角速度在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转角度。
例如,IMU的测量结果是IMU的角速度,拍摄设备在拍摄视频数据20的过程中,第k帧图像开始曝光的时刻为k/fI,第k+1帧图像开始曝光的时刻为tk+1=(k+1)/fI,则对IMU的角速度在[tk,tk+1]这段时间内进行积分可得到[tk,tk+1]这段时间内IMU的旋转角度。
另一种可行的实现方式是:对所述惯性测量单元的旋转矩阵在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘,得到所述时间内所述惯性测量单元的旋转矩阵。
例如,IMU的测量结果是IMU的旋转矩阵,拍摄设备在拍摄视频数据20的过程中,第k帧图像开始曝光的时刻为k/fI,第k+1帧图像开始曝光的时刻为tk+1=(k+1)/fI,对IMU的旋转矩阵在[tk,tk+1]这段时间内进行连乘可得到[tk,tk+1]这段时间内IMU的旋转矩阵。
再一种可行的实现方式是:对所述惯性测量单元的四元数在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘,得到所述时间内所述惯性测量单元的四元数。
例如,IMU的测量结果是IMU的四元数,拍摄设备在拍摄视频数据20的过程中,第k帧图像开始曝光的时刻为k/fI,第k+1帧图像开始曝光的时刻为tk+1=(k+1)/fI,对IMU的四元数在[tk,tk+1]这段时间内进行连乘积分可得到[tk,tk+1]这段时间内IMU的四元数。
此外,在其他实施例中,确定IMU的旋转信息的方法可以不限于上述方法。
本实施例通过在拍摄设备拍摄视频数据的过程中,获取惯性测量单元的测量结果,对惯性测量单元的测量结果进行积分,得到拍摄设备拍摄视频数据的过程中惯性测量单元的旋转信息,由于惯性测量单元的测量结果是可以获取的,对惯性测量单元的测量结果进行积分可计算出惯性测量单元的旋转信息。
本发明实施例提供一种惯性测量单元的漂移标定设备。图9为本发明实施例提供的惯性测量单元的漂移标定设备的结构图,如图9所示,惯性测量单元的漂移标定设备90包括:存储器91和处理器92,其中,存储器91用于存储程序代码;处理器92调用所述程序代码,当程序代码被执行时,用于执行以下操作:获取拍摄设备拍摄的视频数据;根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差;其中,所述惯性测量单元的旋转信息中包括所述惯性测量单元的测量误差。
可选的,所述旋转信息包括如下至少一种:旋转角度、旋转矩阵、四元数。
处理器92根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差时,具体用于:根据所述视频数据中相隔预设帧数的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差。
具体的,处理器92根据所述视频数据中相隔预设帧数的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差时,具体用于:根据所述视频数据中相邻的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差。
可选的,处理器92根据所述视频数据中相隔预设帧数的第一图像帧和第二图像帧,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差时,具体用于:对所述视频数据中相隔预设帧数的第一图像帧和第二图像帧分别进行特征提取,得到所述第一图像帧的多个第一特征点和所述第二图像帧的多个第二特征点;对所述第一图像帧的多个第一特征点和所述第二图像帧的多个第二特征点进行特征点匹配;根据所述匹配后的第一特征点和第二特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差。
可选的,处理器92根据所述匹配的第一特征点和第二特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差时,具体用于:根据所述第一特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述第一特征点在所述第二图像帧中的投影位置;根据所述第一特征点在所述第二图像帧中的投影位置,以及与所述第一特征点匹配的第二特征点,确定所述投影位置和所述第二特征点之间的距离;根据所述投影位置和所述第二特征点之间的距离,确定所述惯性测量单元的测量误差。
可选的,处理器92根据所述第一特征点,以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息,确定所述第一特征点在所述第二图像帧中的投影位置时,具体用于:根据所述第一特征点在所述第一图像帧中的位置、从所述第一曝光时刻到所述第二曝光时刻的时间内所述惯性测量单元的旋转信息、所述拍摄设备和所述惯性测量单元的相对姿态、以及所述拍摄设备的内参,确定所述第一特征点在所述第二图像帧中的投影位置。可选的,所述拍摄设备的内参包括如下至少一种:所述拍摄设备的焦距、所述拍摄设备的像素大小。
可选的,处理器92根据所述投影位置和所述第二特征点之间的距离,确定所述惯性测量单元的测量误差时,具体用于:通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述惯性测量单元的测量误差。
具体的,处理器92通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述惯性测量单元的测量误差时,具体用于:通过使所述投影位置和所述第二特征点之间的距离最小,确定所述惯性测量单元的测量误差。
本发明实施例提供的漂移标定设备的具体原理和实现方式均与图1所示实施例类似,此处不再赘述。
本实施例通过在拍摄设备拍摄视频数据的过程中,根据IMU的测量结果确定出拍摄设备在拍摄视频数据过程中IMU的旋转信息,IMU的旋转信息中包括IMU的测量误差,由于视频数据和IMU的测量结果都是可以准确获取的,因此,根据视频数据以及IMU的旋转信息,确定出的IMU的测量误差的精确度较高,从而提高了可移动物体运动信息的计算精度。
本发明实施例提供一种漂移标定设备。在图9所示实施例提供的技术方案的基础上,所述惯性测量单元的测量误差包括第一自由度、第二自由度和第三自由度。
可选的,处理器92通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述惯性测量单元的测量误差时,具体用于:根据预设的第二自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第一自由度;根据优化后的第一自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第二自由度;根据优化后的第一自由度和优化后的第二自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第三自由度;通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到所述惯性测量单元的测量误差。
或者,处理器92通过对所述投影位置和所述第二特征点之间的距离进行最优化,确定所述惯性测量单元的测量误差时,具体用于:根据预设的第二自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第一自由度;根据预设的第一自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第二自由度;根据预设的第一自由度和预设的第二自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第三自由度;通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到所述惯性测量单元的测量误差。
可选的,所述第一自由度用于表示所述测量误差在惯性测量单元的坐标系X轴的分量;所述第二自由度用于表示所述测量误差在惯性测量单元的坐标系Y轴的分量;所述第三自由度用于表示所述测量误差在惯性测量单元的坐标系Z轴的分量。所述距离包括如下至少一种:欧式距离、城市距离、马氏距离。
本发明实施例提供的漂移标定设备的具体原理和实现方式均与图6和图7所示实施例类似,此处不再赘述。
本实施例通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到IMU的测量误差,提高了计算IMU的测量误差的准确性。
本发明实施例提供一种漂移标定设备。在图9所示实施例提供的技术方案的基础上,处理器92获取拍摄设备拍摄的视频数据之后,还用于:在所述拍摄设备拍摄所述视频数据的过程中,获取惯性测量单元的测量结果,所述测量结果包括所述惯性测量单元的测量误差;根据所述惯性测量单元的测量结果,确定所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息。
可选的,所述惯性测量单元以第一频率采集所述惯性测量单元的角速度;所述拍摄设备在拍摄视频数据的过程中以第二频率采集图像信息;其中,第一频率大于第二频率。
具体的,处理器92根据所述惯性测量单元的测量结果,确定所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息时,具体用于:对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息。
可选的,处理器92对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息时,具体用于:对所述惯性测量单元的角速度在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转角度。
或者,处理器92对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息时,具体用于:对所述惯性测量单元的旋转矩阵在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘,得到所述时间内所述惯性测量单元的旋转矩阵。
再或者,处理器92对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息时,具体用于:对所述惯性测量单元的四元数在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘积分,得到所述时间内所述惯性测量单元的四元数。
另外,处理器92根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差之后,还用于:根据所述惯性测量单元的测量误差,对所述惯性测量单元的测量结果进行校准。
本发明实施例提供的漂移标定设备的具体原理和实现方式均与图8所示实施例类似,此处不再赘述。
本实施例通过在拍摄设备拍摄视频数据的过程中,获取惯性测量单元的测量结果,对惯性测量单元的测量结果进行积分,得到拍摄设备拍摄视频数据的过程中惯性测量单元的旋转信息,由于惯性测量单元的测量结果是可以获取的,对惯性测量单元的测量结果进行积分可计算出惯性测量单元的旋转信息。
本发明实施例提供一种无人飞行器。图10为本发明实施例提供的无人飞行器的结构图,如图10所示,无人飞行器100包括:机身、动力系统和飞行控制器118,所述动力系统包括如下至少一种:电机107、螺旋桨106和电子调速器117,动力系统安装在所述机身,用于提供飞行动力;飞行控制器118与所述动力系统通讯连接,用于控制所述无人飞行器飞行。
另外,如图10所示,无人飞行器100还包括:传感系统108、通信系统110、支撑设备102、拍摄设备104和漂移标定设备90,其中,支撑设备102具体可以是云台,通信系统110具体可以包括接收机,接收机用于接收地面站112的天线114发送的无线信号,116表示接收机和天线114通信过程中产生的电磁波。拍摄设备104用于拍摄视频数据;拍摄设备104和IMU设置在同一PCB板上,或者拍摄设备104和IMU刚性连接。漂移标定设备90的具体原理和实现方式均与上述实施例类似,此处不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (29)

1.一种惯性测量单元的漂移标定方法,其特征在于,包括:
获取拍摄设备拍摄目标物体的视频数据中相隔预设帧数的第一图像帧和第二图像帧;
根据所述惯性测量单元在所述第一图像帧的第一曝光时刻到所述第二图像帧的第二曝光时刻的时间段内采集的测量结果,确定所述惯性测量单元在所述时间段内的旋转信息;
对所述第一图像帧的多个第一特征点和所述第二图像帧的多个第二特征点进行特征点匹配,得到匹配后的第一特征点和匹配后的第二特征点;
根据所述匹配后的第一特征点,以及所确定的所述惯性测量单元在所述时间段内的旋转信息,确定所述匹配后的第一特征点在所述第二图像帧中的投影位置;
通过对所述投影位置和所述匹配后的第二特征点之间的距离进行最优化,确定所述惯性测量单元的测量误差,其中,所述惯性测量单元的测量误差包括第一自由度、第二自由度和第三自由度,此步骤包括:
-根据预设的第二自由度和预设的第三自由度,对所述投影位置和所述匹配后的第二特征点之间的距离进行最优化,得到优化后的第一自由度;
-根据优化后的第一自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第二自由度;
-根据优化后的第一自由度和优化后的第二自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第三自由度;
-通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到所述惯性测量单元的测量误差。
2.根据权利要求1所述的方法,其特征在于,所述旋转信息包括如下至少一种:
旋转角度、旋转矩阵、四元数。
3.根据权利要求1所述的方法,其特征在于,所述根据所述匹配后的第一特征点,以及所述惯性测量单元的所述旋转信息,确定匹配后的所述第一特征点在所述第二图像帧中的投影位置,包括:
根据所述匹配后的第一特征点在所述第一图像帧中的位置、所述惯性测量单元的所述旋转信息、所述拍摄设备和所述惯性测量单元的相对姿态、以及所述拍摄设备的内参,确定所述匹配后的第一特征点在所述第二图像帧中的投影位置。
4.根据权利要求3所述的方法,其特征在于,所述拍摄设备的内参包括如下至少一种:
所述拍摄设备的焦距、所述拍摄设备的像素大小。
5.根据权利要求1所述的方法,其特征在于,所述通过对所述投影位置和所述匹配后的第二特征点之间的距离进行最优化,确定所述惯性测量单元的测量误差,包括:
通过使所述投影位置和所述匹配后的第二特征点之间的距离最小,确定所述惯性测量单元的测量误差。
6.根据权利要求1所述的方法,其特征在于,所述第一自由度用于表示所述测量误差在惯性测量单元的坐标系X轴的分量;
所述第二自由度用于表示所述测量误差在惯性测量单元的坐标系Y轴的分量;
所述第三自由度用于表示所述测量误差在惯性测量单元的坐标系Z轴的分量。
7.根据权利要求1所述的方法,其特征在于,所述距离包括如下至少一种:
欧式距离、城市距离、马氏距离。
8.根据权利要求1所述的方法,其特征在于,
在所述拍摄设备拍摄所述视频数据的过程中,获取所述惯性测量单元的测量结果。
9.根据权利要求8所述的方法,其特征在于,所述惯性测量单元以第一频率采集所述惯性测量单元的角速度;
所述拍摄设备在拍摄视频数据的过程中以第二频率采集图像信息;
其中,第一频率大于第二频率。
10.根据权利要求2所述的方法,其特征在于,所述根据所述惯性测量单元在所述第一图像帧的第一曝光时刻到所述第二图像帧的第二曝光时刻的时间段内采集的测量结果,确定所述惯性测量单元在所述时间段内的旋转信息,包括:
对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息。
11.根据权利要求10所述的方法,其特征在于,所述对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息,包括:
对所述惯性测量单元的角速度在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转角度。
12.根据权利要求10所述的方法,其特征在于,所述对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息,包括:
对所述惯性测量单元的旋转矩阵在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘积分,得到所述时间内所述惯性测量单元的旋转矩阵。
13.根据权利要求10所述的方法,其特征在于,所述对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息,包括:
对所述惯性测量单元的四元数在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘积分,得到所述时间内所述惯性测量单元的四元数。
14.根据权利要求1-13任一项所述的方法,其特征在于,在确定所述惯性测量单元的测量误差之后,还包括:
根据所述惯性测量单元的测量误差,对所述惯性测量单元的测量结果进行校准。
15.一种惯性测量单元的漂移标定设备,其特征在于,包括:
存储器和处理器;
所述存储器用于存储程序代码;
所述处理器,调用所述程序代码,当程序代码被执行时,用于执行以下操作:
获取拍摄设备拍摄目标物体的视频数据中相隔预设帧数的第一图像帧和第二图像帧;
根据所述惯性测量单元在所述第一图像帧的第一曝光时刻到所述第二图像帧的第二曝光时刻的时间段内采集的测量结果,确定所述惯性测量单元在所述时间段内的旋转信息;
对所述第一图像帧的多个第一特征点和所述第二图像帧的多个第二特征点进行特征点匹配,得到匹配后的第一特征点和匹配后的第二特征点;
根据所述匹配后的第一特征点,以及所确定的所述惯性测量单元在所述时间段内的旋转信息,确定所述匹配后的第一特征点在所述第二图像帧中的投影位置;
通过对所述投影位置和所述匹配后的第二特征点之间的距离进行最优化,确定所述惯性测量单元的测量误差,其中,所述惯性测量单元的测量误差包括第一自由度、第二自由度和第三自由度,此步骤包括:
-根据预设的第二自由度和预设的第三自由度,对所述投影位置和所述匹配后的第二特征点之间的距离进行最优化,得到优化后的第一自由度;
-根据优化后的第一自由度和预设的第三自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第二自由度;
-根据优化后的第一自由度和优化后的第二自由度,对所述投影位置和所述第二特征点之间的距离进行最优化,得到优化后的第三自由度;
-通过循环优化第一自由度、第二自由度和第三自由度,直至优化后的第一自由度、第二自由度和第三自由度收敛,得到所述惯性测量单元的测量误差。
16.根据权利要求15所述的漂移标定设备,其特征在于,所述旋转信息包括如下至少一种:
旋转角度、旋转矩阵、四元数。
17.根据权利要求15所述的漂移标定设备,其特征在于,所述处理器根据所述匹配后的第一特征点,以及所述惯性测量单元的所述旋转信息,确定所述匹配后的第一特征点在所述第二图像帧中的投影位置时,具体用于:
根据所述匹配后的第一特征点在所述第一图像帧中的位置、所述惯性测量单元的所述旋转信息、所述拍摄设备和所述惯性测量单元的相对姿态、以及所述拍摄设备的内参,确定所述匹配后的第一特征点在所述第二图像帧中的投影位置。
18.根据权利要求17所述的漂移标定设备,其特征在于,所述拍摄设备的内参包括如下至少一种:
所述拍摄设备的焦距、所述拍摄设备的像素大小。
19.根据权利要求15所述的漂移标定设备,其特征在于,所述处理器通过对所述投影位置和所述匹配后的第二特征点之间的距离进行最优化,确定所述惯性测量单元的测量误差时,具体用于:
通过使所述投影位置和所述匹配后的第二特征点之间的距离最小,确定所述惯性测量单元的测量误差。
20.根据权利要求15所述的漂移标定设备,其特征在于,所述第一自由度用于表示所述测量误差在惯性测量单元的坐标系X轴的分量;
所述第二自由度用于表示所述测量误差在惯性测量单元的坐标系Y轴的分量;
所述第三自由度用于表示所述测量误差在惯性测量单元的坐标系Z轴的分量。
21.根据权利要求15所述的漂移标定设备,其特征在于,所述距离包括如下至少一种:
欧式距离、城市距离、马氏距离。
22.根据权利要求15所述的漂移标定设备,其特征在于,所述处理器获取拍摄设备拍摄的视频数据之后,还用于:
在所述拍摄设备拍摄所述视频数据的过程中,获取所述惯性测量单元的测量结果。
23.根据权利要求22所述的漂移标定设备,其特征在于,所述惯性测量单元以第一频率采集所述惯性测量单元的角速度;
所述拍摄设备在拍摄视频数据的过程中以第二频率采集图像信息;
其中,第一频率大于第二频率。
24.根据权利要求16所述的漂移标定设备,其特征在于,所述处理器根据所述惯性测量单元在所述第一图像帧的第一曝光时刻到所述第二图像帧的第二曝光时刻的时间段内采集的测量结果,确定所述惯性测量单元在所述时间段内的旋转信息时,具体用于:
对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息。
25.根据权利要求24所述的漂移标定设备,其特征在于,所述处理器对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息时,具体用于:
对所述惯性测量单元的角速度在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转角度。
26.根据权利要求24所述的漂移标定设备,其特征在于,所述处理器对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息时,具体用于:
对所述惯性测量单元的旋转矩阵在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘积分,得到所述时间内所述惯性测量单元的旋转矩阵。
27.根据权利要求24所述的漂移标定设备,其特征在于,所述处理器对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分,得到所述时间内所述惯性测量单元的旋转信息时,具体用于:
对所述惯性测量单元的四元数在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘积分,得到所述时间内所述惯性测量单元的四元数。
28.根据权利要求15-27任一项所述的漂移标定设备,其特征在于,所述处理器根据所述视频数据,以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息,确定所述惯性测量单元的测量误差之后,还用于:
根据所述惯性测量单元的测量误差,对所述惯性测量单元的测量结果进行校准。
29.一种无人飞行器,其特征在于,包括:
机身;
动力系统,安装在所述机身,用于提供飞行动力;
飞行控制器,与所述动力系统通讯连接,用于控制所述无人飞行器飞行;
拍摄设备,用于拍摄视频数据;以及
如权利要求15-28任一项所述的漂移标定设备。
CN201780018725.5A 2017-10-26 2017-10-26 惯性测量单元的漂移标定方法、设备及无人飞行器 Expired - Fee Related CN109073407B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/107812 WO2019080046A1 (zh) 2017-10-26 2017-10-26 惯性测量单元的漂移标定方法、设备及无人飞行器

Publications (2)

Publication Number Publication Date
CN109073407A CN109073407A (zh) 2018-12-21
CN109073407B true CN109073407B (zh) 2022-07-05

Family

ID=64812383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780018725.5A Expired - Fee Related CN109073407B (zh) 2017-10-26 2017-10-26 惯性测量单元的漂移标定方法、设备及无人飞行器

Country Status (3)

Country Link
US (1) US20200264011A1 (zh)
CN (1) CN109073407B (zh)
WO (1) WO2019080046A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109883452A (zh) * 2019-04-16 2019-06-14 百度在线网络技术(北京)有限公司 参数标定方法和装置、电子设备、计算机可读介质
WO2021070813A1 (ja) * 2019-10-08 2021-04-15 株式会社デンソー 誤差推定装置、誤差推定方法、誤差推定プログラム
US11409360B1 (en) 2020-01-28 2022-08-09 Meta Platforms Technologies, Llc Biologically-constrained drift correction of an inertial measurement unit
CN111784784B (zh) * 2020-09-07 2021-01-05 蘑菇车联信息科技有限公司 Imu内参的标定方法、装置、电子设备仪及存储介质
CN112325905B (zh) * 2020-10-30 2023-02-24 歌尔科技有限公司 一种用于识别imu的测量误差的方法、装置及介质
CN114979456B (zh) * 2021-02-26 2023-06-30 影石创新科技股份有限公司 视频数据的防抖处理方法、装置、计算机设备和存储介质
CN113587924B (zh) * 2021-06-16 2024-03-29 影石创新科技股份有限公司 拍摄系统标定方法、装置、计算机设备和存储介质
US20230049084A1 (en) * 2021-07-30 2023-02-16 Gopro, Inc. System and method for calibrating a time difference between an image processor and an intertial measurement unit based on inter-frame point correspondence
US20230046465A1 (en) * 2021-07-30 2023-02-16 Gopro, Inc. Holistic camera calibration system from sparse optical flow
CN114040128B (zh) * 2021-11-24 2024-03-01 视辰信息科技(上海)有限公司 时间戳延时标定方法及系统、设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714550A (zh) * 2013-12-31 2014-04-09 鲁东大学 一种基于匹配曲线特征评估的图像配准自动优化算法
CN105844624A (zh) * 2016-03-18 2016-08-10 上海欧菲智能车联科技有限公司 动态标定系统、动态标定系统中的联合优化方法及装置
CN106595601A (zh) * 2016-12-12 2017-04-26 天津大学 一种无需手眼标定的相机六自由度位姿精确重定位方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103424114B (zh) * 2012-05-22 2016-01-20 同济大学 一种视觉导航/惯性导航的全组合方法
CN102788579A (zh) * 2012-06-20 2012-11-21 天津工业大学 基于sift算法的无人机视觉导航方法
CN102768042B (zh) * 2012-07-11 2015-06-24 清华大学 一种视觉-惯性组合导航方法
US10254118B2 (en) * 2013-02-21 2019-04-09 Regents Of The University Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
CN103712622B (zh) * 2013-12-31 2016-07-20 清华大学 基于惯性测量单元旋转的陀螺漂移估计补偿方法及装置
US10378921B2 (en) * 2014-07-11 2019-08-13 Sixense Enterprises Inc. Method and apparatus for correcting magnetic tracking error with inertial measurement
CN104567931B (zh) * 2015-01-14 2017-04-05 华侨大学 一种室内惯性导航定位的航向漂移误差消除方法
CN106709222B (zh) * 2015-07-29 2019-02-01 中国科学院沈阳自动化研究所 基于单目视觉的imu漂移补偿方法
CN106709223B (zh) * 2015-07-29 2019-01-22 中国科学院沈阳自动化研究所 基于惯性引导采样的视觉imu方向估计方法
CN105698765B (zh) * 2016-02-22 2018-09-18 天津大学 双imu单目视觉组合测量非惯性系下目标物位姿方法
CN107255476B (zh) * 2017-07-06 2020-04-21 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714550A (zh) * 2013-12-31 2014-04-09 鲁东大学 一种基于匹配曲线特征评估的图像配准自动优化算法
CN105844624A (zh) * 2016-03-18 2016-08-10 上海欧菲智能车联科技有限公司 动态标定系统、动态标定系统中的联合优化方法及装置
CN106595601A (zh) * 2016-12-12 2017-04-26 天津大学 一种无需手眼标定的相机六自由度位姿精确重定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双目视觉和惯性器件的微小型无人机运动状态估计方法;李建等;《航空学报》;20110731(第12期);第2310-2317页 *

Also Published As

Publication number Publication date
CN109073407A (zh) 2018-12-21
WO2019080046A1 (zh) 2019-05-02
US20200264011A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
CN109073407B (zh) 惯性测量单元的漂移标定方法、设备及无人飞行器
US20200250429A1 (en) Attitude calibration method and device, and unmanned aerial vehicle
US10885328B2 (en) Determination of position from images and associated camera positions
CN108592950B (zh) 一种单目相机和惯性测量单元相对安装角标定方法
CN111354042A (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN110799921A (zh) 拍摄方法、装置和无人机
CN110785993A (zh) 拍摄设备的控制方法、装置、设备及存储介质
CN109214254B (zh) 一种确定机器人位移的方法及装置
CN116126024A (zh) 移动机器人的控制方法、装置、设备及存储介质
CN113767264A (zh) 参数标定方法、装置、系统和存储介质
CN110337668B (zh) 图像增稳方法和装置
CN110720113A (zh) 一种参数处理方法、装置及摄像设备、飞行器
CN111750896B (zh) 云台标定方法、装置、电子设备及存储介质
CN111383282B (zh) 位姿信息确定方法及装置
CN110800023A (zh) 图像处理方法和设备、摄像装置以及无人机
CN110268701B (zh) 成像设备
CN106461414A (zh) 一种智能设备的姿态关系计算方法和智能设备
CN113252066A (zh) 里程计设备参数的标定方法及装置、存储介质、电子装置
CN113256728A (zh) Imu设备参数的标定方法及装置、存储介质、电子装置
WO2019186677A1 (ja) ロボット位置姿勢推定・三次元計測装置
US9245343B1 (en) Real-time image geo-registration processing
CN113392909B (zh) 数据处理方法、数据处理装置、终端及可读存储介质
JP6861592B2 (ja) データ間引き装置、測量装置、測量システム及びデータ間引き方法
JP7462434B2 (ja) 3次元モデル作成装置、及び3次元モデル作成方法
CN110207687B (zh) 物体姿态测量方法、测量装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220705