CN112284380A - 一种基于光流和imu融合的非线性估计方法及系统 - Google Patents

一种基于光流和imu融合的非线性估计方法及系统 Download PDF

Info

Publication number
CN112284380A
CN112284380A CN202011005148.6A CN202011005148A CN112284380A CN 112284380 A CN112284380 A CN 112284380A CN 202011005148 A CN202011005148 A CN 202011005148A CN 112284380 A CN112284380 A CN 112284380A
Authority
CN
China
Prior art keywords
optical flow
estimation
acquiring
estimation error
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011005148.6A
Other languages
English (en)
Inventor
盘琳
唐文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fruition Industrial Co ltd
Original Assignee
Shenzhen Fruition Industrial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fruition Industrial Co ltd filed Critical Shenzhen Fruition Industrial Co ltd
Priority to CN202011005148.6A priority Critical patent/CN112284380A/zh
Publication of CN112284380A publication Critical patent/CN112284380A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves

Abstract

本发明实施例公开了一种基于光流和IMU融合的非线性估计方法及系统，方法包括：获取光流，从光流中获取设备的线速度与距离的比值；对光流进行分解，将分解后的光流与机载加速度计的测量值融合获取平面距离；通过平面距离，获取设备的线速度；计算目标估计误差收敛值；根据目标估计误差收敛值及线速度进行尺度估计，生成尺度估计结果。本发明实施例与经典的EKF相比，具有更快和更可控的误差收敛。该非线性滤波器能够产生一个具有完全特征化收敛行为的估计误差，可以通过适当地调整估计增益和设备运动来施加瞬态响应，最后，对比EKF可知，非线性方案在收敛速度和估计的可预测性方面具有显著的优越性。

Description

一种基于光流和IMU融合的非线性估计方法及系统
技术领域
本发明涉及光通信技术领域，尤其涉及一种基于光流和IMU融合的非线性估计方法及系统。
背景技术
近年来visual-SLAM算法被广泛用于状态估计，通过观察一个单一的特征随着时间的推移，提供一个封闭形式的解决方案，以计算公制尺度因子，进而完成映射地图和位置特征估计。然而，视觉需要跨多帧提取和关联数据的问题。如在大多数典型案例中依靠单目摄像机必须解决视觉信息和其他车载传感器数据融合的问题。此外，visual-SLAM方法取决于是否有可能在较长时间内持续跟踪特征，且视觉系统可能受到意外遮挡或大量计算的需要等影响。
现有技术中来源视觉和IMU(Inertial measurement unit，惯性测量单元)数据融合的状态估计常用经典的EKF(Extended Kalman Filter，扩展卡尔曼滤波器)框架，但EKF的方案有两个不能忽视的缺点：需要对非线性系统动力学的线性化，例如在处理视觉惯性估计问题时；难以对估计错误行为进行显式描述。
因此现有技术还有待于进一步发展。
发明内容
针对上述技术问题，本发明实施例提供了一种基于光流和IMU融合的非线性估计方法及系统，能够解决现有技术中来源视觉和IMU数据融合的状态估计常用经典的EKF框架，但EKF的方案有两个不能忽视的缺点：需要对非线性系统动力学的线性化，例如在处理视觉惯性估计问题时；难以对估计错误行为进行显式描述的技术问题。
本发明实施例的第一方面提供一种基于光流和IMU融合的非线性估计方法，包括：
获取光流，从光流中获取设备的线速度与距离的比值；
对光流进行分解，将分解后的光流与机载加速度计的测量值融合获取平面距离；
通过平面距离，获取设备的线速度；
计算目标估计误差收敛值；
根据目标估计误差收敛值及线速度进行尺度估计，生成尺度估计结果。
可选地，所述获取光流，从光流中获取设备的线速度与距离的比值，包括：
获取光流，根据平面场景中的连续单应性约束，从光流中获取设备的线速度与距离的比值。
可选地，所述根据平面场景中的连续单应性约束，从光流中获取设备的线速度与距离的比值，包括：
获取连续单应矩阵，根据IMU测量的角速度和设备运动方向获取设备的线速度与距离的比值。
可选地，所述根据目标估计误差收敛值进行尺度估计，生成尺度估计结果，包括：
调整估计增益和设备运动，获取调整后的估计误差，将调整后的估计误差与目标估计误差收敛值进行比较；
当调整后的估计误差与目标估计误差收敛值小于预定值时，计算尺度估计；生成尺度估计结果。
可选地，所述计算目标估计误差收敛值，包括：
根据预设的恒定加速度及预设的增益，计算目标估计误差收敛值。
本发明实施例第二方面提供了一种基于光流和IMU融合的非线性估计系统，所述系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下步骤：
获取光流，从光流中获取设备的线速度与距离的比值；
对光流进行分解，将分解后的光流与机载加速度计的测量值融合获取平面距离；
通过平面距离，获取设备的线速度；
计算目标估计误差收敛值；
根据目标估计误差收敛值及线速度进行尺度估计，生成尺度估计结果。
可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
获取光流，根据平面场景中的连续单应性约束，从光流中获取设备的线速度与距离的比值。
可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
获取连续单应矩阵，根据IMU测量的角速度和设备运动方向获取设备的线速度与距离的比值。
调整估计增益和设备运动，获取调整后的估计误差，将调整后的估计误差与目标估计误差收敛值进行比较；
当调整后的估计误差与目标估计误差收敛值小于预定值时，计算尺度估计；生成尺度估计结果。
本发明实施例第三方面提供了一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于光流和IMU融合的非线性估计方法。
本发明实施例提供的技术方案中，获取光流，从光流中获取设备的线速度与距离的比值；对光流进行分解，将分解后的光流与机载加速度计的测量值融合获取平面距离；通过平面距离，获取设备的线速度；计算目标估计误差收敛值；根据目标估计误差收敛值及线速度进行尺度估计，生成尺度估计结果。因此相对于现有技术，本发明实施例与经典的EKF相比，具有更快和更可控的误差收敛。该非线性滤波器能够产生一个具有完全特征化收敛行为的估计误差，可以通过适当地调整估计增益和设备运动来施加瞬态响应，最后，对比EKF可知，非线性方案在收敛速度和估计的可预测性方面具有显著的优越性。
附图说明
图1为本发明实施例中一种基于光流和IMU融合的非线性估计方法的一实施例的流程示意图；
图2为本发明实施例中一种基于光流和IMU融合的非线性估计方法的一实施例的物体、照相机、IMU和惯性世界帧的坐标关系示意图；
图3为本发明实施例中一种基于光流和IMU融合的非线性估计系统的另一实施例的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图对本发明实施例进行详细的描述。
请参阅图1，图1为本发明实施例中一种基于光流和IMU融合的非线性估计方法的一个实施例的流程示意图。如图1所示，包括：
步骤S100、获取光流，从光流中获取设备的线速度与距离的比值；
步骤S200、对光流进行分解，将分解后的光流与机载加速度计的测量值融合获取平面距离；
步骤S300、通过平面距离，获取设备的线速度；
步骤S400、计算目标估计误差收敛值；
步骤S500、根据目标估计误差收敛值及线速度进行尺度估计，生成尺度估计结果。
具体地，考虑到机器人运动，数据提取和关联是在连续的时间上，空间上也非常接近，我们设计了一种基于光流分解的方法，并用光流和IMU融合来实现运动估计，为机器人提供了一个可靠和健壮的，可安全操作的环境。本发明中的设备是指扫地机器人、移动机器人、无人机等设备。
我们设计一种基于光流和IMU融合的非线性滤波器，与经典的EKF相比，具有更快和更可控的误差收敛。该非线性滤波器能够产生一个具有完全特征化收敛行为的估计误差，可以通过适当地调整估计增益和设备运动来施加瞬态响应，最后，对比EKF可知，非线性方案在收敛速度和估计的可预测性方面具有显著的优越性。
采用了一种鲁棒的ego运动估计算法，利用平面场景中所谓的连续单应性约束，从光流中获得设备线速度v/距离d；
将光流分解与机载加速度计测量值融合来获取到平面距离d；
对比经典的扩展卡尔曼滤波(EKF)方案提出基于一种新的非线性估计框架，通过新的非线性估计框架进行非线性估计。非线性估计的具体步骤下面实施例会进行提及。
进一步地，获取光流，从光流中获取设备的线速度与距离的比值，包括：
获取光流，根据平面场景中的连续单应性约束，从光流中获取设备的线速度与距离的比值。
进一步地，根据平面场景中的连续单应性约束，从光流中获取设备的线速度与距离的比值，包括：
获取连续单应矩阵，根据IMU测量的角速度和设备运动方向获取设备的线速度与距离的比值。
具体地，ego运动估计算法如下，先是求解连续单应矩阵。具体计算如下：
从移动的摄像机上看，由于摄像机的运动，一个点
Figure BDA0002695622470000041
在空间中的速度为：
Figure BDA0002695622470000042
位于公共平面上的一组点特征方程：
nTx＝d (公式2)
Figure BDA0002695622470000043
是平面的单位法向量，d是平面到摄影机帧的正交距离。重新排列平面约束得：
Figure BDA0002695622470000044
将平面约束
Figure BDA0002695622470000045
带入，公式1变为：
Figure BDA0002695622470000046
矩阵
Figure BDA0002695622470000047
通常称为连续单应矩阵，它对摄像机的线速度/角速度(ν,ω)和场景结构(n,d)进行编码。
定义λx＝X,其中λ图像上点X的标量深度因子，带入
Figure BDA0002695622470000048
其中u是图像平面上点x的观测速度，可以得到：
Figure BDA0002695622470000051
深度因子λ可以通过左乘[x]×去掉。得到所谓的连续单应性约束：
[x]×Hx＝[x]×μ (公式5)
包括被测量的(x,μ),连续单应矩阵H。
利用IMU测量的角速度和设备运动方向求解v/d。
IMU可以直接测量角速度ωIMU,感知的光流场转为：
Figure BDA0002695622470000052
可见μ到(ν,ω)的交互矩阵。然后可得矩阵H：
Figure BDA0002695622470000053
由于n是单位法向量，||n||＝1，得到ν/d＝Hn
考虑到室内设备主要是在水平方向上运动，其法向量n与重力矢量平行，近似重力矢量n≈nIMU。把(公式7)带入(公式5):
Figure BDA0002695622470000054
nTx是已知量。让
Figure BDA0002695622470000055
可得以下方程：
Figure BDA0002695622470000056
跟踪N个特征点，得到线性系统：
Figure BDA0002695622470000057
其中：
Figure BDA0002695622470000058
可以求解ν/d＝ΓΤΔ。
进一步地，分别用B，C，I和W表示物体、照相机、I MU和惯性世界帧。假设框架B的原点位于四转子重心处，而框架C和框架I刚性连接在B上，见图2。图2中IMU(I)、摄像头(C)、主体(B)和世界帧(W)之间的相对位置。框架I、B和C相接。世界坐标系W水平定向，其z轴朝下。
Figure BDA0002695622470000059
为摄影机线速度，
Figure BDA00026956224700000510
为物体线速度。假定
Figure BDA00026956224700000511
为常数，以下关系成立:
Figure BDA00026956224700000512
Figure BDA00026956224700000513
Figure BDA00026956224700000514
Figure BDA0002695622470000061
其中：
Figure BDA0002695622470000062
——IMU的加速度
Figure BDA0002695622470000063
——摄像机的加速度
注意对于世界帧的水平方向有Ia＝If+Ig和
Figure BDA0002695622470000064
参见图2。在平面场景中Cn TCP+d＝0，有：
Figure BDA0002695622470000065
Figure BDA0002695622470000066
进一步地，根据目标估计误差收敛值进行尺度估计，生成尺度估计结果，包括：
调整估计增益和设备运动，获取调整后的估计误差，将调整后的估计误差与目标估计误差收敛值进行比较；
当调整后的估计误差与目标估计误差收敛值小于预定值时，计算尺度估计；生成尺度估计结果。
具体实施时，非线性估计方案的尺度估计中应用到了瞬态激励理论。
自动控制中瞬态激励理论具体如下：
Figure BDA0002695622470000067
由
Figure BDA0002695622470000068
D>0,P＝PT>0得：DTP+PD＝Q,withQ>0,Λ＝ΛT>0如果||Ω(t)||,
Figure BDA0002695622470000069
一致有界且满足持续激励条件，则存在T>0和γ>0满足
Figure BDA00026956224700000610
由此可见
Figure BDA00026956224700000611
是时变的，只要将非线性项嵌入矩阵Ω(t)中，就可以很容易地容纳非线性项，此外
Figure BDA00026956224700000622
是一个全局稳定的平衡点。
非线性估计误差的具体计算方法如下：
假设向量
Figure BDA00026956224700000612
分为可测分量
Figure BDA00026956224700000618
和不可测分量
Figure BDA00026956224700000619
定义估计向量
Figure BDA00026956224700000613
则估计误差：
Figure BDA00026956224700000614
由持续激励理论知估计误差
Figure BDA00026956224700000615
全局收敛到0，能从可测量值
Figure BDA00026956224700000620
推断不可测量值
Figure BDA00026956224700000621
调整估计增益和设备运动；详细说明如何调整，从定义开始：
Figure BDA00026956224700000616
Figure BDA00026956224700000617
由m＝3,ρ＝1,由扩展卡尔曼滤波原理可知，定义EKF状态向量由度量摄影机线速度和摄影机到平面场景的距离的倒数ρ＝1/d，公式如下：
Figure BDA0002695622470000071
因为IMU可直接输出加速度
Figure BDA00026956224700000721
和角速度
Figure BDA0002695622470000072
我们重写公式(14)如下：
Figure BDA0002695622470000073
Iω通常是一个复杂信号，用
Figure BDA0002695622470000074
近似，由(公式12)得动态ρ：
Figure BDA0002695622470000075
由公式23可求得动态
Figure BDA00026956224700000719
Figure BDA0002695622470000076
因此，动态
Figure BDA00026956224700000720
Figure BDA0002695622470000077
定义
Figure BDA0002695622470000078
类似于EKF忽略
Figure BDA0002695622470000079
估计状态
Figure BDA00026956224700000710
的更新规则可更新为：
Figure BDA00026956224700000711
其中D>0和Λ>0对称正定增益矩阵。
因此，动态的估计误差
Figure BDA00026956224700000712
就变为：
Figure BDA00026956224700000713
对比公式17，假设：
Figure BDA00026956224700000714
则
Figure BDA00026956224700000715
进一步地，计算目标估计误差收敛值，包括：
根据预设的恒定加速度及预设的增益，计算目标估计误差收敛值。
具体实施时，假设增益D：
Figure BDA00026956224700000716
其中
Figure BDA00026956224700000717
VT＝σ1，σ1是的Ω单数值，相应的坐标变化：
Figure BDA00026956224700000718
其中z是估计误差，σi(t)＝||Ω||≈常数，根据二阶线性动力学,得到如下方程：
Figure BDA0002695622470000081
Figure BDA0002695622470000082
一个弹簧阻尼系统，阻尼率D1，
非线性观测器预测误差收敛时间，估计误差的瞬态响应：
Figure BDA0002695622470000083
上式中非线性观测器的收敛速度是由
Figure BDA0002695622470000084
决定的，给定达到初始误差某个百分比所需的时间z(t0)，选择一个增益α，我们可以利用公式33来确定达到这一目标所需的加速标准。类似地，对于已知加速度范数和给定增益α的给定轨迹，可以确定达到所需百分比的初始估计误差所需的时间。图2给出Ω，α，收敛时间t的关系，因此，我们可以用较小的加速度和较高的增益来换取相同的(理想)收敛速度。
非线性估计计算过程：
设置恒定加速度||Ω||(本文设置
Figure BDA0002695622470000085
)；
确定线速度Ia，设定
Figure BDA0002695622470000087
对应光流分解的线速度(Cv/d)m；
选择α，由
Figure BDA0002695622470000086
算出理想估计误差收敛值(本文选择α＝12，σd≈1.025)。
本发明实施例的的基于光流和IMU融合的非线性估计方法EKF相比，非线性观测器在尺度估计误差的收敛速度方面表现出了更好的性能。
需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。
上面对本发明实施例中的基于光流和IMU融合的非线性估计方法进行了描述，下面对本发明实施例中的基于光流和IMU融合的非线性估计系统进行描述，请参阅图3，图3是本发明实施例中一种基于光流和IMU融合的非线性估计系统的另一实施例的硬件结构示意图，如图3所示，系统10包括：存储器101、处理器102及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器101执行时实现以下步骤：
获取光流，从光流中获取设备的线速度与距离的比值；
对光流进行分解，将分解后的光流与机载加速度计的测量值融合获取平面距离；
通过平面距离，获取设备的线速度；
计算目标估计误差收敛值；
根据目标估计误差收敛值及线速度进行尺度估计，生成尺度估计结果。
具体的实施步骤与方法实施例相同，此处不再赘述。
可选地，计算机程序被处理器101执行时还实现以下步骤：
获取光流，根据平面场景中的连续单应性约束，从光流中获取设备的线速度与距离的比值。
具体的实施步骤与方法实施例相同，此处不再赘述。
可选地，计算机程序被处理器101执行时还实现以下步骤：
获取连续单应矩阵，根据IMU测量的角速度和设备运动方向获取设备的线速度与距离的比值。
具体的实施步骤与方法实施例相同，此处不再赘述。
可选地，计算机程序被处理器101执行时还实现以下步骤：
调整估计增益和设备运动，获取调整后的估计误差，将调整后的估计误差与目标估计误差收敛值进行比较；
当调整后的估计误差与目标估计误差收敛值小于预定值时，计算尺度估计；生成尺度估计结果。
具体的实施步骤与方法实施例相同，此处不再赘述。
可选地，计算机程序被处理器101执行时还实现以下步骤：
根据预设的恒定加速度及预设的增益，计算目标估计误差收敛值。
具体的实施步骤与方法实施例相同，此处不再赘述。
本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤S100至步骤S500。
作为示例，非易失性存储介质能够包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦ROM(EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(RAM)。通过说明并非限制，RAM可以以诸如同步RAM(SRAM)、动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于光流和IMU融合的非线性估计方法，其特征在于，包括：
获取光流，从光流中获取设备的线速度与距离的比值；
对光流进行分解，将分解后的光流与机载加速度计的测量值融合获取平面距离；
通过平面距离，获取设备的线速度；
计算目标估计误差收敛值；
根据目标估计误差收敛值及线速度进行尺度估计，生成尺度估计结果。
2.根据权利要求1所述的基于光流和IMU融合的非线性估计方法，其特征在于，所述获取光流，从光流中获取设备的线速度与距离的比值，包括：
获取光流，根据平面场景中的连续单应性约束，从光流中获取设备的线速度与距离的比值。
3.根据权利要求2所述的基于光流和IMU融合的非线性估计方法，其特征在于，所述根据平面场景中的连续单应性约束，从光流中获取设备的线速度与距离的比值，包括：
获取连续单应矩阵，根据IMU测量的角速度和设备运动方向获取设备的线速度与距离的比值。
4.根据权利要求3所述的基于光流和IMU融合的非线性估计方法，其特征在于，所述根据目标估计误差收敛值进行尺度估计，生成尺度估计结果，包括：
调整估计增益和设备运动，获取调整后的估计误差，将调整后的估计误差与目标估计误差收敛值进行比较；
当调整后的估计误差与目标估计误差收敛值小于预定值时，计算尺度估计；生成尺度估计结果。
5.根据权利要求4所述的基于光流和IMU融合的非线性估计方法，其特征在于，所述计算目标估计误差收敛值，包括：
根据预设的恒定加速度及预设的增益，计算目标估计误差收敛值。
6.一种基于光流和IMU融合的非线性估计系统，其特征在于，所述系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下步骤：
获取光流，从光流中获取设备的线速度与距离的比值；
对光流进行分解，将分解后的光流与机载加速度计的测量值融合获取平面距离；
通过平面距离，获取设备的线速度；
计算目标估计误差收敛值；
根据目标估计误差收敛值及线速度进行尺度估计，生成尺度估计结果。
7.根据权利要求6所述的基于光流和IMU融合的非线性估计系统，其特征在于，所述计算机程序被所述处理器执行时还实现以下步骤：
获取光流，根据平面场景中的连续单应性约束，从光流中获取设备的线速度与距离的比值。
8.根据权利要求7所述的基于光流和IMU融合的非线性估计系统，其特征在于，所述计算机程序被所述处理器执行时还实现以下步骤：
获取连续单应矩阵，根据IMU测量的角速度和设备运动方向获取设备的线速度与距离的比值。
9.根据权利要求8所述的基于光流和IMU融合的非线性估计系统，其特征在于，所述计算机程序被所述处理器执行时还实现以下步骤：
调整估计增益和设备运动，获取调整后的估计误差，将调整后的估计误差与目标估计误差收敛值进行比较；
当调整后的估计误差与目标估计误差收敛值小于预定值时，计算尺度估计；生成尺度估计结果。
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-5任一项所述的基于光流和IMU融合的非线性估计方法。
CN202011005148.6A 2020-09-23 2020-09-23 一种基于光流和imu融合的非线性估计方法及系统 Pending CN112284380A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011005148.6A CN112284380A (zh) 2020-09-23 2020-09-23 一种基于光流和imu融合的非线性估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011005148.6A CN112284380A (zh) 2020-09-23 2020-09-23 一种基于光流和imu融合的非线性估计方法及系统

Publications (1)

Publication Number Publication Date
CN112284380A true CN112284380A (zh) 2021-01-29

Family

ID=74422902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011005148.6A Pending CN112284380A (zh) 2020-09-23 2020-09-23 一种基于光流和imu融合的非线性估计方法及系统

Country Status (1)

Country Link
CN (1) CN112284380A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230019731A1 (en) * 2021-07-01 2023-01-19 Naver Corporation Vehicle speed estimation systems and methods

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106981074A (zh) * 2016-01-15 2017-07-25 戴尔菲技术公司 用于估计相机相对于路面的取向的方法和装置
CN107615211A (zh) * 2015-05-23 2018-01-19 深圳市大疆创新科技有限公司 使用惯性传感器和图像传感器的传感器融合
CN109676604A (zh) * 2018-12-26 2019-04-26 清华大学 机器人曲面运动定位方法及其运动定位系统
CN109916394A (zh) * 2019-04-04 2019-06-21 山东智翼航空科技有限公司 一种融合光流位置和速度信息的组合导航算法
CN110793526A (zh) * 2019-11-18 2020-02-14 山东建筑大学 基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统
CN111024067A (zh) * 2019-12-17 2020-04-17 国汽(北京)智能网联汽车研究院有限公司 一种信息处理方法、装置、设备及计算机存储介质
CN111210477A (zh) * 2019-12-26 2020-05-29 深圳大学 一种运动目标的定位方法及系统
CN111457913A (zh) * 2019-01-22 2020-07-28 北京京东尚科信息技术有限公司 交通工具导航数据融合方法、装置和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107615211A (zh) * 2015-05-23 2018-01-19 深圳市大疆创新科技有限公司 使用惯性传感器和图像传感器的传感器融合
CN106981074A (zh) * 2016-01-15 2017-07-25 戴尔菲技术公司 用于估计相机相对于路面的取向的方法和装置
CN109676604A (zh) * 2018-12-26 2019-04-26 清华大学 机器人曲面运动定位方法及其运动定位系统
CN111457913A (zh) * 2019-01-22 2020-07-28 北京京东尚科信息技术有限公司 交通工具导航数据融合方法、装置和系统
CN109916394A (zh) * 2019-04-04 2019-06-21 山东智翼航空科技有限公司 一种融合光流位置和速度信息的组合导航算法
CN110793526A (zh) * 2019-11-18 2020-02-14 山东建筑大学 基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统
CN111024067A (zh) * 2019-12-17 2020-04-17 国汽(北京)智能网联汽车研究院有限公司 一种信息处理方法、装置、设备及计算机存储介质
CN111210477A (zh) * 2019-12-26 2020-05-29 深圳大学 一种运动目标的定位方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郝刚涛;杜小平;赵继广;宋建军;: "单目-无扫描3D激光雷达融合的非合作目标相对位姿估计", 宇航学报, vol. 36, no. 10, 30 October 2015 (2015-10-30), pages 1178 - 1186 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230019731A1 (en) * 2021-07-01 2023-01-19 Naver Corporation Vehicle speed estimation systems and methods

Similar Documents

Publication Publication Date Title
EP3679549B1 (en) Visual-inertial odometry with an event camera
JP6534664B2 (ja) カメラ動き予測及び修正のための方法
Weiss et al. Versatile distributed pose estimation and sensor self-calibration for an autonomous MAV
US20190236399A1 (en) Visual-inertial sensor fusion for navigation, localization, mapping, and 3d reconstruction
KR102442780B1 (ko) 장치의 자세 추정 방법 및 그 장치
Indelman et al. Factor graph based incremental smoothing in inertial navigation systems
US11592512B2 (en) Method for calibrating a magnetometer
US20160363460A1 (en) Orientation model for inertial devices
CN112815939B (zh) 移动机器人的位姿估计方法及计算机可读存储介质
US20220051031A1 (en) Moving object tracking method and apparatus
Tronarp et al. Sigma-point filtering for nonlinear systems with non-additive heavy-tailed noise
JP2013200162A (ja) 小型姿勢センサ
CN106813679B (zh) 运动物体的姿态估计的方法及装置
CN111076722B (zh) 基于自适应的四元数的姿态估计方法及装置
KR20210013526A (ko) 관성 위치를 사용한 지형 참조 항법을 위한 장치 및 방법
CN110793526A (zh) 基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统
RU2762143C2 (ru) Система определения курса и углового пространственного положения, выполненная с возможностью функционирования в полярной области
CN112284380A (zh) 一种基于光流和imu融合的非线性估计方法及系统
US11150090B2 (en) Machine learning zero-rate level calibration
CN112577494B (zh) 一种适用于月球车的slam方法、电子设备及存储介质
US20200293067A1 (en) State estimation
KR20180097082A (ko) 차선 유지 제어 방법 및 그 장치
KR101140379B1 (ko) 리 대수 및 칼만 필터를 이용한 자세 추정 방법 및 장치
CN110543919B (zh) 一种机器人定位控制方法、终端设备及存储介质
JP2022045269A (ja) 移動体の姿勢推定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination