CN110136168A - 一种基于特征点匹配和光流法的多旋翼速度测量方法 - Google Patents
一种基于特征点匹配和光流法的多旋翼速度测量方法 Download PDFInfo
- Publication number
- CN110136168A CN110136168A CN201910342596.6A CN201910342596A CN110136168A CN 110136168 A CN110136168 A CN 110136168A CN 201910342596 A CN201910342596 A CN 201910342596A CN 110136168 A CN110136168 A CN 110136168A
- Authority
- CN
- China
- Prior art keywords
- image
- optical flow
- light stream
- ground
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于特征点匹配和光流法的多旋翼速度测量方法,该方法步骤具体如下:步骤一:单目相机内参数离线标定;步骤二:基于相邻图像之间的运动估计;步骤三:基于视觉信息的速度估计;步骤四:基于卡尔曼滤波的速度估计。本发明方法是一种利用多旋翼机载的单目相机和其它传感器进行视觉测量的方法,不依靠额外增加设备,成本低廉,克服地面纹理简单而无法获取特征点的困难,算法鲁棒性高等优点。
Description
技术领域
本发明涉及一种基于特征点匹配和光流法的多旋翼速度测量方法,属于视觉测量领域。
背景技术
多旋翼是一类依靠旋翼旋转产生升力的无人机,具有优异的机动性能,可以垂直起降,悬停,灵活转向,因此广泛应用于航拍、遥感、农业、救援、监测、邮递等领域。对于多旋翼来说,快速且准确的获取自身速度能有效提高多旋翼控制的稳定性(提高阻尼),从而达到更好的悬停和操控效果,因此测速工作为多旋翼更广泛使用起到十分重要的作用。
目前,主要利用空速管或GPS来获取速度信息,但是一些室内或森林等无法获取GPS信号。在无GPS环境下,视觉传感器能提供比较精确的速度信息,融合惯性传感器信息可以获得比较精确的速度估计。目前视觉主要方法是利用动作捕捉系统或者人工标志点,这种方式安装复杂且对环境要求严格。因此,本专利申请提出一种基于特征点匹配和光流法的多旋翼速度测量方法,该方法不需要额外增加设备,仅利用多旋翼的机载传感器,如单目下视相机、惯性传感器、高度传感器,来实时测量机体速度,且在无GPS信号的未知环境中仍有效果。
发明内容
本发明提供了一种基于特征点匹配和光流法的多旋翼速度测量方法,它是一种在纹理丰富环境中进行特征提取和匹配,而在纹理简单的环境中利用全局光流的测速方法。利用视觉信息、惯性传感器信息、高度传感器信息,并结合多旋翼运动学模型,提出了一种基于卡尔曼滤波的融合测速算法。它解决了小型无人机无法安装空速管、在室内等未知环境中无法获取GPS信号进行速度测量的困难,不需要额外增加传感设备,方法简单便捷,测量精度高,实用性好。
本发明采用的相机模型为线性模型,即针孔成像模型,模型描述如下:
如图1所示,空间一点pe在图像平面的成像位置可以用针孔成像模型近似表示,即点pe在图像平面中的投影位置pc,为光心O与空间点pe的连线与图像平面的交点。因而世界坐标系下pe点坐标(xe,ye,ze)T与投影点pc的像素坐标(u,v)T之间的关系可以描述如下:
其中αx为u轴上的尺度因子,αy为v轴上的尺度因子,且αx=f/dx,αy=f/dy(f为焦距,dx和dy分别为u轴和v轴方向的像素尺寸);(u0,v0)是摄像机光轴与图像平面的交点,称为主点坐标。αx,αy,u0,v0只与摄像机内部参数有关,称为相机的内参数。分别为相机坐标系与世界坐标系的旋转矩阵和平移向量,称为摄像机的外部参数。
本发明中被测对象为一台多旋翼无人飞行器,要求其机载设备有单目下视相机、高度传感器和惯性传感器。本测速方法是一种实时在线估计方法,在测速之前,需要对相机进行离线标定操作,提前获取相机的内参数。整个在线测速流程见图2,主要包含以下三个部分:
1)基于相邻图像之间的运动估计
本部分的主要目的是根据相邻两帧图像之间的信息,估计帧间平移量。主要考虑两种情况:纹理丰富和纹理简单。针对纹理丰富的地面,利用FREAK二进制特征描述符提取特征点;对于纹理简单的地面,利用LK光流算法;整个过程通过构建图像金字塔来克服大运动情况,通过迭代求精算法来降低噪声影响。
2)基于视觉信息的速度估计
本部分的主要目的是利用相机模型以及视觉运动约束,根据相邻图像之间的运动情况,估计速度信息。这部分根据视觉数据直接给出多旋翼速度信息。
3)基于卡尔曼滤波的速度估计
本部分的主要目的是利用卡尔曼滤波算法,融合视觉运动信息、惯性传感器信息以及高度传感器信息,并结合多旋翼运动学模型,估计多旋翼实时的速度信息,利用卡尔曼滤波可以有效地减小噪声影响,且在视觉信息短暂丢失的情况下滤波器仍能发挥作用,保证实时性。
本发明提出了一种基于特征点匹配和光流法的多旋翼速度测量方法,其实现步骤具体如下:
步骤一:单目相机内参数离线标定
在具体实现过程中,本发明利用二维棋盘格标定板(如图3)作为靶标,固定单目相机,在相机视场内多角度移动靶标,保证整个靶标尽量占满图片。这样就可以得到图片序列(至少13张),接下来,直接利用MATLAB R2017a自带的相机标定工具箱,根据工具箱界面依次导入图片序列,然后进行标定,获取最终标定结果,我们需要标定的是相机的内参数αx,αy,u0,v0。
步骤二:基于相邻图像之间的运动估计
本步骤是利用相邻图像数据,来估计全局光流(表征图像中像素的整体运动情况),分为两种情况,一种是地面有丰富纹理(比如有花纹的地毯,此时地面特征点容易提取并匹配),另一种是地面只有简单纹理(比如光滑地板,此时地面特征点较难提取并匹配)。具体操作如下:
S21、对于丰富纹理的地面
针对相邻帧图像I1,I2,首先分别提取特征角点并计算其FREAK描述子,接着利用最近邻原则在两帧图像中匹配特征角点,最后利用RANSAC算法剔除野点,最终得到N对匹配点对则丰富纹理地面的全局光流可以计算如下:
其中,函数median()是MATLAB中用来获取给定数组的中位数。
S22、对于简单纹理的地面
本部分利用LK光流、迭代求精和图像金字塔原理,估计图像仿射运动模型参数,进而估计全局光流。
S221、给定两帧相邻图像,可以粗略估计出其LK光流,具体过程如下:
S2211、针对相邻帧图像I1,I2,分别计算当前图像每个像素(x,y)的灰度相对于时间、空间上的偏导数Iu(x,y),Iv(x,y),It(x,y)如下(为方便以下简写为Iu,Iv,It):
其中符号是卷积操作。
S2212、利用最小二乘法求解方程:
[Iu Iux Iuy Iv Ivx Ivy]a=-It (4)
其中a=[a1 a2 a3 a4 a5 a6]T为待求解的仿射运动参数。
S2213、根据步骤S2212求解的运动参数,直接给出当前图像中每个像素(x,y)的光流表达式:
S222、为了进一步提高精度,设计迭代求精算法,根据步骤S221估计出的LK光流值对图像进行扭转操作(MATLAB中的warp函数),然后再进一步求取LK光流,由粗到精,经过三次迭代后确定光流值。具体方法见图4所示。
S223、针对简单纹理环境,还增加了图像金字塔,来克服飞行器作快速大运动的情况所带来的跟踪困难,最终全局光流的计算方法见图5,具体如下:
S2231、针对相邻图像I1,I2,分别获取其三层图像金字塔。金字塔图像分辨率成倍数缩小,即金字塔最底层(第0层)分辨率是图像原始分辨率u_0,v_0;第一层是最底层分辨率的1/2,第二层是最底层分辨率的1/4,第三层是最底层分辨率的1/8。
S2232、针对I1,I2的第三层金字塔图像,根据步骤S222的迭代求精得到光流估计值
S2233、利用所述的光流估计值对图像I1的第二层金字塔图像进行扭转操作,得到的扭转后图像与图像I2的第二层金字塔图像进行迭代求精操作,得到光流估计值
S2234、利用所述的的光流估计值对图像I1的第一层金字塔图像进行扭转操作,得到的扭转后图像与I2的第一层金字塔图像进行迭代求精操作,得到光流估计值
S2235、得到简单纹理地面的最终全局光流估计
步骤三:基于视觉信息的速度估计
根据步骤S21在丰富纹理地面得到的全局光流以及步骤S22在简单纹理地面最终得到的全局光流,假定pk-1,pk为相邻两帧像素点,其中当前帧像素点pk为中心像素坐标,上一帧对应像素点根据所述两个全局光流获得,即有
接着根据标定的相机内参数,得到对应的归一化坐标
最后,直接给出基于视觉信息的速度估计
其中,为根据视觉直接得到的飞行器速度估计值,为高度传感器的读数,为三维单位矩阵,e3=[0 0 1]T,δt=0.05s为相邻图像时间间隔,为陀螺仪测得的三维角速度,直接由公式(8)得出,为旋转矩阵,直接由多旋翼的欧拉角得出:
其中,θ,φ,ψ分别是多旋翼的俯仰角、滚转角和偏航角。
步骤四:基于卡尔曼滤波的速度估计
S41、构建系统的状态变量、过程模型和观测模型。
状态变量:
其中,vk为待测三维速度,zk为飞行器z轴方向的高度值,ba为三维加速度偏移。
过程模型:
xk=Axk-1+uk-1+wk (12)
其中,为系统转移矩阵,为控制输入,为系统噪声,表征系统模型的不确定性,它们有如下表达式
其中,ax,ay,az分别为加速度计读数。噪声wk假设为高斯白噪声,其噪声方差阵为为对角阵。
观测模型:
zk=Hxk+vk (14)
其中,观测量包括步骤三中通过视觉信息得到的水平速度以及高度传感器测得的高度。为观测转移矩阵,为观测噪声,表征观测量的不确定性,假设vk为高斯白噪声,其噪声方差阵为它们的表达式如下
S42、滤波初始化
令状态初值为:
x0=[vc dsonarcosθcosφ 03×1]T (16)
其中,vc=[vx vy vz]T为公式(9)给出的初始视觉速度,高度初值由高度传感器给出,
其中dsonar为高度传感器读数,加速度偏移初值设为零。
令状态估计误差协方差初值为对角矩阵:
令k=0,P0|0=P0。
S43、状态一步预测
S44、误差协方差一步预测
Pk|k-1=APk-1|k-1AT+Qk-1 (19)
S45、卡尔曼滤波增益更新
Kk=Pk|k-1HT(HPk|k-1HT+Rk)-1 (20)
S46、状态更新校正
S47、误差协方差更新校正
Pk|k=(I7-KkH)Pk|k-1 (22)
S48、k=k+1,返回步骤S43继续运行。
至此,卡尔曼滤波器不断迭代递推,就可以实时估计出飞行器的速度。
本发明提出的基于特征点匹配和光流法的多旋翼速度测量方法,是一种利用多旋翼机载的单目相机和其它传感器进行视觉测量的方法,不依靠额外增加设备,成本低廉,克服地面纹理简单而无法获取特征点的困难,算法鲁棒性高等优点。
附图说明
图1是相机针孔成像模型示意图;
图2是本发明在线测速流程图;
图3是相机标定所用的二维棋盘格靶标示意图;
图4是迭代求精算法示意图;
图5是基于相邻图像进行运动估计流程图
图6a、b是本发明方法与Guidance参考方法的水平速度估计值对比图
图中符号说明如下:
图1中的符号说明:O表示摄像机光心,OI表示图像坐标系原点。(u,v)表示图像坐标系的坐标轴,(Xc,Yc,Zc)表示摄像机坐标系的坐标轴。pe(xe,ye,ze)表示三维点在摄像机坐标系下的坐标,pc(u,v)表示点pe(xe,ye,ze)在图像上的投影。
图4中的符号说明:I1,I2表示相邻帧图像,LK表示直接由LK光流计算方法(公式(3)-(5)),WARP表示图像扭转操作,ui,vi,i=1,2,3表示LK光流,Tu,Tv表示全局光流。
图5中的符号说明:I1,I2表示相邻帧图像在不同层下的金字塔图像,W表示图像扭转操作,表示每一层金字塔图像进行迭代求精运算后的光流,Tu,Tv表示全局光流。
具体实施方式
以下结合附图和实施例,对本发明的技术方案做进一步的说明。
一种基于特征点匹配和光流法的多旋翼速度测量方法,其实现步骤具体如下:
步骤一:单目相机内参数离线标定
在具体实现过程中,本发明利用二维棋盘格标定板(如图3)作为靶标,固定单目相机,在相机视场内多角度移动靶标,保证整个靶标尽量占满图片。这样就可以得到图片序列(至少13张),接下来,直接利用MATLAB R2017a自带的相机标定工具箱,根据工具箱界面依次导入图片序列,然后进行标定,获取最终标定结果,我们需要标定的是相机的内参数αx,αy,u0,v0。
步骤二:基于相邻图像之间的运动估计
本步骤是利用相邻图像数据,来估计全局光流(表征图像中像素的整体运动情况),分为两种情况,一种是地面有丰富纹理(比如有花纹的地毯,此时地面特征点容易提取并匹配),另一种是地面只有简单纹理(比如光滑地板,此时地面特征点较难提取并匹配)。具体操作如下:
S21、对于丰富纹理的地面
针对相邻帧图像I1,I2,首先分别提取特征角点并计算其FREAK描述子,接着利用最近邻原则在两帧图像中匹配特征角点,最后利用RANSAC算法剔除野点,最终得到N对匹配点对则丰富纹理地面的全局光流可以计算如下:
其中,函数median()是MATLAB中用来获取给定数组的中位数。
S22、对于简单纹理的地面
本部分利用LK光流、迭代求精和图像金字塔原理,估计图像仿射运动模型参数,进而估计全局光流。
S221、给定两帧相邻图像,可以粗略估计出其LK光流,具体过程如下:
S2211、针对相邻帧图像I1,I2,分别计算当前图像每个像素(x,y)的灰度相对于时间、空间上的偏导数Iu(x,y),Iv(x,y),It(x,y)如下(为方便以下简写为Iu,Iv,It):
其中符号是卷积操作。
S2212、利用最小二乘法求解方程:
[Iu Iux Iuy Iv Ivx Ivy]a=-It (4)
其中a=[a1 a2 a3 a4 a5 a6]T为待求解的仿射运动参数。
S2213、根据步骤S2212求解的运动参数,直接给出当前图像中每个像素(x,y)的光流表达式:
S222、为了进一步提高精度,设计迭代求精算法,根据步骤S221估计出的LK光流值对图像进行扭转操作(MATLAB中的warp函数),然后再进一步求取LK光流(即利用公式(3)~公式(5)),由粗到精,经过三次迭代后确定光流值。具体方法见图4所示。
S223、针对简单纹理环境,还增加了图像金字塔,来克服飞行器作快速大运动的情况所带来的跟踪困难,最终全局光流的计算方法见图5,具体如下:
S2231、针对相邻图像I1,I2,分别获取其三层图像金字塔。金字塔图像分辨率成倍数缩小,即金字塔最底层(第0层)分辨率是图像原始分辨率u_0,v_0;第一层是最底层分辨率的1/2,第二层是最底层分辨率的1/4,第三层是最底层分辨率的1/8。本发明实施例当原始图像的分辨率为240*320时,其第一层图像分辨率为120*160,第二层图像分辨率为60*80,第三层图像分辨率为30*40。
S2232、针对I1,I2的第三层金字塔图像(分辨率30*40),根据步骤S222的迭代求精得到光流估计值
S2233、利用所述的光流估计值对图像I1的第二层金字塔图像(分辨率60*80)进行扭转操作,得到的扭转后图像与图像I2的第二层金字塔图像(分辨率60*80)进行迭代求精操作,得到光流估计值
S2234、利用所述的的光流估计值对图像I1的第一层金字塔图像(分辨率120*160)进行扭转操作,得到的扭转后图像与I2的第一层金字塔图像(分辨率120*160)进行迭代求精操作,得到光流估计值
S2235、得到简单纹理地面的最终全局光流估计
步骤三:基于视觉信息的速度估计
根据步骤S21在丰富纹理地面得到的全局光流以及步骤S22在简单纹理地面最终得到的全局光流,假定pk-1,pk为相邻两帧像素点,其中当前帧像素点pk为中心像素坐标,上一帧对应像素点根据所述两个全局光流获得,即有
接着根据标定的相机内参数,得到对应的归一化坐标
最后,直接给出基于视觉信息的速度估计
其中,为根据视觉直接得到的飞行器速度估计值,为高度传感器的读数,为三维单位矩阵,e3=[0 0 1]T,δt=0.05s为相邻图像时间间隔,为陀螺仪测得的三维角速度,直接由公式(8)得出,Rk-1,为旋转矩阵,直接由多旋翼的欧拉角得出:
其中,θ,φ,ψ分别是多旋翼的俯仰角、滚转角和偏航角。
步骤四:基于卡尔曼滤波的速度估计
S41、构建系统的状态变量、过程模型和观测模型。
状态变量:
其中,vk为待测三维速度,zk为飞行器z轴方向的高度值,ba为三维加速度偏移。
过程模型:
xk=Axk-1+uk-1+wk (12)
其中,为系统转移矩阵,为控制输入,为系统噪声,表征系统模型的不确定性,它们有如下表达式
其中,ax,ay,az分别为加速度计读数。噪声wk假设为高斯白噪声,其噪声方差阵为为对角阵。
观测模型:
zk=Hxk+vk (14)
其中,观测量包括步骤三中通过视觉信息得到的水平速度以及高度传感器测得的高度。为观测转移矩阵,为观测噪声,表征观测量的不确定性,假设vk为高斯白噪声,其噪声方差阵为它们的表达式如下
S42、滤波初始化
令状态初值为:
x0=[vc dsonarcosθcosφ 03×1]T (16)
其中,vc=[vx vy vz]T为公式(9)给出的初始视觉速度,高度初值由高度传感器给出,
其中dsonar为高度传感器读数,加速度偏移初值设为零。
令状态估计误差协方差初值为对角矩阵:
令k=0,P0|0=P0。
S43、状态一步预测
S44、误差协方差一步预测
Pk|k-1=APk-1|k-1AT+Qk-1 (19)
S45、卡尔曼滤波增益更新
Kk=Pk|k-1H T(HPk|k-1HT+Rk)-1 (20)
S46、状态更新校正
S47、误差协方差更新校正
Pk|k=(I7-KkH)Pk|k-1 (22)
S48、k=k+1,返回步骤S43继续运行。
至此,卡尔曼滤波器不断迭代递推,就可以实时估计出飞行器的速度。
实施例:
本发明提出了一种基于特征点匹配和光流法的多旋翼速度测量方法,并以大疆公司的Matrix 100四轴旋翼飞行器以及Guidance视觉感知模块进行真实实验。
首先我们需要进行相机内参数离线标定操作。由于大疆公司提供的Guidance视觉感知模块是五块双目相机和超声波传感模块,我们只需要安装一个下视相机,针对其中左侧相机取图,进行标定操作。我们采用的棋盘格靶标如图3所示,规格为6×9,每个格子的长度为29.5mm。Guidance相机的分辨率设置为320×240像素,标定得到的内参数为:
αx=334.4204,αy=333.4688,u0=149.4593,v0=114.9624
接着,我们直接按照步骤二到步骤四的操作,对多旋翼飞行速度实时测量,并与Guidance内部直接提供的水平速度值进行对比,结果如图6a、b所示,可以看出,我们提出的测量方法能够准确地估计速度值。同时,我们控制四轴旋翼飞行器飞行一个回环,保证起飞点和降落点相同。我们利用本发明的方法估计的速度以及Guidance自身提供的水平速度,分别对它们积分,得到整个轨迹长度,然后得到起飞点与降落点的水平位置误差值,最终对比结果如表1,为水平位置估计误差值(单位:米)。结果表明,本发明方法能够较好地估计飞行速度值。
实验场景 | 本发明方法 | Guidance参考方法 |
室内悬停 | 0.0150 | 0.2475 |
室内飞行 | 0.0032 | 0.1875 |
室外悬停 | 0.3543 | 0.1930 |
室外飞行 | 0.5100 | 0.5575 |
表1。
Claims (4)
1.一种基于特征点匹配和光流法的多旋翼速度测量方法,其特征在于:该方法步骤具体如下:
步骤一:单目相机内参数离线标定
步骤二:基于相邻图像之间的运动估计
利用相邻图像数据,来估计全局光流,分为两种情况,一种是地面有丰富纹理,另一种是地面只有简单纹理;具体操作如下:
S21、对于丰富纹理的地面
针对相邻帧图像I1,I2,首先分别提取特征角点并计算其FREAK描述子,接着利用最近邻原则在两帧图像中匹配特征角点,最后利用RANSAC算法剔除野点,最终得到N对匹配点对则丰富纹理地面的全局光流可以计算如下:
其中,函数median()是MATLAB中用来获取给定数组的中位数;
S22、对于简单纹理的地面
利用LK光流、迭代求精和图像金字塔原理,估计图像仿射运动模型参数,进而估计全局光流;
步骤三:基于视觉信息的速度估计
根据步骤S21在丰富纹理地面得到的全局光流以及步骤S22在简单纹理地面最终得到的全局光流,假定pk-1,pk为相邻两帧像素点,其中当前帧像素点pk为中心像素坐标,上一帧对应像素点根据所述两个全局光流获得,即有
接着根据标定的相机内参数,得到对应的归一化坐标
最后,直接给出基于视觉信息的速度估计
其中,为根据视觉直接得到的飞行器速度估计值,为高度传感器的读数,为三维单位矩阵,e3=[0 0 1]T,δt=0.05s为相邻图像时间间隔,为陀螺仪测得的三维角速度,直接由公式(8)得出,为旋转矩阵,直接由多旋翼的欧拉角得出:
其中,θ,φ,ψ分别是多旋翼的俯仰角、滚转角和偏航角;
步骤四:基于卡尔曼滤波的速度估计
S41、构建系统的状态变量、过程模型和观测模型;
状态变量:
其中,vk为待测三维速度,zk为飞行器z轴方向的高度值,ba为三维加速度偏移;
过程模型:
xk=Axk-1+uk-1+wk (12)
其中,为系统转移矩阵,为控制输入,为系统噪声,表征系统模型的不确定性,它们有如下表达式
其中,ax,ay,az分别为加速度计读数;噪声wk假设为高斯白噪声,其噪声方差阵为为对角阵;
观测模型:
zk=Hxk+vk (14)
其中,观测量包括步骤三中通过视觉信息得到的水平速度以及高度传感器测得的高度;为观测转移矩阵,为观测噪声,表征观测量的不确定性,假设vk为高斯白噪声,其噪声方差阵为它们的表达式如下
S42、滤波初始化
令状态初值为:
x0=[vc dsonarcosθcosφ 03×1]T (16)
其中,vc=[vx vy vz]T为公式(9)给出的初始视觉速度,高度初值由高度传感器给出,其中dsonar为高度传感器读数,加速度偏移初值设为零;
令状态估计误差协方差初值为对角矩阵:
令k=0,P0|0=P0;
S43、状态一步预测
S44、误差协方差一步预测
Pk|k-1=APk-1|k-1AT+Qk-1 (19)
S45、卡尔曼滤波增益更新
Kk=Pk|k-1HT(HPk|k-1HT+Rk)-1 (20)
S46、状态更新校正
S47、误差协方差更新校正
Pk|k=(I7-KkH)Pk|k-1 (22)
S48、k=k+1,返回步骤S43继续运行;
至此,卡尔曼滤波器不断迭代递推,就可以实时估计出飞行器的速度。
2.根据权利要求1所述的一种基于特征点匹配和光流法的多旋翼速度测量方法,其特征在于:所述步骤S22对于简单纹理的地面,估计全局光流的具体方法如下:
S221、给定两帧相邻图像,粗略估计出其LK光流;
S222、为进一步提高精度,设计迭代求精算法,根据步骤S221估计出的LK光流值对图像进行扭转操作,然后再进一步求取LK光流,由粗到精,经过三次迭代后确定光流值;
S223、针对简单纹理环境,还增加了图像金字塔,克服飞行器作快速大运动的情况所带来的跟踪困难。
3.根据权利要求2所述的一种基于特征点匹配和光流法的多旋翼速度测量方法,其特征在于:所述步骤S221的具体过程如下:
S2211、针对相邻帧图像I1,I2,分别计算当前图像每个像素(x,y)的灰度相对于时间、空间上的偏导数Iu(x,y),Iv(x,y),It(x,y)如下,为方便以下简写为Iu,Iv,It:
其中符号是卷积操作;
S2212、利用最小二乘法求解方程:
[Iu Iux Iuy Iv Ivx Ivy]a=-It (4)
其中a=[a1 a2 a3 a4 a5 a6]T为待求解的仿射运动参数;
S2213、根据步骤S2212求解的运动参数,直接给出当前图像中每个像素(x,y)的光流表达式:
4.根据权利要求2所述的一种基于特征点匹配和光流法的多旋翼速度测量方法,其特征在于:所述步骤S223具体过程如下:
S2231、针对相邻图像I1,I2,分别获取其三层图像金字塔;金字塔图像分辨率成倍数缩小,即金字塔最底层分辨率是图像原始分辨率u_0,v_0;第一层是最底层分辨率的1/2,第二层是最底层分辨率的1/4,第三层是最底层分辨率的1/8;
S2232、针对I1,I2的第三层金字塔图像,根据步骤S222的迭代求精得到光流估计值
S2233、利用所述的光流估计值对图像I1的第二层金字塔图像进行扭转操作,得到的扭转后图像与图像I2的第二层金字塔图像进行迭代求精操作,得到光流估计值
S2234、利用所述的的光流估计值对图像I1的第一层金字塔图像进行扭转操作,得到的扭转后图像与I2的第一层金字塔图像进行迭代求精操作,得到光流估计值
S2235、得到简单纹理地面的最终全局光流估计
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910342596.6A CN110136168B (zh) | 2019-04-26 | 2019-04-26 | 一种基于特征点匹配和光流法的多旋翼速度测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910342596.6A CN110136168B (zh) | 2019-04-26 | 2019-04-26 | 一种基于特征点匹配和光流法的多旋翼速度测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110136168A true CN110136168A (zh) | 2019-08-16 |
CN110136168B CN110136168B (zh) | 2021-06-18 |
Family
ID=67575132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910342596.6A Active CN110136168B (zh) | 2019-04-26 | 2019-04-26 | 一种基于特征点匹配和光流法的多旋翼速度测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110136168B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111609868A (zh) * | 2020-05-29 | 2020-09-01 | 电子科技大学 | 一种基于改进光流法的视觉惯性里程计方法 |
CN113125791A (zh) * | 2019-12-30 | 2021-07-16 | 南京智能情资创新科技研究院有限公司 | 一种基于特征物体和光流法的运动相机测速方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104966045A (zh) * | 2015-04-02 | 2015-10-07 | 北京天睿空间科技有限公司 | 一种基于视频的飞机进出泊位自动检测方法 |
CN106570861A (zh) * | 2016-10-25 | 2017-04-19 | 深圳市高巨创新科技开发有限公司 | 一种无人机的光流测速方法及系统 |
US9696404B1 (en) * | 2014-05-06 | 2017-07-04 | The United States Of America As Represented By The Secretary Of The Air Force | Real-time camera tracking system using optical flow feature points |
CN108204812A (zh) * | 2016-12-16 | 2018-06-26 | 中国航天科工飞航技术研究院 | 一种无人机速度估计方法 |
US10089549B1 (en) * | 2015-08-27 | 2018-10-02 | Hrl Laboratories, Llc | Valley search method for estimating ego-motion of a camera from videos |
CN109376785A (zh) * | 2018-10-31 | 2019-02-22 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
-
2019
- 2019-04-26 CN CN201910342596.6A patent/CN110136168B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9696404B1 (en) * | 2014-05-06 | 2017-07-04 | The United States Of America As Represented By The Secretary Of The Air Force | Real-time camera tracking system using optical flow feature points |
CN104966045A (zh) * | 2015-04-02 | 2015-10-07 | 北京天睿空间科技有限公司 | 一种基于视频的飞机进出泊位自动检测方法 |
US10089549B1 (en) * | 2015-08-27 | 2018-10-02 | Hrl Laboratories, Llc | Valley search method for estimating ego-motion of a camera from videos |
CN106570861A (zh) * | 2016-10-25 | 2017-04-19 | 深圳市高巨创新科技开发有限公司 | 一种无人机的光流测速方法及系统 |
CN108204812A (zh) * | 2016-12-16 | 2018-06-26 | 中国航天科工飞航技术研究院 | 一种无人机速度估计方法 |
CN109376785A (zh) * | 2018-10-31 | 2019-02-22 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113125791A (zh) * | 2019-12-30 | 2021-07-16 | 南京智能情资创新科技研究院有限公司 | 一种基于特征物体和光流法的运动相机测速方法 |
CN113125791B (zh) * | 2019-12-30 | 2023-10-20 | 南京智能情资创新科技研究院有限公司 | 一种基于特征物体和光流法的运动相机测速方法 |
CN111609868A (zh) * | 2020-05-29 | 2020-09-01 | 电子科技大学 | 一种基于改进光流法的视觉惯性里程计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110136168B (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108351654B (zh) | 用于视觉目标跟踪的系统和方法 | |
Kong et al. | Autonomous landing of an UAV with a ground-based actuated infrared stereo vision system | |
CN106989744A (zh) | 一种融合机载多传感器的旋翼无人机自主定位方法 | |
CN110221603A (zh) | 一种基于激光雷达多帧点云融合的远距离障碍物检测方法 | |
CN110058602A (zh) | 基于深度视觉的多旋翼无人机自主定位方法 | |
Meingast et al. | Vision based terrain recovery for landing unmanned aerial vehicles | |
CN107850436A (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
Mondragón et al. | Omnidirectional vision applied to Unmanned Aerial Vehicles (UAVs) attitude and heading estimation | |
CN107390704B (zh) | 一种基于imu姿态补偿的多旋翼无人机光流悬停方法 | |
CN107615211A (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
US20130027555A1 (en) | Method and Apparatus for Processing Aerial Imagery with Camera Location and Orientation for Simulating Smooth Video Flyby | |
CN107850901A (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
CN107209854A (zh) | 用于支持顺畅的目标跟随的系统和方法 | |
CN111288989B (zh) | 一种小型无人机视觉定位方法 | |
CN110865650B (zh) | 基于主动视觉的无人机位姿自适应估计方法 | |
CN107850899A (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
Dijkshoorn et al. | Integrating sensor and motion models to localize an autonomous ar. drone | |
CN107831776A (zh) | 基于九轴惯性传感器的无人机自主返航方法 | |
CN110108894A (zh) | 一种基于相位相关和光流法的多旋翼速度测量方法 | |
CN110136168A (zh) | 一种基于特征点匹配和光流法的多旋翼速度测量方法 | |
Hinzmann et al. | Flexible stereo: constrained, non-rigid, wide-baseline stereo vision for fixed-wing aerial platforms | |
Wang et al. | Monocular vision and IMU based navigation for a small unmanned helicopter | |
Kehoe et al. | State estimation using optical flow from parallax-weighted feature tracking | |
Dong et al. | An autonomous navigation scheme for UAV in approach phase | |
CN108227734A (zh) | 用于控制无人机的电子控制装置、相关的无人机、控制方法及计算机程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |