CN109782012A - 一种基于光电图像特征关联的测速方法 - Google Patents

Abstract

本发明提供了一种基于光电图像特征关联的测速方法，利用光电设备获取连续两帧光电图像，对前一帧图像和后一帧图像分别进行点特征、线特征检测，同时将特征检测结果进行判断，提取景象特征；将前一帧图像和后一帧图像进行景象特征关联，根据特征关联结果，获取前后两帧图像关联特征的像素坐标值，计算得到景象特征像素位移矢量；剔除前后两帧图像特征关联得到的像素位移矢量中大于设定阈值的像素位移矢量；根据载体飞行高度、单个像素代表地面景象尺度、前后帧图像时间间隔，将像素位移矢量转为载体对地速度。本发明利用光电图像特征关联，减少大量计算量，缩短了计算时间，具有较好实时性。

Description

一种基于光电图像特征关联的测速方法

技术领域

本发明涉及一种对地速度测量方法，属于光电测速领域，可用于无人机等各类飞行平台的光电图像测速。

背景技术

在载体导航过程中载体运动速度是一种重要的导航信息，无人机等各类平台在低空飞行时利用各类传感器获取载体速度信息，目前获取速度信息比较常用的传感器有惯性导航传感器、卫星导航传感器、多普勒测速传感器等。

惯性导航传感器主要是利用陀螺、加速度计等惯性元件感受载体在运动中的加速度，然后通过积分运算，得到载体的位置和速度等导航信息。惯性导航传感器提供的位置和速度精度随着时间积累而变差，提供高精度位置和速度等导航信息的惯性导航传感器一般研制制造周期长，价格昂贵，体积较大。

卫星导航传感器测速方法大致分为单点测速和差分测速。单点测速利用卫星接收机进行单点定位模式获得载体速度。差分测速利用基准站提供的误差改正信息对速度校正，以获得较高精度速度。

多普勒测速传感器是利用多普勒效应，通过测取多普勒频移获得运载体的运动速度，多普勒测速过程中容易受到很多因素影响。

无人机等平台在低空飞行时，卫星导航在本质上属于无线电导航，抗干扰能力较差，在丛林和城市等地形下卫星信号容易丢失，惯性导航是一种推算式导航，其误差会随时间而积累，多普勒测速容易受到干扰而影响精度。无人机因其负载能力较小使得可携带的传感器种类和功能非常有限，目前无人机一般搭载相机传感器对地面目标及其周围环境进行观测成像，在不增加负载情况下利用相机传感器就可以得到载体的速度信息非常有意义。

利用相机传感器得到载体速度信息的基本原理是利用相机传感器获取序列图像，在两幅有重叠地面景象的图像中，根据同一地面景象在前后帧图像位置计算出载体移动距离，已知两幅图像时间间隔后便可以计算出载体速度。目前常用的图像测速方法是光流测速方法。

将图像中的每个像素与速度关联，也就是像素在连续两帧之间的位移关联，通过前后序列图像，地面景象在成像平面上像素运动的瞬时速度就形成光流场。光流测速方法是对图像序列进行连续而直接的处理，通过建立像素点光流场模型求解物体的运动参数。详细的光流测速原理如下：

假设f(x，y，t)为t时刻地面景象图像，在t+Δt时刻，载体运动到新的位置得到此时地面景象图像为f(x+Δx，y+Δy，t+Δt)，根据图像一致性假设，当Δt→0时，图像沿着运动方向的亮度保持不变，即f(x，y，t)＝f(x+Δx，y+Δy，t+Δt)。

如果图像灰度缓慢变化，进行泰勒级数展开得到

进一步可以得到光流矢量的梯度约束方程

其中，I_x是参考像素点的灰度值沿x方向的偏导数，I_y是参考像素点的灰度值沿y方向的偏导数，I_t是参考像素点的灰度值沿t方向的偏导数，(u，v)^T即光流矢量。u，v分别为该点光流矢量沿x和y方向的两个分量，即

u＝dx/dt

v＝dy/dt

梯度约束方程限定了I_x、I_y、I_t与光流矢量的关系，但是该方程的两个分量u，v并非唯一解，一般需要增加约束条件，通过一系列迭代数学运算，就可以得到光流场，进一步就可以得到速度场。

根据光流计算的约束条件，可以分为全局光流法和局部光流法。前者代表是Horn-Schunck(HS)方法及其衍生方法，后者代表是Lucas-Kanade(LK)方法及其衍生方法。全局光流需要计算图像中每一个像素的光流，计算量大，在图像局部受到干扰时误差会传播。局部光流算法只需计算图像中的部分特征点的光流，复杂度小，抗干扰能力强。

不管全局光流法还是局部光流法，要求相邻两帧图像之间亮度恒定，并且同一子图像的像素点具有相同运动，在实际飞行过程中，场景复杂多变使得光流计算比较耗时，因此算法不具备很好的实时性。

发明内容

为了克服现有技术的不足，本发明提供一种基于光电图像特征关联的测速方法。

本发明解决其技术问题所采用的技术方案包括以下步骤：

(1)利用光电设备获取连续两帧光电图像，确保连续两帧光电图像存在相同的地面景象，将连续获取的前后两帧光电图像分别称为前一帧图像和后一帧图像；

(2)对前一帧图像和后一帧图像分别进行点特征、线特征检测，同时将特征检测结果进行判断，提取景象特征；

(3)将前一帧图像和后一帧图像进行景象特征关联，即将前一帧图像中的景象特征与后一帧图像中的景象特征进行一一对应；

(4)根据特征关联结果，获取前后两帧图像关联特征的像素坐标值，以前一帧图像关联特征的像素坐标为起点，后一帧图像关联特征的像素坐标为终点，计算得到景象特征像素位移矢量；

(5)剔除前后两帧图像特征关联得到的像素位移矢量中大于设定阈值的像素位移矢量；

(6)根据载体飞行高度、单个像素代表地面景象尺度、前后帧图像时间间隔，将像素位移矢量转为载体对地速度。

本发明的有益效果是：利用光电图像特征关联，减少大量计算量，缩短了计算时间，具有较好实时性。

附图说明

图1为光电图像测速原理示意图；

图2为获取的地面图像，其中图2(a)为图像f(x，y，t)，图2(b)为图像f(x+Δx，y+Δy，t+Δt)；

图3为图像特征提取结果，其中图3(a)为图像f(x，y，t)特征提取结果，图3(b)为图像f(x+Δx，y+Δy，t+Δt)特征提取结果；

图4为图像特征关联结果；

图5为特征像素位移矢量图；

图6为剔除异常值后的图像像素位移矢量图；

图7是本发明的方法流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明的具体步骤如下：

(1)光电图像获取：利用光电设备获取连续两帧光电图像，确保连续两帧光电图像存在相同的地面景象，将连续获取的前后两帧光电图像分别称为前一帧图像和后一帧图像；

(2)景象特征检测提取：对前一帧图像和后一帧图像分别进行点特征、线特征检测，同时将特征检测结果进行判断，提取具有一定意义的景象特征；

(3)景象特征关联：将前一帧图像和后一帧图像进行景象特征关联，即将前一帧图像中的景象特征与后一帧图像中的景象特征进行一一对应；

(4)特征像素位移矢量计算：根据特征关联结果，获取前后两帧图像关联特征的像素坐标值，以前一帧图像关联特征的像素坐标为起点，后一帧图像关联特征的像素坐标为终点，计算得到景象特征像素位移矢量；

(5)特征像素位移矢量异常值剔除：前后两帧图像特征关联得到的像素位移矢量并非全部表示实际载体位移，需要剔除偏差较大的位移矢量；

(6)载体对地速度计算：根据载体飞行高度、单个像素代表地面景象尺度、前后帧图像时间间隔，将像素位移矢量转为载体对地速度。

本发明利用光电图像特征关联进行载体对地速度测量，光电设备连续获取两帧地面景象图像，然后对两帧图像分别进行点特征、线特征检测，将特征检测结果进行判断，提取具有一定意义的景象特征，并将前后两帧图像特征一一对应得到景象特征位移矢量，剔除异常位移矢量后根据光电设备参数计算出载体对地速度。具体实施步骤如下：

(1)光电图像获取：参照图1，搭载光电设备的无人机载体在t时刻A位置获取地面景象图像f(x，y，t)，在t+Δt时刻B位置获取地面景象图像f(x+Δx，y+Δy，t+Δt)，在A、B位置获取的地面景象区域分别用实线框和虚线框标记，连续两帧光电图像存在相同的地面景象区域。在A位置获取的地面图像f(x，y，t)如图2(a)所示，在B位置获取的地面图像f(x+Δx，y+Δy，t+Δt)如图2(b)所示。

(2)景象特征检测提取：对图像f(x，y，t)进行点特征、线特征检测，其中点特征检测选用二值化方法，线特征检测选用Canny方法，确定图像特征点的位置、方向、尺度等信息，生成局部特征点描述。

图像f(x，y)在点(x，y)的梯度值计算公式为

图像f(x，y)在点(x，y)的梯度方向计算公式为θ(x，y)＝tan-1((f(x，y+1)-f(x，y-1))/(f(x+1，y)-f(x-1，y)))

将检测的特征结果进行判断，提取具有一定意义的景象特征。

对图像f(x+Δx，y+Δy，t+Δt)进行同样的特征检测提取。

本发明提供的特征提取结果参照图3，其中图3(a)为图像f(x，y，t)的特征，图3(b)为图像f(x+Δx，y+Δy，t+Δt)的特征。

(3)景象特征关联：设定图像f(x，y，t)的特征点集合为P_t＝{p₁，p₂，...，p_m}，设定图像f(x+Δx，y+Δy，t+Δt)特征点集合为P_t+Δt＝{P′₁，P′₂，...，P′_n}，根据欧式距离、最近/次近邻法则，对于图像f(x，y，t)的每一个特征点p_i，从图像f(x+Δx，y+Δy，t+Δt)特征点中搜寻与其欧式距离为最近和次近的点，如果最近和次近距离比值小于设定阈值，则认为该特征点与图像f(x，y，t)特征点p_i相匹配，可以进行特征关联，否则匹配失败。

对上述的特征匹配结果进行初步判定，根据判定结果对匹配过程中相关参数进行自适应调整，从而使得可适应多种地面景象。

根据上述步骤完成图像f(x，y，t)和图像f(x+Δx，y+Δy，t+Δt)的特征一一关联对应，得到具有意义的景象特征在连续两帧图像之间的像素位置，特征关联结果参照图3；

(4)特征像素位移矢量计算：以图像f(x，y，t)特征的像素坐标为起点，图像f(x+Δx，y+Δy，t+Δt)特征的像素坐标为终点，得到像素位移矢量，位移矢量示意图如图5所示；

(5)特征像素位移矢量异常值剔除：由于实际成像环境复杂，像素位移矢量并非全部表示实际地面景象特征位移，异常的像素位移矢量如图5中标记所示，将所有位移矢量按角度、长度分类，出现次数最多的位移矢量为主要像素位移矢量，对非主要像素位移矢量进行剔除处理，剔除后的像素位移矢量如图6所示，计算像素个数得到像素位移矢量长度L；

(6)载体对地速度计算：对于飞行高度h，事先标定的相机焦距为f，单个像素代表地面景象尺度为像素位移矢量长度为L，那么载体对地速度大小为速度方向由像素位移矢量方向决定。

本发明以连续两帧图像为例说明图像特征关联测速方法，对于无人机等飞行平台，如果光电图像连续，就可以得到连续的载体对地速度。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (1)

1.一种基于光电图像特征关联的测速方法，其特征在于包括下述步骤：

(1)利用光电设备获取连续两帧光电图像，确保连续两帧光电图像存在相同的地面景象，将连续获取的前后两帧光电图像分别称为前一帧图像和后一帧图像；

(2)对前一帧图像和后一帧图像分别进行点特征、线特征检测，同时将特征检测结果进行判断，提取景象特征；

(3)将前一帧图像和后一帧图像进行景象特征关联，即将前一帧图像中的景象特征与后一帧图像中的景象特征进行一一对应；

(4)根据特征关联结果，获取前后两帧图像关联特征的像素坐标值，以前一帧图像关联特征的像素坐标为起点，后一帧图像关联特征的像素坐标为终点，计算得到景象特征像素位移矢量；

(5)剔除前后两帧图像特征关联得到的像素位移矢量中大于设定阈值的像素位移矢量；

(6)根据载体飞行高度、单个像素代表地面景象尺度、前后帧图像时间间隔，将像素位移矢量转为载体对地速度。