CN109344970B - 一种无人机上基于视觉目标动向推理方法 - Google Patents

Abstract

本发明提供了一种无人机上基于视觉目标动向推理方法，在目标位置推理过程中采用结合飞机自身飞行参数、相机与其关系角和图像上的目标补偿偏角进行推算的；在目标航向角推理中采用结合飞机航向角和两帧图像上目标位置偏移角进行推理；在目标航速推理中采用计算累积帧间平均速度方法推理。本发明无需将目标调整到视轴上即可对目标动态信息推理，图像任意位置上的目标都能进行直接推理计算，免除了目标调整至图像中心而产生的过程误差。

Description

一种无人机上基于视觉目标动向推理方法

技术领域

本发明涉及一种目标动向动态推理技术，尤其涉及不在视轴上的目标动向动态推理技术。

背景技术

近年来随着科学技术水平的进步，无人机已被广泛应用。在军用领域，无人机常用于侦察监视(某些侦察要求隐身静默)、目标打击、作战效能评估等；在民用领域，无人机常用于抢险救灾、地形勘测、物流运输等。在这些应用中，对地面移动目标的探测是重要方面，其中主要是探测目标的位置、行动速度和行动方向等动态动向信息。所以对无人机对地面目标的动向动态探测这项共性基础技术研究意义重大。

对地面目标的动态动向探测首要任务是目标定位，对地面目标定位也是无人机视觉的重要功能之一，其目的为求取目标在大地坐标系下的三维坐标。无人机的目标定位根据其工作机制不同可以分为有源定位和无源定位。有源定位主要以基于姿态测量/激光测距定位模型为主，在这种定位模型下，飞行器需要装备激光测距机，要求飞行器具有较大载荷能力。有源定位精度较高，但需要测距仪等沉重的装备，而且主动发射测距电波，不利于自身的隐蔽。小型无人机由于受到载重和能耗的限制，一般使用无源定位。

无源定位是通过摄像机采集目标图像，利用图像分析算法获取目标位置，主要方法有：1)基于图像匹配模式的目标定位，这种方法利用获取的多源图像，以预先装入的目标图像为基准，将经过校正的无人机电视图像与基准图片进行匹配，从而实现目标定位。该方法有较高的定位精度，但依赖大量基准图片，图片匹配泛化性和时效性较差，实用性不高；2)基于成像模型的目标定位，该方法需要获取飞行器的高程，以及摄像机的内外方位元素，根据共线条件方程计算地面目标位置。在实际使用中，该方法需要假定待测目标区域为平坦地面，目标定位精度较低。

总之，当前基于视觉的目标定位方法是对相机光轴上的目标进行定位。如果目标不在光轴上，需要采用人工或云台伺服装置将目标调整到相机光轴上。但是，对于小型无人机，由于受制于载荷重量和能耗，被动无源探测方式仍不可行。

发明内容

为了克服现有技术的不足，本发明提供一种无人机上基于视觉目标动向推理方法，不限定位目标于光轴上，通过目标像素级补偿角度直接对目标位置推算，通过像素级偏移距推理目标动态动向信息，实现了图像上目标任意位置发现即可直接获取其动态动向信息功能。因此，本发明对于非视轴上目标，在无需调整图像目标至图像中心的条件下即可对其定位，省去云台伺服转动调整或人工处理，为助力无人机自主视觉探测技术发展提供支持，具有一定的现实意义。

本发明解决其技术问题所采用的技术方案包括以下步骤：

(1)采用faster RCNN目标检测技术，从输入的图像中将所关注的目标检测识别出来，并确定目标中心在图像中的像素坐标(X,Y)，获得目标属性和类别信息；

(2)采用直线矫正算法对图像扭曲矫正；对矫正图像的目标像素偏移计算补偿偏角，包括俯仰补偿角和侧倾补偿角，俯仰补偿角根据目标区块中心到图像中心的纵向偏移像素点数确定，侧倾补偿角的计算根据目标区块中心到图像中心的横向偏移像素点数确定；

(3)结合飞机自身飞行参数、相机与飞机关系角和图像上的目标补偿角进行目标位置推算，飞行参数包括飞机经纬高(P_Lon，P_Lat，P_hei)和飞机俯仰角、横滚角、航向角(α,β,γ)；假设相机垂直机身竖直朝下拍摄，相机与机身相对固定；对于水面目标，目标高度T_hei＝0；

相机垂直于海平面时，若目标就在飞机平台正下方，则机身平台的经纬度就是目标经纬度，目标高度为零；若目标不在相机垂直视轴的正下方，则根据横向偏离像素距离δ_x和纵向偏离像素距离δ_y，计算出图像中心到目标的距离S＝(Xδ_x+Yδ_y)^1/2；然后根据机身平台的航向角γ计算得到目标相对机身平台的偏移距离，其中，经度偏移距离D_lon＝Ssinγ，纬度偏移距离D_lat＝Scosγ；

相机倾斜于海平面情况时，相机光心线与飞机对海垂直线有夹角，包括沿机身方向的俯仰角α和垂直机身的侧倾角β；相机倾斜角映射在海面上，俯仰角产生了俯仰距L₁＝P_heiarctanα，侧倾角产生了侧倾距L₂＝P_heiarctanβ；则相机光芯轴线与海面的交点到飞机平台海平面投影点的距离

然后根据机身平台的航向角γ，计算得到相机光轴与海平面交点与机身平台的偏移距离，包括经度偏移距离M_lon＝Lsinγ和纬度偏移距离M_lat＝Lcosγ；将图像上目标相对于相机光轴和海平面交点的偏移距离映射到机身长度方向上，根据图像像素与偏移距对应关系计算出偏移角度θ；计算偏移映射距离S′＝Scosθ；然后计算图像上的目标相对于相机光轴和海平面交点的偏移距离，包括经度偏移距离d_lon＝S′sinγ和纬度偏移距离d_lat＝S′cosγ；

目标相对机身平台投影点的经纬偏移距离包括经度偏移距离D_lon＝M_lon+d_lon和纬度偏移距离D_lat＝M_lat+d_lat；

目标的经纬度就是机身平台经度加上经纬度偏移距离。

本发明的有益效果是：无需将目标调整到视轴上即可对目标动态信息推理，图像任意位置上的目标都能进行直接推理计算，免除了目标调整至图像中心而产生的过程误差。具体来说，在目标位置推理过程中采用结合飞机自身飞行参数、相机与其关系角和图像上的目标补偿偏角进行推算的；在目标航向角推理中采用结合飞机航向角和两帧图像上目标位置偏移角进行推理；在目标航速推理中采用计算累积帧间平均速度方法推理，上述多方面的改进实现了非视轴上目标的动向信息推理。

附图说明

图1是视觉补偿偏角示意图。

图2是目标偏移视轴距离情况下的位置推理示意图。

图3是相机倾斜的情况下的目标位置推理示意图。

图4是由目标偏移距获得绝对坐标值示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明主要提供一种直接推理出非视轴上目标位置和动态动向信息的手段。本发明仅从相机图像中提取目标像素位置，根据飞机自身飞行参数和相机与其倾角参数，推理目标相关信息(包括目标地球坐标系中的位置(T_lon，T_lat，T_hei)、航向T_course、航速T_speed)，不依赖与其它有源、主动探测等辅助传感器。为解决该问题，本发明采用从视觉补偿偏角角度对非视轴目标的动态动向推理，主要步骤概述如下：

(1)图像目标检测

首先采用faster RCNN目标检测技术，从输入的图像中将所关注的目标检测识别出来，并确定目标中心在图像中的像素坐标(X,Y)，获得目标属性和类别信息，为下一步的目标动向动态信息推理做好准备。

(2)图像目标偏角补偿计算

在摄像头投射视野下的场景图像中，目标在图中是局部很小的区块。该小区块不一定正好位于图像中心位置，所以目标与光心连线与光轴线有夹角，这需要在相机倾角参数中加以补偿。在计算目标偏角补偿之前，需要对图像扭曲矫正，矫正方法采用直线矫正算法：首先用霍夫线性变换得出图像中的所有直线，然后计算每条直线的扭曲角并计算平均值，再跟进平均扭曲值旋转图像，伸展曲线，矫正图像。

本发明创新地提出对矫正图像的目标像素偏移计算补偿偏角，包括俯仰补偿角和侧倾(横滚)补偿角：

1)俯仰补偿角计算，是目标区块沿图像纵向轴方向偏离横向轴的角度。目标区块偏离图像横轴越远表示俯仰补偿角就越大。沿图像纵轴正向的目标俯仰补偿角为正，反之为负。俯仰补偿角的计算可以根据目标区块中心到图像中心的纵向偏移像素点数确定。

2)侧倾补偿角计算，是目标区块沿图像横向轴方向偏移纵向轴的角度。目标区块偏移图像纵轴越远表示侧倾补偿角就越大。沿图像横轴正向的目标侧倾补偿角为正，反之为负。侧倾补偿角的计算可以根据目标区块中心到图像中心的横向偏移像素点数确定。

(3)目标位置推算

结合图像目标像素偏移补偿角，本发明对推算的目标不限其在图像中的位置，图像上随处检测目标可直接进行目标位置推理。本发明的位置推算是结合飞机自身飞行参数、相机与其关系角和图像上的目标补偿偏角进行推算的。飞行参数包括飞机经纬高(P_Lon，P_Lat，P_hei)和飞机俯仰角、横滚角和航向角(α,β,γ)。这里假设相机垂直机身竖直朝下拍摄，相机与机身相对固定，相机光心线与飞机高度线角度关系由飞机飞行姿态确定。对于水面目标，目标高度T_hei＝0。将图像目标像素偏移补偿角运用到目标位置推算是本发明的创新之处，起到的效果是能提升高空无人机视觉位置推算精度至百米级。

而且，位置推算的另一个创新的地方是根据相机与飞机运动关系分情况对目标动态动向推理。

对于海面目标，可以通过侦查平台无源被动传感器(如摄像头)推算出目标的位置、航向和航速等信息。侦察飞机探测目标，摄像头垂直照射海面，在其感知视野范围内的海面上有目标，识别出来后，根据机身平台参数推算出目标位置、航向和航速。

相机在飞机上可分为固定式和运动式，固定式相机相对飞机夹角不变，可能是垂直向下，也可能与飞机有一定夹角。运动式指相机与飞机夹角是变化的，但只要处理好固定夹角情况，变化夹角就很好计算。下面主要以固定式相机讨论。固定式包括相机垂直海平面情况和相机倾斜于海平面情况，下面分别介绍两种情况下的目标动向推理实施步骤概述如下：

1)相机垂直于海平面情况

相机相对于飞机垂直向下固定安装，伴随飞机飞行姿态变化，也会使得相机和飞机一样具有俯仰和侧倾，其中理想情况是飞机俯仰和侧倾均为零，而且目标就在飞机平台正下方，即处在相机视轴线上，也就是图像中心处，这时机身平台的经纬度就是目标经纬度，目标高度为零。

如果目标不在相机垂直视轴的正下方，即目标偏离相机视轴，则需要计算出像素偏离距离，包括横向偏离距和纵向偏离距，见图2。这些计算需要已知横向δ_x(km/pixel)和纵向δ_y(km/pixel)偏离像素距离对应关系值。横向偏离和纵向偏离分别对应图像坐标系横轴和纵轴，统计像素数，计算出横向纵向偏离距离，再由勾股定理计算出图像中心到目标的距离S。

S＝(Xδ_x+Yδ_y)^1/2

然后根据机身平台的航向角γ(正北向为0)，计算得到目标相对机身平台的经纬度偏移距离：

经度偏移距离：D_lon＝Ssinγ

纬度偏移距离：D_lat＝Scosγ

目标的经纬度就是飞机自身经纬度加上经纬度偏移距离得到，在这过程中需要将距离换算成经纬度数。

2)相机倾斜于海平面情况

实际情况是飞机飞行中姿态一直处在变化中，可以说六个自由度都在变化，使得相机的朝向角度也在变化。但是，相机相对于机身没有相对运动，相机视场的纵轴与飞机朝向一直，相机视场的横轴与飞机朝向垂直。相机光心线与飞机对海垂直线有一定的夹角，这个夹角是沿机身方向的俯仰角α和垂直机身的侧倾角β的合成，见图3。

相机倾斜角映射在海面上，俯仰角产生了俯仰距L₁＝P_heiarctanα，侧倾角产生了侧倾距(或者横滚距)L₂＝P_heiarctanβ，其中俯仰距和侧倾距垂直，由勾股定理得到斜边长度，即为相机光芯轴线与海面的交点到飞机平台海平面投影点的距离

然后根据机身平台的航向角γ(正北向为0)，计算得到光心交点与机身平台的经纬度偏移距离：

经度偏移距离：M_lon＝Lsinγ

纬度偏移距离：M_lat＝Lcosγ

一般情况下，图像上目标与光心交点不会重合于一点，会有所偏移。所以需要将该偏移距离加到飞机的经纬度上才能得到的最后目标的经纬度。首先需要将偏移距离映射到机身长度(飞机航线)方向上，根据图像像素与偏移距对应关系计算出偏移角度θ，见图4，再计算偏移映射距离如下：

S′＝Scosθ

然后计算图像上的目标相对于光心交点在经纬方向的偏移距离：

经度偏移距离：d_lon＝S′sinγ

纬度偏移距离：d_lat＝S′cosγ

目标相对机身平台投影点的经纬偏移距离为

经度偏移距离合计：D_lon＝M_lon+d_lon

纬度偏移距离合计：D_lat＝M_lat+d_lat

目标的经纬度就是机身平台经度加上经纬度偏移距离得到，在这过程中需要将距离换算成经纬度数。

如图1所示，补偿角度偏差值是由像素间距结合校准经验换算而来。俯仰角为目标在图像纵向方向偏移所得偏差角，侧倾角为目标在图像横向方向偏移所得偏差角。

如图2所示，目标偏移视轴距离情况下的位置推理包括如下步骤：如果目标不在正下方，即目标偏离相机视轴，则需要计算出像素偏离距离，包括横向偏离距和纵向偏离距。横向偏离和纵向偏离分别对应图像坐标系横轴和纵轴，统计像素数，结合经验值，计算出横向纵向偏离距离，再由勾股定理计算出图像中心到目标的距离。

如图3所示，相机倾斜的情况下的目标位置推理示意包括如下步骤：目标投影、光心交点、和飞机垂直投影不在一点上，这种情况下也是通过视轴夹角和像素偏移对目标位置进行推理。第一步，根据俯仰距和横滚距进而计算出垂直投影点与光心交点的距离，第二步，根据像素偏移距离计算出目标投影与光心交点的距离，第三步，由前两步得到的距离计算出目标相对飞机垂直投影点的偏移距离，结合飞机的绝对位置，得到目标的绝对位置。

如图4所示，获得了目标相对于飞机的位置偏移距，还需要将该偏移距与飞机地理坐标相结合才能获得最终的目标的地理坐标，即将该偏移距离加到飞机的经纬度上才能得到的最后目标的经纬度。

本发明的实施例主要是对在可见光图像中检测出的目标的动向动态信息推理，无须调整目标至图像中心处即可实现直接推理。目标动向动态信息包括目标位置(T_lon，T_lat，T_hei)、航向T_course、航速T_speed，推算是根据己方平台自身位置参数和相机与世界坐标系倾角参数，解算出目标信息。具体实施步骤如下：

(1)图像中的目标检测

采用faster rcnn方法对图像中的目标检测，获取目标的像素位置。具体的过程是针对无人机探测目标的场景图像进行神经网络模型训练，利用训练好的网络模型推理检测感兴趣的目标。该步骤获得目标属性和类别信息，为下一步的目标动向动态信息推理做好准备。

(2)视觉补偿偏角计算

在计算图像目标补偿偏角之前需要矫正图像，矫正图像方法是几何直线矫正法。图像目标偏角补偿具体方法是：目标偏离图像中心通常以像素数衡量，这里需要将该偏离值转化为角度值。根据校准试验，形成横纵方向各像素的偏差角度值字典。该字典实际就是一张表，行列对应的值分别是俯仰角偏差α′和侧倾角(横滚角)偏差β′，行列所对应的位置就是像素的位置。俯仰角是包含正负号的，在图像中心点上方为正，图像中心点下方为负，横滚角也是如此。在形成飞机的俯仰角和横滚角是要补偿上去的，即飞机俯仰角为α＝α₀+α′，飞机横滚角β＝β₀+β′，其中α₀、β₀分别为飞机自身的俯仰角和横滚角。

(3)目标位置推算

根据飞机自身飞行参数和图像得到的目标补偿偏角，可以推算出目标的位置。飞行参数包括飞机经纬高(P_Lon，P_Lat，P_hei)和飞机俯仰角、横滚角和航向角(α,β,γ)。这里假设相机垂直机身竖直朝下拍摄，相机与机身相对固定，相机光心线与飞机高度线角度关系由飞机飞行姿态确定。对于水面目标，目标高度T_hei＝0。目标位置推算具体步骤如下：

目标位置推算具体步骤如下：

1)结合横向δ_x(km/pixel)和纵向δ_y(km/pixel)偏离像素距离对应关系，计算目标偏离图像中心的距离S＝(Xδ_x+Yδ_y)^1/2；

2)结合像素角度对应关系得到偏移角θ，计算目标与光心点连线在飞机航线上的投影长度S′＝Scosθ；

3)计算图像上的目标相对于光心交点在经纬方向的偏移距离：

经度偏移距离：d_lon＝S′sinγ；

纬度偏移距离：d_lat＝S′cosγ；

4)结合飞机俯仰角α和垂直机身的侧倾角β，飞机的俯仰角产生了俯仰距L₁＝P_heiarctanα，横滚角产生了横滚距L₂＝P_heiarctanβ，再计算相机光心海面交点到飞机在海平面投影点的距离

5)根据机身平台的航向角γ(正北向为0)，计算得到光心交点与机身平台的经纬度偏移距离：

经度偏移距离：M_lon＝Lsinγ

纬度偏移距离：M_lat＝Lcosγ

6)计算目标相对飞机海面投影点的经纬偏移距离：

经度偏移距离合计：D_lon＝M_lon+d_lon

纬度偏移距离合计：D_lat＝M_lat+d_lat

7)目标的经纬度就是机身平台经度加上经纬度偏移距离得到，其中需要将距离换算成经纬度数：

目标经度：T_lon＝P_Lon+ψ(D_lon)

目标纬度：T_lat＝P_Lat+ψ(D_lat)

(4)目标航向角推算

目标航向角T_course是结合飞机航向角和两帧图像上目标位置偏移角推理出来的。具体步骤如下：

1)确定飞机航向角γ；

2)确定目标在两个图像帧中位置点连线ζ；

3)计算连线ζ与飞机航线的角度关系，一般情况下图像过中心点的纵线为飞机航线，所以就是计算图像上目标连线ζ与纵线的角度π；

4)计算目标航向角T_course＝γ+π。

(5)目标速度推算

目标速度是根据目标行进距离和帧频时间计算的，本发明采用累积帧间平均速度作为目标速度，具体步骤如下：

1)确定从检测出同一目标的两帧图像时间间隔τ；

2)确定由该两帧图像推理出的目标位置及距离ζ；

3)计算目标在两帧图像时间内直线行进速度s＝ζ/τ；

4)根据之前一段时间的多段行进平均速度作为目标当前速度

或

Claims (1)

1.一种无人机上基于视觉目标动向推理方法，其特征在于包括下述步骤：

(1)采用faster RCNN目标检测技术，从输入的图像中将所关注的目标检测识别出来，并确定目标中心在图像中的像素坐标(X,Y)，获得目标属性和类别信息；

(2)采用直线矫正算法对图像扭曲矫正；对矫正图像的目标像素偏移计算补偿偏角，包括俯仰补偿角和侧倾补偿角，俯仰补偿角根据目标区块中心到图像中心的纵向偏移像素点数确定，侧倾补偿角的计算根据目标区块中心到图像中心的横向偏移像素点数确定；

(3)结合飞机自身飞行参数、相机与飞机关系角和图像上的补偿偏角进行目标位置推算，飞行参数包括飞机经纬高(P_Lon，P_Lat，P_hei)和飞机俯仰角、横滚角、航向角(α,η,γ)；假设相机垂直机身竖直朝下拍摄，相机与机身相对固定；对于水面目标，目标高度T_hei＝0；

相机垂直于海平面时，若目标就在飞机平台正下方，则机身平台的经纬度就是目标经纬度，目标高度为零；若目标不在相机垂直视轴的正下方，则根据横向偏离像素距离δ_x和纵向偏离像素距离δ_y，计算出图像中心到目标的距离S＝(Xδ_x+Yδ_y)^1/2；然后根据机身平台的航向角γ计算得到目标相对机身平台的偏移距离，其中，经度偏移距离D_lon＝Ssinγ，纬度偏移距离D_lat＝Scosγ；

相机倾斜于海平面情况时，相机光芯轴线与飞机对海垂直线有夹角，包括沿机身方向的俯仰角α和垂直机身的侧倾角β；相机倾斜角映射在海面上，俯仰角产生了俯仰距L₁＝P_heitanα，侧倾角产生了侧倾距L₂＝P_heitanβ；则相机光芯轴线与海面的交点到飞机平台海平面投影点的距离

然后根据机身平台的航向角γ，计算得到相机光轴与海平面交点与机身平台的偏移距离，包括经度偏移距离M_lon＝L sinγ和纬度偏移距离M_lat＝Lcosγ；将图像上目标相对于相机光轴和海平面交点的偏移距离映射到机身长度方向上，根据图像像素与偏移距对应关系计算出偏移角度θ；计算偏移映射距离S′＝S cosθ；然后计算图像上的目标相对于相机光轴和海平面交点的偏移距离，包括经度偏移距离d_lon＝S′sinγ和纬度偏移距离d_lat＝S′cosγ；

目标相对机身平台投影点的经纬偏移距离包括经度偏移距离D_lon＝M_lon+d_lon和纬度偏移距离D_lat＝M_lat+d_lat；

目标的经纬度就是机身平台经纬度加上经纬度偏移距离。

Images