CN113253289A - 基于激光雷达与视觉结合的无人机探测跟踪系统实现方法 - Google Patents

Abstract

本发明提供一款基于激光雷达与视觉结合的无人机探测跟踪系统实现方法，涉及安防技术领域。通过雷达，光电设备，计算机三者之间的相互配合，粒子滤波的计算，对雷达确定的入侵的无人机进行预测与跟踪，直至无人机飞出禁飞区。本发明填补了现有技术无法对小型无人机进行高精度探测并追踪的现状。本发明的有益效果为：做到有效监控无人机入侵并实时跟踪，可有效运用在航空乃至军事领域中；用于对重要赛事、突发事件、大型活动安保、边防巡逻中危险的小目标的监控和防御。

Description

基于激光雷达与视觉结合的无人机探测跟踪系统实现方法

技术领域

本发明涉及安防技术领域

技术背景

随着现代电子通信技术及航空技术的飞速发展，各类小型无人机的发展十分 强劲，并呈现出种类日益增多、性能不断提升、使用领域不断扩展、使用门槛越 来越低和可获得渠道日益增多等特点。针对目前无人机传统雷达很难识别，无人 机“黑飞”导致的坠落伤人、损坏电力设备和逼停航班的事情屡屡发生。在此背 景下，对在重要区域和敏感区域对无人机的探测与跟踪的研究刻不容缓。

发明内容

为解决很难对无人机精确探测并追踪的问题，本发明提供一款基于激光雷达与视觉结合的无人机探测跟踪系统实现方法。

步骤一、雷达探测禁飞区，若探测到无人机或障碍物目标，将确定无人机的初始最准区域，将坐标传输给计算机，计算机对雷达输出的三维点云坐标进行转换，转换成以光电设备为参考系对应的区域坐标。光电设备根据坐标与目标在三维空间中的对应关系，转向目标方向。

步骤二、光电设备进行光学缩放，实现对目标的高清晰成像。

步骤三、光电设备暂停对雷达探测到的点云坐标的响应，开启移动侦测并将画面实时回传给计算机。

步骤四、计算机在光电设备的初始对准区域附近搜索目标。搜索过程中，通过自动识别的方式确定可疑目标，若目标选择失败，则光电设备通过移动侦测判别是否有移动的物体。若存在，计算机继续选择目标，反之，回到(一)，雷达探测无人机；若选择目标成功，光电设备关闭移动侦测。

步骤五、调用粒子滤波程序，将画面作为粒子滤波输入参数，并使计算机生成新的画面，展现粒子滤波程序处理后的结果，显示视频经粒子滤波程序处理后的预测及目标跟踪效果。

步骤六、背景画面静止，确定的目标移动，光电设备传给计算机画面中的目标可能会出现在图像边缘或者移出图像。这时，计算机给雷达发送目标丢失的信号，雷达探测是否还有无人机。当探测到无人机时，重新获取目标区域的点云坐标，光电设备根据区域坐标重新探测到丢失的无人机，并进行光学缩放。该过程使得画面中重新出现探测目标，粒子滤波程序在获得目标之后可以正常运行。按照上述的情况，不断重复(目标丢失→找回目标)的过程，直到雷达无法探测到丢失的无人机。此时说明在禁飞区没有无人机侵入。

步骤七、雷达继续不间断探测无人机。

无人机探测跟踪的实现需要用到三台设备：雷达(FMCW激光雷达或激光面阵雷达)，计算机，光电设备(摄像机)。计算机用于图像显示以及进行运算处理；雷达用于对目标的大致方位的探测，获取目标的区域的点云坐标；光电设备根据区域坐标进行目标追踪，画面回传。

整个无人机探测与跟踪系统的流程如图1所示。

发明效果：

采用本发明提供一款基于激光雷达与视觉结合的无人机探测跟踪系统实现方法，做到有效监控无人机入侵，并实时对其进行跟踪，解决很难对无人机精确探测并追踪的问题。

附图说明

图1为对无人机探测与跟踪的整个过程的流程图

具体实施方式

具体实施方式一：结合图1说明本实施方法

步骤一、雷达探测禁飞区，若探测到无人机或障碍物目标，将确定无人机的初始最准区域，将坐标传输给计算机，计算机对雷达输出的三维点云坐标进行转换，转换成以光电设备为参考系对应的区域坐标。光电设备根据坐标与目标在三维空间中的对应关系，转向目标方向。

步骤二、光电设备进行光学缩放，实现对目标的高清晰成像。

步骤三、光电设备暂停对雷达探测到的点云坐标的响应，开启移动侦测并将画面实时回传给计算机。

步骤四、计算机在光电设备的初始对准区域附近搜索目标。搜索过程中，通过自动识别的方式确定可疑目标，若目标选择失败，则光电设备通过移动侦测判别是否有移动的物体。若存在，计算机继续选择目标，反之，回到(一)，雷达探测无人机；若选择目标成功，光电设备关闭移动侦测。

步骤五、调用粒子滤波程序，将画面作为粒子滤波输入参数，并使计算机生成新的画面，展现粒子滤波程序处理后的结果，显示视频经粒子滤波程序处理后的预测及目标跟踪效果。

步骤六、背景画面静止，确定的目标移动，光电设备传给计算机画面中的目标可能会出现在图像边缘或者移出图像。这时，计算机给雷达发送目标丢失的信号，雷达探测是否还有无人机。当探测到无人机时，重新获取目标区域的点云坐标，光电设备根据区域坐标重新探测到丢失的无人机，并进行光学缩放。该过程使得画面中重新出现探测目标，粒子滤波程序在获得目标之后可以正常运行。按照上述的情况，不断重复(目标丢失→找回目标)的过程，直到雷达无法探测到丢失的无人机。此时说明在禁飞区没有无人机侵入。

步骤七、雷达继续不间断探测无人机。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一雷达坐标与光电坐标之间的转换。

雷达探测禁飞区，若探测到无人机或障碍物目标，将确定无人机的初始最准区域。该区域的中心坐标即可认为是目标以雷达为参考系的三维坐标，并将目标坐标传输给计算机。

计算机对雷达输出的三维坐标进行转换，转换成以光电设备为原点的坐标系中对应的坐标。其坐标系的转换过程主要包括旋转和平移两部分，具体实现步骤如下：

矩阵的转化主要为绕z，y，x旋转并平移T得到雷达坐标系。雷达坐标系和光电设备坐标系的转换的数学模型如下：

其中，R_r为旋转矩阵，T_r为平移矩阵，X_c,Y_c,Z_c是目标在光电设备坐标系中的三维坐标，X_r,Y_r,Z_r是目标在雷达坐标系中的三维坐标。

对旋转矩阵的求解：按z轴旋转、之后y轴旋转、之后x轴旋转，(其中对于z，y，x方向的旋转角度符号判断都是按照右手系定则，大拇指指向轴线方向，四指方向为旋转的正方向。)最终得到光电设备坐标系，得到的角度分别是yaw、 pitch、roll。旋转部分的数学模型如下：

R旋转矩阵的详细计算如下：

T旋转矩阵如下：

平移变换指的是光电设备坐标系原点在雷达坐标系旋转到与光电设备坐标系相同方向(即两坐标系的x，y，z轴分别互相平行)后的坐标系下的坐标，这里的变换矩阵指的是在雷达坐标系变换为与光电设备坐标系相同方向(即两坐标系的x，y，z轴分别互相平行)后，光电设备坐标系原点在变换后雷达坐标系中的坐标位置。因此平移矩阵的具体数值根据实际情况而定，具体数值由基于GPS 技术测得的雷达坐标向量与光电设备坐标向量的关系得出。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤二中的光学缩放的具体过程。

由于实际架设条件限制，雷达和光电往往安装在不同的位置，在光电进行目标捕获、跟踪时，由于目标尺寸、距离不同，目标在光电设备视野中所占比例有很大差异。为此，采用目标“距离分段标定法”。首先根据目标的不同距离，对光电设备的焦距进行标定。距离记为S，焦距值记为L，距离值S为X轴、传感器焦距值为Y轴，拟合成曲线公式：

L＝F(s) (7)

当雷达引导光电设备时，根据目标的距离S，光电设备依据已经标定好的视场角或焦距与距离对应关系，自动变化焦距，转为计算后的得到的焦距值L。X， Y轴面保持不变。

其它步骤及参数与具体实施方式一或二相同

具体实施方式四：本实施方式与具体实施方式一、二或三不同的是：所述步骤五粒子滤波与滤波结果的表现形式。粒子滤波原理如下：

(1)t-1时刻：

1)初始化阶段

首先初始化粒子滤波器，在整个图像平面均匀的撒粒子，假设所需要的粒子数为N_s，由先验概率p(x₀)产生粒子群

并且初始化每个粒子的权重，所有的粒子权值为

2)计算权重阶段

根据t-1时刻图像中确定的目标，选取目标区域，转换到hsv空间下。对已经选定的目标区域粒子分布直方图与初始化粒子分布直方图的相似性进行分析，分布直方图的相似性越大，说明该粒子群距离选定的目标越接近。

(i)加权：

其中ωⁱ _t-1和ωⁱ _t分别为第i个粒子t-1时刻和t时刻的对应权值。q为重要密度函数，p为后验概率密度函数。

根据上式，将对相似度越大的粒子赋以更大的权值。

(ii)选优：

对全部的粒子按照权值进行排序，选取前N_p粒子。

(iii)权值归一化：

其中ωⁱ _t-1和ωⁱ _t分别为第i个粒子t-1时刻和t时刻的对应权值，

为 t-1时刻所有粒子的权重之和。

根据上式，对选出的N_p个粒子的权值进行归一化处理。

3)重采样阶段

舍弃权重较小的粒子后，为了维持粒子数N_s不变，要复制权重高的粒子N_p，最后得到新的粒子集合，此时的粒子群集中到已选定的目标区域，完成重采样过程。

4)预测阶段

根据此时的权重分配以及给定的状态转移矩阵，可以预测下一时刻粒子群的位置

(2)t时刻：

1)更新权重阶段

根据t时刻图像中选定目标的位置，计算新的粒子分布直方图与t-1时刻粒子分布直方图的相似性，并对相似性进行归一化处理。据此在t时刻，更新粒子权值，相关性计算公式：

归一化计算公式：

则可以得到t时刻未知参数x的最小均方估计为：

距离选定的目标越接近，得到更新后的权重就会越大。

2)重采样阶段。

因为舍弃了权重较小的粒子，为了维持粒子数不变，要复制权重高的粒子，最后得到新的粒子集合

完成重采样过程。

3)预测阶段

根据此时的权重分配以及给定的状态转移矩阵M，预测未知参数xⁱ _t+1，进而预测下一时刻粒子群的位置，也就是要得到的跟踪成果。

引入自回归模型(Autoregressive Model)求解状态转移矩阵M的原理如下：

AR模型作为时间序列模型之一，可以利用观测点前若干时刻的变量的线性组合来描述观测点后若干时刻变量的值，属于线性回归模型。

(i)ARModel定义：

该模型认为，任意时刻的观测值x_t取决于前面p个时刻的观测值加上一个误差，相关公式如下：

其中，ε_t是具备均值为0，方差为σ_ε的白噪声，Φ₁,...,Φ_p对应t-1,...,t-p时刻时间序列的自相关系数，Φ₀是常系数。

(ii)ARModel的状态空间形式：

令：

z_t＝x_t,w_t＝ε_t,H_t＝(x_t-1,x_t-2,...,x_t-p)

ξ_t＝(Φ₁,Φ₂,...,Φ_p),H_t＝Id,V_t＝0

则公式(13)中AR(p)模型可以写成一下的状态空间模型：

系统方程：ξ_t+1＝F_t+1ξ_t+w_t (14)

观测方程：z_t＝H_tξ_t+v_t (15)

4)循环阶段

接下来进入t+1时刻，不断重复t时刻的工作，重复地进行权重更新，重采样以及预测阶段，直到最终粒子的相似度基本吻合，预测误差较小，此时，根据进而不断预测目标下一时刻的去向。

画面处理、粒子滤波、滤波结果并画面显示功能均由一个程序完成。程序开始后，先用winspy.exe查找出需要被程序处理的窗口属性，然后将窗口属性输入程序中，重新编译运行，弹出新的经程序处理后的窗口。新窗口中的画面与原窗口的画面同步显示并在新窗口实时显示程序结果直至程序运行结束。

其它步骤及参数与具体实施方式一、二或三相同。

Claims (4)

1.一款基于激光雷达与视觉结合的无人机探测跟踪系统实现方法，具体是按照以下进行的：

步骤一、雷达探测禁飞区，若探测到无人机或障碍物目标，将确定无人机的初始最准区域，将坐标传输给计算机，计算机对雷达输出的三维点云坐标进行转换，转换成以光电设备为参考系对应的区域坐标。光电设备根据坐标与目标在三维空间中的对应关系，转向目标方向。

步骤二、光电设备进行光学缩放，实现对目标的高清晰成像。

步骤三、光电设备暂停对雷达探测到的点云坐标的响应，开启移动侦测并将画面实时回传给计算机。

步骤四、计算机在光电设备的初始对准区域附近搜索目标。搜索过程中，通过自动识别的方式确定可疑目标，若目标选择失败，则光电设备通过移动侦测判别是否有移动的物体。若存在，计算机继续选择目标，反之，回到(一)，雷达探测无人机；若选择目标成功，光电设备关闭移动侦测。

步骤五、调用粒子滤波程序，将画面作为粒子滤波输入参数，并使计算机生成新的画面，展现粒子滤波程序处理后的结果，显示视频经粒子滤波程序处理后的预测及目标跟踪效果。

步骤六、背景画面静止，确定的目标移动，光电设备传给计算机画面中的目标可能会出现在图像边缘或者移出图像。这时，计算机给雷达发送目标丢失的信号，雷达探测是否还有无人机。当探测到无人机时，重新获取目标区域的点云坐标，光电设备根据区域坐标重新探测到丢失的无人机，并进行光学缩放。该过程使得画面中重新出现探测目标，粒子滤波程序在获得目标之后可以正常运行。按照上述的情况，不断重复(目标丢失→找回目标)的过程，直到雷达无法探测到丢失的无人机。此时说明在禁飞区没有无人机侵入。

步骤七、雷达继续不间断探测无人机。

2.根据权利要求1所述的一款基于激光雷达与视觉结合的无人机探测跟踪系统实现方法，其特征在于，步骤一雷达坐标与光电坐标之间的转换：

其中，R_r为旋转矩阵，T_r为平移矩阵，X_c,Y_c,Z_c是目标在光电设备坐标系中的三维坐标，X_r,Y_r,Z_r是目标在雷达坐标系中的三维坐标。

3.根据权利要求1所述的一款基于激光雷达与视觉结合的无人机探测跟踪系统实现方法，其特征在于，步骤二光电设备进行光学缩放：

采用目标“距离分段标定法”，拟合成曲线公式：

L＝F(s)

距离记为S，焦距值记为L，距离值S为X轴、传感器焦距值为Y轴。光电设备自动变化焦距，转为计算后的得到的焦距值L。X，Y轴面保持不变。

4.根据权利要求1所述的一款基于激光雷达与视觉结合的无人机探测跟踪系统实现方法，其特征在于，步骤五运用粒子滤波预测下一时刻的位置：

根据重采样后的新的粒子集合

以及给定的状态转移矩阵M，预测未知参数xⁱ _t+1，进而达到预测目的。

Images