CN114697165B - 基于无人机视觉和无线信号融合的信号源检测方法 - Google Patents

Abstract

本发明公开了一种基于无人机视觉和无线信号融合的信号源检测方法，包括：(1)无人机利用视觉估计出的双目深度信息和机载传感器获得的接收功率信息通过最大似然估计求解对数正态模型的模型参数，拟合接收功率；(2)无人机根据拟合接收功率和测量接收功率的均方误差最小化原则判断信号源。本发明考虑无人机飞行区域存在多个相似物体但只有唯一信号源的场景，通过使用双目深度估计数据和无人机机载传感器接收功率数据融合处理，考虑了双目深度估计和传感器测量接收功率失败的情况，适应性强，系统简单；同时，本发明为特定信号源判别提供了一种新型方法，有利于无线电安全管理。

Description

基于无人机视觉和无线信号融合的信号源检测方法

技术领域

本发明属于目标识别和信号源检测技术领域，具体涉及一种基于无人机视觉和无线信号融合的信号源检测方法。

背景技术

在无线电安全管理中，信号源检测对于保障无线电安全、防治电磁辐射污染有着重要意义，在灾后救援或者野生动物观察等应用中，信号源检测可以帮助寻找携带电子设备的目标。单独的无人机目标识别方法通过深度学习目标检测技术识别无人机拍摄影像中的目标物体，进一步给出物体在空间中的位置，但是在有多个虚假目标时，视觉检测无法判断真实信号源。传统的信号源检测技术通过有源或者无源方式进行信号源定位，通常使用到达时间差和到达频率差等方法，需要采用复杂的天线阵列，对于设备时间同步上也有着严格要求。因此，无人机视觉数据和无线信号融合的信号源检测是解决本领域关键问题的一个非常具有潜力的方法。

无人机由于自身机动性能好，使用方便等优点，在各行业和领域使用广泛，通过无人机航拍图像进行目标检测的研究和应用也是近年来的热门方向。公开号为US202117151918A的美国专利提出了一种通过无人机识别图像中特定物体的系统、方法和装置，该方法可以基于对象的颜色、形状、大小、色度、亮度等特征识别并追踪图片或者视频序列中的目标物体；该方法同样适用于高速移动的物体，且用户能够选择拟跟踪的目标对象。公开号为CN110081982A的中国专利提出了一种基于双光谱光电搜索的无人机目标定位方法，利用红外-可见光相机进行联合标定，得到红外-可见光相机坐标系的外参数，根据设定的范围，以回扫方式搜索，若红外与可见光图像中同时检测到目标，则为真目标，转动云台使得目标位于红外图像的中心，根据此时的图像计算目标的精确位置；否则继续搜索。

在无人机辅助的信号源定位领域，公开号为CN107390166A的中国专利提出了一种自适应干扰源定位飞行校验方法，可以实现对地面各类无线电信号源的检测和定位，保证民航无线电安全，该方法的基本原理是借助于机载无线电侦测设备获取干扰源来波方位，结合校验飞机自身的位置、速度、飞行姿态、高度等飞行参数，应用单站交叉定位原理，采用一种自适应滤波方法，能够准确的求得干扰源的位置信息。

但是上述技术都是单独地采用视觉信息或者单独采用无线信号信息，没有将视觉信息和无线信号信息融合起来进行目标判别和定位。Jiang X等人在文献[Localizationof Multiple RF Sources Based on Bayesian Compressive Sensing Using a LimitedNumber of UAVs with Airborne RSS Sensor，IEEE Sensors Journal,vol.21,no.5,pp.7067-7079,Mar.2021]中提出了一个基于贝叶斯压缩感知理论的无人机搭载无线传感器网络的鲁棒多信号源定位框架，同时提出了一种基于模拟退火算法动态规划无人机路径的方法，但该方法需要使用多个无人机搭载传感器网络。

由此可见，上述技术都未考虑把视觉和无线信号两个来源的数据进行融合处理。

发明内容

鉴于上述，本发明提供了一种基于无人机视觉和无线信号融合的信号源检测方法，能够融合视觉数据和无线信号两种来源的数据进行信号源的检测。

一种基于无人机视觉和无线信号融合的信号源检测方法，包括如下步骤：

(1)无人机持续飞行并在路径上若干个位置通过双目相机提取识别可疑地面物体并编号，若出现新的编号，则更新物体编号集合；

(2)对于上述任一位置，无人机通过双目深度估计得到其与地面各个物体的距离数据以及该位置由机载传感器测得的无线信号接收功率数据，并将新接收到的距离数据和无线信号接收功率数据按照物体编号存入对应的数据集合中；

(3)采用基于视觉深度数据和无线信号融合的特定信号源检测方法检测无线信号源，即利用最大似然估计评估每个地面物体在接收功率对数正态模型下的参数，然后利用参数估计值来拟合接收功率，最后计算拟合得到的接收功率与机载传感器测得的接收功率之间的均方误差MSE(Mean-Square Error)，并依此判断确定唯一信号源。

进一步地，所述步骤(2)中的距离数据和接收功率数据均以向量形式表示，具体如下：

d_s＝[d_s1,d_s2,...,d_si,...,d_sN]^T

p_s＝[p_s1,p_s2,...,p_si,...,p_sN]^T

其中：s为地面物体的编号，d_s为无人机通过双目深度估计得到与地面物体s距离所组成的向量，p_s为机载传感器测得的无线信号接收功率所组成的向量，N为测量的位置点数量，d_sn为无人机在位置n对地面物体s实施双目深度估计得到的距离值，n为位置序号且1≤n≤N，p_sn为机载传感器测得在位置n处无线信号的接收功率值；为了后续均方误差评估方便明晰，这里总是假设s为信号源。实际上一个无人机位置只有一个接收功率值，即对于任何s'和s”，都有p_s’n＝p_s”n。

进一步地，所述步骤(3)的具体实现过程如下：

3.1建立地面物体无线信号接收功率的对数正态模型；

3.2建立关于参考距离接收功率p₀、路径损耗指数α、正态分布方差σ²的似然函数L(p₀,α,σ²)；

3.3利用L(p₀,α,σ²)的自然对数分别对p₀、α和σ²求偏导并使导数为0，从而得到p₀、α和σ²的估计值；

3.4将p₀、α和σ²的估计值代入对数正态模型中拟合得到地面物体无线信号的接收功率；

3.5计算拟合得到的无线信号接收功率与机载传感器测得的无线信号接收功率之间的均方误差MSE；

3.6根据步骤3.1～3.5遍历物体编号集合中的所有地面物体，选择对应均方误差最小的地面物体作为信号源。

进一步地，所述对数正态模型的表达式如下：

其中：p为与地面物体距离d处的以dB为单位的无线信号接收功率，参考距离接收功率p₀即为与地面物体距离d₀处的以dB为单位的无线信号接收功率，d₀为参考距离，d为实际距离，X_σ为与环境相关的阴影衰落因子，其服从均值为0，方差为σ²的正态分布。

进一步地，所述似然函数L(p₀,α,σ²)的表达式如下：

其中：d_sn为无人机在位置n处对地面物体s实施双目深度估计得到的距离值，p_sn为机载传感器测得位置n处的以dB为单位的无线信号接收功率值，s为地面物体的编号并假设s为信号源，n为位置序号且1≤n≤N，N为测量的位置点数量。

进一步地，所述似然函数L(p₀,α,σ²)自然对数的表达式如下：

进一步地，所述步骤3.3中利用L(p₀,α,σ²)的自然对数分别对p₀、α和σ²求偏导的具体表达式如下：

进一步地，所述步骤3.3中p₀、α和σ²的估计值表达式如下：

其中：和/>分别对应为p₀、α和σ²的估计值，/>

进一步地，所述步骤3.5中均方误差MSE的计算公式如下：

其中：MSE_s为对于地面物体s通过拟合得到的无线信号接收功率与机载传感器测得的无线信号接收功率之间的均方误差，s为地面物体的编号，p_sn为机载传感器测得位置n处无线信号的接收功率值并假设s为信号源，为通过拟合得到假设地面物体s是信号源时被无人机在位置n处得到的无线信号的接收功率值，n为位置序号且1≤n≤N，N为测量的位置点数量。

基于上述技术方案，本发明具有以下有益技术效果：

1.本发明基于无人机视觉和无线信号融合的信号源检测方法具有只需要图像和无线信号接收功率数据，对硬件要求低，测量数据量少，对通信传输链路的压力小，系统简单易实现等优点。

2.本发明基于无人机视觉和无线信号融合的信号源检测方法在每次获得新的测量值时会实时进行融合计算，计算简单，结果有效，解决了从检测地面目标并从多个可疑物体中判断唯一信号源的问题。

附图说明

图1为本发明信号源检测方法的系统场景和信息获取示意图。

图2为本发明信号源检测方法的检测流程示意图。

图3为本发明信号源检测方法中实测信号距离和功率的数据示意图。

图4为本发明信号源检测方法的检测目标误差结果示意图。

图5为本发明信号源检测方法受视觉深度估计和传感器噪声方差的影响结果示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本实施方式考虑在一片区域内分布着若干个物体，它们的外形相似，这些相似物中有一个物体携带着能发射无线信号的设备，该设备正在和外界通信，通信的频率范围固定。假设有一架无人机，无人机上搭载了双目摄像头和无线信号传感器。通过计算机视觉的目标检测以及双目深度估计的方法，可以得到物体在每次被观测时和无人机的距离；通过无人机机载传感器，可以得到无人机在该位置测量的无线信号接收功率。如图1所示，针对疑似目标s，令无人机在任意给定的位置n测量的接收功率为p_sn，在位置n通过视觉深度估计得到的距离估计值为d_sn，在飞行过程采集的两种来源的数据具有对应关系，令物体s在位置n测量的接收功率构成的向量为p_s，物体s在位置n测量的双目深度估计距离构成的向量为d_s，则：

d_s＝[d_s1,d_s2,...,d_si,...,d_sN]^T

p_s＝[p_s1,p_s2,...,p_si,...,p_sN]^T (1)

考虑无线信号接收功率满足对数正态模型：

其中：p为距离信号源d处的以dB为单位的接收功率，p₀为距离信号源d₀处的以dB为单位的接收功率，α为路径损耗指数，X_σ为与环境相关的阴影衰落，服从均值为0，方差为σ²的正态分布。

为了判断物体s是否为信号源，可以将物体s的距离向量d_s和功率向量p_s代入对数正态模型，判断其是否符合模型。在对数正态模型中的参数p₀和α未知的情况下，首先需要通过最大似然估计评估假设s是信号源时模型的参数。

求解物体s的对数正态模型的模型参数的过程如下。

取对数正态模型中的参考距离为d₀＝1m，则表示参考距离为1m时的接收功率。因为p是服从均值为p₀-10αlgd，方差为σ²的正态分布，所以我们可以定义如下似然函数：

将似然函数取对数，可以得到：

为了得到参数的最大似然估计，我们可以对式(4)求导并寻找使导数为0的p₀、α和σ²，即：

计算可得p₀、α和σ²的估计值如下：

其中：和/>

利用最大似然估计得到的参数和/>根据式(2)我们可以得到当无人机与物体s距离为d_sn时，接收功率的拟合值/>为：

为了衡量物体s符合对数正态模型的程度，我们选择把拟合接收功率和测量接收功率的均方误差(Mean Squared Error，MSE)作为判断标准。那么，物体s判为是信号源的均方误差定义为：

当无人机检测完飞行区域中所有物体后，比较每个物体的MSE，把MSE最小的物体判别为信号源target，即：

target＝argmin_s∈S MSE_s (9)

其中：S表示无人机飞行过程中视觉观测到的地面待判断对象构成的集合。

图1所示为无人机获得的物体s的两类来源的测量信息，包括通过双目视觉深度估计得到的距离信息的和无人机机载传感器测量得到的接收功率信息。在无人机移动过程中，如果双目视觉深度估计失败或者接收功率采集失败，则将数据丢弃，只有当两种数据都获取成功的位置，才将结果保存。

无人机在获得各物体的双目视觉深度估计距离信息和无人机机载传感器测量接收功率信息达到一定量后，启动融合信号源判断方法判断信号源，具体的融合方法如图2所示，其步骤如下：

(1)初始化视觉识别的物体集合对于在物体集合中的任意物体s，令其距离数据集合为/>功率数据集合为/>

(2)无人机沿着路径飞行，如果视觉识别出了新的物体s，则将该物体加入物体集合中，即S＝S∪{s}。

(3)如果到达采集数据时刻，则使用当前时刻拍摄图片作双目深度估计，获得距离估计d，同时使用机载传感器采集当前时刻的接收功率p。根据物体的视觉特征获取物体编号s，将新获取的距离数据d和功率数据p作为最后一个元素加入向量d_s和向量p_s，保持距离数据和功率数据的对应关系。

(4)如果有效数据量达到一定量，则对物体集合S＝{1,2,...,S}中的每一个物体s，将物体s在每一个位置n的距离数据d_sn和功率数据p_sn代入对数正态模型，根据式(6)求解接收功率和路径损耗指数/>等参数；然后根据式(7)和式(8)计算物体s的均方误差MSE_s，输出MSE最小的物体作为判断的信号源。

(5)直到无人机停止飞行。

本发明技术方案的有益效果可以通过以下半实物仿真的方式进行验证。首先，我们使用传感器在地面采集不同距离下的功率数据；然后，通过线性回归方法计算出实际信道的路径损耗指数以及参考距离1m处的接收功率。信号源使用Ettus公司的USRP B210设备，在Gnu Radio软件编写信号发射的文件，信号的波形为周期正弦波形，发射机的频段设置为907Mhz～927Mhz，功率设置为1W，增益为50dB。为了尽可能模拟空中的信号传播，信号源被放置在距离地面1.7m处。我们在地面每隔1m测量一次数据，离信号源距离从1m到30m，重复实验10次，获得了300个位置的接收功率值。图3为实测功率和距离的展示，通过计算得到p₀＝-28.91dBm，α＝3.581，σ²＝23.49。

我们通过Python语言的科学计算库编程实现仿真过程，首先将物体随机摆放在一个30m×40m的区域内，并生成物体的坐标，选择其中一个物体作为信号源。按照到信号源物体的距离均匀间隔生成N个到信号源的坐标序列，此序列即为模拟无人机的飞行路径的坐标序列；然后根据实测的信道参数，将信号源距离带入对数正态模型产生对应的测量功率值；接下来对于不是信号源的物体，根据无人机飞行路径的坐标和物体坐标计算距离。记无人机飞行经过N个点，得到物体数量个距离向量，以及1个功率向量，为一次实验；图4显示了总物体数量为2、3和4情况下，不同的实验次数下，融合方法判断信号源的准确率，这里取N＝3。可以看出在实验次数增多的情况下，准确率趋于稳定，2个物体时准确率在70％左右，3个物体时准确率在53％左右，4个物体时准确率在42％左右。物体数量的增多使得准确率下降，其原因是物体的密集摆放使得物体在坐标上接近，因而相互之间的距离和功率变化的趋势趋于一致。

图5显示了融合算法关于对数正态模型中参数σ²以及双目视觉获得的深度距离误差的敏感性。这里设置物体数量为3，物体之间的距离为5m，实验次数为2000次，每次实验采集的距离和接收功率数量为N＝30，横坐标为每次测量距离误差的方差，单位为m²；四条直线分别表示用来仿真信道阴影衰落的方差σ²＝5、10、20、23.48时融合算法检测目标的准确率，可以看出当距离误差增大时，融合算法判断的准确率下降，但是实际中双目视觉估计的距离误差在1m左右，因此本发明算法在实际应用中的准确率较高。

上述的算法描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述算法做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述描述算法，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (9)

1.一种基于无人机视觉和无线信号融合的信号源检测方法，包括如下步骤：

(1)无人机持续飞行并在路径上若干个位置通过双目相机提取识别可疑地面物体并编号，若出现新的编号，则更新物体编号集合；

(2)对于上述任一位置，无人机通过双目深度估计得到其与地面各个物体的距离数据以及该位置由机载传感器测得的无线信号接收功率数据，并将新接收到的距离数据和无线信号接收功率数据按照物体编号存入对应的数据集合中；

(3)采用基于视觉深度数据和无线信号融合的特定信号源检测方法检测无线信号源，即利用最大似然估计评估每个地面物体在接收功率对数正态模型下的参数，然后利用参数估计值来拟合接收功率，最后计算拟合得到的接收功率与机载传感器测得的接收功率之间的均方误差MSE，并依此判断确定唯一信号源。

2.根据权利要求1所述的信号源检测方法，其特征在于：所述步骤(2)中的距离数据和接收功率数据均以向量形式表示，具体如下：

d_s＝[d_s1,d_s2,...,d_si,...,d_sN]^T

p_s＝[p_s1,p_s2,...,p_si,...,p_sN]^T

其中：s为地面物体的编号，d_s为无人机通过双目深度估计得到与地面物体s距离所组成的向量，p_s为机载传感器测得的无线信号接收功率所组成的向量，N为测量的位置点数量，d_sn为无人机在位置n对地面物体s实施双目深度估计得到的距离值，n为位置序号且1≤n≤N，p_sn为机载传感器测得在位置n处无线信号的接收功率值。

3.根据权利要求1所述的信号源检测方法，其特征在于：所述步骤(3)的具体实现过程如下：

3.1建立地面物体无线信号接收功率的对数正态模型；

3.2建立关于参考距离接收功率p₀、路径损耗指数α、正态分布方差σ²的似然函数L(p₀,α,σ²)；

3.3利用L(p₀,α,σ²)的自然对数分别对p₀、α和σ²求偏导并使导数为0，从而得到p₀、α和σ²的估计值；

3.4将p₀、α和σ²的估计值代入对数正态模型中拟合得到地面物体无线信号的接收功率；

3.5计算拟合得到的无线信号接收功率与机载传感器测得的无线信号接收功率之间的均方误差MSE；

3.6根据步骤3.1～3.5遍历物体编号集合中的所有地面物体，选择对应均方误差最小的地面物体作为信号源。

4.根据权利要求3所述的信号源检测方法，其特征在于：所述对数正态模型的表达式如下：

其中：p为与地面物体距离d处的以dB为单位的无线信号接收功率，参考距离接收功率p₀即为与地面物体距离d₀处的以dB为单位的无线信号接收功率，d₀为参考距离，d为实际距离，X_σ为与环境相关的阴影衰落因子，其服从均值为0，方差为σ²的正态分布。

5.根据权利要求3所述的信号源检测方法，其特征在于：所述似然函数L(p₀,α,σ²)的表达式如下：

其中：d_sn为无人机在位置n处对地面物体s实施双目深度估计得到的距离值，p_sn为机载传感器测得位置n处的以dB为单位的无线信号接收功率值，s为地面物体的编号并假设s为信号源，n为位置序号且1≤n≤N，N为测量的位置点数量。

6.根据权利要求5所述的信号源检测方法，其特征在于：所述似然函数L(p₀,α,σ²)自然对数的表达式如下：

7.根据权利要求5所述的信号源检测方法，其特征在于：所述步骤3.3中利用L(p₀,α,σ²)的自然对数分别对p₀、α和σ²求偏导的具体表达式如下：

8.根据权利要求5所述的信号源检测方法，其特征在于：所述步骤3.3中p₀、α和σ²的估计值表达式如下：

其中：和/>分别对应为p₀、α和σ²的估计值，/>

9.根据权利要求3所述的信号源检测方法，其特征在于：所述步骤3.5中均方误差MSE的计算公式如下：

其中：MSE_s为对于地面物体s通过拟合得到的无线信号接收功率与机载传感器测得的无线信号接收功率之间的均方误差，s为地面物体的编号，p_sn为机载传感器测得位置n处无线信号的接收功率值并假设s为信号源，为通过拟合得到假设地面物体s是信号源时被无人机在位置n处得到的无线信号的接收功率值，n为位置序号且1≤n≤N，N为测量的位置点数量。