CN111401565B - 一种基于机器学习算法XGBoost的DOA估计方法 - Google Patents

Abstract

本发明公开了一种基于机器学习算法XGBoost的DOA估计方法，包括：获取加噪的阵列信号以得到协方差矩阵；根据所述协方差矩阵得到数据集；根据所述数据集构建训练集和测试集；采用XGBoost算法模型对所述训练集进行训练，并计算该模型最优参数；根据所述XGBoost算法模型最优参数对所述测试集进行预测。本发明提供的基于机器学习算法XGBoost的DOA估计方法提高了预测的速度和精度；同时具有不易受异常值影响、不需要大量的训练数据且模型解释性良好的优点。

Description

一种基于机器学习算法XGBoost的DOA估计方法

技术领域

本发明属于信号处理技术领域，具体涉及一种基于机器学习算法XGBoost的DOA估计方法。

背景技术

波达方向(DOA)是阵列信号处理的一个重要分支，阵列信号处理是将一组传感器形成传感器阵列，并接收空间信号，得到空间信号源的空间离散观测数据。与传统的单个定向传感器相比，传感器阵列具有灵活的波束控制、较高的信号增益、极强的干扰抑制能力及跟高的空间分辨能力等优点。但由于非理想的传感器设计和制造工艺、阵列安装误差、传感器间相互干扰和背景辐射等，阵列系统中可能存在各种缺陷，只能简化模型来描述各种缺陷的影响而导致无法准确建模，会对DOA估计的性能产生显著的负面影响。

传统的DOA估计方法主要有MUSIC(multiple signal classificationalgorithm)算法、ESPRIT(estimating signal parameter via rotational invariancetechniques)算法，现有用于DOA估计的流行机器学习方法主要是支持向量机和神经网络。

然而，MUSIC算法需要进行谱峰搜索，ESPRIT算法需要对小特征值的重数进行估计，且这两种算法都需要进行大量的矩阵运算，进一步加大了运算复杂度，降低了速度；而支持向量机需要进行复杂的核函数计算，当数据量过大时，运算速度缓慢，且估计精度有待提高；神经网络需要的数据量过大，同时可解释性较弱。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于机器学习算法XGBoost的DOA估计方法。本发明要解决的技术问题通过以下技术方案实现：

获取加噪的阵列信号以得到协方差矩阵；

根据所述协方差矩阵得到数据集；

根据所述数据集构建训练集和测试集；

采用XGBoost算法模型对所述训练集进行训练，并计算该模型最优参数；

根据所述XGBoost算法模型最优参数对所述测试集进行预测。

在本发明的一个实施例中，所述加噪的阵列信号的矩阵表达式为：

X(t)＝A(θ)S(t)+N(t)；

其中，A(θ)表示N×M维的方向矩阵，M表示非相干窄带信号的个数，N表示阵列数量，且M＜N，θ表示非相干窄带信号的入射角，S(t)表示包含复杂幅值信息的M×1维信号矢量；N(t)为N×1维噪声矢量；X(t)表示在时刻t接收到的信号。

在本发明的一个实施例中，根据所述协方差矩阵得到数据集，包括：

根据所述协方差矩阵得到所述XGBoost算法模型的输入特征量；

对所述输入特征量进行归一化处理得到数据集。

在本发明的一个实施例中，所述协方差矩阵的表达式为：

R_x＝E{X(t)X^H(t)}＝A(θ)RA(θ)^H+σ²I；

其中，R表示特征值对角矩阵，I表示单位矩阵，σ²表示加性高斯白噪声的方差，H表示矩阵的共轭转置。

在本发明的一个实施例中，所述XGBoost算法模型为：

F＝{f(x)＝w_q(x)}(q:R^m→T,w∈R^T)；

其中，F为假设空间，f(x)为CART回归树，q(x)表示将样本x分到某个叶子节点上，w表示叶子节点的分数，w_q(x)表示模型对样本的预测值，m表示特征向量的个数，T表示树的叶子数量。

在本发明的一个实施例中，采用XGBoost算法模型对所述训练集进行训练，并计算该模型最优参数，包括：

采用XGBoost算法模型对所述训练集进行训练求解，以得到叶子节点最优分数和所述算法模型最小损失函数；

根据所述XGBoost算法模型最小损失函数确定其回归树的结构，以完成所述XGBoost算法模型最优参数的计算。

在本发明的一个实施例中，所述叶子节点最优分数为：

其中，

表示t-1时刻第i个数据的预测值，y_i表示第i个数据的标签真实值；β表示对叶子节点分数的惩罚因子，I_j＝{i|q(x_i)＝j}，表示每个叶节点j上的样本集合。

在本发明的一个实施例中，所述XGBoost算法模型最小损失函数为：

其中，T表示树的叶子数量，γ表示树的惩罚因子。

在本发明的一个实施例中，根据所述XGBoost算法模型最小损失函数确定其回归树的结构，以完成所述XGBoost算法模型最优参数的计算，包括：

根据某个特征k的每个数值对应的二阶导数h_i值，确定待划分点的候选集合；

将每个特征的取值映射到由该特征对应的候选集合划分的分桶区间，并对每个所述分桶区间内的样本统计值进行累加，得到累加值G_j和H_j；其中，

根据所述累加值计算并对比划分候选集不同情况的增益值，选择增益值最大的划分点作为该回归树的最终分裂节点，确定该回归树的结构，以完成所述XGBoost算法模型最优参数的计算。

在本发明的一个实施例中，所述增益值的计算公式为：

其中，G_L表示所属划分点左边数据的增益值，G_R表示所属划分点右边数据的增益值，H_L表示所属划分点左边数据的二阶导数值之和，H_R表示所属划分点右边数据的二阶导数值之和。

本发明的有益效果：

1、本发明将XGBoost算法运用到DOA估计中，并采用回归的策略，得到了更符合实际情况的训练数据集和模型，从而在一定程度上提高了预测的速度和精度；同时，在训练完模型的最优参数后，只需端到端地预测新的加噪信号，预测速度更快，精度更高；

2、本发明提供的基于机器学习算法XGBoost的DOA估计方法不易受异常值影响，不需要大量的训练数据且模型解释性好；

3、本发明提供的基于机器学习算法XGBoost的DOA估计方法在理论上可无限逼近真实角度，并且还不会额外增加训练和预测时间，同时也符合实际中对DOA估计的场景。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种基于机器学习算法XGBoost的DOA估计方法流程示意图；

图2是本发明实施例提供的四种算法在不同信噪比下的均方误差对比图；

图3是本发明实施例提供的不同信噪比下四种算法对测试集中每个样本预测的平均时间对比图；

图4是本发明实施例提供的三种算法在不同信噪比下的均方误差对比图；

图5是本发明实施例提供的不同信噪比下三种算法对测试集中每个样本预测的平均时间对比图；

图6是本发明实施例提供的三种算法在不同训练集下的测试时间对比图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1是本发明实施例提供的一种基于机器学习算法XGBoost的DOA估计方法流程示意图，包括：

S1：获取加噪的阵列信号以得到协方差矩阵；

具体地，设M个非相干窄带信号入射到阵元间距为d的N个相同阵元均匀排列的直线阵上(M＜N)，入射角即波达方向为θ＝[θ₁,θ₂,...,θ_M]，则第i个天线阵元在t时刻接收到的信号为：

其中，s_m(t)是第m个窄带信号；λ表示波长；n_i(t)表示均值为0、方差为σ²的加性高斯白噪声。

进一步地，将其表示为矩阵形式，为：

X(t)＝A(θ)S(t)+N(t)；

式中，A(θ)为N×M维的方向矩阵；S(t)为包含了复杂的幅值信息的M×1维信号矢量；N(t)为N×1维噪声矢量；X(t)为在时刻t接收到的信号，具体如下：

式中：a(θ_m)为阵元间距为d的均匀线阵的阵列响应矢量，即

进一步地，对所述加噪的阵列信号进行协方差计算，得到协方差矩阵。

具体地，接收信号的M×M维协方差矩阵可以表示为：

R_x＝E{X(t)X^H(t)}＝A(θ)RA(θ)^H+σ²I；

其中，R表示特征值对角矩阵，I表示单位矩阵，σ²表示加性高斯白噪声的方差，H表示矩阵的共轭转置。

S2：根据所述协方差矩阵得到数据集；

进一步地，先根据所述协方差矩阵得到所述XGBoost算法模型的输入特征量；

具体地，选取所述协方差矩阵的右上三角构建XGBoost算法模型的输入特征量；由于R_x是对称阵，元素R(i,j)和R(j,i)的信息相同，且主对角线元素不包含任何信号的方位信息，因此常选择由M(M-1)/2个元素构成的上三角矩阵来构建模型的输入向量：

b＝[R₁₂,R₁₃,...,R_1M,R₂₃,R₂₄,...,R_(M-1)M]。

然后对所述输入特征量进行归一化处理以得到数据集。

由于天线接收的不是理想的窄带信号，向量b中的每个元素需要按照实部和虚部分成两个元素，为M(M-1)维向量b₁，并将其归一化后作为输入的数据集：

式中，||b₁||表示b₁的欧式范数。

S3：根据所述数据集构建训练集和测试集；

进一步地，先将数据集划分为训练集和测试集，测试集中不包含训练集的数据。假设得到的训练集有n条数据，m个特征向量，则训练集可以表示为：

D＝{(x_i,y_i)}(|D|＝n,x_i∈[-1,1]^m,y_i∈[-90,90])。

测试集采用类似的方法构建。

S4：采用XGBoost算法模型对所述训练集进行训练，并计算该模型最优参数；

进一步地，XGBoost算法模型是K个CART回归树模型相加的结果，f(x)表示CART回归树(简称树)，F是假设空间，则有：

F＝{f(x)＝w_q(x)}(q:R^m→T,w∈R^T)；

其中，q(x)表示将样本x分到某个叶子节点上，w是叶子节点的分数，所以w_q(x)表示回归树对样本的预测值，T表示树的叶子数量，γ表示树的惩罚因子。

进一步地，采用XGBoost算法模型对所述训练集进行训练求解，以得到叶子节点最优分数和所述算法模型最小损失函数。

具体地，XGBoost算法模型的损失函数为：

其中，

是误差函数，用来反应模型有多拟合数据，/>

表示预测值，y_i表示第i个数据的标签真实值。/>

是正则化项，用来惩罚复杂模型，防止过拟合，T表示树的叶子数量，γ表示对树的叶子个数的惩罚因子，β表示对叶子节点分数的惩罚因子。

由于XGBoost算法模型不能在传统的欧几里得空间中找到合适的解，因此通过迭代求近似解。假设在第t次迭代时，模型的预测等于前t-1次的模型预测加上第t棵树的预测：

此时，目标函数可写成：

公式中y_i和

都是已知，模型要学习的只有第t棵树f_t。

将误差函数在

处进行二阶泰勒展开：

公式中，

将公式中的常数项去掉，得到：

把f_t和Ω(f_t)写成树结构的形式，即把下式带入目标函数中：

f(x)＝w_q(x)和

得到：

定义每个叶节点j上的样本集合为I_j＝{i|q(x_i)＝j}，则目标函数可以写成按叶节点累加的形式：

如果确定了树的结构(即q(x)确定)，为了使目标函数最小，可以令其导数为0，解得每个叶节点的最优预测权值分数为：

带入目标函数中，得到最小损失函数为：

本发明引入的机器学习方法是基于数据驱动，能自动训练出表征数据分布的模型参数的方法，被广泛用于通信、信号处理、图像、人工智能等领域。在建立分析阵列信号传播模型非常复杂的情况下，将机器学习方法用于DOA估计，可不需对传播模型进行简化、对阵列几何形状进行预先假设，通过生成合适的数据集，选择优秀的机器学习方法，便能对DOA进行精确的估计。

进一步地，根据所述XGBoost算法模型最小损失函数确定其回归树的结构，以完成所述XGBoost算法模型最优参数的计算。

上面已得到了最小损失函数为：

令

则最小损失为：

其中，

衡量了每个叶子节点对总体损失的贡献，在实际当中，损失越小越好，则要求/>

的值越大越好。因此，对于一个叶子节点进行分裂，分裂前后的增益定义为：

其中，G_L表示所属划分点左边数据的增益值，G_R表示所属划分点右边数据的增益值，H_L表示所属划分点左边数据的二阶导数值之和，H_R表示所属划分点右边数据的二阶导数值之和。Gain的值越大，分裂后损失减少越多。

在本实施例中，XGBoost采用的是加权分位数略图算法，以二阶导数h_i作为权值，然后计算待划分处两边的增益，选择增益最大的地方作为切分点，具体如下：

根据某个特征k的每个数值对应的二阶导数h_i值，确定待划分点的候选集合；

将每个特征的取值映射到由该特征对应的候选集合划分的分桶区间，并对每个所述分桶区间内的样本统计值进行累加，得到累加值G_j和H_j；其中，

根据所述累加值计算并对比划分候选集不同情况的增益值，选择增益值最大的划分点作为该回归树的最终分裂节点，确定该回归树的结构，以完成所述XGBoost算法模型最优参数的计算。

S5：根据所述XGBoost算法模型最优参数对所述测试集进行预测。

具体地，上面已经得到了叶子节点最优分数和XGBoost算法模型最小损失函数，并且确定了树的结构，完成了XGBoost算法模型的求解。当有测试集到来，保留模型最优参数量，按照这个模型便可对测试集进行预测，从而实现端到端的对测试集的DOA进行预测。

本发明采用的XGBoost是基于梯度提升树(GBDT)原理的工程上优化的算法，梯度提升树是CART树结合集成学习算法Boosting而形成的一个优秀的算法模型，有着良好的可解释性和精确的预测效果。本发明将XGBoost算法运用到DOA估计中，同时采用回归的策略，得到了更符合实际情况的训练数据集和模型，从而在一定程度上提高了预测的速度和精度；同时，在训练完模型的最优参数后，只需端到端地预测新的加噪信号，预测速度更快，精度更高。

进一步地，本发明提供的基于机器学习算法XGBoost的DOA估计方法不易受异常值影响，不需要大量的训练数据且模型解释性好；且本方法在理论上可无限逼近真实角度，并且还不会额外增加训练和预测时间，同时也符合实际中对DOA估计的场景。

实施例二

下面通过仿真实验对本发明的效果作进一步的说明。

仿真条件：

设置阵列数量为8个，阵元间距为0.5m，快拍数为512，入射角是-85°～85°随机值。

仿真内容：

仿真实验一

将传统的MUSIC算法、神经网络算法(NN)、支持向量机中的支持回归算法(SVR)与本发明的XGBoost算法进行实验对比。

首先，构建训练集；具体由入射角-85°～85°随机产生，信噪比SNR＝-5dB、0dB、5dB、10dB，在不同信噪比下随机产生了12000个训练样本。

然后构建测试集；具体由入射角-85°～85°随机产生，信噪比SNR＝-5dB、0dB、5dB、10dB，在不同信噪比下随机产生了200个测试样本。

请参见图2和图3，图2是本发明实施例提供的四种算法在不同信噪比下的均方误差对比图，图3是本发明实施例提供的不同信噪比下四种算法对测试集中每个样本预测的平均时间对比图。

从图2中可以看出，随着信噪比的增加，MUSIC、NN、SVR与本发明的XGBoost四种算法的均方误差都逐渐减少，但XGBoost算法远远好于SVR和NN，接近MUSIC算法；从图3中可以看出，XGBoost、NN、SVR的预测时间均远远好于MUSIC算法。

仿真实验二

将神经网络算法(NN)、支持向量机中的支持回归算法(SVR)与本发明的XGBoost算法进行实验对比。

首先，构建训练集；具体由入射角-85°～85°随机产生，信噪比SNR＝-5～10随机产生，共产生了5个不同数量的训练集，分别是1.2万、2.4万、3.6万、4.8万、6万个训练样本。

然后构建测试集；具体由入射角-85°～85°随机产生，信噪比SNR＝-5～10随机产生，在不同数量的训练集下随机产生了2400个测试样本。

请参见图4～图6，图4是本发明实施例提供的三种算法在不同信噪比下的均方误差对比图，图5是本发明实施例提供的不同信噪比下三种算法对测试集中每个样本预测的平均时间对比图，图6是本发明实施例提供的三种算法在不同训练集下的测试时间对比图。

从图4中可以看出，随着训练集样本的增加，NN、SVR以及XGBoost三种算法的均方误差均逐渐减少，其中XGBoost的均方误差三种算法中最少；从图5中可以看出，随着训练集样本的增加，NN、SVR以及XGBoost三种算法的训练时间都逐渐增加，其中SVR训练时间最长，NN模型逐渐比XGBoost时间多。从图6中可以看出，随着训练集样本的增加，SVR的预测时间逐渐增加，NN和XGBoost的预测时间均好于SVR。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于机器学习算法XGBoost的DOA估计方法，其特征在于，包括：

获取加噪的阵列信号以得到协方差矩阵；

根据所述协方差矩阵得到数据集；

根据所述数据集构建训练集和测试集；

采用XGBoost算法模型对所述训练集进行训练，并计算该模型最优参数；

根据所述XGBoost算法模型最优参数对所述测试集进行预测；其中，

采用XGBoost算法模型对所述训练集进行训练，并计算该模型最优参数包括：

采用XGBoost算法模型对所述训练集进行训练求解，以得到叶子节点最优分数和所述算法模型最小损失函数；其中，所述叶子节点最优分数为：

其中，

表示t-1时刻第i个数据的预测值，y_i表示第i个数据的标签真实值；β表示对叶子节点分数的惩罚因子，I_j＝{i|q(x_i)＝j}，表示每个叶节点j上的样本集合；

所述XGBoost算法模型最小损失函数为：

其中，T表示树的叶子数量，γ表示树的惩罚因子；

根据所述XGBoost算法模型最小损失函数确定其回归树的结构，以完成所述XGBoost算法模型最优参数的计算，包括：

根据某个特征k的每个数值对应的二阶导数h_i值，确定待划分点的候选集合；

将每个特征的取值映射到由该特征对应的候选集合划分的分桶区间，并对每个所述分桶区间内的样本统计值进行累加，得到累加值G_j和H_j；其中，

根据所述累加值计算并对比划分候选集不同情况的增益值，选择增益值最大的划分点作为该回归树的最终分裂节点，确定该回归树的结构，以完成所述XGBoost算法模型最优参数的计算。

2.根据权利要求1所述的DOA估计方法，其特征在于，所述加噪的阵列信号的矩阵表达式为：

X(t)＝A(θ)S(t)+N(t)；

其中，A(θ)表示N×M维的方向矩阵，M表示非相干窄带信号的个数，N表示阵列数量，且M＜N，θ表示非相干窄带信号的入射角，S(t)表示包含复杂幅值信息的M×1维信号矢量；N(t)为N×1维噪声矢量；X(t)表示在时刻t接收到的信号。

3.根据权利要求2所述的DOA估计方法，其特征在于，根据所述协方差矩阵得到数据集，包括：

根据所述协方差矩阵得到所述XGBoost算法模型的输入特征量；

对所述输入特征量进行归一化处理得到数据集。

4.根据权利要求3所述的DOA估计方法，其特征在于，所述协方差矩阵的表达式为：

R_x＝E{X(t)X^H(t)}＝A(θ)RA(θ)^H+σ²I；

其中，R表示特征值对角矩阵，I表示单位矩阵，σ²表示加性高斯白噪声的方差，H表示矩阵的共轭转置。

5.根据权利要求1所述的DOA估计方法，其特征在于，所述XGBoost算法模型为：

F＝{f(x)＝w_q(x)}(q:R^m→T,w∈R^T)；

其中，F为假设空间，f(x)为CART回归树，q(x)表示将样本x分到某个叶子节点上，w表示叶子节点的分数，w_q(x)表示模型对样本的预测值，m表示特征向量的个数，T表示树的叶子数量。

6.根据权利要求1所述的DOA估计方法，其特征在于，所述增益值的计算公式为：

其中，G_L表示所属划分点左边数据的增益值，G_R表示所属划分点右边数据的增益值，H_L表示所属划分点左边数据的二阶导数值之和，H_R表示所属划分点右边数据的二阶导数值之和。

Images