CN116609754A - 一种可进化的智能化单模态机载雷达目标跟踪方法 - Google Patents

Abstract

本发明公开了一种可进化的智能化单模态机载雷达目标跟踪方法，涉及智能化雷达的技术领域，该方法包括：建立包含雷达参数的规则库，根据跟踪目标的不同动作，从规则库中挑选最优的雷达跟踪策略对跟踪目标进行照射跟踪；对雷达回波进行预处理；对进行预处理后的雷达回波进行贝叶斯杂波抑制，得到跟踪目标的基本运动信息；对跟踪目标进行自适应跟踪；对跟踪数据进行学习评估；构建深度强化学习网络，决策下一个时刻雷达的运行策略；提取跟踪数据作为训练集对深度强化学习网络进行训练，使用深度强化学习网络在规则库中选择具有最大回报值的跟踪目标策略，形成闭环，从而提高雷达的跟踪性能，也使深度强化学习网络实现自我进化。

Description

一种可进化的智能化单模态机载雷达目标跟踪方法

技术领域

本发明涉及智能化雷达的技术领域，具体而言，涉及一种可进化的智能化单模态机载雷达目标跟踪方法。

背景技术

传统雷达发射和接收信号的波形参数较为固定，不能根据目标和环境的变化，实时地调整雷达的工作参数，因此其对目标的检测和跟踪的准确性和实时性得不到保证，更无法根据目标的特征和运动模型，对目标进行分类和识别，缺乏对目标和环境的信息进行持续的感知、学习和预测，不具备自我学习和环境自适应能力，不能满足复杂环境下，准确、实时和稳健的目标跟踪和目标检测需求。

传统雷达工程会应用典型或经验模型来进行目标识别、环境杂波和干扰抑制，这些常用的经典模型包括：目标闪烁的swerling模型、杂波分布模型、信道衰减模型等；由于这些模型通常具有特定的使用范围，例如仅针对海面、仅针对陆地等，在复杂环境，例如海陆交界处的普适性较差。

以典型的杂波抑制模型为例，常假定杂波分布满足一定的平稳特性，如平原区域、沙漠区域、低海况区域等，但机载雷达下视探测的区域通常比较复杂，很难满足平稳特性，比如地形起伏大(山区环境)、地表覆盖变化大(不同植被、水体和路网)、存在海陆交界、高层建筑物多、高压电塔等，这些非均匀杂波都会破坏杂波抑制模型的有效性。此外传统雷达的工作参数，如信号波形、带宽、天线极化、检测门限、积累时间等一般为一个或多个可选的预设值，不能根据应用环境进行动态调整，从而也严重限制了雷达系统的环境适应能力。

智能化雷达根据环境和目标的变化调整其操作和处理方案，以实现比传统雷达更好的目标探测性能。这类雷达可以从其经验中学习和发展，是下一代目标探测的重要研究方向。

发明内容

本发明的目的在于：提供一种克服外界复杂环境，具有更高跟踪性能的可进化的智能化单模态机载雷达目标跟踪方法。

本发明的技术方案是：提供了一种可进化的智能化单模态机载雷达目标跟踪方法，该方法包括：

S1、建立包含雷达波形类型、波形参数、波束方向和扫描方式的规则库，根据跟踪目标的不同动作，从规则库中挑选最优的雷达跟踪策略对跟踪目标进行照射跟踪；

S2、对雷达回波进行预处理，依次对雷达回波进行非相参积累、CFAR检测和脉冲压缩减小环境干扰；

S3、对进行预处理后的雷达回波进行贝叶斯杂波抑制，得到跟踪目标的基本运动信息；

S4、对跟踪目标通过起始航迹提取、速度提取、航迹关联、航迹滤波与预测等一系列处理进行自适应跟踪；

S5、对跟踪数据进行学习评估，得到评估跟踪效果的参数；

S6、构建深度强化学习网络作为雷达决策网络，决策下一个时刻雷达的运行策略；提取跟踪数据作为训练集对深度强化学习网络进行训练，提取步骤S4的自适应跟踪结果和步骤S5的跟踪学习评估结果对深度强化学习网络进行更新；使用深度强化学习网络在步骤S1的规则库中选择具有最大回报值的跟踪目标策略，形成闭环提高雷达的跟踪性能，深度强化学习网络实现自我进化。

上述任一项技术方案中，进一步地，步骤S1还包括：

建立执行记忆库，将每次挑选出的雷达跟踪策略的参数存入执行记忆库中。

上述任一项技术方案中，进一步地，步骤S3中的贝叶斯杂波抑制基于预设的环境知识库中的先验信息辅助，先验信息包括数字地图和杂波地图。

上述任一项技术方案中，进一步地，步骤S3对雷达回波中包含的数据进行贝叶斯杂波抑制，步骤包括：

在对应的约束条件下求的最小值：

其中，w_k为待计算得到的距离单元l中第i个多普勒单元处的基于先验信息的最优滤波权向量，R_k是基于先验信息的杂波协方差矩阵，s(f)是第i个待检测多普勒单元的时域导向向量。

上述任一项技术方案中，进一步地，步骤S4还包括：

建立目标知识库，将每次自适应跟踪得到的包含有跟踪目标的速度、方向和位置信息写入目标知识库；

第二次及以后的自适应跟踪会读取目标知识库记录的信息作为知识辅助。

上述任一项技术方案中，进一步地，步骤S5的评估跟踪效果的参数定义为F-分数，F-分数值越大说明跟踪效果越好，评估步骤包括：

定义准确度：

定义召回率：

F-分数：

其中，G_t表示真实目标位置，如果目标消失，则A_t(τ_θ)表示预测目标的位置，τ_θ表示被判为目标的阈值，使用θ_t表示在t时刻的预测确定性得分，如果t时刻的得分小于阈值，即θ_t＜τ_θ，那么/>Ω(A_t(τ_θ)，G_t)表示预测位置与真实目标位置的交集；τ_Ω表示精确度的阈值；N_p表示当预测集合不为空集的帧数和，N_g表示G_t不为空集的帧数和。

上述任一项技术方案中，进一步地，步骤S6中深度强化学习网络作为训练集的跟踪数据包括执行记忆库和目标知识库中的数据。

上述任一项技术方案中，进一步地，深度强化学习的损失函数为：

其中，r_t是当前时刻的回报，是由深度强化网络迭代所更新的权重，s_t是当前时刻目标状态，a_t是目标行为；D是雷达的所有决策的合集，A是目标的所有行为的集合，γ是折扣因子；/>为雷达之前的跟踪策略，/>为雷达当前的跟踪策略。

本发明的有益效果是：

本发明的技术方案建立了包含雷达波形类型与波形参数、波束和扫描方式的雷达规则库，从雷达规则库中提取合适的参数改变雷达的照射状态，克服了传统雷达不能有效应对外界复杂环境而导致目标跟踪性能低下的缺陷；构建基于深度强化学习的雷达决策方法实现了智能化雷达的自我进化；基于数字地图、杂波地图等先验信息辅助，提升贝叶斯空时处理方法的杂波抑制能力，可以对雷达回波进行知识辅助贝叶斯杂波抑制来得到目标运动信息，克服了对具有多种地貌的复杂区域进行测量时非均匀杂波对雷达的干扰，使雷达能够在多种复杂环境下实现较高的准确度。

附图说明

本发明的上述和附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明的一个实施例的可进化的智能化单模态机载雷达目标跟踪方法的流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

如图1所示，本实施例提供了一种可进化的智能化单模态机载雷达目标跟踪方法，该方法包括：

S1、建立包含雷达波形类型、波形参数、波束方向和扫描方式的规则库，根据跟踪目标的不同动作，从规则库中挑选最优的雷达跟踪策略对跟踪目标进行照射跟踪；建立执行记忆库，将每次挑选出的雷达跟踪策略的参数存入执行记忆库中。

S2、对雷达回波进行预处理，依次对雷达回波进行非相参积累、CFAR检测和脉冲压缩减小环境干扰。

其中，非相参积累、CFAR检测和脉冲压缩都是雷达经常采用的信号处理方法；非相参积累无须考虑采样点之间的相位关系，采用平均多次采样的信号，提高信号的信噪比；CFAR检测在含有噪声的情况下确定信号存在或是不存在，进而判断目标的有或无；脉冲压缩通过增加信号的带宽来缩短信号的时域宽度，从而提高信号的时间分辨能力。

S3、基于预设的环境知识库中数字地图、杂波地图等先验信息辅助，对进行预处理后的雷达回波进行知识辅助贝叶斯杂波抑制，得到跟踪目标的基本运动信息，基于知识辅助的贝叶斯杂波抑制方法表达为：

其中，w_k为待计算得到的距离单元l中第i个多普勒单元处的基于先验信息的最优滤波权向量，是w_k的共轭转置，R_k是基于先验信息的杂波协方差矩阵，s(f_i)是第i个待检测多普勒单元的时域导向向量，s.t.指约束条件。

最优滤波权向量是指在最小均方误差准则下，使得接收端输出的估计信号与真实信号之间的误差的均方值最小的权向量，也称为最优解，通过最优滤波权向量，可以将杂波信号和目标信号进行区分，从而实现目标检测和目标跟踪；杂波协方差矩阵是用来描述雷达接收到的杂波信号特性的一个矩阵，该矩阵的每个元素表示不同天线或接收通道接收到的杂波信号的互相关，对信号进行互相关计算，得到杂波协方差矩阵的各个元素值，从而进一步对接收到的信号进行处理和分析。

具体地，在现有的雷达目标跟踪方法中采用的杂波抑制模型常假定杂波分布满足一定的平稳特性，基本只能对环境较为单一的区域进行准确探测，例如平原、沙漠、近海等区域；对复合环境，例如海陆交界处、山区、城镇等区域进行探测时探测到的非均匀杂波，杂波抑制模型无法完善处理；本发明提供的雷达目标跟踪方法应用环境知识库中的先验信息提供给应用贝叶斯时空处理方法的杂波抑制模型，根据具体的目标和环境情况动态调整雷达的工作参数，从而准确地检测和跟踪目标，满足复杂环境下准确、实时和稳健的目标跟踪和目标检测需求。

S4、对跟踪目标通过起始航迹提取、速度提取、航迹关联、航迹滤波与预测等一系列处理进行自适应跟踪；建立目标知识库，将每次自适应跟踪得到的包含有跟踪目标的速度、方向和位置信息写入目标知识库，第二次及以后的自适应跟踪时会读取目标知识库记录的信息作为知识辅助。

S5、对跟踪数据进行学习评估，评估跟踪效果的参数定义为F-分数，F-分数值越大说明跟踪效果越好，评估步骤包括：

定义准确度：

定义召回率：

F-分数：

其中，G_t表示真实目标位置，如果目标消失，则A_t(τ_θ)表示预测目标的位置，τ_θ表示被判为目标的阈值，若用θ_t来表示在t时刻的预测确定性得分，如果t时刻的得分小于阈值，即θ_t＜τ_θ，那么/>Ω(A_t(τ_θ)，G_t)表示预测位置与真实目标位置的交集；τ_Ω表示精确度的阈值；N_p为当预测集合不为空集的帧数和，N_g为G_t不为空集的帧数和。

S6、构建深度强化学习网络作为雷达决策网络，用于决策下一个时刻雷达的运行策略；提取执行记忆库和目标知识库数据作为训练集对深度强化学习网络进行训练，提取步骤S4的自适应跟踪结果和步骤S5的跟踪学习评估结果对深度强化学习网络进行更新。

在本实施例中，采用深度Q网络(Deep Q-Networks，DQN)算法决定雷达决策并优化，对Q网络输入雷达获取的数据和雷达系统状态，Q网络输出每个可能的决策动作对应的拟合Q值，Q值(或称为动作值函数)表示在给定状态和选择的动作下，智能体可以获得的预期累积回报。

深度Q网络算法通过与环境的交互，不断优化Q网络的参数，在每个时间步，系统会基于当前状态和Q网络的估计选择一个动作；同时，系统会观察环境反馈的奖励信号和下一个状态，并将这些信息存储为经验样本。

深度Q网络算法从经验样本中随机抽取一批数据，将其作为训练数据进行Q网络的训练；训练过程中，DQN通过最小化均方误差损失函数，将Q网络的输出逐渐调整向与真实的Q值更接近的方向。这样一来，Q网络逐渐学习到状态和动作之间的累积回报关系，进而指导下一个时刻的决策；通过不断的交互、学习和优化，DQN算法使得雷达决策网络能够逐渐改进其预测能力和决策策略。

深度强化学习的损失函数为：

其中，r_t是当前时刻的回报，是由深度强化网络迭代所更新的权重，s_t是当前时刻目标状态，a_t是目标行为，D是雷达的所有决策的集合，γ为折扣因子，并且γ∈[0，1)，A是目标的所有行为的集合；/>表示在目标状态是s_t、目标行为是a_t时，雷达之前的跟踪策略，/>表示雷达当前的跟踪策略。

通过深度强化学习网络选择具有最大回报值的策略跟踪目标，进而雷达-目标-雷达形成了一个不断进化更新的闭环，不断的根据目标状态的变化而更新深度强化学习网络实现自我进化。

综上所述，本发明提出了一种可进化的智能化单模态机载雷达目标跟踪方法，该方法包括：

S1、建立包含雷达波形类型、波形参数、波束方向和扫描方式的规则库，根据跟踪目标的不同动作，从规则库中挑选最优的雷达跟踪策略对跟踪目标进行照射跟踪；

S2、对雷达回波进行预处理，依次对雷达回波进行非相参积累、CFAR检测和脉冲压缩减小环境干扰；

S3、对进行预处理后的雷达回波进行贝叶斯杂波抑制，得到跟踪目标的基本运动信息；

S4、对跟踪目标通过起始航迹提取、速度提取、航迹关联、航迹滤波与预测等一系列处理进行自适应跟踪；

S5、对跟踪数据进行学习评估，得到评估跟踪效果的参数；

S6、构建深度强化学习网络作为雷达决策网络，决策下一个时刻雷达的运行策略；提取跟踪数据作为训练集对深度强化学习网络进行训练，提取步骤S4的自适应跟踪结果和步骤S5的跟踪学习评估结果对深度强化学习网络进行更新；使用深度强化学习网络在步骤S1的规则库中选择具有最大回报值的跟踪目标策略，形成闭环提高雷达的跟踪性能，也使深度强化学习网络实现自我进化。

本发明中的步骤可根据实际需求进行顺序调整、合并和删减。

尽管参考附图详地公开了本发明，但应理解的是，这些描述仅仅是示例性的，并非用来限制本发明的应用。本发明的保护范围由附加权利要求限定，并可包括在不脱离本发明保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (8)

1.一种可进化的智能化单模态机载雷达目标跟踪方法，其特征在于，所述方法包括：

S1、建立包含雷达波形类型、波形参数、波束方向和扫描方式的规则库，根据跟踪目标的不同动作，从规则库中挑选最优的雷达跟踪策略对跟踪目标进行照射跟踪；

S2、对雷达回波进行预处理，依次对雷达回波进行非相参积累、CFAR检测和脉冲压缩减小环境干扰；

S3、对进行预处理后的雷达回波进行贝叶斯杂波抑制，得到跟踪目标的基本运动信息；

S4、对跟踪目标通过起始航迹提取、速度提取、航迹关联、航迹滤波与预测等一系列处理进行自适应跟踪；

S5、对跟踪数据进行学习评估，得到评估跟踪效果的参数；

S6、构建深度强化学习网络作为雷达决策网络，决策下一个时刻雷达的运行策略；提取跟踪数据作为训练集对深度强化学习网络进行训练，提取所述步骤S4的自适应跟踪结果和所述步骤S5的跟踪学习评估结果对深度强化学习网络进行更新；使用深度强化学习网络在所述步骤S1的规则库中选择具有最大回报值的跟踪目标策略，形成闭环提高雷达的跟踪性能，深度强化学习网络实现自我进化。

2.如权利要求1所述的可进化的智能化单模态机载雷达目标跟踪方法，其特征在于，所述步骤S1还包括：

建立执行记忆库，将每次挑选出的雷达跟踪策略的参数存入所述执行记忆库中。

3.如权利要求1所述的可进化的智能化单模态机载雷达目标跟踪方法，其特征在于，所述步骤S3中的贝叶斯杂波抑制基于预设的环境知识库中的先验信息辅助，所述先验信息包括数字地图和杂波地图。

4.如权利要求3所述的可进化的智能化单模态机载雷达目标跟踪方法，其特征在于，所述步骤S3对雷达回波中包含的数据进行贝叶斯杂波抑制，步骤包括：

在对应的约束条件下求的最小值：

其中，w_k为待计算得到的距离单元l中第/个多普勒单元处的基于先验信息的最优滤波权向量，R_k是基于先验信息的杂波协方差矩阵，s(f_i)是第i个待检测多普勒单元的时域导向向量。

5.如权利要求2所述的可进化的智能化单模态机载雷达目标跟踪方法，其特征在于，所述步骤S4还包括：

建立目标知识库，将每次自适应跟踪得到的包含有跟踪目标的速度、方向和位置信息写入所述目标知识库；

第二次及以后的自适应跟踪会读取所述目标知识库记录的信息作为知识辅助。

6.如权利要求1所述的可进化的智能化单模态机载雷达目标跟踪方法，其特征在于，所述步骤S5的评估跟踪效果的参数定义为F-分数，F-分数值越大说明跟踪效果越好，评估步骤包括：

定义准确度：

定义召回率：

F-分数：

其中，G_t表示真实目标位置，如果目标消失，则A_t(τ_θ)表示预测目标的位置，τ_θ表示被判为目标的阈值，使用θ_t表示在t时刻的预测确定性得分，如果t时刻的得分小于阈值，即θ_t<τ_θ，那么/>Ω(A_t(τ_θ),G_t)表示预测位置与真实目标位置的交集；τ_Ω表示精确度的阈值；N_p表示当预测集合不为空集的帧数和，N_g表示G_t不为空集的帧数和。

7.如权利要求5所述的可进化的智能化单模态机载雷达目标跟踪方法，其特征在于，所述步骤S6中深度强化学习网络作为训练集的跟踪数据包括所述执行记忆库和所述目标知识库中的数据。

8.如权利要求1所述的可进化的智能化单模态机载雷达目标跟踪方法，其特征在于，所述深度强化学习的损失函数为：

其中，r_t是当前时刻的回报，是由深度强化网络迭代所更新的权重，s_t是当前时刻目标状态，a_t是目标行为；D是雷达的所有决策的合集，A是目标的所有行为的集合，γ是折扣因子；/>为雷达之前的跟踪策略，/>为雷达当前的跟踪策略。