CN115236607A - 一种基于双层q学习的雷达抗干扰策略优化方法 - Google Patents
一种基于双层q学习的雷达抗干扰策略优化方法 Download PDFInfo
- Publication number
- CN115236607A CN115236607A CN202210782045.3A CN202210782045A CN115236607A CN 115236607 A CN115236607 A CN 115236607A CN 202210782045 A CN202210782045 A CN 202210782045A CN 115236607 A CN115236607 A CN 115236607A
- Authority
- CN
- China
- Prior art keywords
- radar
- interference
- learning
- model
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005457 optimization Methods 0.000 title claims abstract description 39
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 230000003993 interaction Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 10
- 230000035485 pulse pressure Effects 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000013210 evaluation model Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000001035 drying Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims 1
- 238000002592 echocardiography Methods 0.000 claims 1
- 238000010408 sweeping Methods 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 6
- 238000013461 design Methods 0.000 abstract description 5
- 239000002131 composite material Substances 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 230000002787 reinforcement Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000001629 suppression Effects 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 229920000776 Poly(Adenosine diphosphate-ribose) polymerase Polymers 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/36—Means for anti-jamming, e.g. ECCM, i.e. electronic counter-counter measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Radar, Positioning & Navigation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
由于干扰样式之间可构成的复合干扰场景难以穷举、人工编排与设计的方法将变得繁琐且难以实现,导致抗干扰性能难以保证。本发明实例研究了一种基于双层Q学习的雷达抗干扰策略优化方法,具体如下:首先构建雷达与干扰机博弈对抗交互流程与复杂电磁环境模型,设计雷达工作模式、信号参数、干扰机干扰类型与信号参数;然后对雷达接收信号进行特征提取,并识别其中的干扰信号类型;接着构建双层Q学习雷达抗干扰策略优化模型,基于雷达与干扰机博弈对抗交互流程进行模型训练;最后建立雷达抗干扰评估体系与模型,判断对抗干扰策略的有效性,同时辅助双层Q学习雷达抗干扰策略优化模型训练与更新。
Description
技术领域
本发明涉及雷达技术领域,特别涉及强化学习技术以及复杂电磁环境下雷达智能抗干扰策略优化研究。
背景技术
日趋复杂的干扰场景与灵活多变的电磁干扰样式对雷达的动目标检测性能造成了严重影响。常见的干扰样式包括:阻塞式干扰、瞄准式干扰、扫频式干扰、连续波干扰、脉冲干扰、转发干扰及切片干扰等。针对不同干扰场景,雷达可采取的反干扰措施与信号处理方法包括:自适应旁瓣对消算法、副瓣匿影技术、空时自适应处理、反异步处理以及恒虚警检测等。这些干扰样式之间可构成的复合干扰场景难以穷举,同时,雷达可应对的反干扰措施间的排列与组合方式亦无穷。
现有反干扰处理流程与抑制策略的设计依赖于专家经验,并且流程与措施确定后一般不会改变,通过人工设计的反干扰策略将难以应对所有干扰场景。并且,在面对较为复杂的干扰场景时,由于可采用的反干扰措施与信号处理方式较多,通过人工编排与设计的方法将变得繁琐且难以实现。因此,雷达需要具备环境感知与智能化抗干扰的能力。然而,现在的电磁环境具有非平稳的特点,为了实现最优波形,需要系统具有自适应发射的能力。这对于传统的雷达系统而言,并不现实。
自雷达诞生之日起,大部分关于抗干扰和噪声抑制的研究都是针对信号处理方法展开的。然而,研究表明,最有效的抑制环境干扰的方法需要利用波形设计技术才能实现,即设计雷达信号参数。
随着机器学习的发展,通过计算机训练的方式代替人工设计成为了可能。强化学习作为机器学习领域内的一个重要分支,其常应用于策略寻优的问题之中。它能够与环境进行交互式学习,并通过不断试错的方式获取反馈以实现动作策略的更新。目前强化学习算法在雷达对抗领域内的研究较少,特别是雷达抗干扰的应用研究。
本发明提出了一种新的基于双层Q学习的雷达抗干扰策略优化方法,重点研究了该方法在抗压制式干扰的性能。
发明内容
本发明主要在复杂电磁环境场景中考虑基于双层Q学习的雷达抗干扰策略优化,本发明的核心在于,包括:构建雷达与干扰机博弈对抗交互流程与复杂电磁环境模型,设计雷达工作模式与信号参数;对雷达接收信号进行特征提取,并识别其中的干扰信号类型;构建双层Q学习雷达抗干扰策略优化模型,基于雷达与干扰机博弈对抗交互流程进行模型训练;建立雷达抗干扰评估体系与模型,判断对抗干扰策略的有效性,同时辅助双层Q学习雷达抗干扰策略优化模型训练与更新。
本发明的基于双层Q学习的雷达抗干扰策略优化方法包括以下步骤:
步骤200,构建雷达与干扰机博弈对抗交互流程与复杂电磁环境模型,设计雷达工作模式与信号参数。
首先构建雷达智能体基本结构,这是为了赋予雷达在传统雷达上所没有的能力,比如干扰信号精确认知、抗干扰策略生成与优化等。因此,本发明设计了雷达智能体的两个新模块:干扰感知学习引擎与博弈策略对抗优化模块。
雷达的状态均以以下向量表示:
[Mode,[RFr,Bandr,PRIr,PWr,Powerr]],
其中,Mode为雷达工作模式,PRIr为雷达脉冲重复间隔,PWr为脉宽、Powerr为雷达功率,Bandr为雷达带宽,RFr为载频。
然后构建自适应干扰机接基本结构,自适应干扰机包含以下两个主要部分:
1)博弈对抗策略优化模块:该模块中包含雷达状态估计部分,该部分主要作用是从接收信号中识别出雷达信号及其参数;还包含自适应动态干扰知识库,该部分主要是根据雷达信号参数生成干扰信号类型及参数,以及通过干扰机距离变化评估干扰识别准确度,即干扰信号对准雷达信号的程度。
2)干扰机系统:该部分主要作用是根据博弈对抗策略优化模块给出的结果,合理分配干扰资源,发射相应的干扰类型信号。
干扰机状态以以下向量表示:
[Turn,Type,[RFj,Bandj,PRIj,PWj,Powerj]],
其中,PRIj为干扰信号脉冲重复间隔,PWj为干扰脉宽,Powerj为干扰功率,RFj为干扰频率,Bandj为干扰带宽,Turn为干扰机物理距离上的动作(远、不、近),Type为干扰类型。
雷达与干扰机对抗流程为回合制对抗。
步骤210,对雷达接收信号进行特征提取,并识别其中的干扰信号类型。
雷达有源压制干扰的分析主要从特征提取的角度入手,通过从时域、频域、变换域等方面提取不同的特征参数,并对其进行分析,为后续的雷达有源压制干扰识别奠定基础。在干扰识别中所用到的干扰特征参数主要有以下四个:
1)经接收机滤波器后频域峰均值功率比;
2)经过接收机滤波器前后信号能量比;
3)经接收机后包络起伏度;
4)脉压后最大值与脉压前均值比。
将提取出的特征作为模型输入,干扰类型作为输出,构建神经网络模型进行干扰类型分类训练。考虑环境动态性,需要构建多种环境类型下的模型,同时进行识别,取识别结果的众数为可信识别结果,以此提升复杂环境下的干扰类型识别准确率。
步骤220,构建双层Q学习雷达抗干扰策略优化模型,基于雷达与干扰机博弈对抗交互流程进行模型训练。
雷达对抗系统的干扰与反干扰对抗过程不仅是一个对抗双方选择策略博弈的过程,也是不断获取特征信息并修正信息,甚至调整效果的过程。一个带有对抗性质的实时动态策略、行动的对抗过程中,系统状态是可变的,状态的变化又将影响对抗双方的博弈策略。因此,本发明采用强化学习框架对雷达与干扰机对抗博弈过程进行建模。
对比认知干扰决策与强化学习原理可知,在雷达对抗场景下,认知干扰决策的思想可以完全类比于强化学习。雷达通过输出抗干扰措施与目标干扰机进行交互,目标干扰机从而依据一定的概率转移工作状态,雷达基于目标干扰机状态的改变对干扰效果进行评估作为强化学习的“反馈值”,并通过学习反馈值更新抗干扰决策知识库。
在实际作战情况下,必须考虑雷达以及干扰设备对对方所实施的对抗策略的识别能力,如果雷达方能够识别干扰设备采取的干扰策略的形式,那么雷达方一定会采取对自己最有利的对抗策略,同理当干扰设备能够识别雷达的抗干扰策略时,也一定会采用与之相应的对抗措施与之相对应。
考虑到雷达与干扰机的状态表示为二级向量的形式,本发明提出基于双层Q学习的抗干扰策略优化方法,外层Q学习的主要作用是生成下一次雷达的工作模式,内层Q学习的主要作用是生成雷达工作模式下的具体信号参数。
步骤230,建立雷达抗干扰评估体系与模型,判断对抗干扰策略的有效性,同时辅助双层Q学习雷达抗干扰策略优化模型训练与更新。
考虑干扰机状态转移和干扰措施的采取在雷达信号层面的具体表现,本发明构建抗干扰效果评估指标集如下:
1)时域重叠度:干扰信号与雷达信号的PRI、PW重叠度;
2)频域重叠度:干扰信号与雷达信号的RF、B重叠度;
3)雷达接收机的信干噪比;
4)空间选择正确率:雷达发射信号方向对准敌方侦察机的统计概率;
5)驱赶能力评分:现阶段根据对抗效果对雷达驱赶干扰机能力的评分;
6)雷达探测距离:在一定发现概率和虚警概率下,雷达可发现目标的最远距离。
以此为基础,结合雷达识别出的干扰信号相关参数,构建评估模型用于计算Q学习反馈值,辅助强化学习模型训练。外层Q学习的反馈值是干扰机远近变化、信干燥比、干扰类型反馈值组成,内层Q学习的反馈值是带宽重叠度或者时间重叠度。
有益效果
本发明的基于双层Q学习的雷达抗干扰策略优化方法能够很好地适应复杂电磁环境,准确识别出信号中的压制式干扰信号类型,同时快速给出每次对抗下的雷达信号参数,通过评估模型可知,该方法可以有效提升雷达抗干扰性能,提升雷达探测距离。此过程不需要人为操控参与,基于神经网络的干扰类型识别模型与基于双层Q学习的抗干扰策略优化模型相互配合,可以提升雷达自主抗干扰决策的能力,增强雷达智能化程度。
附图说明
本发明的技术步骤会涉及到复杂电磁对抗场景、压制式干扰信号类型识别模型、基于双层Q学习抗干扰策略优化模型、抗干扰策略评估模型、仿真结果的描述,下面将简单解释本发明说明书中提到的所有附图。需要说明的是,下面描述的附图仅仅是本发明实施的一些例子,雷达抗干扰领域其他普通技术人员依旧可以根据这些附图在其他不同场景下获得其他的附图。
图1是本发明的基于双层Q学习的雷达抗干扰策略优化方法流程图;
图2是本发明的雷达智能体基本结构图;
图3是本发明的自适应干扰机接基本结构图;
图4是本发明的基于BP神经网络的干扰类型识别模型;
图5是本发明的干扰信号精确认知流程图;
图6是本发明的基于双层Q学习的雷达博弈对抗策略生成与优化模型框架;
图7是本发明的雷达抗干扰效果评估指标集;
图8是本发明的干扰类型识别准确度随训练次数的变化图;
图9是本发明的雷达抗干扰训练过程中评估指标变化图。
具体实施方式
下面结合本申请中的附图,对本发明的步骤、过程进行完整清晰地描述,显而易见,本申请中所描述的实例仅仅是本发明的一个实例应用场景,其他基于本发明内容的、没有做出实质性改变的结果都是属于本发明的保护范畴。
附图1是本发明的基于双层Q学习的雷达抗干扰策略优化方法流程图,从整体上概括了本发明实施的主要过程,包括:构建雷达与干扰机博弈对抗交互流程与复杂电磁环境模型,设计雷达工作模式与信号参数;对雷达接收信号进行特征提取,并识别其中的干扰信号类型;构建双层Q学习雷达抗干扰策略优化模型,基于雷达与干扰机博弈对抗交互流程进行模型训练;建立雷达抗干扰评估体系与模型,判断对抗干扰策略的有效性,同时辅助双层Q学习雷达抗干扰策略优化模型训练与更新。
本发明实例仅以一个地基多普雷脉冲雷达以及一架自卫式干扰机对抗场景为例进行说明,多个雷达与干扰机的场景仅仅是本发明实例的多个复制。具体描述如下:
步骤300,构建雷达与干扰机博弈对抗交互流程与复杂电磁环境模型,设计雷达工作模式与信号参数,如附图2和附图3所示,分别为本实例构建的雷达智能体与自适应干扰机结构图。
在不同工作模式下,雷达的特征是不同的,需要分析其波形特征、脉内特征、个体特征等。不同的特征对目标构成不同的威胁。例如,当一部雷达处于搜索状态,它对目标的威胁程度就比它处于跟踪状态低。因此,不同雷达工作模式有不同的威胁等级,本发明中针对一般机扫雷达采用如下雷达工作模式,其参数特点如表1所示。
表1本发明使用的雷达工作模式
干扰机有三种干扰类型:阻塞式、瞄准式和扫频式,干扰机策略模型如下:
1)根据干扰机识别的雷达工作模式选择不同类型干扰方式,具体如表2所示;
表2干扰机干扰类型自适应策略
雷达模式 | 雷达模式特点 | 干扰策略 |
工作模式1 | RF驻留切换、带宽小 | 采用瞄准式干扰 |
工资模式2 | RF滑变、线性变化 | 采用扫频式干扰 |
工作模式3、4 | RF抖动范围大 | 采用阻塞式干扰 |
2)根据雷达的PRI、PW,选择与雷达匹配的干扰时机;
3)不同干扰类型根据雷达的RF变化,选择匹配的干扰频点;
4)不同干扰类型根据要求的干信比,选择干扰功率;
5)根据雷达功率以及工作模式变化,选择靠近、不变还是远离;
6)参数选择:最初时刻可以准确识别雷达的各维度参数,因此其干扰可以准确对准雷达信号参数,而雷达信号强度随着干扰机远离而降低,因此其识别准确度也会随着远离次数的增加而降低,从而影响干扰信号对准雷达信号参数的程度。
雷达与干扰机采取回合制对抗机制。
步骤310,对雷达接收信号进行特征提取,并识别其中的干扰信号类型。
首先,四个特征计算方式如下所示。
1)经接收机滤波器后频域峰均值功率比
设雷达回波信号为s(t),接收机噪声为n(t),接收到的干扰为j(t),杂波为c(t),则雷达接收到的信号x(t),可表示为
x(t)=s(t)+j(t)+n(t)+c(t) (1)
对x(t)进行采样后进行快速傅立叶变换得xfft(n)(n=1,2...N),对xfft(n)进行归一化得:
经接收机后频域峰均值功率比PARP计算为:
2)经过接收机滤波器前后信号能量比
设经过雷达接收机滤波器前的信号为xb(t),经过雷达接收机滤波器后的信号为x(t),分别对经过雷达接收机滤波器前后的信号以相同的采样率进行采样,得xb(n)以及x(n)(n=1,2,...,N),经过接收机滤波器前后信号能量比D计算为:
3)经接收机后包络起伏度
4)脉压后最大值与脉压前均值比
设经过雷达接收机信号为x(t),对其进行采样得x(n)(n=1,2,...,N),则对其进行脉冲压缩后得sp(n),则脉压后最大值与脉压前均值比BAR计算为:
然后,构建4个如附图4所示的BP神经网络模型图,用提取的特征进行模型训练,这些模型训练数据的区别在于雷达信号功率、干噪比、雷达信号带宽、海杂波仿真模型;接着,构建如附图5所示的干扰信号精确认知流程,进行干扰类型与参数的精确认知。其中干扰类型是通过4个模型的识别结果的众数来表征,干扰参数的识别方法如表3所示。
表3干扰信号参数识别伪代码
步骤320,构建双层Q学习雷达抗干扰策略优化模型,基于雷达与干扰机博弈对抗交互流程进行模型训练。
构建如附图6所示的基于双层Q学习雷达博弈对抗策略生成与优化模型。
其中:
1)外层Q学习的目的是为了获得“干扰状态-雷达工作模式”Q表,此Q表每个想干处理间隔更新一次,主要作用是:根据干扰机的物理距离变化与干扰类型,即干扰机状态变化,选择雷达工作模式。
外层Q学习的反馈值是干扰机远近变化、信干燥比、干扰类型反馈值组成:
ro=ω1×r1+ω2×r2+ω3×r3 (7)
其中,ω1,ω2,ω3为权重参数,分别设置为0.2,0.5,0.3。
r1为干扰机移动方向的函数,计算如下:
r2为信干燥比,计算如下:
r3为干扰类型的函数,计算如下:
其中,C为常数,Pr为雷达发射功率,Pj为干扰机发射功率,R为雷达与干扰机之间的距离,Xf、Xt分别为频域、时域上雷达信号与干扰信号的重叠度。
2)内层Q学习是为了获得下一时刻雷达工作模式下的脉冲描述字,包括频点RF、带宽Band、脉冲重复周期PRI、脉宽PW、功率Power等参数。由于在此部分中,雷达信号的频点与带宽紧密相连、脉冲重复周期与脉宽紧密相连,因此本发明将频点与带宽联合优化、脉冲重复周期与脉宽联合优化,一共存在“干扰类型种数×2”个Q表,每个Q表每个脉冲时间更新一次。
Xf、Xt被设置为内层Q学习用于时频域Q表更新的奖励值ri,f、ri,t,计算如下:
其中,干扰机工作频率范围为fj1~fj2,雷达工作频率范围fr1~fr2。
其中干扰脉冲时间范围为tj1~tj2,雷达脉冲时间范围tr1~tr2。
通过回合制对抗流程进行模型训练,获得基于双层Q学习的雷达博弈对抗策略生成与优化模型。
步骤330,建立雷达抗干扰评估体系与模型,判断对抗干扰策略的有效性,同时辅助双层Q学习雷达抗干扰策略优化模型训练与更新。
构建如附图7所示的雷达抗干扰效果评估指标集,在雷达抗干扰模型训练过程中实时监测这些指标,并根据这些指标变化情况指导双层Q学习抗干扰策略优化模型的更新,如步骤320中外层和内层Q学习的反馈值函数。
附图8展示了本次实施例的干扰类型识别准确率随训练次数的变化图。由图可知,本实施例提取的四种信号特征以及构建的BP神经网络可以准确地实现三种压制式干扰的分类,其分类准确率均在95%以上。
附图9展示了本次实施例的某次雷达抗干扰训练过程中的评估指标变化图。由图可知,六个评估指标在训练后期均达到了较好的水平。且若在模型训练过程中给突然调整干扰策略,使得雷达处于劣势,基于双层Q学习的雷达抗干扰策略生成与优化模型也可以在数个对抗回合内进行自优化,恢复到较好的抗干扰效果。说明本发明构建的基于双层Q学习的雷达抗干扰策略生成与优化模型可以很好适应动态变化的电磁环境,可以实现抗干扰效果的提升。
Claims (7)
1.一种基于双层Q学习的雷达抗干扰策略优化方法,其特征在于,包括:构建雷达与干扰机博弈对抗交互流程与复杂电磁环境模型,设计雷达工作模式与信号参数;对雷达接收信号进行特征提取,并识别其中的干扰信号类型;构建双层Q学习雷达抗干扰策略优化模型,基于雷达与干扰机博弈对抗交互流程进行模型训练;建立雷达抗干扰评估体系与模型,判断对抗干扰策略的有效性,同时辅助双层Q学习雷达抗干扰策略优化模型训练与更新。
2.根据权利要求1所述雷达与干扰机博弈对抗交互流程,其特征在于,雷达与干扰机为回合制对抗,首先,根据雷达参数仿真出雷达发射信号,通过叠加噪声、距离衰减模拟干扰机接收到的雷达信号;然后干扰机对此信号进行参数识别,根据内置规则进行干扰信号参数选择,并仿真信号,其中干扰类型包括阻塞式干扰、瞄准式干扰以及扫频式干扰;接着将两个信号进行叠加,作为雷达接收回波,雷达进行信号处理,判断被干扰情况;最后根据干扰情况改变发射信号参数;如此反复。
3.根据权利要求1所述复杂电磁环境模型,其特征在于,用复高斯随机变量模拟环境中的噪声;在高分辨低入射角情况下,用对数正态分布模型描述海杂波幅度;在近距离即严重杂波环境中用韦布尔分布模型描述海杂波幅度;再描述多个脉冲检测时,采用K分布模型拟合海杂波幅度。
4.根据权利要求1所述雷达对接收信号特征提取及干扰类型识别方法,其特征在于,用数学公式计算以下四个特征:经接收机滤波器后频域峰均值功率比、经过接收机滤波器前后信号能量比、经接收机后包络起伏度以及脉压后最大值与脉压前均值比;用这四个特征构成四维向量作为输入,干扰类型的三维向量为输出,训练BP升级网络分类识别模型。
5.根据权力要求1所述双层Q学习雷达抗干扰策略优化模型,其特征在于,雷达状态表示为[工作模式,[载频,带宽,脉冲重复周期,脉宽,功率]],动作是选择状态中的每一个参量,干扰机状态为[移动方向,干扰类型,[载频,带宽,脉冲重复周期,脉宽,功率]],奖励值设置为雷达抗干扰评估体系中的参数和干扰机状态参数的函数。
6.根据权利要求1或5所述双层Q学习雷达抗干扰策略优化模型,其特征在于,该模型有两层Q学习结构,外层Q学习的主要作用是选择雷达的工作模式;内层Q学习有两张Q表,分别是时域和频域Q表,主要作用是生成雷达工作模式下的具体信号参数,包括载频,带宽,脉冲重复周期,脉宽,功率。
7.根据权利要求1或5所述的雷达抗干扰评估体系与模型,其特征在于,雷达抗干扰评估体系中包含信干燥比、时域重叠度、频域重叠度、空间选择准确度、雷达驱赶能力评分以及雷达探测距离;雷达抗干扰评估模型用于辅助双层Q学习雷达抗干扰策略优化模型训练与更新,即计算Q学习的奖励值,其中,信干燥比被用于计算外层Q学习的奖励值ro,如下:
ro=ω1×r1+ω2×r2+ω3×r3,
其中,ω1,ω2,ω3为权重参数,r1为干扰机移动方向的函数,r3为干扰类型的函数,r2为信干燥比,计算如下
其中,C为常数,Pr为雷达发射功率,Pj为干扰机发射功率,R为雷达与干扰机之间的距离,Xf、Xt分别为频域、时域上雷达信号与干扰信号的重叠度;Xf、Xt被设置为内层Q学习用于时频域Q表更新的奖励值ri,f、ri,t。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210782045.3A CN115236607B (zh) | 2022-06-30 | 2022-06-30 | 一种基于双层q学习的雷达抗干扰策略优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210782045.3A CN115236607B (zh) | 2022-06-30 | 2022-06-30 | 一种基于双层q学习的雷达抗干扰策略优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115236607A true CN115236607A (zh) | 2022-10-25 |
CN115236607B CN115236607B (zh) | 2024-06-04 |
Family
ID=83671669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210782045.3A Active CN115236607B (zh) | 2022-06-30 | 2022-06-30 | 一种基于双层q学习的雷达抗干扰策略优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115236607B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115712099A (zh) * | 2023-01-10 | 2023-02-24 | 北京东远润兴科技有限公司 | 雷达干扰对抗测试方法、装置、设备及储存介质 |
CN116359855A (zh) * | 2023-04-07 | 2023-06-30 | 哈尔滨工程大学 | 基于ngo-rf的雷达干扰效果评估方法 |
CN117750525A (zh) * | 2024-02-19 | 2024-03-22 | 中国电子科技集团公司第十研究所 | 一种基于强化学习的频域抗干扰方法及系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4990920A (en) * | 1983-04-06 | 1991-02-05 | Sanders Royden C Jun | Electronic countermeasure system |
US5539407A (en) * | 1993-11-19 | 1996-07-23 | Hollandse Signaalapparaten B.V. | Radar apparatus provided with ECCM facilities |
CN105005031A (zh) * | 2015-07-15 | 2015-10-28 | 成都天奥信息科技有限公司 | 一种基于帧相关的脉压导航雷达信号处理方法 |
CN110275148A (zh) * | 2019-06-20 | 2019-09-24 | 中国人民解放军海军航空大学 | 一种海杂波幅度分布参数估计方法及系统 |
CN112904290A (zh) * | 2021-01-26 | 2021-06-04 | 西安电子科技大学 | 一种雷达智能认知抗干扰策略的生成方法 |
CN113281709A (zh) * | 2021-04-21 | 2021-08-20 | 中国海洋大学 | 基于区域耦合预报系统的雷达性能评估方法 |
CN113406579A (zh) * | 2021-06-07 | 2021-09-17 | 哈尔滨工程大学 | 一种基于深度强化学习的伪装干扰波形生成方法 |
CN114114194A (zh) * | 2021-12-14 | 2022-03-01 | 哈尔滨工业大学 | 一种相控阵雷达主瓣干扰识别方法 |
CN114236477A (zh) * | 2021-09-01 | 2022-03-25 | 西安电子科技大学 | 基于神经网络虚拟自我对局的雷达干扰博弈策略设计方法 |
CN114280558A (zh) * | 2021-12-23 | 2022-04-05 | 北京邮电大学 | 一种基于强化学习的干扰信号波形优化方法 |
CN114415126A (zh) * | 2022-04-02 | 2022-04-29 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于强化学习的雷达压制式干扰决策方法 |
CN114509732A (zh) * | 2022-02-21 | 2022-05-17 | 四川大学 | 一种频率捷变雷达的深度强化学习抗干扰方法 |
-
2022
- 2022-06-30 CN CN202210782045.3A patent/CN115236607B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4990920A (en) * | 1983-04-06 | 1991-02-05 | Sanders Royden C Jun | Electronic countermeasure system |
US5539407A (en) * | 1993-11-19 | 1996-07-23 | Hollandse Signaalapparaten B.V. | Radar apparatus provided with ECCM facilities |
CN105005031A (zh) * | 2015-07-15 | 2015-10-28 | 成都天奥信息科技有限公司 | 一种基于帧相关的脉压导航雷达信号处理方法 |
CN110275148A (zh) * | 2019-06-20 | 2019-09-24 | 中国人民解放军海军航空大学 | 一种海杂波幅度分布参数估计方法及系统 |
CN112904290A (zh) * | 2021-01-26 | 2021-06-04 | 西安电子科技大学 | 一种雷达智能认知抗干扰策略的生成方法 |
CN113281709A (zh) * | 2021-04-21 | 2021-08-20 | 中国海洋大学 | 基于区域耦合预报系统的雷达性能评估方法 |
CN113406579A (zh) * | 2021-06-07 | 2021-09-17 | 哈尔滨工程大学 | 一种基于深度强化学习的伪装干扰波形生成方法 |
CN114236477A (zh) * | 2021-09-01 | 2022-03-25 | 西安电子科技大学 | 基于神经网络虚拟自我对局的雷达干扰博弈策略设计方法 |
CN114114194A (zh) * | 2021-12-14 | 2022-03-01 | 哈尔滨工业大学 | 一种相控阵雷达主瓣干扰识别方法 |
CN114280558A (zh) * | 2021-12-23 | 2022-04-05 | 北京邮电大学 | 一种基于强化学习的干扰信号波形优化方法 |
CN114509732A (zh) * | 2022-02-21 | 2022-05-17 | 四川大学 | 一种频率捷变雷达的深度强化学习抗干扰方法 |
CN114415126A (zh) * | 2022-04-02 | 2022-04-29 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于强化学习的雷达压制式干扰决策方法 |
Non-Patent Citations (2)
Title |
---|
张柏开;朱卫纲;: "基于Q-Learning的多功能雷达认知干扰决策方法", 电讯技术, no. 02, pages 129 - 136 * |
邢强;贾鑫;朱卫纲;: "基于Q-学习的智能雷达对抗", 系统工程与电子技术, no. 05, 14 March 2018 (2018-03-14), pages 1031 - 1035 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115712099A (zh) * | 2023-01-10 | 2023-02-24 | 北京东远润兴科技有限公司 | 雷达干扰对抗测试方法、装置、设备及储存介质 |
CN116359855A (zh) * | 2023-04-07 | 2023-06-30 | 哈尔滨工程大学 | 基于ngo-rf的雷达干扰效果评估方法 |
CN117750525A (zh) * | 2024-02-19 | 2024-03-22 | 中国电子科技集团公司第十研究所 | 一种基于强化学习的频域抗干扰方法及系统 |
CN117750525B (zh) * | 2024-02-19 | 2024-05-31 | 中国电子科技集团公司第十研究所 | 一种基于强化学习的频域抗干扰方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115236607B (zh) | 2024-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115236607A (zh) | 一种基于双层q学习的雷达抗干扰策略优化方法 | |
CN112904290B (zh) | 一种雷达智能认知抗干扰策略的生成方法 | |
Sharma et al. | Artificial intelligence aided electronic warfare systems-recent trends and evolving applications | |
CN112651181B (zh) | 一种基于零和博弈的雷达对抗策略建模与仿真方法 | |
CN113625233B (zh) | 基于强化学习的雷达抗干扰智能决策方法 | |
CN113219417B (zh) | 一种基于支持向量机的机载雷达干扰类型识别方法 | |
CN113050045A (zh) | 一种智能化综合抗主副瓣干扰系统及方法 | |
CN106353732A (zh) | 一种基于认知的机载雷达异构杂波抑制方法 | |
CN113341383B (zh) | 基于dqn算法的雷达抗干扰智能决策方法 | |
CN116299408B (zh) | 一种多雷达自主协同探测系统及探测方法 | |
CN115343680A (zh) | 基于深度强化学习的联合跳频和脉宽分配的雷达抗干扰决策方法 | |
CN113687318B (zh) | 一种雷达抗干扰效能评估方法 | |
CN115480222A (zh) | 一种基于频控阵干扰机的雷达干扰技术方法 | |
CN114509732A (zh) | 一种频率捷变雷达的深度强化学习抗干扰方法 | |
CN114755639A (zh) | 一种面向跟踪对抗的多样式复合欺骗干扰自适应生成方法 | |
Peng et al. | Dense false target jamming recognition based on fast–slow time domain joint frequency response features | |
CN104101868B (zh) | 基于干扰子空间重构的雷达多假目标干扰抑制方法 | |
CN117269897A (zh) | 基于互相关函数和遗传算法的雷达智能干扰波形设计优化方法及系统 | |
CN115508795B (zh) | 一种探测干扰一体化共享信号动态生成方法 | |
Yang et al. | Consensus-based distributed target tracking in the presence of active false targets | |
Yang et al. | Radar waveform design based on multi-agent reinforcement learning | |
Stevens et al. | Automated gain control through deep reinforcement learning for downstream radar object detection | |
CN115508793A (zh) | 基于对抗分析特征筛选的雷达干扰效果在线评估智能方法 | |
CN114662392A (zh) | 基于深度学习的雷达防空侦察效能评估方法 | |
CN115238439A (zh) | 基于马尔可夫决策过程的探测系统博弈波形的设计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |