CN113067157A - 基于深度强化学习的共形相控阵天线设计系统及设计方法 - Google Patents

基于深度强化学习的共形相控阵天线设计系统及设计方法 Download PDF

Info

Publication number
CN113067157A
CN113067157A CN202110320862.2A CN202110320862A CN113067157A CN 113067157 A CN113067157 A CN 113067157A CN 202110320862 A CN202110320862 A CN 202110320862A CN 113067157 A CN113067157 A CN 113067157A
Authority
CN
China
Prior art keywords
phased array
array antenna
antenna
reinforcement learning
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110320862.2A
Other languages
English (en)
Other versions
CN113067157B (zh
Inventor
金城
张彬超
曹凯淇
吕奇皓
黎亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110320862.2A priority Critical patent/CN113067157B/zh
Publication of CN113067157A publication Critical patent/CN113067157A/zh
Application granted granted Critical
Publication of CN113067157B publication Critical patent/CN113067157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q21/00—Antenna arrays or systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q13/00—Waveguide horns or mouths; Slot antennas; Leaky-waveguide antennas; Equivalent structures causing radiation along the transmission path of a guided wave
    • H01Q13/02—Waveguide horns
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q21/00—Antenna arrays or systems
    • H01Q21/0006—Particular feeding systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q21/00—Antenna arrays or systems
    • H01Q21/0087—Apparatus or processes specially adapted for manufacturing antenna arrays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q21/00—Antenna arrays or systems
    • H01Q21/06—Arrays of individually energised antenna units similarly polarised and spaced apart
    • H01Q21/061—Two dimensional planar arrays
    • H01Q21/065—Patch antenna array
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q21/00—Antenna arrays or systems
    • H01Q21/28—Combinations of substantially independent non-interacting antenna units or systems

Abstract

本发明公开了基于深度强化学习的共形相控阵天线设计系统及设计方法，本发明利用深度强化学习强大的学习能力，通过逆向训练使得共形天线阵列的辐射性能达到目标值，大大简化了阵列天线在复杂共形环境下的设计复杂度，且可以忽略各路信号之间的相位不一致性，使得后期调试和校准工作难度得以显著降低。

Description

基于深度强化学习的共形相控阵天线设计系统及设计方法
技术领域
本发明属于雷达通信的技术领域，具体涉及一种基于深度强化学习的共形相控阵天线设计系统及设计方法。
背景技术
在现代雷达和通信系统中，天线的安装平台通常为不规则的形状。因此，能在各类不同天线安装平台上应用的共形相控阵天线引起了巨大的研究热潮。但是在复杂的共形环境下，如何设计每个天线单元的馈入相位使得阵列能实现所需的辐射特性，例如波束扫描，波束跟踪，波束合成等，其正向计算算法过于复杂。其复杂之处在于元件间的相互耦合作用必须包括在磁场和电流的解决方案中。
另外，相控阵天线通常包含多路信号通路，每路信号需要经过数字移相器，功率放大器，衰减器等各类器件，导致最终输入到每个天线单元的相位存在不一致性。因此，在相控阵天线的实际使用中，需要对每一路信号进行相位校准，以此保证最终辐射性能的准确性，而这往往需要耗费大量的时间和人力成本。
2014年，国外DeepMind提出了一种很有吸引力的深度学习算法，称为Deep Q学习框架(DQN)，它具有学习各种游戏人类级别控制策略的能力，其应用的AlphaGo甚至在围棋领域难以被战胜。此后，DQN算法也在一些新兴领域表现出非凡的天赋，如无线通信，资源优化配置，以及其他现实世界的非线性问题。
发明内容
有鉴于此，本发明提供了一种基于深度强化学习的共形相控阵天线设计系统及设计方法，能够利用深度强化学习强大的学习能力，通过逆向训练使得共形天线阵列的辐射性能达到目标值，大大简化了阵列天线在复杂共形环境下的设计复杂度。
实现本发明的技术方案如下：
基于深度强化学习的共形相控阵天线设计系统，包括决策子系统、控制子系统和辐射子系统；
决策子系统包括矢量网络分析仪和计算机，计算机内加载有深度强化学习算法，计算机和矢量网络分析仪通过网线建立连接，实时共享数据；
控制子系统包括微控制器、功分器和数字移相器，微控制器接收决策子系统计算机下发的控制指令数据包，解析后给各个数字移相器下发控制指令，从而控制每一路信号的相位；
功分器接收决策子系统的矢量网络分析仪输出的射频信号，并将信号能量平均分配后向相控阵天线阵列输送，使得相控阵天线阵列向外辐射信号；
辐射子系统包含相控阵天线阵列和喇叭接收天线，相控阵天线阵列向外辐射信号，喇叭接收天线接收信号，并将信号传送到决策子系统的矢量网络分析仪。
进一步地，相控阵天线阵列的天线单元由矩形金属贴片构成，馈电方式为侧馈。
进一步地，基于深度强化学习的共形相控阵天线设计方法，包括算法训练阶段和应用阶段。
进一步地，算法训练阶段具体为：
1、加载有深度强化学习算法的计算机通过控制子系统中的微控制器、功分器和数字移相器向相控阵天线的每一路单元下发相位控制指令，使相控阵天线获得相位分布初值并向外辐射；
2、计算机控制数字移相器对相控阵天线的相位分布进行随机调整，使得天线的辐射性能发生变化；接收天线接收到信号后将数据回传至计算机，经深度强化学习算法提取关键参数后与预先设置的参数进行判定：如果辐射性能向着预期目标迈进则为正反馈，否则为负反馈，以此来判定当前的相位随机调整是否为有益动作；
3、每一次进行相位随机调整均会收到相应的动作反馈值，深度强化学习算法以此来学习正确的相位调整方案，当算法收敛或者平均反馈量达到预期定义的值，训练阶段完成。
进一步地，深度强化学习算法针对每一个预期的天线辐射性能进行前期训练，并将相应的最优相控阵天线的参数进行存储；在应用阶段，输入所需的辐射性能，深度强化学习算法自动调整相控阵天线的参数以达到相应的辐射性能。
有益效果：
本发明所提出的基于深度强化学习的相控阵天线设计系统及其设计方法能较好地解决复杂共形环境下相控阵天线辐射性能的智能化调控。相较于传统的相控阵天线，本发明方法领用深度强化学习强大的计算能力和学习能力，在设计效率、计算速度、成本控制以及复杂环境适应性等多个方面有着巨大的优势。借助强大的计算资源，本发明提出的设计系统及设计方案能在多平台、多功能、可重构雷达和通信系统中发挥巨大的优势。
附图说明
图1为本发明的相控阵天线训练系统示意图。
图2为本发明使用的DQN算法流程图。
图3为本发明天线单元的反射系数。
图4(a)为本发明使用的DQN算法的平均损失。
图4(b)为本发明使用的DQN算法的平均奖励。
图5为本发明所设计的共形相控阵天线波束扫描性能。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种基于深度强化学习的共形相控阵天线设计系统及设计方法。该方法利用深度强化学习强大的学习能力，通过逆向训练使得共形天线阵列的辐射性能达到目标值，大大简化了阵列天线在复杂共形环境下的设计复杂度，且可以忽略各路信号之间的相位不一致性，使得后期调试和校准工作难度得以显著降低。进过充分训练后的天线在多个应用系统之间具备通用性，能广泛应用于各类复杂的共形平台，而无需在算法上做出任何修改。
图1为本发明所提出的智能相控阵天线的训练系统示意图。该天线系统主要由7个部件组成，其中相控阵天线1(阵列大小为M×N)作为辐射部件向外辐射电磁波，并在特定位置处预先安置有接收天线2来接收这些电磁波能量。为了能控制相控阵天线波束的扫描角，阵列中每个天线单元的馈入相位由与其一一相连的数字移相器3控制，同时功分器4负责将馈入的总射频信号等幅同相地分配到每一路天线单元。为了能程序化控制每一个数字移相器，微控制器5被用来接收计算机7下发的控制指令集，并将其拆分成不同的数据包后下发到指定的数字移相器，完成相位的控制。同时，计算机7中加载有深度Q网络学习(DQN)算法。
利用上述搭建的设计系统对相控阵天线进行设计，具体的设计方法主要分为两个阶段：训练阶段和应用阶段。在训练阶段，算法通过数字移相器3在每一个回合随机改变相控阵天线的相位分布，接收天线2实时接收信号并将数据信息传送至计算机7中。算法对接收到的实测数据进行判定并给出该次相位分布调整的反馈值。若反馈值为正，则该次调整动作为有益动作，否则为有害动作。经过大量的训练后完成算法的迭代更新，使得训练后的相控阵天线能依据目标角度的变化实时调整自身相位分布。
图2为本发明中适用于相控阵天线的DQN算法流程图。可以发现，该算法主要包含两个分支，分别为实线箭头表示的在线决策过程和虚线箭头代表的离线训练过程。在线决策过程中，agent根据当前状态sk采取行动ak，其策略π(sk,ak)主要由在线深度学习网络和∈-贪心算法共同决定。而在离线训练阶段，agent从经验池中拿出N组数据<sk,ak,rk,sk+1>来计算损失函数，其表达式为：
Figure BDA0002992950030000051
其中，rk为训练步数为k时算法的返回奖励值，E[·]为期望，q为每个行动的反馈值，θk为神经网络权值。训练的目的是最小化在线网络和目标网络之间的预测误差，也即公式(1)的损失函数。
为了降低计算所需的硬件资源以及加工成本，本发明例举了一个大小为1×8的相控阵天线，其天线单元为常规的微带贴片天线，工作频率为2GHz，如图3所示，并将其共形在半径为380mm的圆柱上。然后，利用图1中的训练系统在暗室内对该圆柱形相控阵天线进行充分的训练。图4(a)和(b)为算法的损失函数值以及平均奖励值。不难发现，随着训练步骤的增多，算法取得了良好的收敛性和稳定的奖励回报。
图5为本发明中共形相控阵天线在波束扫描角度为0°、30°和60°时辐射方向图，可以发现在三个扫描角度上，天线都具有良好的辐射性能。其增益分别为：10.08dBi，8.12dBi以及5.66dBi；3dB波束宽度分别为：14.76°，15.62°以及25.88°；至于副瓣方面，则分别为-12.68dB，-10.56dB以及-12.96dB。与Matlab计算的结果相比，有较好的一致性。
本发明与现有技术相比，其显著优点为：利用深度强化学习强大的学习能力，通过逆向训练使得共形天线阵列的辐射性能达到目标值，大大简化了阵列天线在复杂共形环境下的设计复杂度，且可以忽略每路信号之间相位的不一致性，使得后期调试和校准工作难度得以显著降低。进过充分训练后的天线在多个应用系统之间具备通用性，能广泛应用于各类复杂的共形平台，而无需在算法上做出任何修改。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于深度强化学习的共形相控阵天线设计系统，其特征在于，包括决策子系统、控制子系统和辐射子系统；
决策子系统包括矢量网络分析仪和计算机，计算机内加载有深度强化学习算法，计算机和矢量网络分析仪通过网线建立连接，实时共享数据；
控制子系统包括微控制器、功分器和数字移相器，微控制器接收决策子系统计算机下发的控制指令数据包，解析后给各个数字移相器下发控制指令，从而控制每一路信号的相位；
功分器接收决策子系统的矢量网络分析仪输出的射频信号，并将信号能量平均分配后向相控阵天线阵列输送，使得相控阵天线阵列向外辐射信号；
辐射子系统包含相控阵天线阵列和喇叭接收天线，相控阵天线阵列向外辐射信号，喇叭接收天线接收信号，并将信号传送到决策子系统的矢量网络分析仪。
2.如权利要求1所述的设计系统，其特征在于，相控阵天线阵列的天线单元由矩形金属贴片构成，馈电方式为侧馈。
3.一种应用于权利要求1所述设计系统的设计方法，其特征在于，包括算法训练阶段和应用阶段。
4.如权利要求3所述的设计方法，其特征在于，算法训练阶段具体为：
1、加载有深度强化学习算法的计算机通过控制子系统中的微控制器、功分器和数字移相器向相控阵天线的每一路单元下发相位控制指令，使相控阵天线获得相位分布初值并向外辐射；
2、计算机控制数字移相器对相控阵天线的相位分布进行随机调整，使得天线的辐射性能发生变化；接收天线接收到信号后将数据回传至计算机，经深度强化学习算法提取关键参数后与预先设置的参数进行判定：如果辐射性能向着预期目标迈进则为正反馈，否则为负反馈，以此来判定当前的相位随机调整是否为有益动作；
3、每一次进行相位随机调整均会收到相应的动作反馈值，深度强化学习算法以此来学习正确的相位调整方案，当算法收敛或者平均反馈量达到预期定义的值，训练阶段完成。
5.如权利要求4所述的设计方法，其特征在于，深度强化学习算法针对每一个预期的天线辐射性能进行前期训练，并将相应的最优相控阵天线的参数进行存储；在应用阶段，输入所需的辐射性能，深度强化学习算法自动调整相控阵天线的参数以达到相应的辐射性能。
CN202110320862.2A 2021-03-25 2021-03-25 基于深度强化学习的共形相控阵天线设计系统及设计方法 Active CN113067157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110320862.2A CN113067157B (zh) 2021-03-25 2021-03-25 基于深度强化学习的共形相控阵天线设计系统及设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110320862.2A CN113067157B (zh) 2021-03-25 2021-03-25 基于深度强化学习的共形相控阵天线设计系统及设计方法

Publications (2)

Publication Number Publication Date
CN113067157A true CN113067157A (zh) 2021-07-02
CN113067157B CN113067157B (zh) 2022-02-01

Family

ID=76563521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110320862.2A Active CN113067157B (zh) 2021-03-25 2021-03-25 基于深度强化学习的共形相控阵天线设计系统及设计方法

Country Status (1)

Country Link
CN (1) CN113067157B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114050408A (zh) * 2021-11-23 2022-02-15 国开启科量子技术(北京)有限公司 微带天线阵列、离子阱驱动装置及相位参数计算方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102738598A (zh) * 2012-07-03 2012-10-17 中国科学院上海微系统与信息技术研究所 一种毫米波相控阵天线及其波束扫描方法
CN103217589A (zh) * 2013-03-21 2013-07-24 陕西飞机工业（集团）有限公司 一种相控阵列天线等效隔离度测试方法
CN103926474A (zh) * 2014-03-18 2014-07-16 中国电子科技集团公司第十研究所 相控阵天线单元特性近场测量方法
CN105162528A (zh) * 2015-07-18 2015-12-16 西安电子科技大学 基于卫星通信相控阵天线的抗干扰方法和装置
CN105548978A (zh) * 2015-12-16 2016-05-04 中国电子科技集团公司第四十一研究所 一种相控阵天线有源反射系数测试系统及方法
CN108510734A (zh) * 2018-03-30 2018-09-07 深圳市金溢科技股份有限公司 一种路侧单元及一种路侧单元的车辆信息匹配方法
CN108820233A (zh) * 2018-07-05 2018-11-16 西京学院 一种固定翼无人机视觉着陆引导方法
CN111446997A (zh) * 2019-10-21 2020-07-24 清华大学 基于深度学习的自适应数字波束合成方法
CN111580042A (zh) * 2020-04-14 2020-08-25 东南大学 一种基于相位优化的深度学习测向方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102738598A (zh) * 2012-07-03 2012-10-17 中国科学院上海微系统与信息技术研究所 一种毫米波相控阵天线及其波束扫描方法
CN103217589A (zh) * 2013-03-21 2013-07-24 陕西飞机工业（集团）有限公司 一种相控阵列天线等效隔离度测试方法
CN103926474A (zh) * 2014-03-18 2014-07-16 中国电子科技集团公司第十研究所 相控阵天线单元特性近场测量方法
CN105162528A (zh) * 2015-07-18 2015-12-16 西安电子科技大学 基于卫星通信相控阵天线的抗干扰方法和装置
CN105548978A (zh) * 2015-12-16 2016-05-04 中国电子科技集团公司第四十一研究所 一种相控阵天线有源反射系数测试系统及方法
CN108510734A (zh) * 2018-03-30 2018-09-07 深圳市金溢科技股份有限公司 一种路侧单元及一种路侧单元的车辆信息匹配方法
CN108820233A (zh) * 2018-07-05 2018-11-16 西京学院 一种固定翼无人机视觉着陆引导方法
CN111446997A (zh) * 2019-10-21 2020-07-24 清华大学 基于深度学习的自适应数字波束合成方法
CN111580042A (zh) * 2020-04-14 2020-08-25 东南大学 一种基于相位优化的深度学习测向方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张宙,韩国栋: "《基于自适应极化合成的球面共形相控阵波束合成算法》", 《现代雷达》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114050408A (zh) * 2021-11-23 2022-02-15 国开启科量子技术(北京)有限公司 微带天线阵列、离子阱驱动装置及相位参数计算方法
CN114050408B (zh) * 2021-11-23 2023-08-18 国开启科量子技术(北京)有限公司 微带天线阵列、离子阱驱动装置及相位参数计算方法

Also Published As

Publication number Publication date
CN113067157B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
US20070035442A1 (en) Beam-forming antenna with amplitude-controlled antenna elements
CN112151969B (zh) 基于广义散射矩阵的强耦合宽带相控阵带内rcs控制方法
CN108173578B (zh) 阵列天线模拟多波束赋形方法
Aboul-Seoud et al. A conformal conical phased array antenna for modern radars
CN109950704B (zh) 一种用于强耦合宽带相控阵天线的带内rcs控制方法
CN113067157B (zh) 基于深度强化学习的共形相控阵天线设计系统及设计方法
CN114386270A (zh) 基于改进型遗传算法的多目标优化阵列方向图综合方法
WO2013178166A1 (zh) 通信设备、波束形成的方法及装置
CN211291190U (zh) 一种任意极化目标信号模拟的射频仿真系统
CN106845029B (zh) 一种高速高效的基于人工智能的多元近场效应修正方法
Ohira et al. Analog smart antennas
EP1250726A1 (en) Antenna arrangement and method for side-lobe suppression
CN115567090B (zh) 一种基于相控阵天线实现通信三维威力范围的方法
Wang et al. BA-based low-PSLL beampattern synthesis in the presence of array errors
Hutu et al. 2.4 GHz antenna array using vector modulator-based active phase shifters for beamforming
KR20210001929A (ko) 위상 배열 안테나를 이용한 고속 공간 탐색
CN110635233A (zh) 一种用于etc系统的低副瓣透镜阵列天线
CN113258991B (zh) 一种散射通信系统、微带天线、阵列及通信距离提升方法
CN205039261U (zh) 阵列天线及阵列天线方向图的赋形装置
CN114386271A (zh) 一种考虑互耦效应的随机阵列天线方向图综合方法
Zhang et al. A Fast and Efficient Beamforming Algorithm Imitating Plant Growth Gene for Phased Array Antenna
CN113849977A (zh) 一种通道功率损耗可控的低副瓣相控阵优化方法
CN113964548A (zh) 一种基于四维天线阵的带内散射缩减结构及其控制方法
Park et al. Angle tracking automatic beamforming for microwave power transfer systems
CN112993596A (zh) 一种降维多波束天线系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant