CN114022728B - 一种基于深度强化学习的合成孔径共相检测方法 - Google Patents

一种基于深度强化学习的合成孔径共相检测方法 Download PDF

Info

Publication number
CN114022728B
CN114022728B CN202111255579.2A CN202111255579A CN114022728B CN 114022728 B CN114022728 B CN 114022728B CN 202111255579 A CN202111255579 A CN 202111255579A CN 114022728 B CN114022728 B CN 114022728B
Authority
CN
China
Prior art keywords
synthetic aperture
reinforcement learning
common
environment
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111255579.2A
Other languages
English (en)
Other versions
CN114022728A (zh
Inventor
郭弘扬
徐杨杰
涂琼
王子豪
黄永梅
贺东
王强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN202111255579.2A priority Critical patent/CN114022728B/zh
Publication of CN114022728A publication Critical patent/CN114022728A/zh
Application granted granted Critical
Publication of CN114022728B publication Critical patent/CN114022728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度强化学习的合成孔径共相检测方法，包括：合成孔径成像探测模块负责采集或者模拟多个子孔径的共相图像，为深度强化学习网络提供学习环境和状态；深度强化学习网络模块主要由环境、状态、奖赏和动作组成。在强化学习过程中，Agent选择一个动作用于环境，环境接受该动作后状态发生变化，同时产生一个强化信号(奖或惩)反馈给Agent，Agent根据强化信号和环境当前状态再选择下一个动作，选择的原则是使受到正强化(奖)的概率增大，最终实现合成孔径的共相检测。该方法不需要采集大量的样本数据进行训练，而是通过实时在线学习的方式建立输入与输出之间的映射关系，有利于深度强化学习网络共相检测方法的实际应用。

Description

一种基于深度强化学习的合成孔径共相检测方法
技术领域
本发明涉及合成孔径共相检测领域，具体涉及一种基于深度强化学习的合成孔径共相检测方法，主要通过深度强化学习网络模型对合成孔径的共相误差进行检测。
背景技术
合成孔径是一种采用多路分离的子孔径阵列合成的孔径来代替传统的单口径望远镜主镜的技术，等效地达到大口径望远镜系统的高分辨率成像性能。对于光学合成孔径成像技术，在像面上子孔径光束达到同相位叠加是实现合成孔径系统高分辨率成像的重要前提。所以，子孔径之间的共相误差探测是关键技术之一。在传统的共相误差检测方法中，多采用SPGD进行共相误差的探测，其需要的迭代次数多，受噪声影响大。现有的深度学习神经网络共相探测模型也存在样本集和实际数据集有偏差的情况，在这种情况下的准确率会大大下降，大规模样本集的采集也存在困难，这些都制约着深度学习神经网络在共相检测中的实际应用。
针对以上问题，本发明提出一种基于强化学习的合成孔径共相检测方法，采用强化学习的神经网络模型对合成孔径的piston共相误差进行检测。相比传统的共相检测方法，该方法需要迭代的次数少，受噪声影响小。相比于现有的深度学习神经网络共相检测模型，该方法不需要采集大量的样本数据进行训练，有利于神经网络共相检测方法的实际应用。
发明内容
本发明要解决的技术问题为：提出一种基于深度强化学习的合成孔径共相检测方法，主要通过深度强化学习网络共相检测方法解决深度学习共相检测需要大量训练样本的技术瓶颈，有利于神经网络共相检测方法的实际应用。
本发明采用的技术方案为：一种基于深度强化学习的合成孔径共相检测方法，该方法包括如下步骤：
步骤一、合成孔径成像探测模块负责采集或者模拟多个子孔径的共相图像；
步骤二、构建深度强化学习网络共相检测模型；模型由状态、动作、环境、奖赏和网络五部分组成，状态为共相光斑，动作为共相误差的校正，环境为共相成像模型，奖赏为Piston像差的评价函数，强化学习神经网络为DPPO，即Distributed Proximal PolicyOptimization。DPPO包括演员网络和评论家网络，演员网络学习状态到动作的映射，评论家网络学习状态和动作到奖赏的映射；
步骤三、进行深度强化学习网络模型在线学习，实现共相检测。
进一步地，合成孔径成像探测模块负责采集或者模拟多个子孔径的共相图像，为深度强化学习网络提供学习环境和状态。
进一步地，深度强化学习网络模块主要由环境、状态、奖赏和动作组成，具体结构与功能：
1)环境为合成孔径成像探测模块构成或者模拟的多个子孔径的光学成像系统；
2)状态为成像探测器采集得到的共相光斑图像；
3)奖赏为光斑Piston像差的评价函数；评价函数J为：
Figure BDA0003323769260000021
其中I(x,y)为共相光斑的像素值，b为选取的偏置，例如1.75*10-3。
4)动作为合成孔径系统对Piston像差的校正量。
进一步地，深度强化学习网络模块的在线学习过程：
1)深度强化学习系统的学习目标是动态地调整参数，以达到奖赏的最大化；
2)Agent选择一个动作用于合成孔径成像探测系统的环境中，环境接受该动作后成像系统的图像状态发生变化，同时根据状态情况产生一个强化信号(奖或惩)反馈给Agent。如果Agent的某个行为策略导致环境出现正的奖赏(强化信号)，那么Agent以后产生这个行为策略的趋势便会加强；
3)Agent的目标是在每个离散状态发现最优策略以使期望的折扣奖赏之和最大。Agent根据强化信号和合成孔径成像探测系统环境的当前成像状态再选择下一个动作，选择的原则是使受到正强化(奖)的概率增大，最终实现合成孔径的共相检测。
本发明与现有方法相比具有如下优点：
(1)相比传统的共相检测方法，该方法需要迭代的次数少，受噪声影响小。
(2)相比于现有的深度学习神经网络共相检测模型，该方法不需要采集大量的样本数据进行训练，有利于神经网络共相检测方法的实际应用。
(3)该发明结构简单，易于实现。采用在线实时学习方式，避免了传统监督学习需要大量离线训练的问题，提高了算法效率。
附图说明
图1是本发明的基于深度强化学习的合成孔径共相检测流程图；
图2是本发明的合成孔径共相检测的深度强化学习网络示意图；
图3是本发明的合成孔径共相检测的深度强化学习网络的在线学习原理图。
具体实施方式
以下结合附图对本发明的具体实施方式做详细说明。
如图1所示，基于深度强化学习的合成孔径共相检测方法，该方法利用的系统主要由合成孔径成像探测模块，深度强化学习网络模块组成。
具体流程为：
步骤一、合成孔径成像探测模块负责采集或者模拟多个子孔径的共相图像，为深度强化学习网络提供学习环境和状态；
步骤二、深度强化学习网络模块根据成像系统传输的畸变光斑图像进行在线学习。
如图2所示，合成孔径共相检测的深度强化学习网络结构主要包括：环境、状态、奖赏和动作。其具体的结构与功能分别为：环境为合成孔径成像探测模块构成或者模拟的多个子孔径的光学成像系统；状态为成像探测器采集得到的共相光斑图像；奖赏为光斑Piston像差的评价函数；动作为合成孔径系统对Piston像差的校正量。强化学习神经网络为DPPO，即Distributed Proximal Policy Optimization。DPPO包括演员网络和评论家网络，演员网络学习状态到动作的映射，评论家网络学习状态和动作到奖赏的映射。
步骤三、深度强化学习网络学习过程中根据状态情况动态地调整参数，达到奖赏的最大化，最终实现对合成孔径共相误差的检测功能。
如图3所示，合成孔径共相检测的深度强化学习网络的在线学习原理图；深度强化学习系统的学习目标是动态地调整参数，以达到强化信号的最大化；Agent将Piston像差的校正量作为动作用于合成孔径成像探测系统的环境中，环境接受该动作后成像系统的图像状态发生变化，同时根据状态情况产生一个强化信号(奖或惩)反馈给Agent。如果Agent的某个行为策略导致环境正的奖赏(强化信号)，那么Agent以后产生这个行为策略的趋势便会加强。Agent的目标是在每个离散状态发现最优策略以使期望的折扣奖赏和最大。Agent根据强化信号和合成孔径成像探测系统环境的当前成像状态再选择下一个动作，选择的原则是使受到正强化(奖)的概率增大，最终实现合成孔径的共相检测。
通过仿真实验，在两孔或三孔合成孔径共相模型中，可以在一个波长的校正范围以内，实现共相误差的校正，校正残量在1/10个波长以内，迭代次数在5次以内，满足共相探测校正的需求。作为对比，传统的SPGD算法需要40-50次左右的迭代。

Claims (4)

1.一种基于深度强化学习的合成孔径共相检测方法，其特征在于：该方法包括如下步骤：
步骤一、合成孔径成像探测模块负责采集或者模拟多个子孔径的共相图像；
步骤二、构建强化学习神经网络共相检测模型；模型由状态、动作、环境、奖赏和网络五部分组成，状态为共相光斑，动作为共相误差的校正，环境为共相成像模型，奖赏为Piston像差的评价函数，强化学习神经网络为DPPO，即Distributed Proximal PolicyOptimization，DPPO包括演员网络和评论家网络，演员网络学习状态到动作的映射，评论家网络学习状态和动作到奖赏的映射；
步骤三、进行深度强化学习网络模型在线学习，实现共相检测。
2.根据权利要求1所述的一种基于深度强化学习的合成孔径共相检测方法，其特征在于：合成孔径成像探测模块负责采集或者模拟多个子孔径的共相图像，为深度强化学习网络提供学习环境和状态。
3.根据权利要求1所述的一种基于深度强化学习的合成孔径共相检测方法，其特征在于：强化学习神经网络模块主要由环境、状态、奖赏和动作组成，具体结构与功能：
1)环境为合成孔径成像探测模块构成或者模拟的多个子孔径的光学成像系统；
2)状态为成像探测器采集得到的共相光斑图像；
3)奖赏为光斑Piston像差的评价函数，评价函数J为：
Figure FDA0003323769250000011
其中，I(x,y)为共相光斑的像素值，b为选取的偏置；
4)动作为合成孔径系统对Piston像差的校正量。
4.根据权利要求1所述的一种基于深度强化学习的合成孔径共相检测方法，其特征在于：在深度强化学习网络模块的在线学习过程：
1)深度强化学习系统的学习目标是动态地调整参数，以达到奖赏的最大化；
2)Agent选择一个动作用于合成孔径成像探测系统的环境中，环境接受该动作后成像系统的图像状态发生变化，同时根据状态情况产生一个强化信号即奖或惩反馈给Agent，如果Agent的某个行为策略导致环境出现正的奖赏，那么Agent以后产生这个行为策略的趋势便会加强；
3)Agent的目标是在每个离散状态发现最优策略以使期望的折扣奖赏之和最大化，Agent根据强化信号和合成孔径成像探测系统环境的当前成像状态再选择下一个动作，选择的原则是使受到正强化即奖的概率增大，最终实现合成孔径的共相检测。
CN202111255579.2A 2021-10-27 2021-10-27 一种基于深度强化学习的合成孔径共相检测方法 Active CN114022728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111255579.2A CN114022728B (zh) 2021-10-27 2021-10-27 一种基于深度强化学习的合成孔径共相检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111255579.2A CN114022728B (zh) 2021-10-27 2021-10-27 一种基于深度强化学习的合成孔径共相检测方法

Publications (2)

Publication Number Publication Date
CN114022728A CN114022728A (zh) 2022-02-08
CN114022728B true CN114022728B (zh) 2023-04-07

Family

ID=80058180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111255579.2A Active CN114022728B (zh) 2021-10-27 2021-10-27 一种基于深度强化学习的合成孔径共相检测方法

Country Status (1)

Country Link
CN (1) CN114022728B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122082A (zh) * 2011-03-23 2011-07-13 中国科学院光电技术研究所 一种稀疏光学合成孔径成像系统的相位平移误差校正装置
CN105300664A (zh) * 2015-09-16 2016-02-03 中国科学院光电技术研究所 用于光学合成孔径成像系统共相探测的色散哈特曼传感器
CN107656363A (zh) * 2017-10-31 2018-02-02 中国科学院光电技术研究所 一种基于多波长相位调制的光学合成孔径成像望远镜阵列共相误差探测方法
WO2019038296A1 (en) * 2017-08-23 2019-02-28 Ecole Polytechnique Federale De Lausanne (Epfl) IMAGE BASED RECONSTRUCTION METHOD BASED ON A MODEL

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122082A (zh) * 2011-03-23 2011-07-13 中国科学院光电技术研究所 一种稀疏光学合成孔径成像系统的相位平移误差校正装置
CN105300664A (zh) * 2015-09-16 2016-02-03 中国科学院光电技术研究所 用于光学合成孔径成像系统共相探测的色散哈特曼传感器
WO2019038296A1 (en) * 2017-08-23 2019-02-28 Ecole Polytechnique Federale De Lausanne (Epfl) IMAGE BASED RECONSTRUCTION METHOD BASED ON A MODEL
CN107656363A (zh) * 2017-10-31 2018-02-02 中国科学院光电技术研究所 一种基于多波长相位调制的光学合成孔径成像望远镜阵列共相误差探测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ma xiafei等.deep learning piston sensing for sparse aperture systems with simulated training data.《IEEE photonics journal》.2019,16058-16070. *
孙鑫蕾 ; 刘刚 ; 王晶 ; 董长哲 ; 赵星 ; 肖流长 ; 刘明铭 ; 赵润翰 ; 张楠 ; 谢茂强 ; 林列 ; 刘永基 ; 刘伟伟 ; .基于机器学习的大面积拼接镜倾斜误差探测.《光电子激光》.2020,(第04期),380-387. *
赵志龙 ; 吴谨 ; 王海涛 ; 李明磊 ; 董涛 ; 国辉 ; 夏正欢 ; .微弱回波条件下差分合成孔径激光雷达成像实验演示.《光学精密工程》.2018,26卷(第02期),276-283. *

Also Published As

Publication number Publication date
CN114022728A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN110074813B (zh) 一种超声图像重建方法及系统
CN102494785B (zh) 基于Hadamard矩阵多通道方法的自适应光学系统传递矩阵测量装置及方法
CN107655405A (zh) 利用自聚焦迭代算法消除物体与ccd间轴向距离误差的方法
CN106526839A (zh) 一种基于模式的同步无波前自适应光学系统
CN111353391B (zh) 雷达干扰效果评估方法、装置、电子设备及其存储介质
CN105933060A (zh) 一种基于动力学反馈神经网络的波前重构方法
US20220187772A1 (en) Method and device for the probabilistic prediction of sensor data
CN114022728B (zh) 一种基于深度强化学习的合成孔径共相检测方法
CN114676637A (zh) 一种基于条件生成对抗网络的光纤信道建模方法及系统
CN116051382A (zh) 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法
CN115600669A (zh) 基于局部分类器的高效深层脉冲神经网络学习方法
CN116128980A (zh) 基于自编码器的相机内外参自动标定方法及系统
CN110808932A (zh) 基于多分布测试数据融合的多层感知器快速调制识别方法
CN111695676B (zh) 一种基于生成对抗网络的波前复原方法及系统
CN115860113B (zh) 一种自对抗神经网络模型的训练方法及相关装置
CN112199637A (zh) 基于回归注意力生成对抗网络数据增强的回归建模方法
CN117195960A (zh) 基于夏克哈特曼ut变换模型的大气湍流波前探测方法
CN111724410A (zh) 一种基于残余注意力的目标跟踪方法
CN109633891A (zh) 一种波前控制方法
CN115422977A (zh) 基于cnn-bls网络的雷达辐射源信号识别方法
CN114861882A (zh) 一种co2时空分布重构方法及系统
CN114070415A (zh) 一种光纤非线性均衡方法及系统
CN111652813B (zh) 一种横向束流截面处理方法及装置
CN110852451A (zh) 基于核函数的递归核自适应滤波方法
CN111401430B (zh) 一种基于双通道深度神经网络的图像在线分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant