CN112946684A - 基于光学目标信息辅助的电磁遥感智能成像系统与方法 - Google Patents

基于光学目标信息辅助的电磁遥感智能成像系统与方法 Download PDF

Info

Publication number
CN112946684A
CN112946684A CN202110116288.9A CN202110116288A CN112946684A CN 112946684 A CN112946684 A CN 112946684A CN 202110116288 A CN202110116288 A CN 202110116288A CN 112946684 A CN112946684 A CN 112946684A
Authority
CN
China
Prior art keywords
electromagnetic
optical
image
imaging
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110116288.9A
Other languages
English (en)
Other versions
CN112946684B (zh
Inventor
皇甫江涛
张颖而
张盼
金仲和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110116288.9A priority Critical patent/CN112946684B/zh
Publication of CN112946684A publication Critical patent/CN112946684A/zh
Application granted granted Critical
Publication of CN112946684B publication Critical patent/CN112946684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于光学目标信息辅助的电磁智能成像系统与方法。本发明包括可移动装置、光学成像装置、可翻动板、电磁探测装置和标定目标；可移动装置中部安装有光学成像装置，可翻动板中部安装有电磁探测装置；电磁探测装置和光学成像装置分别检测标定目标的电磁反射信号和光学图像信号，利对电磁成像神经网络模型进行训练，获得训练后的电磁成像神经网络模型。使用时可移除光学成像装置，仅利用电磁探测装置获取待测目标电磁反射信号，将电磁反射信号输入到训练后的电磁成像神经网络模型，获得待测目标的预测电磁图像。本发明采用深度学习方法得到可替代传统的雷达成像算法的通用算法，降低了计算复杂度，提高了效率。

Description

基于光学目标信息辅助的电磁遥感智能成像系统与方法
技术领域
本发明涉及电磁遥感成像领域的一种电磁遥感智能成像方法与系统，特别涉及一种基于光学目标信息辅助的电磁遥感智能成像方法与系统。
技术背景
与光学成像相比，电磁波成像的优点是白天黑夜均能探测目标，且不受雾、云和雨的阻挡，具有全天候、全天时的特点，并有一定的穿透能力，因此广泛应用于气象预报、资源探测等领域。星载和机载合成孔径雷达已经成为当今遥感中重要的传感器。
电磁成像算法能将收集到的电磁回波信号转化成目标物图像。以合成孔径雷达为例，目前传统的成像算法有距离多普勒算法，chirp scaling算法，wk算法和频谱分析算法，但上述算法都包含多次傅里叶变化，因此计算复杂度高。且不同类型的雷达成像算法不同，难以通用。
因此，需要一种通用的、高效的电磁遥感智能成像方法。
发明内容
本发明的目的是针对目前电磁成像算法计算复杂度高且不通用的情况，提供一种新型的基于光学目标信息辅助的电磁遥感智能成像方法与系统，计算效率高且方法具有通用性。
本发明的技术方案如下：
一、一种基于光学目标信息辅助的电磁遥感智能成像系统
系统包括可移动装置、光学成像装置、可翻动板、电磁探测装置和标定目标；
可移动装置中部安装有光学成像装置，可翻动板活动安装在可移动装置的一侧并且可翻动板绕水平方向的一个轴或者竖直方向的一个轴进行旋转翻动，可翻动板中部安装有电磁探测装置；光学成像装置检测范围中与电磁探测装置检测范围相重合的检测范围作为共同检测范围，共同检测范围中的目标为标定目标，电磁探测装置和光学成像装置分别检测标定目标的电磁反射信号和光学图像信号。
所述的电磁探测装置发射电磁波到标定目标，并接收标定目标反射后的电磁反射信号。
所述光学成像装置主要由镜头和光学成像传感器构成。
还包括光学-电磁校准模块，光学-电磁校准模块分别与光学成像装置和电磁探测装置相连，检测获得的标定目标的电磁反射信号和光学图像信号均输入光学-电磁校准模块。
二、一种基于光学目标信息辅助的电磁遥感智能成像方法
方法包括以下步骤：
1)共同检测范围内设置有标定目标，在能见度大于等于10km条件下，使用电磁探测装置和光学成像装置针对标定目标收集多组电磁反射信号和光学图像信号；
2)将同组的电磁反射信号和光学图像信号输入到光学-电磁校准模块，光学-电磁校准模块输出光学-电磁图像；
3)训练过程中，以多组电磁反射信号作为输入数据，并且以多组电磁反射信号对应的光学-电磁图像作为标签图像集，将输入数据和标签图像集同时输入到电磁成像神经网络模型中进行训练，，获得训练后的电磁成像神经网络模型；
4)训练完成后，利用电磁探测装置获取待测目标的电磁反射信号，将电磁反射信号输入到训练好的电磁成像神经网络模型，获得待测目标的预测电磁图像。
所述多组电磁反射信号和光学图像信号具体为在不同的共同检测范围下针对标定目标所收集的电磁反射信号和光学图像信号，同组的电磁反射信号和光学图像信号具体为在同一共同检测范围下针对标定目标所收集的电磁反射信号和光学图像信号。
所述步骤2)具体为：
2.1)对光学成像装置检测到的光学图像信号f(x1,y1)进行空间傅里叶变换，获得光学图像空间频率域F(u1,v1)：
F(u1,v1)＝DFT((-1)x1+y1*f(x1,y1))
其中，v1表示光学图像空间频率域第一频率分量，u1表示光学图像空间频率域第二频率分量，x1表示光学图像信号中第一方位分量，y1表示光学图像信号中第一方位分量，DFT()表示二维傅里叶变化，光学图像空间频率域中最高频率记为Doptics；
2.2)利用距离多普勒算法对与步骤2.1)中光学图像信号f(x1,y1)同组的电磁反射信号进行处理获得电磁反射图像f(x2，y2)，再利用空间傅里叶变换对电磁反射图像f(x2,y2)进行处理获得电磁图像空间频率域F(u2,v2)：
F(u2,v2)＝DFT((-1)x2+y2*f(x2,y2))
其中，v2表示电磁图像空间频率域第一频率分量，u2表示电磁图像空间频率域第二频率分量，x2表示电磁反射图像的第一方位分量，y2表示电磁反射图像的第二方位分量，电磁图像空间频率域中最高频率记为Delectromagnetic；
2.3)对光学图像空间频率域F(u1,v1)进行低通滤波获得空间频率域信号G(u1,v1)：
G(u1,v1)＝F(u1,v1)*H(u1,v1)
Figure BDA0002920775470000031
D0＝Delectromagnetic+α(Doptics-Delectromagnetic)
其中，D0为低通滤波的截止频率，α为0～1之间的常数，D(u,v)表示光学图像空间频率域到中心频率的距离，u表示空间频率域第二频率分量，v表示空间频率域第一频率分量，H(u1,v1)表示理想低通滤波器频率响应；
2.4)对空间频率域信号G(u1,v1)进行傅里叶逆变换，获得光学-电磁图像g(x1,y1)：
g(x1,y1)＝{real[IDFT[G(u1,v1)]]}(-1)x1+y1
其中，real[]表示取实数部分，IDFT[]表示二维傅里叶逆变化。
所述步骤3)具体为：
电磁成像神经网络模型主要由特征提取网络和图像生成网络依次相连组成；训练集和标签图像集输入特征提取网络，图像生成网络输出预测电磁图像；电磁成像神经网络模型的优化目标为电磁成像神经网络模型预测的标定目标预测电磁图像与标签图像集中对应的光学-电磁图像之间的均方差作为损失函数，电磁成像神经网络模型利用自适应矩估计优化器对损失函数进行优化，最终输出的目标定目标的预测电磁图像大小与标签图像集中对应的光学-电磁图像相同，从而获得训练后的电磁成像神经网络模型。
本发明的有益效果是：
传统的电磁成像算法具有计算复杂度高、算法域设备通用性差的特点。而本发明引入光学信息来进一步挖掘电磁信息，并且使用深度学习替代了原有的算法。本发明具有设备通用性，只需要采集待测目标的电磁反射信号，利用训练好的电磁成像神经网络模型对待测目标的电磁反射信号进行输出对应的预测电磁图像，并且利用电磁成像神经网络模型可提升计算效率。
附图说明
图1为本发明实例采集数据过程中系统与标定目标的位置关系示意图图2是本发明的方法流程图
图3为本发明中电磁成像神经网络模型的结构示意图
图4为本发明中电磁成像神经网络模型的基本模块的结构示意图
图中：可移动装置1，光学成像装置2，可翻动板3，电磁探测装置4，标定目标5。
具体实施方式
下面结合附图对本发明进一步说明。
如图1所示，电磁遥感智能成像系统包括可移动装置1、光学成像装置2、可翻动板3、电磁探测装置4和标定目标5；
可移动装置1中部固定安装有光学成像装置2，可翻动板3活动安装在可移动装置1的一侧并且可翻动板3绕水平方向的一个轴或者竖直方向的一个轴进行旋转翻动，可翻动板3和可移动装置1之间通过一根旋转轴进行铰接，通过旋转轴可翻动板3实现两个方向的翻动，即沿图1中点6-1和点6-2组成的水平轴与点6-3和点6-4组成的竖直轴翻转，可翻动板3中部固定安装有电磁探测装置4；通过调节可翻动板3的水平或竖直旋转角度来实现电磁探测装置4检测范围与光学成像装置2检测范围部分或完全重合，光学成像装置2检测范围中与电磁探测装置4检测范围相重合的检测范围作为共同检测范围，共同检测范围中的目标为标定目标5，电磁探测装置4和光学成像装置2分别检测标定目标5的电磁反射信号和光学图像信号。
电磁探测装置4发射电磁波到标定目标5，并接收标定目标5反射后的电磁反射信号。
光学成像装置2主要由镜头和光学成像传感器构成。
还包括光学-电磁校准模块，光学-电磁校准模块分别与光学成像装置2和电磁探测装置4相连，检测获得的标定目标5的电磁反射信号和光学图像信号均输入光学-电磁校准模块。
如图2所示，电磁遥感智能成像方法包括以下步骤：
1)共同检测范围内设置有标定目标5，在能见度大于等于10km条件下，即光学传感器能清晰成像条件下，使用电磁探测装置4和光学成像装置2针对标定目标5收集多组电磁反射信号和光学图像信号；
2)将同组的电磁反射信号和光学图像信号输入到光学-电磁校准模块，光学-电磁校准模块输出光学-电磁图像；
步骤2)具体为：
2.1对光学成像装置2检测到的光学图像信号f(x1,y1)进行空间傅里叶变换，获得光学图像空间频率域F(u1,v1)：
F(u1,v1)＝DFT((-1)x1+y1*f(x1,y1))
其中，v1表示光学图像空间频率域第一频率分量，u1表示光学图像空间频率域第二频率分量，x1表示光学图像信号中第一方位分量，y1表示光学图像信号中第一方位分量，DFT()表示二维傅里叶变化，光学图像空间频率域中最高频率记为Doptics；
2.2利用距离多普勒算法对与步骤2.1中光学图像信号f(x1,y1)同组的电磁反射信号进行处理获得电磁反射图像f(x2,y2)，再利用空间傅里叶变换对电磁反射图像f(x2,y2)进行处理获得电磁图像空间频率域F(u2,v2)：
Fu2,v2＝DFT(-1)x2+y2*f(x2,y2)
其中，v2表示电磁图像空间频率域第一频率分量，u2表示电磁图像空间频率域第二频率分量，x2表示电磁反射图像的第一方位分量，y2表示电磁反射图像的第二方位分量，电磁图像空间频率域中最高频率记为Delectromagnetic；
2.3对光学图像空间频率域F(u1,v1)进行低通滤波获得空间频率域信号G(u1,v1)：
G(u1,v1)＝F(u1,v1)*H(u1,v1)
Figure BDA0002920775470000051
D0＝Delectromagnetic+α(Doptics-Delectromagnetic)
其中，D0为低通滤波的截止频率，α为0～1之间的常数，D(u,v)表示光学图像空间频率域到中心频率的距离，u表示空间频率域第二频率分量，v表示空间频率域第一频率分量，H(u1,v1)表示理想低通滤波器频率响应，低通滤波既保留了电磁反射信号所在的频率域，又融合了更高频率的部分光学图像信号。
2.4对空间频率域信号G(u1,v1)进行傅里叶逆变换，获得光学-电磁图像g(x1,y1)：
g(x1,y1)＝{real[IDFT[G(u1,v1)]]}(-1)x1+y1
其中，real[]表示取实数部分，IDFT[]表示二维傅里叶逆变化，
3)以多组电磁反射信号作为输入数据，并且以多组电磁反射信号对应的光学-电磁图像作为标签图像集，将输入数据和标签图像集同时输入到电磁成像神经网络模型中进行训练，，获得训练后的电磁成像神经网络模型；
多组电磁反射信号和光学图像信号具体为在不同的共同检测范围下针对标定目标5所收集的电磁反射信号和光学图像信号，同组的电磁反射信号和光学图像信号具体为在同一共同检测范围下针对标定目标5所收集的电磁反射信号和光学图像信号。
步骤3)具体为：
电磁成像神经网络模型为一种基于深度神经网络的成像算法，电磁成像神经网络模型主要由特征提取网络和图像生成网络依次相连组成；训练集和标签图像集输入特征提取网络，图像生成网络预测电磁图像；电磁成像神经网络模型的优化目标为电磁成像神经网络模型输出的标定目标5的预测电磁图像与标签图像集中对应的光学-电磁图像之间的均方差作为损失函数，电磁成像神经网络模型利用自适应矩估计Adam优化器对损失函数进行优化，最终标定目标5的预测电磁图像大小与标签图像集中对应的光学-电磁图像相同，从而获得训练后的电磁成像神经网络模型。
在训练过程中，通过下式进行计算损失函数Loss：
Figure BDA0002920775470000061
其中，M、N分别代表预测电磁图像长宽像素大小，Pij表示预测电磁图像在坐标(i,j)处的像素值，Lij表示光学-电磁图像在坐标(i,j)处的像素值，i表示预测电磁图像的长方向的坐标值，j表示预测电磁图像的宽方向的坐标值。
如图3和4所示，特征提取网络主要由卷积激活模块、最大池化模块、六个基本模块和平均池化模块依次相连组成；卷积激活模块主要由第一卷积层Conv、第一批规范化层BN和第一激活层Relu依次相连组成，第一卷积层Conv的输入为训练集和标签图像集，第一激活层Relu的输出输入到最大池化模块中；最大池化模块主要由最大池化层MaxPool组成；
基本模块包括第二卷积层Conv、第一批规范化激活模块、第三卷积层Conv、第二批规范化激活模块和映射层Identity mapping；第二卷积层Conv的输入作为基本模块的输入，第二卷积层Conv分别与第一批规范化激活模块和映射层相连，第一批规范化激活模块经第三卷积层Conv后与第二批规范化激活模块相连，第二批规范化激活模块的输出与映射层的输出进行相加后输出并作为基本模块的输出；第一批规范化激活模块的结构和第二批规范化激活模块的结构相同，第一批规范化激活模块主要由第二批规范化层BN和第二激活层Relu依次相连组成；
平均池化模块主要由自适应平均池化层组成；
图像生成网络主要由第一反卷积层ConvTranspose、第三批规范化激活模块、第二反卷积层ConvTranspose、第四批规范化激活模块、第三反卷积层ConvTranspose、第五批规范化激活模块、第四反卷积层ConvTranspose和第三激活层Tanh依次相连组成；第三批规范化激活模块、第四批规范化激活模块和第五批规范化激活模块的结构与第一批规范化激活模块的结构相同；第三激活层Tanh的输出作为图像生成网络的输出，第三激活层Tanh输出电磁成像。
4)训练完成后，不依靠光学成像装置获取光学图像信号，只利用电磁探测装置4获取待测目标的电磁反射信号，将电磁反射信号输入到训练后的电磁成像神经网络模型，获得待测目标的预测电磁图像。

Claims (8)

1.一种基于光学目标信息辅助的电磁遥感智能成像系统，其特征在于：包括可移动装置(1)、光学成像装置(2)、可翻动板(3)、电磁探测装置(4)和标定目标(5)；可移动装置(1)中部安装有光学成像装置(2)，可翻动板(3)活动安装在可移动装置(1)的一侧并且可翻动板(3)绕水平方向的一个轴或者竖直方向的一个轴进行旋转翻动，可翻动板(3)中部安装有电磁探测装置(4)；光学成像装置(2)检测范围中与电磁探测装置(4)检测范围相重合的检测范围作为共同检测范围，共同检测范围中的目标为标定目标(5)，电磁探测装置(4)和光学成像装置(2)分别检测标定目标(5)的电磁反射信号和光学图像信号。
2.根据权利要求1所述的一种基于光学目标信息辅助的电磁遥感智能成像系统，其特征在于：所述的电磁探测装置(4)发射电磁波到标定目标(5)，并接收标定目标(5)反射后的电磁反射信号。
3.根据权利要求1所述的一种基于光学目标信息辅助的电磁遥感智能成像系统，其特征在于：所述光学成像装置(2)主要由镜头和光学成像传感器构成。
4.根据权利要求1所述的一种基于光学目标信息辅助的电磁遥感智能成像系统，其特征在于：还包括光学-电磁校准模块，光学-电磁校准模块分别与光学成像装置(2)和电磁探测装置(4)相连，检测获得的标定目标(5)的电磁反射信号和光学图像信号均输入光学-电磁校准模块。
5.一种应用于权利要求1所述电磁遥感智能成像系统的基于光学目标信息辅助的电磁遥感智能成像方法，其特征在于：包括以下步骤：
1)共同检测范围内设置有标定目标(5)，在能见度大于等于10km条件下，使用电磁探测装置(4)和光学成像装置(2)针对标定目标(5)收集多组电磁反射信号和光学图像信号；
2)将同组的电磁反射信号和光学图像信号输入到光学-电磁校准模块，光学-电磁校准模块输出光学-电磁图像；
3)训练过程中，以多组电磁反射信号作为输入数据，并且以多组电磁反射信号对应的光学-电磁图像作为标签图像集，将输入数据和标签图像集同时输入到电磁成像神经网络模型中进行训练，，获得训练后的电磁成像神经网络模型；
4)训练完成后，利用电磁探测装置(4)获取待测目标的电磁反射信号，将电磁反射信号输入到训练好的电磁成像神经网络模型，获得待测目标的预测电磁图像。
6.根据权利要求5所述的一种基于光学目标信息辅助的电磁遥感智能成像方法，其特征在于：所述多组电磁反射信号和光学图像信号具体为在不同的共同检测范围下针对标定目标(5)所收集的电磁反射信号和光学图像信号，同组的电磁反射信号和光学图像信号具体为在同一共同检测范围下针对标定目标(5)所收集的电磁反射信号和光学图像信号。
7.根据权利要求5所述的一种基于光学目标信息辅助的电磁遥感智能成像方法，其特征在于：所述步骤2)具体为：
2.1)对光学成像装置(2)检测到的光学图像信号f(x1,y1)进行空间傅里叶变换，获得光学图像空间频率域F(u1,v1)：
F(u1,v1)＝DFT((-1)x1+y1*f(x1,y1))
其中，v1表示光学图像空间频率域第一频率分量，u1表示光学图像空间频率域第二频率分量，x1表示光学图像信号中第一方位分量，y1表示光学图像信号中第一方位分量，DFT()表示二维傅里叶变化，光学图像空间频率域中最高频率记为Doptics；
2.2)利用距离多普勒算法对与步骤2.1)中光学图像信号f(x1,y1)同组的电磁反射信号进行处理获得电磁反射图像f(x2,y2)，再利用空间傅里叶变换对电磁反射图像f(x2,y2)进行处理获得电磁图像空间频率域F(u2,v2)：
F(u2,v2)＝DFT((-1)x2+y2*f(x2,y2))
其中，v2表示电磁图像空间频率域第一频率分量，u2表示电磁图像空间频率域第二频率分量，x2表示电磁反射图像的第一方位分量，y2表示电磁反射图像的第二方位分量，电磁图像空间频率域中最高频率记为Delectromagnetic；
2.3)对光学图像空间频率域F(u1,v1)进行低通滤波获得空间频率域信号G(u1,v1)：
G(u1,v1)＝F(u1,v1)*H(u1,v1)
Figure FDA0002920775460000021
D0＝Delectromagnetic+α(Doptics-Delectromagnetic)
其中，D0为低通滤波的截止频率，α为0～1之间的常数，D(u,v)表示光学图像空间频率域到中心频率的距离，u表示空间频率域第二频率分量，v表示空间频率域第一频率分量，H(u1,v1)表示理想低通滤波器频率响应；
2.4)对空间频率域信号G(u1,v1)进行傅里叶逆变换，获得光学-电磁图像g(x1,y1)：
g(x1,y1)＝{real[IDFT[G(u1,v1)]]}(-1)x1+y1
其中，real[]表示取实数部分，IDFT[]表示二维傅里叶逆变化。
8.根据权利要求5所述的一种基于光学目标信息辅助的电磁遥感智能成像方法，其特征在于，所述步骤3)具体为：
电磁成像神经网络模型主要由特征提取网络和图像生成网络依次相连组成；训练集和标签图像集输入特征提取网络，图像生成网络输出预测电磁图像；电磁成像神经网络模型的优化目标为电磁成像神经网络模型预测的标定目标(5)预测电磁图像与标签图像集中对应的光学-电磁图像之间的均方差作为损失函数，电磁成像神经网络模型利用自适应矩估计(Adam)优化器对损失函数进行优化，最终输出的目标定目标(5)的预测电磁图像大小与标签图像集中对应的光学-电磁图像相同，从而获得训练后的电磁成像神经网络模型。
CN202110116288.9A 2021-01-28 2021-01-28 基于光学目标信息辅助的电磁遥感智能成像系统与方法 Active CN112946684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110116288.9A CN112946684B (zh) 2021-01-28 2021-01-28 基于光学目标信息辅助的电磁遥感智能成像系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110116288.9A CN112946684B (zh) 2021-01-28 2021-01-28 基于光学目标信息辅助的电磁遥感智能成像系统与方法

Publications (2)

Publication Number Publication Date
CN112946684A true CN112946684A (zh) 2021-06-11
CN112946684B CN112946684B (zh) 2023-08-11

Family

ID=76238386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110116288.9A Active CN112946684B (zh) 2021-01-28 2021-01-28 基于光学目标信息辅助的电磁遥感智能成像系统与方法

Country Status (1)

Country Link
CN (1) CN112946684B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107728136A (zh) * 2017-11-29 2018-02-23 航科院（北京）科技发展有限公司 一种机场跑道异物监测和清除引导系统及方法
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN109143376A (zh) * 2018-08-13 2019-01-04 浙江大学 一种全景电磁光学融合成像系统和方法
CN109655825A (zh) * 2018-03-29 2019-04-19 上海智瞳通科技有限公司 多传感器融合的数据处理方法、装置与多传感器融合方法
CN110189304A (zh) * 2019-05-07 2019-08-30 南京理工大学 基于人工智能的光学遥感图像目标在线快速检测方法
CN110428008A (zh) * 2019-08-02 2019-11-08 深圳市唯特视科技有限公司 一种基于多融合传感器的目标探测与识别装置和方法
CN110765853A (zh) * 2019-09-10 2020-02-07 中国科学院上海技术物理研究所 一种多谱段相机的图像处理方法
JP2020039841A (ja) * 2017-11-24 2020-03-19 炭　親良 計測イメージング装置
CN111383192A (zh) * 2020-02-18 2020-07-07 清华大学 一种融合sar的可见光遥感图像去雾方法
CN111797676A (zh) * 2020-04-30 2020-10-20 南京理工大学 一种高分辨率遥感图像目标在轨轻量化快速检测方法
CN111881725A (zh) * 2020-06-14 2020-11-03 浙江大学 一种融合空频域特征的光学遥感图像船舶目标检测方法
CN112016614A (zh) * 2020-08-27 2020-12-01 北京理工大学 光学图像目标检测模型的构建方法、目标检测方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法
JP2020039841A (ja) * 2017-11-24 2020-03-19 炭　親良 計測イメージング装置
CN107728136A (zh) * 2017-11-29 2018-02-23 航科院（北京）科技发展有限公司 一种机场跑道异物监测和清除引导系统及方法
CN109655825A (zh) * 2018-03-29 2019-04-19 上海智瞳通科技有限公司 多传感器融合的数据处理方法、装置与多传感器融合方法
CN109143376A (zh) * 2018-08-13 2019-01-04 浙江大学 一种全景电磁光学融合成像系统和方法
CN110189304A (zh) * 2019-05-07 2019-08-30 南京理工大学 基于人工智能的光学遥感图像目标在线快速检测方法
CN110428008A (zh) * 2019-08-02 2019-11-08 深圳市唯特视科技有限公司 一种基于多融合传感器的目标探测与识别装置和方法
CN110765853A (zh) * 2019-09-10 2020-02-07 中国科学院上海技术物理研究所 一种多谱段相机的图像处理方法
CN111383192A (zh) * 2020-02-18 2020-07-07 清华大学 一种融合sar的可见光遥感图像去雾方法
CN111797676A (zh) * 2020-04-30 2020-10-20 南京理工大学 一种高分辨率遥感图像目标在轨轻量化快速检测方法
CN111881725A (zh) * 2020-06-14 2020-11-03 浙江大学 一种融合空频域特征的光学遥感图像船舶目标检测方法
CN112016614A (zh) * 2020-08-27 2020-12-01 北京理工大学 光学图像目标检测模型的构建方法、目标检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周前祥,敬忠良,姜世忠: "不同光谱与空间分辨率遥感图像融合方法的理论研究", 遥感技术与应用, vol. 18, no. 01 *

Also Published As

Publication number Publication date
CN112946684B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
Major et al. Vehicle detection with automotive radar using deep learning on range-azimuth-doppler tensors
CN109100741B (zh) 一种基于3d激光雷达及图像数据的目标检测方法
CN106990404B (zh) 一种利用导航x波段雷达反演海面波高的自动定标算法
CN113970743A (zh) 对车辆附近的对象进行检测的方法和系统
CN101915910B (zh) 利用航海雷达识别海上溢油目标的方法及系统
CN111323756B (zh) 一种基于深度学习的航海雷达目标检测方法及装置
US20220214441A1 (en) Methods and System for Compressing Radar Data
CN112684424B (zh) 一种毫米波雷达与相机的自动标定方法
Cui et al. 3D detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4D mmWave radars
CN111323757B (zh) 一种航海雷达目标检测方法及装置
CN108107427A (zh) 基于超分辨技术的机载/弹载阵列雷达前视成像方法
CN108919229B (zh) 一种基于卷积逆投影的矩阵重构成像方法
Engelhardt et al. Occupancy grids generation using deep radar network for autonomous driving
CN116097123A (zh) 针对静止对象的成像雷达超分辨率
CN113790718A (zh) 一种基于无人船的信息共享系统
CN112946684B (zh) 基于光学目标信息辅助的电磁遥感智能成像系统与方法
CN116466307B (zh) 一种基于深度图的毫米波雷达点云仿真的方法和装置
CN114185047A (zh) 一种基于最优极坐标变换的双基sar动目标重聚焦方法
Jin et al. Semantic segmentation-based occupancy grid map learning with automotive radar raw data
CN106597431B (zh) 基于Hough变换的地面静目标分类方法
CN114692679A (zh) 基于调频连续波的元学习手势识别方法
CN114460587B (zh) 一种主动声呐全景接触目标快速辨识方法
CN110058241A (zh) 用于天气雷达图像径向干扰回波消除的剪切波方法
CN115375997B (zh) 一种海面的目标检测方法、目标检测装置及终端设备
US20240210554A1 (en) Object detection using convolution neural networks with spatially invariant reflective-intensity data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant