CN116908852B - 一种雷达目标语义信息快速标注方法、系统及装置 - Google Patents

一种雷达目标语义信息快速标注方法、系统及装置 Download PDF

Info

Publication number
CN116908852B
CN116908852B CN202311144316.3A CN202311144316A CN116908852B CN 116908852 B CN116908852 B CN 116908852B CN 202311144316 A CN202311144316 A CN 202311144316A CN 116908852 B CN116908852 B CN 116908852B
Authority
CN
China
Prior art keywords
image
radar
semantic information
target
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311144316.3A
Other languages
English (en)
Other versions
CN116908852A (zh
Inventor
陈思伟
李铭典
周鹏
崔兴超
李郝亮
邓均午
戴林裕
肖顺平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202311144316.3A priority Critical patent/CN116908852B/zh
Publication of CN116908852A publication Critical patent/CN116908852A/zh
Application granted granted Critical
Publication of CN116908852B publication Critical patent/CN116908852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/904SAR modes
    • G01S13/9064Inverse SAR [ISAR]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种雷达目标语义信息快速标注方法、系统及装置。方法包括:获取观测目标的光学增强图像和雷达增强图像;采用预训练的深度网络分割模型提取光学增强图像各像素点的语义信息,根据提取到的目标光学图像语义信息掩膜和雷达增强图像进行像素坐标的仿射变换,采用仿射变换得到的像素位置映射函数对目标光学图像语义信息掩膜进行重映射,对重映射后的目标光学图像语义信息掩膜进行拓展得到拓展掩膜;以拓展掩膜作为先验条件输入微调后的深度网络分割模型,迭代提取雷达增强图像的语义信息,得到目标雷达图像语义信息掩膜,从而对雷达图像进行语义标注。采用本方法能够实现雷达目标语义信息的高精度和快速标注。

Description

一种雷达目标语义信息快速标注方法、系统及装置
技术领域
本申请涉及雷达成像遥感技术领域,特别是涉及一种雷达目标语义信息快速标注方法、系统及装置。
背景技术
雷达能够实现对高价值人造目标全天时与全天候的观测。包括合成孔径雷达(Synthetic Aperture Radar, SAR)以及逆合成孔径雷达(Inverse Synthetic ApertureRadar, ISAR)在内的雷达设备能够实现对高价值人造目标全天时与全天候的观测。其中,作为一类典型的成像雷达,逆合成孔径雷达ISAR设备能够发射大带宽信号,对空间目标的探测起着重要作用。
对雷达图像进行像素级语义信息提取和分割能够为后续雷达图像处理和解译等重要技术提供支撑。随着深度卷积神经网络的快速发展,基于深度学习的语义分割方法成为语义分割的主流方法,通常采用交叉熵损失函数训练模型对图像中的每一个像素进行分类处理,使得深度网络模型能够学习原始图像像素到语义信息的映射关系,因此需要较为精准的语义标注图像来对深度网络模型进行训练。然而,雷达图像与光学图像相比表征性差,图像中散射点的不连续和强散射点存在的旁瓣效应,使得人工精准标注十分困难。另外,由于数据的表征情况不同,直接使用光学图像中预训练的深度网络模型进行分割处理效果不佳。现有的一些方法采用多种传感器数据结合的方法进行标注,但是在获取多种传感器数据时,二者之间匹配存在误差。同时,此类型方法往往涉及到特征点的提取过程,雷达图像本身的质量,如旁瓣和散焦等对语义信息提取会产生影响。此外,人工标注通常采用输入多个角点坐标或者在图像中点选多个角点构成多边形的方式对同一语义信息所在区域进行标注,综合性能不高。
发明内容
基于此,有必要针对上述技术问题,提供一种雷达目标语义信息快速标注方法、系统及装置。
一种雷达目标语义信息快速标注方法,所述方法包括:
获取观测目标的光学图像和雷达图像,分别对所述光学图像和所述雷达图像进行图像增强,得到光学增强图像和雷达增强图像;
采用预先训练的深度网络分割模型提取所述光学增强图像各像素点的语义信息,得到目标光学图像语义信息掩膜;
根据所述目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形进行像素坐标的仿射变换,采用仿射变换得到的像素位置映射函数对所述目标光学图像语义信息掩膜进行重映射,对重映射后的目标光学图像语义信息掩膜进行掩膜拓展,得到拓展掩膜;
以所述拓展掩膜作为先验条件输入微调后的所述深度网络分割模型,采用微调后的所述深度网络分割模型迭代提取所述雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到目标雷达图像语义信息掩膜,利用所述目标雷达图像语义信息掩膜对雷达图像进行语义标注。
在其中一个实施例中,还包括:获取所述雷达图像的强度数据,根据所述重映射后的目标光学图像语义信息掩膜得到加权矩阵,利用所述加权矩阵对所述强度数据进行加权处理,得到雷达图像加权结果;对所述雷达图像加权结果进行直方图均衡增强处理,得到雷达增强图像。
在其中一个实施例中,还包括:所述雷达图像加权结果为:
其中,为雷达图像加权结果,/>为雷达图像的强度数据,/>为加权矩阵,/>,/>为全1的矩阵,/>为调节矩阵,,/>表示调节矩阵第/>行第/>列的元素,/>为调节因子,/>表示矩阵/>中第/>行第/>列的元素。
在其中一个实施例中,还包括:分别根据所述目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形,得到对应的光学图像角点坐标集合和雷达图像角点坐标集合;根据所述光学图像角点坐标集合和所述雷达图像角点坐标集合中同一像素的坐标,得到同一像素坐标间的仿射变换;根据所述光学图像角点坐标集合和所述雷达图像角点坐标集合中每一像素的像素坐标,求解所述仿射变换中的系数矩阵,得到像素位置映射函数。
在其中一个实施例中,还包括:采用微调后的所述深度网络分割模型对所述雷达增强图像进行语义信息提取,得到语义信息提取中间结果;计算所述重映射后的目标光学图像语义信息掩膜和所述语义信息提取中间结果之间的交并比值,若所述交并比值不大于预设阈值,则分别根据所述语义信息提取中间结果更新所述像素位置映射函数和所述雷达增强图像,采用微调后的所述深度网络分割模型对更新后的雷达增强图像进行处理,得到新的语义信息提取结果,迭代执行上述步骤,直至所述交并比值大于预设阈值时,停止迭代,输出目标雷达图像语义信息掩膜。
在其中一个实施例中,还包括:根据目标光学图像语义信息掩膜中目标的外接矩形和所述语义信息提取中间结果中目标的外接矩形进行像素坐标的仿射变换,更新所述像素位置映射函数。
在其中一个实施例中,还包括:获取所述雷达图像的强度数据,根据所述语义信息提取中间结果更新所述加权矩阵,利用更新后的加权矩阵更新雷达增强图像。
在其中一个实施例中,还包括:所述微调后的所述深度网络分割模型包括提示单元;所述提示单元包括多层感知机,用于对输入的先验条件进行编码,并对深度网络处理后的雷达图像深层编码信息和先验条件编码信息进行融合。
一种雷达目标语义信息快速标注装置,所述装置包括:
图像增强模块,用于获取观测目标的光学图像和雷达图像,分别对所述光学图像和所述雷达图像进行图像增强,得到光学增强图像和雷达增强图像;
掩膜提取模块,用于采用预先训练的深度网络分割模型提取所述光学增强图像各像素点的语义信息,得到目标光学图像语义信息掩膜;
掩膜重映射模块,用于根据所述目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形进行像素坐标的仿射变换,采用仿射变换得到的像素位置映射函数对所述目标光学图像语义信息掩膜进行重映射,对重映射后的目标光学图像语义信息掩膜进行掩膜拓展,得到拓展掩膜;
语义标注模块,用于以所述拓展掩膜作为先验条件输入微调后的所述深度网络分割模型,采用微调后的所述深度网络分割模型迭代提取所述雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到目标雷达图像语义信息掩膜,利用所述目标雷达图像语义信息掩膜对雷达图像进行语义标注。
一种雷达目标语义信息快速标注系统,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取观测目标的光学图像和雷达图像,分别对所述光学图像和所述雷达图像进行图像增强,得到光学增强图像和雷达增强图像;
采用预先训练的深度网络分割模型提取所述光学增强图像各像素点的语义信息,得到目标光学图像语义信息掩膜;
根据所述目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形进行像素坐标的仿射变换,采用仿射变换得到的像素位置映射函数对所述目标光学图像语义信息掩膜进行重映射,对重映射后的目标光学图像语义信息掩膜进行掩膜拓展,得到拓展掩膜;
以所述拓展掩膜作为先验条件输入微调后的所述深度网络分割模型,采用微调后的所述深度网络分割模型迭代提取所述雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到目标雷达图像语义信息掩膜,利用所述目标雷达图像语义信息掩膜对雷达图像进行语义标注。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取观测目标的光学图像和雷达图像,分别对所述光学图像和所述雷达图像进行图像增强,得到光学增强图像和雷达增强图像;
采用预先训练的深度网络分割模型提取所述光学增强图像各像素点的语义信息,得到目标光学图像语义信息掩膜;
根据所述目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形进行像素坐标的仿射变换,采用仿射变换得到的像素位置映射函数对所述目标光学图像语义信息掩膜进行重映射,对重映射后的目标光学图像语义信息掩膜进行掩膜拓展,得到拓展掩膜;
以所述拓展掩膜作为先验条件输入微调后的所述深度网络分割模型,采用微调后的所述深度网络分割模型迭代提取所述雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到目标雷达图像语义信息掩膜,利用所述目标雷达图像语义信息掩膜对雷达图像进行语义标注。
上述雷达目标语义信息快速标注方法、系统及装置,通过获取光学增强图像和雷达增强图像,采用预先训练的深度网络分割模型提取光学增强图像各像素点的语义信息,得到目标光学图像语义信息掩膜;根据目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形进行像素坐标的仿射变换,采用仿射变换得到的像素位置映射函数对目标光学图像语义信息掩膜进行重映射,对重映射后的目标光学图像语义信息掩膜进行掩膜拓展,得到拓展掩膜;以拓展掩膜作为先验条件输入微调后的深度网络分割模型,采用微调后的深度网络分割模型迭代提取雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到目标雷达图像语义信息掩膜,利用目标雷达图像语义信息掩膜对雷达图像进行语义标注。本发明实施例,能够实现雷达目标语义信息的高精度和快速标注,为后续雷达图像处理和解译等重要技术提供支撑。
附图说明
图1为一个实施例中雷达目标语义信息快速标注方法的应用场景图;
图2为一个实施例中卫星目标坐标系示意图;
图3为一个实施例中雷达目标语义信息快速标注算法的流程示意图;
图4为一个实施例中卫星目标典型视角下光学图像语义信息提取结果示意图;
图5为一个实施例中平板天线所在区域轮廓角点示意图;
图6为一个实施例中增强处理前典型视角下雷达图像强度数据示意图;
图7为一个实施例中增强处理后典型视角下雷达图像强度数据示意图;
图8为一个实施例中光学图像外接矩形和角点示意图;
图9为一个实施例中拓展操作中的十字形结构元示意图;
图10为一个实施例中第1次迭代时的雷达图像外接矩形和角点示意图;
图11为一个实施例中第n次迭代时的雷达图像外接矩形和角点示意图
图12为一个实施例中卫星目标典型视角下雷达图像语义信息提取结果示意图;
图13为一个实施例中雷达目标语义信息快速标注装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种雷达目标语义信息快速标注方法,包括以下步骤:
步骤102,获取观测目标的光学图像和雷达图像,分别对光学图像和雷达图像进行图像增强,得到光学增强图像和雷达增强图像。
雷达图像可以是极化干涉SAR图像,也可以是双极化SAR图像以及全极化SAR图像等其它的极化雷达图像相关领域。通过结合目标光学图像数据和雷达图像数据,从而利用深度学习网络模型自适应和快速地提取和分割雷达图像数据中不同像素点的语义信息。
步骤104,采用预先训练的深度网络分割模型提取光学增强图像各像素点的语义信息,得到目标光学图像语义信息掩膜。
步骤106,根据目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形进行像素坐标的仿射变换,采用仿射变换得到的像素位置映射函数对目标光学图像语义信息掩膜进行重映射,对重映射后的目标光学图像语义信息掩膜进行掩膜拓展,得到拓展掩膜。
在进行仿射变换时,除了可以使用目标外接矩形进行配准,也可以使用SURF(Speeded Up Robust Features)等特征点提取算法提取角点坐标进行配准。可以使用十字形的结构元,或者使用正方形、圆形等数字图像处理中常用的结构元进行掩膜拓展处理。
步骤108,以拓展掩膜作为先验条件输入微调后的深度网络分割模型,采用微调后的深度网络分割模型迭代提取雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到目标雷达图像语义信息掩膜,利用目标雷达图像语义信息掩膜对雷达图像进行语义标注。
上述雷达目标语义信息快速标注方法中,通过获取光学增强图像和雷达增强图像,采用预先训练的深度网络分割模型提取光学增强图像各像素点的语义信息,得到目标光学图像语义信息掩膜;根据目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形进行像素坐标的仿射变换,采用仿射变换得到的像素位置映射函数对目标光学图像语义信息掩膜进行重映射,对重映射后的目标光学图像语义信息掩膜进行掩膜拓展,得到拓展掩膜;以拓展掩膜作为先验条件输入微调后的深度网络分割模型,采用微调后的深度网络分割模型迭代提取雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到目标雷达图像语义信息掩膜,利用目标雷达图像语义信息掩膜对雷达图像进行语义标注。本发明实施例,能够实现雷达目标语义信息的高精度和快速标注,为后续雷达图像处理和解译等重要技术提供支撑。
在一个具体实施例中,如图3所示的雷达目标语义信息快速标注算法的流程示意图,算法步骤包括:
S1、获取目标光学图像数据,进行增强处理。
S2、提取不同像素点的语义信息,生成目标光学图像语义信息掩膜,并进行人工微调。
S3、获取目标雷达图像数据,进行雷达图像增强处理。
S4、通过重映射模块,得到重映射后的光学图像语义信息掩膜,并对掩膜进行拓展处理。
S5、以重映射和拓展后的光学图像语义信息掩膜作为先验条件信息,结合预训练和微调的语义信息提取模块得到语义信息提取中间结果。
S6、判断语义信息提取中间结果与重映射的光学图像语义信息掩膜之间的交并比值是否不大于给定阈值;如果是,输出得到最终的目标雷达图像语义信息掩膜结果,并利用该结果微调雷达语义信息提取模块B的权值;如果不是,以语义信息提取中间结果作为先验条件,调控重映射模块与雷达图像增强模块,并重复S5-S7,直至算法收敛。
具体地,在S1中,以ISAR雷达设备对卫星目标进行观测为例,获取观测目标的光学图像时,如图2所示的卫星目标坐标系示意图,采用电磁仿真软件对卫星目标进行电磁计算仿真。雷达与目标间的相对位移方向为,雷达波束指向为/>,根据雷达间的相对位移方向/>和目标与雷达波束指向/>得到雷达成像投影平面/>,定义垂直于/>平面的方向为/>,获取从/>轴负方向进行观测的卫星光学图像/>。然后,进行直方图均衡增强处理,得到目标对比度增强后的光学图像数据/>,即光学增强图像。
在S2中,具体地,对需要提取的类语义信息进行编码处理,/>为待提取语义信息的类别数量,在本发明实施例中,定义需要提取的5类语义信息分别为太阳能帆板、天线、铰链、传感器和主体,并利用数字1-5进行编码表示。采用在光学图像数据集中进行预训练的深度网络分割模型对光学增强图像进行处理,如图3所示,本发明实施例选取预训练的Segment Anything分割大模型作为语义信息提取模块A,自适应地提取所有像素点的语义信息,生成目标光学图像语义信息掩膜数据/>。如图4所示的卫星目标典型视角下光学图像语义信息提取结果示意图,其中,不同语义信息所在的区域用不同深浅的颜色进行区分。采用多边形逼近方法得到/>数据中第/>类语义信息所在区域轮廓的角点集合,其中,平板天线所在区域轮廓角点示意图如图5所示。然后,人工微调/>中的角点位置,得到最终的角点集合/>。最后,由/>重新生成目标光学图像语义信息掩膜数据
在一个实施例中,对雷达图像进行图像增强,得到雷达增强图像的步骤,包括:获取雷达图像的强度数据,根据重映射后的目标光学图像语义信息掩膜得到加权矩阵,利用加权矩阵对强度数据进行加权处理,得到雷达图像加权结果;对雷达图像加权结果进行直方图均衡增强处理,得到雷达增强图像。在本实施例中,通过对雷达图像数据的强度数据进行重构和增强处理,能够提高目标对比度。增强处理前后典型视角下雷达图像强度数据示意图分别如图6和图7所示。可以观察到,增强处理前,原始雷达图像强度数据中存在强旁瓣和散焦情况的干扰。通过增强处理后,目标对比度提高,主体轮廓更加明显,有利于后续的语义信息提取处理。
在一个实施例中,雷达图像加权结果为:
其中,为雷达图像加权结果,/>为雷达图像的强度数据,/>为加权矩阵,/>,/>为全1的矩阵,/>为调节矩阵,/>表示调节矩阵第/>行第/>列的元素,/>为调节因子,/>表示矩阵/>中第/>行第/>列的元素。在本实施例中,如果是第一次迭代,/>为全1的矩阵,即
在一个实施例中,根据目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形进行像素坐标的仿射变换的步骤,包括:分别根据目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形,得到对应的光学图像角点坐标集合和雷达图像角点坐标集合;根据光学图像角点坐标集合和雷达图像角点坐标集合中同一像素的坐标,得到同一像素坐标间的仿射变换;根据光学图像角点坐标集合和雷达图像角点坐标集合中每一像素的像素坐标,求解仿射变换中的系数矩阵,得到像素位置映射函数。
具体地,进行第一次迭代时,即,根据目标光学图像信息掩膜,提取掩膜数据外接矩形,外接矩形对应的角点坐标集合为/>,外接矩形中三个不共线的角点坐标集合为/>,如图8的光学图像外接矩形和角点示意图所示。然后,采用二值分割的方法得到雷达增强图像目标所在区域,并提取目标的外接矩形,外接矩形对应的角点坐标集合为/>,外接矩形中三个不共线的角点坐标集合为/>,如图10的第1次迭代时的雷达图像外接矩形和角点示意图所示。光学图像中角点坐标集合/>中第/>个像素的坐标为/>,雷达图像中角点坐标集合/>中第/>个像素的坐标为,根据光学图像角点坐标集合和雷达图像角点坐标集合中同一像素的坐标,得到同一像素坐标间的仿射变换为:
其中,为雷达图像中角点坐标集合中第/>个像素的坐标,为光学图像中角点坐标集合中第/>个像素的坐标,/>为矩阵的转置,/>为像素位置映射函数,/>和/>为系数矩阵。通过/>与/>中的坐标可以求解得到/>和/>中相应的系数,并得到像素位置映射函数/>,上标/>表示该迭代的轮次。
在S4中,采用像素位置映射函数对目标光学图像语义信息掩膜数据进行重映射,得到重映射后的目标光学图像语义信息掩膜/>,即:
实际获取的光学图像姿态与雷达图像对应的目标姿态存在失配的情况,重映射后的光学图像语义掩膜与雷达目标实际的语义信息可能存在有偏差,通过对重映射后的目标光学图像语义信息掩膜进行拓展,能够提高语义信息的准确性,如图9所示的拓展操作中的十字形结构元示意图,采用十字形结构元/>对/>进行膨胀操作,得到拓展掩膜,即:
在一个实施例中,如图3所示的雷达目标语义信息快速标注算法的流程示意图,采用微调后的深度网络分割模型迭代提取雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到目标雷达图像语义信息掩膜的步骤,包括:采用微调后的深度网络分割模型对雷达增强图像进行语义信息提取,得到语义信息提取中间结果;计算重映射后的目标光学图像语义信息掩膜和语义信息提取中间结果之间的交并比值,若交并比值不大于预设阈值,则分别根据语义信息提取中间结果更新像素位置映射函数和雷达增强图像,采用微调后的深度网络分割模型对更新后的雷达增强图像进行处理,得到新的语义信息提取结果,迭代执行上述步骤,直至交并比值大于预设阈值时,停止迭代,输出目标雷达图像语义信息掩膜。
具体地,使用在光学图像数据集中预训练的深度网络分割模型作为语义信息提取模块B,本发明实施例选取预训练的Segment Anything分割大模型作为基础模型。并采用少量的雷达数据及其语义信息标注结果对语义信息提取模块B进行微调。然后以拓展掩膜作为先验条件信息,输入到语义信息提取模块B中,对雷达增强图像进行处理,得到雷达增强图像对应的语义信息提取中间结果。判断语义信息提取中间结果/>与重映射后的光学图像语义信息掩膜/>之间交并比值(IOU)是否不大于预先设置的阈值/>。其中,IOU为/>与/>中目标外接矩形区域的交集与并集的比值。该比值越大,说明/>描述的目标语义信息区域与/>描述的目标语义信息区域越相似和接近。
如果,则得到最终的目标雷达图像语义信息掩膜/>,并利用和雷达增强图像进行监督训练,微调雷达图像语义信息提取模块B的权值。
如果,以语义信息提取中间结果/>作为先验条件,提取/>中目标的外接矩形,外接矩形对应的角点坐标集合为/>,并重复/>时的重映射操作,得到第/>次循环的像素位置映射函数/>以及重映射后的目标光学图像语义信息掩膜/>,即:
此外,以语义信息提取中间结果作为先验条件,调控雷达图像增强模块对输入的雷达图像数据/>进行迭代处理。然后重复S5-S7,直至算法收敛。其中,第1次和第n次迭代中雷达图像外接矩形和角点示意图分别如图10和图11所示,可以观察到,刚开始迭代时,由于背景中旁瓣和散焦的干扰较为严重,使得估计得到目标区域的外接矩形会略大于目标区域,通过利用分割结果进行自适应地迭代处理,能够提高目标对比度,同时雷达图像外接矩形区域的估计也更加准确,这有利于重映射模块中光学图像语义掩膜向雷达图像的有效重映射。卫星目标典型视角下雷达图像语义信息提取结果如图12所示,不同深浅的颜色代表不同的部件语义信息。
本发明实施例,将拓展掩膜作为先验信息,结合预训练和微调的深度学习分割网络模型进行二次语义信息提取处理,得到雷达图像语义信息提取中间结果,以矫正不同传感器数据获取时,二者之间匹配的误差。然后利用语义信息提取中间结果调控重映射和增强模块,进行迭代操作,得到最终的目标雷达图像语义信息掩膜结果。通过反馈迭代的方式,能够对输入的雷达图像进行自适应地增强处理,减少雷达图像中旁瓣和散焦等对语义信息提取的影响,以提高语义信息提取的精度和准确性。本发明方法综合性能较高,鲁棒性高,能够实现雷达目标语义信息的高精度和快速标注。
在一个实施例中,根据语义信息提取中间结果更新像素位置映射函数的步骤,包括:根据目标光学图像语义信息掩膜中目标的外接矩形和语义信息提取中间结果中目标的外接矩形进行像素坐标的仿射变换,更新像素位置映射函数;根据语义信息提取中间结果更新雷达增强图像的步骤,包括:获取雷达图像的强度数据,根据语义信息提取中间结果更新加权矩阵,利用更新后的加权矩阵更新雷达增强图像。
在一个实施例中,微调后的深度网络分割模型包括提示单元;提示单元包括多层感知机,用于对输入的先验条件进行编码,并对深度网络处理后的雷达图像深层编码信息和先验条件编码信息进行融合。在本实施例中,微调后的深度网络分割模型即图3中的语义信息提取模块B,提示单元包括多个全连接层和激活层,能够对输入的先验信息进行编码并与深度网络处理后输入雷达图像的深层编码信息进行融合。本发明中涉及的语义信息提取模块可以选取任一在光学图像分割数据中预训练的深度网络语义分割模型。
应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图13所示,提供了一种雷达目标语义信息快速标注装置,包括:图像增强模块1302、掩膜提取模块1304、掩膜重映射模块1306和语义标注模块1308,其中:
图像增强模块1302,用于获取观测目标的光学图像和雷达图像,分别对光学图像和雷达图像进行图像增强,得到光学增强图像和雷达增强图像;
掩膜提取模块1304,用于采用预先训练的深度网络分割模型提取光学增强图像各像素点的语义信息,得到目标光学图像语义信息掩膜;
掩膜重映射模块1306,用于根据目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形进行像素坐标的仿射变换,采用仿射变换得到的像素位置映射函数对目标光学图像语义信息掩膜进行重映射,对重映射后的目标光学图像语义信息掩膜进行掩膜拓展,得到拓展掩膜;
语义标注模块1308,用于以拓展掩膜作为先验条件输入微调后的深度网络分割模型,采用微调后的深度网络分割模型迭代提取雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到目标雷达图像语义信息掩膜,利用目标雷达图像语义信息掩膜对雷达图像进行语义标注。
在其中一个实施例中,用于获取雷达图像的强度数据,根据重映射后的目标光学图像语义信息掩膜得到加权矩阵,利用加权矩阵对强度数据进行加权处理,得到雷达图像加权结果;对雷达图像加权结果进行直方图均衡增强处理,得到雷达增强图像。
在其中一个实施例中,用于雷达图像加权结果为:
其中,为雷达图像加权结果,/>为雷达图像的强度数据,/>为加权矩阵,/>,/>为全1的矩阵,/>为调节矩阵,/>,/>表示调节矩阵第/>行第/>列的元素,/>为调节因子,/>表示矩阵/>中第/>行第/>列的元素。
在其中一个实施例中,用于分别根据目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形,得到对应的光学图像角点坐标集合和雷达图像角点坐标集合;根据光学图像角点坐标集合和雷达图像角点坐标集合中同一像素的坐标,得到同一像素坐标间的仿射变换;根据光学图像角点坐标集合和雷达图像角点坐标集合中每一像素的像素坐标,求解仿射变换中的系数矩阵,得到像素位置映射函数。
在其中一个实施例中,用于采用微调后的深度网络分割模型对雷达增强图像进行语义信息提取,得到语义信息提取中间结果;计算重映射后的目标光学图像语义信息掩膜和语义信息提取中间结果之间的交并比值,若交并比值不大于预设阈值,则分别根据语义信息提取中间结果更新像素位置映射函数和雷达增强图像,采用微调后的深度网络分割模型对更新后的雷达增强图像进行处理,得到新的语义信息提取结果,迭代执行上述步骤,直至交并比值大于预设阈值时,停止迭代,输出目标雷达图像语义信息掩膜。
在其中一个实施例中,用于根据目标光学图像语义信息掩膜中目标的外接矩形和语义信息提取中间结果中目标的外接矩形进行像素坐标的仿射变换,更新像素位置映射函数。
在其中一个实施例中,用于获取雷达图像的强度数据,根据语义信息提取中间结果更新加权矩阵,利用更新后的加权矩阵更新雷达增强图像。
在其中一个实施例中,用于微调后的深度网络分割模型包括提示单元;提示单元包括多层感知机,用于对输入的先验条件进行编码,并对深度网络处理后的雷达图像深层编码信息和先验条件编码信息进行融合。
关于雷达目标语义信息快速标注装置的具体限定可以参见上文中对于雷达目标语义信息快速标注方法的限定,在此不再赘述。上述雷达目标语义信息快速标注装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种雷达目标语义信息快速标注系统,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:获取观测目标的光学图像和雷达图像,分别对光学图像和雷达图像进行图像增强,得到光学增强图像和雷达增强图像;采用预先训练的深度网络分割模型提取光学增强图像各像素点的语义信息,得到目标光学图像语义信息掩膜;根据目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形进行像素坐标的仿射变换,采用仿射变换得到的像素位置映射函数对目标光学图像语义信息掩膜进行重映射,对重映射后的目标光学图像语义信息掩膜进行掩膜拓展,得到拓展掩膜;以拓展掩膜作为先验条件输入微调后的深度网络分割模型,采用微调后的深度网络分割模型迭代提取雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到目标雷达图像语义信息掩膜,利用目标雷达图像语义信息掩膜对雷达图像进行语义标注。
需要说明的是,除了上述的存储器和处理器之外,其还包括其他本说明书未详尽列出的必要组成部件,具体视上述雷达目标语义信息快速标注系统的具体设备类型而定。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本发明的保护范围应以所附权利要求为准。

Claims (10)

1.一种雷达目标语义信息快速标注方法,其特征在于,所述方法包括:
获取观测目标的光学图像和雷达图像,分别对所述光学图像和所述雷达图像进行图像增强,得到光学增强图像和雷达增强图像;
采用预先训练的深度网络分割模型提取所述光学增强图像各像素点的语义信息,得到目标光学图像语义信息掩膜;
根据所述目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形进行像素坐标的仿射变换,采用仿射变换得到的像素位置映射函数对所述目标光学图像语义信息掩膜进行重映射,对重映射后的目标光学图像语义信息掩膜进行掩膜拓展,得到拓展掩膜;
以所述拓展掩膜作为先验条件输入微调后的所述深度网络分割模型,采用微调后的所述深度网络分割模型迭代提取所述雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到目标雷达图像语义信息掩膜,利用所述目标雷达图像语义信息掩膜对雷达图像进行语义标注;
所述以所述拓展掩膜作为先验条件输入微调后的所述深度网络分割模型,采用微调后的所述深度网络分割模型迭代提取所述雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到目标雷达图像语义信息掩膜包括:
将在光学图像数据集中预训练的所述深度网络分割模型作为语义信息提取模块B,并采用少量的雷达数据及其语义信息标注结果对语义信息提取模块B 进行微调,以所述拓展掩膜作为先验条件,输入到语义信息提取模块B中,对雷达增强图像进行处理,得到雷达增强图像对应的语义信息提取中间结果,利用语义信息提取中间结果调控用于重映射的参数和用于图像增强的参数,进行迭代操作,得到最终的目标雷达图像语义信息掩膜。
2.根据权利要求1所述的方法,其特征在于,对所述雷达图像进行图像增强,得到雷达增强图像的步骤,包括:
获取所述雷达图像的强度数据,根据所述重映射后的目标光学图像语义信息掩膜得到加权矩阵,利用所述加权矩阵对所述强度数据进行加权处理,得到雷达图像加权结果;
对所述雷达图像加权结果进行直方图均衡增强处理,得到雷达增强图像。
3.根据权利要求2所述的方法,其特征在于,所述雷达图像加权结果为:
其中,为雷达图像加权结果,/>为雷达图像的强度数据,/>为加权矩阵,,/>为全1的矩阵,/>为调节矩阵,/>, />表示调节矩阵第/>行第/>列的元素,/>为调节因子,/>表示矩阵/>中第/>行第/>列的元素。
4.根据权利要求1所述的方法,其特征在于,根据所述目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形进行像素坐标的仿射变换的步骤,包括:
分别根据所述目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形,得到对应的光学图像角点坐标集合和雷达图像角点坐标集合;
根据所述光学图像角点坐标集合和所述雷达图像角点坐标集合中同一像素的坐标,得到同一像素坐标间的仿射变换;
根据所述光学图像角点坐标集合和所述雷达图像角点坐标集合中每一像素的像素坐标,求解所述仿射变换中的系数矩阵,得到像素位置映射函数。
5.根据权利要求2所述的方法,其特征在于,所述采用微调后的所述深度网络分割模型迭代提取所述雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到雷达图像语义信息掩膜的步骤,包括:
采用微调后的所述深度网络分割模型对所述雷达增强图像进行语义信息提取,得到语义信息提取中间结果;
计算所述重映射后的目标光学图像语义信息掩膜和所述语义信息提取中间结果之间的交并比值,若所述交并比值不大于预设阈值,则分别根据所述语义信息提取中间结果更新所述像素位置映射函数和所述雷达增强图像,采用微调后的所述深度网络分割模型对更新后的雷达增强图像进行处理,得到新的语义信息提取结果,迭代执行上述步骤,直至所述交并比值大于预设阈值时,停止迭代,输出雷达图像语义信息掩膜。
6.根据权利要求5所述的方法,其特征在于,根据所述语义信息提取中间结果更新所述像素位置映射函数的步骤,包括:
根据目标光学图像语义信息掩膜中目标的外接矩形和所述语义信息提取中间结果中目标的外接矩形进行像素坐标的仿射变换,更新所述像素位置映射函数。
7.根据权利要求5所述的方法,其特征在于,根据所述语义信息提取中间结果更新所述雷达增强图像的步骤,包括:
获取所述雷达图像的强度数据,根据所述语义信息提取中间结果更新所述加权矩阵,利用更新后的加权矩阵更新雷达增强图像。
8.根据权利要求1所述的方法,其特征在于,所述微调后的所述深度网络分割模型包括提示单元;所述提示单元包括多层感知机,用于对输入的先验条件进行编码,并对深度网络处理后的雷达图像深层编码信息和先验条件编码信息进行融合。
9.一种雷达目标语义信息快速标注系统,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述雷达目标语义信息快速标注方法的步骤。
10.一种雷达目标语义信息快速标注装置,其特征在于,所述装置包括:
图像增强模块,用于获取观测目标的光学图像和雷达图像,分别对所述光学图像和所述雷达图像进行图像增强,得到光学增强图像和雷达增强图像;
掩膜提取模块,用于采用预先训练的深度网络分割模型提取所述光学增强图像各像素点的语义信息,得到目标光学图像语义信息掩膜;
掩膜重映射模块,用于根据所述目标光学图像语义信息掩膜中目标的外接矩形和雷达增强图像中目标的外接矩形进行像素坐标的仿射变换,采用仿射变换得到的像素位置映射函数对所述目标光学图像语义信息掩膜进行重映射,对重映射后的目标光学图像语义信息掩膜进行掩膜拓展,得到拓展掩膜;
语义标注模块,用于以所述拓展掩膜作为先验条件输入微调后的所述深度网络分割模型,采用微调后的所述深度网络分割模型迭代提取所述雷达增强图像的语义信息,直到满足预先设置的迭代停止条件时,停止迭代,得到目标雷达图像语义信息掩膜,利用所述目标雷达图像语义信息掩膜对雷达图像进行语义标注;
语义标注模块,还用于将在光学图像数据集中预训练的所述深度网络分割模型作为语义信息提取模块B,并采用少量的雷达数据及其语义信息标注结果对语义信息提取模块B进行微调,以所述拓展掩膜作为先验条件,输入到语义信息提取模块B中,对雷达增强图像进行处理,得到雷达增强图像对应的语义信息提取中间结果,利用语义信息提取中间结果调控用于重映射的参数和用于图像增强的参数,进行迭代操作,得到最终的目标雷达图像语义信息掩膜。
CN202311144316.3A 2023-09-06 2023-09-06 一种雷达目标语义信息快速标注方法、系统及装置 Active CN116908852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311144316.3A CN116908852B (zh) 2023-09-06 2023-09-06 一种雷达目标语义信息快速标注方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311144316.3A CN116908852B (zh) 2023-09-06 2023-09-06 一种雷达目标语义信息快速标注方法、系统及装置

Publications (2)

Publication Number Publication Date
CN116908852A CN116908852A (zh) 2023-10-20
CN116908852B true CN116908852B (zh) 2023-12-08

Family

ID=88358665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311144316.3A Active CN116908852B (zh) 2023-09-06 2023-09-06 一种雷达目标语义信息快速标注方法、系统及装置

Country Status (1)

Country Link
CN (1) CN116908852B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972864A (zh) * 2022-05-25 2022-08-30 西北工业大学 一种基于混洗特征增强的高光谱和激光雷达融合分类方法
CN115082924A (zh) * 2022-04-26 2022-09-20 电子科技大学 一种基于单目视觉和雷达伪图像融合的三维目标检测方法
CN115471516A (zh) * 2022-09-13 2022-12-13 中国人民解放军国防科技大学 基于生成网络的光学-雷达isar图像转换方法及装置
CN115588119A (zh) * 2022-10-21 2023-01-10 中国人民解放军国防科技大学 雷达图像合作目标真值信息自适应标注方法和装置
CN116109706A (zh) * 2023-04-13 2023-05-12 中国人民解放军国防科技大学 基于先验几何约束的空间目标反演方法、装置和设备
CN116503685A (zh) * 2023-02-23 2023-07-28 中国人民解放军国防科技大学 基于层次域先验的光学-isar图像转换方法及装置
WO2023164705A1 (en) * 2022-02-28 2023-08-31 FLIR Belgium BVBA Bird's eye view (bev) semantic mapping systems and methods using monocular camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023164705A1 (en) * 2022-02-28 2023-08-31 FLIR Belgium BVBA Bird's eye view (bev) semantic mapping systems and methods using monocular camera
CN115082924A (zh) * 2022-04-26 2022-09-20 电子科技大学 一种基于单目视觉和雷达伪图像融合的三维目标检测方法
CN114972864A (zh) * 2022-05-25 2022-08-30 西北工业大学 一种基于混洗特征增强的高光谱和激光雷达融合分类方法
CN115471516A (zh) * 2022-09-13 2022-12-13 中国人民解放军国防科技大学 基于生成网络的光学-雷达isar图像转换方法及装置
CN115588119A (zh) * 2022-10-21 2023-01-10 中国人民解放军国防科技大学 雷达图像合作目标真值信息自适应标注方法和装置
CN116503685A (zh) * 2023-02-23 2023-07-28 中国人民解放军国防科技大学 基于层次域先验的光学-isar图像转换方法及装置
CN116109706A (zh) * 2023-04-13 2023-05-12 中国人民解放军国防科技大学 基于先验几何约束的空间目标反演方法、装置和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Deeplabv3网络的飞机目标微动信号分离;卢廷 等;雷达科学与技术(第03期);全文 *

Also Published As

Publication number Publication date
CN116908852A (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN111860670B (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
CN111260055B (zh) 基于三维图像识别的模型训练方法、存储介质和设备
WO2019218410A1 (zh) 图像分类方法、计算机设备和存储介质
CN107133934B (zh) 图像补全方法及装置
CN111723860A (zh) 一种目标检测方法及装置
CN111079632A (zh) 文本检测模型的训练方法、装置、计算机设备和存储介质
CN110969627B (zh) 图像分割模型训练方法、图像处理方法及装置
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN111968134B (zh) 目标分割方法、装置、计算机可读存储介质及计算机设备
CN111080674B (zh) 一种基于混合高斯模型的多目标isar关键点提取方法
CN114529837A (zh) 建筑物轮廓提取方法、系统、计算机设备及存储介质
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN113421276A (zh) 一种图像处理方法、装置及存储介质
CN113012169A (zh) 一种基于非局部注意力机制的全自动抠图方法
CN112115937A (zh) 目标识别方法、装置、计算机设备和存储介质
CN112464945A (zh) 基于深度学习算法的文本识别方法、装置、设备及存储介质
CN110717480A (zh) 基于随机擦除图像融合的合成孔径雷达遮挡目标识别方法
CN115731220A (zh) 坯布缺陷定位与分类方法、系统、设备及存储介质
CN111860582A (zh) 图像分类模型构建方法、装置、计算机设备和存储介质
CN116908852B (zh) 一种雷达目标语义信息快速标注方法、系统及装置
CN111046755A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
CN112132142A (zh) 文本区域确定方法、装置、计算机设备及存储介质
CN104680181A (zh) 基于似然比特征的sar图像超像素分割方法
CN114998630B (zh) 一种从粗到精的地对空图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant