CN113269172A - 干涉逆合成孔径雷达三维图像分类方法、装置及存储介质 - Google Patents

干涉逆合成孔径雷达三维图像分类方法、装置及存储介质 Download PDF

Info

Publication number
CN113269172A
CN113269172A CN202110816219.9A CN202110816219A CN113269172A CN 113269172 A CN113269172 A CN 113269172A CN 202110816219 A CN202110816219 A CN 202110816219A CN 113269172 A CN113269172 A CN 113269172A
Authority
CN
China
Prior art keywords
image
dimensional
inisar
point
synthetic aperture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110816219.9A
Other languages
English (en)
Other versions
CN113269172B (zh
Inventor
张昊宇
王佑
王超
祖广娟
赵忠静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Srde Technology Co ltd
Original Assignee
Tianjin Srde Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Srde Technology Co ltd filed Critical Tianjin Srde Technology Co ltd
Priority to CN202110816219.9A priority Critical patent/CN113269172B/zh
Publication of CN113269172A publication Critical patent/CN113269172A/zh
Application granted granted Critical
Publication of CN113269172B publication Critical patent/CN113269172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种干涉逆合成孔径雷达三维图像分类方法、装置及存储介质，方法包括：将三维InISAR图像的高程散射点投影到二维图像上并以颜色的深浅表示高程信息，然后通过卷积神经网络、区域建议网络、空间金子塔池化、全连接层和Softmax分类器得到分类结果；或者，利用多种尺度的多个多层感知机提取三维InISAR点云图像的每个点的多个微观特征向量；对每一个点的多个微观特征向量、全局特征向量以及局部特征向量进行拼接，再利用多层感知机对拼接后的图像进行特征提取、池化降维后利用Softmax分类器得到分类结果。该方法提供基于Faster R‑CNN算法框架和基于PointNet算法框架的深度网络实现了对三维InISAR图像的高效率和高准确性分类。

Description

干涉逆合成孔径雷达三维图像分类方法、装置及存储介质
技术领域
本申请涉及干涉逆合成孔径雷达图像处理技术领域，尤其涉及一种干涉逆合成孔径雷达三维图像分类方法、装置及存储介质。
背景技术
逆合成孔径雷达（Inverse Synthetic Aperture Radar ，以下简称ISAR）采用单天线技术只能获取目标在距离-多普勒维投影的二维图像，无法获取目标的三维图像，这对于目标的识别，尤其是自动识别造成较大困扰。
干涉逆合成孔径雷达(Interferometric Inverse Synthetic Aperture Radar，以下简称InISAR)将干涉技术与ISAR技术相结合，实现目标的三维成像。比如，InISAR雷达系统可以采用双天线、三天线或多天线结构，通过对每个天线接收的反射波进行二维ISAR成像处理，获取距离和方位向的高分图像，对于同一基线的接收天线获取的两幅图像进行匹配对准和干涉处理。然后利用正交基线天线获取最后一维的信息并建立三维图像。
采用InISAR技术获取的目标图像不依赖于传统ISAR的横向多普勒形式，而能够直接反应目标的物理尺寸，这两方面的优势决定了InISAR技术对目标监测跟踪具有非常强的理论和实际工程价值。
然而，现有技术中，针对三维InISAR图像的分类的研究较少，因此，有必要研发一种用于解决多基站InISAR图像的船只分类问题的方法。
发明内容
为了解决上述背景技术提到的技术问题或者至少部分地解决上述技术问题，本申请提供一种干涉逆合成孔径雷达三维图像分类方法、装置及存储介质，实现对三维InISAR图像的快速和准确分类。
第一方面，本申请提供了一种干涉逆合成孔径雷达三维图像分类方法，包括：
将三维InISAR图像的高程散射点投影到二维图像上，并以颜色的深浅表示高程信息，得到伪三维InISAR图像；
在此方案中，三维InISAR图像是指二维ISAR图像（x轴-y轴）加上多个散射点（z轴）表示的高程信息的图像。在二维图像的对应的散射点处利用颜色的深浅表征该处的高程信息，将三维InISAR图像转换为伪三维图像。
通过卷积神经网络提取所述伪三维InISAR图像的特征图像；
在此方案中，卷积神经网络（Convolutional Neural Networks，以下简称CNN）通过提高学习网络层数提高对更深层次特征的学习能力，实现了传统算法难以取得的性能和精度，来获取图像更深层次的特征，大大提高对图像分类的准确程度，解决了InISAR对航道内的船只成像，面对繁忙的航道与港口，临近的多个船只常常会互相干扰，导致图像分类的误判率较高的问题。
通过区域建议网络生成所述特征图像的候选区域建议；
在此方案中，区域建议网络（Region Proposal Network，以下简称RPN)用于对特征图像进行卷积操作，提取候选框。
通过感兴趣区域层、所述特征图像和所述候选区域建议，得到目标图像；
在此方案中，感兴趣区域层（Region of Interest，以下简称RoI）的输入为伪三维InISAR图像的特征图像以及RPN的生成的候选区域建议（包括候选区域和区域评分），其输出为具有固定尺寸的图像，即RoI pooling 层使用一个最大池化，把一个任意尺寸的特征图转换成一个固定大小的特征图，即目标图像。
RoI为空间金字塔池化（Spatial Pyramid Pooling，以下简称SPP）形式。利用SPP可以对不同尺度的输入图像进行区域划分和池化并有效的固定住输出图像的尺寸，从而避免了因输入图像尺度不同导致的图像信息损失。
通过全连接层和Softmax分类器对所述目标图像进行概率统计得到分类结果；
在此方案中，全连接层用于对目标图像进行分类，最终通过Softmax分类器得到分类结果。 或者，一种干涉逆合成孔径雷达三维图像分类方法，包括
利用多种尺度的多个多层感知机提取三维InISAR点云图像的每个点的多个微观特征向量；对每一个点的多个微观特征向量、全局特征向量以及局部特征向量进行拼接；再次利用多层感知机对拼接后的图像进行特征提取、池化降维后利用Softmax分类器得到分类结果。
在此方案中，在雷达波束照射时间充足或多台雷达对同一目标进行长时间照射时，可以获取大量的目标散射点。根据散射点形成InISAR点云图像。利用多个多层感知机提取点云图像的每个点的多个微观特征向量，并将其与自身的局部特征向量和全局特征向量进行拼接后，再进行图像的分类，获取图像更多维度的特征向量，降低图像分辨率的要求，能够提高对分辨率不高或船体只占据图像较小的面积的图像的分类的能力和准确度。
优选的，在通过卷积神经网络提取所述伪三维InISAR图像的特征图像之前，还包括构建卷积神经网络：
构建具有多个卷积层、多个全连接层以及滤波器的ZF-Net网络；
通过SSDD数据库和MSTAR数据库对所述ZF-Net网络中用于提取宏观特征的各个卷积层进行初始化训练；
通过InISAR图像样本库对所述ZF-Net网络中用于提取高级特征的各个卷积层进行加强训练，得到所述卷积神经网络。
在此方案中，基于ZF-Net网络框架构建卷积神经网络CNN，ZF-Net网络能够拥有五个卷积层和三个全连接层，滤波器尺寸能够设计为7×7。其中，ZF-Net网络的前两个卷积层用于提取目标（伪三维InISAR图像）的宏观特征，ZF-Net网络的后三层用以提取更为细致的高级特征，并且，利用SSDD数据库和MSTAR数据库所包含的大量的SAR图像源对前两个卷积层进行初步训练，利用InISAR图像样本库对后三层卷积层进行训练，针对不同的特征采用不同的样本进行训练，一方面节省资源，另一方面还有利于提高网络的分类能力和准确性。通过多个卷积层获取图像更丰富的特征，有利于提高图像的空间分辨率，以便于图像的精确分类，对InISAR图像分类的能力较高。
优选的，所述方法还包括：利用干涉逆合成孔径雷达获取图像并建立InISAR图像样本库。
在此方案中，利用IMX20型InISAR雷达对航道内的船只成像，构建InISAR图像数据库。根据InISAR图像数据库得到InISAR图像样本库，利用InISAR图像样本库对ZF-Net网络进一步进行训练，以完善网络的三维InISAR图像分类能力。
优选的，通过区域建议网络生成所述特征图像的候选区域建议，具体包括：
通过区域建议网络输出所述特征图像的低维特征、候选区域以及区域评分。
优选的，在利用多种尺度的多个多层感知机提取三维InISAR点云图像的每个点的多个微观特征向量之前，所述方法还包括：
构建空间变换预测网络矩阵并利用所述空间变换预测网络矩阵对三维InISAR点云图像的每个点进行空间变换。
在此方案中，空间变换预测网络矩阵用于根据图像的形变特点金子相应反变换，以得到更适于分类的图像。
优选的，所述方法还包括：通过双层感知机提取三维InISAR点云图像的每个点的多维特征并进行特征对齐，得到每个点的局部特征向量。
优选的，所述方法还包括：利用三层感知机提高三维InISAR点云图像的每个点的多维特征的维度后，通过最大池化层得到每个点的全局特征向量。
优选的，利用多层感知机（32，32）、多层感知机（16，16）、多层感知机（8，8）提取三维InISAR点云图像的每个点的三个微观特征向量。
第二方面，本申请还提供了一种干涉逆合成孔径雷达三维图像分类装置，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的所述程序指令以实现如第一方面中任一技术方案所述的干涉逆合成孔径雷达三维图像分类方法。
第三方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如第一方面中任一技术方案所述的干涉逆合成孔径雷达三维图像分类方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：该方法针对三维InISAR图像两种不同的表现形式（含有高程信息的二维图像和点云图像）分别提供了基于Faster R-CNN的深度学习网络和基于PointNet框架的深度学习网络两种方法进行图像分类。
第一方面，基于Faster R-CNN深度学习网络的方法，根据高程散射点与二维图像的空间域的图像像元的映射关系，将三维图像的高程信息投影到二维图像的空间域对应的坐标位置处的图像像元上，并利用颜色的深浅不同的饱和度对应表示不同的高程信息（比如，利用同一种颜色的不同的明度对应不同的颜色深浅，或者采用不同的颜色标识不同的高程信息），将三维图像变换到二维空间进行处理，一方面，降低了计算成本和复杂度，提高了计算效率；另一方面，将散射点的高程信息以不同颜色深浅的形式投影在二维图像上，有利于增强图像能量以及空间分辨率，更有利于对图像的细节的提取、识别和处理，再结合卷积神经网络，利用多个卷积层提取三维InISAR图像的多个层次的多个特征，提高对分辨率不高、目标(船体）只占据图像很少面积的InISAR图像的分类能力和准确度，成功利用Faster R-CNN深度学习网络实现干涉逆合成孔径雷达图像的小尺寸目标的精准检测，且鲁棒性较强，降低了船只因干扰（比如当船只密集出现在港口与航道中，相互临近的船只之间容易产生干扰）导致的误判率；无需对图像进行复杂的预处理，执行效率高，实现了传统算法难以取得的性能和精度，有利于满足船只分类识别的实时性要求，适用于繁忙的航道与港口；
第二方面，基于PointNet框架的深度学习网络的方法直接利用三维InISAR点云图像的点云数据进行学习和训练，计算量较小，图像分类速度快；
且通过多种尺度的多个多层感知机提取三维InISAR点云图像的每个点的多个微观特征向量，提高了对三维InISAR点云图像的局部特征的识别精度；
进一步，通过拼接点云图像的每个点的多个微观特征向量、局部特征向量和全局特征向量，将图像的多维度的特征数据整合到用于识别的目标图像中，特征识别能力较高，分类能力和准确度较高。
结合PointNet深度学习模型，保证了本发明对于三维InISAR点云图像分类处理的实时性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种干涉逆合成孔径雷达三维图像分类方法的流程示意图。
图2为本申请实施例提供的干涉逆合成孔径雷达三维图像分类方法的另一种流程示意图。
图3为本申请实施例提供的一种基于Faster R-CNN框架的干涉逆合成孔径雷达三维图像分类方法的流程示意图。
图4为本申请实施例提供的一种PointNet算法框架的结构示意图。
图5为本申请实施例提供的一种基于PointNet框架的干涉逆合成孔径雷达三维图像分类方法的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，下面对本申请实施例提供的一种干涉逆合成孔径雷达三维图像分类方法、装置及存储介质进行详细介绍，参见图1，一种干涉逆合成孔径雷达三维图像分类方法，包括以下步骤：
步骤S1，将三维InISAR图像的高程散射点投影到二维图像上，并以颜色的深浅表示高程信息，得到伪三维InISAR图像；
步骤S2，通过卷积神经网络提取所述伪三维InISAR图像的特征图像；
步骤S3，通过区域建议网络生成所述特征图像的候选区域建议；
步骤S4，通过感兴趣区域层、所述特征图像和所述候选区域建议，得到目标图像；
步骤S5，通过全连接层和Softmax分类器对所述目标图像进行概率统计得到分类结果；
或者，参见图2，一种干涉逆合成孔径雷达三维图像分类方法，包括以下步骤：
步骤S100，利用多种尺度的多个多层感知机提取三维InISAR点云图像的每个点的多个微观特征向量；
步骤S200，对每一个点的多个微观特征向量、全局特征向量以及局部特征向量进行拼接；
步骤S300，再次利用多层感知机对拼接后的图像进行特征提取、池化降维后利用Softmax分类器得到分类结果。
逆合成孔径雷达（Inverse Synthetic Aperture Radar ，ISAR）采用单天线技术只能获取目标在距离-多普勒维投影的二维图像，无法获取目标的三维图像，这对于目标的识别，尤其是自动识别造成较大困扰。干涉逆合成孔径雷达(Interferometric InverseSynthetic Aperture Radar，InISAR)将干涉技术与ISAR技术相结合，实现目标的三维成像。InISAR雷达系统可以采用双天线、三天线或多天线结构，通过对每个天线接收的反射波进行二维ISAR成像处理，获取距离和方位向的高分图像，对于同一基线的接收天线获取的两幅图像进行匹配对准和干涉处理。然后利用正交基线天线获取最后一维的信息并建立三维图像。采用InISAR技术获取的目标图像不依赖于传统ISAR的横向多普勒形式，而能够直接反应目标的物理尺寸，这两方面的优势决定了InISAR技术对目标监测跟踪具有非常强的理论和实际工程价值。
三维InISAR图像具有两种变现形式，一种是二维的ISAR图像（x-y轴）加上以孤立散射点（z轴）表示的高程信息；或者，在InISAR波束照射时间充足或多台InISAR对同一目标进行长时间照射，获取大量的目标散射点。并根据充足的散射点形成三维InISAR点云图像，针对第一种表现形式的三维InISAR图像利用如步骤S1至步骤S5的基于Faster R-CNN框架的深度学习网络进行图像分类；针对第二种变现形式的三维InISAR图像利用如步骤S100至步骤S300的基于PointNet框架的深度学习网络进行分类。
参见图3，基于Faster R-CNN框架的深度学习网络对InISAR图像的处理过程能够是：将三维InISAR图像的高程散射点投影对应的二维ISAR图像上，并以颜色的深浅表示高程信息，形成伪三维图像；利用IMX20型InISAR雷达获取的图像建立InISAR图像数据库，并通过其得到InISAR图像样本库。
Faster R-CNN共分三步完成目标分类：区域建议网络（Region ProposalNetwork, RPN）设计、R-CNN特征提取、目标分类。首先将InISAR图像输入CNN卷积网络并进行特征提取；然后RPN对共享卷积层生成的图像特征进行筛选并提出区域建议；其次对RPN产生的特征候选窗口进行识别和位置调整；最后利用分类器提供目标分类结果。在该结构中，产生候选框的RPN和用于识别的R-CNN共享了卷积层因而大大提高了运行速度。
步骤S4中，感兴趣区域层（Region of Interest, RoI）两个输入分别为：输入图像的特征图以及RPN的输出。RoI能够被设计成为空间金字塔池化（Spatial PyramidPooling，SPP）形式。利用SPP可以对不同尺度的输入图像进行区域划分和池化并有效的固定住输出图像的尺寸，从而避免了因输入图像尺度不同导致的图像信息损失。并且，全连接结构要求输入的特征具有固定的维度，所以需要感兴趣区域池化层以统一候选区域的特征维度。具体的，感兴趣区域池化层与普通池化层的差别在于步长与池化尺寸的设置；普通池化层采取步长、池化尺寸固定的形式，对输入图像进行等比例的尺寸缩放，因此输出图像的尺寸随输入图像尺寸的变化而变化；为保证输出图像尺寸固定，感兴趣区域池化层取消了对步长、池化尺寸的限制。
步骤S5具体为设计全连接层和Softmax分类器对目标图像进行概率统计并给出分类结果。
在本申请的一些具体实施例中，在通过卷积神经网络提取所述伪三维InISAR图像的特征图像之前，还包括构建卷积神经网络：
构建具有多个卷积层、多个全连接层以及滤波器的ZF-Net网络；
通过SSDD数据库和MSTAR数据库对所述ZF-Net网络中用于提取宏观特征的各个卷积层进行初始化训练；
通过InISAR图像样本库对所述ZF-Net网络中用于提取高级特征的各个卷积层进行加强训练，得到所述卷积神经网络。
基于ZF-Net框架设计卷积神经网络（Convolutional Neural Networks，CNN），作为一个示例，ZF-Net网络共拥有五个卷积层和三个全连接层，滤波器尺寸设计为7×7。其中，ZF-Net网络的前两个卷积层用于提取目标（伪三维InISAR图像）的宏观特征，ZF-Net网络的后三层用以提取更为细致的高级特征。利用SSDD数据库和MSTAR数据库对前两个卷积层进行初始化训练，并利用IMX20型InISAR雷达建立的数据库对后三层进行训练。五个卷积层需分别接入修正单元（ReLU）、局部响应归一化（LRN）和池化层。
利用SSDD数据库和MSTAR数据库进行初步训练，根据船只的平面尺寸基本确定船只类型，再利用InISAR雷达获取航道船只的图像构建InISAR图像样本库并对深度学习网络进行更为精准的训练，以提高图像分类准确度。
在本申请的一些具体实施例中，所述方法还包括：利用干涉逆合成孔径雷达获取图像并建立InISAR图像样本库。
利用三台IMX20型InISAR获取航道船只的图像构建InISAR数据库，对InISAR数据库中的图像进行标注和打标签，构建图像样本库，以对深度学习网络进行更为精准的训练。
在本申请的一些具体实施例中，通过区域建议网络生成所述特征图像的候选区域建议，具体包括：
通过区域建议网络输出所述特征图像的低维特征、候选区域以及区域评分。
首先设计一个小型区域建议网络（Region Proposal Network，RPN)网络，该网络的输入是经过CNN卷积处理过的特征图上滑动的大小为n×n的窗口，在窗口滑动的每个位置都对候选区域进行预测。最后由两个全连接层处理输出图像的低维特征，并得到一组矩形候选区域与该区域的评分。
在本申请的一些具体实施例中，在利用多种尺度的多个多层感知机提取三维InISAR点云图像的每个点的多个微观特征向量之前，所述方法还包括：
构建空间变换预测网络矩阵并利用所述空间变换预测网络矩阵对三维InISAR点云图像的每个点进行空间变换。
空间变换的作用在于通过网络挖掘特征图或图像的形变特点，得到变形参数，根据这些参数对特征图或图像进行相应反变换，从而得到更适于分类的特征图或图像。
基于PointNet算法框架的深度学习网络对InISAR获取的船只点云图进行训练和分类，参见附图4，其流程如下：
构建如图4所示的基于PointNet算法框架结构：输入为InISAR点云图像所包含的全部点（记为N个点）的三维坐标（N×3）；构建3D空间变换预测网络矩阵T-Net（3）并利用输入的InISAR点云数据计算出3×3变换矩阵。其中T-Net矩阵可以通过输入数据学习与特征空间维度一致的变换矩阵，利用该矩阵与输入数据相乘实现对输入空间的变换操作。
在本申请的一些具体实施例中，所述方法还包括：通过双层感知机提取三维InISAR点云图像的每个点的多维特征并进行特征对齐，得到每个点的局部特征向量。
结合上述实施例所描述的，在完成空间的变换后，构建双层感知机MLP（64，64）对输入的InISAR点云数据进行特征提取。点云中的每个输入点各自提取64维特征并再次利用T-Net（64）网络矩阵计算64×64变换矩阵，该矩阵将作用到64维特征以实现特征对齐。获取的64维特征向量被视作输入InISAR点云图像的局部特征。
在本申请的一些具体实施例中，所述方法还包括：利用三层感知机提高三维InISAR点云图像的每个点的多维特征的维度后，通过最大池化层得到每个点的全局特征向量。
结合上述实施例所描述的，和InISAR点云图像的局部特征同理，重复上述步骤，利用三层感知机MLP（64，128，1024）将每个点的特征维度从64变为1024，最后送入最大池化层（Max Pooling）提取全部点的特征向量，得到的1024维特征向量被视作输入InISAR点云图像的全局特征。
在本申请的一些具体实施例中，利用多层感知机（32，32）、多层感知机（16，16）、多层感知机（8，8）提取三维InISAR点云图像的每个点的三个微观特征向量。
结合上述实施例所描述的，获取的64维特征向量作为InISAR点云图像的局部特征向量， 1024维特征向量作为输入InISAR点云图像的全局特征向量。通过1024维和64维特征向量拼接形成1088（1024+64=1088）维特征并再次利用MLP进行特征提取，最后将特征量降维到128并通过Softmax分类器进行分类。
利用特征尺度为32维，16维和8维的多层感知机获取微观特征向量。其原理参见图5，利用多层感知机MLP（32，32）获取32维的微观特征向量、利用多层感知机MLP（16，16）获取16维的微观特征向量，利用多层感知机MLP（8，8）获取8维的微观特征向量并进行池化，最后与1024维的全局特征向量以及64维的局部特征向量拼接形成1144维的特征向量。随后的处理步骤与PointNet算法一致，将1144维特征向量送入MLP进行特征提取并池化降维，最后利用Softmax分类器进行分类，得到分类结果。
在本申请的又一些具体实施例中，本申请还提供了一种干涉逆合成孔径雷达三维图像分类装置，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的所述程序指令以实现如上述任一实施例中的干涉逆合成孔径雷达三维图像分类方法。
在本申请的又一些具体实施例中，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如上述任一实施例中的干涉逆合成孔径雷达三维图像分类方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种干涉逆合成孔径雷达三维图像分类方法，其特征在于，包括：
将三维InISAR图像的高程散射点投影到二维图像上，并以颜色的深浅表示高程信息，得到伪三维InISAR图像；
通过卷积神经网络提取所述伪三维InISAR图像的特征图像；
通过区域建议网络生成所述特征图像的候选区域建议；
通过感兴趣区域层、所述特征图像和所述候选区域建议，得到目标图像；
通过全连接层和Softmax分类器对所述目标图像进行概率统计得到分类结果；或者，
利用多种尺度的多个多层感知机提取三维InISAR点云图像的每个点的多个微观特征向量；对每一个点的多个微观特征向量、全局特征向量以及局部特征向量进行拼接；再次利用多层感知机对拼接后的图像进行特征提取、池化降维后利用Softmax分类器得到分类结果。
2.根据权利要求1所述的干涉逆合成孔径雷达三维图像分类方法，其特征在于，在通过卷积神经网络提取所述伪三维InISAR图像的特征图像之前，还包括构建卷积神经网络：
构建具有多个卷积层、多个全连接层以及滤波器的ZF-Net网络；
通过SSDD数据库和MSTAR数据库对所述ZF-Net网络中用于提取宏观特征的各个卷积层进行初始化训练；
通过InISAR图像样本库对所述ZF-Net网络中用于提取高级特征的各个卷积层进行加强训练，得到所述卷积神经网络。
3.根据权利要求2所述的干涉逆合成孔径雷达三维图像分类方法，其特征在于，还包括：利用干涉逆合成孔径雷达获取图像并建立InISAR图像样本库。
4.根据权利要求1所述的干涉逆合成孔径雷达三维图像分类方法，其特征在于，通过区域建议网络生成所述特征图像的候选区域建议，具体包括：
通过区域建议网络输出所述特征图像的低维特征、候选区域以及区域评分。
5.根据权利要求1所述的干涉逆合成孔径雷达三维图像分类方法，其特征在于，在利用多种尺度的多个多层感知机提取三维InISAR点云图像的每个点的多个微观特征向量之前，还包括：
构建空间变换预测网络矩阵并利用所述空间变换预测网络矩阵对三维InISAR点云图像的每个点进行空间变换。
6.根据权利要求1所述的干涉逆合成孔径雷达三维图像分类方法，其特征在于，还包括：通过双层感知机提取三维InISAR点云图像的每个点的多维特征并进行特征对齐，得到每个点的局部特征向量。
7.根据权利要求6所述的干涉逆合成孔径雷达三维图像分类方法，其特征在于，还包括：利用三层感知机提高三维InISAR点云图像的每个点的多维特征的维度后，通过最大池化层得到每个点的全局特征向量。
8.根据权利要求7所述的干涉逆合成孔径雷达三维图像分类方法，其特征在于，利用多层感知机（32，32）、多层感知机（16，16）、多层感知机（8，8）提取三维InISAR点云图像的每个点的三个微观特征向量。
9.一种干涉逆合成孔径雷达三维图像分类装置，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的所述程序指令以实现如权利要求1至8中任一项所述的干涉逆合成孔径雷达三维图像分类方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如权利要求1至8中任一项所述的干涉逆合成孔径雷达三维图像分类方法。
CN202110816219.9A 2021-07-20 2021-07-20 干涉逆合成孔径雷达三维图像分类方法、装置及存储介质 Active CN113269172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110816219.9A CN113269172B (zh) 2021-07-20 2021-07-20 干涉逆合成孔径雷达三维图像分类方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110816219.9A CN113269172B (zh) 2021-07-20 2021-07-20 干涉逆合成孔径雷达三维图像分类方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113269172A true CN113269172A (zh) 2021-08-17
CN113269172B CN113269172B (zh) 2021-10-15

Family

ID=77236845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110816219.9A Active CN113269172B (zh) 2021-07-20 2021-07-20 干涉逆合成孔径雷达三维图像分类方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113269172B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182768A (zh) * 2014-09-11 2014-12-03 西安电子科技大学 逆合成孔径雷达图像的质量分类方法
CN110210463A (zh) * 2019-07-03 2019-09-06 中国人民解放军海军航空大学 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法
CN111242041A (zh) * 2020-01-15 2020-06-05 江苏大学 基于伪图像技术的激光雷达三维目标快速检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182768A (zh) * 2014-09-11 2014-12-03 西安电子科技大学 逆合成孔径雷达图像的质量分类方法
CN110210463A (zh) * 2019-07-03 2019-09-06 中国人民解放军海军航空大学 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法
CN111242041A (zh) * 2020-01-15 2020-06-05 江苏大学 基于伪图像技术的激光雷达三维目标快速检测方法

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
BIN XUE等: "Real-World ISAR Object Recognition Using Deep Multimodal Relation Learning", 《IEEE TRANSACTIONS ON CYBERNETICS》 *
CHAO MA等: "Remote Sensing Image Recognition Method Based on Faster R-CNN", 《2020 INTERNATIONAL CONFERENCE ON COMPUTER ENGINEERING AND APPLICATION (ICCEA)》 *
CHARLES R.QI等: "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
JIANWEI LI等: "SHIP DETECTION IN SAR IMAGES BASED ON AN IMPROVED FASTER R-CNN", 《2017 SAR IN BIG DATA ERA: MODELS, METHODS AND APPLICATIONS》 *
MATTHEW D.ZEILER等: "Visualizing and Understanding Convolutional Networks", 《ARXIV:1311.2901V3 [CS.CV]》 *
SHUAIHAO WEI等: "Ship Detection in Remote Sensing Image based on Faster R-CNN with Dilated Convolution", 《PROCEEDINGS OF THE 39TH CHINESE CONTROL CONFERENCE》 *
张昊宇: "基于多基站雷达协同的船只监控系统", 《中国水运》 *
张昊宇: "基于干涉逆合成孔径雷达的海上船只监控系统", 《中国水运》 *
张直中: "合成孔径雷达(SAR)与逆合成孑L径雷达(ISAR)发展概述", 《2006年中国雷达技术论坛论文集》 *
胡琼: "基于深度卷积神经网络的遥感图像目标识别与检测", 《宁夏师范学院学报》 *
苏德: "基于深度学习海洋内波遥感图像检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Also Published As

Publication number Publication date
CN113269172B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
US20230184927A1 (en) Contextual visual-based sar target detection method and apparatus, and storage medium
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
US11428803B2 (en) Method and apparatus for SAR image data enhancement, and storage medium
US10318827B2 (en) Object detection neural networks
CN108765458B (zh) 基于相关滤波的高海况无人艇海面目标尺度自适应跟踪方法
CN107341488B (zh) 一种sar图像目标检测识别一体化方法
CN106355151B (zh) 一种基于深度置信网络的三维sar图像目标识别方法
CN111368769B (zh) 基于改进锚点框生成模型的船舶多目标检测方法
CN104851097B (zh) 基于目标形状与阴影辅助的多通道sar‑gmti方法
Chen et al. Geospatial transformer is what you need for aircraft detection in SAR Imagery
Marcu et al. A multi-stage multi-task neural network for aerial scene interpretation and geolocalization
EP4053734A1 (en) Hand gesture estimation method and apparatus, device, and computer storage medium
CN116310837B (zh) 一种sar舰船目标旋转检测方法及系统
CN112949380B (zh) 一种基于激光雷达点云数据的智能水下目标识别系统
CN111553280A (zh) 基于深度学习的目标部位识别方法
CN114358133B (zh) 一种基于语义辅助双目视觉slam检测回环帧的方法
CN107133648A (zh) 基于自适应多尺度融合稀疏保持投影的一维距离像识别方法
Ding et al. Towards real-time detection of ships and wakes with lightweight deep learning model in Gaofen-3 SAR images
CN113128564B (zh) 一种基于深度学习的复杂背景下典型目标检测方法及系统
CN113269172B (zh) 干涉逆合成孔径雷达三维图像分类方法、装置及存储介质
Zou et al. Sonar Image Target Detection for Underwater Communication System Based on Deep Neural Network.
Zhang et al. Bridging the gap between cumbersome and light detectors via layer-calibration and task-disentangle distillation in remote sensing imagery
CN115240058A (zh) 一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法
Tahir et al. Rapid detection of aircrafts in satellite imagery based on deep neural networks
He et al. SAR Target Detection Based on Improved SSD with Saliency Map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant