CN110647794B - 基于注意力机制的多尺度sar图像识别方法及装置 - Google Patents

基于注意力机制的多尺度sar图像识别方法及装置 Download PDF

Info

Publication number
CN110647794B
CN110647794B CN201910630658.3A CN201910630658A CN110647794B CN 110647794 B CN110647794 B CN 110647794B CN 201910630658 A CN201910630658 A CN 201910630658A CN 110647794 B CN110647794 B CN 110647794B
Authority
CN
China
Prior art keywords
image
loss
sar
positioning
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910630658.3A
Other languages
English (en)
Other versions
CN110647794A (zh
Inventor
翟懿奎
邓文博
徐颖
甘俊英
曾军英
应自炉
柯琪锐
周文略
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN201910630658.3A priority Critical patent/CN110647794B/zh
Priority to US16/530,766 priority patent/US11017275B2/en
Publication of CN110647794A publication Critical patent/CN110647794A/zh
Priority to PCT/CN2020/100342 priority patent/WO2021008398A1/zh
Application granted granted Critical
Publication of CN110647794B publication Critical patent/CN110647794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9027—Pattern recognition for feature extraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明公开了基于注意力机制的多尺度SAR图像识别方法及装置，在SAR训练图像经过注意力预测子网、感兴趣区域定位子网和图像分类子网训练结合网络损失对整体的图像识别网络进行调整，大大调高了网络的性能；此外，通过注意力机制生成注意力预测图，定位SAR图像中最显著的特征部分，极大地消除了机器视觉中图像特征的冗余度，有效地确定感兴趣区域，减少图像噪声的干扰，大大地减少了图像处理时间，以及提高目标识别准确性，有利于下一步目标定位，整体上对网络识别速度有了显著提升。

Description

基于注意力机制的多尺度SAR图像识别方法及装置
技术领域
本发明涉及图像处理领域，特别是基于注意力机制的多尺度SAR图像识别方法及装置。
背景技术
合成孔径雷达，英文全称为Synthetic Aperture Radar，英文简称为SAR，凭借其全天候、远距离探测、多角度和多分辨率等优势，被广泛的应用在军事、灾害监视等领域，从而实现对不同目标的探测和定位。同时SAR图像识别受SAR成像固有模糊和目标数据不充分等因素影响，分类识别中导致目标识别精度不足。这大大增加了SAR图像识别的难度，造成SAR图像处理的处理时间长且准确性低。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供基于注意力机制的多尺度SAR图像识别方法及装置，通过注意力机制有效提高SAR图像识别性能。
本发明解决其问题所采用的技术方案是：
本发明的第一方面，提供了基于注意力机制的多尺度SAR图像识别方法，包括以下步骤：
训练步骤：输入SAR训练图像对原始的图像识别网络进行训练和调整，其中图像识别网络包括依次连接的注意力预测子网、感兴趣区域定位子网和图像分类子网；
分类步骤：输入SAR待测图像至训练完成的图像识别网络处理输出分类结果；
所述训练步骤包括：
注意力预测：使SAR训练图像经过注意力预测子网处理得到注意力预测图，并计算注意力预测损失；
初步定位：使SAR训练图像经过感兴趣区域定位子网结合注意力预测图处理得到初步定位SAR图像，并计算感兴趣区域定位损失；分类训练：使初步定位SAR图像经过图像分类子网处理输出分类结果，并计算分类损失；
网络调整：根据注意力预测损失、感兴趣区域定位损失和分类损失计算网络损失并根据网络损失调整图像识别网络。
根据本发明的第一方面，基于注意力机制的多尺度SAR图像识别方法，还包括以下步骤：
定位优化：得到初步定位SAR图像后，将所述初步定位SAR图像进行区域框定并筛选，得到带候选框区域特征的优化定位图像；其中分类训练步骤中，将所述优化定位图像作为图像分类子网的输入。
根据本发明的第一方面，所述注意力预测步骤具体包括：
提取SAR训练图像的RGB通道信息并以张量表示，并根据张量使SAR训练图像经过8个构建块处理得到多尺度特征；
根据多尺度特征为SAR训练图像匹配权重，得到定位特征；
使定位特征经过特征归一化处理和反卷积处理结合SAR图像得到注意力预测图；
计算注意力预测损失。
根据本发明的第一方面，所述初步定位步骤具体包括：
使注意力预测图以热图的形式对SAR训练图像遮掩生成掩膜并提取掩膜特征；
经感兴趣区域对齐得到初步定位SAR图像；
计算感兴趣区域定位损失。
根据本发明的第一方面，网络损失为Loss＝α·Lossa+β·Lossf+γ·Lossc，其中Lossα、Lossf和Lossc分别是注意力预测损失、感兴趣区域定位损失和分类损失，α、β和γ是平衡注意力预测损失、感兴趣区域定位损失和分类损失之间权衡的超参数。
本发明第二方面，提供了应用本发明第一方面的基于注意力机制的多尺度SAR图像识别方法的装置，包括：
训练模块，用于输入SAR训练图像对原始的图像识别网络进行训练和调整，其中图像识别网络包括依次连接的注意力预测子网、感兴趣区域定位子网和图像分类子网；
以及与训练模块连接的分类模块，用于输入SAR待测图像至训练模块训练完成的图像识别网络处理输出分类结果；
所述训练模块具体包括：
注意力预测模块，用于使SAR训练图像经过注意力预测子网处理得到注意力预测图，并计算注意力预测损失；
初步定位模块，用于使SAR训练图像经过感兴趣区域定位子网结合注意力预测图处理得到初步定位SAR图像，并计算感兴趣区域定位损失；
分类训练模块，用于使初步定位SAR图像经过图像分类子网处理输出分类结果，并计算分类损失；
网络调整模块，用于根据注意力预测损失、感兴趣区域定位损失和分类损失计算网络损失并根据网络损失调整图像识别网络。
根据本发明第二方面的装置，还包括：与分类训练模块连接的定位优化模块，用于将所述初步定位SAR图像进行区域框定并筛选，得到带候选框区域特征的优化定位图像；其中，将所述优化定位图像作为分类训练模块的输入。
本发明提供的技术方案，至少具有如下有益效果：通过注意力预测子网对SAR图像处理，生成注意力预测图，注意力预测子网定位SAR图像中最显著的特征部分，极大地消除了机器视觉中图像特征的冗余度，注意力预测子网有效地确定目标的感兴趣区域，减少图像噪声的干扰，大大地减少了图像处理的时间，以及提高对目标识别的准确性，有利于下一步的目标定位，整体上对网络识别速度有了显著的提升。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明实施例基于注意力机制的多尺度SAR图像识别方法的原理步骤图；
图2是本发明另一个实施例基于注意力机制的多尺度SAR图像识别方法的原理步骤图；
图3是本发明实施例应用基于注意力机制的多尺度SAR图像识别方法的装置的结构图；
图4是本发明另一个实施例应用基于注意力机制的多尺度SAR图像识别方法的装置的结构图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1，本发明的一个实施例，提供了基于注意力机制的多尺度SAR图像识别方法，包括以下步骤：
步骤S100、训练步骤：输入SAR训练图像对原始的图像识别网络10进行训练和调整，其中图像识别网络10包括依次连接的注意力预测子网11、感兴趣区域定位子网12和图像分类子网13；
步骤S200、分类步骤：输入SAR待测图像至训练完成的图像识别网络10处理输出分类结果；
所述步骤S100包括：
步骤S110、注意力预测：使SAR训练图像经过注意力预测子网11处理得到注意力预测图，并计算注意力预测损失；
步骤S120、初步定位：使SAR训练图像经过感兴趣区域定位子网12结合注意力预测图处理得到初步定位SAR图像，并计算感兴趣区域定位损失；
步骤S130、分类训练：使初步定位SAR图像经过图像分类子网13处理输出分类结果，并计算分类损失；
步骤S140、网络调整：根据注意力预测损失、感兴趣区域定位损失和分类损失计算网络损失并根据网络损失调整图像识别网络10。
在该实施例中，输入大量的SAR训练图像对原始的图像识别网络10进行训练和调整，提高图像识别网络10的识别度；再对SAR待测图像识别分类。通过注意力预测子网11对SAR图像处理，生成注意力预测图，注意力预测子网11定位SAR图像中最显著的特征部分，极大地消除了机器视觉中图像特征的冗余度，注意力预测子网11有效地确定目标的感兴趣区域，减少图像噪声的干扰，大大地减少了图像处理的时间，以及提高对目标识别的准确性，有利于下一步的目标定位。
参照图2，另一个实施例，基于注意力机制的多尺度SAR图像识别方法，还包括以下步骤：
步骤S150、定位优化：得到初步定位SAR图像后，将所述初步定位SAR图像进行区域框定并筛选，得到带候选框区域特征的优化定位图像；更具体地，将初步定位SAR图像通过区域候选框网络以生成检测框区域；比较检测框区域与真值区域的交并比与阈值，并输出检测框区域与真值区域的交并比大于阈值的正样本图像；利用非最大抑制方法筛选出置信值最大的k个带候选框区域特征的优化定位图像。其中下一步的分类训练步骤中，将所述优化定位图像作为图像分类子网13的输入。对初步定位SAR图像进一步筛选和优化，提高分类准确性。
进一步，所述步骤S110具体包括：
步骤S111、提取SAR训练图像的RGB通道信息并以张量表示，并根据张量使SAR训练图像经过8个构建块处理得到四个多尺度特征，大小分别为64×64，32×32,16×16，8×8，具体地，张量的大小为128×128×3。
步骤S112、根据多尺度特征为SAR训练图像匹配权重，得到定位特征；为从大量图像信息中有选择地筛选出少量重要信息并忽略大多不重要的信息，聚焦到这些重要信息上，给每个构建块输出的含有多尺度特征的图像分配不同的注意力权重，聚焦SAR图像中所关注的部分，聚焦的过程体现在权重系数的计算上，权重越大表示越聚焦该信息上，即权重代表了信息的重要性。定位特征按照以下公式计算：
Figure BDA0002128558500000081
其中第一个过程是根据参数Query和多尺度特征Keyi计算权重系数，第二个过程根据权重系数对图像区域Valuei进行加权求和。而第一个过程又可以细分为两个阶段：第一个阶段根据参数Query和多尺度特征Keyi计算两者的相似性或者相关性；第二个阶段对第一阶段的原始分值进行归一化处理。
步骤S113、使定位特征经过特征归一化处理和反卷积处理结合SAR图像得到注意力预测图。
步骤S114、计算注意力预测损失。其中注意力预测损失为
Figure BDA0002128558500000082
式中，Aij为注意力预测图中的各项元素，
Figure BDA0002128558500000083
为注意力预测图，i和j是注意力预测图的长度和宽度，I和J分别是i和j的集合。
进一步，所述步骤S120具体包括：
步骤S121、使注意力预测图
Figure BDA0002128558500000084
以热图的形式对SAR训练图像遮掩生成掩膜并提取掩膜特征F'，遮掩过程如下：
Figure BDA0002128558500000085
式中θ为控制掩膜的阈值，F为定位特征；
步骤S122、经感兴趣区域对齐得到初步定位SAR图像；这能有效抑制与SAR图像分类检测无关的冗余特征，并突出显示感兴趣区域。
步骤S123、计算感兴趣区域定位损失。其中感兴趣区域定位损失为
Figure BDA0002128558500000091
式中l为注意力预测图的预测标签。
进一步，在所述步骤S130中：图像分类子网13由一个7×7卷积层、1个最大池层、4个多尺度模块以及两个全连接层组成。该4个多尺度模块将具有不同内核大小的4个卷积层C1、C2、C3和C4通道连接起来，以提取多尺度特征，其中C1和C3大小为3×3，C2大小为5×5，C4大小为7×7；最后应用两个全连接层输出分类结果。另外，分类损失为
Figure BDA0002128558500000092
其计算机制与感兴趣区域定位损失相同。
进一步，步骤S140中，网络损失为Loss＝α·Lossa+β·Lossf+γ·Lossc，其中Lossα、Lossc和Lossf分别是注意力预测损失、感兴趣区域定位损失和分类损失；α、β和γ是平衡注意力预测损失、分类损失和感兴趣区域定位损失之间权衡的超参数。需要说明的是，在训练前期，设置α》β＝γ以加快注意力预测子网11的收敛速度；在训练中后期，设置α《β＝γ使感兴趣区域定位损失和分类损失最小化，提高注意力预测的收敛性。
本发明的另一个实施例，提供了应用上述的基于注意力机制的多尺度SAR图像识别方法的装置，包括：
训练模块1，用于输入SAR训练图像对原始的图像识别网络10进行训练和调整，其中图像识别网络10包括依次连接的注意力预测子网11、感兴趣区域定位子网12和图像分类子网13；
以及与训练模块1连接的分类模块2，用于输入SAR待测图像至训练模块1训练完成的图像识别网络10处理输出分类结果；
所述训练模块1具体包括：
注意力预测模块3，用于使SAR训练图像经过注意力预测子网11处理得到注意力预测图，并计算注意力预测损失；
初步定位模块4，用于使SAR训练图像经过感兴趣区域定位子网12结合注意力预测图处理得到初步定位SAR图像，并计算感兴趣区域定位损失；
分类训练模块5，用于使初步定位SAR图像经过图像分类子网13处理输出分类结果，并计算分类损失；
网络调整模块6，用于根据注意力预测损失、感兴趣区域定位损失和分类损失计算网络损失并根据网络损失调整图像识别网络10。
另一个实施例，所述装置还包括：与分类训练模块5连接的定位优化模块7，用于将所述初步定位SAR图像进行区域框定并筛选，得到带候选框区域特征的优化定位图像；其中，将所述优化定位图像作为分类训练模块5的输入。
本发明另一个实施例还提供了一种装置，包括处理器和用于与所述处理器连接的存储器；所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行如上述的基于注意力机制的多尺度SAR图像识别方法。
本发明另一个实施例提供了一种存储介质，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述的基于注意力机制的多尺度SAR图像识别方法。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (7)

1.基于注意力机制的多尺度SAR图像识别方法，其特征在于，包括以下步骤：
训练步骤：输入SAR训练图像对原始的图像识别网络进行训练和调整，其中图像识别网络包括依次连接的注意力预测子网、感兴趣区域定位子网和图像分类子网；
分类步骤：输入SAR待测图像至训练完成的图像识别网络处理输出分类结果；
所述训练步骤包括：
注意力预测：使SAR训练图像经过注意力预测子网处理得到注意力预测图，并计算注意力预测损失；
初步定位：使SAR训练图像经过感兴趣区域定位子网结合注意力预测图处理得到初步定位SAR图像，并计算感兴趣区域定位损失；
分类训练：使初步定位SAR图像经过图像分类子网处理输出分类结果，并计算分类损失；
网络调整：根据注意力预测损失、感兴趣区域定位损失和分类损失计算网络损失并根据网络损失调整图像识别网络。
2.根据权利要求1所述的基于注意力机制的多尺度SAR图像识别方法，其特征在于，还包括以下步骤：
定位优化：得到初步定位SAR图像后，将所述初步定位SAR图像进行区域框定并筛选，得到带候选框区域特征的优化定位图像；
其中分类训练步骤中，将所述优化定位图像作为图像分类子网的输入。
3.根据权利要求1或2所述的基于注意力机制的多尺度SAR图像识别方法，其特征在于，所述注意力预测步骤具体包括：
提取SAR训练图像的RGB通道信息并以张量表示，并根据张量使SAR训练图像经过8个构建块处理得到多尺度特征；
根据多尺度特征为SAR训练图像匹配权重，得到定位特征；
使定位特征经过特征归一化处理和反卷积处理结合SAR图像得到注意力预测图；
计算注意力预测损失。
4.根据权利要求1或2所述的基于注意力机制的多尺度SAR图像识别方法，其特征在于，所述初步定位步骤具体包括：
使注意力预测图以热图的形式对SAR训练图像遮掩生成掩膜并提取掩膜特征；
经感兴趣区域对齐得到初步定位SAR图像；
计算感兴趣区域定位损失。
5.根据权利要求1或2所述的基于注意力机制的多尺度SAR图像识别方法，其特征在于，网络损失为Loss＝α·Lossa+β·Lossf+γ·Lossc，其中Lossα、Lossf和Lossc分别是注意力预测损失、感兴趣区域定位损失和分类损失，α、β和γ是平衡注意力预测损失、感兴趣区域定位损失和分类损失之间权衡的超参数。
6.应用权利要求1-5任一项所述的基于注意力机制的多尺度SAR图像识别方法的装置，其特征在于，包括：
训练模块，用于输入SAR训练图像对原始的图像识别网络进行训练和调整，其中图像识别网络包括依次连接的注意力预测子网、感兴趣区域定位子网和图像分类子网；
以及与训练模块连接的分类模块，用于输入SAR待测图像至训练模块训练完成的图像识别网络处理输出分类结果；
所述训练模块具体包括：
注意力预测模块，用于使SAR训练图像经过注意力预测子网处理得到注意力预测图，并计算注意力预测损失；
初步定位模块，用于使SAR训练图像经过感兴趣区域定位子网结合注意力预测图处理得到初步定位SAR图像，并计算感兴趣区域定位损失；
分类训练模块，用于使初步定位SAR图像经过图像分类子网处理输出分类结果，并计算分类损失；
网络调整模块，用于根据注意力预测损失、感兴趣区域定位损失和分类损失计算网络损失并根据网络损失调整图像识别网络。
7.根据权利要求6所述的装置，其特征在于，还包括：与分类训练模块连接的定位优化模块，用于将所述初步定位SAR图像进行区域框定并筛选，得到带候选框区域特征的优化定位图像；其中，将所述优化定位图像作为分类训练模块的输入。
CN201910630658.3A 2019-07-12 2019-07-12 基于注意力机制的多尺度sar图像识别方法及装置 Active CN110647794B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910630658.3A CN110647794B (zh) 2019-07-12 2019-07-12 基于注意力机制的多尺度sar图像识别方法及装置
US16/530,766 US11017275B2 (en) 2019-07-12 2019-08-02 Method and apparatus for multi-scale SAR image recognition based on attention mechanism
PCT/CN2020/100342 WO2021008398A1 (zh) 2019-07-12 2020-07-06 基于注意力机制的多尺度sar图像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910630658.3A CN110647794B (zh) 2019-07-12 2019-07-12 基于注意力机制的多尺度sar图像识别方法及装置

Publications (2)

Publication Number Publication Date
CN110647794A CN110647794A (zh) 2020-01-03
CN110647794B true CN110647794B (zh) 2023-01-03

Family

ID=68989907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910630658.3A Active CN110647794B (zh) 2019-07-12 2019-07-12 基于注意力机制的多尺度sar图像识别方法及装置

Country Status (3)

Country Link
US (1) US11017275B2 (zh)
CN (1) CN110647794B (zh)
WO (1) WO2021008398A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647794B (zh) * 2019-07-12 2023-01-03 五邑大学 基于注意力机制的多尺度sar图像识别方法及装置
CN111259850B (zh) * 2020-01-23 2022-12-16 同济大学 一种融合随机批掩膜和多尺度表征学习的行人重识别方法
CN116762092A (zh) * 2021-01-29 2023-09-15 华为技术有限公司 利用多核处理候选框的装置以及方法
CN112806977B (zh) * 2021-02-05 2022-03-18 复旦大学 基于多尺度融合网络的生理参数测量方法
CN112862688B (zh) * 2021-03-08 2021-11-23 西华大学 基于跨尺度注意力网络的图像超分辨率重建系统及方法
CN113343755A (zh) * 2021-04-22 2021-09-03 山东师范大学 红细胞图像中的红细胞分类系统及方法
CN113255759B (zh) * 2021-05-20 2023-08-22 广州广电运通金融电子股份有限公司 基于注意力机制的目标内特征检测系统、方法和存储介质
CN113449131B (zh) * 2021-06-29 2022-06-03 山东建筑大学 基于多特征信息捕捉和相关性分析的物品图像重识别方法
CN113487506B (zh) * 2021-07-06 2023-08-29 杭州海康威视数字技术股份有限公司 基于注意力去噪的对抗样本防御方法、装置和系统
CN113469088B (zh) * 2021-07-08 2023-05-12 西安电子科技大学 一种无源干扰场景下的sar图像舰船目标检测方法及系统
CN113642572B (zh) * 2021-07-15 2023-10-27 上海交通大学 一种基于多级注意力的图像目标检测方法、系统与装置
CN113627676B (zh) * 2021-08-18 2023-09-01 湘潭大学 一种基于多注意力因果关系的交通预测方法及系统
CN114202696B (zh) * 2021-12-15 2023-01-24 安徽大学 基于上下文视觉的sar目标检测方法、装置和存储介质
CN114764831A (zh) * 2022-05-09 2022-07-19 青岛理工大学 基于多任务卷积的物体抓取定位识别算法、系统和机器人
CN114898439B (zh) * 2022-06-01 2024-03-19 桂林电子科技大学 一种基于分段策略和多头卷积注意力的视频人脸识别方法
CN114796790B (zh) * 2022-06-23 2022-09-27 深圳市心流科技有限公司 基于脑电的大脑训练方法、装置、智能终端及存储介质
CN115147375B (zh) * 2022-07-04 2023-07-25 河海大学 基于多尺度注意力的混凝土表面缺陷特征检测方法
CN114882371B (zh) * 2022-07-08 2022-10-18 中国石油大学(华东) 一种基于全极化sar图像的海面溢油检测模型构建方法
CN115797787B (zh) * 2023-02-15 2023-05-05 耕宇牧星(北京)空间科技有限公司 一种sar图像水华区域提取方法
CN116977311A (zh) * 2023-08-02 2023-10-31 中国人民解放军61540部队 一种洪涝灾害区域检测方法、系统、电子设备及存储介质
CN117576553B (zh) * 2024-01-15 2024-04-02 中国海洋大学 双极化sar图像海洋冰涡识别方法、装置和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239384B1 (en) * 2014-10-21 2016-01-19 Sandia Corporation Terrain detection and classification using single polarization SAR
CN107358258A (zh) * 2017-07-07 2017-11-17 西安电子科技大学 基于nsct双cnn通道和选择性注意机制的sar图像目标分类
CN108416378A (zh) * 2018-02-28 2018-08-17 电子科技大学 一种基于深度神经网络的大场景sar目标识别方法
CN108520214A (zh) * 2018-03-28 2018-09-11 五邑大学 一种基于多尺度hog和svm的手指静脉识别方法
CN109685762A (zh) * 2018-11-09 2019-04-26 五邑大学 一种基于多尺度深度语义分割网络的天线下倾角测量方法
CN109766936A (zh) * 2018-12-28 2019-05-17 西安电子科技大学 基于信息传递和注意力机制的图像变化检测方法
CN109871742A (zh) * 2018-12-29 2019-06-11 安徽心之声医疗科技有限公司 一种基于注意力循环神经网络的心电信号定位方法
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2932747C (en) * 2013-12-04 2023-04-11 Urthecast Corp. Systems and methods for processing distributing earth observation images
US9483838B2 (en) * 2014-04-24 2016-11-01 Xerox Corporation Method and system for automated sequencing of vehicles in side-by-side drive-thru configurations via appearance-based classification
CN104751183B (zh) * 2015-04-08 2018-03-06 西安电子科技大学 基于张量mpca的极化sar图像分类方法
WO2017160273A1 (en) * 2016-03-14 2017-09-21 Schlumberger Technology Corporation Dip estimation via a modified structure tensor
CN107423734B (zh) * 2016-05-23 2020-01-21 中国科学院计算技术研究所 一种sar图像海洋目标快速检测方法与装置
CN106156744B (zh) * 2016-07-11 2019-01-29 西安电子科技大学 基于cfar检测与深度学习的sar目标检测方法
CN106934397B (zh) * 2017-03-13 2020-09-01 北京市商汤科技开发有限公司 图像处理方法、装置及电子设备
CN108872988B (zh) * 2018-07-12 2022-04-08 南京航空航天大学 一种基于卷积神经网络的逆合成孔径雷达成像方法
CN109284670B (zh) * 2018-08-01 2020-09-25 清华大学 一种基于多尺度注意力机制的行人检测方法及装置
CN109711463B (zh) * 2018-12-25 2023-04-07 广东顺德西安交通大学研究院 基于注意力的重要对象检测方法
CN109800764A (zh) * 2019-01-21 2019-05-24 中国民航大学 一种基于注意力机制的机场x光违禁品图像检测方法
CN110647794B (zh) * 2019-07-12 2023-01-03 五邑大学 基于注意力机制的多尺度sar图像识别方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239384B1 (en) * 2014-10-21 2016-01-19 Sandia Corporation Terrain detection and classification using single polarization SAR
CN107358258A (zh) * 2017-07-07 2017-11-17 西安电子科技大学 基于nsct双cnn通道和选择性注意机制的sar图像目标分类
CN108416378A (zh) * 2018-02-28 2018-08-17 电子科技大学 一种基于深度神经网络的大场景sar目标识别方法
CN108520214A (zh) * 2018-03-28 2018-09-11 五邑大学 一种基于多尺度hog和svm的手指静脉识别方法
CN109685762A (zh) * 2018-11-09 2019-04-26 五邑大学 一种基于多尺度深度语义分割网络的天线下倾角测量方法
CN109766936A (zh) * 2018-12-28 2019-05-17 西安电子科技大学 基于信息传递和注意力机制的图像变化检测方法
CN109871742A (zh) * 2018-12-29 2019-06-11 安徽心之声医疗科技有限公司 一种基于注意力循环神经网络的心电信号定位方法
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法

Also Published As

Publication number Publication date
US11017275B2 (en) 2021-05-25
CN110647794A (zh) 2020-01-03
US20210012146A1 (en) 2021-01-14
WO2021008398A1 (zh) 2021-01-21

Similar Documents

Publication Publication Date Title
CN110647794B (zh) 基于注意力机制的多尺度sar图像识别方法及装置
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN110705601A (zh) 基于单阶段目标检测的变电站设备渗漏油图像识别方法
CN109766936B (zh) 基于信息传递和注意力机制的图像变化检测方法
CN113076994B (zh) 一种开集域自适应图像分类方法及系统
CN111967480A (zh) 基于权重共享的多尺度自注意力目标检测方法
WO2022095253A1 (zh) 一种基于深度通道感知的去除云雾方法
CN111160407A (zh) 一种深度学习目标检测方法及系统
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN112883850A (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN113221848B (zh) 基于多分类器域对抗网络的高光谱开放集领域自适应方法
CN111580058A (zh) 基于多尺度卷积神经网络的雷达hrrp目标识别方法
CN116612378A (zh) 一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法
CN111553337A (zh) 一种基于改进锚框的高光谱多目标检测方法
CN108182684B (zh) 一种基于加权核函数模糊聚类的图像分割方法及其装置
CN113269734B (zh) 一种基于元学习特征融合策略的肿瘤图像检测方法及装置
CN112991257B (zh) 基于半监督孪生网络的异质遥感图像变化快速检测方法
CN115147727A (zh) 一种遥感影像不透水面提取方法及系统
CN114283336A (zh) 一种基于混合注意力的无锚框遥感图像小目标检测方法
Algazinov et al. Hardware–software complex for the analysis of a nonuniform flow of objects in real-time optical sorting systems
CN113409351A (zh) 基于最优传输的无监督领域自适应遥感图像分割方法
Yu et al. Precise segmentation of remote sensing cage images based on SegNet and voting mechanism
CN112668403A (zh) 多特征区域的细粒度船舶图像目标识别方法
CN115661828B (zh) 一种基于动态分层嵌套残差网络的文字方向识别方法
CN117197592B (zh) 一种目标检测模型训练方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant