CN117437523B - 联合sar ccd和全局信息捕获的微弱痕迹检测方法 - Google Patents

联合sar ccd和全局信息捕获的微弱痕迹检测方法 Download PDF

Info

Publication number
CN117437523B
CN117437523B CN202311764408.1A CN202311764408A CN117437523B CN 117437523 B CN117437523 B CN 117437523B CN 202311764408 A CN202311764408 A CN 202311764408A CN 117437523 B CN117437523 B CN 117437523B
Authority
CN
China
Prior art keywords
image
gccn
convolution
data set
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311764408.1A
Other languages
English (en)
Other versions
CN117437523A (zh
Inventor
张金松
韩青
邢孟道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202311764408.1A priority Critical patent/CN117437523B/zh
Publication of CN117437523A publication Critical patent/CN117437523A/zh
Application granted granted Critical
Publication of CN117437523B publication Critical patent/CN117437523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种联合SAR CCD和全局信息捕获的微弱痕迹检测方法，包括：获取包括轮胎痕迹的SAR CCD图像数据集的预训练数据集；根据预训练数据集，训练包括UNet网络和Transformer网络的GCCN得到第一GCCN；获取实测数据集，实测数据集包括不同时刻在相同几何位置获得的双航过SAR图像，以及，相应时间段内相应几何位置所对应的标注图像，标注图像中包括目标运动轨迹的坐标信息；对实测数据集中的至少一对双航过SAR图像进行预处理，得到至少一个差异图像；根据各差异图像和相应的标注图像，对第一GCCN进行训练，得到训练好的GCCN，该方法提高了模型训练效率、检测精度和检测能力。

Description

联合SAR CCD和全局信息捕获的微弱痕迹检测方法
技术领域
本发明属于痕迹检测技术领域，具体涉及一种联合SAR CCD和全局信息捕获的微弱痕迹检测方法。
背景技术
随着遥感技术的不断发展，在短时间内可以获取大量的图像。将流行的深度学习方法引入遥感图像分析中可以实现智能高效的处理。合成孔径雷达(Synthetic ApertureRadar，SAR)系统具有相干成像特性，其获取的复图像对地表特征更为敏感。传统的基于强度的变化检测方法的非相干变化检测(Incoherent Change Detection，ICCD)仅利用多时态图像之间的强度差异，其结果只能反映如地震或洪水灾害等明显的地理变化。目前只有少数公开的深度学习方法可以实现从相干变化检测(Coherent Change Detection，CCD)差异图像中自动检测轨迹。桑迪亚实验室提出了一种由小步幅卷积和空洞卷积组成的堆卷积神经网络(Convolutional Neural Network，CNN)。该模型在桑迪亚痕迹数据集上进行训练，能够实现自动检测车辆痕迹。
尽管这些方法利用深度学习实现了自动轨迹检测，但模型的检测能力较弱，检测精度较低。
发明内容
为了解决现有技术中存在的问题，本发明提供了一种联合SAR CCD和全局信息捕获的微弱痕迹检测方法。
第一方面，本发明提供了一种联合SAR CCD和全局信息捕获的微弱痕迹检测方法，包括：
获取预训练数据集，预训练数据集为包括轮胎痕迹的合成孔径雷达成像进行相干变化检测SAR CCD图像数据集；
根据预训练数据集，对全局上下文捕获网络(Global-Context CapturingNetwork，GCCN)进行预训练，得到第一GCCN，GCCN包括UNet网络和Transformer网络；
获取实测数据集，实测数据集包括不同时刻在相同几何位置获得的双航过合成孔径雷达SAR图像(以下简称双航过SAR图像)，以及，相应时间段内相应几何位置所对应的标注图像，标注图像中包括目标运动轨迹的坐标信息；
对实测数据集中的至少一对双航过SAR图像进行预处理，得到至少一个差异图像；
根据各差异图像和相应的标注图像，对第一GCCN进行训练，得到训练好的GCCN，训练好的GCCN用于根据不同时刻在目标几何位置获得的双航过SAR图像，确定目标几何位置处的微弱痕迹。
第二方面，本发明提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面所提供的方法步骤。
第三方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现第一方面所提供的方法步骤。
本发明的有益效果：
本发明提供的联合SAR CCD和全局信息捕获的微弱痕迹检测方法，通过所获取的包括轮胎痕迹的预训练数据集，对全局上下文捕获网络GCCN进行预训练，得到第一GCCN；通过对所获取的实测数据集中，至少一对双航过SAR图像进行预处理，得到至少一个差异图像，并根据各差异图像和相应时间段内相应几何位置所对应的包括目标运动轨迹的坐标信息的标注图像，对第一GCCN进行训练，得到训练好的用于根据不同时刻在目标几何位置获得的双航过SAR图像，确定目标几何位置处的微弱痕迹的GCCN，提高了模型训练的效率、模型检测精度以及检测能力。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1为本发明提供的一种联合SAR CCD和全局信息捕获的微弱痕迹检测方法的流程示意图；
图2为本发明提供的一种GCCN的架构示意图；
图3为本发明提供的一种组空间卷积模块的架构示意图；
图4为本发明提供的一组SAR图像；
图5为本发明提供的一种特征金字塔的示意图；
图6为本发明提供的双航过SAR图像预处理结果的示意图；
图7为本发明提供的一组检测结果的示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
现有的利用深度学习实现自动轨迹检测的方法普遍存在如下问题，第一，目前尚未创建一个包含各种微弱轨迹类型的鲁棒数据集；第二，忽略了车辆轨迹和足迹等微弱痕迹的长连续性和平行分布，限制了高效捕捉细微轨迹结构和语义空间分布的能力；第三，由于微弱痕迹样本的数量有限，导致训练得到的检测模型的性能较差。
基于此，本发明提供联合SAR CCD和全局信息捕获的微弱痕迹检测方法，利用机载SAR系统创建一个微弱轨迹检测数据集，包含了多种地形背景下不同人类活动的大场景复数值图像；融合SAR CCD和卷积网络构建一个轨迹检测框架。CCD包括亚像素级配准和相干估计，可以在复杂的飞行条件和地形背景下生成配对图像对之间的差异图像；将组空间卷积模块集成到基于TransUnet的像素级检测网络中，构建一个全局上下文捕获网络，能够训练得到检测性能更优的微弱痕迹检测模型，可以在复杂背景下实现微弱轨迹的高召回率和高精确度的检测。
图1为本发明提供的一种联合SAR CCD和全局信息捕获的微弱痕迹检测方法的流程示意图，如图1所示，该方法包括：
S101、获取预训练数据集。
其中，预训练数据集为包括轮胎痕迹的SAR CCD图像数据集。
SAR CCD：合成孔径雷达成像进行相干变化检测。
SAR：合成孔径雷达。
CCD：相干变化检测。
可选的，从公开网站上获取公开的包括轮胎痕迹的SAR CCD图像数据集。
示例性的，获取美国桑迪亚国家实验室公开的SAR CCD数据，经过图像预处理，得到预训练数据集。
美国桑迪亚国家实验室首次公开了SAR CCD数据集，该数据集由桑迪亚实验平台于2006年2月14日在新墨西哥州收集而成。包含两个航次，每个航次包含32个聚束SAR图像，提供了32个尺寸为1754×3000像素可应用于CCD研究的图像对。在采集间隔内，一辆汽车在该区域行驶，并在地面上留下平行的轮胎痕迹。
S102、根据预训练数据集，对全局上下文捕获网络GCCN进行预训练，得到第一GCCN。
其中，GCCN包括UNet网络和Transformer网络。
示例性的，GCCN由UNet网络结构和Transformer网络结构融合而成。
可选的，将用于像素级分类任务的UNet网络结构和用于获取全局上下文信息的Transformer网络结构进行融合，并利用空间卷积模块将不同尺度的特征向量进行跳跃连接，对模型进行加速，构建出能够检测微弱痕迹的全局上下文捕获网络GCCN。
图2为本发明提供的一种GCCN的架构示意图，其中，Input Image表示输入图像，Embedded Sequence表示嵌入序列，Layer Norm表示归一化层，MSA为Multihead Self-Attention的英文简写，表示多头自注意力机制，MLP为Multi-Layer Perceptron的英文简写，表示多层感知机，Embedded Feature表示嵌入特征，Transformer Layer表示Transformer网络层，Hidden Feature表示隐藏特征，Reshape表示一种改变特征向量的尺度的操作，Group SCNN为Group Spatial Convolution Neural Networks的英文简写，表示组空间卷积神经网络，Conv3×3，ReLU表示尺度为3×3的卷积函数及激活函数，Downsample表示下采样，Upsample表示上采样，Conv1×1，Softmax表示尺度为1×1的卷积函数及归一化指数函数，Encoder module表示编码器，Decoder module表示解码器，GSCM为GroupSpatial Convolution Module的英文简写，表示组空间卷积模块，Detection Result表示检测结果。
如图2所示，可选的，GCCN，包括：
编码器、组空间卷积模块和解码器。
其中，编码器分别与组空间卷积模块和解码器连接，组空间卷积模块还与解码器连接。
编码器包括依次连接的特征提取模块、1×1的卷积核和Transformer模块。
特征提取模块包括四个级联的卷积模块和下采样层。
图3为本发明提供的一种组空间卷积模块的架构示意图。如图3所示，组空间卷积模块包括四个级联的、卷积方向不同的子卷积模块。其中，Feature Maps表示特征图像，GSCM_D、GSCM_U、GSCM_R和GSCM_L，分别表示向下、向上、向右和向左的卷积方向，Featuremaps with global context passing表示组空间卷积处理后的结果。
解码器包括卷积层和上采样层。
通过引入组空间卷积模块，以降低维度，降低运量，提升运算效率，并且减少了卷积通道数，提高了整体计算效率，并实现不同尺度特征向量的跳跃连接，提高了全局上下文捕获能力。
S103、获取实测数据集。
其中，实测数据集包括不同时刻在相同几何位置获得的双航过SAR图像，以及，相应时间段内相应几何位置所对应的标注图像。
标注图像中包括目标运动轨迹的坐标信息。
双航过SAR图像是不同时间重复飞行相同几何位置，即相同区域，所得到的两幅SAR图像。
可选的，获取实测数据集，包括：采用机载CCD系统，获取不同时刻、相同几何位置的双航过SAR图像；采用手持全球定位系统(Global Positioning System，GPS)方式，记录目标运动轨迹。
可选的，机载CCD系统的载波频率为35GHz，波长为8.6毫米。
通过该设置能够使CCD的相位灵敏度最大化，实现0.15米的方位分辨率和距离分辨率，并在不同的成像几何和场景下保持相对稳定。
示例性的，图4为本发明提供的一组SAR图像，图4展示了每个区域的成像结果，其中每个区域选取了一幅图像，图像上的箭头指示相应对应关系。图4所对应的机载CCD系统的工作参数如表1所示；
表1 机载CCD系统的工作参数
SAR单通道复数图像准确反映了这些区域的真实地表覆盖情况，覆盖面积从3平方千米到10平方千米不等。这些图像是在2021年和2022年获取的。表2提供了飞行路线和图像获取的详细描述。
表2 飞行路线和图像获取的详细描述
标注图像中的目标运动轨迹的坐标信息可以在移动过程中通过手持GPS记录轨迹的位置坐标的方式生成。
标注图像在模型训练过程中可视为地面真实值。
实测数据集中的双航过SAR图像与其对应的标注图像，包括相同位置区域的图像信息。示例性的，双航过SAR图像包括图像1和图像2，其中图像1为 A时刻捕获的区域T的图像，图像2为B时刻捕获的区域T的图像。从A时刻起至B时刻，由人工携带GPS在区域T移动并标记相应的轨迹坐标，从而形成区域T对应的标记图像。
通过该方法获取的实测数据集，通过合理设置航过间隔时间，例如1小时、1.5小时等，既保证了图像对之间的完全相干性，又体现了由于人类活动引起的微小形变所导致的去相关效应。
本发明提供的GCCN属于监督学习，所以需要训练数据来优化检测模型，并需要测试数据来验证检测性能。获取的实测数据集可以选取一部分作为训练样本，一部分作为测试样本。
示例性的，表2中，将包头市南北方向1航过和2航过，以及塔城市西南方向到东北方向3航过图像作为训练样本，剩余图像作为测试样本。
采用图像特征更为明显的图像作为训练样本，更易于网络学习图像中的痕迹特征，采用存在痕迹不太明显的区域的图像作为测试样本，能够更好的检测网络的性能。
S104、对实测数据集中的至少一对双航过SAR图像进行预处理，得到至少一个差异图像。
差异图像为能反映出主图像以及从图像之间微弱像素变化的图像。
可选的，对实测数据集中的至少一对双航过SAR图像进行预处理，得到至少一个差异图像，包括：采用扩展光流迭代算法(Extended Flow Optical Lucas-KanadeIterative，eFolki)，对实测数据集中的至少一对双航过SAR图像进行图像配准处理，得到至少一个具有亚像素级配准的配对图像对；根据预设的复合估计器对至少一个具有亚像素级配准的配对图像对进行相干估计处理，得到各具有亚像素级配准的配对图像对所对应的差异图像。
图像配准是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。
像素是构成数码影像的基本单位，也是最小单位。像素之间的距离，在宏观上可以看作是连在一起的，但在微观上它们之间还有无限更小的东西存在，是两个物理像素之间的“像素”，这些更小的东西就称之为亚像素。
通过该方法，在配准过程中不需要关键点和多项式回归，只需两张图片之间的位移变换矩阵，即可完成图像之间的亚像素级配准，配准效率高，效果好。
可选的，使用扩展光流迭代算法eFolki对实测数据集中的至少一个双航过SAR图像进行图像配准处理，得到至少一个具有亚像素级配准的配对图像对，包括：对实测数据集中的至少一对双航过SAR图像进行粗配准，得到至少一组粗配准的主图像和从图像；对各主图像和相应的从图像进行降采样，以构造特征金字塔；采用扩展光流迭代算法eFolki，对特征金字塔进行处理，得到目标变换矩阵；将目标变换矩阵作为输入，使用频域插值法对各从图像进行处理，以使从图像与相应的主图像组成具有亚像素级配准的配对图像对。
可选的，采用扩展光流迭代算法eFolki，对特征金字塔进行处理，包括：采用扩展光流迭代算法eFolki，对特征金字塔进行处理，扩展光流迭代算法eFolki表示为：
。
其中，表示最优化位移的代价函数，/>表示主从图像间位移，表示由半径/>参数化的大小为/>的方形窗口，/>表示主图像上的/>窗口的中心点的像素点，/>表示主图像上的/>窗口的中心点邻域范围内的像素点，表示从图像上的像素点，/>表示主图像的秩函数，/>表示从图像的秩函数，/>表示主图像强度，/>表示从图像强度，/>表示二维支撑域。
表示秩函数，具体表示为：
。
其中，表示大括号内的集合中元素的个数，/>表示像素/>的邻域，/>属于/>，邻域范围取像素强度/>低于窗口中心点像素强度/>的部分，/>表示图像强度。
示例性的，方形窗口的尺度从8取到32，间隔为4。
该方法除了引入秩函数来提高核配准的准确性之外，还引入了多个局部窗口来增强确定配对图像之间的位移的收敛性。
示例性的，对经过粗配准的SAR图像进行降采样，并使用不同的采样率进行高斯滤波，得到降采样金字塔，金字塔共有六个层次，这意味着最低分辨率是原始图像的1/64。图5为本发明提供的一种特征金字塔的示意图，其中，Master Image表示主图像，Slave Image表示从图像，Downsampling表示下采样，Optimization表示优化，initial flow表示初始化流，Wrap Matrix表示目标变换矩阵。在优化过程中，首先对具有低分辨率的金字塔进行优化，分辨率最低的金字塔层初始化为0，接着对下一个金字塔层进行优化，这时利用上一层的估计结果和相应的图像对进行优化，依次迭代，最终得到目标变换矩阵。
通过该方法能够发现不同尺度的位移，提高配准精度，提升配准效果。
可选的，预设的复合估计器表示为：
。
其中，表示复合估计器，/>表示局部窗口的像素数，/>表示像素对应的位置，/>表示共轭操作，/>表示在第/>个位置取共轭操作后主图像的强度，/>表示在第/>个位置主图像的强度，/>表示在第/>个位置从图像的强度。
该复合估计器稳定性好，能够更好的保障处理效果。
图6为本发明提供的双航过SAR图像预处理结果的示意图，图6a中，Pass 1 FullImage为第一次采集的图像，即1航过图像，Pass 1 Patch表示Pass 1 Full Image中的选框所选区域对应的1航过图像，Pass 2 Patch表示Pass 1 Full Image中的选框所选区域对应的2航过图像，Difference image表示差异图像，Ground truth表示标注图像，Vehicle表示车辆轨迹，Footprint表示足迹。
图6b中，Pass 1 Full Image为第1次采集的图像，即1航过图像。Pass 1 Patch表示Pass 1 Full Image中的选框所选区域对应的1航过图像，Pass 2 Patch表示Pass 1Full Image中的选框所选区域对应的2航过图像，Difference image表示差异图像，Groundtruth表示标注图像，Vehicle表示车辆轨迹，Footprint表示足迹。
对图像进行配准和相干性估计，并根据差异图像中的轨迹分布和实验记录为每个图像对提供标注真值GPS，图中线条表示轨迹。由于地形遮挡和随机植被摆动引起的时间位置变化，生成的差异图像中存在部分去相关像素。并且由于轨迹的形状、深度和表面特性的差异，图像中轨迹是不连续的和不均匀的。
S105、根据各差异图像和相应的标注图像，对第一GCCN进行训练，得到训练好的GCCN。
其中，训练好的GCCN用于根据不同时刻在目标几何位置获得的双航过SAR图像，确定目标几何位置处的微弱痕迹。
可选的，根据各差异图像和相应的标注图像，对第一GCCN进行训练，包括：按照预设尺寸分别对差异图像和相应的标注图像进行裁剪，以得到相同尺寸且存在预设数量个重叠像素的第一图像切片对；对第一图像切片对进行翻转和/或旋转处理，得到至少一个第二图像切片对；将第一图像切片对和第二图像切片对输入第一GCCN，并使用随机梯度下降SGD优化组合损失函数对第一GCCN进行训练。
示例性的，将差异图像及其对应的标注图像裁剪成512×512像素并且有50像素重叠的切片。这种重叠有助于网络学习完整的轨迹区域。通过这种处理，得到1603个图像及其对应的标记图像用于网络训练。
使用PyTorch框架实现GCCN。在训练过程中，使用随机梯度下降SGD优化组合损失函数，初始学习率为0.01，动量为0.9。批次大小设置为6，迭代次数为150。
该方法中，重叠的像素能够保证图像之间的关联性，有助于网络学习完整的轨迹区域，进一步，再将其划分为更小的图像切片时，能够避免信息遗漏；此外，通过对图像进行裁剪，能够减少计算量，提高模型运算效率，通过翻转和/或旋转处理，能够提高训练数据集的多样性。
结合图2所示架构，可选的，根据差异图像和相应的标注图像，对第一GCCN进行训练，包括：
编码器通过特征提取模块对输入第一GCCN的差异图像进行特征提取，得到第一特征向量，并通过1×1的卷积核和第一特征向量对差异图像进行序列化和块嵌入处理，得到嵌入块向量，并通过Transformer模块对嵌入块向量进行处理得到嵌入特征向量；
组空间卷积模块通过各子卷积模块，从不同的方向对特征提取模块中间过程输出的特征向量进行卷积处理，得到不同尺度的组空间特征向量；
解码器对组空间卷积模块输出的不同尺度的组空间特征向量和编码器输出的嵌入特征向量进行拼接处理，以及卷积和上采样操作，得到检测结果；
根据检测结果和相应的标注图像，调整第一GCCN的参数，并进行迭代训练，直至训练结束。
示例性的，参见图2，将尺寸为512×512像素的差异图像输入到特征提取模块，此处特征提取模块为四个级联的卷积模块和下采样层，得到32×32的特征向量，大小为1024。
进一步，使用大小为1×1的卷积核对图像进行序列化和块嵌入，将得到的特征向量转为嵌入块向量/>：
。
其中，表示特征向量/>所对应的第/>个特征块向量，其中，，/>表示特征块的尺寸，/>表示特征块的总数量，特征向量/>的大小为1024，/>表示块嵌入投影，/>表示利用特征块向量位置信息的嵌入向量。
1×1的卷积核用于改变向量维度，便于后续向量的拼接操作。
进一步，将嵌入块向量输入到Transformer模块中，其中Transformer模块一共分为12层，每一层由多传感头自注意模块(Multihead Self-Attention，MSA)和多层感知机模块(Multi-Layer Perceptron，MLP)、归一化层Layer Norm组成，其中第/>层被定义为：
；
。
其中，表示归一化层，/>表示上一层嵌入块向量，/>表示经过归一化层和MSA层后得到的中间嵌入块向量，/>表示第/>层最终输出嵌入块向量。
示例性的，将编码器得到的512个32×32的特征向量，经过上采样层，并与组空间卷积模块产生的不同尺度的特征向量进行拼接，再经过卷积操作，最后生成16个512×512的特征向量，最后与1×1的卷积核进行卷积，得到检测结果，构建完成检测微弱痕迹的全局上下文捕获网络GCCN。
示例性的，经过Transformer模块后的隐藏层嵌入特征大小为1024×768。紧接着隐藏层嵌入特征被重新整形成768个像素为32×32的特征向量，并与1×1的卷积核进行卷积，生成512个32×32的特征向量。
编码器部分生成的嵌入特征向量不仅可以涵盖CNN的高维语义特征，还可以依靠Transformer模块提取全局上下文信息。
示例性的，参见图3，组空间卷积模块(geometry-based stochastic model，GSCM)由四个级联模块组成，分别是GSCM_D、GSCM_U、GSCM_R和GSCM_L，分别表示向下、向上、向右和向左的卷积方向。
GSCM的卷积核的大小被设置为或/>，其中GSCM_D和GSCM_U的卷积核大小为/>，其中/>、/>、/>分别为卷积核的宽度、高度、维度；GSCM_R和GSCM_L的卷积核大小为/>，其中/>、/>、/>分别为卷积核的宽度、高度、维度。特征向量的大小为/>，其中/>、/>、/>分别为特征向量的宽度、高度、维度。而切片向量大小为/>，其中/>、/>、/>分别为切片向量的宽度、高度、维度；GSCM_D和GSCM_U中切片向量的宽度和维度分别与相应特征向量的宽度和维度相同，表示为，/>；GSCM_D和GSCM_U中切片向量的高度/>根据特征向量的尺寸和相应卷积核的高度/>选取合适的数值。GSCM_R和GSCM_L中切片向量的高度和维度分别与相应特征向量的高度和维度相同，表示为/>，/>，GSCM_R和GSCM_L中切片向量的宽度根据特征向量的尺寸和相应卷积核的宽度/>选取合适的数值。
以GSCM_D模块为例进行说明，为输入的特征向量/>的第/>个切片向量，其大小为/>，/>、/>、/>分别为特征向量/>的第/>个切片向量的宽度、高度、维度，/>，/>表示特征向量/>的高度，卷积核J的大小为，/>、/>、/>分别为卷积核的宽度、高度、维度。/>的卷积结果为：
。
其中，表示已更新的第/>个切片向量，/>表示切片向量的索引，/>表示输入的特征向量/>的第/>个切片向量，其大小为/>，其中，/>表示特征向量/>的高度，/>、/>、/>分别为特征向量/>的第/>个切片向量的宽度、高度、维度，/>表示输入的特征向量/>的第/>个切片向量，表示修正线性单元ReLU，/>表示卷积，卷积核/>的大小为/>，/>、/>、/>分别为卷积核的宽度、高度、维度。
示例性的，对于尺寸为256×256且数量为128的特征向量，卷积层从128减少到，从而提高了整体计算效率。尺寸分别为256×256、128×128和64×64的三组特征图，卷积核维度/>和切片维度/>，经过经验将卷积核的维度/>和输入特征向量的维度/>分别设置为[1，3，5]和[1，4，8]。利用上述设置，可以在捕获全局上下文信息的同时保持较低的计算复杂度。
通过引入组空间卷积模块，减少了卷积通道数，提高了整体计算效率，并实现不同尺度特征向量的跳跃连接，提高了全局上下文捕获能力。
可选的，还包括，通过实测数据集中的未经预处理的双航过SAR图像，对训练好的GCCN进行测试验证。
使用检测精度、召回率和F1分数作为评估指标，其定义如下：
；
；
。
其中，TP表示正确检测的轨迹像素和背景像素，FP和FN分别表示错误检测的轨迹像素和背景像素，表示检测精度，/>表示召回率，/>表示/>分数。
分数是准确率和召回率的调和平均数，用于综合考虑准确率和召回率的表现。
由于需要检测两类轨迹，对每个类别计算上述的评估指标，并且在实验结果中也对平均指标区域进行描述。
图7为本发明提供的一组检测结果的示意图，通过双航过图像之间的干涉相位图，来验证分辨率校正和图像配准的有效性。其中，图7a为包头市沙区跟踪检测结果，图7b为塔城山区轨迹检测结果，图7c为张家口市雪区轨迹检测结果，其中，Master image表示主图像，Interference phase表示干涉相位图，Difference Image表示差异图像，DetectionResult表示检测结果，Vehicle track表示车辆轨迹，Footprint表示足迹。干涉相位图包含了成对图像之间的干涉相位条纹，其中干涉相位条纹越清晰，表示配准精度越好。相干性估计生成的差异图像越亮，表示配准精度和相干性估计越好。GCCN有效的提取了所有区域的车辆和足迹轨迹，并得到在训练和测试数据集上的精度、召回率以及F1分数。
本发明提供的联合SAR CCD和全局信息捕获的微弱痕迹检测方法，通过所获取的包括轮胎痕迹的预训练数据集，对全局上下文捕获网络GCCN进行预训练，得到第一GCCN；通过对所获取的实测数据集中，至少一对双航过SAR图像进行预处理，得到至少一个差异图像，并根据各差异图像和相应时间段内相应几何位置所对应的包括目标运动轨迹的坐标信息的标注图像，对第一GCCN进行训练，得到训练好的用于根据不同时刻在目标几何位置获得的双航过SAR图像，确定目标几何位置处的微弱痕迹GCCN，提高了模型训练的效率、模型检测精度以及检测能力。
本发明还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。
存储器，用于存放计算机程序。
处理器，用于执行存储器上所存放的程序时，实现上述方法实施例中所提供的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中所提供的步骤。
对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，具体内容及有益效果等相关之处参见方法实施例的部分说明即可。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种联合SAR CCD和全局信息捕获的微弱痕迹检测方法，其特征在于，包括：
获取预训练数据集，所述预训练数据集为包括轮胎痕迹的合成孔径雷达成像进行相干变化检测SAR CCD图像数据集；
根据所述预训练数据集，对全局上下文捕获网络GCCN进行预训练，得到第一GCCN，所述GCCN包括UNet网络和Transformer网络，所述Transformer网络用于获取全局上下文信息；
获取实测数据集，所述实测数据集包括不同时刻在相同几何位置获得的双航过合成孔径雷达SAR图像，以及，相应时间段内相应几何位置所对应的标注图像，所述标注图像中包括目标运动轨迹的坐标信息；
对所述实测数据集中的至少一对所述双航过合成孔径雷达SAR图像进行预处理，得到至少一个差异图像；
根据各所述差异图像和相应的标注图像，对所述第一GCCN进行训练，得到训练好的GCCN，所述训练好的GCCN用于根据不同时刻在目标几何位置获得的双航过合成孔径雷达SAR图像，确定所述目标几何位置处的微弱痕迹；
所述GCCN，包括：
编码器、组空间卷积模块和解码器，所述编码器分别与所述组空间卷积模块和所述解码器连接，所述组空间卷积模块还与所述解码器连接；
所述编码器包括依次连接的特征提取模块、1×1的卷积核和Transformer模块，所述特征提取模块包括四个级联的卷积模块和下采样层；
所述组空间卷积模块包括四个级联的、卷积方向不同的子卷积模块；
所述解码器包括卷积层和上采样层；
所述组空间卷积模块对应的卷积核的大小被设置为或/>，其中和/>分别表示相应子卷积模块的卷积核的宽度，/>和/>分别表示相应子卷积模块的卷积核的高度、/>表示相应子卷积模块的卷积核的维度，对应的切片向量大小为，其中/>、/>、/>分别为切片向量的宽度、高度、维度。
2.根据权利要求1所述的方法，其特征在于，所述对所述实测数据集中的至少一对所述双航过合成孔径雷达SAR图像进行预处理，得到至少一个差异图像，包括：
采用扩展光流迭代算法eFolki，对所述实测数据集中的至少一对所述双航过合成孔径雷达SAR图像进行图像配准处理，得到至少一个具有亚像素级配准的配对图像对；
根据预设的复合估计器对至少一对所述具有亚像素级配准的配对图像对进行相干估计处理，得到所述具有亚像素级配准的配对图像对所对应的差异图像。
3.根据权利要求2所述的方法，其特征在于，所述采用扩展光流迭代算法eFolki，对所述实测数据集中的至少一对所述双航过合成孔径雷达SAR图像进行图像配准处理，得到至少一个具有亚像素级配准的配对图像对，包括：
对所述实测数据集中的至少一对所述双航过合成孔径雷达SAR图像进行粗配准，得到至少一组粗配准的主图像和从图像；
对各所述主图像和相应的从图像进行降采样，以构造特征金字塔；
采用扩展光流迭代算法eFolki，对所述特征金字塔进行处理，得到目标变换矩阵；
将所述目标变换矩阵作为输入，使用频域插值法对各所述从图像进行处理，以使所述从图像与相应的主图像组成具有亚像素级配准的配对图像对。
4.根据权利要求3所述的方法，其特征在于，所述采用扩展光流迭代算法eFolki，对所述特征金字塔进行处理，包括：
采用扩展光流迭代算法eFolki，对所述特征金字塔进行处理，所述扩展光流迭代算法eFolki表示为：
；
其中，表示最优化位移的代价函数，/>表示主从图像间位移，/>表示由半径/>参数化的大小为/>的方形窗口，/>表示主图像上的/>窗口的中心点的像素点，/>表示主图像上的/>窗口的中心点邻域范围内的像素点，/>表示从图像上的像素点，/>表示主图像的秩函数，/>表示从图像的秩函数，/>表示二维支持域，/>表示主图像强度，/>表示从图像强度。
5.根据权利要求2-4任一所述的方法，其特征在于，所述预设的复合估计器表示为：
；
其中，表示复合估计器，/>表示局部窗口的像素数，/>表示像素对应的位置，*表示共轭操作，/>表示在第/>个位置取共轭操作后主图像的强度，/>表示在第/>个位置主图像的强度，/>表示在第/>个位置从图像的强度。
6.根据权利要求1-4任一所述的方法，其特征在于，所述根据各所述差异图像和相应的标注图像，对所述第一GCCN进行训练，包括：
按照预设尺寸分别对所述差异图像和相应的标注图像进行裁剪，以得到相同尺寸且存在预设数量个重叠像素的第一图像切片对；
对所述第一图像切片对进行翻转和/或旋转处理，得到至少一个第二图像切片对；
将所述第一图像切片对和所述第二图像切片对输入所述第一GCCN，并使用随机梯度下降SGD优化组合损失函数对所述第一GCCN进行训练。
7.根据权利要求6所述的方法，其特征在于，所述根据各所述差异图像和相应的标注图像，对所述第一GCCN进行训练，包括：
所述编码器通过所述特征提取模块对输入所述第一GCCN的所述差异图像进行特征提取，得到第一特征向量，并通过所述1×1的卷积核和所述第一特征向量对所述差异图像进行序列化和块嵌入处理，得到嵌入块向量，并通过所述Transformer模块对所述嵌入块向量进行处理得到嵌入特征向量；
所述组空间卷积模块通过各所述子卷积模块，从不同的方向对所述特征提取模块中间过程输出的特征向量进行卷积处理，得到不同尺度的组空间特征向量；
所述解码器对所述组空间卷积模块输出的不同尺度的组空间特征向量和所述编码器输出的嵌入特征向量进行拼接处理，以及卷积和上采样操作，得到检测结果；
根据所述检测结果和相应的标注图像，调整所述第一GCCN的参数，并进行迭代训练，直至训练结束。
8.根据权利要求7所述的方法，其特征在于，所述获取实测数据集，包括：
采用机载相干变化检测CCD系统，获取不同时刻、相同几何位置的双航过合成孔径雷达SAR图像；
采用手持全球定位系统GPS方式，记录所述目标运动轨迹。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的联合SARCCD和全局信息捕获的微弱痕迹检测方法步骤。
CN202311764408.1A 2023-12-21 2023-12-21 联合sar ccd和全局信息捕获的微弱痕迹检测方法 Active CN117437523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311764408.1A CN117437523B (zh) 2023-12-21 2023-12-21 联合sar ccd和全局信息捕获的微弱痕迹检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311764408.1A CN117437523B (zh) 2023-12-21 2023-12-21 联合sar ccd和全局信息捕获的微弱痕迹检测方法

Publications (2)

Publication Number Publication Date
CN117437523A CN117437523A (zh) 2024-01-23
CN117437523B true CN117437523B (zh) 2024-03-19

Family

ID=89546439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311764408.1A Active CN117437523B (zh) 2023-12-21 2023-12-21 联合sar ccd和全局信息捕获的微弱痕迹检测方法

Country Status (1)

Country Link
CN (1) CN117437523B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447057A (zh) * 2018-04-02 2018-08-24 西安电子科技大学 基于显著性和深度卷积网络的sar图像变化检测方法
CN109785370A (zh) * 2018-12-12 2019-05-21 南京工程学院 一种基于空间时间序列模型的弱纹理图像配准方法
CN113222898A (zh) * 2021-04-14 2021-08-06 西安电子科技大学 基于多元统计量和深度学习的双航过sar图像痕迹检测方法
CN115018888A (zh) * 2022-07-04 2022-09-06 东南大学 一种基于Transformer的光流无监督估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922679B2 (en) * 2022-06-30 2024-03-05 Xi'an Jiaotong University Automatic seismic facies identification method based on combination of self-attention mechanism and u-shape network architecture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447057A (zh) * 2018-04-02 2018-08-24 西安电子科技大学 基于显著性和深度卷积网络的sar图像变化检测方法
CN109785370A (zh) * 2018-12-12 2019-05-21 南京工程学院 一种基于空间时间序列模型的弱纹理图像配准方法
CN113222898A (zh) * 2021-04-14 2021-08-06 西安电子科技大学 基于多元统计量和深度学习的双航过sar图像痕迹检测方法
CN115018888A (zh) * 2022-07-04 2022-09-06 东南大学 一种基于Transformer的光流无监督估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
领域知识融合深度学习的SAR 图像检测与识别方法研究;张金松;《中国博士学位论文全文数据库 信息科技辑》;20230715(第07期);125-150 *

Also Published As

Publication number Publication date
CN117437523A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN111027401B (zh) 一种摄像头和激光雷达融合的端到端目标检测方法
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
Kang et al. A survey of deep learning-based object detection methods and datasets for overhead imagery
CN110136058B (zh) 一种基于俯视拼接图的建图方法及车载终端
CN111256693B (zh) 一种计算位姿变化方法及车载终端
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN115546640A (zh) 遥感影像的云检测方法、装置、电子设备及存储介质
Li et al. GeoImageNet: a multi-source natural feature benchmark dataset for GeoAI and supervised machine learning
CN113408540B (zh) 一种合成孔径雷达图像叠掩区提取方法及存储介质
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN114067142A (zh) 一种实现场景结构预测、目标检测和车道级定位的方法
CN114048536A (zh) 一种基于多任务神经网络的道路结构预测与目标检测方法
CN113361528A (zh) 一种多尺度目标检测方法及系统
CN116363526B (zh) MROCNet模型构建与多源遥感影像变化检测方法及系统
CN117437523B (zh) 联合sar ccd和全局信息捕获的微弱痕迹检测方法
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
Ufuktepe et al. Learning-based shadow detection in aerial imagery using automatic training supervision from 3D point clouds
CN113657477B (zh) 一种短临降水的预报方法、装置及系统
CN113096129B (zh) 高光谱卫星影像中的云量检测方法和装置
CN115240168A (zh) 感知结果获取方法、装置、计算机设备、存储介质
CN112651351A (zh) 一种数据处理的方法和装置
CN116385881B (zh) 遥感图像地物变化检测方法及装置
CN117671509B (zh) 遥感目标检测方法、装置、电子设备及存储介质
Hwang et al. Wave height measurement scheme using wave detector based on convolutional neural network and PPM calculator with ocean wave images
CN116824389A (zh) 船舶尾迹检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant