CN113111758B - 一种基于脉冲神经网络的sar图像舰船目标识别方法 - Google Patents
一种基于脉冲神经网络的sar图像舰船目标识别方法 Download PDFInfo
- Publication number
- CN113111758B CN113111758B CN202110368850.7A CN202110368850A CN113111758B CN 113111758 B CN113111758 B CN 113111758B CN 202110368850 A CN202110368850 A CN 202110368850A CN 113111758 B CN113111758 B CN 113111758B
- Authority
- CN
- China
- Prior art keywords
- neural network
- impulse
- pulse
- sar image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims abstract description 31
- 210000002569 neuron Anatomy 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000003062 neural network model Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims description 50
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 20
- 230000002093 peripheral effect Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 230000002787 reinforcement Effects 0.000 claims description 9
- 239000012528 membrane Substances 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 6
- 238000006467 substitution reaction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002829 reductive effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000036540 impulse transmission Effects 0.000 claims description 2
- 210000004556 brain Anatomy 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 2
- 238000004134 energy conservation Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 15
- 238000013135 deep learning Methods 0.000 description 7
- 210000000170 cell membrane Anatomy 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000005265 energy consumption Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于脉冲神经网络的SAR图像舰船目标识别方法，该方法采用了基于视觉注意力机制的视觉显著图提取方法，可以增强图像特征、去除相干斑等噪声影响，提高模型泛化能力和鲁棒性；然后，利用泊松编码器对视觉显著图进行步长为T的脉冲编码，得到离散的脉冲时间序列，以便后续的网络进行信息传递；接着，利用卷积神经网络和LIF脉冲神经元构建脉冲神经网络模型，赋予神经网络更好的生物特性，从而能够更准确地模拟大脑的信息传递过程；最后，利用替代梯度训练方法，解决了脉冲神经网络模型难以利用梯度下降和反向传播进行优化的问题；该方法能够准确识别舰船目标，同时兼具有高效节能的优势。
Description
技术领域
本发明涉及图像目标识别领域，更具体地，涉及一种基于脉冲神经网络的SAR图像舰船目标识别方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)是一种高分辨率成像雷达,具有全天候、全天时、不受天气影响等成像特点，可有效地识别伪装和穿透掩盖物，能够宏观、长期、动态、实时地对陆地和海洋进行观测，已成为对地、对海观测系统的重要构成部分，目前成为遥感技术的研究重点。它不仅被广泛应用于国民经济建设、生态环境保护等领域，而且在国家安全与军事领域发挥着越来越重要的作用。随着高分三号等卫星的发射，提供了越来越多的高分辨率SAR图像，进一步促进了SAR图像解译技术的发展和应用。
近年来，人工智能(Artificial Intelligence，AI)技术的兴起引发了以计算机视觉领域为代表的快速发展，并逐渐在SAR图像解译领域得到推广。AI的代表性技术为深度学习(Deep Learning)，深度学习的概念源于对人工神经网络(Artificial NeuralNetworks，ANN)的研究，含多个隐藏层的神经网络就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布和特征表示。以神经网络为代表的深度学习方法能够自主学习图像特征而不依赖人工设计，具有自动化程度高、识别能力强等特点，在SAR图像诸多任务(如检测、鉴别、分类和分割等)方面取得了突破性进展。\
尽管传统的人工神经网络在多项任务上取得了突破性的进展，能耗问题却限制了其更加广泛的部署应用。为了解决这一问题，第三代人工神经网络---脉冲神经网络(Spiking Neural Networks，SNN)被提了出来。基于类脑计算框架下的SNN以脉冲神经元为基本计算单元，通过稀疏脉冲序列传递信息，被称为能耗更低的新一代绿色人工智能技术。SNN最早由1997年Maass受生物大脑的启发而提出，原理是利用脉冲函数来模仿生物神经元之间的信息传递。作为第三代神经网络，SNN能够模仿人类大脑的信息编码和处理过程，是一种具有高生物可塑性，事件驱动特性和低功耗的类脑计算模型。相比于人工神经元，脉冲神经元则从神经科学的角度出发，对真实的生物神经元进行建模，其模拟神经元更加接近生物实际，因此能够更好地模拟生物神经元的复杂系统。然而，不同于传统神经网络以连续的实值进行模拟计算，SNN是以离散的脉冲序列进行消息传递，因此存在难以训练或训练效率低等问题，针对SNN的研究仍然远落后于传统神经网络。
当前，针对SNN的研究主要集中在以光学图像为载体的计算机视觉领域，对于SAR图像舰船目标识别场景，如何提出一个高效节能、识别准确率高的模型正是一个亟待解决的技术问题。
发明内容
本发明提供一种基于脉冲神经网络的SAR图像舰船目标识别方法，该方法克服现有的SAR图像舰船目标识别神经网络参数庞大、能耗高等技术问题。
为了达到上述技术效果，本发明的技术方案如下：
一种基于脉冲神经网络的SAR图像舰船目标识别方法，包括以下步骤：
S1：进行SAR图像视觉显著图提取和脉冲编码；
S2：进行脉冲神经网络模型构建；
S3：进行脉冲神经网络模型训练。
进一步地，所述步骤S1中，进行SAR图像视觉显著图提取的过程包括：
进行SAR图像亮度信息提取：
给定输入图像J，首先利用高斯金字塔对其进行尺度为2的特征图提取，实现图像在水平和垂直方向上尺度逐渐递减的八级下采样过程；每层图像的亮度特征图表示为I(k)，其中k∈[0,8]代表图像高斯金字塔结构中的不同层级；在图像中，相邻像素之间在纹理和灰度层面上具有很强的相关性，如果某一像素点与周围像素点差异越大越容易引起视觉注意，成为视觉显著点，引入中央周边差方法对不同尺度分辨率的特征图做进一步处理得到注意力信息；定义为中央周边差算子，亮度特征图的提取过程为将不同层级的特征图缩放到同一尺度后进行逐像素点的相减，该过程表示为：
其中，c∈{2,3,4},s＝c+δ,δ∈{3,4}，表示将第c层的特征图与第s层的特征图进行差值运算；
所述步骤S1中，进行SAR图像视觉显著图提取的过程还包括：
进行SAR图像方向信息提取：
方向信息提取过程与亮度信息提取过程类似，首先利用高斯金字塔对输入图像进行八级下采样得到多尺度特征图，然后再针对特征度作进一步方向特征提取；使用二维Gabor滤波器提取图像的方向通道特征信息，其数学表达式为：
其中，(x0,y0)表示目标中心在图像中的坐标位置，(ξ0,v0)表示滤波器在频域上的最优空间频率，表示高斯函数在x轴方向上的方差，/>表示高斯函数在y轴上的方差，/>和/>决定了Gabor滤波核可接受区域的大小；通过Gabor对高斯金字塔中的每一层级的特征图进行方向特征提取，得到不同尺度的方向特征图O(k)，利用中央周边差方法提取方向特征的注意力信息：
所述步骤S1中，进行SAR图像视觉显著图提取的过程还包括：
进行SAR图像全局加强合并：
选取全局加强合并的策略融合亮度和方向特征图的信息以生产视觉显著图：
1)归一化特征图至[0,N]，其中N∈[0,255]限制了归一化的范围；
2)计算全局最大值M和局部平均值
3)对于每一副特征图，乘以权值假设/>表示全局加强合并过程，则融合了中央周边差算子的亮度通道显著图合并过程表示为：
方向通道显著图的合并过程表示为：
再利用全局加强合并策略合并两个通道的特征图，得到最终的视觉显著图S：
所述步骤S1中，进行脉冲编码的过程包括：
在脉冲神经网络中，编码过程主要用于将输入的连续实值信号转换为带有时间信息的脉冲序列，并且尽可能地保留数据的大部分信息，基于速率的泊松编码器将输入的实值数据编码为发射次数分布符合泊松过程的脉冲，对于输入x∈[0,1]，在一个仿真步长内，假设脉冲发射的概率为p＝x，泊松编码的采样过程为：
考虑到脉冲序列具有时间相关性，额外引入时间步长变量T，在每个时间步长应用泊松编码过程，将静态像素数据的输入转换为脉冲序列在各个时间步长上的映射。
进一步地，所述步骤S2的过程是：
对于脉冲神经元，可由如下微分方程进行描述：
其中，R为膜电阻，C为电容量，I(t)表示t时刻的输入电流，上式表示为：
τ(V(t)-V(t-1))＝-(V(t-1)-Vreset)+X(t)
其中，τ＝RC称为膜时间常数，X(t)＝I(t)R为t时刻的外源输入；当电荷累积到一定程度，即膜电压达到阈值，神经元则输出脉冲，通常为Heaviside step阶跃函数：
脉冲神经网络模型的重置过程发生在脉冲发射后，释放脉冲消耗了神经元之前积累的电荷，膜电位会有一个瞬间的降低，根据重置的方式，分为硬重置和软重置两种方式：
进一步地，所述步骤S3的过程是：
利用步骤S2构建好的脉冲神经网络模型对SAR图像进行目标训练，需要考虑到脉冲发射函数的不可导性，引入梯度替代函数平滑反正切函数在反向传播时进行替代训练：
在反向传播对应的梯度为：
其中α为平滑因子，用于控制反正切函数的平滑程度。
其中，每个像素在T个时间步长内产生的T个脉冲序列，并且脉冲的发射概率与像素值大小呈正比。
与现有技术相比，本发明技术方案的有益效果是：
本发明方法采用了基于视觉注意力机制的视觉显著图提取方法，可以增强图像特征、去除相干斑等噪声影响，提高模型泛化能力和鲁棒性；然后，利用泊松编码器对视觉显著图进行步长为T的脉冲编码，得到离散的脉冲时间序列，以便后续的网络进行信息传递；接着，利用卷积神经网络和LIF脉冲神经元构建脉冲神经网络模型，赋予神经网络更好的生物特性，从而能够更准确地模拟大脑的信息传递过程；最后，利用替代梯度训练方法，解决了脉冲神经网络模型难以利用梯度下降和反向传播进行优化的问题。本发明提出的脉冲神经网络模型是一个高效节能的目标识别模型，通过利用离散的脉冲序列及其事件驱动的特性，使得模型能够模拟大脑神经元突触结构进行离散脉冲消息传递，从而达到能耗更低的目的。本发明提出的目标识别方法通过基于注意力机制的有效编码和基于深度学习方法的模型构建与训练，能够准确识别舰船目标，同时兼具有高效节能的优势，对实现未来的智能雷达感知有重要的参考价值。
附图说明
图1为本发明提出的SAR舰船图像目标识别方法框架图；
图2为本发明使用的视觉注意力模型框架图；
图3为本发明使用的泊松编码过程图；
图4为本发明使用的LIF神经元模型图；
图5为本发明对SAR图像进行脉冲编码结果。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图1所示，本发明提出的SAR图像舰船目标识别方法框架图，，整个框架包括对输入图像进行视觉显著图提取和脉冲编码得到脉冲序列，然后通过交替堆叠卷积层与LIF神经元、全连接层与LIF神经元对脉冲序列进行处理第一步，SAR图像视觉显著图提取和脉冲编码：
设输入的SAR舰船图像为J，视觉显著图提取主要包含如下步骤：
(1)亮度信息提取
给定输入图像J，首先利用高斯金字塔对其进行尺度为2的特征图提取，实现图像在水平和垂直方向上尺度逐渐递减的八级下采样过程。每层图像的亮度特征图表示为I(k)，其中k∈[0,8]代表图像高斯金字塔结构中的不同层级。在图像中，相邻像素之间在纹理和灰度层面上具有很强的相关性，如果某一像素点与周围像素点差异越大越容易引起视觉注意，成为视觉显著点。因此，引入中央周边差方法对不同尺度分辨率的特征图做进一步处理得到注意力信息。定义为中央周边差算子，亮度特征图的提取过程为将不同层级的特征图缩放到同一尺度后进行逐像素点的相减，该过程可以表示为：
其中，c∈{2,3,4},s＝c+δ,δ∈{3,4}，表示将第c层的特征图与第s层的特征图进行差值运算。
(2)方向信息提取
如图2所示，输入图像经过八层高斯金字塔提取图像不同分辨率特征，得到亮度通道和方向通道的特征图，然后经过中央周边差处理及全局加强合并得到最终的视觉显著图。
方向信息提取过程与亮度信息提取过程类似，首先利用高斯金字塔对输入图像进行八级下采样得到多尺度特征图，然后再针对特征度作进一步方向特征提取。Gabor滤波是一种可以有效抽取图像空间局部特征的处理方法，本发明使用二维Gabor滤波器提取图像的方向通道特征信息，其数学表达式为：
其中，(x0,y0)表示目标中心在图像中的坐标位置，(ξ0,v0)表示滤波器在频域上的最优空间频率，表示高斯函数在x轴方向上的方差，/>表示高斯函数在y轴上的方差，/>和/>决定了Gabor滤波核可接受区域的大小。通过Gabor对高斯金字塔中的每一层级的特征图进行方向特征提取，得到不同尺度的方向特征图O(k)。进一步地，利用中央周边差方法提取方向特征的注意力信息：
(3)全局加强合并
选取全局加强合并的策略融合亮度和方向特征图的信息以生产视觉显著图。全局加强合并是一种无需目标先验信息的特征信息合并策略，能够有效地加强对特征图中的显著性峰值区域，去除背景杂波的干扰。该方法主要由三个步骤组成：1)归一化特征图至[0,N]，其中N∈[0,255]限制了归一化的范围；2)计算全局最大值M和局部平均值3)对于每一副特征图，乘以权值/>假设/>表示全局加强合并过程，则融合了中央周边差算子的亮度通道显著图合并过程表示为：
类似地，方向通道显著图的合并过程表示为：
最后，再利用全局加强合并策略合并两个通道的特征图，得到最终的视觉显著图S：
(4)泊松编码
如图3所示，该编码为基于速率的编码，能够将输入图像编码为离散的脉冲序列。考虑到脉冲序列具有时间相关性，因此本发明额外引入时间步长变量T，在每个时间步长应用泊松编码过程，将静态像素数据的输入转换为脉冲序列在各个时间步长上的映射。每个像素在T个时间步长内产生的T个脉冲序列，并且脉冲的发射概率与像素值大小呈正比。
在脉冲神经网络中，编码过程主要用于将输入的连续实值信号转换为带有时间信息的脉冲序列，并且尽可能地保留数据的大部分信息。基于速率的泊松编码器是最简单有效的一种编码方式，能够将输入的实值数据编码为发射次数分布符合泊松过程的脉冲，在脉冲序列估计和神经网络背景噪声模拟中具有广泛的应用。泊松编码是一种基于速率的编码方式，对于输入x∈[0,1]，在一个仿真步长内，假设脉冲发射的概率为p＝x，泊松编码的采样过程为：
考虑到脉冲序列具有时间相关性，因此本发明额外引入时间步长变量T，在每个时间步长应用泊松编码过程，将静态像素数据的输入转换为脉冲序列在各个时间步长上的映射。每个像素在T个时间步长内产生的T个脉冲序列，并且脉冲的发射概率与像素值大小呈正比。
第二步，脉冲神经网络模型构建。
如图4所示，LIF神经元模型考虑了人脑神经元一个重要的生理因素：细胞膜不是完美的电容器，电荷会随着时间的流逝缓慢地通过细胞膜泄露，从而使得膜电压恢复到其静息电位。因此，LIF神经元的等效电路为电阻和电容的并联组合。
LIF模型\cite{LIF}是一类经典的脉冲神经网络模型，具有更好的生物特性。LIF模型考虑了一个重要的生理因素：细胞膜不是完美的电容器，电荷会随着时间的流逝缓慢地通过细胞膜泄露，从而使得膜电压恢复到其静息电位。
因此，LIF模型将细胞膜的电特性看成是电阻和电容的并联组合。对于LIF神经元，可由如下微分方程进行描述：
其中，R为膜电阻，C为电容量，I(t)表示t时刻的输入电流。经化简，上式可以表示为：
τ(V(t)-V(t-1))＝-(V(t-1)-Vreset)+X(t)
其中，τ＝RC称为膜时间常数，X(t)＝I(t)R为t时刻的外源输入。当电荷累积到一定程度，即膜电压达到阈值，神经元则输出脉冲。通常为Heaviside step阶跃函数：
LIF模型的重置过程发生在脉冲发射后，释放脉冲消耗了神经元之前积累的电荷，因此膜电位会有一个瞬间的降低。根据重置的方式，可以分为硬重置(Hard reset)和软重置(Soft reset)两种方式：
第三步，脉冲神经网络模型训练。利用第二步构建好的模型对SAR图像进行目标训练，需要考虑到脉冲发射函数的不可导性。因此，引入梯度替代函数平滑反正切函数在反向传播时进行替代训练：
在反向传播对应的梯度为
其中α为平滑因子，用于控制反正切函数的平滑程度。
如图5所示，通过对比实验，对本发明提出的SAR图像舰船目标检测方法进行了验证，理论分析和对比实验证明了本发明的有效性。在对比实验中，本发明中使用数据集为C.P.Schwegmann等人提供的SAR-Ship数据集，该数据集包含4,788张SAR图像及对应类别信息，对比实验以75％作为训练集，25％作为测试集。
表1为本发明对SAR舰船图像进行目标识别的结果。对比的模型包括传统的机器学习方法：SVM，DT和KNN，以及基于深度学习的方法AlexNet与ResNet。本发明提出的方法能够准确地识别舰船目标，具有较高的准确率和召回率，并且综合二者指标得到的F1分数也取得了最好的结果，说明本发明对SAR图像舰船目标识别的有效性。
表1本发明最终目标识别结果对比
| 对比模型 | 精确度 | 召回率 | F1分数 |
| SVM | 88.13％ | 87.37％ | 87.75％ |
| KNN | 88.5％ | 92.49％ | 92.50％ |
| DT | 89.34％ | 89.39％ | 89.36％ |
| AlexNet | 94.66％ | 94.73％ | 94.69％ |
| ResNet | 95.05％ | 95.07％ | 95.06％ |
| 本发明 | 95.57％ | 95.59％ | 95.58％ |
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (7)
1.一种基于脉冲神经网络的SAR图像舰船目标识别方法，其特征在于，包括以下步骤：
S1：进行SAR图像视觉显著图提取和脉冲编码；
S2：进行脉冲神经网络模型构建；
S3：进行脉冲神经网络模型训练；
所述步骤S1中，进行SAR图像视觉显著图提取的过程包括：
进行SAR图像亮度信息提取：
给定输入图像J，首先利用高斯金字塔对其进行尺度为2的特征图提取，实现图像在水平和垂直方向上尺度逐渐递减的八级下采样过程；每层图像的亮度特征图表示为I(k)，其中k∈[0,8]代表图像高斯金字塔结构中的不同层级；在图像中，相邻像素之间在纹理和灰度层面上具有很强的相关性，如果某一像素点与周围像素点差异越大越容易引起视觉注意，成为视觉显著点，引入中央周边差方法对不同尺度分辨率的特征图做进一步处理得到注意力信息；定义为中央周边差算子，亮度特征图的提取过程为将不同层级的特征图缩放到同一尺度后进行逐像素点的相减，该过程表示为：
其中，c∈{2,3,4},s＝c+δ,δ∈{3,4}，表示将第c层的特征图与第s层的特征图进行差值运算。
2.根据权利要求1所述的基于脉冲神经网络的SAR图像舰船目标识别方法，其特征在于，所述步骤S1中，进行SAR图像视觉显著图提取的过程还包括：
进行SAR图像方向信息提取：
方向信息提取过程与亮度信息提取过程类似，首先利用高斯金字塔对输入图像进行八级下采样得到多尺度特征图，然后再针对特征度作进一步方向特征提取；使用二维Gabor滤波器提取图像的方向通道特征信息，其数学表达式为：
其中，(x0,y0)表示目标中心在图像中的坐标位置，(ξ0,v0)表示滤波器在频域上的最优空间频率，表示高斯函数在x轴方向上的方差，/>表示高斯函数在y轴上的方差，/>和/>决定了Gabor滤波核可接受区域的大小；通过Gabor对高斯金字塔中的每一层级的特征图进行方向特征提取，得到不同尺度的方向特征图O(k)，利用中央周边差方法提取方向特征的注意力信息：
3.根据权利要求2所述的基于脉冲神经网络的SAR图像舰船目标识别方法，其特征在于，所述步骤S1中，进行SAR图像视觉显著图提取的过程还包括：
进行SAR图像全局加强合并：
选取全局加强合并的策略融合亮度和方向特征图的信息以生产视觉显著图：
1)归一化特征图至[0,N]，其中N∈[0,255]限制了归一化的范围；
2)计算全局最大值M和局部平均值
3)对于每一副特征图，乘以权值假设/>表示全局加强合并过程，则融合了中央周边差算子的亮度通道显著图合并过程表示为：
方向通道显著图的合并过程表示为：
再利用全局加强合并策略合并两个通道的特征图，得到最终的视觉显著图S：
4.根据权利要求3所述的基于脉冲神经网络的SAR图像舰船目标识别方法，其特征在于，所述步骤S1中，进行脉冲编码的过程包括：
在脉冲神经网络中，编码过程主要用于将输入的连续实值信号转换为带有时间信息的脉冲序列，并且尽可能地保留数据的大部分信息，基于速率的泊松编码器将输入的实值数据编码为发射次数分布符合泊松过程的脉冲，对于输入x∈[0,1]，在一个仿真步长内，假设脉冲发射的概率为p＝x，泊松编码的采样过程为：
考虑到脉冲序列具有时间相关性，额外引入时间步长变量T，在每个时间步长应用泊松编码过程，将静态像素数据的输入转换为脉冲序列在各个时间步长上的映射。
5.根据权利要求4所述的基于脉冲神经网络的SAR图像舰船目标识别方法，其特征在于，所述步骤S2的过程是：
对于脉冲神经元，可由如下微分方程进行描述：
其中，R为膜电阻，C为电容量，I(t)表示t时刻的输入电流，上式表示为：
τ(V(t)-V(t-1))＝-(V(t-1)-Vreset)+X(t)
其中，τ＝RC称为膜时间常数，X(t)＝I(t)R为t时刻的外源输入；当电荷累积到一定程度，即膜电压达到阈值，神经元则输出脉冲，通常为Heaviside step阶跃函数：
脉冲神经网络模型的重置过程发生在脉冲发射后，释放脉冲消耗了神经元之前积累的电荷，膜电位会有一个瞬间的降低，根据重置的方式，分为硬重置和软重置两种方式：
6.根据权利要求5所述的基于脉冲神经网络的SAR图像舰船目标识别方法，其特征在于，所述步骤S3的过程是：
利用步骤S2构建好的脉冲神经网络模型对SAR图像进行目标训练，需要考虑到脉冲发射函数的不可导性，引入梯度替代函数平滑反正切函数在反向传播时进行替代训练：
在反向传播对应的梯度为：
其中α为平滑因子，用于控制反正切函数的平滑程度。
7.根据权利要求6所述的基于脉冲神经网络的SAR图像舰船目标识别方法，其特征在于，每个像素在T个时间步长内产生的T个脉冲序列，并且脉冲的发射概率与像素值大小呈正比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110368850.7A CN113111758B (zh) | 2021-04-06 | 2021-04-06 | 一种基于脉冲神经网络的sar图像舰船目标识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110368850.7A CN113111758B (zh) | 2021-04-06 | 2021-04-06 | 一种基于脉冲神经网络的sar图像舰船目标识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113111758A CN113111758A (zh) | 2021-07-13 |
| CN113111758B true CN113111758B (zh) | 2024-01-12 |
Family
ID=76714182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110368850.7A Active CN113111758B (zh) | 2021-04-06 | 2021-04-06 | 一种基于脉冲神经网络的sar图像舰船目标识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113111758B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555523B (zh) * | 2019-07-23 | 2022-03-29 | 中建三局智能技术有限公司 | 一种基于脉冲神经网络的短程跟踪方法及系统 |
| CN113255905B (zh) * | 2021-07-16 | 2021-11-02 | 成都时识科技有限公司 | 脉冲神经网络中神经元的信号处理方法及该网络训练方法 |
| CN114549852B (zh) * | 2022-02-24 | 2023-04-18 | 四川大学 | 基于颜色拮抗与注意力机制的脉冲神经网络训练方法 |
| CN116051429B (zh) * | 2023-03-31 | 2023-07-18 | 深圳时识科技有限公司 | 数据增强方法、脉冲神经网络训练方法、存储介质和芯片 |
| CN117372676A (zh) * | 2023-09-26 | 2024-01-09 | 南京航空航天大学 | 一种基于注意力特征融合的稀疏sar舰船目标检测方法及装置 |
| CN118038292A (zh) * | 2024-04-11 | 2024-05-14 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种面向卫星在轨计算的目标识别装置和方法 |
| CN118072114B (zh) * | 2024-04-19 | 2024-07-12 | 合肥工大共达工程检测试验有限公司 | 一种基于脉冲神经网络的裂缝检测模型、方法和系统 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101140324A (zh) * | 2007-10-11 | 2008-03-12 | 上海交通大学 | 海域合成孔径雷达图像点目标提取的方法 |
| CN103065136A (zh) * | 2013-01-29 | 2013-04-24 | 中国电子科技集团公司第二十八研究所 | 一种基于视觉注意机制的sar图像协同目标识别方法 |
| CN104050716A (zh) * | 2014-06-25 | 2014-09-17 | 北京航空航天大学 | 一种海上多目标sar图像可视化建模方法 |
| CN107274401A (zh) * | 2017-06-22 | 2017-10-20 | 中国人民解放军海军航空工程学院 | 一种基于视觉注意机制的高分辨率sar图像舰船检测方法 |
| CN107784655A (zh) * | 2016-12-28 | 2018-03-09 | 中国测绘科学研究院 | 一种自适应阈值的视觉注意模型sar舰船检测算法 |
| CN108508413A (zh) * | 2017-09-25 | 2018-09-07 | 中国人民解放军国防科技大学 | 一种基于概率统计的低信噪比条件下目标检测方法 |
| CN108717570A (zh) * | 2018-05-23 | 2018-10-30 | 电子科技大学 | 一种脉冲神经网络参数量化方法 |
| CN108872988A (zh) * | 2018-07-12 | 2018-11-23 | 南京航空航天大学 | 一种基于卷积神经网络的逆合成孔径雷达成像方法 |
| CN109102000A (zh) * | 2018-09-05 | 2018-12-28 | 杭州电子科技大学 | 一种基于分层特征提取与多层脉冲神经网络的图像识别方法 |
| CN109782284A (zh) * | 2019-03-15 | 2019-05-21 | 中国科学院电子学研究所 | 一种基于脉冲编码实现长基线同步干涉sar的方法 |
| CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
| CN110261851A (zh) * | 2019-03-15 | 2019-09-20 | 中国科学院电子学研究所 | 一种基于脉冲编码实现全极化sar的方法 |
| CN110472483A (zh) * | 2019-07-02 | 2019-11-19 | 五邑大学 | 一种面向sar图像的小样本语义特征增强的方法及装置 |
| CN111666801A (zh) * | 2020-01-17 | 2020-09-15 | 电子科技大学 | 一种大场景sar图像舰船目标检测方法 |
| CN111858989A (zh) * | 2020-06-09 | 2020-10-30 | 西安工程大学 | 一种基于注意力机制的脉冲卷积神经网络的图像分类方法 |
| CN111965643A (zh) * | 2020-07-10 | 2020-11-20 | 西安电子科技大学 | 一种斜视sar bp图像中运动舰船目标重聚焦方法 |
| CN112308019A (zh) * | 2020-11-19 | 2021-02-02 | 中国人民解放军国防科技大学 | 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 |
| CN112346058A (zh) * | 2020-10-30 | 2021-02-09 | 西安电子科技大学 | 基于连续脉冲编码提升高速sar平台信噪比的成像方法 |
| CN112597815A (zh) * | 2020-12-07 | 2021-04-02 | 西北工业大学 | 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法 |
-
2021
- 2021-04-06 CN CN202110368850.7A patent/CN113111758B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101140324A (zh) * | 2007-10-11 | 2008-03-12 | 上海交通大学 | 海域合成孔径雷达图像点目标提取的方法 |
| CN103065136A (zh) * | 2013-01-29 | 2013-04-24 | 中国电子科技集团公司第二十八研究所 | 一种基于视觉注意机制的sar图像协同目标识别方法 |
| CN104050716A (zh) * | 2014-06-25 | 2014-09-17 | 北京航空航天大学 | 一种海上多目标sar图像可视化建模方法 |
| CN107784655A (zh) * | 2016-12-28 | 2018-03-09 | 中国测绘科学研究院 | 一种自适应阈值的视觉注意模型sar舰船检测算法 |
| CN107274401A (zh) * | 2017-06-22 | 2017-10-20 | 中国人民解放军海军航空工程学院 | 一种基于视觉注意机制的高分辨率sar图像舰船检测方法 |
| CN108508413A (zh) * | 2017-09-25 | 2018-09-07 | 中国人民解放军国防科技大学 | 一种基于概率统计的低信噪比条件下目标检测方法 |
| CN108717570A (zh) * | 2018-05-23 | 2018-10-30 | 电子科技大学 | 一种脉冲神经网络参数量化方法 |
| CN108872988A (zh) * | 2018-07-12 | 2018-11-23 | 南京航空航天大学 | 一种基于卷积神经网络的逆合成孔径雷达成像方法 |
| CN109102000A (zh) * | 2018-09-05 | 2018-12-28 | 杭州电子科技大学 | 一种基于分层特征提取与多层脉冲神经网络的图像识别方法 |
| CN109782284A (zh) * | 2019-03-15 | 2019-05-21 | 中国科学院电子学研究所 | 一种基于脉冲编码实现长基线同步干涉sar的方法 |
| CN110261851A (zh) * | 2019-03-15 | 2019-09-20 | 中国科学院电子学研究所 | 一种基于脉冲编码实现全极化sar的方法 |
| CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
| CN110472483A (zh) * | 2019-07-02 | 2019-11-19 | 五邑大学 | 一种面向sar图像的小样本语义特征增强的方法及装置 |
| CN111666801A (zh) * | 2020-01-17 | 2020-09-15 | 电子科技大学 | 一种大场景sar图像舰船目标检测方法 |
| CN111858989A (zh) * | 2020-06-09 | 2020-10-30 | 西安工程大学 | 一种基于注意力机制的脉冲卷积神经网络的图像分类方法 |
| CN111965643A (zh) * | 2020-07-10 | 2020-11-20 | 西安电子科技大学 | 一种斜视sar bp图像中运动舰船目标重聚焦方法 |
| CN112346058A (zh) * | 2020-10-30 | 2021-02-09 | 西安电子科技大学 | 基于连续脉冲编码提升高速sar平台信噪比的成像方法 |
| CN112308019A (zh) * | 2020-11-19 | 2021-02-02 | 中国人民解放军国防科技大学 | 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 |
| CN112597815A (zh) * | 2020-12-07 | 2021-04-02 | 西北工业大学 | 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113111758A (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113111758B (zh) | 一种基于脉冲神经网络的sar图像舰船目标识别方法 | |
| CN112052886B (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
| Bilinski et al. | Dense decoder shortcut connections for single-pass semantic segmentation | |
| CN108776779B (zh) | 基于卷积循环网络的sar序列图像目标识别方法 | |
| CN111582483B (zh) | 基于空间和通道联合注意力机制的无监督学习光流估计方法 | |
| CN110659591B (zh) | 基于孪生网络的sar图像变化检测方法 | |
| Teow | Understanding convolutional neural networks using a minimal model for handwritten digit recognition | |
| CN108564025A (zh) | 一种基于可变形卷积神经网络的红外图像物体识别方法 | |
| CN116052016A (zh) | 基于深度学习的遥感图像云和云影的精细分割检测方法 | |
| CN104392228A (zh) | 基于条件随机场模型的无人机图像目标类检测方法 | |
| CN108537121B (zh) | 气象环境参数与图像信息融合的自适应遥感场景分类方法 | |
| CN114019467B (zh) | 一种基于MobileNet模型迁移学习的雷达信号识别与定位方法 | |
| CN113822352B (zh) | 基于多特征融合的红外弱小目标检测方法 | |
| CN108932455B (zh) | 遥感图像场景识别方法及装置 | |
| CN105405132A (zh) | 基于视觉反差和信息熵的sar图像人造目标检测方法 | |
| CN116258757A (zh) | 一种基于多尺度交叉注意力的单目图像深度估计方法 | |
| CN104751111A (zh) | 识别视频中人体行为的方法和系统 | |
| CN105405138A (zh) | 基于显著性检测的水面目标跟踪方法 | |
| CN117079098A (zh) | 一种基于位置编码的空间小目标检测方法 | |
| Teow | A minimal convolutional neural network for handwritten digit recognition | |
| CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
| CN110222568B (zh) | 一种基于时空图的跨视角步态识别方法 | |
| CN116863347A (zh) | 一种高效率和精度的遥感图像语义分割方法及应用 | |
| Asiyabi et al. | Complex-valued end-to-end deep network with coherency preservation for complex-valued sar data reconstruction and classification | |
| Xu et al. | Extended non-local feature for visual saliency detection in low contrast images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |