CN111931593A - 一种基于深度神经网络和时频图像序列的弱目标检测方法 - Google Patents

一种基于深度神经网络和时频图像序列的弱目标检测方法 Download PDF

Info

Publication number
CN111931593A
CN111931593A CN202010686610.7A CN202010686610A CN111931593A CN 111931593 A CN111931593 A CN 111931593A CN 202010686610 A CN202010686610 A CN 202010686610A CN 111931593 A CN111931593 A CN 111931593A
Authority
CN
China
Prior art keywords
time
neural network
image sequence
pixels
frequency image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010686610.7A
Other languages
English (en)
Other versions
CN111931593B (zh
Inventor
唐文明
陆小辰
于祥祯
杜科
朱炳祺
宋柯
陆钱融
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Radio Equipment Research Institute
Original Assignee
Shanghai Radio Equipment Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Radio Equipment Research Institute filed Critical Shanghai Radio Equipment Research Institute
Priority to CN202010686610.7A priority Critical patent/CN111931593B/zh
Publication of CN111931593A publication Critical patent/CN111931593A/zh
Application granted granted Critical
Publication of CN111931593B publication Critical patent/CN111931593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度神经网络和时频图像序列的弱目标检测方法，包括：获取待检测时频图像序列；利用深度卷积神经网络模型对所述待检测时频图像序列进行卷积特征序列提取，得到卷积特征图序列；利用循环神经网络对所述的卷积特征图序列进行时序特征提取，得到单帧时频特征图；调用区域建议网络对时频特征图进行逐点目标和背景判别，以及目标边框调整。

Description

一种基于深度神经网络和时频图像序列的弱目标检测方法
技术领域
本发明属于模式识别技术领域，尤其涉及一种基于深度神经网络和时频图像序列的弱目标检测方法。
背景技术
受噪声海杂波等因素影响，雷达在探测低RCS目标时，低信噪比导致目标可能完全淹没在背景噪声或杂波中。为了保证一定的检测概率，必须设置低的门限值，而低的门限值会导致虚警概率显著増加。因此，传统恒虚警目标检测算法受到了限制。
深度神经网络为目标检测带来了新的思路，其依靠深层次网络带来的强大特征表达能力，将原始输入数据的低层次特征抽象为高层次特征，从而更有利于目标检测或识别等任务。在图像特征提取领域，区域建议网络(Region Proposal Network，RPN)基于卷积神经网络，将目标检测任务转换为一种端到端的训练-推理方式。另一方面，循环神经网络(Recurrent Neural Network，RNN)，特别是长短时记忆(Long Short TimeMemory，LSTM)网络，已被广泛地应用于文本、语音等序列数据特征提取与识别领域。但是，在雷达探测领域，深度学习技术还没有得到普遍地应用。
发明内容
本发明的技术解决问题：克服现有技术的不足，提供一种基于深度神经网络和时频图像序列的弱目标检测方法，克服了传统目标检测算法需要预先拟合背景噪声分布的缺点，增强了目标检测算法的自适应能力和鲁棒性，在减少虚警的同时提高了检测精度。
为了实现以上目的，本发明是通过以下技术方案实现的：
一种基于深度神经网络和时频图像序列的弱目标检测方法，其特征在于，包括：
获取待检测时频图像序列；
利用深度卷积神经网络模型对所述待检测时频图像序列进行卷积特征序列提取，得到卷积特征图序列；
利用循环神经网络对所述的卷积特征图序列进行时序特征提取，得到单帧时频特征图；
调用区域建议网络对时频特征图进行逐点目标和背景判别，以及目标边框调整。
还包括构建网络结构，输出卷积特征图。
所述的深度卷积神经网络模型对每一帧时频图像进行处理，对应输出每一层特征图。
通过循环神经网络对每帧时频图像经卷积神经网络提取得到的多个特征的序列，进行时序特征提取，得到包含目标和噪声的时频特征图。
在时频特征图每个像素点对应的原始输入图像像素点，周围产生3种尺度和3种比例的基准框，包括2×2个像素、1×3个像素、3×1个像素、3×3个像素、2×4个像素、4×2个像素、4×4个像素、3×5个像素、5×3个像素，从而产生56×2×9个基准框。
区域建议网络对上述56×2×9个基准框逐个进行判别，对得分高的基准框进行边框调整，从而得到目标的隶属概率及其准确位置。
卷积神经网络中池化层采用步长为2的最大值池化；激活函数层均采用修正线性单元函数；
循环神经网络中输入门、输出门、遗忘门激活函数均采用sigmoid函数，存储单元激活函数采用tanh函数；
卷积核与权重采用随机初始化方式；
分类输出层采用Softmax分类方法。
本发明与现有技术相比，具有以下优点：
本发明公开了一种基于深度神经网络和时频图像序列的弱目标检测方法，应用于雷达远距离目标探测，克服了传统恒虚警检测算法需要预先拟合背景噪声分布的缺点，增强了目标检测算法的自适应能力和鲁棒性，在减少虚警的同时提高了检测精度。
附图说明
图1为本发明一种基于深度神经网络和时频图像序列的弱目标检测方法的流程图；
图2为本发明实施例中一种基于深度神经网络和时频图像序列的弱目标检测方法的流程框图；
图3a、3b是本发明实施例中一种基于深度神经网络和时频图像序列的弱目标检测方法在仿真图像上的检测结果示意图；
图4a、4b是本发明实施例中一种基于深度神经网络和时频图像序列的弱目标检测方法在仿真数据上的检测结果对比示意图。
具体实施方式
以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。
如图1、2所示，一种基于深度神经网络和时频图像序列的弱目标检测方法，包括：
获取待检测时频图像序列；
利用深度卷积神经网络模型对所述待检测时频图像序列进行卷积特征序列提取，得到卷积特征图序列；
利用循环神经网络对所述的卷积特征图序列进行时序特征提取，得到单帧时频特征图；
调用区域建议网络对时频特征图进行逐点目标/背景判别，和目标边框调整。
进一步地，上述基于深度神经网络和时频图像序列的弱目标检测方法还包括构建网络结构，输出卷积特征图。
所述的深度卷积神经网络模型对每一帧时频图像进行处理，对应输出每一层特征图。
通过循环神经网络对每帧时频图像经卷积神经网络提取得到的多个特征的序列，进行时序特征提取，得到包含目标和噪声的时频特征图。
在时频特征图每个像素点对应的原始输入图像像素点，周围产生3种尺度和3种比例的基准框，包括2×2个像素、1×3个像素、3×1个像素、3×3个像素、2×4个像素、4×2个像素、4×4个像素、3×5个像素、5×3个像素，从而产生56×2×9个基准框。
区域建议网络对上述56×2×9个基准框逐个进行判别，对得分高的基准框进行边框调整，从而得到目标的隶属概率及其准确位置。
卷积神经网络中池化层采用步长为2的最大值池化；激活函数层均采用修正线性单元函数；
循环神经网络中输入门、输出门、遗忘门激活函数均采用sigmoid函数，存储单元激活函数采用tanh函数；
卷积核与权重采用随机初始化方式；
分类输出层采用Softmax分类方法。
本发明对弱目标时频图像进行了仿真，参数设置如下，载频为10.8GHz，重频为1KHz，带宽5MHz，脉冲积累个数32，距离门个数为5000，脉宽2μs，采样率为40MHz，每张图像包含目标个数为1～10个，目标距离在115km～145km处随机变化，目标速度在-20m/s～20m/s范围内随机变化，目标信噪比在4～13dB范围内随机变化。取图像大小为包含目标的896个距离门，构成32×896个像素大小的5帧10时频图像，共生成1000个图像序列样本，取900个样本作训练，其余用作测试。
计算步骤如下：
(1)构建深度卷积神经网络识别模型，输出卷积特征图。
(2)卷积层计算如下：
Figure BDA0002587797110000051
Figure BDA0002587797110000061
表示第l层的第j个输出特征图，
Figure BDA0002587797110000062
表示第l-1层的第i个输入特征图，
Figure BDA0002587797110000063
表示第l层第i个输入与第j个输出特征图的连接权重，
Figure BDA0002587797110000064
表示第l层的第j个输出特征图的偏置项。激活函数，采用修正线性单元(Rectified Linear Unit，ReLu)函数f(x)＝max(0,x)。池化层采用步长为2的最大值池化方式；卷积核与偏置等参数采用随机初始化方式。
(3)构建长短时记忆循环神经网络识别模型，设置网络模型结构输入层-门控单元-隐藏层-输出层，其中门控单元包括输入门、输出门、遗忘门和存储单元四个控制器，计算如下：
it＝sigmoid(Wih·ht-1+Wix·xt+bi)
ot＝sigmoid(Woh·ht-1+Wox·xt+bo)
ft＝sigmoid(Wfh·ht-1+Wfx·xt+bf)
gt＝tanh(Wgh·ht-1+Wgx·xt+bg)
其中，Wih,Woh,Wfh,Wgh,Wix,Wox,Wfx,Wgx分别表示权重，bi,bo,bf,bg表示偏置，权重与偏置等参数采用随机初始化方式。则隐藏层计算如下：
ht＝ottanh(ft.×Ct-1+it.×gt)
其中，Ct-1表示上一时刻的单元状态，ht为隐藏层输出。
(4)构建区域建议网络，对循环神经网络的输出特征图进行特征提取，并输出目标得分及边框调整参数，在时频特征图每个像素点对应的原始输入图像像素点，周围产生3种尺度和3种比例的基准框，包括2×2个像素、1×3个像素、3×1个像素、3×3个像素、2×4个像素、4×2个像素、4×4个像素、3×5个像素、5×3个像素，从而产生56×2×9个基准框，记录每个基准框的起始横纵坐标和宽高。其中，分类层采用Softmax函数，输出目标隶属度概率，边框回归层输出边框调整参数，并结合基准框坐标和宽高，通过下式转换为目标边框，
x＝tx·wa+xa
y＝ty·ha+ya
Figure BDA0002587797110000071
Figure BDA0002587797110000072
其中，x,y,w,h分别表示输出的目标边框起始横纵坐标和宽高，tx,ty,tw,th分别表示边框回归层输出的边框调整参数，xa,ya,wa,ha表示基准框的起始横纵坐标和宽高。
(5)由目标得分估计和边框起始横纵坐标和宽高，最后得到检测结果。
图3a、3b为两组典型的时频图像序列第一帧的检测结果。虽然由于目标信噪比低，在时频图像上并不能显著的观测到，但使用本发明提供的方法能很好的检测到。图4a、4b为本发明提供的方法在100个时频图像序列样本上统计得到的检测率与虚警率的变化关系，以及与传统恒虚警检测方法对比的示意图。其中，恒虚警检测方法的检测率和虚警率由经验公式给出。从图4a中可以看出，本发明提供的方法得到相同检测概率的信噪比比恒虚警方法公式的计算结果低1-3dB，较低的信噪比意味着对弱目标探测能力的提高。从图4b中可以看出，在相同虚警概率下，本项目提出的方法检测概率比CFAR方法提高了5％～15％左右。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (7)

1.一种基于深度神经网络和时频图像序列的弱目标检测方法，其特征在于，包括：
获取待检测时频图像序列；
利用深度卷积神经网络模型对所述待检测时频图像序列进行卷积特征序列提取，得到卷积特征图序列；
利用循环神经网络对所述的卷积特征图序列进行时序特征提取，得到单帧时频特征图；
调用区域建议网络对时频特征图进行逐点目标和背景判别，以及目标边框调整。
2.根据权利要求1所述的基于深度神经网络和时频图像序列的弱目标检测方法，其特征在于，还包括构建网络结构，输出卷积特征图。
3.根据权利要求2所述的基于深度神经网络和时频图像序列的弱目标检测方法，其特征在于，所述的深度卷积神经网络模型对每一帧时频图像进行处理，对应输出每一层特征图。
4.根据权利要求1所述的基于深度神经网络和时频图像序列的弱目标检测方法，其特征在于，通过循环神经网络对每帧时频图像经卷积神经网络提取得到的多个特征的序列，进行时序特征提取，得到包含目标和噪声的时频特征图。
5.根据权利要求1所述的基于深度神经网络和时频图像序列的弱目标检测方法，其特征在于，
在时频特征图每个像素点对应的原始输入图像像素点，周围产生3种尺度和3种比例的基准框，包括2×2个像素、1×3个像素、3×1个像素、3×3个像素、2×4个像素、4×2个像素、4×4个像素、3×5个像素、5×3个像素，从而产生56×2×9个基准框。
6.根据权利要求5所述的基于深度神经网络和时频图像序列的弱目标检测方法，其特征在于，
所述区域建议网络对56×2×9个基准框逐个进行判别，对得分高的基准框进行边框调整，从而得到目标的隶属概率及其准确位置。
7.根据权利要求6所述的基于深度神经网络和时频图像序列的弱目标检测方法，其特征在于，
所述的深度卷积神经网络模型中池化层采用步长为2的最大值池化；激活函数层均采用修正线性单元函数；
循环神经网络中输入门、输出门、遗忘门激活函数均采用sigmoid函数，存储单元激活函数采用tanh函数；
卷积核与权重采用随机初始化方式；
分类输出层采用Softmax分类方法。
CN202010686610.7A 2020-07-16 2020-07-16 一种基于深度神经网络和时频图像序列的弱目标检测方法 Active CN111931593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010686610.7A CN111931593B (zh) 2020-07-16 2020-07-16 一种基于深度神经网络和时频图像序列的弱目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010686610.7A CN111931593B (zh) 2020-07-16 2020-07-16 一种基于深度神经网络和时频图像序列的弱目标检测方法

Publications (2)

Publication Number Publication Date
CN111931593A true CN111931593A (zh) 2020-11-13
CN111931593B CN111931593B (zh) 2024-04-26

Family

ID=73313140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010686610.7A Active CN111931593B (zh) 2020-07-16 2020-07-16 一种基于深度神经网络和时频图像序列的弱目标检测方法

Country Status (1)

Country Link
CN (1) CN111931593B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686222A (zh) * 2021-03-12 2021-04-20 耕宇牧星(北京)空间科技有限公司 星载可见光探测器对船舶目标检测的方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106685478A (zh) * 2016-12-19 2017-05-17 电子科技大学 基于信号时频图像信息提取的跳频信号参数估计方法
CN106845499A (zh) * 2017-01-19 2017-06-13 清华大学 一种基于自然语言语义的图像目标检测方法
CN107808383A (zh) * 2017-10-13 2018-03-16 上海无线电设备研究所 一种强海杂波下sar图像目标快速检测方法
CN108776779A (zh) * 2018-05-25 2018-11-09 西安电子科技大学 基于卷积循环网络的sar序列图像目标识别方法
DE102018129846A1 (de) * 2017-11-29 2019-05-29 GM Global Technology Operations LLC Systeme und Verfahren zum Erkennen, Klassifizieren und Geolokalisieren von Verkehrsobjekten
CN110097003A (zh) * 2019-04-29 2019-08-06 中南民族大学 基于神经网络的课堂考勤方法、设备、存储介质及装置
CN110334661A (zh) * 2019-07-09 2019-10-15 国网江苏省电力有限公司扬州供电分公司 基于深度学习的红外输变电异常发热点目标检测方法
CN110363151A (zh) * 2019-07-16 2019-10-22 中国人民解放军海军航空大学 基于双通道卷积神经网络虚警可控的雷达目标检测方法
CN110488227A (zh) * 2019-09-20 2019-11-22 上海无线电设备研究所 基于认知雷达波形设计的复杂环境下无源干扰抑制方法
CN111222589A (zh) * 2018-11-27 2020-06-02 中国移动通信集团辽宁有限公司 图像文本识别方法、装置、设备及计算机存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106685478A (zh) * 2016-12-19 2017-05-17 电子科技大学 基于信号时频图像信息提取的跳频信号参数估计方法
CN106845499A (zh) * 2017-01-19 2017-06-13 清华大学 一种基于自然语言语义的图像目标检测方法
CN107808383A (zh) * 2017-10-13 2018-03-16 上海无线电设备研究所 一种强海杂波下sar图像目标快速检测方法
DE102018129846A1 (de) * 2017-11-29 2019-05-29 GM Global Technology Operations LLC Systeme und Verfahren zum Erkennen, Klassifizieren und Geolokalisieren von Verkehrsobjekten
CN108776779A (zh) * 2018-05-25 2018-11-09 西安电子科技大学 基于卷积循环网络的sar序列图像目标识别方法
CN111222589A (zh) * 2018-11-27 2020-06-02 中国移动通信集团辽宁有限公司 图像文本识别方法、装置、设备及计算机存储介质
CN110097003A (zh) * 2019-04-29 2019-08-06 中南民族大学 基于神经网络的课堂考勤方法、设备、存储介质及装置
CN110334661A (zh) * 2019-07-09 2019-10-15 国网江苏省电力有限公司扬州供电分公司 基于深度学习的红外输变电异常发热点目标检测方法
CN110363151A (zh) * 2019-07-16 2019-10-22 中国人民解放军海军航空大学 基于双通道卷积神经网络虚警可控的雷达目标检测方法
CN110488227A (zh) * 2019-09-20 2019-11-22 上海无线电设备研究所 基于认知雷达波形设计的复杂环境下无源干扰抑制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨宏志等: "基于改进Faster R-CNN的自然场景文字检测算法", 《重庆邮电大学学报(自然科学版)》, no. 06, 15 December 2019 (2019-12-15), pages 138 - 146 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686222A (zh) * 2021-03-12 2021-04-20 耕宇牧星(北京)空间科技有限公司 星载可见光探测器对船舶目标检测的方法和系统

Also Published As

Publication number Publication date
CN111931593B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN108346159B (zh) 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN110348376B (zh) 一种基于神经网络的行人实时检测方法
US20210398294A1 (en) Video target tracking method and apparatus, computer device, and storage medium
US20200285896A1 (en) Method for person re-identification based on deep model with multi-loss fusion training strategy
CN107229918B (zh) 一种基于全卷积神经网络的sar图像目标检测方法
CN112506342A (zh) 基于动态手势识别的人机交互方法及系统
CN107563411B (zh) 基于深度学习的在线sar目标检测方法
CN110569792A (zh) 一种基于卷积神经网络的自动驾驶汽车前方物体检测方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
Jing et al. AENN: A generative adversarial neural network for weather radar echo extrapolation
CN111046787A (zh) 一种基于改进YOLO v3模型的行人检测方法
CN110378191B (zh) 基于毫米波传感器的行人和车辆分类方法
CN111985385A (zh) 一种行为检测方法、装置及设备
CN111192294B (zh) 一种基于目标检测的目标跟踪方法及系统
CN113822352B (zh) 基于多特征融合的红外弱小目标检测方法
CN110135446B (zh) 文本检测方法及计算机存储介质
CN109785366A (zh) 一种针对遮挡的相关滤波目标跟踪方法
CN110569971B (zh) 一种基于LeakyRelu激活函数的卷积神经网络单目标识别方法
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN113486961A (zh) 基于深度学习的低信噪比下雷达rd图像目标检测方法、系统及计算机设备
CN111738114A (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN114495006A (zh) 遗留物体的检测方法、装置及存储介质
CN111931593B (zh) 一种基于深度神经网络和时频图像序列的弱目标检测方法
CN114241314A (zh) 一种基于CenterNet的遥感影像建筑物变化检测模型及算法
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant