CN113919398B - 一种基于深度学习的非视域目标信号辨识方法 - Google Patents
一种基于深度学习的非视域目标信号辨识方法 Download PDFInfo
- Publication number
- CN113919398B CN113919398B CN202111207789.4A CN202111207789A CN113919398B CN 113919398 B CN113919398 B CN 113919398B CN 202111207789 A CN202111207789 A CN 202111207789A CN 113919398 B CN113919398 B CN 113919398B
- Authority
- CN
- China
- Prior art keywords
- deep learning
- photon
- target signal
- target
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供了一种基于深度学习的非视域目标信号辨识方法。针对非视域目标探测时噪声信号过大、目标个数未知而对目标信号的辨识造成困难的问题,将多帧光子飞行时间统计图拼接成二维图像,再构建卷积神经网络并进行训练,对目标信号进行辨识。本发明与现有技术的有益效果在于:本发明方法利用深度学习实现目标信号特征的自动选择;无需提前确定目标个数,也能辨识出每个目标的信号;即使存在持续或间隙性的噪声干扰,也能正确辨识目标信号,且辨识速度几乎不受目标个数影响;相比于概率密度法,计算量更小,速度更快,有利于后续跟踪处理。
Description
技术领域
本发明属于光电探测领域,具体涉及一种基于深度学习的非视域目标信号辨识方法。
背景技术
非视域目标探测技术,即对隐藏于遮挡物后,相机无法直接探测的目标进行成像、重构、定位或跟踪,在抢险、救援和自动驾驶等领域拥有广阔的应用前景,已成为国内外研究的热点。传统的光学探测手段,都需要目标在探测器的视线范围内才能进行成像和跟踪。一旦目标与探测器之间存在遮挡物,比如人在拐角或墙后、飞机在云层中等情况,传统光学手段就无法探测。
该技术通过主动发射激光脉冲并测量散射到目标上的回波,来获取主动发射光子的飞行时间,并得出光子的飞行距离,从而进行三维重建或定位跟踪。由于目标被遮挡,激光只能发射到目标附近的中介面,并散射至目标。在目标将激光再次散射回中介面之后,再通过光学镜头收集回波光子,来实现对目标的探测。由于激光脉冲从发射到接收经过了多次散射,回波能量衰减可达到十几个数量级。
由于回波能量的衰减,在探测器接收到的回波信号中,目标信号往往并不一定具备最大能量,也就是说,存在强度大于目标信号的噪声,从而对目标信号的辨识以及目标个数的确认造成严重影响,所以必须实现在噪声的干扰下,依旧可以正确辨识多目标信号且稳定定位的功能。
在目前的文献中,对目标信号的辨识大多使用阈值法。比如,直接选用信号中超过一定阈值的部分作为目标信号。显然,这种方法容易受到较大噪声的干扰,而且在多目标信号辨识的时候,无法保证辨识的目标个数正确。也有文献采用概率密度法结合所有探测器的信号形成概率密度函数,认为概率最大处是目标位置。但是这种方法计算量大,且容易受到随机强噪声的影响,使计算出的目标位置产生较大偏移;同时,此方法在多目标信号辨识中需要提前确定目标个数。总而言之,现有的方法尚未完全解决强噪声的影响,且无法在未知目标数的前提下进行多目标信号辨识,从而对非视域多目标探测技术的实用化造成了障碍。
发明内容
本发明要解决的技术问题为:针对非视域目标探测中存在强噪声而对多目标信号的辨识造成影响的问题,提供一种基于深度学习的目标信号辨识方法。
本发明的采用的技术方案为:本发明一种基于深度学习的非视域目标信号辨识方法,将多帧光子飞行时间统计图拼接成二维图像,再构建卷积神经网络并进行训练,对目标信号进行辨识,具体实现步骤为:
步骤1、对光子飞行时间统计图进行预处理,以每个探测器接收到中介面回波信号的时间来修正光子飞行时间统计图中的时间零点,并抑制中介面回波和去噪;
步骤2、将多帧光子飞行时间统计图拼接成二维图像,并标记图像中的目标信号作为标签,得到训练数据集和验证数据集;
步骤3、构建深度学习模型,利用上述训练数据集和验证数据集训练该深度学习模型,得到训练后的深度学习模型;
步骤4、基于上述训练后的深度学习模型,对目标回波信号进行辨识与提取;
步骤5、用上述得到的目标信号点进行后续定位处理。
进一步地,所述步骤1中对光子飞行时间统计图进行预处理的实现方法为:以每个探测器接收到中介面回波信号的时间来修正光子飞行时间统计图中的时间零点,并抑制中介面回波和去噪。
进一步地,所述步骤2中将多帧光子飞行时间统计图拼接成二维图像的实现方法为:光子飞行时间统计图每隔一段时间统计一次探测器在该时间段内接收到的光子数,共统计了M次,所以单帧光子飞行时间统计图长度为M,再将N帧长度为M的光子飞行时间统计图拼接成N×M的二维图像。
进一步地,所述步骤3中构建的深度学习模型可用基于U-Net的循环残差卷积神经网络模型来实现。
本发明与现有技术相比的有益效果在于:
(1)本发明可以在未知目标数目的前提下,对多目标信号进行辨识;
(2)即使存在强度大于目标信号的噪声,也不影响目标信号的正确辨识;
(3)由于直接确定了光子的飞行距离,所以可直接使用数学方法计算出目标位置,减小了计算量;
(4)目标信号的辨识速度不受目标个数的影响;
(5)在运动多目标信号辨识中,基于深度学习的结果,有利于后续跟踪处理。
附图说明
图1是实施例中采集非视域目标探测原始光子飞行时间统计图;
图2是实施例中各路原始光子飞行时间统计图以中介面回波时间为零点的中介面回波抑制信号图;
图3是实施例中中介面回波抑制信号图经过滤波之后的噪声抑制信号图;
图4是实施例中通过拼接得到的信号图像及其标签;
图5是实施例中基于U-Net的循环残差卷积神经网络模型结构图;
图6是实施例中由深度学习模型提取目标信号的结果示意图;
图7是实施例中基于目标信号提取结果绘制的目标位置示意图。
具体实施方式
下面结合具体实施例对本发明提供的技术方案进行详述,以下的实施例仅限于解释本发明,但不作为本发明的限制,发明的保护范围应包括权利要求的全部内容,凡通过基本相同的方法达到相同效果的类似实施方式,均落入本发明的保护范围。通过以下实施例,该领域的技术人员即可以实现本发明权利要求的全部内容。
本实施例以某次非视域目标探测实验中采集到的四路原始光子飞行时间统计图为例,如图1所示。可见,各统计图中都存在一个很高的峰,该峰由中介面回波产生,利用非视域目标探测时中介面回波的抑制方法将其去除后,得到如图2所示的信号。然而,目标的回波信号可能淹没在噪声中,因此目标回波信号的辨识被阻碍。本发明基于深度学习的目标信号辨识方法的具体实施步骤如下。
步骤1、对光子飞行时间统计图进行预处理,以每个探测器接收到中介面回波信号的时间来修正光子飞行时间统计图中的时间零点,并抑制中介面回波和去噪。
本步骤以第一路信号为例,信号总长度为25ns,每0.01ns统计一次探测器在0.01ns内接收到的光子数,共统计了2500次。首先找到接收到光子数最多的时间点,也就是信号中最大值的位置,9.31ns,即第931点。然后使用中介面回波的抑制方法去除最大峰,再将信号往左循环位移931点,使第931点移至0点,最后进行滤波去噪,得到如图3所示的噪声抑制信号图。
步骤2、将多帧光子飞行时间统计图拼接成二维图像,并标记图像中的目标信号作为标签,得到训练数据集和验证数据集。
光子飞行时间统计图每隔一段时间统计一次探测器在该时间段内接收到的光子数,共统计了M次,所以单帧光子飞行时间统计图长度为M,再将N帧长度为M的光子飞行时间统计图拼接成N×M的二维图像。依旧以第一路信号的噪声抑制信号图作例子,每一帧光子飞行时间统计图长度为2500,每10帧光子飞行时间统计图为一组,按照顺序拼接成大小为10×2500的图像,且单独标记出目标信号作为标签,如图4所示。
步骤3、构建深度学习模型,利用上述训练数据集和验证数据集训练该深度学习模型,得到训练后的深度学习模型。
利用步骤2的方法得到大量的原始拼接图像及相对应的标签,并将其分为训练数据集和验证数据集,本实施例中构建了基于U-Net的循环残差卷积神经网络模型,并使用150张拼接图像及其标签作为训练数据集,19张拼接图像及其标签作为验证数据集。然后按照下表1的设置,开始训练,最终得到循环残差卷积神经网络模型,模型结构图如图5所示。
表1基于U-Net的循环残差卷积神经网络的各项设置
本实施例中使用基于U-Net的循环残差卷积神经网络模型,令Inl为第l层循环残差卷积神经网络块的输入,Ol是第l层循环卷积层的输出,其表达式见公式(1):
此外,本实施例中残差路径的实现使用单独的卷积层来调整特征图的数量。最后,原始拼接图像通过循环残差卷积网络后,得到预测图像Y,利用Dice Loss损失函数(见公式(4)),比较其与标签X的误差,并借助于此来调整更新网络中的权重。
本实施例中使用的是Lookahead优化器,其包括慢权重φ和快权重θ,其中θ通过Adam来更新(见公式(5)):
其中,gt是t时刻的梯度,近似为损失函数对θ的梯度,mt和vt分别是对梯度的一阶和二阶矩估计,和/>分别是对mt、vt的修正,β1、β2分别为一阶矩和二阶矩的指数衰减率,α为学习率,ε是常数。每对快权重θ进行k次训练迭代后,会在权重空间的θ-φ方向上使用线性插值方式来更新慢权重φ(见公式(6)),再将更新后的慢权重φ赋值给快权重θ继续训练,训练结束后,慢权重φ作为最终的模型训练输出权重。
φ=α(θ-φ)+φ (6)
步骤4、基于上述训练后的深度学习模型,对目标回波信号进行辨识与提取。
将待探测的信号拼接成图像,本实施例以第一路信号最近10帧的拼接图像为例,带入步骤3训练得到的循环残差卷积神经网络模型,得到预测结果,从预测结果最后一行提取当前帧的目标信号位置,如图6所示。
步骤5、用上述得到的目标信号点进行后续定位处理。
由步骤4提取的同一目标信号在各路信号的横轴坐标,计算出不同探测点接收到的光子在探测区域的飞行距离:光子飞行距离=横轴坐标*Δt*c,其中Δt为探测器接收光子数目的时间间隔,c为光速。本实施例中,以第一组目标信号为例,四路目标信号的横轴坐标依次为757、804、859、641,算出光子飞行距离为2.271m、2.412m、2.577m、1.923m。以此为各自的二倍长轴,各探测点与激光点为各自的两个焦点作椭球。本实施例中,各探测点与激光点距离地面高度一致,得到如下椭球方程:
取激光点高度作为目标定位的截面,求解上述椭球方程得到的交点即为探测到的目标点位置,由于实验中误差在所难免,对上述各路信号所求得的交点求均值,即为最终探测到的目标点位置。本实施例中6个目标的最终探测位置分别为(1.09m,0.61m)、(0.33m,1.44m)、(0.58m,1.49m)、(1.53m,0.99m)、(1.12m,1.75m)、(1.6m,1.72m),如图7所示。
本发明未详细阐述部分属于本领域技术人员的公知技术。
Claims (4)
1.一种基于深度学习的非视域目标信号辨识方法,其特征在于实现步骤如下:
步骤1、对光子飞行时间统计图进行预处理;
步骤2、将多帧光子飞行时间统计图拼接成二维图像,并标记图像中的目标信号作为标签,得到训练数据集和验证数据集;
步骤3、构建深度学习模型,利用上述训练数据集和验证数据集训练该深度学习模型,得到训练后的深度学习模型;
步骤4、基于上述训练后的深度学习模型,对目标回波信号进行辨识与提取;
步骤5、用上述得到的目标信号点进行后续定位处理。
2.根据权利要求1所述的一种基于深度学习的非视域目标信号辨识方法,其特征在于:所述步骤1中对光子飞行时间统计图进行预处理的实现方法为:以每个探测器接收到中介面回波信号的时间来修正光子飞行时间统计图中的时间零点,并抑制中介面回波和去噪。
3.根据权利要求1所述的一种基于深度学习的非视域目标信号辨识方法,其特征在于:所述步骤2中将多帧光子飞行时间统计图拼接成二维图像的实现方法为:光子飞行时间统计图每隔一段时间统计一次探测器在该时间段内接收到的光子数,共统计了M次,所以单帧光子飞行时间统计图长度为M,再将N帧长度为M的光子飞行时间统计图拼接成N×M的二维图像。
4.根据权利要求1所述的一种基于深度学习的非视域目标信号辨识方法,其特征在于:所述步骤3中构建的深度学习模型可用基于U-Net的循环残差卷积神经网络模型来实现。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111207789.4A CN113919398B (zh) | 2021-10-18 | 2021-10-18 | 一种基于深度学习的非视域目标信号辨识方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111207789.4A CN113919398B (zh) | 2021-10-18 | 2021-10-18 | 一种基于深度学习的非视域目标信号辨识方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113919398A CN113919398A (zh) | 2022-01-11 |
CN113919398B true CN113919398B (zh) | 2023-06-16 |
Family
ID=79240848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111207789.4A Active CN113919398B (zh) | 2021-10-18 | 2021-10-18 | 一种基于深度学习的非视域目标信号辨识方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113919398B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115993611B (zh) * | 2023-03-22 | 2023-06-20 | 清华大学 | 一种基于瞬态信号超分辨网络的非视域成像方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107888295A (zh) * | 2017-12-29 | 2018-04-06 | 江苏世杰光电有限公司 | 一种基于光子计数的弱光通信接收机及通信方法 |
CN108229404A (zh) * | 2018-01-09 | 2018-06-29 | 东南大学 | 一种基于深度学习的雷达回波信号目标识别方法 |
CN109697476A (zh) * | 2019-02-01 | 2019-04-30 | 重庆大学 | 一种基于深度学习的x射线光子计数探测器一致性校准方法 |
CN112444821A (zh) * | 2020-11-11 | 2021-03-05 | 中国科学技术大学 | 远距离非视域成像方法、装置、设备及介质 |
CN112489072A (zh) * | 2020-11-11 | 2021-03-12 | 广西大学 | 一种车载视频感知信息传输负载优化方法及装置 |
CN113106542A (zh) * | 2021-04-06 | 2021-07-13 | 中国科学院苏州纳米技术与纳米仿生研究所 | 一种大面积铝单晶薄膜及其制备方法与应用 |
CN113204010A (zh) * | 2021-03-15 | 2021-08-03 | 锋睿领创(珠海)科技有限公司 | 非视域目标检测方法、装置和存储介质 |
CN113393548A (zh) * | 2021-05-25 | 2021-09-14 | 中国科学院西安光学精密机械研究所 | 基于深度残差神经网络的非视域成像方法 |
CN113469110A (zh) * | 2021-07-15 | 2021-10-01 | 北京邮电大学 | 一种基于深度学习的uwb非视距信号识别方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9123114B2 (en) * | 2007-12-06 | 2015-09-01 | The United States Of America As Represented By The Secretary Of The Army | System and processor implemented method for improved image quality and enhancement based on quantum properties |
US10416293B2 (en) * | 2016-12-12 | 2019-09-17 | Sensl Technologies Ltd. | Histogram readout method and circuit for determining the time of flight of a photon |
FR3100892B1 (fr) * | 2019-09-13 | 2022-06-10 | Commissariat Energie Atomique | Méthode d’estimation de distance dans un réseau lpwa et méthode d’estimation de position associée |
US11170549B2 (en) * | 2020-04-09 | 2021-11-09 | Wisconsin Alumni Research Foundation | Systems, methods, and media for high dynamic range quanta burst imaging |
-
2021
- 2021-10-18 CN CN202111207789.4A patent/CN113919398B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107888295A (zh) * | 2017-12-29 | 2018-04-06 | 江苏世杰光电有限公司 | 一种基于光子计数的弱光通信接收机及通信方法 |
CN108229404A (zh) * | 2018-01-09 | 2018-06-29 | 东南大学 | 一种基于深度学习的雷达回波信号目标识别方法 |
CN109697476A (zh) * | 2019-02-01 | 2019-04-30 | 重庆大学 | 一种基于深度学习的x射线光子计数探测器一致性校准方法 |
CN112444821A (zh) * | 2020-11-11 | 2021-03-05 | 中国科学技术大学 | 远距离非视域成像方法、装置、设备及介质 |
CN112489072A (zh) * | 2020-11-11 | 2021-03-12 | 广西大学 | 一种车载视频感知信息传输负载优化方法及装置 |
CN113204010A (zh) * | 2021-03-15 | 2021-08-03 | 锋睿领创(珠海)科技有限公司 | 非视域目标检测方法、装置和存储介质 |
CN113106542A (zh) * | 2021-04-06 | 2021-07-13 | 中国科学院苏州纳米技术与纳米仿生研究所 | 一种大面积铝单晶薄膜及其制备方法与应用 |
CN113393548A (zh) * | 2021-05-25 | 2021-09-14 | 中国科学院西安光学精密机械研究所 | 基于深度残差神经网络的非视域成像方法 |
CN113469110A (zh) * | 2021-07-15 | 2021-10-01 | 北京邮电大学 | 一种基于深度学习的uwb非视距信号识别方法 |
Non-Patent Citations (1)
Title |
---|
Tailin Li 等.Non-line-of-sight fast tracking in a corridor.Optics Express .2021,第29卷(第25期),41568-41581. * |
Also Published As
Publication number | Publication date |
---|---|
CN113919398A (zh) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008292449A (ja) | 水中で対象物を検知し分類する自動目標識別システム | |
CN108304781B (zh) | 一种面阵盖革apd激光成像雷达图像预处理方法 | |
EP3612855A1 (en) | Ladar range estimate with range rate compensation | |
CN109597065B (zh) | 一种用于穿墙雷达检测的虚警抑制方法、装置 | |
CN106469313A (zh) | 一种管径自适应时空域滤波的弱小目标检测方法 | |
WO2020237448A1 (zh) | 回波信号处理方法、装置、系统及存储介质 | |
Tolt et al. | Peak detection approaches for time-correlated single-photon counting three-dimensional lidar systems | |
CN111856490B (zh) | 一种非视域目标探测时中介面回波的抑制方法 | |
CN113919398B (zh) | 一种基于深度学习的非视域目标信号辨识方法 | |
CN113253240B (zh) | 一种基于光子探测的空间目标识别分法、存储介质和系统 | |
Wang et al. | A photon-number-based systematic algorithm for range image recovery of GM-APD lidar under few-frames detection | |
CN106570889A (zh) | 一种检测红外视频中弱小目标的方法 | |
Wang et al. | Low-slow-small target tracking using relocalization module | |
ZHU et al. | Dim small targets detection based on horizontal-vertical multi-scale grayscale difference weighted bilateral filtering | |
Macumber et al. | Hierarchical closely spaced object (CSO) resolution for IR sensor surveillance | |
CN115097484A (zh) | 一种基于双Gamma估计的单光子激光雷达透雾成像方法 | |
CN113920336B (zh) | 一种基于多信道匹配的非视域目标信号辨识方法 | |
Neff et al. | Discrimination of multiple ranges per pixel in 3D FLASH LADAR while minimizing the effects of diffraction | |
Zhao et al. | Point target detection in space-based infrared imaging system based on multi-direction filtering fusion | |
CN117372462B (zh) | 一种高精度的水下低光目标边缘检测方法 | |
CN111161345B (zh) | 一种基于谱段特性差异的红外抗干扰方法及装置 | |
Hou et al. | Full Waveform Recovery Method of Moving Target for Photon Counting Lidar | |
Wen et al. | Multiple surface range Estimation in 3D flash imaging ladar via expectation maximization | |
Fang et al. | The Accuracy Analysis of TOF Camera Based on ANOVA | |
CN117590353B (zh) | 一种光子计数激光雷达的弱回波信号快速提取及成像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |