CN115586542A - 基于缩比训练的远距离太赫兹单光子雷达成像方法及装置 - Google Patents
基于缩比训练的远距离太赫兹单光子雷达成像方法及装置 Download PDFInfo
- Publication number
- CN115586542A CN115586542A CN202211503846.8A CN202211503846A CN115586542A CN 115586542 A CN115586542 A CN 115586542A CN 202211503846 A CN202211503846 A CN 202211503846A CN 115586542 A CN115586542 A CN 115586542A
- Authority
- CN
- China
- Prior art keywords
- photon
- scaling
- target
- radar
- terahertz
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 117
- 238000003384 imaging method Methods 0.000 title claims abstract description 109
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000013480 data collection Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 15
- 238000001514 detection method Methods 0.000 description 21
- 239000013598 vector Substances 0.000 description 14
- 238000004590 computer program Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000001161 time-correlated single photon counting Methods 0.000 description 2
- 230000035508 accumulation Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000000098 azimuthal photoelectron diffraction Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本申请涉及一种基于缩比训练的远距离太赫兹单光子雷达成像方法及装置。所述方法包括：通过将以待成像目标的三维尺寸进行预设倍数缩小的模型为目标，由太赫兹单光子雷达和深度相机进行缩比设置后得到缩比训练样本，并利用缩比训练样本对远距离成像网络对其进行训练使其具有根据光子统计时间直方图反演得到深度图像的能力，在实际应用中，只需要将由太赫兹单光子雷达对待成像目标进行探测得到实际光子统计时间直方图输入训练好的远距离成像网络就可以直接得到待成像目标的深度图像。采用本方法能够对远距离的目标进行成像。
Description
技术领域
本申请涉及雷达远距离成像技术领域，特别是涉及一种基于缩比训练的远距离太赫兹单光子雷达成像方法及装置。
背景技术
根据经典的雷达方程可知，在其他条件不变的情况下，雷达的回波功率与作用距离的四次方成反比，这一特性极大地限制了雷达探测的能力。通常情况下，提高雷达的作用距离有两个思路：其一是在发射端提高发射功率，但是如果要将雷达的作用距离提高一个量级（10倍），发射机功率需增加一万倍。而高功率发射机大而笨重，且能耗较高，并受限于物理极限或器件工艺水平，因此其发展具有局限性；其二是提高接收机的灵敏度，应用单光子级的探测器。单光子探测器是一种灵敏度极高的光电探测器，可以探测到单个光子级别的能量信号。其灵敏度比传统的雷达高若干个数量级，在微弱信号的探测、隐身目标的探测及雷达增程等应用上具有重要的意义。
光子的概念起源于1905年爱因斯坦提出的光量子假说，当接收的回波能量微弱至若干个光子，甚至单光子时，回波已经不再是连续光，而是随机离散分布的光子流。在光学频段，对于光子的探测，使用最广泛的是工作于盖革模式下的雪崩光电二极管（GeigerMode-Avalanche Photo Diode, GM-APD）。这一项探测技术与传统的激光雷达技术相结合，在雷达成像和探测领域取得了诸多进展，打开了单光子成像技术的大门。一般情况下，单光子成像探测可以定义为：在低回波强度时，光电转换器件中回波光子产生的平均初始电子数小于10，且噪声引起的虚警远小于信号光子触发的探测概率时的成像探测。
在激光频段的主动三维成像技术中，使用具有皮秒级时间分辨率和极高灵敏度的GM-APD阵列是一直以来的研究热点，它不仅可以满足系统小型化、集成化与高速成像的需求，而且拥有高灵敏度、高精度和高分辨率的优点。激光频段的单光子雷达相关研究起步较早，然而对太赫兹频段单光子雷达的研究尚处于空白状态。
“太赫兹”一词正式出现于1970年，指代频率在0.1~10THz之间的电磁波。太赫兹波处于电子学向光学的过渡频段，太赫兹技术如果能和单光子探测技术融合，和其他频段对比起来，将有许多独特的优势。相比于微波频段，太赫兹频率高、波长短，具有更高的光子能量，更容易实现单光子量级的发射与接收，具有更高的天线增益和角跟踪精度，太赫兹高频段具有显著的近光学传播特性，可利用准光技术对波束进行扩束、准直、聚焦等调控；相对于光学频段，太赫兹波具有更好的穿透性和更宽的波束，能够不受环境光照影响实现全天时工作，并更容易实现对目标的覆盖，且对空间目标高速运动产生的热环境效应与气动光学效应不敏感，可用于空间高速运动目标探测。
但是太赫兹波与可见光相比，单光子能量要低两个数量级，在太赫兹频段具有较高响应灵敏度的材料和器件十分匮乏，因此要实现太赫兹波的高灵敏度探测，技术难度较高。目前的太赫兹单光子探测器尚不能像激光单光子探测器一样工作于常温状态下，需要额外的制冷设备，体积较大，功耗较高，难以实现大规模阵列集成。而且探测灵敏度与量子效率也有待进一步提升。太赫兹频段难以类比激光频段采用探测器阵列或扫描的方式实现单光子成像。因此，需要探索无扫描单通道的太赫兹单光子前视成像方案。
在现有技术中，有一种无扫描单通道激光单光子前视三维成像方案，该文献使用激光源向场景多次发射激光脉冲，利用单通道的盖革模式-雪崩光电二极管（Geiger Mode-Avalanche Photo Diode，GM-APD）探测器和一个飞行时间（Time of Flight，TOF）相机分别获取场景的光子计数飞行时间直方图和TOF图像，作为神经网络模型的训练集。然后将训练好的网络模型应用到真实场景中，仅通过单通道的GM-APD探测器获取时间直方图输入到神经网络模型，直接反演出对应场景的三维图像。利用该方法对2m处的人体目标进行成像，可以取得较好的成像效果。
但是该方案在训练神经网络阶段需要收集大量的数据，特别是需要用到深度相机获取深度图像。在实际应用中，考虑到太赫兹单光子雷达是为了增加雷达的作用距离而提出的，其瞄准的应用场景主要上是远距离的应用（预警探测、反隐身等），作用距离可从几公里到上千公里量级，在远距离应用场景下，数据集的收集十分困难，因为很难让实际探测目标配合录取单光子回波与TOF图像数据。这个缺点使得该技术方案只适用于近距离的成像应用，而对远距离的成像场景无能为力。
发明内容
基于此，有必要针对上述技术问题，提供一种能够进行远距离成像的基于缩比训练的远距离太赫兹单光子雷达成像方法及装置。
一种基于缩比训练的远距离太赫兹单光子雷达成像方法，所述方法包括：
获取缩比训练样本，所述缩比训练样本包括以待成像目标的三维尺寸进行预设倍数缩小的模型为目标，通过太赫兹单光子雷达和深度相机进行缩比设置后得到多幅光子统计时间直方图以及多幅深度图像；
对所述缩比训练样本中的光子统计时间直方图以及深度图像进行预处理，将预处理后的光子统计时间直方图与对应的深度图像构成缩比训练对；
将所述缩比训练对输入远距离成像网络对其进行训练，直至得到训练好的远距离成像网络；
获取待成像目标在实际应用场景下，由所述太赫兹单光子雷达对其进行探测得到实际光子统计时间直方图；
将所述实际光子统计时间直方图输入所述训练好的远距离成像网络进行图像反演，得到所述待成像目标的深度图像。
在其中一实施例中，所述太赫兹单光子雷达和深度相机进行缩比设置包括：
对所述太赫兹单光子雷达和深度相机与模型之间的距离根据实际应用场景中数据收集距离按照预设倍数进行缩放；
对所述太赫兹单光子雷达的参数按照预设倍数进行缩放，所述参数包括发射功率、脉宽、距离门以及时隙宽度。
在其中一实施例中，在收集所述缩比训练样本时，不断改变模型的姿态、角度以及位置。
在其中一实施例中，对所述缩比训练样本中的光子统计时间直方图以及深度图像进行预处理包括：
将各所述光子统计时间直方图以及深度图像均以列向量的形式进行表示。
在其中一实施例中，所述远距离成像网络采用多层感知机网络，包括输入层、三个完全连接层以及输出层；
所述三个完全连接层分别具有1024、512以及256个节点，且在各所述完全连接层之后都连接有一激活函数。
在其中一实施例中，所述将所述缩比训练对输入远距离成像网络对其进行训练，直至得到训练好的远距离成像网络包括：
将所述缩比训练对中的光子统计时间直方图输入所述远距离成像网络得到重构数据；
根据所述重构数据以及该缩比训练对中的深度图像进行均方误差计算得到重构损失；
根据所述重构损失反向修正所述远距离成像网络中的参数，直至收敛，得到训练好的远距离成像网络。
在其中一实施例中，在将所述实际光子统计时间直方图输入所述训练好的远距离成像网络之前还对其进行预处理，将所述实际光子统计时间直方图以列向量的形式进行表示。
在其中一实施例中，将列向量形式的实际光子统计时间直方图输入至所述训练好的远距离成像网络后得到的输出为列向量，将该列向量进行恢复后得到所述待成像目标的深度图像。
在其中一实施例中，所述太赫兹单光子雷达中采用太赫兹单光子探测器。
一种基于缩比训练的远距离太赫兹单光子雷达成像装置，所述装置包括：
缩比训练样本获取模块，用于获取缩比训练样本，所述缩比训练样本包括以待成像目标的三维尺寸进行预设倍数缩小的模型为目标，通过太赫兹单光子雷达和深度相机进行缩比设置后得到多幅光子统计时间直方图以及多幅深度图像；
缩比训练对构成模块，用于对所述缩比训练样本中的光子统计时间直方图以及深度图像进行预处理，将预处理后的光子统计时间直方图与对应的深度图像构成缩比训练对；
远距离成像网络训练模块，用于将所述缩比训练对输入远距离成像网络对其进行训练，直至得到训练好的远距离成像网络；
待成像目标光子统计时间直方图得到模块，用于获取待成像目标在实际应用场景下，由所述太赫兹单光子雷达对其进行探测得到实际光子统计时间直方图；
深度图像反演模块，用于将所述实际光子统计时间直方图输入所述训练好的远距离成像网络进行图像反演，得到所述待成像目标的深度图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取缩比训练样本，所述缩比训练样本包括以待成像目标的三维尺寸进行预设倍数缩小的模型为目标，通过太赫兹单光子雷达和深度相机进行缩比设置后得到多幅光子统计时间直方图以及多幅深度图像；
对所述缩比训练样本中的光子统计时间直方图以及深度图像进行预处理，将预处理后的光子统计时间直方图与对应的深度图像构成缩比训练对；
将所述缩比训练对输入远距离成像网络对其进行训练，直至得到训练好的远距离成像网络；
获取待成像目标在实际应用场景下，由所述太赫兹单光子雷达对其进行探测得到实际光子统计时间直方图；
将所述实际光子统计时间直方图输入所述训练好的远距离成像网络进行图像反演，得到所述待成像目标的深度图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取缩比训练样本，所述缩比训练样本包括以待成像目标的三维尺寸进行预设倍数缩小的模型为目标，通过太赫兹单光子雷达和深度相机进行缩比设置后得到多幅光子统计时间直方图以及多幅深度图像；
对所述缩比训练样本中的光子统计时间直方图以及深度图像进行预处理，将预处理后的光子统计时间直方图与对应的深度图像构成缩比训练对；
将所述缩比训练对输入远距离成像网络对其进行训练，直至得到训练好的远距离成像网络；
获取待成像目标在实际应用场景下，由所述太赫兹单光子雷达对其进行探测得到实际光子统计时间直方图；
将所述实际光子统计时间直方图输入所述训练好的远距离成像网络进行图像反演，得到所述待成像目标的深度图像。
上述基于缩比训练的远距离太赫兹单光子雷达成像方法及装置，通过将以待成像目标的三维尺寸进行预设倍数缩小的模型为目标，由太赫兹单光子雷达和深度相机进行缩比设置后得到缩比训练样本，并利用缩比训练样本对远距离成像网络对其进行训练使其具有根据光子统计时间直方图反演得到深度图像的能力，在实际应用中，只需要将由太赫兹单光子雷达对待成像目标进行探测得到实际光子统计时间直方图输入训练好的远距离成像网络就可以直接得到待成像目标的深度图像。采用本方法可以对远距离的目标进行成像。
附图说明
图1为一个实施例中基于缩比训练的远距离太赫兹单光子雷达成像方法的流程示意图；
图2为一个实施例中缩比样本获取系统示意图；
图3为一个实施例中远距离成像系统示意图；
图4为一个实施例中基于缩比训练的远距离太赫兹单光子雷达成像装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，提供了一种基于缩比训练的远距离太赫兹单光子雷达成像方法，包括以下步骤：
步骤S100，获取缩比训练样本，所述缩比训练样本包括以待成像目标的三维尺寸进行预设倍数缩小的模型为目标，通过太赫兹单光子雷达和深度相机进行缩比设置后得到多幅光子统计时间直方图以及多幅深度图像；
步骤S110，对所述缩比训练样本中的光子统计时间直方图以及深度图像进行预处理，将预处理后的光子统计时间直方图与对应的深度图像构成缩比训练对；
步骤S120，将所述缩比训练对输入远距离成像网络对其进行训练，直至得到训练好的远距离成像网络；
步骤S130，获取待成像目标在实际应用场景下，由所述太赫兹单光子雷达对其进行探测得到实际光子统计时间直方图；
步骤S140，将所述实际光子统计时间直方图输入所述训练好的远距离成像网络进行图像反演，得到所述待成像目标的深度图像。
在上述步骤中，步骤S100到S120为基于缩比训练样本对远距离成像网络进行训练的过程，而步骤S130到S140为已训练好的远距离成像网络应用过程。
在步骤S100中，为了解决实际应用中远距离数据获取困难的问题，将远距离场景的距离，也就是太赫兹单光子雷达和深度相机与目标之间的距离、以及太赫兹单光子雷达的参数均按照预设倍数进行缩小，同时，还根据待成像目标的三维尺寸按照预设倍数缩小后制作模型，在样本获取时用模型代替真实目标，构造了一个相对于待成像场景缩比的数据收集模块。
在本实施例中，用于获取光子统计时间直方图的太赫兹单光子雷达包括用于发射探测信号的太赫兹源以及根据目标回波生成光子统计时间直方图的太赫兹单光子探测器。
在太赫兹单光子成像探测系统中，探测到的信号能量为单光子量级，其分布与到达具有随机性与离散性，因此回波检测与传统的脉冲测距的包络检测和阈值检测方法有较大差别。需要从统计的角度探查目标回波中的光子分布特性，由此诞生了时间相关单光子计数技术（Time-Correlated Single Photon Counting , TCSPC）。具有单光子灵敏度的光电探测器接收单个光子后会激发光电子脉冲，光子计数技术是通过分辨这些光子激发脉冲，利用探测器输出电流信号自然离散化的特征，把光信号从热噪声等干扰中以数字化方式提取出来的一种新技术。
当回波光子打在太赫兹单光子探测器上并被吸收后，会使得其内部的电路输出正向电脉冲信号，每一个电脉冲代表着探测到一个或多个光子。但是回波信号中实际上包含了目标回波和噪声，目标回波光子和噪声回波光子都能对探测器产生作用，难以有效甄别，从而造成虚假计数。而时间相关单光子计数技术正可以解决这一问题。因为探测到的目标回波光子是有规律可循的，具有较好的时间相关性；而噪声光子没有规律，信号特征随机变化，时间相关性很差。目标光子由于时间相关而实现叠加增强，集中分布在特定的位置上，而噪声光子因为其随机特性，无规律的散布在整个距离门内。因此，可以通过发射和接收脉冲序列，进行多次重复测量与相关积累，在距离门内形成光子统计时间直方图，由此获得目标的真实回波。
如图2所示，在缩比样本数据获取过程中，假设待成像目标的实际场景距离为R，太赫兹源的发射功率为P，太赫兹脉冲的脉宽为
，太赫兹单光子探测器的时隙为
，距离门为
缩比倍数为m。根据待成像的实际应用场景下的目标参数、雷达参数、探测器参数设计一个参数缩比的系统。该系统中收集数据的距离缩放为
，三维目标模型的长宽高（图2中w表示宽，h表示长，高没有标出）皆按照待成像目标的尺寸进行等比例缩小m倍，太赫兹雷达的发射功率缩放为
，脉宽缩放为
，太赫兹单光子探测器的时隙缩放为
。其中，缩比倍数m可以根据实际情况进行设置。
然后让太赫兹单光子探测器与TOF相机（深度相机）同步工作，太赫兹单光子探测器用于获取目标的光子统计时间直方图，TOF相机用于获取对应的目标深度图。并不断的改变目标的姿态、角度、位置等，以收集大量的光子统计时间直方图-深度图数据对。
在步骤S110中，对缩比训练样本中的光子统计时间直方图以及深度图像进行预处理包括：将各光子统计时间直方图以及深度图像均以列向量的形式进行表示。
具体的，根据远距离成像网络的输入要求，将每一个光子统计时间直方图以列向量的形式存储下来，将每一张深度图像（维度为
）同样展平成列向量（维度为
），并将二者一一对应，每一对数据为一组缩比训练对。并随机挑选所有数据组中的90%作为训练集，剩下的10%作为测试集。
在步骤S120中，远距离成像网络采用多层感知机网络（Multilayer Perceptron,MLP）。MLP是一种人工神经网络（Artificial Neural Network, ANN），其为前向结构形式，把一组输入向量映射成一组输出向量。它可以抽象成一张有向图，该图由多个层次分明的节点层组成，每层节点全连接到相邻的下一层节点。在MLP中，除了输入层，其余层的每个节点都带有激活函数，通常使用反向传播算法对其进行训练。分析其结构可以知道，它可以将输入数据的每个点和输出数据的每个点连接起来。回顾上述的单光子成像问题，探测器获取的时间直方图的每个时隙都有来自场景所有区域的贡献，因此，输入的时间直方图的每个时隙的计数结果，同输出的场景图像的每个网格都有联系。可以看到，二者具备一定程度上的相似性。因此，MLP具备解决该成像问题的潜力。
在本实施例中，多层感知机网络包括输入层、三个完全连接层以及输出层。三个完全连接层分别具有1024、512以及256个节点，且在各完全连接层之后都连接有一激活函数。
在将缩比训练对输入远距离成像网络对其进行训练包括：将缩比训练对中的光子统计时间直方图输入远距离成像网络得到重构数据，根据重构数据以及该缩比训练对中的深度图像进行均方误差计算得到重构损失，根据重构损失反向修正远距离成像网络中的参数，直至收敛，得到训练好的远距离成像网络。
具体的，在对远距离成像网络进行训练时，实际上，远距离成像网络的输入和输出均为以列向量表示的光子统计时间直方图以及重构数据。
如图3所示，在利用已训练好的远距离成像网络进行远距离成像时，将根据待成像目标得到的实际光子统计时间直方图以列向量的形式进行表示，再将其输入至训练好的远距离成像网络中，得到列向量输出（维度为
），将该列向量重新恢复为
维，即可直接得到对应场景的深度图像。
上述基于缩比训练的远距离太赫兹单光子雷达成像方法中，通过在近距离处进行缩比训练，得到一定的映射关系后，利用这个映射关系，对相应的远距离目标进行成像。从而解决了无扫描单通道太赫兹单光子前视成像系统在实际应用中对远距离目标数据获取困难的问题。这样可以使用无扫描单通道的太赫兹单光子探测器获取场景的光子统计时间直方图后，直接从直方图中反演出深度图像。本方法通过将远距离场景的距离、目标尺寸、太赫兹源发射功率、脉冲宽度、距离门、太赫兹单光子探测器时隙宽度进行一定比例的缩小，构造了一个相对于待成像场景缩比的数据收集模块。并通过利用这个缩比的数据模块获取的数据训练神经网络模型，可以获取缩比的数据收集模块中的三维场景模型同光子统计时间直方图之间的映射关系，而这同样也是待成像的三维场景同对应的光子统计时间直方图之间的映射关系。因此将待成像的远距离场景的光子统计时间直方图输入到利用相应的缩比数据训练出的神经网络模型中，可以恢复出远距离场景的深度图像。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图2所示，本文还提供了一种缩比训练样本获取系统，该系统包括目标模型、太赫兹源、太赫兹单光子探测器以及深度相机；
所述目标模型为待成像真实目标按预设倍数等比缩小模型；
所述太赫兹源，用于向所述目标模型发射探测信号；
所述太赫兹单光子探测器，用于接收所述目标模型的反射信号，并根据所述反射信号生成光子统计时间直方图；
所述深度相机，用于与所述太赫兹单光子探测器同步工作，获取所述目标模型的深度图像；
其中，所述太赫兹源、太赫兹单光子探测器以及深度相机与所述目标模型之间的距离根据所述太赫兹源、太赫兹单光子探测器以及深度相机与待成像真实目标之间的距离按预设倍数缩短得到；
所述太赫兹源以及赫兹单光子探测器的参数按照预设倍数缩小设置。
将所述太赫兹单光子探测器以及深度相机获取的光子统计时间直方图以及深度图像作为缩比训练样本。
在一个实施例中，如图4所示，提供了一种基于缩比训练的远距离太赫兹单光子雷达成像装置，包括：缩比训练样本获取模块200、缩比训练对构成模块210、远距离成像网络训练模块220、待成像目标光子统计时间直方图得到模块230和深度图像反演模块240，其中：
缩比训练样本获取模块200，用于获取缩比训练样本，所述缩比训练样本包括以待成像目标的三维尺寸进行预设倍数缩小的模型为目标，通过太赫兹单光子雷达和深度相机进行缩比设置后得到多幅光子统计时间直方图以及多幅深度图像；
缩比训练对构成模块210，用于对所述缩比训练样本中的光子统计时间直方图以及深度图像进行预处理，将预处理后的光子统计时间直方图与对应的深度图像构成缩比训练对；
远距离成像网络训练模块220，用于将所述缩比训练对输入远距离成像网络对其进行训练，直至得到训练好的远距离成像网络；
待成像目标光子统计时间直方图得到模块230，用于获取待成像目标在实际应用场景下，由所述太赫兹单光子雷达对其进行探测得到实际光子统计时间直方图；
深度图像反演模块240，用于将所述实际光子统计时间直方图输入所述训练好的远距离成像网络进行图像反演，得到所述待成像目标的深度图像。
关于基于缩比训练的远距离太赫兹单光子雷达成像装置的具体限定可以参见上文中对于基于缩比训练的远距离太赫兹单光子雷达成像方法的限定，在此不再赘述。上述基于缩比训练的远距离太赫兹单光子雷达成像装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于缩比训练的远距离太赫兹单光子雷达成像方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取缩比训练样本，所述缩比训练样本包括以待成像目标的三维尺寸进行预设倍数缩小的模型为目标，通过太赫兹单光子雷达和深度相机进行缩比设置后得到多幅光子统计时间直方图以及多幅深度图像；
对所述缩比训练样本中的光子统计时间直方图以及深度图像进行预处理，将预处理后的光子统计时间直方图与对应的深度图像构成缩比训练对；
将所述缩比训练对输入远距离成像网络对其进行训练，直至得到训练好的远距离成像网络；
获取待成像目标在实际应用场景下，由所述太赫兹单光子雷达对其进行探测得到实际光子统计时间直方图；
将所述实际光子统计时间直方图输入所述训练好的远距离成像网络进行图像反演，得到所述待成像目标的深度图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取缩比训练样本，所述缩比训练样本包括以待成像目标的三维尺寸进行预设倍数缩小的模型为目标，通过太赫兹单光子雷达和深度相机进行缩比设置后得到多幅光子统计时间直方图以及多幅深度图像；
对所述缩比训练样本中的光子统计时间直方图以及深度图像进行预处理，将预处理后的光子统计时间直方图与对应的深度图像构成缩比训练对；
将所述缩比训练对输入远距离成像网络对其进行训练，直至得到训练好的远距离成像网络；
获取待成像目标在实际应用场景下，由所述太赫兹单光子雷达对其进行探测得到实际光子统计时间直方图；
将所述实际光子统计时间直方图输入所述训练好的远距离成像网络进行图像反演，得到所述待成像目标的深度图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (5)
1.基于缩比训练的远距离太赫兹单光子雷达成像方法，其特征在于，所述方法包括：
获取缩比训练样本，所述缩比训练样本包括以待成像目标的三维尺寸进行预设倍数缩小的模型为目标，通过太赫兹单光子雷达和深度相机进行缩比设置后得到多幅光子统计时间直方图以及多幅深度图像；
对所述缩比训练样本中的光子统计时间直方图以及深度图像进行预处理，将预处理后的光子统计时间直方图与对应的深度图像构成缩比训练对；
将所述缩比训练对输入远距离成像网络对其进行训练，直至得到训练好的远距离成像网络；
获取待成像目标在实际应用场景下，由所述太赫兹单光子雷达对其进行探测得到实际光子统计时间直方图；
将所述实际光子统计时间直方图输入所述训练好的远距离成像网络进行图像反演，得到所述待成像目标的深度图像。
2.根据权利要求1所述的远距离太赫兹单光子雷达成像方法，其特征在于，所述太赫兹单光子雷达和深度相机进行缩比设置包括：
对所述太赫兹单光子雷达和深度相机与模型之间的距离根据实际应用场景中数据收集距离按照预设倍数进行缩放；
对所述太赫兹单光子雷达的参数按照预设倍数进行缩放，所述参数包括发射功率、脉宽、距离门以及时隙宽度。
3.根据权利要求2所述的远距离太赫兹单光子雷达成像方法，其特征在于，将所述缩比训练对输入远距离成像网络对其进行训练，直至得到训练好的远距离成像网络包括：
将所述缩比训练对中的光子统计时间直方图输入所述远距离成像网络得到重构数据；
根据所述重构数据以及该缩比训练对中的深度图像进行均方误差计算得到重构损失；
根据所述重构损失反向修正所述远距离成像网络中的参数，直至收敛，得到训练好的远距离成像网络。
4.根据权利要求1-3任一项所述的远距离太赫兹单光子雷达成像方法，其特征在于，所述太赫兹单光子雷达中采用太赫兹单光子探测器。
5.基于缩比训练的远距离太赫兹单光子雷达成像装置，其特征在于，所述装置包括：
缩比训练样本获取模块，用于获取缩比训练样本，所述缩比训练样本包括以待成像目标的三维尺寸进行预设倍数缩小的模型为目标，通过太赫兹单光子雷达和深度相机进行缩比设置后得到多幅光子统计时间直方图以及多幅深度图像；
缩比训练对构成模块，用于对所述缩比训练样本中的光子统计时间直方图以及深度图像进行预处理，将预处理后的光子统计时间直方图与对应的深度图像构成缩比训练对；
远距离成像网络训练模块，用于将所述缩比训练对输入远距离成像网络对其进行训练，直至得到训练好的远距离成像网络；
待成像目标光子统计时间直方图得到模块，用于获取待成像目标在实际应用场景下，由所述太赫兹单光子雷达对其进行探测得到实际光子统计时间直方图；
深度图像反演模块，用于将所述实际光子统计时间直方图输入所述训练好的远距离成像网络进行图像反演，得到所述待成像目标的深度图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211503846.8A CN115586542B (zh) | 2022-11-28 | 2022-11-28 | 基于缩比训练的远距离太赫兹单光子雷达成像方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211503846.8A CN115586542B (zh) | 2022-11-28 | 2022-11-28 | 基于缩比训练的远距离太赫兹单光子雷达成像方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115586542A true CN115586542A (zh) | 2023-01-10 |
| CN115586542B CN115586542B (zh) | 2023-03-03 |
Family
ID=84783219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211503846.8A Active CN115586542B (zh) | 2022-11-28 | 2022-11-28 | 基于缩比训练的远距离太赫兹单光子雷达成像方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115586542B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117111093A (zh) * | 2023-10-20 | 2023-11-24 | 中山大学 | 基于神经网络的单像素三维成像方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008269073A (ja) * | 2007-04-17 | 2008-11-06 | Denso Corp | 車両用物体検出装置 |
| JP2013242646A (ja) * | 2012-05-18 | 2013-12-05 | Mitsubishi Electric Corp | 目標類識別装置 |
| CN104407331A (zh) * | 2014-11-11 | 2015-03-11 | 中国舰船研究设计中心 | 船舶rcs的缩尺模型湖面试验方法及系统 |
| CN112801218A (zh) * | 2021-03-22 | 2021-05-14 | 中国人民解放军国防科技大学 | 一种基于降噪特征增强的多视角一维距离像融合识别方法 |
| CN114002665A (zh) * | 2021-12-30 | 2022-02-01 | 北京理工大学 | 一种应用太赫兹缩比测量的等效远场rcs测试方法 |
| CN114254696A (zh) * | 2021-11-30 | 2022-03-29 | 上海西虹桥导航技术有限公司 | 基于深度学习的可见光、红外和雷达融合目标检测方法 |
| CN114740472A (zh) * | 2022-03-28 | 2022-07-12 | 中国人民解放军国防科技大学 | 一种无扫描单通道太赫兹雷达前视三维成像方法和系统 |
| CN115356703A (zh) * | 2022-10-17 | 2022-11-18 | 中国人民解放军国防科技大学 | 基于面元分布的粗糙目标rcs缩比测量方法及装置 |
-
2022
- 2022-11-28 CN CN202211503846.8A patent/CN115586542B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008269073A (ja) * | 2007-04-17 | 2008-11-06 | Denso Corp | 車両用物体検出装置 |
| JP2013242646A (ja) * | 2012-05-18 | 2013-12-05 | Mitsubishi Electric Corp | 目標類識別装置 |
| CN104407331A (zh) * | 2014-11-11 | 2015-03-11 | 中国舰船研究设计中心 | 船舶rcs的缩尺模型湖面试验方法及系统 |
| CN112801218A (zh) * | 2021-03-22 | 2021-05-14 | 中国人民解放军国防科技大学 | 一种基于降噪特征增强的多视角一维距离像融合识别方法 |
| CN114254696A (zh) * | 2021-11-30 | 2022-03-29 | 上海西虹桥导航技术有限公司 | 基于深度学习的可见光、红外和雷达融合目标检测方法 |
| CN114002665A (zh) * | 2021-12-30 | 2022-02-01 | 北京理工大学 | 一种应用太赫兹缩比测量的等效远场rcs测试方法 |
| CN114740472A (zh) * | 2022-03-28 | 2022-07-12 | 中国人民解放军国防科技大学 | 一种无扫描单通道太赫兹雷达前视三维成像方法和系统 |
| CN115356703A (zh) * | 2022-10-17 | 2022-11-18 | 中国人民解放军国防科技大学 | 基于面元分布的粗糙目标rcs缩比测量方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| KANG LIU 等: "Target Detection Method Using Heterodyne Single-Photon Radar at Terahertz Frequencies", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 * |
| 武亚君 等: "太赫兹目标RCS缩比测量技术", 《强激光与粒子束》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117111093A (zh) * | 2023-10-20 | 2023-11-24 | 中山大学 | 基于神经网络的单像素三维成像方法和系统 |
| CN117111093B (zh) * | 2023-10-20 | 2024-02-06 | 中山大学 | 基于神经网络的单像素三维成像方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115586542B (zh) | 2023-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wallace et al. | Full waveform LiDAR for adverse weather conditions | |
| Rapp et al. | A few photons among many: Unmixing signal and noise for photon-efficient active imaging | |
| CN115586542B (zh) | 基于缩比训练的远距离太赫兹单光子雷达成像方法及装置 | |
| CN111474554A (zh) | 一种太赫兹频段单光子雷达系统及其目标探测方法 | |
| CN103235298A (zh) | 基于稀疏阵列的微波关联成像系统与成像方法 | |
| CN114494287A (zh) | 一种远距离激光雷达点云数据处理方法 | |
| Balasingam et al. | Maximum likelihood detection on images | |
| CN110161520B (zh) | 一种基于压缩采样技术的光子计数相干激光雷达 | |
| CN114740472A (zh) | 一种无扫描单通道太赫兹雷达前视三维成像方法和系统 | |
| Guerra et al. | Occupancy grid mapping for personal radar applications | |
| Agresti et al. | Material identification using RF sensors and convolutional neural networks | |
| KR102042385B1 (ko) | 가상 위성영상 생성 방법 및 장치 | |
| CN117471489B (zh) | 基于单像素成像技术的目标探测方法、装置和计算机设备 | |
| US20230273321A1 (en) | 3D Image Sensor Ranging System, and Ranging Method Using Same | |
| CN113221709B (zh) | 用于识别用户运动的方法、装置及热水器 | |
| Liu et al. | Velocity-based sparse photon clustering for space debris ranging by single-photon Lidar | |
| CN113567974A (zh) | 基于cppwm-mimo雷达的多生命体智能检测装置及方法 | |
| Hou et al. | Full waveform recovery method of moving target for photon counting lidar | |
| Wallace et al. | Combining automotive radar and LiDAR for surface detection in adverse conditions | |
| Jayaweera et al. | mmID: High-Resolution mmWave Imaging for Human Identification | |
| Ma et al. | Noise-suppression algorithm of GM-APD lidar based on Markov random field | |
| CN117111093B (zh) | 基于神经网络的单像素三维成像方法和系统 | |
| Turčinović et al. | Ground based SAR system for object classification with parameter optimization based on deep learning feedback algorithm | |
| CN116400379B (zh) | 单光子激光雷达三维成像系统和三维成像方法 | |
| Liang et al. | Non-scanning SISO 3D imaging of terahertz single-photon radar |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |