CN113050083A - 一种基于点云的超宽带雷达人体姿态重构方法 - Google Patents

一种基于点云的超宽带雷达人体姿态重构方法 Download PDF

Info

Publication number
CN113050083A
CN113050083A CN202110260254.7A CN202110260254A CN113050083A CN 113050083 A CN113050083 A CN 113050083A CN 202110260254 A CN202110260254 A CN 202110260254A CN 113050083 A CN113050083 A CN 113050083A
Authority
CN
China
Prior art keywords
human body
target
dimensional
radar
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110260254.7A
Other languages
English (en)
Inventor
金添
宋永坤
戴永鹏
宋勇平
周小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110260254.7A priority Critical patent/CN113050083A/zh
Publication of CN113050083A publication Critical patent/CN113050083A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates

Abstract

本发明提供了一种基于点云的超宽带雷达人体姿态重构方法，属于雷达信号处理领域。本发明针对超宽带雷达成像结果可读性差的问题，通过首先接收雷达回波信号，对探测场景进行距离‑方位向二维成像；对二维成像结果进行预处理锁定目标位置；然后对目标所在区域三维成像，构造散射强度等值面，并进行特征点采样得到人体目标的点云数据；将点云数据输入已经训练好的神经网络重构人体目标姿态；最后将检测得到的目标位置与姿态重构结果融合，得到目标在真实位置上的姿态。本发明将雷达信号处理方法与深度学习方法结合，使用轻量级的神经网络快速从雷达点云数据中重构出人体目标的姿态，为系统使用人员提供了更加丰富的人体目标细节信息。

Description

一种基于点云的超宽带雷达人体姿态重构方法
技术领域
本发明涉及雷达信号处理领域，特别是一种基于点云的超宽带雷达人体姿态重构方法。
背景技术
人体姿态估计在人机交互、机器人技术、监控和虚拟现实等领域的广泛应用中起着至关重要的作用，日益受到大家的关注。目前，人体姿态估计算法的研究大都基于光学传感器，学者根据输入数据的不同，例如单张光学RGB图像、连续帧视频图像、RGBD图像等设计了各种姿态估计方法。然而光学传感器的使用依赖于良好的工作环境，其无法在无光和遮挡的环境下工作，在反恐维稳、应急救援等复杂城市场景使用受限。
低频超宽带雷达作为一种以电磁波维载体的目标探测传感器，由于其具有载频低、波长长的特征决定了低频超宽带雷达具有一定的穿透性，可以对遮挡目标进行探测，由于其具有大带宽的特性决定了低频超宽带雷达相对于窄带雷达有相对可观的距离和方位分辨率，可以获取目标的身体细节信息。随着超宽带雷达技术的发展，从之前的一维雷达系统、二维雷达系统已经发展到现在的基于多发多收体制的三维雷达系统，超宽带雷达系统可以获取更加丰富的人体目标信息。然而，三维超宽带雷达系统的人体目标的三维成像结果显示困难，且不利于大家的理解，可读性较差。一些学者借助深度学习的工具直接从人体目标的三维成像结果中重构出人体目标姿态，但是这种方法需要处理的数据量巨大，会消耗比较多的运算资源。因此，研究如何对三维雷达数据进行降维、并设计对应的轻量级深度学习网络重构人体姿态具有重大意义，可进一步扩展超宽带雷达的应用，加速推进其在遮挡目标姿态估计方面的应用落地，满足多样性的应用需求。
发明内容
本发明所要解决的技术问题是针对现有技术不足，提供了一种基于点云的超宽带雷达人体姿态重构方法，首先对三维雷达图像进行采样得到点云数据，然后使用深度神经网络方法从雷达点云数据中重构出人体姿态，提高了超宽带雷达系统的人体目标姿态的可读性。
本发明所采用的技术方案是：
一种基于点云的超宽带雷达人体姿态重构方法，包括以下步骤：
步骤1，三维超宽带雷达发射雷达信号，接收回波信号，并在距离-方位平面进行快速二维成像：将三维超宽带雷达发射信号表示为ST(t)，接收回波信号表示为SR(t)，其中t表示时间，使用后向投影(BP)方法对接收回波信号SR(t)进行整个探测场景的距离-方位向快速二维成像，得到二维成像结果I(x,y)，其中(x,y)是距离-方位成像区域内的任意像素点；
步骤2，对二维成像结果进行目标检测、聚类、跟踪处理，确定目标位置：对二维成像结果I(x,y)进行恒虚警检测，得到人体目标感兴趣区域，再对感兴趣区域进行K-means聚类，以及Kalman滤波跟踪处理，得到目标位置(x0,y0)，其中x0、y0表示目标在二维平面上对应的方位向和距离向坐标；
步骤3，对目标区域进行精细三维成像，并构造三维图像等值面，对等值面进行特征点采样，得到人体目标的点云数据：首先对目标位置(x0,y0)小范围区域 (x0-1:x0+1,y0-1:y0+1,z1:z2)进行三维BP成像，得到方位-距离-高度向三维成像结果 I(x,y,z)，其中(x0-1:x0+1)表示目标位置方位向左右各1m的范围，(y0-1:y0+1)表示目标位置距离向前后各1m的范围，(z1:z2)表示高度向上的目标成像范围，(x,y,z)是距离-方位 -高度成像区域内的任意像素点；然后对三维成像结果I(x,y,z)进行恒虚警检测，构造散射强度等值面，然后对等值面进行基于最大间隔距离的特征点采样，由此获得人体目标的雷达三维成像点云数据；
步骤4，将人体目标的雷达图像点云数据输入已经训练好的神经网络中进行人体目标姿态的重构：设计基于点云的人体姿态重构网络，将雷达人体图像点云数据在空间中的三维坐标输入网络，网络对三维坐标进行空间变换、特征提取、特征对齐、姿态重构处理，输出人体目标的关节点位置坐标；生成训练数据集，并对姿态重构网络进行训练，将人体目标的雷达成像点云数据输入已经训练好的姿态重构网络以重构人体目标三维姿态；
步骤5，将目标位置与姿态重构的结果融合，得到人体目标在真实位置上的三维姿态：将检测得到的目标在方位-距离上的位置(x0,y0)与重构出的相对位置上的人体目标姿态融合，得到人体目标在真实的绝对位置上的姿态。
进一步的，所述步骤3中使用三维Marching Cubes方法构造等值面，首先将三维雷达数据切分成多个相同大小的立方体，然后分析各个立方体顶点的信号强度与等值面强度值之间的关系，从而确定立方体顶点与等值面之间的空间位置，最后联合相关立方体对等值面进行拟合。
进一步的，所述步骤4中的训练数据集是摄像头和雷达系统联合录制的，摄像头采集人体目标的光学图像数据，雷达采集人体目标的雷达数据；利用光学图像人体姿态重构网络估计人体目标的三维姿态，对雷达数据进行处理获取相应的三维雷达图像的点云数据，通过时间标记将人体目标的点云数据与三维姿态同步对齐，并分别当作样本和标签存入数据库构成训练数据集。
与现有技术相比，本发明所具有的有益效果为：
本发明提供了一种基于点云的超宽带雷达人体姿态重构方法，针对超宽带雷达人体目标三维成像结果可读性差的问题，通过首先接收雷达回波信号，对探测场景进行距离-方位向二维成像；对成像结果进行目标检测、聚类、跟踪处理，确定目标位置；然后对目标所在区域三维成像，构造散射强度等值面，并进行特征点采样得到人体目标的点云数据；将点云数据输入已经训练好的神经网络重构人体目标姿态；最后将检测得到的目标位置与姿态重构结果融合，得到目标在真实位置上的姿态。本发明将雷达信号处理方法与深度学习方法结合，首先对雷达数据进行降维，然后使用轻量级的点云神经网络快速从雷达点云数据中重构出人体目标的姿态，为系统使用人员提供了更加丰富的人体目标细节信息，扩展了超宽带雷达的应用场景。
附图说明
图1是本发明实施例的总体流程图；
图2是本发明实施例的点云数据的生成过程图；
图3是本发明实施例的基于点云数据的姿态重构网络图。
图4是本发明实施例的姿态重构结果图。
具体实施方式
下面结合附图和具体实施例对本发明进一步详细说明。
参照附图1，本发明提出的一种基于点云的超宽带雷达人体姿态重构方法，具体通过以下步骤实现：
步骤1，三维超宽带雷达发射雷达信号，接收回波信号，并进行快速二维成像。
本实施例中，将三维超宽带雷达发射信号表示为ST(t)，接收回波信号表示为SR(t)，其中 t表示时间，使用后向投影(BP)方法对接收回波信号SR(t)进行整个探测场景的距离-方位向快速二维成像，得到二维成像结果I(x,y)，其中(x,y)是距离-方位成像区域内的任意像素点。
本实施例中，三维超宽带雷达的工作频率为1.78-2.78GHz，带宽为1GHz，采用步进频信号体制，发射天线个数是10，接收天线个数是10，总通道数是100。假设人体目标在方位向 -1m，距离向3m处，对探测场景进行二维成像，成像方位向范围设定为(-2,2)，成像距离向范围设定为(0,8)，二维成像网格大小为64×128。
步骤2，对二维成像结果进行目标检测、聚类、跟踪处理，确定目标位置。
本实施例中，对二维成像结果I(x,y)进行恒虚警检测，得到人体目标感兴趣区域ROI，再对ROI进行K-means聚类，以及Kalman滤波跟踪处理，得到目标位置(x0,y0)，其中x0、y0表示目标在二维平面上对应的方位向和距离向坐标。
步骤3，对目标区域进行精细三维成像，并构造三维图像等值面，对等值面进行特征点采样，得到人体目标的点云数据。
本实施例中，对目标位置(x0,y0)小范围区域(x0-1:x0+1,y0-1:y0+1,z1:z2)进行精细三维成像，得到方位-距离-高度向三维成像结果I(x,y,z)，其中(x0-1:x0+1)表示目标位置方位向左右各1m的范围，(y0-1:y0+1)表示目标位置距离向前后各1m的范围，(z1:z2)表示高度向上的目标成像范围，(x,y,z)是距离-方位-高度成像区域内的任意像素点。对三维成像结果 I(x,y,z)进行恒虚警检测，构造散射强度等值面，然后对等值面进行基于最大间隔距离的特征点采样，由此获得人体目标的雷达三维成像点云数据。
本实施例中，三维成像的成像网格大小为64×64×64，采用基于积分的恒虚警算法对三维成像结果进行检测，该检测器的保护窗大小为2×2×2，外窗大小为5×5×5。实施例中采用最大间隔特征点采样方法，每次只采样与已有点集距离最远处的曲面顶点，不断迭代采样，直到采样全部完成，设置的采样点数为5000个。点云数据的生成过程如图2所示。
步骤4，将人体目标的点云数据输入已经训练好的神经网络中重构人体目标姿态
本实施例中，首先设计基于点云的人体姿态重构网络，将雷达人体图像点云数据在空间中的三维坐标输入网络，网络对三维坐标进行空间变换、特征提取、特征对齐、姿态重构处理，输出人体目标的关节点位置坐标。制备训练数据集，并对网络进行训练，将人体目标的雷达成像点云数据输入已经训练好的姿态重构网络以重构人体目标三维姿态。
本实施例中，网络的输入数据大小为5000×3，表示5000个点在三维空间中的坐标，数据首先通过一个3D空间变换矩阵预测网络T-Net对原始数据进行空间变换实现数据的对齐，对齐后的数据通过一个共享参数的双层感知机模型进行特征提取。然后通过特征空间变换矩阵预测网络T-Net预测64×64的变换矩阵，实现对特征的对齐。最后利用多层感知器和一层卷积处理实现姿态的重构，输出人体目标的关节点位置坐标，其大小为16×3，表示16个关节点在空间中的坐标。基于点云数据的姿态重构网络如图3所示。
步骤5，将目标位置与重构的姿态结果融合，得到人体目标在真实位置上的姿态。
本实施例中，将检测得到的目标在方位-距离上的位置(x0,y0)与重构出的相对位置上的人体目标姿态融合，得到人体目标在真实的绝对位置上的姿态，最终姿态重构结果如图4所示。
具体地，使用三维Marching Cubes方法构造等值面，首先将三维雷达数据切分成多个相同大小的立方体，然后分析各个立方体顶点的信号强度与等值面强度值之间的关系，从而确定立方体顶点与等值面之间的空间位置，最后联合相关立方体对等值面进行拟合。
具体地，训练数据集是摄像头和雷达系统联合录制的，摄像头采集人体目标的光学RGB 图像数据，雷达采集人体目标的雷达数据；利用光学图像人体姿态重构网络估计人体目标的三维姿态，对雷达数据进行处理获取相应的三维雷达图像的点云数据，通过时间标记将人体目标的点云数据与三维姿态同步对齐，并分别当作样本和标签存入数据库构成训练数据集。本实施例采用一种由多层卷积神经网络组成的端到端的姿态重构网络从光学RGB图像中提取人体目标的三维姿态，大小为16×3。共采集了120000帧数据对，其中的80％用来作为训练集，20％用来作为测试集。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种基于点云的超宽带雷达人体姿态重构方法，其特征在于，包括以下步骤：
步骤1，三维超宽带雷达发射雷达信号，接收回波信号，并在距离-方位平面进行快速二维成像：将三维超宽带雷达发射信号表示为ST(t)，接收回波信号表示为SR(t)，其中t表示时间，使用后向投影(BP)方法对接收回波信号SR(t)进行整个探测场景的距离-方位向快速二维成像，得到二维成像结果I(x,y)，其中(x,y)是距离-方位成像区域内的任意像素点；
步骤2，对二维成像结果进行目标检测、聚类、跟踪处理，确定目标位置：对二维成像结果I(x,y)进行恒虚警检测，得到人体目标感兴趣区域，再对感兴趣区域进行K-means聚类，以及Kalman滤波跟踪处理，得到目标位置(x0,y0)，其中x0、y0表示目标在二维平面上对应的方位向和距离向坐标；
步骤3，对目标区域进行精细三维成像，并构造三维图像等值面，对等值面进行特征点采样，得到人体目标的点云数据：首先对目标位置(x0,y0)小范围区域(x0-1:x0+1,y0-1:y0+1,z1:z2)进行三维BP成像，得到方位-距离-高度向三维成像结果I(x,y,z)，其中(x0-1:x0+1)表示目标位置方位向左右各1m的范围，(y0-1:y0+1)表示目标位置距离向前后各1m的范围，(z1:z2)表示高度向上的目标成像范围，(x,y,z)是距离-方位-高度成像区域内的任意像素点；然后对三维成像结果I(x,y,z)进行恒虚警检测，构造散射强度等值面，然后对等值面进行基于最大间隔距离的特征点采样，由此获得人体目标的雷达三维成像点云数据；
步骤4，将人体目标的雷达图像点云数据输入已经训练好的神经网络中进行人体目标姿态的重构：设计基于点云的人体姿态重构网络，将雷达人体图像点云数据在空间中的三维坐标输入网络，网络对三维坐标进行空间变换、特征提取、特征对齐、姿态重构处理，输出人体目标的关节点位置坐标；生成训练数据集，并对姿态重构网络进行训练，将人体目标的雷达成像点云数据输入已经训练好的姿态重构网络以重构人体目标三维姿态；
步骤5，将目标位置与姿态重构的结果融合，得到人体目标在真实位置上的三维姿态：将检测得到的目标在方位-距离上的位置(x0,y0)与重构出的相对位置上的人体目标姿态融合，得到人体目标在真实的绝对位置上的姿态。
2.如权利要求书1中所述的一种基于点云的超宽带雷达人体姿态重构方法，其特征在于，所述步骤3中使用三维Marching Cubes方法构造等值面，首先将三维雷达数据切分成多个相同大小的立方体，然后分析各个立方体顶点的信号强度与等值面强度值之间的关系，从而确定立方体顶点与等值面之间的空间位置，最后联合相关立方体对等值面进行拟合。
3.如权利要求书1中所述的一种基于点云的超宽带雷达人体姿态重构方法，其特征在于，所述步骤4中的训练数据集是摄像头和雷达系统联合录制的，摄像头采集人体目标的光学图像数据，雷达采集人体目标的雷达数据；利用光学图像人体姿态重构网络估计人体目标的三维姿态，对雷达数据进行处理获取相应的三维雷达图像的点云数据，通过时间标记将人体目标的点云数据与三维姿态同步对齐，并分别当作样本和标签存入数据库构成训练数据集。
CN202110260254.7A 2021-03-10 2021-03-10 一种基于点云的超宽带雷达人体姿态重构方法 Pending CN113050083A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110260254.7A CN113050083A (zh) 2021-03-10 2021-03-10 一种基于点云的超宽带雷达人体姿态重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110260254.7A CN113050083A (zh) 2021-03-10 2021-03-10 一种基于点云的超宽带雷达人体姿态重构方法

Publications (1)

Publication Number Publication Date
CN113050083A true CN113050083A (zh) 2021-06-29

Family

ID=76510967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110260254.7A Pending CN113050083A (zh) 2021-03-10 2021-03-10 一种基于点云的超宽带雷达人体姿态重构方法

Country Status (1)

Country Link
CN (1) CN113050083A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706619A (zh) * 2021-10-21 2021-11-26 南京航空航天大学 一种基于空间映射学习的非合作目标姿态估计方法
US20230219578A1 (en) * 2022-01-07 2023-07-13 Ford Global Technologies, Llc Vehicle occupant classification using radar point cloud

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109619736A (zh) * 2018-12-26 2019-04-16 武汉万集信息技术有限公司 一种人体尺寸测量方法、装置及系统
US20190295250A1 (en) * 2016-07-25 2019-09-26 Nuctech Company Limited Method, apparatus and system for reconstructing images of 3d surface
CN111208509A (zh) * 2020-01-15 2020-05-29 中国人民解放军国防科技大学 一种超宽带雷达人体目标姿态可视化增强方法
CN112419479A (zh) * 2020-11-10 2021-02-26 广州二元科技有限公司 一种基于体重身高及身体影像的体型数据计算方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190295250A1 (en) * 2016-07-25 2019-09-26 Nuctech Company Limited Method, apparatus and system for reconstructing images of 3d surface
CN109619736A (zh) * 2018-12-26 2019-04-16 武汉万集信息技术有限公司 一种人体尺寸测量方法、装置及系统
CN111208509A (zh) * 2020-01-15 2020-05-29 中国人民解放军国防科技大学 一种超宽带雷达人体目标姿态可视化增强方法
CN112419479A (zh) * 2020-11-10 2021-02-26 广州二元科技有限公司 一种基于体重身高及身体影像的体型数据计算方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YONGKUN SONG等: "Through-Wall Human Pose Reconstruction via UWB MIMO Radar and 3D CNN", 《REMOTE SENSING》 *
朱洲 等: "三维人体表面重建", 《计算机与数字工程》 *
金添 等: "穿墙雷达人体目标探测技术综述", 《电波科学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706619A (zh) * 2021-10-21 2021-11-26 南京航空航天大学 一种基于空间映射学习的非合作目标姿态估计方法
US20230219578A1 (en) * 2022-01-07 2023-07-13 Ford Global Technologies, Llc Vehicle occupant classification using radar point cloud

Similar Documents

Publication Publication Date Title
CN114202696B (zh) 基于上下文视觉的sar目标检测方法、装置和存储介质
Sengupta et al. mm-Pose: Real-time human skeletal posture estimation using mmWave radars and CNNs
CN110415342B (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN109636742B (zh) 基于对抗生成网络的sar图像和可见光图像的模式转换方法
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN109377530A (zh) 一种基于深度神经网络的双目深度估计方法
CN110728213A (zh) 一种基于无线射频信号的细粒度人体姿态估计方法
CN113050083A (zh) 一种基于点云的超宽带雷达人体姿态重构方法
CN111476089B (zh) 一种图像中多模态信息融合的行人检测方法、系统及终端
Chen et al. mmbody benchmark: 3d body reconstruction dataset and analysis for millimeter wave radar
Shreyas et al. 3D object detection and tracking methods using deep learning for computer vision applications
Du et al. FA-YOLO: An improved YOLO model for infrared occlusion object detection under confusing background
Zheng et al. Recovering human pose and shape from through-the-wall radar images
Jing et al. PSRN: Polarimetric space reconstruction network for PolSAR image semantic segmentation
Yuan et al. STransUNet: A siamese TransUNet-based remote sensing image change detection network
Li et al. Vehicle object detection based on rgb-camera and radar sensor fusion
CN113222824B (zh) 一种红外图像超分辨率及小目标检测方法
CN113792593A (zh) 一种基于深度融合的水下近距离目标识别跟踪方法及系统
Wang et al. Real-time Through-Wall Multi-Human Localization and Behavior Recognition Based on MIMO Radar
Xie et al. Accurate human pose estimation using rf signals
CN104615987B (zh) 一种基于误差反传神经网络的飞机残骸智能识别方法及系统
Li et al. Monocular 3-D Object Detection Based on Depth-Guided Local Convolution for Smart Payment in D2D Systems
Chen et al. Rf-inpainter: Multimodal image inpainting based on vision and radio signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210629

WD01 Invention patent application deemed withdrawn after publication