CN113189555A - 基于时-距包围盒目标截取的多目标分割方法、步态识别方法、装置、系统和存储介质 - Google Patents

基于时-距包围盒目标截取的多目标分割方法、步态识别方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN113189555A
CN113189555A CN202110390814.0A CN202110390814A CN113189555A CN 113189555 A CN113189555 A CN 113189555A CN 202110390814 A CN202110390814 A CN 202110390814A CN 113189555 A CN113189555 A CN 113189555A
Authority
CN
China
Prior art keywords
target
time
bounding box
echo signal
ultra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110390814.0A
Other languages
English (en)
Other versions
CN113189555B (zh
Inventor
周金海
常阳
周世镒
吴耿俊
雷雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110390814.0A priority Critical patent/CN113189555B/zh
Publication of CN113189555A publication Critical patent/CN113189555A/zh
Application granted granted Critical
Publication of CN113189555B publication Critical patent/CN113189555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于时‑距包围盒目标截取的多目标分割方法、步态识别方法、装置、系统和存储介质，包括：采集超宽带雷达回波信号，形成元素值为回波信号强度、横纵坐标分别表示慢时间轴和快时间轴的回波信号矩阵，每个慢时间点对应的所有回波信号强度形成一个雷达帧；根据回波信号矩阵中回波信号强度的分布状态计算时‑距包围盒以框选出多个目标区域，所述时‑距包围盒为能够包围某个区域信号以实现快、慢时间轴分割的边界；利用基于深度学习构建的多目标识别模型对每个目标区域对应的子回波信号矩阵进行步态识别，以获得目标步态识别结果，实现基于超宽带雷达回波信号的多目标步态识别。

Description

基于时-距包围盒目标截取的多目标分割方法、步态识别方 法、装置、系统和存储介质
技术领域
本发明属于目标识别领域，具体涉及一种基于时-距包围盒目标截取的多目标分割方法、步态识别方法、装置、系统和存储介质。
背景技术
在环境辅助生活(Ambient Assisted Living,AAL)领域，识别人体身份是AAL系统为特定用户提供针对性服务的基础，而步态特征是识别身份的一种有效手段。相较于摄像头这种传统步态特征捕捉设备，雷达同样可以捕捉步态特征，且具有隐私泄露风险小、不受光照条件限制等优点。在多种体制的雷达中，超宽带(UWB)雷达抗干扰能力强、目标检测能力高，更适合用于捕捉人体目标自由行走时在回波信号的主频率周围产生的额外频率分量。因此，超宽带雷达是家庭场景中较为理想的步态特征采集设备。
目前开展的雷达步态识别研究一般由数据表示与识别算法建模组成，前者的目的是从雷达回波中提取人体步态特征，后者则利用步态特征建立识别模型、判断目标身份。典型的数据表示方法有STFT、慢时间分割等，它们都是针对单人情况的频域表示方法，以往研究将这些表示方法与视觉模式分类算法、长短期记忆网络等识别算法相结合，实现了多种单人步态识别方法，如公开号为CN110456320A的专利申请公开了一种基于自由空间步态时序特征的超宽带雷达身份识别方法，再如公开号为CN110133610A的专利申请公开了一种基于时变距离-多普勒图的超宽带雷达动作识别方法。
问题在于，上述表示方法不具备多人情况下分割目标的能力，但在实用场景中人体目标数量不一定唯一，多人步态识别更具实用意义。为实现多人步态识别，需要特定的数据表示方法，并结合与之适配的识别算法。
发明内容
鉴于上述，本发明的目的是提供一种基于时-距包围盒(Time-Range BoundingBox，TRBB)目标截取的目标分割方法、步态识别方法、装置、系统和存储介质，在基于回波信号分布状态截取目标区域的基础上，实现基于超宽带雷达回波信号的多目标步态识别。
为实现上述发明目的，本发明提供以下技术方案：
第一方面，本发明实施例提供了一种基于时-距包围盒目标截取的超宽带雷达多目标分割方法，包括以下步骤：
采集超宽带雷达回波信号，形成元素值为回波信号强度、横纵坐标分别表示慢时间轴和快时间轴的回波信号矩阵，每个慢时间点对应的所有回波信号强度形成一个雷达帧；
根据回波信号矩阵中回波信号强度的分布状态计算时-距包围盒以框选出多个目标区域，所述时-距包围盒为能够包围某个区域信号以实现快、慢时间轴分割的边界。
第二方面，本发明实施例提供了一种基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法，包括以下步骤：
利用第一方面所述的基于时-距包围盒目标截取的超宽带雷达多目标分割方法对采集的回波信号矩阵进行目标分割，获得目标区域；
利用基于深度学习构建的多目标识别模型对每个目标区域对应的子回波信号矩阵进行步态识别，以获得目标步态识别结果。
第三方面，本发明实施例提供一种基于时-距包围盒目标截取的超宽带雷达多目标步态识别装置，包括：
采集模块，用于采集超宽带雷达回波信号，形成元素值为回波信号强度、横纵坐标分别表示慢时间轴和快时间轴的回波信号矩阵，每个慢时间点对应的所有回波信号强度形成一个雷达帧；
目标区域分割模块，用于根据回波信号矩阵中回波信号强度的分布状态计算时-距包围盒以框选出多个目标区域，所述时-距包围盒为能够包围某个区域信号以实现快、慢时间轴分割的边界；
识别模块，用于利用基于深度学习构建的多目标识别模型对每个目标区域对应的子回波信号矩阵进行步态识别，以获得目标步态识别结果。
第四方面，本发明实施例提供了一种基于时-距包围盒目标截取的超宽带雷达多目标步态识别系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现第二方面所述的基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法。
第五方面，本发明实施例提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现第二方面所述的基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法的步骤。
与现有技术相比，本发明提供的技术方案具有的有益效果至少包括：
提出了时-距包围盒的概念，在超宽带雷达回波信号表示为形成元素值为回波信号强度、横纵坐标分别表示慢时间轴和快时间轴的回波信号矩阵的基础上，将回波信号矩阵中回波信号强度的分布状态看作图像，利用时-距包围盒框选出多个目标区域后，利用深度学习构建的多目标识别模型对目标区域进行识别获得识别结果。这样能够实现在雷达检测域中存在任意多个目标的情况下识别每个人体目标的步态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明实施例提供的基于时-距包围盒目标截取的目标分割方法的流程图；
图2是本发明实施例提供的时-距包围盒的原理图；
图3是本发明实施例提供的降低畸变程度的流程图；
图4是本发明实施例提供的时-距包围盒的顶点坐标推理原理示意图；
图5是本发明实施例提供的双人情况下的利用时-距包围盒截取目标区域的流程图；
图6是本发明实施例提供的基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法的流程框图。
图7是本发明实施例提供的三组目标组的信号矩阵的利用时-距包围盒截取目标区域的结果图；
图8是本发明实施例提供的三组目标组的步态识别结果图；
图9是本发明实施例提供的基于时-距包围盒目标截取的超宽带雷达多目标步态识别装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了解决超宽带雷达多人识别的目标分割问题，实施例提供了一种基于时-距包围盒目标截取的超宽带雷达多目标分割方法，基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法、装置、系统和存储介质。主要的应用场景包括但不限于家庭门关处——利用步态特征识别陌生人的闯入、室内空旷处——判断老年人们的步态变化以预警相应疾病等。实施例中，目标是指需要被识别步态的生物体，如人类或者动物等。
基于超宽带雷达回波信号的分布状态，本发明实施例提供了一个时-距包围盒的概念，该时-距包围盒为能够包围某个区域信号以实现快、慢时间轴分割的边界，是一种用于从回波信号矩阵中抽取步行回波、实现多目标分离的超宽带雷达数据表示，利用该时-距包围盒可以分割多个目标区域，下面针对时-距包围盒的进行详细说明。
UWB雷达接收器在对超宽带雷达回波信号进行相参积累后，通过快时间上的高速采样扫描得到一个由多个回波信号强度形成的雷达帧S[n]。雷达进行连续扫描，慢时间上多个S[n]组成一个回波信号矩阵R。由于人体目标的尺寸远大于雷达距离门Tr，满足多散射点回波模型，人体的散射中心在雷达帧S[n]上产生投影，形成的投影分布图被称为一维距离像(High Resolution Range Profile,HRRP)。连续d个HRRP组成步行回波，理想情况d为：
Figure BDA0003016680010000051
Tw Ts分别代表目标一次迈步的时间与慢时间采样间隔。考虑到目标迈步时间各不相同，Tw取目标平均迈步时间，计算得到d′，允许d的取值在d′周围浮动。因此，步行回波存储在d个HRRP组成的二维连通图中，称为距离像序列(Human Range Profile Sequence，HRPS)：
Figure BDA0003016680010000061
d称为HRPS的慢时间维跨度，m0为起始帧。
不同目标的HRPS在快时间维跨度、回波幅值等方面差异明显，这些差异就是步态特征的一种反映，神经网络可以学习这些差异实现步态识别；进一步地，不同目标的HRPS分布在不同的快时间维区间，通过分别抽取这些HRPS就可以解决目标分割问题。
由于随着动态变化、路径损耗、随机噪声等因素会导致HRPS形状复杂难以直接从R中抽取问题。为了解决这个问题，本发明实施例提出一种基于TRBB的数据表示方法，利用形状简单的矩阵包含HRPS，通过从R中截取矩阵，实现对HRPS的间接抽取。该方法中以简单代复杂的思想类似于碰撞检测领域中的包围盒，所以将这种矩阵命名为TRBB。TRBB与HRPS的几何关系包括：HRPS边界线：rll、rlr、rlt、rlb；TRBB顶点：Blb、Blt、Brb、Brt。如图2所示，BltBlb与rll重合，BrtBrb与rlr重合，BlbBrb长度为d；BltBrt沿快时间减小方向逼近rlt，BlbBrb沿快时间增大方向逼近rlb。可以看出，TRBB能紧密地包含HRPS，而HRPS蕴含步态特征，所以TRBB可用于步态识别；进一步地，通过分别截取多个目标的TRBB，进而实现目标分离。
基于以上的TRBB的原理，实施例提供的基于时-距包围盒目标截取的超宽带雷达多目标分割方法，如图1所示，包括以下步骤：
步骤1，采集超宽带雷达回波信号，形成回波信号矩阵。
采用超声带(UWB)雷达传感器接收超宽带雷达回波信号后，通过对超宽带雷达回波信号进行重新采样形成元素值为回波信号强度、横纵坐标分别表示慢时间轴和快时间轴的回波信号矩阵，每个慢时间点对应的所有回波信号强度形成一个雷达帧。
步骤2，根据回波信号矩阵中回波信号强度的分布状态计算时-距包围盒以框选出多个目标区域，所述时-距包围盒为能够包围某个区域信号以实现快、慢时间轴分割的边界。
由于目标的身体和走路姿势的差异性，导致雷达信号在目标反射的汇报信号的分布状态也不相同，基于此特性基于回波信号的分布状态以区分目标，实现对目标的分割。
图5是双人情况下的利用时-距包围盒截取目标区域的流程图。以图5为例子说明根据回波信号矩阵中回波信号强度的分布状态计算时-距包围盒以框选出多个目标区域的步骤包括：
(a)对回波信号矩阵进行帧间差分滤波和边界平滑处理，得到连通图。
实施例中，将回波信号矩阵看作图像，对回波信号进行帧间差分滤波目的是为了滤除杂波，即消除回波信号矩阵R中桌椅、墙壁等静目标的回波信号，可以采用MTI(Movingtarget indication,MTI)方法实现帧间差分滤波，滤波后的回波信号矩阵记为R′。
由于滤波后的回波信号可能还存在畸变程度，为了消除这种畸变程度滤波后还需要进行边界平滑处理，具体地，如图3所示，所述边界平滑处理包括：对回波信号矩阵进行灰度拉伸、自适应阈值二值化以及形态学处理，得到连通图。
其中，灰度拉伸是指对回波信号集中化灰度处理；自适应阈值二值化是指对灰度化处理后的回波信号滤除残留的白噪声以获取标准化二值图像；由于UWB雷达存在路径损耗，在人体目标行走接近雷达覆盖域远端时，可能会出现像素点稀疏的现象，因此对标准化二值图像进行形态学的腐蚀、膨胀可补齐像素点间的空洞，这样能够得到连通图Rc。
(b)将连通图沿着慢时间轴等间隔分割成多个子图后，对每个子图内部所有像素点基于像素值进行聚类，确定聚类中心作为目标点。
在获得连通图后，还需要将连通图Rc按照分割间隔为d′沿慢时间分割为一系列子图
Figure BDA0003016680010000081
这样截取的TRBB的慢时间维跨度d将在d′周围浮动，符合TRBB概念内的相关描述。
获得子图后，针对每个子图进行内部像素点的聚类，以确定聚类中心。具体实施时，先设置K值为雷达检测域中的目标数量N，N可以人工设置，或使用elbow算法获取。然后使用k-means获取
Figure BDA0003016680010000082
内各个簇的质心
Figure BDA0003016680010000083
其中
Figure BDA0003016680010000084
代表
Figure BDA0003016680010000085
中距离雷达第j远的目标的量测，
Figure BDA0003016680010000086
Figure BDA0003016680010000087
分别代表慢、快时间坐标，聚类得到质心作为目标。
(c)依据相邻子图中对应目标点确定目标轨迹，基于目标轨迹计算时-距包围盒。
随着目标自由行走，不同子图内第j远的目标可能会发生改变，因此要考虑数据关联问题，即怎样将多张子图的目标点关联起来形成同一个目标的轨迹。
多人情况下可能出现临近目标遮掩现象，假设有两目标发生遮掩，则他们的HRPS出现重叠，截取TRBB也无法实现目标分离。考虑到行走过程中身份不会发生突变，实际使用中遮掩状态下的目标身份可用相邻时间未遮掩状态身份进行推理，因此本发明只生成未遮掩状态目标的TRBB。
优选地，在确定目标轨迹之前，根据回波信号矩阵中雷达帧的最大宽度判断子图中多个目标点之间是否被遮挡，并筛选未遮挡的目标点用于确定目标轨迹。具体实施时，当目标点
Figure BDA0003016680010000091
满足：
Figure BDA0003016680010000092
则该目标点所属目标处于未遮挡状态。一般来说设置w′→w。构成HRPS的d个HRRP中，必然存在一个宽度最大的HRRP，w即为它的宽度，由于w依赖于距离门Tr与人体各散射中心与雷达的相对距离，而后者是难以获取的，因此w取经验值。
在一种可能的实施方案中，所述依据相邻子图中对应目标点确定目标轨迹包括：针对所有用于确定目标轨迹的目标点，认为相邻多张子图中用于区分目标点的标识相同的目标点属于同一目标，将属于同一目标的所有目标点按照慢时间轴连接形成目标轨迹。
具体实施时，可以通过执行以下过程将目标点关联形成目标轨迹：
针对单目标情况，即K为1，由于每张图只有一个目标点，则将产生的每个目标点按照顺序连接，即
Figure BDA0003016680010000093
形成目标轨迹。
针对多目标情况，K为3或更多的推理逻辑，可参考K为2的情况推理过程。假设存在两个目标a和目标b时，当由子图
Figure BDA0003016680010000094
与子图
Figure BDA0003016680010000095
产生的目标点处于遮掩状态，两者之间x张子图的目标点未出现遮掩，则这x张子图拥有同一上标j的目标点属于同一目标。数学表达式如下：
Figure BDA0003016680010000096
Figure BDA0003016680010000097
其中，Tracea表示目标a的目标轨迹，Traceb表示目标b的目标轨迹，上标α和β表示目标点的索引，表示任意两个目标点，i表示子图的索引，w即为雷达帧的最大宽度。
在一种可能的实施方案中，所述基于目标轨迹计算时-距包围盒包括：针对属于同一目标的相邻两个目标点，将这两个目标点作为左右基准点，然后结合雷达帧的最大宽度沿快时间轴和慢时间轴分割回波信号矩阵，推理得到时-距包围盒的四个顶点Blt、Blb、Brt、Brb的坐标为：
Figure BDA0003016680010000101
Figure BDA0003016680010000102
Figure BDA0003016680010000103
Figure BDA0003016680010000104
其中，i为子图的索引，j为目标点的索引，d为分割间隔，w为雷达帧的最大宽度，n和m表示短时间轴和长时间轴坐标。
实施例中，如果
Figure BDA0003016680010000105
与
Figure BDA0003016680010000106
未处于遮掩且关联到同一目标，则可以被视作TRBB的左右基准点cl和cr，结合w按图4所示的方法沿快时间、慢时间轴分割回波信号矩阵R，推理TRBB的四个顶点。
至此已完成TRBB的截取。截取得到的TRBB能够紧密包含HRPS，理由如下：由于人体位置在一次迈步的时间内不会突变，可以近似认为d个HRRP的几何中心的快时间坐标都在cl、cr确定的快时间维区间内；在推理过程中，如果移动的距离单元小于
Figure BDA0003016680010000107
则可能存在无法被TRBB完全包含的HRRP，破坏紧密性。
实施例提供的一种基于时-距包围盒目标截取的超宽带雷达多目标分割方法，提出了时-距包围盒的概念，在超宽带雷达回波信号表示为形成元素值为回波信号强度、横纵坐标分别表示慢时间轴和快时间轴的回波信号矩阵的基础上，将回波信号矩阵中回波信号强度的分布状态看作图像，利用时-距包围盒框选出多个目标区域，这样能够准确快速地实现多个目标的分割。
如图2所示，实施例还提供了一种一种基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法，包括以下步骤：
步骤1，利用上述基于时-距包围盒目标截取的超宽带雷达多目标分割方法对采集的回波信号矩阵进行目标分割，获得目标区域；
步骤2，利用基于深度学习构建的多目标识别模型对每个目标区域对应的子回波信号矩阵进行步态识别，以获得目标步态识别结果。
由于通过时-距包围盒获得的目标区域是一个时距图，CNN等深度学习网络是一种擅长挖掘二维图像特征的神经网络，因此，采用CNN挖掘目标区域包含步态特征，再以全连接网络(fully connected network，FCN)作为分类器进行识别分类，得到识别结果，因此，实施例中，可以采用CNN和FCN组成多目标识别模型，在应用前，采样样本数据对多目标识别模型进行参数优化，以获得参数确定的多目标识别模型。应用时，将目标区域输入至多目标识别模型中，经过CNN提取步态特征后，利用FCN基于步态特征进行目标识别。
在一个可能的实施方式中，上述基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法还包括：对目标区域进行特征预提取，预提取的步态特征输入至多目标识别模型中，多目标识别模型对步态特征进行步态识别得到目标步态识别结果，优选地，可以采用MTI方法提取目标区域的步态特征。
实验例
为清晰化本发明的方法流程，更直观的展现方法的结果，在此附上实为清晰化本发明的方法流程，更直观的展现方法的结果，在此附上双人情况下的实施例来对其进行进一步的补充说明。实施例使用包含3人的步态信息的身份信息库，实验对象是双人构成的目标组，目标组与目标的信息如表1所示。
表1目标组组成与目标的物理信息
Figure BDA0003016680010000121
每次雷达扫描时，有一目标组在实验空间中自由行走，信号矩阵记录时长为12秒，共记录126个样本。利用TRBB截取获取样本中的TRBB。HRRP最大宽度w依赖于经验，取150，则w′设置为125。三组目标组的TRBB截取结果如图7所示，其中，(a)为目标组A的截取结果，(b)为目标组B的截取结果，(c)为目标组C的截取结果，可以看出，TRBB截取能够有效分割目标，获得目标区域。
数据集中3组目标组提取的2484个TRBB样本依照7:3的比例分为训练集和测试集，其中训练集被用于交叉验证获取最优模型参数，测试集用来测试模型在真实数据下的实际表现。
以提取关键信号为目的的信号处理方法可能会消除有价值的信息，降低深度网络识别建模效果。但对CNN来说，采用一些必要的降噪操作预提取特征可以进一步提高模型的分类能力，例如使用MTI滤波去除样本的直流分量。除了MTI+CNN方法外，本发明还选择三种方法进行了对比实验，分别为：
方法1，直接对TRBB使用CNN训练；
方法2，采用慢时间分割方法，使用FFT计算TRBB的RDM，提取HOG特征，使用LSTM进行时序建模；
方法3，使用STFT计算TRBB的TDM，而后使用SVM训练。
方法1未滤除直流噪声，识别准确率略低于MTI方法；由于方法2、3采用了频域变换方法，损失了快、慢时间特征，导致识别能力较低，结果如表2所示。综合考虑，使用MTI预提取特征结合CNN可建模出较优的步态识别模型，对各目标组的识别效果如图8所示。颜色表示识别结果，边框颜色由浅入深分别代表目标a、b、c。总的来说，本发明可以解决目标分割问题，实现UWB雷达多人步态识别，有一定的应用潜力。
表2步态识别模型准确率对比
特征预提取 建模算法 准确率
无 CNN 91.6％
MTI CNN 94.3％
HOG LSTM 89.5％
STFT SVM 74.6％
上述提供的基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法，提出了时-距包围盒的概念，在超宽带雷达回波信号表示为形成元素值为回波信号强度、横纵坐标分别表示慢时间轴和快时间轴的回波信号矩阵的基础上，将回波信号矩阵中回波信号强度的分布状态看作图像，利用时-距包围盒框选出多个目标区域后，利用深度学习构建的多目标识别模型对目标区域进行识别获得识别结果。这样能够实现在雷达检测域中存在任意多个目标的情况下识别每个人体目标的步态。
图9是本发明实施例提供的基于时-距包围盒目标截取的超宽带雷达多目标步态识别装置的结构示意图。如图9所示，实施例提供的一种基于时-距包围盒目标截取的超宽带雷达多目标步态识别装置900，包括：
采集模块901，用于采集超宽带雷达回波信号，形成元素值为回波信号强度、横纵坐标分别表示慢时间轴和快时间轴的回波信号矩阵，每个慢时间点对应的所有回波信号强度形成一个雷达帧；
目标区域分割模块902，用于根据回波信号矩阵中回波信号强度的分布状态计算时-距包围盒以框选出多个目标区域，所述时-距包围盒为能够包围某个区域信号以实现快、慢时间轴分割的边界；
识别模块903，用于利用基于深度学习构建的多目标识别模型对每个目标区域对应的子回波信号矩阵进行步态识别，以获得目标步态识别结果。
在其中的一种可能实施方式中，实施例提供的超宽带雷达多目标步态识别装置还包括：
特征提取模块，用于对目标区域进行特征预提取。这样预提取的步态特征输入至多目标识别模型中，多目标识别模型对步态特征进行步态识别得到目标步态识别结果。
需要说明的是，实施例提供的基于时-距包围盒目标截取的超宽带雷达多目标步态识别装置在进行多目标步态识别时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，实施例提供的基于时-距包围盒目标截取的超宽带雷达多目标步态识别装置与基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法实施例属于同一构思，其具体实现过程详见基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法实施例，这里不再赘述。
实施例还提供了一种基于时-距包围盒目标截取的超宽带雷达多目标步态识别系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法。在使用时，该超宽带雷达多目标步态识别系统配合超声带雷达传感器和用户终端，利用超声带雷达传感器采集回波信号，采用超宽带雷达多目标步态识别系统实现多目标步态的识别过程，识别结果发送至中户终端进行显示。
实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现上述基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于时-距包围盒目标截取的超宽带雷达多目标分割方法，其特征在于，包括以下步骤：
采集超宽带雷达回波信号，形成元素值为回波信号强度、横纵坐标分别表示慢时间轴和快时间轴的回波信号矩阵，每个慢时间点对应的所有回波信号强度形成一个雷达帧；
根据回波信号矩阵中回波信号强度的分布状态计算时-距包围盒以框选出多个目标区域，所述时-距包围盒为能够包围某个区域信号以实现快、慢时间轴分割的边界。
2.如权利要求1所述的基于时-距包围盒目标截取的超宽带雷达多目标分割方法，其特征在于，所述根据回波信号矩阵中回波信号强度的分布状态计算时-距包围盒以框选出多个目标区域包括：
对回波信号矩阵进行帧间差分滤波和边界平滑处理，得到连通图；
将连通图沿着慢时间轴等间隔分割成多个子图后，对每个子图内部所有像素点基于像素值进行聚类，确定聚类中心作为目标点；
依据相邻子图中对应目标点确定目标轨迹，基于目标轨迹计算时-距包围盒。
3.如权利要求2所述的基于时-距包围盒目标截取的超宽带雷达多目标分割方法，其特征在于，在确定目标轨迹之前，根据回波信号矩阵中雷达帧的最大宽度判断子图中多个目标点之间是否被遮挡，并筛选未遮挡的目标点用于确定目标轨迹。
4.如权利要求2或3所述的基于时-距包围盒目标截取的超宽带雷达多目标分割方法，其特征在于，所述边界平滑处理包括：对回波信号矩阵进行灰度拉伸、自适应阈值二值化以及形态学处理，得到连通图。
5.如权利要求2或3所述的基于时-距包围盒目标截取的超宽带雷达多目标分割方法，其特征在于，所述依据相邻子图中对应目标点确定目标轨迹包括：针对所有用于确定目标轨迹的目标点，认为相邻多张子图中用于区分目标点的标识相同的目标点属于同一目标，将属于同一目标的所有目标点按照慢时间轴连接形成目标轨迹。
6.如权利要求2或3所述的基于时-距包围盒目标截取的超宽带雷达多目标分割方法，其特征在于，所述基于目标轨迹计算时-距包围盒包括：针对属于同一目标的相邻两个目标点，将这两个目标点作为左右基准点，然后结合雷达帧的最大宽度沿快时间轴和慢时间轴分割回波信号矩阵，推理得到时-距包围盒的四个顶点Blt、Blb、Brt、Brb的坐标为：
Figure FDA0003016679000000021
Figure FDA0003016679000000022
Figure FDA0003016679000000023
Figure FDA0003016679000000024
其中，i为子图的索引，j为目标点的索引，d为分割间隔，w为雷达帧的最大宽度，n和m表示短时间轴和长时间轴坐标。
7.一种基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法，其特征在于，包括以下步骤：
利用权利要求1～6所述的基于时-距包围盒目标截取的超宽带雷达多目标分割方法对采集的回波信号矩阵进行目标分割，获得目标区域；
利用基于深度学习构建的多目标识别模型对每个目标区域对应的子回波信号矩阵进行步态识别，以获得目标步态识别结果；
优选地，对目标区域进行特征预提取，预提取的步态特征输入至多目标识别模型中，多目标识别模型对步态特征进行步态识别得到目标步态识别结果，其中，采用MTI方法提取目标区域的步态特征。
8.一种基于时-距包围盒目标截取的超宽带雷达多目标步态识别装置，其特征在于，包括：
采集模块，用于采集超宽带雷达回波信号，形成元素值为回波信号强度、横纵坐标分别表示慢时间轴和快时间轴的回波信号矩阵，每个慢时间点对应的所有回波信号强度形成一个雷达帧；
目标区域分割模块，用于根据回波信号矩阵中回波信号强度的分布状态计算时-距包围盒以框选出多个目标区域，所述时-距包围盒为能够包围某个区域信号以实现快、慢时间轴分割的边界；
识别模块，用于利用基于深度学习构建的多目标识别模型对每个目标区域对应的子回波信号矩阵进行步态识别，以获得目标步态识别结果。
9.一种基于时-距包围盒目标截取的超宽带雷达多目标步态识别系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6所述的基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现权利要求6所述的基于时-距包围盒目标截取的超宽带雷达多目标步态识别方法的步骤。
CN202110390814.0A 2021-04-12 2021-04-12 基于时-距包围盒目标截取的多目标分割方法、步态识别方法、装置、系统和存储介质 Active CN113189555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110390814.0A CN113189555B (zh) 2021-04-12 2021-04-12 基于时-距包围盒目标截取的多目标分割方法、步态识别方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110390814.0A CN113189555B (zh) 2021-04-12 2021-04-12 基于时-距包围盒目标截取的多目标分割方法、步态识别方法、装置、系统和存储介质

Publications (2)

Publication Number Publication Date
CN113189555A true CN113189555A (zh) 2021-07-30
CN113189555B CN113189555B (zh) 2023-02-14

Family

ID=76975508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110390814.0A Active CN113189555B (zh) 2021-04-12 2021-04-12 基于时-距包围盒目标截取的多目标分割方法、步态识别方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN113189555B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2650695A1 (en) * 2012-08-02 2013-10-16 Institute of Electronics, Chinese Academy of Sciences Imaging method for synthetic aperture radar in high squint mode
EP3553552A1 (en) * 2018-04-11 2019-10-16 Aptiv Technologies Limited Method for the recognition of a moving pedestrian
CN110456320A (zh) * 2019-07-29 2019-11-15 浙江大学 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN111505632A (zh) * 2020-06-08 2020-08-07 北京富奥星电子技术有限公司 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
CN112184849A (zh) * 2020-09-25 2021-01-05 中南大学 一种针对复杂动态多目标微动信号智能处理方法及系统
US20210033724A1 (en) * 2018-10-15 2021-02-04 Air Force Medical University Multi-target life detection method based on radar signal and detection radar

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2650695A1 (en) * 2012-08-02 2013-10-16 Institute of Electronics, Chinese Academy of Sciences Imaging method for synthetic aperture radar in high squint mode
EP3553552A1 (en) * 2018-04-11 2019-10-16 Aptiv Technologies Limited Method for the recognition of a moving pedestrian
US20210033724A1 (en) * 2018-10-15 2021-02-04 Air Force Medical University Multi-target life detection method based on radar signal and detection radar
CN110456320A (zh) * 2019-07-29 2019-11-15 浙江大学 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN111505632A (zh) * 2020-06-08 2020-08-07 北京富奥星电子技术有限公司 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
CN112184849A (zh) * 2020-09-25 2021-01-05 中南大学 一种针对复杂动态多目标微动信号智能处理方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YICHUAN WANG ET AL.: "UWB-radar-based synchronous motion recognition using time-varying range-Doppler images", 《IET RADAR, SONAR & NAVIGATION》 *
周金海等: "基于慢时间分割的超宽带雷达步态识别", 《浙江大学学报(工学版)》 *

Also Published As

Publication number Publication date
CN113189555B (zh) 2023-02-14

Similar Documents

Publication Publication Date Title
Zeng et al. Underwater target detection based on Faster R-CNN and adversarial occlusion network
Rakibe et al. Background subtraction algorithm based human motion detection
CN110415208B (zh) 一种自适应目标检测方法及其装置、设备、存储介质
CN110456320B (zh) 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN102496016B (zh) 一种基于时空协同框架的红外目标检测方法
Yu et al. Floating pollutant image target extraction algorithm based on immune extremum region
CN111505632A (zh) 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
CN115345908B (zh) 一种基于毫米波雷达的人体姿态识别方法
CN103745216B (zh) 一种基于空域特性的雷达图像杂波抑制方法
CN107679463B (zh) 一种采用机器视觉技术识别群养猪攻击行为的分析方法
CN113850204A (zh) 一种基于深度学习和超宽带雷达的人体动作识别方法
CN110574036A (zh) 一系列回波描记图像中的神经的检测
Wu et al. Recognition of Student Classroom Behaviors Based on Moving Target Detection.
CN114814832A (zh) 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法
CN109831634A (zh) 目标对象的密度信息确定方法及装置
CN103577804A (zh) 基于sift流和隐条件随机场的人群异常行为识别方法
CN115166717A (zh) 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法
CN113189555B (zh) 基于时-距包围盒目标截取的多目标分割方法、步态识别方法、装置、系统和存储介质
CN108921147A (zh) 一种基于动态纹理和变换域时空特征的黑烟车识别方法
Wei et al. A Markov random field approach for sidescan sonar change detection
Neelakanteswara et al. Computer based advanced approach for MRI image classification using neural network with the texture features extracted
JP6851246B2 (ja) 物体検出装置
CN111639600B (zh) 基于中心偏移的视频关键帧提取方法
CN108537105A (zh) 一种家庭环境下的危险行为识别方法
Elangovan et al. Team activity analysis and recognition based on Kinect depth map and optical imagery techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant