CN117191025A - 无接触室内多目标追踪方法、系统、存储介质及计算设备 - Google Patents
无接触室内多目标追踪方法、系统、存储介质及计算设备 Download PDFInfo
- Publication number
- CN117191025A CN117191025A CN202311096139.6A CN202311096139A CN117191025A CN 117191025 A CN117191025 A CN 117191025A CN 202311096139 A CN202311096139 A CN 202311096139A CN 117191025 A CN117191025 A CN 117191025A
- Authority
- CN
- China
- Prior art keywords
- target
- dynamic
- distance
- static
- multipath
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000003068 static effect Effects 0.000 claims abstract description 106
- 238000001228 spectrum Methods 0.000 claims abstract description 105
- 238000009826 distribution Methods 0.000 claims abstract description 68
- 230000007613 environmental effect Effects 0.000 claims abstract description 29
- 238000010586 diagram Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 230000008030 elimination Effects 0.000 claims description 13
- 238000003379 elimination reaction Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及一种无接触室内多目标追踪方法、系统、存储介质及计算设备，其包括：以具有大宽带的MIMO体制的收发一体的无线射频设备的接收信号为输入，对天线阵列的接收信号进行动态目标检测，提取动态目标的空间位置信息，以获取动态距离‑角度谱；以动态距离‑角度谱为输入，搜索动态距离‑角度谱中真实目标及其对应多径鬼影组合，基于多径信号传播规律计算对应环境静态物体上反射点的空间位置，并构建环境反射点分布图；以环境反射点分布图和动态距离‑角度谱为输入，利用环境反射点分布信息消除干扰，提取真实运动目标的空间位置，实现多目标的轨迹追踪。本发明能极大地提高多人追踪的准确性，实现复杂室内场景中的多目标精确追踪。
Description
技术领域
本发明涉及一种多目标追踪技术领域，特别是关于一种无接触室内多目标追踪方法、系统、存储介质及计算设备。
背景技术
了解人在室内的活动位置和行动轨迹对于实现智能家居、室内导航、安防监控、灾害管理和智慧医疗等多种应用场景都十分重要。近年来，研究人员提出了许多基于无线射频信号的无接触式室内定位和追踪技术，这些技术不需要感知目标携带任何设备，具有非侵扰的优势，主要包括WiFi、蓝牙、调频连续波(FMCW)和脉冲超宽带(IR-UWB)等。与其他低频的射频技术相比，毫米波段的FMCW雷达工作频段更高、波长更短，具有较大的带宽和较多的天线数量。因此，毫米波FMCW雷达(又称毫米波雷达)具有较高的空间分辨率，能够精确感知不同目标的距离和角度信息，是实现多目标轨迹追踪的理想手段。
现有基于毫米波雷达的多目标追踪系统大多应用于室外空旷场景，聚焦于对车辆等目标的追踪。相较于室外场景，室内场景的空间通常相对狭小，存在大量静态物体，多径效应更加显著。在多径效应显著的室内场景中，除了人体的直接反射信号外，雷达还会接收到能量较强的经人体和静态物体多次反射的信号。因此，在雷达接收信号谱中不仅能观察到真实目标(人体)，还会观察到由多径传播引起的虚假目标(多径鬼影)。多径鬼影往往会伴随目标运动，表现出与真实目标相似的特征，导致区分虚假目标和真实目标变得非常具有挑战性。考虑到人运动时有可能会暂时遮挡环境中的静态反射物体，物体反射信号的能量变化会导致在反射物体所在位置上出现真实目标的鬼影。这类鬼影被称为目标伪影，它往往会随着目标的移动而移动，同样会使得目标检测结果有误，导致错误的轨迹数量和较大的轨迹追踪误差。除此之外，当人被环境中的静态物体遮挡时，人体反射信号的能量会大大减弱，也会导致真实目标难以被雷达准确检测和识别。因此，精确室内多目标追踪的实现依赖于良好的干扰消除机制，可靠的室内无接触多目标追踪方法有待于被提出。
发明内容
针对上述问题，本发明的目的是提供一种无接触室内多目标追踪方法、系统、存储介质及计算设备，其能实现以无接触的方式实现对多个运动目标(人体)的精确追踪。
为实现上述目的，第一方面，本发明采取的技术方案为：一种无接触室内多目标追踪方法，其包括：以具有大宽带的MIMO体制的收发一体的无线射频设备的接收信号为输入，对天线阵列的接收信号进行动态目标检测，提取动态目标的空间位置信息，以获取动态距离-角度谱；以动态距离-角度谱为输入，搜索动态距离-角度谱中真实目标及其对应多径鬼影组合，基于多径信号传播规律计算对应环境静态物体上反射点的空间位置，并构建环境反射点分布图；以环境反射点分布图和动态距离-角度谱为输入，利用环境反射点分布信息消除干扰，提取真实运动目标的空间位置，实现多目标的轨迹追踪。
进一步，获取动态距离-角度谱，包括：
对设备天线阵列中每对收发天线的接收信号沿快时间维度进行FFT得到目标的距离谱信息，将距离谱按照chirp采集的时间顺序依次排列，获得距离-时间谱；
对距离-时间谱进行静态消除，以消除静态杂波获得动态反射信息；
采用角度估计算法处理多天线对的动态反射信息，获取距离-角度谱；
对距离-角度谱进行目标检测操作以提取动态目标相对于设备的空间位置信息，获取动态距离-角度谱。
进一步，构建环境反射点分布图，包括：
以动态距离-角度谱为输入，基于多径信号传播关系，搜索动态距离-角度谱中真实目标及其对应多径鬼影组合，并计算可能的静态反射点的空间位置；每一时刻都可能根据搜索到的真实目标和多径鬼影组合计算出一个或多个静态反射点；
当目标遍历环境中不同空间位置，积累多帧的静态反射点，构建环境反射点分布图。
进一步，对积累的多帧的静态反射点进行聚类，并对聚类结果进行线性拟合，包括：
对所有估计的静态反射点进行聚类，得到多个簇；
如果某个簇中的静态反射点数量和方差都超过了设定阈值，则对该簇进行再次分类，划分为多个子簇；
对聚类结果进行线性拟合，将环境反射点分布图映射成静态反射物体的集合，每个静态反射体都对应拟合结果中的一个线段。
进一步，多目标的轨迹追踪，包括：
根据环境静态反射点和真实目标的空间位置判断真实目标是否被静态反射物体遮挡，若是，则在动态距离-角度谱中对遮挡区域的真实目标进行能量增强；
检测并消除多径鬼影；
检测并消除目标伪影；
将干扰消除后的多目标位置信息进行数据关联，并进行轨迹滤波处理，获得多个真实目标的运动轨迹。
进一步，检测并消除多径鬼影，包括：
在距离-角度谱中由近及远迭代地定位真实目标并搜索可能与该真实目标对应的多径鬼影组合；
如果根据某候选组合计算出的反射点与环境静态反射点分布位置重合或靠近环境静态反射点分布，则该组合被视为有效组合，保留真实目标并消除该组合中的多径鬼影。
进一步，检测并消除目标伪影，包括：
将估计的环境反射点分布图与距离-角度谱叠加，并在环境反射点分布图的邻域中进行信号能量衰减。
第二方面，本发明采取的技术方案为：一种无接触室内多目标追踪系统，其包括：动态距离-角度谱获取模块，以具有大宽带的MIMO体制的收发一体的无线射频设备的接收信号为输入，对天线阵列的接收信号进行动态目标检测，提取动态目标的空间位置信息，以获取动态距离-角度谱；环境反射点分布图构建模块，以动态距离-角度谱为输入，搜索动态距离-角度谱中真实目标及其对应多径鬼影组合，基于多径信号传播规律计算对应环境静态物体上反射点的空间位置，并构建环境反射点分布图；追踪模块，以环境反射点分布图和动态距离-角度谱为输入，利用环境反射点分布信息消除干扰，提取真实运动目标的空间位置，实现多目标的轨迹追踪。
第三方面，本发明采取的技术方案为：一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述实施例中所述方法中的任一方法。
第四方面，本发明采取的技术方案为：一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
本发明由于采取以上技术方案，其具有以下优点：
1、本发明采用一个大带宽MIMO体制的无线射频设备进行无接触室内多人追踪，无需任何环境先验信息(如环境静态物体空间分布等)，无需进行预先数据采集和机器训练。
2、本发明考虑了复杂室内环境中干扰对追踪的影响，首先利用多径信号传播规律进行环境反射点分布构建，在目标运动的过程中自动获取环境静态物体上的反射点分布信息，而后将环境反射点分布信息用于辅助干扰消除，提取真实运动目标的空间位置和轨迹，以实现精确的多人追踪。消除的干扰既可以是多径鬼影、目标伪影等虚假动态目标干扰，也可以是由于目标被遮挡引起的能量削弱干扰。
3、本发明的环境反射点分布构建模块，可用于获取环境静态物体上的反射点分布信息，指示静态物体的空间分布。不仅适用于辅助室内多目标追踪应用中的干扰信息消除，还适用于活动识别等其它感知应用场景，以辅助实现更加可靠、精确的目标和环境感知。
4、本发明不仅适用于毫米波雷达，对其它具有大带宽的MIMO体制的无线射频设备(如装有天线阵列的脉冲超宽带雷达)也同样适用，具有适用性强、可靠性高、易部署的特点。
附图说明
图1是本发明一实施例中无接触室内多目标追踪方法整体流程示意图；
图2是本发明一实施例中的无接触室内多目标追踪方法详细流程框图；
图3a是本发明一实施例中的无接触室内多目标追踪方法的反射点分布构建模块的人体遍历房间一段积累时间得到的反射点位置估计结果示意图；
图3b是本发明一实施例中的无接触室内多目标追踪方法的反射点分布构建模块的对反射点估计结果进行聚类为和线性拟合操作后得到的环境静态反射点分布图，反映了环境静态反射物体的空间位置估计，可以利用该图辅助进行干扰消除；
图4是本发明一实施例中的室内多径信号传播模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
为了实现精确室内多目标追踪，本发明提供一种无接触室内多目标追踪方法、系统、存储介质及计算设备，利用大带宽MIMO体制的无线射频(RF)设备，如发射毫米波信号的毫米波雷达装置，在室内复杂多径条件下，利用多径信号传播规律，实现环境反射点分布构建，并利用环境反射点分布信息辅助室内复杂多径条件下的干扰消除，以无接触的方式实现对多个运动目标(人体)的精确追踪。
基于此，本发明的原理是：利用多径信号传播特性，在环境静态物体反射点分布信息未知的情况下，基于多径信号传播模型和规律计算对应环境反射点的空间位置，在目标运动的过程中自动构建环境静态物体上的反射点分布信息，后利用环境反射点分布信息辅助干扰消除，提取真实运动目标的空间位置和轨迹，实现精确可靠的室内多目标追踪。本发明消除的干扰类型包括但不限于，多径鬼影、目标伪影等虚假动态目标干扰以及由于目标被遮挡引起的能量削弱干扰。本发明无需进行任何预先数据采集和机器训练。
在室内场景中，人和环境是有机的整体，对人的感知效果往往会受到室内环境中电视、墙壁、显示屏、家具等静态物体空间分布的影响。由于多径效应的存在，当人在环境中运动时，无线射频设备(如雷达)不仅能够接收到人体和静态物体直接反射的信号，还会接收到经由人体以及静态物体多次反射的信号，导致大量多径干扰出现，真、假目标难以被区分。
多径信号传播路径反映了设备、动态目标(包括人体和多径干扰)和静态反射物体反射点之间的空间位置关系。当静态反射物体的空间位置确定时，人体和多径鬼影之存在固定的几何关系。同理，如果已经确定人体及其对应的多径鬼影的空间位置，那么静态反射物体上反射点的空间位置也就可以确定。故本发明进行室内多目标追踪的基本思路是，首先，进行环境反射点分布构建。通过获得真实运动目标(人体)及其对应多径鬼影的空间位置，实现对环境静态物体上反射点位置的求解，并构建环境反射点分布信息，获取影响目标追踪的静态反射物体的空间位置。其次，进行环境反射点分布信息辅助的多人追踪。利用获取的环境反射点分布信息辅助多人追踪，将构建的环境反射点分布作为已知信息，定位与任意真实目标相对应的多径鬼影信息并将其消除。此外，还可以根据反射体的空间分布，对目标伪影干扰以及真实目标被静态物体遮挡等异常情况进行处理，从而消除干扰，极大地提高多人追踪的准确性，实现复杂室内场景中的多目标精确追踪。
在本发明的一个实施例中，提供一种无接触室内多目标追踪方法。本实施例中，以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例所提供的室内多目标追踪方法，不仅适用于毫米波雷达，对其它具有大带宽的MIMO体制的无线射频设备(如装有天线阵列的脉冲超宽带雷达)也同样适用，具有适用性强、可靠性高、易部署的特点。所采用的装置数量通常为一个，可以通过增加装置数量进一步提升追踪效果。如图1、图2所示，该方法包括以下步骤：
1)以具有大宽带的MIMO体制的收发一体的无线射频设备的接收信号为输入，对天线阵列的接收信号进行动态目标检测，提取动态目标的空间位置信息，以获取动态距离-角度谱；
2)以动态距离-角度谱为输入，搜索动态距离-角度谱中真实目标及其对应多径鬼影组合，基于多径信号传播规律计算对应环境静态物体上反射点的空间位置，并构建环境反射点分布图；
3)以环境反射点分布图和动态距离-角度谱为输入，利用环境反射点分布信息消除干扰，提取真实运动目标的空间位置，输出精确、平滑的多目标运动轨迹，实现精确可靠的室内多目标追踪。
本实施例中，采用由加特兰微电子公司制造的型号为CAL77S244AE的商用毫米波雷达，该雷达由四根发射天线和四根接收天线(虚拟天线阵列方位向最多有八根天线，俯仰向最多有三根天线)组成。毫米波雷达信号发生器生成频率线性增加的扫频信号(也被称为chirp信号)。由于雷达chirp信号周期很短，一个chirp周期内的时间被称为快时间。连续多个数量固定的chirp信号构成一个雷达帧。雷达工作的中心频率为77GHz，带宽设置为2GHz，chirp周期为60μs，采样频率为20MHz，每秒采集20帧数据。
上述步骤1)中，将具有多根发射天线和多根接收天线的MIMO体制的毫米波雷达侧视静止放置于室内，采集目标的回波信号，获取动态距离-角度谱，包括以下步骤：
1.1)对设备天线阵列中每对收发天线的接收信号沿快时间维度进行FFT(快速傅立叶变换)得到目标的距离谱信息，将距离谱按照chirp采集的时间顺序依次排列，获得距离-时间谱；
1.2)对距离-时间谱进行静态消除，以消除静态杂波(消除静态物体回波的影响)获得动态反射信息；
本实施例中，静态消除操作不限于以下实现方式：首先求解雷达接收无线帧中所有chirp距离FFT结果的平均值，即对距离-时间谱沿时间维度求平均，然后将该值从每个chirp的距离谱中减去。
1.3)采用角度估计算法处理多天线对的动态反射信息，获取距离-角度谱；
本实施例中，角度估计算法不限于以下两种方式：方式1)沿空间维度进行FFT操作来估计目标的到达角度。该方法主要适用于线性天线阵列。方式2)MUSIC(多重信号分类)、MVDR(自适应波束赋形)等超分辨率算法。此类算法在成本受限、雷达天线阵列大小受限条件下通常具有更好的适用性，能够在一定程度上提高角度估计的精确度。
1.4)对距离-角度谱进行目标检测操作以提取动态目标(如人体、多径鬼影等)相对于设备的空间位置信息，获取动态距离-角度谱。
本实施例中，对每个雷达帧的距离-角度谱进行二维恒虚警检测(Constant FalseAlarm Rate，CFAR)可以获得动态距离-角度谱，也可使用分别沿距离和角度维度的一维CFAR代替二维CFAR。该操作能够消除环境杂波的干扰，提取谱中有效的动态目标信息。在此基础上，可使用基于密度的噪点空间聚类算法(Density-Based Spatial Clustering ofApplications with Noise，DBSCAN)对CFAR结果进行聚类，将每个簇视作一个动态目标，每簇的位置估计方法包括但不限于使用每个簇的中心位置或能量最强点的位置，将距离雷达最近的簇的位置标记为真实目标，以便后续处理。需要强调的是，目标检测及聚类算法包括但不限于上述方法。
上述步骤2)中，环境反射点分布的构建：当静态反射物体的空间位置确定时，人体和多径鬼影之间存在固定的几何关系。由于多径鬼影可能是由多个静态反射体产生的，因此有必要找出对应于同一静态反射体的多径鬼影组合。
以多径传播关系/模型进行举例，考虑到人体是具有一定厚度的物体，并且室内场景中人到设备的距离通常比较近，人体的大小不可忽略不计。如图4所示，将人体进行二维平面上的半径为Radi的圆形建模后的一个多径信号传播示意图，信号由雷达发出后经由人体和环境静态物体反射。其中A表示雷达所处的位置，B表示人体所处的位置，B1、B2和C表示人体上的反射点，D1和D2表示静态物体上的反射点，MN表示环境中的静态物体，A’表示A关于MN的对称点。由于在反射体表面的反射损失和在介质中传输的能量损耗，无线信号经过三次以上的反射后能量往往很微弱。因此，当设备固定并有一个人体在室内环境中运动时，信号在经由发射端发出后，主要经过以下四条多径传播：1)路径1：一阶反射路径，即目标直接反射路径，A-B1-A。2)路径2：二阶反射路径，信号发出后先经环境静态物体上的反射点反射后，再经由人体反射后返回，A-D1-C-A。3)路径3：二阶反射路径，与路径2的传播方向相反，信号发出后先经人体反射，再经由静态物体反射后返回，A-C-D1-A。4)路径4：三阶反射路径，信号先经静态物体反射到人体，再经人体反射回静态物体再返回无线设备，A-D2-B2-D2-A。值得注意的是，路径1和路径2、3、4分别和真实目标与虚假目标对应。路径1的信号传播路径长度与到达角度(Angle of Arrival，AoA)与真实目标(人体)相对于设备的距离和角度存在对应关系，目标相对于设备的距离近似等于路径长度的一半，到达角度等于目标相对于设备的角度。而路径2、3、4的信号传播路径长度和到达角度分别对应于三个虚假目标(即多径鬼影)相对于设备的距离和角度。
路径1、2、3、4分别对应于真实目标、多径鬼影1、多径鬼影2和多径鬼影3。此时真实目标和多径鬼影间存在如下几何关系：
(1)真实目标和多径鬼影的距离关系：
设目标以及三个多径鬼影的距离分别为Rpi(i＝1，2，3，4)。由于|AB1|≈|AC|，|CD1|≈|B2D2|，|AD2|≈|AD1|，因此有：
其中，Rp1＜Rp2＝Rp3＜Rp4。
(2)真实目标和多径鬼影的到达角度关系：
设目标以及三个多径鬼影的到达角度分别为θpi(i＝1，2，3，4)。
如图4所示，真实目标和多径鬼影1之间的到达角度差为θp2-θp1＝∠B1AC，多径鬼影2和多径鬼影3之间的到达角度差为θp4-θp3＝∠D2AD1。可以得到如下关系：
多径鬼影3的距离可以由下式计算得到：
Rp4＝Rp2+Rp3-Rp1 (3)
多径鬼影3的到达角度为：
具体的，本实施例中，构建环境反射点分布图，包括以下步骤：
2.1)以动态距离-角度谱为输入，基于多径信号传播关系，搜索动态距离-角度谱中真实目标及其对应多径鬼影组合，并计算可能的静态反射点的空间位置；每一时刻都可能根据搜索到的真实目标和多径鬼影组合计算出一个或多个静态反射点；
具体地，由于雷达、人体和静态反射体之间的相对位置的差异，距离-角度谱的分布情况是各不相同的。考虑到一般多径信号反射小于等于三次才能被雷达观测到，动态距离-角度谱存在以下三种情况：
情况1：单簇。当人体远离其他反射体或反射体反射系数较低时，在距离-角度谱中只能观察到一个具有较高能量的簇，该簇对应真实目标。
情况2：呈四边形分布的四个簇。当人体靠近某个反射体并且远离其他反射体时，除了真实目标外，距离-角度谱中还可能会出现多个多径鬼影，它们和目标一起形成了多个簇，呈四边形分布。除此之外，有两种特殊的情况可能会发生。首先(情况2.a)，对应三阶反射的多径鬼影可能因为能量太弱而无法被检测到。这会导致信号谱中出现呈三角形分布的三个簇。其次(情况2.b)，由于两条二阶反射多径的路径传播长度相同，对应的多径鬼影具有相同的距离。由于雷达的角度分辨率通常是有限的，在这两个鬼影的到达角度也近似时，二者很可能难以区分，此时真实目标和多径鬼影在动态距离-角度谱上呈线性关系，并且合并的二阶反射多径簇在人体和三阶反射多径鬼影连线的中点上。如果三阶反射鬼影能量太弱以至于无法被检测到，则信号谱中将只能找到两个簇。
情况3:来自多个反射体的多个簇。当环境中的多个反射体都与人体产生多次反射时，不同反射体产生的簇甚至还可能会重叠，这导致多径鬼影与各自对应的反射体可能无法正确关联。
值得注意的是，不论是上述哪种分布情况出现，真实目标总是距离雷达最近的。
基于上述分析，为定位同一反射体产生的多径鬼影组合，可以分为以下两种情况进行考虑：情况1:二阶反射多径对应目标的到达角度不同。在距离-角度谱中以检测到的真实目标为基准，迭代地搜索多径鬼影。如果两个候选点的距离相近(距离差不超过预设的阈值∈R)并且到达角度不同，则将它们分别指定为多径鬼影1和多径鬼影2。在距离-角度谱中可能出现多个真实目标、二阶反射多径鬼影的组合。可以通过公式(3)和公式(4)分别计算出与每个组合对应的三阶反射多径鬼影的距离和到达角度信息。情况2：二阶反射多径对应目标的到达角度相同。此时，在距离-角度谱中以真实目标为基准，迭代地搜索候选点，找到到达角度相近(角度差不超过预设的阈值∈A)并且与真实目标可以构成三点线性关系的另外两个候选点(较近候选点在真实目标和较远候选点连线的中点位置)，将较近和较远的候选点分别指定为二阶和三阶反射多径鬼影。
当真实目标和多径鬼影的组合确定，静态物体上反射点的角度等于三阶反射多径鬼影的到达角度：
θrp＝θp4 (5)
静态物体上反射点的距离可以由下式计算得到：
2.2)当目标遍历环境中不同空间位置，可观测到的静态反射点也在不断变化。积累多帧的静态反射点，构建环境反射点分布图，获取室内环境中影响追踪的静态物体的空间位置估计。需要注意的是，构建的环境反射点分布图与环境二维平面图不同。它是由环境中静态反射体上所有会产生多径鬼影的反射点组成的集合。反射系数微弱或者存在于雷达有效观测视野之外的静态物体一般不会产生多径鬼影，因此不包括在环境反射点分布图中。
本实施例中，上述步骤2.2)中，为了避免反射点估计误差和异常值的影响，可以对估计的反射点分布结果进行进一步处理：对积累的多帧的静态反射点进行聚类，并对聚类结果进行线性拟合，包括以下步骤：
2.2.1)对所有估计的静态反射点进行聚类，得到多个簇；其中，聚类算法包括但不限于DBSCAN等；
2.2.2)如果某个簇中的静态反射点数量和方差都超过了设定阈值，则对该簇进行再分类，划分为多个子簇。其中，再分类的方法包括但不限于高斯混合模型聚类(GMM)；
2.2.3)对聚类结果进行线性拟合，将环境反射点分布图映射成静态反射物体的集合，每个静态反射体都对应拟合结果中的一个线段。图3a和图3b分别展示了构建的环境反射点分布图和对环境反射点进行线性拟合后得到的静态反射体空间位置估计结果。图3a、图3b将用于辅助后续的多目标追踪。
上述步骤3)中，多目标的轨迹追踪：以环境反射点分布信息和动态距离-角度谱为输入，消除虚假目标的干扰，实现对真实目标(人体)的精确追踪。其中，消除的干扰既可以是多径鬼影、目标伪影等虚假动态目标的干扰，也可以是由于目标被遮挡引起的能量削弱。
本实施例中，多目标的轨迹追踪，包括以下步骤：
3.1)根据环境静态反射点和真实目标的空间位置判断真实目标是否被静态反射物体遮挡，若是，则在动态距离-角度谱中对遮挡区域的真实目标进行能量增强；
具体的，由于人体被遮挡时回波能量微弱，难以通过动态目标检测等操作检测到，因此，可以结合目标在上一时刻的位置信息，对当前时刻的目标的能量进行增强。
设Xt是在时刻t估计的目标位置，m是目标在一个帧时间内可以移动的距离。当Xt靠近环境反射点分布图的边缘时，可以通过一个乘法因子来增强距离-角度谱中Xt周围信号的能量。
乘法因子可以定义为：
其中，X表示距离-角度谱中的位置，n和σ是控制能量增强区域的参数，η是控制能量增强程度的参数。通过增强处理，以Xt为圆心，m为半径的圆周附近的位置的信号能量被增强，而其他位置的信号能量基本保持不变。
3.2)检测并消除多径鬼影；
3.3)检测并消除目标伪影；
3.4)将干扰消除后的多目标位置信息进行数据关联，并进行轨迹滤波处理，获得多个真实目标的运动轨迹。其中，数据关联可采用匈牙利算法，轨迹滤波可使用alpha-beta滤波器进行滤波。
上述步骤3.2)中，检测并消除多径鬼影，包括以下步骤：
3.2.1)在距离-角度谱中由近及远迭代地定位真实目标并搜索可能与该真实目标对应的多径鬼影组合；
3.2.2)如果根据某候选组合计算出的反射点与环境静态反射点分布位置重合或靠近环境静态反射点分布，则该组合被视为有效组合，保留真实目标并消除该组合中的多径鬼影。
具体的，应用CFAR算法对获取的距离-角度谱进行处理，并将距离最近的目标点指定为真实目标。搜索与真实目标对应的多径鬼影并计算相应的反射点。如果存在反射点p，则计算点p与环境反射点分布图上最近点之间的欧式距离。如果距离小于设定的阈值(例如0.1m)，则保留该目标并消除相应的多径鬼影。选择下一个真实目标。重复此过程，直到没有真实目标可供选择。
上述步骤3.3)中，检测并消除目标伪影，具体为：为了抑制目标伪影，将估计的环境反射点分布图与距离-角度谱叠加，并在环境反射点分布图的邻域中进行信号能量衰减。具体的衰减方法如下：
其中，X表示距离-角度谱上任意位置的坐标，表示X到环境反射点分布图的距离。q和σ是控制能量衰减区域的参数。
综上，本发明利用一台大带宽MIMO体制的无线射频设备向环境中发射毫米波信号，并采集运动目标(人体)以及环境静态物体反射的回波信号。考虑到室内环境中存在复杂的多径效应，真实目标的追踪效果会受到室内电视、墙壁、家具等静态物体空间分布的影响，当人在环境中运动时无线射频设备不仅能够接收到人体和静态物体直接反射的信号，还会接收到经由人体和静态物体多次反射的信号，导致大量多径鬼影出现，真、假目标难以区分。此外，除多径鬼影干扰外，还存在因人体遮挡静态物体造成的目标伪影干扰，以及真实目标被静态物体遮挡造成的目标回波能量减弱等干扰，影响室内多目标追踪的效果。
在本发明的一个实施例中，提供一种无接触室内多目标追踪系统，其包括：
动态距离-角度谱获取模块，以具有大宽带的MIMO体制的收发一体的无线射频设备的接收信号为输入，对天线阵列的接收信号进行动态目标检测，提取动态目标的空间位置信息，以获取动态距离-角度谱；
环境反射点分布图构建模块，以动态距离-角度谱为输入，搜索动态距离-角度谱中真实目标及其对应多径鬼影组合，基于多径信号传播规律计算对应环境静态物体上反射点的空间位置，并构建环境反射点分布图；
追踪模块，以环境反射点分布图和动态距离-角度谱为输入，利用环境反射点分布信息消除干扰，提取真实运动目标的空间位置，实现多目标的轨迹追踪。
上述实施例中，获取动态距离-角度谱，包括：
对设备天线阵列中每对收发天线的接收信号沿快时间维度进行FFT得到目标的距离谱信息，将距离谱按照chirp采集的时间顺序依次排列，获得距离-时间谱；
对距离-时间谱进行静态消除，以消除静态杂波获得动态反射信息；
采用角度估计算法处理多天线对的动态反射信息，获取距离-角度谱；
对距离-角度谱进行目标检测操作以提取动态目标相对于设备的空间位置信息，获取动态距离-角度谱。
上述实施例中，构建环境反射点分布图，包括：
以动态距离-角度谱为输入，基于多径信号传播关系，搜索动态距离-角度谱中真实目标及其对应多径鬼影组合，并计算可能的静态反射点的空间位置；每一时刻都可能根据搜索到的真实目标和多径鬼影组合计算出一个或多个静态反射点；
当目标遍历环境中不同空间位置，积累多帧的静态反射点，构建环境反射点分布图。
本实施例中，对积累的多帧的静态反射点进行聚类，并对聚类结果进行线性拟合，包括：
对所有估计的静态反射点进行DBSCAN聚类，得到多个簇；
如果某个簇中的静态反射点数量和方差都超过了设定阈值，则进行高斯混合模型聚类将该簇划分为多个子簇；
对聚类结果进行线性拟合，将环境反射点分布图映射成静态反射物体的集合，每个静态反射体都对应拟合结果中的一个线段。
上述实施例中，多目标的轨迹追踪，包括：
根据环境静态反射点和真实目标的空间位置判断真实目标是否被静态反射物体遮挡，若是，则在动态距离-角度谱中对遮挡区域的真实目标进行能量增强；
检测并消除多径鬼影；
检测并消除目标伪影；
将干扰消除后的多目标位置信息进行数据关联，并进行轨迹滤波处理，获得多个真实目标的运动轨迹。
上述实施例中，检测并消除多径鬼影，包括：
在距离-角度谱中由近及远迭代地定位真实目标并搜索可能与该真实目标对应的多径鬼影组合；
如果根据某候选组合计算出的反射点与环境静态反射点分布位置重合或靠近环境静态反射点分布，则该组合被视为有效组合，保留真实目标并消除该组合中的多径鬼影。
上述实施例中，检测并消除目标伪影，包括：
将估计的环境反射点分布图与距离-角度谱叠加，并在环境反射点分布图的邻域中进行信号能量衰减。
本实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
在本发明一实施例中提供的计算设备结构，该计算设备可以是终端，其可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序，该计算机程序被处理器执行时以实现上述各实施例中的方法；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、管理商网络、NFC(近场通信)或其他技术实现。该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。
在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种无接触室内多目标追踪方法，其特征在于，包括：
以具有大宽带的MIMO体制的收发一体的无线射频设备的接收信号为输入，对天线阵列的接收信号进行动态目标检测，提取动态目标的空间位置信息，以获取动态距离-角度谱；
以动态距离-角度谱为输入，搜索动态距离-角度谱中真实目标及其对应多径鬼影组合，基于多径信号传播规律计算对应环境静态物体上反射点的空间位置，并构建环境反射点分布图；
以环境反射点分布图和动态距离-角度谱为输入，利用环境反射点分布信息消除干扰，提取真实运动目标的空间位置，实现多目标的轨迹追踪。
2.如权利要求1所述无接触室内多目标追踪方法，其特征在于，获取动态距离-角度谱，包括：
对设备天线阵列中每对收发天线的接收信号沿快时间维度进行FFT得到目标的距离谱信息，将距离谱按照chirp采集的时间顺序依次排列，获得距离-时间谱；
对距离-时间谱进行静态消除，以消除静态杂波获得动态反射信息；
采用角度估计算法处理多天线对的动态反射信息，获取距离-角度谱；
对距离-角度谱进行目标检测操作以提取动态目标相对于设备的空间位置信息，获取动态距离-角度谱。
3.如权利要求1所述无接触室内多目标追踪方法，其特征在于，构建环境反射点分布图，包括：
以动态距离-角度谱为输入，基于多径信号传播关系，搜索动态距离-角度谱中真实目标及其对应多径鬼影组合，并计算可能的静态反射点的空间位置；每一时刻都可能根据搜索到的真实目标和多径鬼影组合计算出一个或多个静态反射点；
当目标遍历环境中不同空间位置，积累多帧的静态反射点，构建环境反射点分布图。
4.如权利要求3所述无接触室内多目标追踪方法，其特征在于，对积累的多帧的静态反射点进行聚类，并对聚类结果进行线性拟合，包括：
对所有估计的静态反射点进行聚类，得到多个簇；
如果某个簇中的静态反射点数量和方差都超过了设定阈值，则对该簇进行再次分类，划分为多个子簇；
对聚类结果进行线性拟合，将环境反射点分布图映射成静态反射物体的集合，每个静态反射体都对应拟合结果中的一个线段。
5.如权利要求1所述无接触室内多目标追踪方法，其特征在于，多目标的轨迹追踪，包括：
根据环境静态反射点和真实目标的空间位置判断真实目标是否被静态反射物体遮挡，若是，则在动态距离-角度谱中对遮挡区域的真实目标进行能量增强；
检测并消除多径鬼影；
检测并消除目标伪影；
将干扰消除后的多目标位置信息进行数据关联，并进行轨迹滤波处理，获得多个真实目标的运动轨迹。
6.如权利要求1所述无接触室内多目标追踪方法，其特征在于，检测并消除多径鬼影，包括：
在距离-角度谱中由近及远迭代地定位真实目标并搜索可能与该真实目标对应的多径鬼影组合；
如果根据某候选组合计算出的反射点与环境静态反射点分布位置重合或靠近环境静态反射点分布，则该组合被视为有效组合，保留真实目标并消除该组合中的多径鬼影。
7.如权利要求1所述无接触室内多目标追踪方法，其特征在于，检测并消除目标伪影，包括：
将估计的环境反射点分布图与距离-角度谱叠加，并在环境反射点分布图的邻域中进行信号能量衰减。
8.一种无接触室内多目标追踪系统，其特征在于，包括：
动态距离-角度谱获取模块，以具有大宽带的MIMO体制的收发一体的无线射频设备的接收信号为输入，对天线阵列的接收信号进行动态目标检测，提取动态目标的空间位置信息，以获取动态距离-角度谱；
环境反射点分布图构建模块，以动态距离-角度谱为输入，搜索动态距离-角度谱中真实目标及其对应多径鬼影组合，基于多径信号传播规律计算对应环境静态物体上反射点的空间位置，并构建环境反射点分布图；
追踪模块，以环境反射点分布图和动态距离-角度谱为输入，利用环境反射点分布信息消除干扰，提取真实运动目标的空间位置，实现多目标的轨迹追踪。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1至7所述方法中的任一方法。
10.一种计算设备，其特征在于，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1至7所述方法中的任一方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311096139.6A CN117191025A (zh) | 2023-08-29 | 2023-08-29 | 无接触室内多目标追踪方法、系统、存储介质及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311096139.6A CN117191025A (zh) | 2023-08-29 | 2023-08-29 | 无接触室内多目标追踪方法、系统、存储介质及计算设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117191025A true CN117191025A (zh) | 2023-12-08 |
Family
ID=89004481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311096139.6A Pending CN117191025A (zh) | 2023-08-29 | 2023-08-29 | 无接触室内多目标追踪方法、系统、存储介质及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117191025A (zh) |
-
2023
- 2023-08-29 CN CN202311096139.6A patent/CN117191025A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Adib et al. | See through walls with WiFi! | |
| Patwari et al. | RF sensor networks for device-free localization: Measurements, models, and algorithms | |
| Karanam et al. | Tracking from one side: Multi-person passive tracking with WiFi magnitude measurements | |
| US10761187B2 (en) | Liquid detection using millimeter-wave radar sensor | |
| US11327167B2 (en) | Human target tracking system and method | |
| US11054511B2 (en) | Phasor approach to signal to noise ratio measurement evaluation of physiological signals | |
| JP2013096828A (ja) | ドップラーレーダシステム、及び物体検知方法 | |
| US20230112537A1 (en) | Vital information acquisition apparatus and method | |
| CN112731366B (zh) | 室内人员的定位方法及装置、系统 | |
| Weiß et al. | Improved people counting algorithm for indoor environments using 60 GHz FMCW radar | |
| Chen et al. | Signs of life detection using wireless passive radar | |
| Hyun et al. | Human-vehicle classification scheme using doppler spectrum distribution based on 2D range-doppler FMCW radar | |
| Kong et al. | Gesture recognition system based on ultrasonic FMCW and ConvLSTM model | |
| Li et al. | Indoor Multi-Human Device-Free Tracking System Using Multi-Radar Cooperative Sensing | |
| CN117191025A (zh) | 无接触室内多目标追踪方法、系统、存储介质及计算设备 | |
| Zhang et al. | Waffle: A Waterproof mmWave-based Human Sensing System inside Bathrooms with Running Water | |
| CN114942416A (zh) | 一种状态识别方法及装置 | |
| Van Herbruggen et al. | Impact of CIR processing for UWB radar distance estimation with the DW1000 transceiver | |
| Hayashi et al. | Iterative data clustering algorithm of Doppler-associated RPM imaging for UWB human body imaging radar | |
| CN113820704A (zh) | 检测运动目标的方法、装置和电子设备 | |
| Li et al. | Stationary Human Target Detection Based on Millimeter Wave Radar in Complex Scenarios | |
| Zande | 3D Point Cloud Object Detection for Millimeter Wave Radar: a Synthesis Study | |
| US20240255633A1 (en) | Apparatus and method for tracking objects | |
| Iqbal et al. | Intelligent tracking and positioning of targets using passive sensing systems | |
| EP4184074A1 (en) | Sneezing sensing method based on wireless signal, and related apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |