CN112444805A - 基于雷达的分布式多目标检测、定位跟踪与身份识别系统 - Google Patents
基于雷达的分布式多目标检测、定位跟踪与身份识别系统 Download PDFInfo
- Publication number
- CN112444805A CN112444805A CN202011198445.7A CN202011198445A CN112444805A CN 112444805 A CN112444805 A CN 112444805A CN 202011198445 A CN202011198445 A CN 202011198445A CN 112444805 A CN112444805 A CN 112444805A
- Authority
- CN
- China
- Prior art keywords
- target
- subsystem
- radar
- data
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
- G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
- G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
- G01S13/726—Multiple target tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Electromagnetism (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明属于定位跟踪与身份识别技术领域,具体为基于雷达的分布式多目标检测、定位跟踪与身份识别系统。本发明系统包括雷达数据采集子系统、数据处理子系统、多目标跟踪子系统、身份识别子系统和智能交互子系统;雷达数据采集子系统获取包含场景和多目标信息的原始雷达数据;数据处理子系统对原始雷达数据进行数字信号处理,得到包含场景和多目标信息的雷达特征数据;多目标跟踪子系统采用多目标跟踪与身份识别子系统的双向反馈机制对多目标进行检测跟踪;身份识别子系统对多目标的身份和轨迹识别;本发明适用于智能家居、智能楼宇、智慧医疗、智慧城市等多种领域。
Description
技术领域
本发明属于定位跟踪与身份识别技术领域,具体涉及一种基于雷达的分布式多目标检测、定位跟踪与身份识别系统。
背景技术
随着科学技术的发展与进步,现代社会生产生活的智能化程度越来越高,智能家居、智能楼宇、智慧医疗、智慧城市等多种领域对人员检测、跟踪与识别技术的需求越来越强烈。通过检测场景内人员的状态(位置、运动、身份等),可以有效地为后续联动门禁、照明、空调等多种电器电子设备,为实现生产生活智能化提供了可靠的技术支持。
目前已存在一些检测场景内人员状态的技术,然而现有方案存在如下应用场景和性能上的缺陷:
1、现有的人员检测与定位跟踪技术除了雷达以外,还包括红外传感器、光学摄像头、超声波传感器和深度传感器等。红外传感器容易受到光照、温度和遮挡影响,光学摄像头获取二维图像信息,易受光照和遮挡等因素影响,对运动目标不敏感,有侵犯隐私风险,如已有专利[1];超声波传感器受限于声波的传播速度和距离等因素限制,受衍射影响明显,如已有专利[2]所述;深度传感器获取三维图像信息,对运动目标不敏感,有侵犯隐私风险。
2、当前身份识别主要分为接触式方案(掌纹和指纹识别)和非接触式方案(虹膜识别、光学摄像头识别和雷达识别等)。如已有专利[3]所述,基于掌纹和指纹方式的识别方案需要保证手掌与设备接触,且当手掌表皮破损会严重影响识别准确度;而虹膜识别的识别范围较小,适用场景有限;光学摄像头易受光照和遮挡等因素的影响,且需要采集人脸和身体轮廓等信息,不适用于隐私保护场合,适用范围有限;基于传统雷达方案虽然能够实现对人体目标的中远距离识别,但由于其分辨率的限制,导致对目标的特征提取不完备,无法达到高准确率的识别效果。
3、对于当前的雷达目标(人员)跟踪方案而言,也存在一些局限性。如专利[3]所述,普通雷达跟踪(非超宽带雷达)距离分辨率不足,而超宽带雷达由于有限天线阵列下角度分辨率不足,识别精度有限。
4、当前雷达目标跟踪方案在对多目标进行跟踪时,存在目标跟踪的数量上限问题。
5、目前基于雷达的检测场景内人员跟踪与检测技术中,在多目标间距较近的情况下,雷达测得的多目标点云数据容易混淆,如何将混淆的点云数据准确地匹配到相应目标的轨迹上是一个难题。现如今主流的做法是借助卡尔曼滤波的方式,对不同目标的点云簇进行跟踪滤波处理,然而单一的滤波跟踪方式所获取追信息不完备,在多目标点云数据交叉时无法实现对多目标点云的准确匹配,所达到的跟踪精度与稳定性有限,如现有专利[5,6]所述。
6、如何克服现有检测场景内人员跟踪与检测方案的不足,在检测场景内环境下对多个目标进行准确定位和稳定跟踪是目前亟待解决的问题。
发明内容
本发明的目的在于提出一种能够便捷、稳定、准确地对检测场景内多目标(人员)进行检测、跟踪和身份识别的系统。
本发明提出的多目标检测、定位跟踪与身份识别系统,具体为一种基于雷达的分布式传感器系统。具体包括雷达数据采集子系统、数据处理子系统、多目标跟踪子系统、身份识别子系统和智能交互子系统。其中:
所述雷达数据采集子系统,其硬件部分包括雷达射频前端、晶振、发射天线、接收天线、通信组件、模数转换器、微控制单元(Microcontroller Unit,MCU)、电源组件与外围配套电路等。其中,雷达射频前端、晶振,以及发射天线和接收天线共同完成向当前场景发射和接收线性调频连续波(LFMCW)的任务;模数转换器用于将接收到的模拟信号转换成数字信号;通信组件用于与其他模块进行通信和数据处理;微控制单元用于对雷达进行参数配置和数据预处理等;电源组件用于为雷达数据采集子系统提供电量支持;外围电路用于连接子系统内部各个模块和器件。
所述数据处理子系统,其硬件部分包括MCU、数字信号处理器(DSP)、现场可编程门阵列(PGA)、智能手机和计算机等具有一定信号处理能力的设备。具体流程为:雷达数据采集子系统将采集到的包含多目标运动特征的原始数据传入数据处理子系统,在包含MCU和DSP模块的计算设备中进行目标检测、到达角估计、特征数据聚类和数据特征提取,然后将得到的特征数据通过有线或无线方式传递给多目标跟踪子系统和多目标身份识别子系统中。
所述多目标跟踪子系统,其硬件设备为边缘端计算模块,具体包括计算单元、存储单元与通信单元等主要组件,如智能手机、智能电视、智能空调等。利用边缘端计算模块对多目标特征数据匹配关联和卡尔曼滤波等一系列处理,结合多目标身份识别子系统的反馈结果,完成目标状态更新,获得多目标跟踪的结果,并将结果传递给多目标身份识别子系统。
所述多目标身份识别子系统,其硬件部分包含边缘端计算模块和云端计算模块。边缘端计算模块为包含计算单元、存储单元与通信单元等主要组件,且具有较少计算存储能力的硬件设备,如智能手机、智能电视、智能空调等;云端计算模块为包括计算单元、存储单元与通信单元等主要组件,且具备高性能计算和存储能力的设备,如服务器等。具体流程为:对于由数据处理子系统获取含有多目标的特征数据,首先,判断该时刻特征数据是否存在分类模型,若当前特征数据存在分类模型,则直接送入多目标特征数据进行实时分类;若该多目标特征数据不存在分类模型,则利用其构建多目标特征数据集;然后,对该特征数据集进行判断,若其数据量足够支撑使用神经网络进行训练,则利用人工神经网络对当前特征数据进行训练,将获得的分类模型存储在云端计算模块,并将此分类模型实时传递到边缘端计算模块;若当前特征数据的数据集不足以支撑神经网络的训练,则对现有特征数据集采用传统分类的方法进行分类,并将分类获得的模型实时传递给多目标特征数据实时分类模块。与此同时,结合多目标追踪子系统中所获取的多目标更新状态结果,完成身份识别参数的迭代更新,并获取身份识别结果,利用有线或者无线的方式,将多目标身份信息和轨迹追踪结果传递如智能交互子系统中。
所述智能交互子系统,其硬件部分包括图形用户界面模块,具体为具有实时人机交互、通信和显示功能的设备,如显示器和显示屏等设备。具体流程为:多目标追踪子系统中的边缘端计算模块将多目标追踪的身份信息和轨迹信息传递给显示设备,显示设备将当前多目标信息进行实时显示;同时,边缘端根据当前多目标信息下达相关控制指令,传递给当前场景下的终端设施,完成实时响应。
本发明中,所述雷达数据采集子系统中,所采用雷达体制包括脉冲雷达、连续波雷达、脉部压缩雷达和频率捷变等所有电磁波类型雷达,也可以是激光雷达、超声雷达等非电磁波类型雷达。
本发明中,所述雷达数据采集子系统中,具有多个传感器端,设置在检测场景内,进行时间同步数据采集和信号处理,实现优于单个传感器的效果,如增大视场角(减少盲区)、获得多视角特征、提升角度测量能力等。
本发明中,所述数据处理子系统对原始中频信号进行处理提取特征信息的过程,包括快速傅里叶变换(FFT)、目标检测、到达角估计和特征数据聚类、特征数据提取等处理。提取到的多目标特征信息包括但不限于距离-多普勒图、距离-时间图、多普勒-时间图、方位角-时间图、俯仰角-时间图和三维点云等,通过有线或无线的方式被传递给多目标跟踪子系统和多目标身份识别子系统。
本发明中,所述多目标追踪子系统和身份识别子系统中,将身份识别结果和定位跟踪结果进行交叉验证的双向反馈机制方案,将目标位置和轨迹特征用于辅助身份识别,身份识别结果反过来用于定位跟踪中辅助轨迹匹配,能够有效提高多目标定位跟踪和身份识别的精度和鲁棒性。
本发明中,所述多目标跟踪子系统对多目标完成跟踪的过程包括:多运动目标信息确认、目标位置与运动参数估计、数据关联与起始跟踪、卡尔曼滤波和多目标状态更新等一系列数据处理过程。
本发明中,所述身份识别子系统包括云端和边缘端两个模块,云端用于构建并存储多目标特征数据集,训练分类模型,运行深度学习(人工神经网络)分类,边缘端用于运行不依赖分类模型的传统分类方法和调用云端训练的分类模型的深度学习分类方法。
本发明中,所述身份识别子系统在对多目标特征数据进行分类时,采取人工神经网络和传统分类方法结合的方式,具体结合方式为当多目标特征数据量不足以训练分类模型时,在边缘端采用不依赖分类模型的传统分类方法进行分类,具体是指利用贝叶斯分类和动态时间规整等方法对少样本数据集进行分类;当多目标特征数据量足以训练分类模型时,在云端训练分类模型,并将分类模型传递到边缘端,在边缘端或云端进行分类识别。
本发明中,针对所述身份识别子系统中存在身份识别人员上限的问题,本发明采用细分场景目标识别的方式,通过对不同场景的长时间数据特征挖掘,以人工校正辅助的方式,有效地将人员与场景进行匹配,存储后用于针对特定场景多人员识别。
本发明中,在所述身份识别子系统中,结合无监督学习(数据聚类得到隐性标签)与有监督学习,对多目标的特征数据进行分类识别;与此同时,采用在线数据收集与在线训练的方式,结合自我学习进化的自适应机器学习算法,有效提升多目标身份识别的精度。
本发明中,所述多目标特征数据集,包括:不同年龄、不同性别、不同身材人员的运动(减去静态)状态和静态人体(减去场景)特征(大阵列点云成像获得的3维人体结构)。人员运动的运动状态包括行走状态和行走姿态,行走状态包括快走、慢走、随意走、直线行走、往返行走、绕圈行走等;行走姿态包括外八字行走、内八字行走、猫步行走、大幅甩手行走和跳跃行走等。
本发明中,所述智能交互子系统包括接收边缘端输出的多目标身份与轨迹信息,实时显示或转化为控制指令,对雷达传感器连接的终端硬件设备或软件应用进行控制。
本发明中,所述雷达传感器,包括集成传感器和独立传感器,集成传感器可集成在受控的硬件设备中,如电视、空调、冰箱和洗衣机等。独立传感器是指由无需集成的传感器,如安置在房门、墙壁和天花板等位置的传感器设备。
本发明中,系统工作流程为:
(1)通过有线或者无线连接的方式,使各个子系统建立稳定通信;
(2)根据实际应用场景需求,确定传感器数量、传感器位置、雷达坐标系、雷达参数、目标特征数据和算法设计;
(3)雷达数据采集子系统向当前场景发射雷达波,将接收到含有多目标信息的回波信号经过混频滤波和ADC采样等一系列相关处理后,得到包含多目标特征信息的原始数据;
(4)数据处理子系统通过对原始数据做FFT、目标检测、到达角估计和特征数据聚类、特征数据提取等处理后,提取包含多目标位置、运动参数、轮廓和姿态等多种独特的身份特征信息;
(5)若检测到场景中无目标信号,各子系统处于省电(低功耗)模式,当检测到场景中存在有效目标,各子系统转变至正常工作模式,并将在边缘端执行目标定位跟踪流程,以及在云端执行目标特征数据集构建流程;
(6)若所构建的特征数据中的数据量足以支撑分类模型的训练,则在云端进行分类模型的训练和调用分类模型进行多目标身份识别等任务;反之,则在本地边缘端利用不依赖分类模型的传统分类方法进行多目标身份识别任务;
(7)将在边缘端或云端的目标检测、定位跟踪和分类识别结果通过有线或无线的方式传递给智能交互子系统;
(8)智能交互子系统对接收数据进行显示,以及转化为控制指令,传递给终端硬件设备或软件应用,终端设置根据控制命令做出相关的响应。
针对雷达在有限天线阵列下角度分辨率不足引起的目标识别精度较低这一问题,本发明提出分布式传感器技术方案,即通过在检测场景内设置多个时间同步的传感器端,同步进行数据采集和信号处理,增大视场角,提升角度测量能力。分布式传感器的优势包括两个方面:一是从不同角度观察相同的感兴趣空间,增大视场角,避免检测盲区;二是可利用分布式传感器的合成天线阵列角度估计算法提升角度测量能力,可有效解决单一传感器观察视角受限与角度分辨率不足的问题。
针对身份识别存在的人员识别数量上限的问题,本发明采用细分场景目标识别的方式,通过对不同场景的长时间数据特征挖掘,以人工校正辅助的方式,有效地将人员与场景进行匹配,存储后用于针对特定场景多人员识别。
针对多目标定位跟踪与身份识别存在的目标轨迹与身份混淆问题,本发明设计了将身份识别结果和定位跟踪结果进行交叉验证的双向反馈机制,能够有效提高多目标定位跟踪和身份识别的精度和鲁棒性。
本发明系统通过检测场景内人员状态(如运动状态、位置和身份等信息),实现人员存在检测、人员计数、人流统计、人员身份识别、人员位置统计、人员轨迹跟踪等功能,进而联动门禁、照明、空调和显示设备等各种终端设施,适用于智能家居、智能楼宇、智慧医疗、智慧城市等多种领域。
本发明系统用于智能家居、智能楼宇、智慧医疗、智慧城市等场景,具备以下优点:
(1)不受光照、温度、烟雾沙尘影响,且具备穿透或绕射一定厚度的非金属障碍物的能力,抗干扰能力强,适用场景广泛;
(2)雷达工作所采用的毫米波功率较低,且不易发生电离,于人无害;
(3)无需接触或穿戴电子设备,便捷性较高;
(4)目标人员可以自由行走,不受运动状态限制,且适用于较大范围的运动,舒适性较高;
(5)无需采集人体声音和外貌等特征,具有很好的隐私性;
(6)可在被检测目标不知情的情况下完成对目标的探测,具有较强的隐蔽性;
(7)雷达数据采集子系统和雷达数据处理子系统被集成在组件中,尺寸较小,集成能力强,方便携带安装;
(8)既可作为集成传感器集成到现有电器电子设备中工作,又可作为独立传感器工作,灵活度高;
(9)采用边缘端与云端结合的分类方案,适用场景广;
(10)可以通过有线或者无线的方式与现有物联网设备连接,且适用于嵌入式设备、智能手机和计算机等终端,移植能力较高;
(11)设计多目标定位跟踪与身份识别双向反馈验证的方案,鲁棒性和精度高。
附图说明
图1本发明一个实施例中的应用场景示意图。
图2本发明一个实施例中的实施过程流程图。
图3本发明一个实施例中所设计分布式传感器示意图。
图4本发明一个实施例中所设计的独立传感器结构示意图。
图5本发明一个实施例中所设计的集成传感器结构示意图。
图中标号:1为USB供电接口;2为数据传输接口;3为收发天线阵列;4为射频电路;5为电源模块(包括充电模块和供电模块);6为蓝牙通信模块和WiFi通信模块;7为数据存储模块;8为中央处理器模块;9为与显示屏数据传输接口;10为辅助数据存储模块。
具体实施方式
下面结合实施例和附图对本发明作出进一步说明。但本发明的保护范围不限于下述实施例。
实施例的应用场景如下图1所示,具体流程如图2所示。
(1)在一个近似于图1的办公场景中,将所述雷达数据采集子系统和数据处理系统设置于电梯、卫生间、门、办公区和天花板,简称独立传感器端。将所述雷达数据采集子系统和数据处理系统集成在诸如自动贩售机、空调、灯光设备和显示屏等硬件设施中,简称集成传感器端。为每一个设置的传感器端进行编号,卫生间和电梯等场合设置传感器有效探测范围为1.5米,门和办公区传感器探测范围为2米,防止误测。
(2)根据当前办公场景建立初始多目标特征数据集,包括不同年龄、不同性别、不同身材人员的运动(减去静态)状态和静态人体(减去场景)特征(大阵列点云成像获得的3D人体结构)。定义快走、慢走、随意走、直线行走、往返行走、绕圈行走、外八字行走、内八字行走、猫步行走、大幅甩手行走和跳跃行走等十一种目标运动状态。每个个体目标每种运动状态均采集300个样本数据。筛选所述数据集,筛选标准包括利用不同类别之间数据的差异和类间数据的相似,剔除异常数据;通过对所获取的样本数据处理,提取其特征数据,包括距离多普勒图和点云数据等;利用自定义神经网络对当前的多目标进行识别分类和轨迹跟踪,并将分类模型储存至云端。
(3)开启毫米波雷达,保证其实现实时通信,根据当前场景的实际需要,加载当前场景所需雷达参数设置。
(4)如(1)中所述得独立传感器端和集成传感器端开始工作,实时发射周期线性调频连续波,当有目标出现时,实时捕捉当前目标的回波数据,经混频和模拟数字转换采样后得到雷达原始特征数据,并实时传递给数据处理子系统。
(5)数据处理子系统对雷达原始特征数据进行实时处理,即微控制单元(MCU)和数字信号处理器(DSP),对雷达原始数据进行实时处理,具体包括距离FFT、速度FFT、目标检测、到达角估计、特征数据聚类和特征数据提取等过程,得到包含当前目标的距离、速度、方位角、俯仰角、能量分布和点云空间分布等多种特征参数,并得到距离-多普勒图、距离-时间图、多普勒-时间图、方位角-时间图、俯仰角-时间图和三维点云图等特征数据,将这些特征数据实时传递给多目标跟踪子系统和身份识别子系统。
(6)身份识别子系统获取多目标特征数据后,首先对当前特征数据进行判断,结合云端存储的特征数据分类模型,判断当前特征数据是否为某一人员,若为确定人员特征数据,则将分类结果直接输出;若不是已确定人员特征数据,则将当前特征数据保存并更新分类模型,添加为新的人员,将当前特征数据与当前人员的身份标签存储至云端。与此同时,将多目标身份信息和轨迹信息实时传递给智能交互子系统。
(7)利用智能交互子系统将当前分类识别的结果传递给边缘端,同时边缘端根据当前分类识别的结果对终端设备发布控制指令,例如,若识别到属于当前检测场景(房间)的人员出现,则打开房间门;若在库人员出现在会议室,则开启会议设备。
参考文献
[1]天津大学.一种基于视频图像的检测场景内人员检测方法:
CN201811138806.1[P].2019-03-15.
[2]杭州麦乐克科技股份有限公司.一种检测场景内人体数量估算装置:
CN201910614150.4[P].2019-10-01.
[3]深圳市海谱纳米光学科技有限公司.一种高光谱指纹识别系统以及指纹识别方法:
CN202010365600.3[P].2020-08-18.
[4]意诺科技有限公司.毫米波雷达目标识别方法:CN201911285358.2[P].2020-05-26.
[5]浙江大学.一种毫米波雷达多目标跟踪方法:CN201910661302.6[P].2019-10-22.
[6]四川长虹电器股份有限公司.用于毫米波雷达目标跟踪的点云划分与航迹匹配方法:
CN202010244026.6[P].2020-06-16.。
Claims (14)
1.一种基于雷达的分布式多目标检测、定位跟踪与身份识别系统,其特征在于,包括雷达数据采集子系统、数据处理子系统、多目标跟踪子系统、身份识别子系统和智能交互子系统;其中:
所述雷达数据采集子系统,其硬件部分包括雷达射频前端、晶振、发射天线、接收天线、通信组件、模数转换器、微控制单元(MCU)、电源组件与外围配套电路;其中,雷达射频前端、晶振,以及发射天线和接收天线共同完成向当前场景发射和接收线性调频连续波的任务;模数转换器用于将接收到的模拟信号转换成数字信号;通信组件用于与其他模块进行通信和数据处理;微控制单元用于对雷达进行参数配置和数据预处理等;电源组件用于为雷达数据采集子系统提供电量支持;外围电路用于连接子系统内部各个模块和器件;
所述数据处理子系统,其硬件部分包括MCU、数字信号处理器(DSP)、现场可编程门阵列(PGA)、智能手机和计算机这些具有一定信号处理能力的设备;工作流程为:雷达数据采集子系统将采集到的包含多目标运动特征的原始数据传入数据处理子系统,在包含MCU和DSP模块的计算设备中进行目标检测、到达角估计、特征数据聚类和数据特征提取,然后将得到的特征数据通过有线或无线方式传递给多目标跟踪子系统和多目标身份识别子系统中;
所述多目标跟踪子系统,其硬件设备为边缘端计算模块,具体包括计算单元、存储单元与通信单元这些主要组件,具体包括智能手机、智能电视或智能空调;边缘端计算模块对多目标特征数据进行匹配关联和卡尔曼滤波一系列处理,结合多目标身份识别子系统的反馈结果,完成目标状态更新,获得多目标跟踪的结果,并将结果传递给多目标身份识别子系统;
所述多目标身份识别子系统,其硬件部分包含边缘端计算模块和云端计算模块;边缘端计算模块包含计算单元、存储单元与通信单元这些主要组件,且具有较少计算存储能力的硬件设备,包括智能手机、智能电视或智能空调;云端计算模块包括计算单元、存储单元与通信单元这些主要组件,且具备高性能计算和存储能力的设备;工作流程为:对于由数据处理子系统获取的含有多目标的特征数据,首先,判断该时刻特征数据是否存在分类模型,若当前特征数据存在分类模型,则直接送入多目标特征数据进行实时分类;若该多目标特征数据不存在分类模型,则利用其构建多目标特征数据集;然后,对该特征数据集进行判断,若其数据量足够支撑使用神经网络进行训练,则利用人工神经网络对当前特征数据进行训练,将获得的分类模型存储在云端计算模块,并将此分类模型实时传递到边缘端计算模块;若当前特征数据的数据集不足以支撑神经网络的训练,则对现有特征数据集采用传统分类的方法进行分类,并将分类获得的模型实时传递给多目标特征数据实时分类模块;与此同时,结合多目标追踪子系统中所获取的多目标更新状态结果,完成身份识别参数的迭代更新,并获取身份识别结果,利用有线或者无线的方式,将多目标身份信息和轨迹追踪结果传递如智能交互子系统中;
所述智能交互子系统,其硬件部分包括图形用户界面模块,具体为具有实时人机交互、通信和显示功能的设备;工作流程为:多目标追踪子系统中的边缘端计算模块将多目标追踪的身份信息和轨迹信息传递给显示设备,显示设备将当前多目标信息进行实时显示;同时,边缘端根据当前多目标信息下达相关控制指令,传递给当前场景下的终端设施,完成实时响应。
2.根据权利要求1所述的系统,其特征在于,所述雷达数据采集子系统中,所采用雷达体制为电磁波类型雷达或非电磁波类型雷达;电磁波类型雷达包括脉冲雷达、连续波雷达、脉部压缩雷达或频率捷变雷达,非电磁波类型雷达包括激光雷达、超声雷达。
3.根据权利要求2所述的系统,其特征在于,所述雷达数据采集子系统中,具有多个传感器端,设置在检测场景内,进行时间同步数据采集和信号处理。
4.根据权利要求3所述的系统,其特征在于,所述数据处理子系统对原始中频信号进行处理提取特征信息的过程,包括快速傅里叶变换、目标检测、到达角估计和特征数据聚类、特征数据提取;提取到的多目标特征信息包括距离-多普勒图、距离-时间图、多普勒-时间图、方位角-时间图、俯仰角-时间图和三维点云,通过有线或无线的方式被传递给多目标跟踪子系统和多目标身份识别子系统。
5.根据权利要求1所述的系统,其特征在于,所述多目标追踪子系统和身份识别子系统中,采用身份识别结果和定位跟踪结果进行交叉验证的双向反馈机制方案,将目标位置和轨迹特征用于辅助身份识别,身份识别结果反过来用于定位跟踪中辅助轨迹匹配。
6.根据权利要求1所述的系统,其特征在于,所述多目标跟踪子系统对多目标完成跟踪的过程包括:多运动目标信息确认、目标位置与运动参数估计、数据关联与起始跟踪、卡尔曼滤波和多目标状态更新这些数据处理过程。
7.根据权利要求1所述的系统,其特征在于,所述身份识别子系统包括云端和边缘端两个模块,云端模块用于构建并存储多目标特征数据集,训练分类模型,运行深度学习的人工神经网络分类,边缘端模块用于运行不依赖分类模型的传统分类方法和调用云端训练的分类模型的深度学习分类方法。
8.根据权利要求1所述的系统,其特征在于,所述身份识别子系统在对多目标特征数据进行分类时,采取人工神经网络和传统分类方法结合的方式,具体结合方式为当多目标特征数据量不足以训练分类模型时,在边缘端采用不依赖分类模型的传统分类方法进行分类,具体是指利用贝叶斯分类和动态时间规整方法对少样本数据集进行分类;当多目标特征数据量足以训练分类模型时,在云端训练分类模型,并将分类模型传递到边缘端,在边缘端或云端进行分类识别。
9.根据权利要求1所述的系统,其特征在于,针对所述身份识别子系统中存在身份识别人员上限的问题,采用细分场景目标识别的方式,通过对不同场景的长时间数据特征挖掘,以人工校正辅助的方式,将人员与场景进行匹配,存储后用于针对特定场景多人员识别。
10.根据权利要求1所述的系统,其特征在于,在所述身份识别子系统中,结合无监督学习与有监督学习,对多目标的特征数据进行分类识别;与此同时,采用在线数据收集与在线训练的方式,结合自我学习进化的自适应机器学习算法,以提升多目标身份识别的精度。
11.根据权利要求1所述的系统,其特征在于,所述多目标特征数据集,包括:不同年龄、不同性别、不同身材人员的运动、状态和静态人体特征;人员运动的运动状态包括行走状态和行走姿态,行走状态包括快走、慢走、随意走、直线行走、往返行走、绕圈行走;行走姿态包括外八字行走、内八字行走、猫步行走、大幅甩手行走和跳跃行走。
12.根据权利要求1所述的系统,其特征在于,所述智能交互子系统包括接收边缘端输出的多目标身份与轨迹信息,实时显示或转化为控制指令,对雷达传感器连接的终端硬件设备或软件应用进行控制。
13.根据权利要求1所述的系统,其特征在于,所述雷达传感器,包括集成传感器和独立传感器,集成传感器可集成在受控的硬件设备中,硬件设备包括电视、空调、冰箱和洗衣机等;独立传感器是指无需集成的传感器,安置在房门、墙壁和天花板等位置。
14.根据权利要求1所述的系统,其特征在于,系统工作流程为:
(1)通过有线或者无线连接的方式,使各个子系统建立稳定通信;
(2)根据实际应用场景需求,确定传感器数量、传感器位置、雷达坐标系、雷达参数、目标特征数据和算法设计;
(3)雷达数据采集子系统向当前场景发射雷达波,将接收到含有多目标信息的回波信号经过混频滤波和ADC采样一系列相关处理后,得到包含多目标特征信息的原始数据;
(4)数据处理子系统通过对原始数据做FFT、目标检测、到达角估计和特征数据聚类、特征数据提取处理后,提取包含多目标位置、运动参数、轮廓和姿态等多种独特的身份特征信息;
(5)若检测到场景中无目标信号,各子系统处于省电模式,当检测到场景中存在有效目标,各子系统转变至正常工作模式,并将在边缘端执行目标定位跟踪流程,以及在云端执行目标特征数据集构建流程;
(6)若所构建的特征数据中的数据量足以支撑分类模型的训练,则在云端进行分类模型的训练和调用分类模型进行多目标身份识别;反之,则在本地边缘端利用不依赖分类模型的传统分类方法进行多目标身份识别;
(7)将在边缘端或云端的目标检测、定位跟踪和分类识别结果通过有线或无线的方式传递给智能交互子系统;
(8)智能交互子系统对接收数据进行显示,以及转化为控制指令,传递给终端硬件设备或软件应用,终端设置根据控制命令做出相关的响应。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011198445.7A CN112444805A (zh) | 2020-11-01 | 2020-11-01 | 基于雷达的分布式多目标检测、定位跟踪与身份识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011198445.7A CN112444805A (zh) | 2020-11-01 | 2020-11-01 | 基于雷达的分布式多目标检测、定位跟踪与身份识别系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112444805A true CN112444805A (zh) | 2021-03-05 |
Family
ID=74735534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011198445.7A Pending CN112444805A (zh) | 2020-11-01 | 2020-11-01 | 基于雷达的分布式多目标检测、定位跟踪与身份识别系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112444805A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113253255A (zh) * | 2021-05-11 | 2021-08-13 | 浙江大学 | 一种多点位多传感器目标监测系统和方法 |
CN113777601A (zh) * | 2021-09-14 | 2021-12-10 | 无锡威孚高科技集团股份有限公司 | 一种基于特征的目标跟踪优化方法、装置和存储介质 |
CN113835074A (zh) * | 2021-08-04 | 2021-12-24 | 南京常格科技发展有限公司 | 一种基于毫米波雷达的人流量动态监测方法 |
CN114140997A (zh) * | 2021-12-06 | 2022-03-04 | 河北地质大学 | 养老院卫生间老人滞留及身体状况监测预警系统及方法 |
CN114387672A (zh) * | 2022-01-18 | 2022-04-22 | 北京理工大学 | 一种基于时-空-频三维雷达点云的人体行为分类方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020072963A1 (en) * | 1999-03-09 | 2002-06-13 | Jonge Wiebren De | Traffic information & pricing (TIP) system |
US20060229896A1 (en) * | 2005-04-11 | 2006-10-12 | Howard Rosen | Match-based employment system and method |
CN103235315A (zh) * | 2013-04-17 | 2013-08-07 | 苏州麦杰智能科技有限公司 | 一种多机动目标跟踪系统 |
CN106096791A (zh) * | 2016-06-24 | 2016-11-09 | 电子科技大学 | 一种多监视区域下的mimo雷达偏好优化布站方法 |
CN106314438A (zh) * | 2016-08-15 | 2017-01-11 | 西北工业大学 | 一种司机驾驶轨迹中异常轨迹的检测方法和系统 |
CN107220532A (zh) * | 2017-04-08 | 2017-09-29 | 网易(杭州)网络有限公司 | 用于通过声音识别用户身份的方法及设备 |
CN109212513A (zh) * | 2018-09-29 | 2019-01-15 | 河北德冠隆电子科技有限公司 | 多目标在雷达间数据传递、数据融合及连续跟踪定位方法 |
CN109447121A (zh) * | 2018-09-27 | 2019-03-08 | 清华大学 | 一种视觉传感器网络多目标跟踪方法、装置及系统 |
US20190128998A1 (en) * | 2017-10-30 | 2019-05-02 | Yekutiel Josefsberg | Radar target detection and imaging system for autonomous vehicles with ultra-low phase noise frequency synthesizer |
CN110197502A (zh) * | 2019-06-06 | 2019-09-03 | 山东工商学院 | 一种基于身份再识别的多目标跟踪方法及系统 |
CN110687816A (zh) * | 2019-10-31 | 2020-01-14 | 复旦大学 | 基于毫米波雷达的智能家居控制系统和方法 |
CN110794395A (zh) * | 2019-10-12 | 2020-02-14 | 南京航空航天大学 | 组网雷达多目标跟踪时间资源与信号带宽联合优化方法 |
CN111523465A (zh) * | 2020-04-23 | 2020-08-11 | 中船重工鹏力(南京)大气海洋信息系统有限公司 | 基于摄像机标定及深度学习算法的船舶身份识别系统 |
CN111738060A (zh) * | 2020-05-07 | 2020-10-02 | 复旦大学 | 基于毫米波雷达的人体步态识别系统 |
-
2020
- 2020-11-01 CN CN202011198445.7A patent/CN112444805A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020072963A1 (en) * | 1999-03-09 | 2002-06-13 | Jonge Wiebren De | Traffic information & pricing (TIP) system |
US20060229896A1 (en) * | 2005-04-11 | 2006-10-12 | Howard Rosen | Match-based employment system and method |
CN103235315A (zh) * | 2013-04-17 | 2013-08-07 | 苏州麦杰智能科技有限公司 | 一种多机动目标跟踪系统 |
CN106096791A (zh) * | 2016-06-24 | 2016-11-09 | 电子科技大学 | 一种多监视区域下的mimo雷达偏好优化布站方法 |
CN106314438A (zh) * | 2016-08-15 | 2017-01-11 | 西北工业大学 | 一种司机驾驶轨迹中异常轨迹的检测方法和系统 |
CN107220532A (zh) * | 2017-04-08 | 2017-09-29 | 网易(杭州)网络有限公司 | 用于通过声音识别用户身份的方法及设备 |
US20190128998A1 (en) * | 2017-10-30 | 2019-05-02 | Yekutiel Josefsberg | Radar target detection and imaging system for autonomous vehicles with ultra-low phase noise frequency synthesizer |
CN109447121A (zh) * | 2018-09-27 | 2019-03-08 | 清华大学 | 一种视觉传感器网络多目标跟踪方法、装置及系统 |
CN109212513A (zh) * | 2018-09-29 | 2019-01-15 | 河北德冠隆电子科技有限公司 | 多目标在雷达间数据传递、数据融合及连续跟踪定位方法 |
CN110197502A (zh) * | 2019-06-06 | 2019-09-03 | 山东工商学院 | 一种基于身份再识别的多目标跟踪方法及系统 |
CN110794395A (zh) * | 2019-10-12 | 2020-02-14 | 南京航空航天大学 | 组网雷达多目标跟踪时间资源与信号带宽联合优化方法 |
CN110687816A (zh) * | 2019-10-31 | 2020-01-14 | 复旦大学 | 基于毫米波雷达的智能家居控制系统和方法 |
CN111523465A (zh) * | 2020-04-23 | 2020-08-11 | 中船重工鹏力(南京)大气海洋信息系统有限公司 | 基于摄像机标定及深度学习算法的船舶身份识别系统 |
CN111738060A (zh) * | 2020-05-07 | 2020-10-02 | 复旦大学 | 基于毫米波雷达的人体步态识别系统 |
Non-Patent Citations (5)
Title |
---|
宋志勇等: "雷达回波序列中弱小飞机目标检测跟踪数据集", 《中国科学数据(中英文网络版)》 * |
张梅: "基于合成孔径雷达的海警舰船检测与监视", 《舰船电子工程》 * |
王俊辉等: "一种分布式雷达网信息处理仿真平台", 《空军雷达学院学报》 * |
王峰等: "利用序列ISAR图像获取空间目标3-D信息的方法", 《遥感技术与应用》 * |
邵振海等: "基于毫米波雷达技术的新型安防系统在基站无人值守中的应用", 《通信与信息技术》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113253255A (zh) * | 2021-05-11 | 2021-08-13 | 浙江大学 | 一种多点位多传感器目标监测系统和方法 |
CN113835074A (zh) * | 2021-08-04 | 2021-12-24 | 南京常格科技发展有限公司 | 一种基于毫米波雷达的人流量动态监测方法 |
CN113835074B (zh) * | 2021-08-04 | 2024-01-16 | 南京常格科技发展有限公司 | 一种基于毫米波雷达的人流量动态监测方法 |
CN113777601A (zh) * | 2021-09-14 | 2021-12-10 | 无锡威孚高科技集团股份有限公司 | 一种基于特征的目标跟踪优化方法、装置和存储介质 |
CN114140997A (zh) * | 2021-12-06 | 2022-03-04 | 河北地质大学 | 养老院卫生间老人滞留及身体状况监测预警系统及方法 |
CN114140997B (zh) * | 2021-12-06 | 2024-01-16 | 河北地质大学 | 养老院卫生间老人滞留及身体状况监测预警系统及方法 |
CN114387672A (zh) * | 2022-01-18 | 2022-04-22 | 北京理工大学 | 一种基于时-空-频三维雷达点云的人体行为分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112444805A (zh) | 基于雷达的分布式多目标检测、定位跟踪与身份识别系统 | |
Liu et al. | Real-time arm gesture recognition in smart home scenarios via millimeter wave sensing | |
Zhao et al. | mid: Tracking and identifying people with millimeter wave radar | |
Yu et al. | Noninvasive human activity recognition using millimeter-wave radar | |
CN112716474B (zh) | 基于生物微波雷达的非接触式睡眠状态监测方法和系统 | |
CN111738060A (zh) | 基于毫米波雷达的人体步态识别系统 | |
Ngamakeur et al. | A survey on device-free indoor localization and tracking in the multi-resident environment | |
CN110456320B (zh) | 一种基于自由空间步态时序特征的超宽带雷达身份识别方法 | |
CN115345908B (zh) | 一种基于毫米波雷达的人体姿态识别方法 | |
Ni et al. | Gait-based person identification and intruder detection using mm-wave sensing in multi-person scenario | |
CN110687816A (zh) | 基于毫米波雷达的智能家居控制系统和方法 | |
Kalyanaraman et al. | Forma track: tracking people based on body shape | |
CN113267773A (zh) | 一种基于毫米波雷达的室内人员准确检测和精确定位方法 | |
WO2021248472A1 (zh) | 基于超宽带雷达的目标跟踪方法、装置、设备及存储介质 | |
Lou et al. | Gesture-radar: Enabling natural human-computer interactions with radar-based adaptive and robust arm gesture recognition | |
Liu et al. | A multimodal dynamic hand gesture recognition based on radar–vision fusion | |
CN111712730A (zh) | 通过多信道雷达监测生活设施 | |
CN116942142A (zh) | 一种基于毫米波雷达的人员智能化监测方法及相关设备 | |
Ngamakeur et al. | Passive infrared sensor dataset and deep learning models for device-free indoor localization and tracking | |
Ma et al. | Device-free, activity during daily life, recognition using a low-cost lidar | |
CN113031460B (zh) | 基于人居场景智能感知分析的智慧家庭系统及其方法 | |
Yuan et al. | Research on indoor position fingerprint location based on machine learning combined particle filter | |
CN117741647A (zh) | 一种毫米波雷达智能家居感知方法与装置 | |
US20210125369A1 (en) | Drone-assisted sensor mapping | |
Wang et al. | Enabling non-invasive and real-time human-machine interactions based on wireless sensing and fog computing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210305 |
|
WD01 | Invention patent application deemed withdrawn after publication |