CN110456343A - 一种基于fmcw毫米波雷达的即时定位方法及系统 - Google Patents
一种基于fmcw毫米波雷达的即时定位方法及系统 Download PDFInfo
- Publication number
- CN110456343A CN110456343A CN201910660245.XA CN201910660245A CN110456343A CN 110456343 A CN110456343 A CN 110456343A CN 201910660245 A CN201910660245 A CN 201910660245A CN 110456343 A CN110456343 A CN 110456343A
- Authority
- CN
- China
- Prior art keywords
- subsystem
- millimetre
- wave radar
- fwcm
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明实施例公开了一种基于FMCW毫米波雷达的即时定位方法及系统，系统包括FWCM毫米波雷达系统、SLAM子系统、目标检测与识别子系统及人机交互子系统，FWCM毫米波雷达系统获取周围环境点云数据，通过每个点云数据的4D数据，构建空间中点云的分布，对FWCM毫米波雷达系统周围环境进行成像；SLAM子系统用于根据FWCM毫米波雷达系统的成像数据进行地图构建和定位；目标检测与识别子系统用于对目标进行检测和识别；人机交互子系统用于显示数据以及获取输入指令，解析并执行指令。本发明能在光照不足、雨雪及大雾等环境下工作，对4D毫米波雷达周围环境进行成像，实现在恶劣环境下进行地图构建和定位，增强系统的可靠性。
Description
技术领域
本发明涉及定位技术领域，尤其涉及一种基于FMCW毫米波雷达的即时定位方法及系统。
背景技术
目前在自动驾驶、服务型机器人、无人机、AR/VR等领域，可以说是凡是拥有一定行动能力的智能设备都拥有某种形式的SLAM系统，其中SLAM是SLAM(simultaneouslocalization and mapping),也称为CML(Concurrent Mapping and Localization)，中文译文为即时定位与地图构建。常见的SLAM系统一般具有两种形式：基于激光雷达的SLAM和基于视觉的SLAM。
但是基于这两种传感器的SLAM都会受到其使用环境的限制，比如现有的激光雷达SLAM存在以下的一些问题：(1)工作时受天气和大气影响大。激光一般在晴朗的天气里衰减较小，传播距离较远；而在大雨、浓烟、浓雾等坏天气里，衰减急剧加大，传播距离大受影响。而且，大气环流还会使激光光束发生畸变、抖动，直接影响激光雷达的测量精度；(2)由于激光雷达的波束极窄，在空间搜索目标非常困难，直接影响对非合作目标的截获概率和探测效率，只能在较小的范围内搜索、捕获目标，因而激光雷达较少单独直接应用于战场进行目标探测和搜索；(3)价格昂贵，难以实现量产。
视觉SLAM也存在以下这些问题：(1)环境光影响大、暗处(无纹理区域)无法工作；(2)运算负荷大，构建的地图本身难以直接用于路径规划与导航；(3)传感器动态性能还需提高，地图构建时会存在累计误差。
因此现有技术还有待于进一步发展。
发明内容
针对上述技术问题，本发明实施例提供了一种基于FMCW毫米波雷达的即时定位方法及系统，能够解决现有技术中即时定位方法受环境因素影响大，定位精度低的技术问题。
本发明实施例的第一方面提供一种基于FMCW毫米波雷达的即时定位系统，系统包括FWCM毫米波雷达系统、SLAM子系统、目标检测与识别子系统及人机交互子系统，所述FWCM毫米雷达系统分别与SLAM子系统、目标检测与识别子系统连接，所述SLAM子系统还与所述人机交互子系统连接，所述目标检测与识别子系统连接；
所述FWCM毫米波雷达系统用于获取FWCM毫米波雷达系统周围环境点云数据，通过每个点云数据的3D空间坐标和1D速度信息，构建空间中点云的分布，对FWCM毫米波雷达系统周围环境进行成像；
所述SLAM子系统用于根据FWCM毫米波雷达系统的成像数据进行地图构建和定位；
所述目标检测与识别子系统用于对目标进行检测和识别；
所述人机交互子系统用于显示数据以及获取输入指令，解析并执行指令。
可选地，所述FWCM毫米波雷达系统包括射频前端子系统和信号处理子系统，所述射频前端子系统和信号处理子系统连接；
所述射频前端子系统用于生成调频信号，辐射至自由空间，并接收目标反馈的信号，并对信号进行预处理后发送至信号处理子系统；
所述信号处理子系统用于将所述射频前端子系统预处理后的信号进行处理后，输出4D点云。
可选地，所述射频前端子系统包括天线、信号发生器、放大器、匹配滤波器、混频器及A/D采样器，所述天线包括发射天线阵列和接收天线阵列，所述接收信号天线阵列与所述放大器连接，所述放大器还与所述匹配滤波器连接，所述匹配滤波器还与所述混频器连接，所述混频器还与所述A/D采样器连接；
信号发生器生成线性调频信号，经发射天线阵列的能量转换将线性调频信号辐射到自由空间中；电磁场在自由空间中遇到目标后，部分的电磁能沿原路返回进入到接收天线阵列中，接收天线阵列通过能量转换，放大器进行信号放大，匹配滤波器匹配滤波，混频器进行混频、A/D采样器进行A/D采样后，将采样结果发送至信号处理子系统。
可选地，所述信号处理子系统包括第一存储器、DSP和第一CPU；所述第一CPU分别与所述第一存储器、DSP连接；
所述DSP处理器和所述第一CPU用于将采样结果转化为数字采样信号，并将数字采样信号处理后生成4D点云数据；
所述第一存储器用于存储所述DSP处理器和所述第一CPU处理生成的中间数据和运算结果的数据。
可选地，所述SLAM子系统包括第二存储器和第二CPU，所述第二存储器和所述第二CPU连接；
所述第二CPU用于将4D点云数据处理后，生成构建后的地图及当前位置信息；
所述第二存储器用于对第二CPU生成的构建后的地图及当前位置信息进行存储。
可选地，所述目标检测与识别子系统包括第三存储器、GPU和第三CPU，所述第三CPU分别与所述第三存储器、GPU连接；
所述第三CPU用于向GPU发送控制指令；
所述GPU用于获取第三CPU的控制指令，根据控制指令对目标进行识别；
所述第三存储器用于存储第三CPU识别的目标结果。
可选地，所述人机交互子系统具体用于显示点云图像、当前位置信息、检测到的目标位置、识别的目标内容，以及获取输入指令，解析并执行输入指令，并呈现出执行结果。
可选地，所述目标检测与识别子系统具体采用目标运动产生的微多普勒频移和散射回波频谱分布对目标进行识别。
本发明实施例第二方面提供了一种基于上述基于FMCW毫米波雷达的即时定位系统的基于FMCW毫米波雷达的即时定位方法，所述方法包括：
FWCM毫米波雷达系统获取FWCM毫米波雷达系统周围环境点云数据，通过每个点云数据的3D空间坐标和1D速度信息，构建空间中点云的分布，对FWCM毫米波雷达系统周围环境进行成像；
SLAM子系统根据FWCM毫米波雷达系统的成像数据进行地图构建和定位；
目标检测与识别子系统对定位后的目标进行检测和识别；
人机交互子系统显示地图构建、定位结果及目标识别结果。
本发明实施例第三方面提供了一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于FMCW毫米波雷达的即时定位方法。
本发明实施例提供的技术方案中，提出了一种基于FMCW毫米波雷达的即时定位方法及系统，系统包括FWCM毫米波雷达系统、SLAM子系统、目标检测与识别子系统及人机交互子系统，FWCM毫米波雷达系统获取周围环境点云数据，通过每个点云数据的4D数据，构建空间中点云的分布，对FWCM毫米波雷达系统周围环境进行成像；SLAM子系统用于根据FWCM毫米波雷达系统的成像数据进行地图构建和定位；目标检测与识别子系统用于对目标进行检测和识别；人机交互子系统用于显示数据以及获取输入指令，解析并执行指令。因此相对于现有技术，本发明实施例能在光照不足、雨雪及大雾等环境下工作，对4D毫米波雷达周围环境进行成像，实现在恶劣环境下进行地图构建和定位，增强系统的可靠性。
附图说明
图1为本发明实施例中一种基于FMCW毫米波雷达的即时定位系统的一实施例的硬件结构示意图；
图2为本发明实施例中一种基于FMCW毫米波雷达子系统的一实施例的接收天线阵列示意图；
图3为本发明实施例中一种基于FMCW毫米波雷达子系统的一实施例的发射天线阵列示意图；
图4为本发明实施例中一种基于FMCW毫米波雷达的即时定位系统的定位方法的另一实施例的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了弥补现有技术的不足，本发明提出一种基于FMCW毫米雷达即时定位与地图构建(SLAM)的装置与系统，本文创造性的使用毫米波雷达作为传感器采集到周围环境信息呈现出的一系列分散的、具有准确角度和距离信息的点云；然后视觉里程计估计两个时刻的相对运动(ego-motion)，后端处理视觉里程计估计结果的累积误差，建图则根据前端与后端得到的运动轨迹来建立地图，回环检测考虑了同一场景不同时刻的图像，提供了空间上约束来消除累积误差；建图则根据前端与后端得到的运动轨迹来建立地图，回环检测考虑了同一场景不同时刻的图像，提供了空间上约束来消除累积误差；毫米波雷达是工作波长为1-10mm的电磁波，对应的频率范围为30～300GHz，具有体积小、质量轻、空间分辨率高等特点，而且穿透雾、烟、灰尘能力强，不受环境光影响，是具有全天候(大雨天除外)全天时工作的传感器，而且价格便宜，易实现量产；其中回环检测，又称闭环检测，是指机器人识别曾到达某场景，使得地图闭环的能力。说的简单点，就是机器人在左转一下，右转一下建图的时候能意识到某个地方是“我”曾经来过的，然后把此刻生成的地图与刚刚生成的地图做匹配。
本项目使用FMCW雷达，FMCW(Frequency Modulated Continuous Wave)，中文译为调频连续波。FMCW技术和脉冲雷达技术是两种在高精度雷达测距中使用的技术。其基本原理为发射波为高频连续波，其频率随时间按照三角波规律变化。FMCW雷达主要是基于主动发射电磁波并照射目标(环境信息，例如车辆、行人、草木和建筑物等)，若目标在雷达的波束内，目标当前相对毫米波雷达所处的运动状态会对电磁波进行调制，部分调制的电磁波沿原路返回并进入雷达接收机，信号处理器对回波进行解调并提取出目标的速度、距离、方位角和俯仰角信息；并生成目标点云集合，并对目标进行识别；一般雷达只能获取目标的速度、距离和方位角；把能够获取目标的3D坐标+1D速度的毫米波雷达称为4D毫米波雷达，能探测出空中的物体，如天桥、红绿灯、路牌等。本发明实施由于FMCW雷达设置有横向和纵向都有接收天线阵列，能同时测量方位角和俯仰角。
以下结合附图对本发明实施例进行详细的描述。
请参阅图1，图1为本发明实施例中一种基于FMCW毫米波雷达的即时定位系统的一个实施例的硬件结构示意图。如图1所示，系统10包括FWCM毫米波雷达系统101、SLAM子系统102、目标检测与识别子系统103及人机交互子系统104，所述FWCM毫米雷达系统分别与SLAM子系统、目标检测与识别子系统连接，所述SLAM子系统还与所述人机交互子系统连接，所述目标检测与识别子系统连接；
所述FWCM毫米波雷达系统用于获取FWCM毫米波雷达系统周围环境点云数据，通过每个点云数据的3D空间坐标和1D速度信息，构建空间中点云的分布，对FWCM毫米波雷达系统周围环境进行成像；
所述SLAM子系统用于根据FWCM毫米波雷达系统的成像数据进行地图构建和定位；
所述目标检测与识别子系统用于对目标进行检测和识别；
所述人机交互子系统用于显示数据以及获取输入指令，解析并执行指令。
具体地，本发明实施例的FWCM毫米波雷达系统也可以称为4D毫米波雷达系统，FWCM毫米波雷达系统主要由4D毫米波雷达系统SLAM子系统、目标检测与识别子系统和人机交互子系统组成。
4D毫米波雷达系统具有高精度和高分辨率力的特征，同时能在光照不足、雨雪及大雾等环境下工作，获取4D毫米波雷达周围环境的高精度点云数据，通过每个点云数据的3D空间坐标和1D速度信息，构建空间中点云的分布，对4D毫米波雷达周围环境进行成像，实现全天时全天候高分辨率的4D(3D位置+1D速度)点云成像。因为使用的是FMCW毫米波雷达，所以被检测出的目标的距离、速度和角度的误差较小，所以叫高精度。那么每个点云数据获得的距离、速度和角度就叫高精度点云数据。
SLAM子系统采用常见的SLAM算法构建地图和定位，与视觉和激光SLAM不同的是，基本4D毫米波雷达的SLAM系统能够在光照不足、雨雪和大雾等恶劣环境下，仍然可以正常工作，可靠性增强。
目标检测与识别子系统在对周围环境进行点云成像后，通过聚类和分割，分离出各类不同的目标，根据目标的散射回波频谱和微多普勒特征对目标进行识别。
优选地，FWCM毫米波雷达系统101包括射频前端子系统111和信号处理子系统112，所述射频前端子系统和信号处理子系统连接；
所述射频前端子系统用于生成调频信号，辐射至自由空间，并接收目标反馈的信号，并对信号进行预处理后发送至信号处理子系统；
所述信号处理子系统用于将所述射频前端子系统预处理后的信号进行处理后，输出4D点云。
具体地，4D毫米波雷达系统由射频前端子系统和信号处理子系统组成，每个子系统分别由其软硬件构成。基于现代软件无线电技术，使得A/D采样器尽可能的靠近天线，结合DSP、GPU和CPU等数字信号处理器，使得滤波、数字信号产生、上变频、正交鉴相、FFT和信号特征提取等功能经过软件处理即可完成，保证执行效率的同时，提高了雷达系统的通用性；
根据算法人工智能模型设计与其相匹配的人工智能芯片，在赋予雷达智能的同时，保证雷达的最大执行效率和最小的硬件体积。
优选地，射频前端子系统包括天线、信号发生器、放大器、匹配滤波器、混频器及A/D采样器，所述天线包括发射天线阵列和接收天线阵列，所述接收信号天线阵列与所述放大器连接，所述放大器还与所述匹配滤波器连接，所述匹配滤波器还与所述混频器连接，所述混频器还与所述A/D采样器连接；
信号发生器生成线性调频信号，经发射天线阵列的能量转换将线性调频信号辐射到自由空间中；电磁场在自由空间中遇到目标后，部分的电磁能沿原路返回进入到接收天线阵列中，接收天线阵列通过能量转换，放大器进行信号放大，匹配滤波器匹配滤波，混频器进行混频、A/D采样器进行A/D采样后，将采样结果发送至信号处理子系统。
具体地，射频前端子系统的硬件子系统包括天线、信号发生器、放大器、匹配滤波器、混频器等；由信号发生器生成线性调频信号，经发射天线阵列的能量转换(电能转化为电磁能)将线性调频信号辐射到自由空间中；电磁场在自由空间中遇到目标后，一部分转化为目标的内能，一部分通过目标表面散射到其他位置，只有少部分的电磁能沿原路返回进入到接收天线阵列中，接收天线阵列通过能量转换(电磁能转换为电能)，信号放大、匹配滤波、混频、A/D采样后，将结果送入到信号处理子系统；其中，天线阵列采用虚拟孔径技术，极大的提高了目标的角度分辨率。
线性调频信号公式如下所示：
其中s是chirp脉冲持续时间，Tr为脉冲重复时间，fc为线性调频信号的起始频率。
本项目中将IF中频回波信号使用数学模型表示，此数学模型统一描述了4D毫米波雷达探测的目标距离d0、速度v、方位角θ、俯仰角θ1与快时间维chirp(点集采集长度为N)，慢时间维chirp(帧内chirp数设为chirpN)和天线阵列(方位角天线阵列个数为antenaN，俯仰角天线阵列个数为antenaNF)之间的关系，以及描述了天线阵列之间的间距为d；其中快时间维点集是每个chirp的采样点集，慢时间维点集是chirp之间的采样点集；
其中，线性调频信号的IF中频回波信号的数学模型如下所示：
n∈[0，N)
l∈[0，chirpN)
k∈[0，antenaN)
z∈[0，antenaN_F)
其中，R＝(d0+vTrl+k*d*sin(θ)+z*d1*sin(θ1))，c为光速，fc为线性调频信号的起始频率，T为快时间维采样N个点所需的时间，为线性调频信号斜率；
使用中频数学模型生成的线性调频IF中频回波信号对雷达的系统和算法设计具有指导意义，其优势如下所示：
因为仿真信号生成的是比较干净和纯粹的雷达回波信号，通过使用仪器(例如频谱仪、网络分析仪、矢量分析仪等)测试雷达系统，使得雷达系统生成的中频信号模型尽可能的逼近仿真信号，对提高雷达系统性能提供可参考的回波信号模型；
在不需要实地收集真实目标的距离、速度和角度的情况下，通过假设已知多个目标的具体的距离、速度和角度的真实值，生成仿真信号，然后将通过目标检测算法检测出的距离、速度和角度和给定的真实值相比较误差的大小，以此评估目标检测算法的性能。因为实地收集的真实目标的距离、速度和角度不容易直接获取到，所以采用仿真信号的方法可以解决这样的问题，工作量小，使用方便，操作灵活；不同目标(比如行人、车辆、树木和草丛等目标)有不同的散射横截面；比如用行人和车辆作对比，行人目标比较小，身体各部位对电磁波均有反射；车辆目标比较大，车辆各部分对电磁波也有反射；因为车辆目标比行人目标大，所以车辆相对于行人来说，反射的电磁波就较多一些。因为由不同目标对电磁波反射的强弱不同，反应到空间点集也不同。通过空间点集分布的不同，可以对目标进行检测，可以检测出该点集代表的是行人还是车辆。所以目标检测算法有：行人检测算法，车辆检测算法，障碍物检测算法等。最后将检测出来的行人或者是车辆进行跟踪，叫目标跟踪算法。
为雷达系统天线设计提供支持，通过最优化算法找到天线阵列的最优设计，使用仿真信号和信号处理算法验证天线阵列最优设计的性能和指标；
根据4D毫米波雷达中频信号模型，天线阵列中antenaN和antenaN_F的个数分别决定了方位角分辨率和俯仰角分辨率；从理论上分析，antenaN和antenaN_F的值越大(接收天线越多)，角分辨率就越高；本项目中设有M个发射天线阵列，有N个接收天线阵列，组成一共MN个虚拟接收天线阵列，在MIMO雷达系统中，利用M个发射通道共发射M个相互正交的线性调频信号，然后用水平接收天线的垂直接收天线综合计算出多个目标的俯仰角、方位角、距离和速度信息；将N个接收天线排列成a1行b1列的接收天线整列(a1*b1＝N)，横向和纵向天线之间的间距为d，如图2所示；
将M个发射天线排列成a2行b2列的发射天线阵列(a2*b2＝M)，横向发射天线阵列的间距为d*b1，纵向发射天线阵列的间距为d*a1，如图3所示；
生成的虚拟阵列的维度的行为为a1*a2，列为b1*b2；在目标回波数学模型表示中，antenaN＝b1*b2,antenna_F＝a1*a2。
优选地，信号处理子系统包括第一存储器、DSP和第一CPU；所述第一CPU分别与所述第一存储器、DSP连接；
所述DSP处理器和所述第一CPU用于将采样结果转化为数字采样信号，并将数字采样信号处理后生成4D点云数据；
所述第一存储器用于存储所述DSP处理器和所述第一CPU处理生成的中间数据和运算结果的数据。
具体地，信号处理子系统的硬件部分包括第一存储器、DSP和第一CPU等，软件就是由信号处理算法组成，其输入是射频前端子系统输出采样信号，输出的是4D点云。其中，DSP是信号处理器，将采样信号进行信号处理。比如卷积、FFT等，第一CPU进行逻辑控制，DSP进行信号处理，存储器是存储中间数据和运算结果的数据。
优选地，SLAM子系统包括第二存储器和第二CPU，所述第二存储器和所述第二CPU连接；
所述第二CPU用于将4D点云数据处理后，生成构建后的地图及当前位置信息；
所述第二存储器用于对第二CPU生成的构建后的地图及当前位置信息进行存储。
具体地，SLAM子系统硬件部分包括第二存储器、第二CPU等，软件部分是由常见的SLAM算法组成，其输入是信号处理子系统输出的4D点云序列，输出是构建的地图及当前位置信息。
优先地，目标检测与识别子系统包括第三存储器、GPU和第三CPU，所述第三CPU分别与所述第三存储器、GPU连接；
所述第三CPU用于向GPU发送控制指令；
所述GPU用于获取第三CPU的控制指令，根据控制指令对目标进行识别；
所述第三存储器用于存储第三CPU识别的目标结果。
具体地，硬件部分包括第三存储器、GPU和第三CPU等，软件部分是由机器学习和深度学习算法组成，对点云目标进行检测和识别，赋予了产品智能。采用的是第三CPU+GPU异构计算，赋予雷达人工智能功能，目标的检测和识别是第三CPU+GPU共同完成的。其中第三CPU做的是控制部分，数据量小，但是逻辑复杂。GPU做的计算部分，数据量大，但是逻辑简单。GPU的计算需要第三CPU向其发送指令。
优先地，人机交互子系统具体用于显示点云图像、当前位置信息、检测到的目标位置、识别的目标内容，以及获取输入指令，解析并执行输入指令，并呈现出执行结果。
具体地，显示高精度点云图像，当前位置信息，以及检测到的目标位置，显示识别的目标内容，获取用户的输入指令、解析并执行用户的指令，并向用户呈现出相对应的内容。
优选地，目标检测与识别子系统具体采用目标运动产生的微多普勒频移和散射回波频谱分布对目标进行识别。
具体地，目标在匀速运动的过程中，通过提取目标回波的多普勒频移计算其速度，在4D高分辨率毫米波雷达中，不仅可以检测出目标运动的特征，还能检测到目标本身的周期性的运动特征，例如人体目标在匀速行走(目标运动)时，双腿和双手的摆动(目标本身周期性的运动特征)会在多普勒频率附近形成周期性的多普勒频移；因为不同目标的散射回波频谱不一样(例如人体目标的散射回波和车辆目标的散射回波不一样)；通过散射回波和运动产生的微多普勒频移对目标进行识别。
例如，同一个目标的点云数据距离比较近，所以通过聚类算法将原本分散的点集进行聚类，聚类的目的就是确定空间中哪些点云属于同一个目标，根据聚类后的效果得出是两个目标。
而聚类算法有：K-Means聚类、均值漂移聚类、DBSCAN、用高斯混合模型(GMM)的最大期望(EM)、凝聚层次聚类、图团体检测等，这里不再描述。
例如已经分割出了两个目标，若看到目标1的点云数据比目标2的点云数据少得多，根据行人的反射横截面少于汽车的反射横截面可以初步判断，目标1是行人，目标2是车辆。
因为行人在走动的过程中，由于手臂和腿的摆动是呈周期性的，会在多普勒频率附近呈现出周期性的频率移动，这种在多普勒频率附近的频率移动叫做“微多普勒频移”。跟踪目标1的点集可以发现，有部分点集在空间中也是呈周期性运动的，目标1的部分点集位置会发生变化，这样就可以确定目标1是正在行走的人。
汽车是刚体，不会产生微多普勒频移，所以可以看到目标2中的点云数据在空间中的相对位置不会发生变化，所心确定目标2是车辆。
请参阅图4，图4为本发明实施例中一种基于上述基于FMCW毫米波雷达的即时定位系统的基于FMCW毫米波雷达的即时定位方法的一个实施例的流程示意图。如图4所示，包括：
步骤S100、FWCM毫米波雷达系统获取FWCM毫米波雷达系统周围环境点云数据，通过每个点云数据的3D空间坐标和1D速度信息，构建空间中点云的分布，对FWCM毫米波雷达系统周围环境进行成像；
步骤S200、SLAM子系统根据FWCM毫米波雷达系统的成像数据进行地图构建和定位；
步骤S300、目标检测与识别子系统对定位后的目标进行检测和识别；
步骤S400、人机交互子系统显示地图构建、定位结果及目标识别结果。
具体地，本发明实施例的FWCM毫米波雷达系统也可以称为4D毫米波雷达系统，FWCM毫米波雷达系统主要由4D毫米波雷达系统SLAM子系统、目标检测与识别子系统和人机交互子系统组成。
4D毫米波雷达系统具有高精度和高分辨率力的特征，同时能在光照不足、雨雪及大雾等环境下工作，获取4D毫米波雷达周围环境的高精度点云数据，通过每个点云数据的3D空间坐标和1D速度信息，构建空间中点云的分布，对4D毫米波雷达周围环境进行成像，实现全天时全天候高分辨率的4D(3D位置+1D速度)点云成像。
SLAM子系统采用常见的SLAM算法构建地图和定位，与视觉和激光SLAM不同的是，基本4D毫米波雷达的SLAM系统能够在光照不足、雨雪和大雾等恶劣环境下，仍然可以正常工作，可靠性增强。
目标检测与识别子系统在对周围环境进行点云成像后，通过聚类和分割，分离出各类不同的目标，根据目标的散射回波频谱和微多普勒特征对目标进行识别。
本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图4中的方法步骤S100至步骤S400。
作为示例，非易失性存储介质能够包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦ROM(EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(RAM)。通过说明并非限制，RAM可以以诸如同步RAM(SRAM)、动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
以除了其他之外，诸如"能够'、"能"、"可能"或"可以"之类的条件语言除非另外具体地陈述或者在如所使用的上下文内以其他方式理解，否则一般地旨在传达特定实施方式能包括(然而其他实施方式不包括)特定特征、元件和/或操作。因此，这样的条件语言一般地不旨在暗示特征、元件和/或操作对于一个或多个实施方式无论如何都是需要的或者一个或多个实施方式必须包括用于在有或没有学生输入或提示的情况下判定这些特征、元件和/或操作是否被包括或者将在任何特定实施方式中被执行的逻辑。
已经在本文中在本说明书和附图中描述的内容包括能够提供基于FMCW毫米波雷达的即时定位方法及定位系统的示例。当然，不能够出于描述本公开的各种特征的目的来描述元件和/或方法的每个可以想象的组合，但是可以认识到，所公开的特征的许多另外的组合和置换是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况下能够对本公开做出各种修改。此外，或在替代方案中，本公开的其他实施例从对本说明书和附图的考虑以及如本文中所呈现的本公开的实践中可能是显而易见的。意图是，本说明书和附图中所提出的示例在所有方面被认为是说明性的而非限制性的。尽管在本文中采用了特定术语，但是它们在通用和描述性意义上被使用并且不用于限制的目的。
Claims (10)
1.一种基于FMCW毫米波雷达的即时定位系统，其特征在于，系统包括FWCM毫米波雷达系统、SLAM子系统、目标检测与识别子系统及人机交互子系统，所述FWCM毫米雷达系统分别与SLAM子系统、目标检测与识别子系统连接，所述SLAM子系统还与所述人机交互子系统连接，所述目标检测与识别子系统连接；
所述FWCM毫米波雷达系统用于获取FWCM毫米波雷达系统周围环境点云数据，通过每个点云数据的3D空间坐标和1D速度信息，构建空间中点云的分布，对FWCM毫米波雷达系统周围环境进行成像；
所述SLAM子系统用于根据FWCM毫米波雷达系统的成像数据进行地图构建和定位；
所述目标检测与识别子系统用于对目标进行检测和识别；
所述人机交互子系统用于显示数据以及获取输入指令，解析并执行指令。
2.根据权利要求1所述的基于FMCW毫米波雷达的即时定位系统，其特征在于，所述FWCM毫米波雷达系统包括射频前端子系统和信号处理子系统，所述射频前端子系统和信号处理子系统连接；
所述射频前端子系统用于生成调频信号，辐射至自由空间，并接收目标反馈的信号，并对信号进行预处理后发送至信号处理子系统；
所述信号处理子系统用于将所述射频前端子系统预处理后的信号进行处理后，输出4D点云。
3.根据权利要求2所述的基于FMCW毫米波雷达的即时定位系统，其特征在于，所述射频前端子系统包括天线、信号发生器、放大器、匹配滤波器、混频器及A/D采样器，所述天线包括发射天线阵列和接收天线阵列，所述接收信号天线阵列与所述放大器连接，所述放大器还与所述匹配滤波器连接，所述匹配滤波器还与所述混频器连接，所述混频器还与所述A/D采样器连接；
信号发生器生成线性调频信号，经发射天线阵列的能量转换将线性调频信号辐射到自由空间中；电磁场在自由空间中遇到目标后，部分的电磁能沿原路返回进入到接收天线阵列中，接收天线阵列通过能量转换，放大器进行信号放大，匹配滤波器匹配滤波，混频器进行混频、A/D采样器进行A/D采样后，将采样结果发送至信号处理子系统。
4.根据权利要求3所述的基于FMCW毫米波雷达的即时定位系统，其特征在于，所述信号处理子系统包括第一存储器、DSP和第一CPU；所述第一CPU分别与所述第一存储器、DSP连接；
所述DSP处理器和所述第一CPU用于将采样结果转化为数字采样信号，并将数字采样信号处理后生成4D点云数据；
所述第一存储器用于存储所述DSP处理器和所述第一CPU处理生成的中间数据和运算结果的数据。
5.根据权利要求4所述的基于FMCW毫米波雷达的即时定位系统，其特征在于，所述SLAM子系统包括第二存储器和第二CPU，所述第二存储器和所述第二CPU连接；
所述第二CPU用于将4D点云数据处理后，生成构建后的地图及当前位置信息；
所述第二存储器用于对第二CPU生成的构建后的地图及当前位置信息进行存储。
6.根据权利要求5所述的基于FMCW毫米波雷达的即时定位系统，其特征在于，所述目标检测与识别子系统包括第三存储器、GPU和第三CPU，所述第三CPU分别与所述第三存储器、GPU连接；
所述第三CPU用于向GPU发送控制指令；
所述GPU用于获取第三CPU的控制指令，根据控制指令对目标进行识别；
所述第三存储器用于存储第三CPU识别的目标结果。
7.根据权利要求1所述的基于FMCW毫米波雷达的即时定位系统，其特征在于，所述人机交互子系统具体用于显示点云图像、当前位置信息、检测到的目标位置、识别的目标内容，以及获取输入指令，解析并执行输入指令，并呈现出执行结果。
8.根据权利要求1所述的基于FMCW毫米波雷达的即时定位系统，其特征在于，所述目标检测与识别子系统具体采用目标运动产生的微多普勒频移和散射回波频谱分布对目标进行识别。
9.一种根据权利要求1所述的基于FMCW毫米波雷达的即时定位系统的定位方法，其特征在于，所述方法包括：
FWCM毫米波雷达系统获取FWCM毫米波雷达系统周围环境点云数据，通过每个点云数据的3D空间坐标和1D速度信息，构建空间中点云的分布，对FWCM毫米波雷达系统周围环境进行成像；
SLAM子系统根据FWCM毫米波雷达系统的成像数据进行地图构建和定位；
目标检测与识别子系统对定位后的目标进行检测和识别；
人机交互子系统显示地图构建、定位结果及目标识别结果。
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求9所述的基于FMCW毫米波雷达的即时定位系统的定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910660245.XA CN110456343B (zh) | 2019-07-22 | 2019-07-22 | 一种基于fmcw毫米波雷达的即时定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910660245.XA CN110456343B (zh) | 2019-07-22 | 2019-07-22 | 一种基于fmcw毫米波雷达的即时定位方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110456343A true CN110456343A (zh) | 2019-11-15 |
| CN110456343B CN110456343B (zh) | 2021-05-28 |
Family
ID=68481609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910660245.XA Active CN110456343B (zh) | 2019-07-22 | 2019-07-22 | 一种基于fmcw毫米波雷达的即时定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110456343B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111596288A (zh) * | 2020-03-31 | 2020-08-28 | 广州文远知行科技有限公司 | 测量速度的方法、装置、车载终端和车载测速系统 |
| CN111665498A (zh) * | 2020-05-20 | 2020-09-15 | 浙江大华技术股份有限公司 | 环境视图的测绘方法、装置、便携式探测设备 |
| CN112634566A (zh) * | 2020-12-16 | 2021-04-09 | 路晟悠拜(重庆)科技有限公司 | 基于毫米波的智能电子围栏构建方法及系统 |
| CN112946623A (zh) * | 2019-12-11 | 2021-06-11 | 长沙莫之比智能科技有限公司 | 基于车辆上安装77g毫米波雷达的测速方法和装置 |
| CN113050084A (zh) * | 2021-03-11 | 2021-06-29 | 上海交通大学 | Mimo调频连续波毫米波雷达的4d手势识别方法 |
| CN113156414A (zh) * | 2020-12-16 | 2021-07-23 | 中国人民解放军陆军工程大学 | 基于mimo毫米波雷达的智能感知与路径规划运输系统 |
| CN113204025A (zh) * | 2021-04-20 | 2021-08-03 | 中山联合汽车技术有限公司 | 车身状态的确定系统及方法 |
| CN113222111A (zh) * | 2021-04-01 | 2021-08-06 | 上海智能网联汽车技术中心有限公司 | 适应全天候环境的自动驾驶4d感知方法、系统及介质 |
| CN113419235A (zh) * | 2021-05-28 | 2021-09-21 | 同济大学 | 一种基于毫米波雷达的无人机定位方法 |
| CN113671491A (zh) * | 2021-08-16 | 2021-11-19 | 珠海格力电器股份有限公司 | 一种路况检测及预警方法及装置 |
| TWI769602B (zh) * | 2020-11-30 | 2022-07-01 | 群邁通訊股份有限公司 | 利用毫米波雷達的人體姿態識別方法及電腦可讀存儲介質 |
| CN114994672A (zh) * | 2022-08-03 | 2022-09-02 | 中国人民解放军国防科技大学 | 毫米波雷达惯性组合的火场烟雾场景定位建图方法与装置 |
| US11662449B2 (en) | 2020-06-22 | 2023-05-30 | Honeywell International Inc. | Methods and systems for improving target detection performance of an indoor radar sensor |
| US11762350B2 (en) | 2021-03-22 | 2023-09-19 | Honeywell International Inc. | Methods and systems for detecting occupancy of a space |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018142395A1 (en) * | 2017-01-31 | 2018-08-09 | Arbe Robotics Ltd | A radar-based system and method for real-time simultaneous localization and mapping |
| CN109343053A (zh) * | 2018-11-26 | 2019-02-15 | 上海瀚唯科技有限公司 | 4d毫米波雷达系统空间信息感知方法 |
| EP3454079A1 (en) * | 2017-09-12 | 2019-03-13 | Aptiv Technologies Limited | Method to determine the suitablility of a radar target as a positional landmark |
| US20190079112A1 (en) * | 2017-09-13 | 2019-03-14 | Hefring ehf. | Methods and systems for wave slam monitoring |
| CN110023867A (zh) * | 2016-11-01 | 2019-07-16 | 云海智行股份有限公司 | 用于机器人绘图的系统和方法 |
-
2019
- 2019-07-22 CN CN201910660245.XA patent/CN110456343B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110023867A (zh) * | 2016-11-01 | 2019-07-16 | 云海智行股份有限公司 | 用于机器人绘图的系统和方法 |
| WO2018142395A1 (en) * | 2017-01-31 | 2018-08-09 | Arbe Robotics Ltd | A radar-based system and method for real-time simultaneous localization and mapping |
| EP3454079A1 (en) * | 2017-09-12 | 2019-03-13 | Aptiv Technologies Limited | Method to determine the suitablility of a radar target as a positional landmark |
| US20190079112A1 (en) * | 2017-09-13 | 2019-03-14 | Hefring ehf. | Methods and systems for wave slam monitoring |
| CN109343053A (zh) * | 2018-11-26 | 2019-02-15 | 上海瀚唯科技有限公司 | 4d毫米波雷达系统空间信息感知方法 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112946623A (zh) * | 2019-12-11 | 2021-06-11 | 长沙莫之比智能科技有限公司 | 基于车辆上安装77g毫米波雷达的测速方法和装置 |
| CN112946623B (zh) * | 2019-12-11 | 2024-03-19 | 长沙莫之比智能科技有限公司 | 基于车辆上安装77g毫米波雷达的测速方法和装置 |
| CN111596288A (zh) * | 2020-03-31 | 2020-08-28 | 广州文远知行科技有限公司 | 测量速度的方法、装置、车载终端和车载测速系统 |
| CN111596288B (zh) * | 2020-03-31 | 2022-07-12 | 广州文远知行科技有限公司 | 测量速度的方法、装置、车载终端和车载测速系统 |
| CN111665498A (zh) * | 2020-05-20 | 2020-09-15 | 浙江大华技术股份有限公司 | 环境视图的测绘方法、装置、便携式探测设备 |
| US11662449B2 (en) | 2020-06-22 | 2023-05-30 | Honeywell International Inc. | Methods and systems for improving target detection performance of an indoor radar sensor |
| TWI769602B (zh) * | 2020-11-30 | 2022-07-01 | 群邁通訊股份有限公司 | 利用毫米波雷達的人體姿態識別方法及電腦可讀存儲介質 |
| CN112634566A (zh) * | 2020-12-16 | 2021-04-09 | 路晟悠拜(重庆)科技有限公司 | 基于毫米波的智能电子围栏构建方法及系统 |
| CN113156414A (zh) * | 2020-12-16 | 2021-07-23 | 中国人民解放军陆军工程大学 | 基于mimo毫米波雷达的智能感知与路径规划运输系统 |
| CN112634566B (zh) * | 2020-12-16 | 2022-08-16 | 路晟悠拜(重庆)科技有限公司 | 基于毫米波的智能电子围栏构建方法及系统 |
| CN113050084A (zh) * | 2021-03-11 | 2021-06-29 | 上海交通大学 | Mimo调频连续波毫米波雷达的4d手势识别方法 |
| US11762350B2 (en) | 2021-03-22 | 2023-09-19 | Honeywell International Inc. | Methods and systems for detecting occupancy of a space |
| CN113222111A (zh) * | 2021-04-01 | 2021-08-06 | 上海智能网联汽车技术中心有限公司 | 适应全天候环境的自动驾驶4d感知方法、系统及介质 |
| CN113204025B (zh) * | 2021-04-20 | 2024-02-27 | 中山联合汽车技术有限公司 | 车身状态的确定系统及方法 |
| CN113204025A (zh) * | 2021-04-20 | 2021-08-03 | 中山联合汽车技术有限公司 | 车身状态的确定系统及方法 |
| CN113419235A (zh) * | 2021-05-28 | 2021-09-21 | 同济大学 | 一种基于毫米波雷达的无人机定位方法 |
| CN113671491A (zh) * | 2021-08-16 | 2021-11-19 | 珠海格力电器股份有限公司 | 一种路况检测及预警方法及装置 |
| CN114994672A (zh) * | 2022-08-03 | 2022-09-02 | 中国人民解放军国防科技大学 | 毫米波雷达惯性组合的火场烟雾场景定位建图方法与装置 |
| CN114994672B (zh) * | 2022-08-03 | 2022-10-25 | 中国人民解放军国防科技大学 | 毫米波雷达惯性组合的火场烟雾场景定位建图方法与装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110456343B (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110456343A (zh) | 一种基于fmcw毫米波雷达的即时定位方法及系统 | |
| US11821988B2 (en) | Ladar system with intelligent selection of shot patterns based on field of view data | |
| US10365350B2 (en) | Neural network-based radar system having independent multibeam antenna | |
| CN113167860A (zh) | 雷达深度学习 | |
| Long et al. | High resolution radar real-time signal and information processing | |
| JP2020091281A (ja) | レーダーデータを処理する装置及び方法 | |
| CN109212531A (zh) | 确定目标车辆取向的方法 | |
| US10131446B1 (en) | Addressing multiple time around (MTA) ambiguities, particularly for lidar systems, and particularly for autonomous aircraft | |
| CN109407094A (zh) | 车载超宽带雷达前视成像系统 | |
| US20200103498A1 (en) | Adaptive radar for near-far target identification | |
| Cui et al. | 3D detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4D mmWave radars | |
| Xu et al. | Heuristic path planning method for multistatic UAV-borne SAR imaging system | |
| CN107783114A (zh) | 旋翼无人机远距离复杂环境防撞毫米波雷达信号处理系统及方法 | |
| Vriesman et al. | An experimental analysis of rain interference on detection and ranging sensors | |
| Ram | Fusion of inverse synthetic aperture radar and camera images for automotive target tracking | |
| Bi | Environmental perception technology for unmanned systems | |
| CN209992673U (zh) | 车载超宽带雷达前视成像系统 | |
| CN113985376B (zh) | 一种雷达综合显控激励系统 | |
| Yan et al. | Moving targets detection for video SAR surveillance using multilevel attention network based on shallow feature module | |
| CN112230222B (zh) | 一种用于识别车型的微波雷达装置 | |
| CN114859337A (zh) | 数据处理方法、装置、电子设备、计算机存储介质 | |
| Wang et al. | Anti-Deceptive Jamming of Jammer on the Coast for Multistatic Sar | |
| Zhang et al. | Embedded micro radar for pedestrian detection in clutter | |
| Piao et al. | MMGraphSLAM: Autonomous indoor positioning based on millimeter Wave GraphSLAM | |
| Lai et al. | Pedestrian Detection and Trajectory-Tracking based FMCW radar For Autonomous Driving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |