CN113591938A - 多特征融合交通目标识别方法、系统、计算机设备及应用 - Google Patents
多特征融合交通目标识别方法、系统、计算机设备及应用 Download PDFInfo
- Publication number
- CN113591938A CN113591938A CN202110781267.9A CN202110781267A CN113591938A CN 113591938 A CN113591938 A CN 113591938A CN 202110781267 A CN202110781267 A CN 202110781267A CN 113591938 A CN113591938 A CN 113591938A
- Authority
- CN
- China
- Prior art keywords
- target
- traffic
- data set
- distance
- doppler
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000004927 fusion Effects 0.000 title claims abstract description 69
- 230000035559 beat frequency Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000008878 coupling Effects 0.000 claims abstract description 9
- 238000010168 coupling process Methods 0.000 claims abstract description 9
- 238000005859 coupling reaction Methods 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 claims description 47
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000000691 measurement method Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 238000005065 mining Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000007500 overflow downdraw method Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明属于计算机、嵌入式、雷达探测技术、深度学习技术领域，公开了一种多特征融合交通目标识别方法、系统、计算机设备及应用；运用FMCW雷达采集不同交通目标的拍频信号，通过雷达信号处理算法得到目标的运动参数信息；将运动参数信息与时间耦合得到目标的距离‑时间图和多普勒‑时间图，并构建数据集；将构建好的数据集经过预处理后以特定的方式进行融合后送入卷积神经网络中进行训练，并将训练好的网络作为交通目标分类器；将融合后的目标特征送入分类器，得到不同的交通目标分类。本发明创新性地提出用多维特征表征同一交通目标的特征融合方法，且相较于基于单维特征的雷达目标识别方法，准确率有一定提升。
Description
技术领域
本发明属于计算机、嵌入式、雷达探测技术、深度学习技术领域，尤其涉及一种多特征融合交通目标识别方法、系统、计算机设备及应用。
背景技术
近年来，对于交通目标的识别、监管已成为智慧交通建设体系中的重要一环，以往往往需要依靠大量人力的投入来维持对城市道路的监管，这会导致过于庞大的工作量，并且监管周期较长、效率低下。随着科技的进步，基于视觉传感器的交通目标识别法成为目前主流的识别方法。此方法虽然能够提高交通目标识别的效率，但应用条件易受到诸如沙暴、大雾、强光等极端情况的影响，导致识别率的降低，且基于摄像头的成像机制，视频很难对距离数据采集设备较远的目标进行准确的识别。
通过上述分析，现有技术存在的问题及缺陷为：目前基于视觉传感器的交通目标识别方法很难对较远的目标进行识别，且无法应用于沙暴、大雾、强光、黑暗等极端环境条件下。
解决以上问题及缺陷的难度为：
(1)运用雷达进行目标检测时可能存在虚警的情况。
(2)雨雪天气条件下，可能会对雷达造成动态扰动，使得探测背景噪声变大，目标不容易识别出来。
(3)运用卷积神经神经网络进行目标识别的训练时需要采集大量的交通目标数据样本。
解决以上问题及缺陷的意义为：本发明为FMCW雷达的多特征融合交通目标识别方法，为基于FMCW雷达采集同一交通目标的瞬时、时序等多个不同维度的特征，并将多维特征进行融合，最终用融合后的特征来表征该目标，最后送入分类网络进行目标的识别。本发明的方法应用场景多，不受限于沙暴、大雾等极端天气情况，且相比于视频法监测范围大、安全性好、工作方式灵活，可实现对城市道路交通进行全天时、全天候的监测能力，极大程度地解决了传统人工操作及视频监测效率低下的问题。为辅助城市交通状况的治理，提供了一种平稳、准确的交通目标检测、识别方法，具有一定的工程应用价值。
发明内容
针对现有技术存在的问题，本发明提供了一种多特征融合交通目标识别方法、系统、计算机设备及应用。
本发明是这样实现的，一种多特征融合交通目标识别方法，＝所述多特征融合交通目标识别方法包括：
运用FMCW雷达采集不同交通目标的拍频信号，通过雷达信号处理算法得到目标的距离-多普勒图和径向距离、速度运动参数信息；
将雷达原始数据用划窗CFAR进行遍历检测后可得到表征目标瞬时特征的距离-多普勒图，将目标运动参数信息与时间耦合得到目标的距离-时间图和多普勒-时间图，并构建数据集；
将构建好的数据集经过预处理后以特定的方式进行融合后送入卷积神经网络中进行训练，并将训练好的网络作为交通目标分类器；
将融合后的目标特征送入分类器，得到不同的交通目标分类。
进一步，所述多特征融合交通目标识别方法还包括：
连续波雷达通过比较任意时刻回波信号频率与此时刻发射信号的频率的之差方法得到目标的距离信息；
距离正比于两者的频率差，目标的径向速度和距离可由测量的二者频率差处理后得到，探测交通目标的位置速度信息。
进一步，所述多特征融合交通目标识别方法通过对发射信号与回波信号混频后的拍频信号进行处理来解析目标的运动参数，在一个锯齿波线性调频脉宽周期内，雷达发射信号频率随时间呈线性上升趋势，经不同距离处的目标物反射的回波信号与本振信号混频后所产生的拍频信号频率是不一样的，通过公式
式中d为雷达与目标物的距离，C表示光速，fIF表示混频后的拍频频率，T表示锯齿波线性调频信号脉宽，B表示线性调频信号带宽，得到目标与雷达的距离信息。
进一步，若目标与雷达之间存在径向速度，在相邻的两个脉冲之间由于多普勒效应的存在，不同雷达周期所接受到的回波信号的拍频频率是不同的，而该频率就隐含了目标的速度信息，由计算公式
fd表示多普勒频率，f0表示载波的中心频率，v表示目标的径向速度，c表示电磁波速度，得到目标的径向速度，联合上述测量方法，得到交通目标的位置和速度信息。
进一步，所述多特征融合交通目标识别方法得到目标的距离和速度信息，采用滑窗恒虚警算法对每一帧距离-多普勒矩阵进行遍历检测并根据信号幅值进行热力图可视化，得到表征目标特征的距离-多普勒图，目标的距离-多普勒图视作表征目标瞬时特征的微多普勒图。
进一步，所述多特征融合交通目标识别方法为挖掘距离维上目标物在一段连续时间内表达出的运动特征信息，将目标物的距离参数和时间进行耦合；首先将同一帧距离谱上的两列天线通道信号进行点积运算，并在同一帧内慢时间域上进行非相干累积，最终将目标的距离信息在50帧帧长内进行累积，得到目标的距离-时间图，距离-时间图视作表征目标物在一段连续时间内距离随时间变化的微多普勒图；
所述多特征融合交通目标识别方法为挖掘速度维上目标物在一段连续时间内表达出的运动特征信息，将目标物的速度参数和时间进行耦合。基于上述目标物的参数测量方法，提取每一帧上目标物的速度信息，并保留其主瓣及旁瓣信号，最后在50帧帧长内进行累积，可得到目标的，多普勒-时间图视作表征目标物在一段连续时间内速度随时间变化的微多普勒图；
所述多特征融合交通目标识别方法采用最小值归一化的方法对数据进行逐帧处理；
所述多特征融合交通目标识别方法同一目标物的RDM、RTM、DTM图从距离、速度、瞬时和时序的角度对运动特征进行了表达，为利用卷积神经网络同时对同一目标的三维运动特征进行训练，采用将同一目标的三维特征图沿卷积核后步进方向进行融合，逐维提取目标所有维度的特征纹理；
所述多特征融合交通目标识别方法为实现交通目标识别的功能，采用基于卷积神经网络的交通目标分类器，包括6个级联式的卷积层，每层均采用32个3×3卷积核，2个Maxpooling池化层，1个全连接层搭载Softmax激活函数作为输出层；
将处理后的数据输入搭载好的网络中进行训练，运用训练后的网络便可完成交通目标识别任务。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
运用FMCW雷达采集不同交通目标的拍频信号，通过雷达信号处理算法得到目标的距离-多普勒图和径向距离、速度运动参数信息；
将运动参数信息与时间耦合得到目标的距离-时间图和多普勒-时间图，并构建数据集；
将构建好的数据集经过预处理后以特定的方式进行融合后送入卷积神经网络中进行训练，并将训练好的网络作为交通目标分类器；
将融合后的目标特征送入分类器，得到不同的交通目标分类。
本发明的另一目的在于提供一种实施所述特征融合交通目标识别方法的特征融合交通目标识别系统，所述特征融合交通目标识别系统包括：
运动参数信息获取模块，用于运用FMCW雷达采集不同交通目标的拍频信号，通过雷达信号处理算法得到目标的距离-多普勒图和径向距离、速度运动参数信息；
数据集构建模块，将雷达原始数据用划窗CFAR进行遍历检测后可得到表征目标瞬时特征的距离-多普勒图，用于将运动参数信息与时间耦合得到目标的距离-时间图和多普勒-时间图，并构建数据集；
数据集训练模块，用于将构建好的数据集经过预处理后以特定的方式进行融合后送入卷积神经网络中进行训练，并将训练好的网络作为交通目标分类器；
交通目标分类获取模块，用于将融合后的目标特征送入分类器，得到不同的交通目标分类。
本发明的另一目的在于提供一种所述特征融合交通目标识别方法在交通目标识别中的应用。
本发明的另一目的在于提供一种所述特征融合交通目标识别方法在交通目标监管中的应用。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明基于FMCW雷达的信号处理技术，研究交通目标的运动参数提取方法，提出同时将目标的瞬时运动特征与时序运动特征相结合来表征目标的运动状态，使得交通目标的运动特征得到更全面地表达；结合交通目标雷达回波信号特征图特征鲜明、杂波较少的特点，给出了针对交通目标数据集的数据归一化等预处理方法，并提出沿着卷积核后步进方向进行图像融合的特征融合方法，保留了目标三维运动特征的同时，简化了网络结构；搭建了一种端到端的卷积神经网络用于交通目标的识别，直接用融合后的特征图像进行训练，免去了传统方法人为提取目标特定特征带来的不便以及特征损失。
本发明综合利用雷达探测技术、深度学习等技术，提供了一种可实现端到端进行交通目标识别的方法，同时借助FMCW雷达可全天候、全天时地监控城市道路的交通目标，且应用场景不受限于沙暴、大雾、强光、黑暗等极端环境。
本发明运用FMCW雷达采集不同交通目标的拍频信号，通过雷达信号处理算法得到目标的距离-多普勒图和径向距离、速度运动参数信息；将雷达原始数据用CFAR进行遍历检测后可得到表征目标瞬时特征的距离-多普勒图，将运动参数信息与时间耦合得到目标的距离-时间图和多普勒-时间图，并构建数据集；将构建好的数据集经过预处理后以沿卷积核后步进方向进行融合后送入卷积神经网络中进行训练，并将训练好的网络作为交通目标分类器；将融合后的目标特征送入分类器，得到不同的交通目标分类；
本发明得到表示同一交通目标的不同维度的特征，从目标的瞬时特征、距离随时间变化的时序特征和速度随时间变化的时序特征三个角度描述了同一交通目标，相比于单一特征，增加了目标的特征表达数量。对数据集进行了归一化、数据增强等处理，优化了数据集的整体质量，同时将三个不同维度的特征依次沿卷积核后步进方向进行融合的融合方法也确保了网络能够逐一对同一目标的不同维度特征纹理进行提取，相较于将单一特征用于交通目标的识别提高了整体的识别准确率。
相较于基于传统的视觉传感器的交通目标检测、识别方法，FMCW雷达由于其分辨率高、对于速度敏感的特点，使得采用FMCW雷达测量交通目标参数的精准度较于视频法会更高，同时由于采用了FMCW雷达硬件，其工作原理不依赖于外界光照条件，故该方法可以削弱传统视频法中存在的易受黑暗、强光、沙暴等极端环境条件的影响。传统的基于视觉传感器的交通目标参数测量方法，由于小孔成像的误差性致使所测交通目标的运动参数不够精准，而采用FMCW雷达对交通目标进行运动参数检测，由于其分辨率高、对多普勒频移敏感的特点使得该方法所测得交通目标的运动参数更加准确。不同与其他脉冲波雷达，线性调频连续波(FMCW)雷达对于目标物运动参数的测量基于对目标物拍频信号的解析，进一步解释了FMCW雷达的工作原理，也更好地说明了其参数测量精准的原理。
附图说明
图1是本发明实施例提供的多特征融合交通目标识别方法流程图。
图2是本发明实施例提供的多特征融合交通目标识别系统的结构示意图；
图2中：1、运动参数信息获取模块；2、数据集构建模块；3、数据集训练模块；4、交通目标分类获取模块。
图3是本发明实施例提供的多特征融合交通目标识别方法的实现流程图。
图4是本发明实施例提供的双目标雷达信号经CFAR后成像图。
图5是本发明实施例提供的从左往右分别为行人、电瓶车、汽车的RDM图。
图6是本发明实施例提供的双通道雷达原始回波信号成像图。
图7是本发明实施例提供的从左往右分别为行人、电瓶车、汽车的RTM图。
图8是本发明实施例提供的从左往右分别为行人、电瓶车、汽车的DTM图。
图9是本发明实施例提供的数据归一化后的解决了特征遮掩问题的成像图。
图10是本发明实施例提供的三维特征图经融合后的特征图。
图11是本发明实施例提供的交通目标分类器网络结构图。
图12是本发明实施例提供的实际场景测试图。
图13是本发明实施例提供的A24BF结构图。
图14是本发明实施例提供的不同二维特征融合数据集测试准确率变化曲线示意图。
图15是本发明实施例提供的三维特征融合数据集测试准确率变化曲线示意图。
图16是本发明实施例提供的数据标准化前后准确率对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种多特征融合交通目标识别方法、系统、计算机设备及应用，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的多特征融合交通目标识别方法包括以下步骤：
S101：运用FMCW雷达采集不同交通目标的拍频信号，通过雷达信号处理算法得到目标的距离-多普勒图和径向距离、速度等运动参数信息；
S102：将运动参数信息与时间耦合得到目标的距离-时间图和多普勒-时间图，并基于此构建数据集；
S103：将构建好的数据集经过预处理后以特定的方式进行融合后送入卷积神经网络中进行训练，并将训练好的网络作为交通目标分类器；
S104：将融合后的目标特征送入分类器，得到不同的交通目标分类。
本发明提供的多特征融合交通目标识别方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的多特征融合交通目标识别方法仅仅是一个具体实施例而已。
如图2所示，本发明提供的多特征融合交通目标识别系统包括：
运动参数信息获取模块1，用于运用FMCW雷达采集不同交通目标的拍频信号，通过雷达信号处理算法得到目标的距离-多普勒图和径向距离、速度等运动参数信息；
数据集构建模块2，用于将运动参数信息与时间耦合得到目标的距离-时间图和多普勒-时间图，并基于此构建数据集；
数据集训练模块3，用于将构建好的数据集经过预处理后以特定的方式进行融合后送入卷积神经网络中进行训练，并将训练好的网络作为交通目标分类器；
交通目标分类获取模块4，用于将融合后的目标特征送入分类器，得到不同的交通目标分类。
下面结合附图对本发明的技术方案作进一步的描述。
本发明实施例提供的基于FMCW(Frequency Modulated Continuous Wave)雷达的多特征融合交通目标识别方法多特征融合交通目标识别方法包括：
连续波雷达通过比较任意时刻回波信号频率与此时刻发射信号的频率的之差方法得到目标的距离信息；
距离正比于两者的频率差，目标的径向速度和距离可由测量的二者频率差处理后得到，探测交通目标的位置速度信息。
本发明的FMCW雷达是指发射频率经过线性调制的连续波雷达，通过对发射信号与回波信号混频后的拍频信号进行处理来解析目标的运动参数。在一个锯齿波线性调频脉宽周期内，雷达发射信号频率随时间呈线性上升趋势，经不同距离处的目标物反射的回波信号与本振信号混频后所产生的拍频信号频率是不一样的，通过公式
(式中d为雷达与目标物的距离，C表示光速，fIF表示混频后的拍频频率，T表示锯齿波线性调频信号脉宽，B表示线性调频信号带宽)可得到目标与雷达的距离信息。
若目标与雷达之间存在径向速度，在相邻的两个脉冲之间由于多普勒效应的存在，不同雷达周期所接受到的回波信号的拍频频率是不同的，而该频率就隐含了目标的速度信息，由计算公式
(fd表示多普勒频率，f0表示载波的中心频率，v表示目标的径向速度，c表示电磁波速度)可得到目标的径向速度，联合上述测量方法，可以得到交通目标的位置和速度信息。
在本发明中得到目标的距离和速度信息，然后采用滑窗恒虚警算法对每一帧距离-多普勒矩阵进行遍历检测并根据信号幅值进行热力图可视化，可得到表征目标特征的距离-多普勒图，因为一帧数据所表征的时间约为0.033秒，该时间远小于一般情况下人类肉眼观测交通目标时的连续时间，故目标的距离-多普勒图(RDM图)可视作表征目标瞬时特征的微多普勒图。
在本发明中为挖掘距离维上目标物在一段连续时间内表达出的运动特征信息，本方法将目标物的距离参数和时间进行耦合。首先将同一帧距离谱上的两列天线通道信号进行点积运算，并在同一帧内慢时间域上进行非相干累积，最终将目标的距离信息在50帧帧长(约1.65s)内进行累积，可得到目标的距离-时间图(RTM图)，RTM图可视作表征目标物在一段连续时间内距离随时间变化的微多普勒图。
在本发明中不同交通目标的速度特征也不尽相同，为挖掘速度维上目标物在一段连续时间内表达出的运动特征信息，本方法将目标物的速度参数和时间进行耦合。基于上述目标物的参数测量方法，提取每一帧上目标物的速度信息，并保留其主瓣及旁瓣信号，最后在50帧帧长(约1.65s)内进行累积，可得到目标的多普勒-时间图(DTM图)，DTM图可视作表征目标物在一段连续时间内速度随时间变化的微多普勒图。
由于不同时刻雷达采集帧数据的能量谱存在波动差异，可能致使峰值能量低的帧数据谱特征会被峰值能量高的帧数据遮掩，导致同一目标的运动特征图表达不够清晰。为解决特征遮掩的问题，本发明采用最小值归一化的方法对数据进行逐帧处理。
在本发明中同一目标物的RDM、RTM、DTM图从距离、速度、瞬时和时序的角度对运动特征进行了表达。为利用卷积神经网络同时对同一目标的三维运动特征进行训练，本发明采用将同一目标的三维特征图沿卷积核后步进方向进行融合，可逐维提取目标所有维度的特征纹理。
在本发明中为实现交通目标识别的功能，结合雷达所测交通目标数据特征鲜明、杂波较少的特点，设计了一种基于卷积神经网络的交通目标分类器。该网络结构包括6个级联式的卷积层，每层均采用32个3×3卷积核，2个Maxpooling池化层，1个全连接层搭载Softmax激活函数作为输出层。
在本发明中将处理后的数据输入搭载好的网络中进行训练，运用训练后的网络便可完成交通目标识别任务。
下面结合实验对本发明的技术效果作详细的描述。
本实验所选用的FMCW雷达平台为亚德诺半导体技术有限公司生产的24GHz雷达开发板A24BF。A24BF是一个独立的雷达系统，设计为两个发射通道、四个接收通道和DSP模块，天线被布置为支持统一的虚拟阵列，间距为波长的一半，具体结构图13所示。
本发明实验所用FMCW雷达开发板具体参数配置为：中心载波频率为24GHz，线性调频锯齿波最大带宽为300MHz，采样频率为1MHz，每一帧的扫频数为128个锯齿波周期。据以上雷达配置参数分析可知，该开发板距离分辨率dres为0.5m，一般交通背景下，交通目标的实际尺寸和间隔距离都大于0.5m，故理论上在空间分辨率方面该开发板满足对交通目标检测的需求；据以上雷达配置参数分析还可知，该开发板的速度分辨率vres为0.19m/s，一般交通背景下，交通目标的实际运动速率和运动速率差都大于0.19m/s，故理论上在速度分辨率方面该开发板满足对交通目标检测的需求。
采用不同交通目标的单维运动特征图数据集，从目标的不同运动特征维度对行人、电瓶车、汽车目标进行了三分类测试。基于单维RDM(距离-多普勒图)、RTM(距离-时间图)、DTM(多普勒-时间图)数据集的行人、电瓶车、汽车三分类混淆矩阵分别如表1所示。
表1基于RDM数据集的行人、电瓶车、汽车三分类混淆矩阵
如表1所示，基于交通目标RDM特征图集的三分类任务的平均准确率为87.33％，从表2中可以发现电瓶车和汽车互为混淆的概率稍大，主要考虑为距离雷达较远时，目标回波能量有所削减使得损失部分目标微多普勒特征所致。
表2基于RTM数据集的行人、电瓶车、汽车三分类混淆矩阵
如表2所示，基于交通目标RTM特征图集的三分类任务的平均准确率为88％，从表3中可以发现从RTM角度，行人和电瓶车的识别误差较大，考虑为在观测帧长内行人和电瓶车与雷达径向距离随时间变化关系有一定相似度所致。
表3基于DTM数据集的行人、电瓶车、汽车三分类混淆矩阵
据表3可得，基于DTM数据集的交通目标三分类任务的平均准确率为90％，其中行人目标的识别率较高，考虑为行人行走时双臂摆动形成的微多普勒特征在DTM谱上会更为明显所致。
上面给出了采用交通目标单维特征图数据集进行交通目标三分类测试的结果，本发明采用了融合后的多维特征图像数据集进行了交通目标三分类测试。首先将同一种交通目标的RDM、RTM、DTM特征图像两两融合，得到RDM、RTM融合特征数据集，RDM、DTM融合特征数据集和RTM、DTM融合特征数据集等三种二维特征融合数据集，并在三种二维特征融合数据集上分别每1000次迭代进行一次测试验证得到准确率变化曲线。最后利用得到的最优模型在增强后的数据集上进行测试，并依据测试结果绘制混淆矩阵。如图14所示。
下面给出基于不同二维特征融合的交通目标混淆矩阵。
表4基于RDM、RTM二维特征融合数据集的交通目标三分类混淆矩阵
由表4可得，基于RDM、RTM二维特征融合数据集的交通目标三分类任务的平均准确率为88.67％。相较于单独使用RDM数据集，使用RDM、RTM二维特征融合数据集所得平均准确率有一定提升，但相较于单独使用RTM数据集，平均准确率的提升并不明显。经分析，该现象可能为经特征图像融合后，RDM图背景占比较大，从而导致特征表达能力略显不足。
表5为基于RDM、DTM二维特征融合数据集的交通目标三分类混淆矩阵。
表5基于RDM、DTM二维特征融合数据集的交通目标三分类混淆矩阵
由表5可得，基于RDM、DTM二维特征融合数据集的交通目标三分类任务的平均准确率为90.33％，其中对行人目标的识别较为准确，经分析为行人行走时双臂自然摆动所形成的独特微多普勒特征相较于其他交通目标有较大的区分度。
表6为基于RTM、DTM二维特征融合数据集的交通目标三分类混淆矩阵。
表6基于RTM、DTM二维特征融合数据集的交通目标三分类混淆矩阵
由表6可得，基于RTM、DTM二维特征融合数据集的交通目标三分类任务的平均准确率为91.33％。可知，将RTM、DTM二维特征融合后的图像作为数据集对于电瓶车的识别准确率提升较为明显，经分析为在RTM、DTM单维特征图像数据集上，电瓶车的特征表现分别较易与人和汽车的特征表现相混淆。将二维特征图像融合后，在一定程度上压制了图像中易混淆特征的表达。
为观察三维特征融合数据集的分类表现，本发明对RDM、RTM、DTM三维特征图像进行全融合，并利用RDM、RTM、DTM三维特征融合数据集进行训练，每1000次迭代进行测试验证，得到准确率变化曲线如图15所示。
利用训练后的网络模型，在增强后的数据集上进行测试，据测试结果所绘混淆矩阵如表7所示。
表7基于三维特征融合数据集的行人、电瓶车、汽车三分类混淆矩阵
由表7可得，基于三维运动特征数据集的三分类任务的平均准确率为92％，相较于采用单维特征数据集，采用三维特征数据集时平均准确率有所提升。考虑为采集数据时干扰产生的随机性使得表征瞬时运动特征的RDM谱和表征时序特征的RTM、DTM谱能量均有波动，可能减弱某一帧或一段连续帧上目标的微多普勒特征。采用经特征融合后的数据集可以在一定程度上对其中某一维波动的微多普勒特征进行校正。
为进一步探究数据集预处理方法的有效性，本发明在未经过标准化处理的三维运动特征数据集上进行了对比验证，每进行1000次迭代进行测试验证，对比准确率曲线如图16所示。
图16中，在经过归一化后的数据集上网络的分类性能明显增加，这是由于数据归一化能够弱化目标RTM、DTM特征谱上的特征遮掩现象使得不同交通目标的微多普勒特征得到加强，从而提高数据集的整体质量。同时图16也充分证明了高质量的数据集对网络性能的提升有一定的帮助。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种多特征融合交通目标识别方法，其特征在于，所述多特征融合交通目标识别方法包括：
运用FMCW雷达采集不同交通目标的拍频信号，通过雷达信号处理算法得到目标的距离-多普勒图和径向距离、速度运动参数信息；
将雷达原始数据用CFAR进行遍历检测后可得到表征目标瞬时特征的距离-多普勒图，将运动参数信息与时间耦合得到目标的距离-时间图和多普勒-时间图，并构建数据集；
将构建好的数据集经过预处理后以沿卷积核后步进方向进行融合后送入卷积神经网络中进行训练，并将训练好的网络作为交通目标分类器；
将融合后的目标特征送入分类器，得到不同的交通目标分类。
2.如权利要求1所述的多特征融合交通目标识别方法，其特征在于，所述多特征融合交通目标识别方法还包括：
连续波雷达通过比较任意时刻回波信号频率与此时刻发射信号的频率的之差方法得到目标的距离信息；
距离正比于两者的频率差，目标的径向速度和距离可由测量的二者频率差处理后得到，探测交通目标的位置速度信息。
3.如权利要求1所述的多特征融合交通目标识别方法，其特征在于，所述多特征融合交通目标识别方法通过对发射信号与回波信号混频后的拍频信号进行处理来解析目标的运动参数，在一个锯齿波线性调频脉宽周期内，雷达发射信号频率随时间呈线性上升趋势，经不同距离处的目标物反射的回波信号与本振信号混频后所产生的拍频信号频率是不一样的，通过公式
式中d为雷达与目标物的距离，C表示光速，fIF表示混频后的拍频频率，T表示锯齿波线性调频信号脉宽，B表示线性调频信号带宽，得到目标与雷达的距离信息。
4.如权利要求3所述的多特征融合交通目标识别方法，其特征在于，若目标与雷达之间存在径向速度，在相邻的两个脉冲之间由于多普勒效应的存在，不同雷达周期所接受到的回波信号的拍频频率是不同的，而该频率就隐含了目标的速度信息，由计算公式
fd表示多普勒频率，f0表示载波的中心频率，v表示目标的径向速度，c表示电磁波速度，得到目标的径向速度，联合上述测量方法，得到交通目标的位置和速度信息。
5.如权利要求1所述的多特征融合交通目标识别方法，其特征在于，所述多特征融合交通目标识别方法得到目标的距离和速度信息，采用滑窗恒虚警算法对每一帧距离-多普勒矩阵进行遍历检测并根据信号幅值进行热力图可视化，得到表征目标特征的距离-多普勒图，目标的距离-多普勒图视作表征目标瞬时特征的微多普勒图。
6.如权利要求1所述的多特征融合交通目标识别方法，其特征在于，所述多特征融合交通目标识别方法为挖掘距离维上目标物在一段连续时间内表达出的运动特征信息，将目标物的距离参数和时间进行耦合；首先将同一帧距离谱上的两列天线通道信号进行点积运算，并在同一帧内慢时间域上进行非相干累积，最终将目标的距离信息在50帧帧长内进行累积，得到目标的距离-时间图，距离-时间图视作表征目标物在一段连续时间内距离随时间变化的微多普勒图；
所述多特征融合交通目标识别方法为挖掘速度维上目标物在一段连续时间内表达出的运动特征信息，将目标物的速度参数和时间进行耦合；基于目标物的参数测量方法，提取每一帧上目标物的速度信息，并保留其主瓣及旁瓣信号，最后在50帧帧长内进行累积，可得到目标的，多普勒-时间图视作表征目标物在一段连续时间内速度随时间变化的微多普勒图；
所述多特征融合交通目标识别方法采用最小值归一化的方法对数据进行逐帧处理；
所述多特征融合交通目标识别方法同一目标物的RDM、RTM、DTM图从距离、速度、瞬时和时序的角度对运动特征进行了表达，为利用卷积神经网络同时对同一目标的三维运动特征进行训练，采用将同一目标的三维特征图沿卷积核后步进方向进行融合，逐维提取目标所有维度的特征纹理；
所述多特征融合交通目标识别方法为实现交通目标识别的功能，采用基于卷积神经网络的交通目标分类器，包括6个级联式的卷积层，每层均采用32个3×3卷积核，2个Maxpooling池化层，1个全连接层搭载Softmax激活函数作为输出层；
将处理后的数据输入搭载好的网络中进行训练，运用训练后的网络便可完成交通目标识别任务。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
运用FMCW雷达采集不同交通目标的拍频信号，通过雷达信号处理算法得到目标的距离-多普勒图和径向距离、速度运动参数信息；
将运动参数信息与时间耦合得到目标的距离-时间图和多普勒-时间图，并构建数据集；
将构建好的数据集经过预处理后以特定的方式进行融合后送入卷积神经网络中进行训练，并将训练好的网络作为交通目标分类器；
将融合后的目标特征送入分类器，得到不同的交通目标分类。
8.一种实施权利要求1～6任意一项所述特征融合交通目标识别方法的特征融合交通目标识别系统，其特征在于，所述特征融合交通目标识别系统包括：
运动参数信息获取模块，用于运用FMCW雷达采集不同交通目标的拍频信号，通过雷达信号处理算法得到目标的距离-多普勒图和径向距离、速度运动参数信息；
数据集构建模块，用于将运动参数信息与时间耦合得到目标的距离-时间图和多普勒-时间图，并构建数据集；
数据集训练模块，用于将构建好的数据集经过预处理后以特定的方式进行融合后送入卷积神经网络中进行训练，并将训练好的网络作为交通目标分类器；
交通目标分类获取模块，用于将融合后的目标特征送入分类器，得到不同的交通目标分类。
9.一种如权利要求1～6任意一项所述特征融合交通目标识别方法在交通目标识别中的应用。
10.一种如权利要求1～6任意一项所述特征融合交通目标识别方法在交通目标监管中的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110781267.9A CN113591938A (zh) | 2021-07-10 | 2021-07-10 | 多特征融合交通目标识别方法、系统、计算机设备及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110781267.9A CN113591938A (zh) | 2021-07-10 | 2021-07-10 | 多特征融合交通目标识别方法、系统、计算机设备及应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113591938A true CN113591938A (zh) | 2021-11-02 |
Family
ID=78246759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110781267.9A Pending CN113591938A (zh) | 2021-07-10 | 2021-07-10 | 多特征融合交通目标识别方法、系统、计算机设备及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591938A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114611547A (zh) * | 2022-01-29 | 2022-06-10 | 清华大学 | 基于卷积神经网络的雷达目标识别方法、模型训练方法 |
| CN117079245A (zh) * | 2023-07-05 | 2023-11-17 | 浙江工业大学 | 一种基于无线信号的交通道路目标识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014218092A1 (de) * | 2014-09-10 | 2016-03-10 | Volkswagen Aktiengesellschaft | Erstellen eines Abbilds der Umgebung eines Kraftfahrzeugs und Bestimmen der relativen Geschwindigkeit zwischen dem Kraftfahrzeug und Objekten in der Umgebung |
| CN109271838A (zh) * | 2018-07-19 | 2019-01-25 | 重庆邮电大学 | 一种基于fmcw雷达的三参数特征融合手势识别方法 |
| CN112200146A (zh) * | 2020-11-03 | 2021-01-08 | 常州百芝龙智慧科技有限公司 | 一种基于fmcw的手势识别的检测方法 |
| CN112782665A (zh) * | 2021-03-16 | 2021-05-11 | 浙江大学 | 一种基于fmcw雷达rdi的数据集拓展方法 |
| CN112835009A (zh) * | 2021-03-16 | 2021-05-25 | 浙江大学 | 一种基于fmcw雷达rai的数据集拓展方法 |
-
2021
- 2021-07-10 CN CN202110781267.9A patent/CN113591938A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014218092A1 (de) * | 2014-09-10 | 2016-03-10 | Volkswagen Aktiengesellschaft | Erstellen eines Abbilds der Umgebung eines Kraftfahrzeugs und Bestimmen der relativen Geschwindigkeit zwischen dem Kraftfahrzeug und Objekten in der Umgebung |
| CN109271838A (zh) * | 2018-07-19 | 2019-01-25 | 重庆邮电大学 | 一种基于fmcw雷达的三参数特征融合手势识别方法 |
| CN112200146A (zh) * | 2020-11-03 | 2021-01-08 | 常州百芝龙智慧科技有限公司 | 一种基于fmcw的手势识别的检测方法 |
| CN112782665A (zh) * | 2021-03-16 | 2021-05-11 | 浙江大学 | 一种基于fmcw雷达rdi的数据集拓展方法 |
| CN112835009A (zh) * | 2021-03-16 | 2021-05-25 | 浙江大学 | 一种基于fmcw雷达rai的数据集拓展方法 |
Non-Patent Citations (3)
| Title |
|---|
| REN A等: "Fusion Dynamic Time Warping Algorithm for Hand Gesture Recognition in FMCW Radar System", 《INTERNATIONAL CONFERENCE IN COMMUNICATIONS》, 8 June 2021 (2021-06-08), pages 1205 - 1209 * |
| 李楚杨: "基于毫米波雷达的手势识别算法研究", 《中国优秀硕士学位论文全文数据库：信息科技辑》, no. 7, 15 July 2020 (2020-07-15), pages 1 - 85 * |
| 杨牧: "FMCW雷达交通目标检测与识别方法研究", 《中国优秀硕士学位论文全文数据库：工程科技Ⅱ辑》, no. 4, 15 April 2022 (2022-04-15), pages 1 - 92 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114611547A (zh) * | 2022-01-29 | 2022-06-10 | 清华大学 | 基于卷积神经网络的雷达目标识别方法、模型训练方法 |
| CN117079245A (zh) * | 2023-07-05 | 2023-11-17 | 浙江工业大学 | 一种基于无线信号的交通道路目标识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11340332B2 (en) | Method and apparatus for processing radar data | |
| Major et al. | Vehicle detection with automotive radar using deep learning on range-azimuth-doppler tensors | |
| US11506776B2 (en) | Method and device with improved radar resolution | |
| CN111899568B (zh) | 桥梁防撞预警系统、方法、装置和存储介质 | |
| US6307500B1 (en) | Method of moment estimation and feature extraction for devices which measure spectra as a function of range or time | |
| EP0888560B1 (en) | Improved method of moment estimation and feature extraction for devices which measure spectra as a function of range or time | |
| CN108510734A (zh) | 一种路侧单元及一种路侧单元的车辆信息匹配方法 | |
| CN102914773B (zh) | 一种多航过圆周sar三维成像方法 | |
| CN105197108B (zh) | 一种基于汽车辅助驾驶系统的多目标测向系统及其方法 | |
| Cui et al. | 3D detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4D mmWave radars | |
| CN113591938A (zh) | 多特征融合交通目标识别方法、系统、计算机设备及应用 | |
| Pandey et al. | Classification of automotive targets using inverse synthetic aperture radar images | |
| Vriesman et al. | An experimental analysis of rain interference on detection and ranging sensors | |
| CN115995032A (zh) | 一种多模态特征融合的舰船智能识别方法和系统 | |
| Cao et al. | Lane determination of vehicles based on a novel clustering algorithm for intelligent traffic monitoring | |
| US20210326581A1 (en) | DNN-Based Human Face Classification | |
| CN116467848B (zh) | 一种毫米波雷达点云仿真的方法和装置 | |
| Rizik et al. | Low-cost FMCW radar human-vehicle classification based on transfer learning | |
| CN110363128A (zh) | 基于生物视觉的机场跑道异物检测方法、系统及介质 | |
| Unnikrishnan et al. | Resolving elevation ambiguity in 1-D radar array measurements using deep learning | |
| Guo et al. | Deep Model Based Road User Classification Using mm-Wave Radar | |
| Sun et al. | High-Precision Railway Fastener Detecting via Deep Learning Radar for Intelligent Train Positioning | |
| Huang et al. | Ship Detection based on SAR Imaging Supervised by Noisy Ship Direction | |
| Park et al. | Bi-directional LSTM-based Overhead Target Classification for Automotive Radar Systems | |
| US20240248174A1 (en) | Radar reflection detection with convolutional neural network kernels matched to reflection-ghost offset |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |