CN113791410A - 一种基于多传感器信息融合的道路环境综合认知方法 - Google Patents
一种基于多传感器信息融合的道路环境综合认知方法 Download PDFInfo
- Publication number
- CN113791410A CN113791410A CN202110958792.3A CN202110958792A CN113791410A CN 113791410 A CN113791410 A CN 113791410A CN 202110958792 A CN202110958792 A CN 202110958792A CN 113791410 A CN113791410 A CN 113791410A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- data
- road
- sensor
- road environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000004927 fusion Effects 0.000 title claims abstract description 27
- 230000019771 cognition Effects 0.000 title claims abstract description 17
- 238000005259 measurement Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000001149 cognitive effect Effects 0.000 claims abstract description 12
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 230000001629 suppression Effects 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 9
- 239000002245 particle Substances 0.000 claims description 8
- 238000002310 reflectometry Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000008033 biological extinction Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于多传感器信息融合的道路环境综合认知方法，包括S1、配置毫米波雷达参数，根据回波数据完成测距和测角，采用帧差法显示动目标，初步分离出道路上的各个运动车辆后，采用恒虚警检测进行杂波抑制，确定车辆所在位置，并获取各探测帧内的车流量信息；S2、基于S1中获取的各个车辆所在的距离门位置，将速度与每个位置上的车辆一一对应；S3、标定毫米波雷达测量数据与能见度之间的函数关系；S4、对监控数据进行车辆识别、计数和态势显示，实时判断道路是否发生拥堵、事故或道路结冰状况；S5、配置能见度传感器；S6、配置气象6要素传感器S7、结合卷积神经网络进行多传感器数据融合，以实现对道路环境的综合认知判断。
Description
技术领域
本发明属于毫米波雷达信号处理的技术领域，具体涉及一种基于多传感器信息融合的道路环境综合认知方法。
背景技术
道路交通事故作为危害人身安全的重要因素之一，每年造成巨大经济损失，长期以来受到社会各界和各部门的重视。
目前对道路环境的测量和认知主要由交通流量、天气气象信息、交通事件、交通管制信息、施工信息、拥堵情况几种信息构成。对于每种信息，均有不同的传感器进行测量和监控，如摄像头、能见度仪、气象传感器等。传感器的增加在获得更加丰富和精确的道路环境数据的同时，也带来了传感器功能重叠、设备安装分散、各类标准繁多、数据传输不同步、传感器数据利用不充分等问题，在覆盖交通道路和智能化道路发展过程中，存在“重建设、轻运营维护和统筹管理”的问题。目前已使用单一某个传感器无法实现对各种实际情况中的道路环境信息的准确认知，以及大规模大范围部署。
发明内容
本发明的目的在于针对现有技术中的上述不足，提供一种基于多传感器信息融合的道路环境综合认知方法，以解决或改善上述的问题。
为达到上述目的，本发明采取的技术方案是：
一种基于多传感器信息融合的道路环境综合认知方法，其包括以下步骤：
S1、配置毫米波雷达参数，根据回波数据完成测距和测角，采用帧差法显示动目标，初步分离出道路上的各个运动车辆后，采用恒虚警检测进行杂波抑制，确定车辆所在位置，并获取各探测帧内的车流量信息；对于多帧内的多目标进行航迹关联，获取车辆的行进轨迹；
S2、基于S1中获取的各个车辆所在的距离门位置，在原始雷达回波中通过在距离维和多普勒维的傅里叶变换获取到车辆的实时行进速度信息，并将速度与每个位置上的车辆一一对应；
S3、标定毫米波雷达测量数据与能见度之间的函数关系；
S4、配置数字摄像头并结合数字图像处理算法，对监控数据进行车辆识别、计数和态势显示，实时判断道路是否发生拥堵、事故或道路结冰状况；当能见度低于阈值时；
S5、配置能见度传感器，实时将能见度数据传输至上位机，并实时显示能见度异常数据；
S6、配置气象6要素传感器，实时上传风速、温度、湿度、气压、雨量、和光照6要素气象数据；
S7、根据S1至S6中的多传感器数据构建数据集，并结合卷积神经网络进行多传感器数据融合，以实现对道路环境的综合认知判断。
进一步地，步骤S1中配置毫米波雷达参数，根据回波数据完成测距和测角，采用帧差法显示动目标，初步分离出道路上的各个运动车辆后，采用恒虚警检测进行杂波抑制，确定车辆所在位置，并获取各探测帧内的车流量信息；对于多帧内的多目标进行航迹关联，获取车辆的行进轨迹，具体包括：
配置毫米波雷达参数：
其中，Rres为距离分辨率，c为真空中的光速3×108m/s，B为雷达带宽；
经过低通滤波器后得到回波信号与发射信号的差频信号Sb，在其距离向快时间做傅里叶变换进行去调频处理得到差频fIF，根据频率与距离的换算计算目标所在距离：
其中，d为目标所在距离，k为调频斜率；
采用capon算法计算测角：
其中，w为权矢量，R为雷达天线接收信号的协方差矩阵，P(w)＝wHRw，为输出的平均功率；上式的约束条件为wHa(θ)＝1，a(θ)为来自波达方向θ的发射信源方向矢量；
Capon算法使噪声以及来自非θ方向的任何干扰所贡献的功率最小，并保持在观测方向θ上的信号功率不变。最优权矢量wCAP采用Lagrange乘子法求解：
其中，aH(θ)为a(θ)的共轭转置，结合约束条件，得到包含各个目标的空间谱PCAP：
采用CA-CFAR对空间谱中的各个点进行检测，固定虚警概率为
在检测单元周围取L点作为参照单元记为c(l)，则门限因子α为：
得到检测阈值TH为：
通过阈值划分得到多帧内的多目标位置，并根据扩展卡尔曼滤波进行航迹关联，获取车辆的行进轨迹。
进一步地，步骤S2中基于S1中获取的各个车辆所在的距离门位置，在原始雷达回波中通过在距离维和多普勒维的傅里叶变换获取到车辆的实时行进速度信息，并将速度与每个位置上的车辆一一对应，具体包括：
在原始雷达回波中通过在距离维和多普勒维的傅里叶变换，确定各个距离上多普勒维最大值所在的频率，即各个车辆的多普勒频率fd，获取到车辆的实时行进速度v＝2fd/λ，并将速度与每个位置上的车辆一一对应。
进一步地，步骤S3中标定毫米波雷达测量数据与能见度之间的函数关系，具体包括：
其中，ki为散射消光系数，ri为粒子半径，ni为半径为ri的粒子数量；
雷达反射率因子Z与ri，ni的关系为：
Z＝∑ini(2ri)6。
进一步地，步骤S4中图像处理算法包括：
采用OpenCV库通过Features2D和Homography查找已知对象，识别出视频图像中的动目标，再对视频中的车辆与行人目标进行分类，完成对监控数据的车辆识别、计数和态势显示，并实时判断道路是否发生拥堵、事故、道路结冰状况。
进一步地，步骤S7中根据S1至S6中的多传感器数据构建数据集，并结合卷积神经网络进行多传感器数据融合，以实现对道路环境的综合认知判断，具体包括：
将数据集输入卷积神经网络进行多传感器信息融合；
卷积神经网络包括2个卷积层，2个池化层，采用ReLU激活函数；
训练标签包括交通事件、气象信息，结合直接获取的道路环境数据，完成对道路环境的综合认知判断。
进一步地，卷积神经网输入数据包括毫米波雷达探测到的车流量、车速、全天时能见度、道路积水、积雪、结冰情况，视频传感器探测到的视频图像，能见度传感器获取的能见度数据，以及气象6要素传感器获取的风速、温度、湿度、气压、雨量、光照6要素实时气象数据；
输出数据包括交通事件、气象信息，结合直接获取的道路环境数据，完成对道路环境的综合认知判断。
本发明提供的基于多传感器信息融合的道路环境综合认知方法，具有以下有益效果：
本发明综合利用多种传感器设计一种在多变外界环境中，基于多种传感器信息融合，综合利用各种环境信息，可全天时、全天候工作，低成本、高准确度的道路环境综合认知。
附图说明
图1为基于多传感器信息融合的道路环境综合认知方法的原理框图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
参考图1，本方案的基于多传感器信息融合的道路环境综合认知方法，包括以下步骤：
步骤S1、配置毫米波雷达参数，根据回波数据完成测距和测角，采用帧差法显示动目标，初步分离出道路上的各个运动车辆后，采用恒虚警检测进行杂波抑制，确定车辆所在位置，并获取各探测帧内的车流量信息；对于多帧内的多目标进行航迹关联，获取车辆的行进轨迹，其具体包括：
确定雷达配置参数，雷达带宽B、单脉冲重复周期内的采样点个数N按照下式计算：
其中，Rres为距离分辨率，c为真空中的光速3×108m/s；
经过低通滤波器后得到回波信号与发射信号的差频信号Sb，在其距离向快时间做傅里叶变换(FFT)实现去调频处理(De-chirp)得到差频fIF，经过频率与距离的换算完成高精度测距：
其中，d为目标所在距离，k为调频斜率；
再配合capon算法完成高精度测角，Capon算法求解的优化问题可以表述为：
其中，w为权矢量，R为雷达天线接收信号的协方差矩阵；
约束条件为wHa(θ)＝1，a(θ)为来自波达方向θ的发射信源方向矢量。
最优加权向量可以用Lagrange乘子法求解：
将该式代入约束条件可以得到空间谱：
进而得到包含各个目标的空间谱。
对每帧数据都进行该操作后，使用帧差法实现动目标显示，初步分离出道路上的各个运动车辆后，使用单元平均恒虚警检测器(CA-CFAR)实现杂波抑制，确定车辆所在位置，获取各探测帧内的车流量信息。
采用CA-CFAR对空间谱中的各个点进行检测，固定虚警概率为
在检测单元周围取L点作为参照单元记为c(l)，则门限因子为：
可以得到检测阈值为：
通过阈值划分可以得到多帧内的多目标位置，再通过扩展卡尔曼滤波进行航迹关联，获取车辆的行进轨迹。
步骤S2、基于S1中获取的各个车辆所在的距离门位置，在原始雷达回波中通过在距离维和多普勒维的傅里叶变换获取到车辆的实时行进速度信息，并将速度与每个位置上的车辆一一对应，其具体包括：
在原始雷达回波中通过在距离维和多普勒维的傅里叶变换，找到各个距离上多普勒维最大值所在的频率，即各个车辆的多普勒频率fd，从而获取到车辆的实时行进速度v＝2fd/λ，实现高精准实时测速，并将速度与每个位置上的车辆一一对应。
步骤S3、标定毫米波雷达测量数据与能见度之间的函数关系，其具体包括：
为了获得能见度参数，首先标定毫米波雷达测量数据与能见度之间的关系。能见度由消光系数σ唯一确定，其值与空气中粒子总量即各粒子大小有关，表示为：
其中，ki表示散射消光系数，ri表示粒子半径，ni表示半径为ri的粒子数量；雷达反射率因子Z与ri，ni的关系表示为：
Z＝∑ini(2ri)6
因此，可以将雷达反射率因子作为表征能见度的依据，雷达反射率因子与能见度的关系在人工模拟实验室室内或室外进行标定，毫米波雷达放置在固定位置，角度反射镜放置在与雷达固定距离远处，发射雷达波经模拟空气环境照射到角反射器，反射后的回波经过模拟空气环境后由雷达接收，记录模拟空气环境下雷达反射率因子的相关数据，并可以由路面对回波的反射情况判断道路积水、积雪、结冰情况。
步骤S4、配置数字摄像头并结合数字图像处理算法，对监控数据进行车辆识别、计数和态势显示，实时判断道路是否发生拥堵、事故或道路结冰状况；当能见度低于阈值时，其具体包括：
安装数字摄像头，调整角度，连接与配置好计算机的端口后进行监控数据传输，实现本地收发数据和远程收发数据，在上位机实时显示监控视频信息
结合数字图像处理算法，使用OpenCV库通过Features2D和Homography查找已知对象，识别出视频图像中的动目标，再对视频中的车辆与行人目标进行分类，完成对监控数据的车辆识别、计数和态势显示，实时判断道路是否发生拥堵、事故、道路结冰状况。
在能见度状况极差和光照严重不足时，以步骤S1～S3中的毫米波雷达数据为主。
步骤S5、安装配置好能见度传感器，连接与配置好计算机端口，实现本地收发数据和远程收发数据，实时传输至上位机软件提供准确的能见度数据，并在能见度异常时及时显示。
步骤S6、安装配置好气象6要素传感器，连接和配置好计算机端口，实现本地收发数据和远程收发数据，实时传输至上位机，提供风速、温度、湿度、气压、雨量、光照6要素实时气象数据。
步骤S7、通过步骤S1～S6获得的多传感器数据，构建数据集。
数据集中的参数包括毫米波雷达探测到的车流量、车速、全天时能见度、道路积水、积雪、结冰情况，视频传感器探测到的视频图像，能见度仪获取的能见度数据，以及气象6要素传感器获取的风速、温度、湿度、气压、雨量、光照6要素实时气象数据输入卷积神经网络实现多传感器信息融合。
卷积神经网络包括2个卷积层，2个池化层，使用ReLU激活函数。
训练标签包括交通事件、气象信息，结合直接获取的道路环境数据，完成对道路环境的综合认知判断。
卷积神经网输入数据包括毫米波雷达探测到的车流量、车速、全天时能见度、道路积水、积雪、结冰情况，视频传感器探测到的视频图像，能见度传感器获取的能见度数据，以及气象6要素传感器获取的风速、温度、湿度、气压、雨量、光照6要素实时气象数据。
输出数据包括交通事件、气象信息，结合直接获取的道路环境数据，完成对道路环境的综合认知判断。
人工神经网络的跨层连接与数据融合模型非常相似，是一种完全并行的结构。它是一种能够实现多输入信号融合的超大规模并行信息融合处理系统。经过训练后，模型可以通过其他测量过程中获得的多传感器数据快速计算出相应的能见度数据。
本发明基于能见度传感器、气象6要素传感器、毫米波雷达和视频传感器，构建道路环境综合认知的神经网络模型，以实现对对道路环境的综合认知判断。
其中，毫米波雷达具有良好的环境普适性，覆盖范围广，且分辨率高，穿透性强，可以实现全天时、全天候工作，非常适用于道路环境认知，提供远距离高精度的车流量、行车速度、地面积水结冰，并且可以提供能见度信息。
视频传感器以数字图像和视频流为主，虽然受光照和天气条件影响较大，但更加贴近人眼所见，识别精度和准确率一般高于毫米波雷达传感器，可以直观提供车流量、天气情况和道路积水结冰情况，与毫米波雷达传感器配合使用，完成对当前道路环境的综合检测。
同时，配合能见度仪和气象6要素传感器测量精确的气象信息，提高检测和最终的识别准确率和认知效果。
本发明最终通过上述传感器数据融合方法，完成对道路环境的综合认知判断，并向交通管理部门提供限速、环境风险、交通事件、交通时间可能发生原因等信息，实现道路自动化、智能化、高准确性管理。
虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。
Claims (7)
1.一种基于多传感器信息融合的道路环境综合认知方法，其特征在于，包括以下步骤：
S1、配置毫米波雷达参数，根据回波数据完成测距和测角，采用帧差法显示动目标，初步分离出道路上的各个运动车辆后，采用恒虚警检测进行杂波抑制，确定车辆所在位置，并获取各探测帧内的车流量信息；对于多帧内的多目标进行航迹关联，获取车辆的行进轨迹；
S2、基于S1中获取的各个车辆所在的距离门位置，在原始雷达回波中通过在距离维和多普勒维的傅里叶变换获取到车辆的实时行进速度信息，并将速度与每个位置上的车辆一一对应；
S3、标定毫米波雷达测量数据与能见度之间的函数关系；
S4、配置数字摄像头并结合数字图像处理算法，对监控数据进行车辆识别、计数和态势显示，实时判断道路是否发生拥堵、事故或道路结冰状况；
S5、配置能见度传感器，实时将能见度数据传输至上位机，并实时显示能见度异常数据；
S6、配置气象6要素传感器，实时上传风速、温度、湿度、气压、雨量、和光照6要素气象数据；
S7、根据S1至S6中的多传感器数据构建数据集，并结合卷积神经网络进行多传感器数据融合，以实现对道路环境的综合认知判断。
2.根据权利要求1所述的基于多传感器信息融合的道路环境综合认知方法，其特征在于，所述步骤S1中配置毫米波雷达参数，根据回波数据完成测距和测角，采用帧差法显示动目标，初步分离出道路上的各个运动车辆后，采用恒虚警检测进行杂波抑制，确定车辆所在位置，并获取各探测帧内的车流量信息；对于多帧内的多目标进行航迹关联，获取车辆的行进轨迹，具体包括：
配置毫米波雷达参数：
其中，Rres为距离分辨率，c为真空中的光速3×108m/s，B为雷达带宽；
经过低通滤波器后得到回波信号与发射信号的差频信号Sb，在其距离向快时间做傅里叶变换进行去调频处理得到差频fIF，根据频率与距离的换算计算目标所在距离：
其中，d为目标所在距离，k为调频斜率；
采用capon算法计算测角：
其中，w为权矢量，R为雷达天线接收信号的协方差矩阵，P(w)＝wHRw，为输出的平均功率；上式的约束条件为wHa(θ)＝1，a(θ)为来自波达方向θ的发射信源方向矢量；
Capon算法使噪声以及来自非θ方向的任何干扰所贡献的功率最小，并保持在观测方向θ上的信号功率不变。最优权矢量wCAP采用Lagrange乘子法求解：
其中，aH(θ)为a(θ)的共轭转置，结合约束条件，得到包含各个目标的空间谱PCAP：
对每帧数据都进行空间谱计算后，采用帧差法进行动目标显示，初步分离出道路上的各个运动车辆后，采用单元平均恒虚警检测器进行杂波抑制，确定车辆所在位置，获取各探测帧内的车流量信息；
采用CA-CFAR对空间谱中的各个点进行检测，固定虚警概率为
在检测单元周围取L点作为参照单元记为c(l)，则门限因子α为：
得到检测阈值TH为：
通过阈值划分得到多帧内的多目标位置，并根据扩展卡尔曼滤波进行航迹关联，获取车辆的行进轨迹。
3.根据权利要求1所述的基于多传感器信息融合的道路环境综合认知方法，其特征在于，所述步骤S2中基于S1中获取的各个车辆所在的距离门位置，在原始雷达回波中通过在距离维和多普勒维的傅里叶变换获取到车辆的实时行进速度信息，并将速度与每个位置上的车辆一一对应，具体包括：
在原始雷达回波中通过在距离维和多普勒维的傅里叶变换，确定各个距离上多普勒维最大值所在的频率，即各个车辆的多普勒频率fd，获取到车辆的实时行进速度v＝2fd/λ，并将速度与每个位置上的车辆一一对应。
4.根据权利要求1所述的基于多传感器信息融合的道路环境综合认知方法，其特征在于，所述步骤S3中标定毫米波雷达测量数据与能见度之间的函数关系，具体包括：
其中，ki为散射消光系数，ri为粒子半径，ni为半径为ri的粒子数量；
雷达反射率因子Z与ri，ni的关系为：
Z＝∑ini(2ri)6。
5.根据权利要求1所述的基于多传感器信息融合的道路环境综合认知方法，其特征在于，所述步骤S4中图像处理算法包括：
采用OpenCV库通过Features2D和Homography查找已知对象，识别出视频图像中的动目标，再对视频中的车辆与行人目标进行分类，完成对监控数据的车辆识别、计数和态势显示，并实时判断道路是否发生拥堵、事故、道路结冰状况。
6.根据权利要求1所述的基于多传感器信息融合的道路环境综合认知方法，其特征在于，所述步骤S7中根据S1至S6中的多传感器数据构建数据集，并结合卷积神经网络进行多传感器数据融合，以实现对道路环境的综合认知判断，具体包括：
将数据集输入卷积神经网络进行多传感器信息融合；
卷积神经网络包括2个卷积层，2个池化层，采用ReLU激活函数；
训练标签包括交通事件、气象信息，结合直接获取的道路环境数据，完成对道路环境的综合认知判断。
7.根据权利要求6所述的基于多传感器信息融合的道路环境综合认知方法，其特征在于：卷积神经网输入数据包括毫米波雷达探测到的车流量、车速、全天时能见度、道路积水、积雪、结冰情况，视频传感器探测到的视频图像，能见度传感器获取的能见度数据，以及气象6要素传感器获取的风速、温度、湿度、气压、雨量、光照6要素实时气象数据；
输出数据包括交通事件、气象信息，结合直接获取的道路环境数据，完成对道路环境的综合认知判断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110958792.3A CN113791410B (zh) | 2021-08-20 | 2021-08-20 | 一种基于多传感器信息融合的道路环境综合认知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110958792.3A CN113791410B (zh) | 2021-08-20 | 2021-08-20 | 一种基于多传感器信息融合的道路环境综合认知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113791410A true CN113791410A (zh) | 2021-12-14 |
| CN113791410B CN113791410B (zh) | 2023-10-24 |
Family
ID=79182038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110958792.3A Active CN113791410B (zh) | 2021-08-20 | 2021-08-20 | 一种基于多传感器信息融合的道路环境综合认知方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113791410B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114966672A (zh) * | 2022-06-09 | 2022-08-30 | 深圳大学 | 一种基于光学与微波视觉的智能安防监控处理方法及系统 |
| CN114973702A (zh) * | 2022-04-21 | 2022-08-30 | 安徽皖通科技股份有限公司 | 基于大数据交通协同指挥系统 |
| CN115685185A (zh) * | 2022-12-30 | 2023-02-03 | 苏州尚同墨方智能科技有限公司 | 一种4d毫米波雷达与视觉融合感知方法 |
| WO2023206166A1 (zh) * | 2022-04-27 | 2023-11-02 | 华为技术有限公司 | 目标检测方法及装置 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102231231A (zh) * | 2011-06-16 | 2011-11-02 | 同济大学 | 区域公路网交通安全态势预警系统及其方法 |
| CN103247177A (zh) * | 2013-05-21 | 2013-08-14 | 清华大学 | 大规模路网交通流实时动态预测系统 |
| CN104200657A (zh) * | 2014-07-22 | 2014-12-10 | 杭州智诚惠通科技有限公司 | 一种基于视频和传感器的交通流量参数采集方法 |
| CN108415011A (zh) * | 2018-02-08 | 2018-08-17 | 长安大学 | 一种基于多目标跟踪雷达实现车辆排队检测方法 |
| CN108749708A (zh) * | 2018-05-11 | 2018-11-06 | 长安大学 | 一种低能见度下自动开启车辆雾灯的装置及方法 |
| CN109212520A (zh) * | 2018-09-29 | 2019-01-15 | 河北德冠隆电子科技有限公司 | 全方位检测雷达的路况感知异常事件检测报警系统及方法 |
| CN109720275A (zh) * | 2018-12-29 | 2019-05-07 | 重庆集诚汽车电子有限责任公司 | 基于神经网络的多传感器融合车辆环境感知系统 |
| CN109816997A (zh) * | 2017-11-21 | 2019-05-28 | 重庆瑞升康博电气有限公司 | 具有多传感器信息融合技术的车流量自动检测系统 |
| US20190302253A1 (en) * | 2018-03-28 | 2019-10-03 | Infineon Technologies Ag | System and Method for Controlling Access to a Trunk of a Vehicle Using a Radar Sensor |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN110969855A (zh) * | 2019-12-13 | 2020-04-07 | 长沙莫之比智能科技有限公司 | 一种基于毫米波雷达的交通流量监测系统 |
| CN111532274A (zh) * | 2020-02-28 | 2020-08-14 | 南京航空航天大学 | 基于多传感器数据融合的智能车辆换道辅助系统及方法 |
| CN111812634A (zh) * | 2020-06-05 | 2020-10-23 | 森思泰克河北科技有限公司 | 警戒线目标监测方法、装置和系统 |
| CN112098990A (zh) * | 2020-11-19 | 2020-12-18 | 长沙莫之比智能科技有限公司 | 车载高分辨毫米波雷达对于中高速车辆的检测与跟踪方法 |
| CN112233416A (zh) * | 2020-09-17 | 2021-01-15 | 北京聚利科技有限公司 | 车流量检测方法及装置 |
-
2021
- 2021-08-20 CN CN202110958792.3A patent/CN113791410B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102231231A (zh) * | 2011-06-16 | 2011-11-02 | 同济大学 | 区域公路网交通安全态势预警系统及其方法 |
| CN103247177A (zh) * | 2013-05-21 | 2013-08-14 | 清华大学 | 大规模路网交通流实时动态预测系统 |
| CN104200657A (zh) * | 2014-07-22 | 2014-12-10 | 杭州智诚惠通科技有限公司 | 一种基于视频和传感器的交通流量参数采集方法 |
| CN109816997A (zh) * | 2017-11-21 | 2019-05-28 | 重庆瑞升康博电气有限公司 | 具有多传感器信息融合技术的车流量自动检测系统 |
| CN108415011A (zh) * | 2018-02-08 | 2018-08-17 | 长安大学 | 一种基于多目标跟踪雷达实现车辆排队检测方法 |
| US20190302253A1 (en) * | 2018-03-28 | 2019-10-03 | Infineon Technologies Ag | System and Method for Controlling Access to a Trunk of a Vehicle Using a Radar Sensor |
| CN108749708A (zh) * | 2018-05-11 | 2018-11-06 | 长安大学 | 一种低能见度下自动开启车辆雾灯的装置及方法 |
| CN109212520A (zh) * | 2018-09-29 | 2019-01-15 | 河北德冠隆电子科技有限公司 | 全方位检测雷达的路况感知异常事件检测报警系统及方法 |
| CN109720275A (zh) * | 2018-12-29 | 2019-05-07 | 重庆集诚汽车电子有限责任公司 | 基于神经网络的多传感器融合车辆环境感知系统 |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN110969855A (zh) * | 2019-12-13 | 2020-04-07 | 长沙莫之比智能科技有限公司 | 一种基于毫米波雷达的交通流量监测系统 |
| CN111532274A (zh) * | 2020-02-28 | 2020-08-14 | 南京航空航天大学 | 基于多传感器数据融合的智能车辆换道辅助系统及方法 |
| CN111812634A (zh) * | 2020-06-05 | 2020-10-23 | 森思泰克河北科技有限公司 | 警戒线目标监测方法、装置和系统 |
| CN112233416A (zh) * | 2020-09-17 | 2021-01-15 | 北京聚利科技有限公司 | 车流量检测方法及装置 |
| CN112098990A (zh) * | 2020-11-19 | 2020-12-18 | 长沙莫之比智能科技有限公司 | 车载高分辨毫米波雷达对于中高速车辆的检测与跟踪方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114973702A (zh) * | 2022-04-21 | 2022-08-30 | 安徽皖通科技股份有限公司 | 基于大数据交通协同指挥系统 |
| CN114973702B (zh) * | 2022-04-21 | 2023-08-11 | 安徽皖通科技股份有限公司 | 基于大数据交通协同指挥系统 |
| WO2023206166A1 (zh) * | 2022-04-27 | 2023-11-02 | 华为技术有限公司 | 目标检测方法及装置 |
| CN114966672A (zh) * | 2022-06-09 | 2022-08-30 | 深圳大学 | 一种基于光学与微波视觉的智能安防监控处理方法及系统 |
| CN115685185A (zh) * | 2022-12-30 | 2023-02-03 | 苏州尚同墨方智能科技有限公司 | 一种4d毫米波雷达与视觉融合感知方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113791410B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113791410B (zh) | 一种基于多传感器信息融合的道路环境综合认知方法 | |
| CN109716108B (zh) | 一种基于双目图像分析的沥青路面病害检测系统 | |
| CN103176185B (zh) | 用于检测道路障碍物的方法及系统 | |
| WO2022141914A1 (zh) | 一种基于雷视融合的多目标车辆检测及重识别方法 | |
| CN105261215B (zh) | 基于微波的智能交通行为感知方法及系统 | |
| EP0853769B1 (en) | Microburst detection system | |
| CN112946628A (zh) | 一种基于雷达与视频融合的道路运行状态检测方法及系统 | |
| KR101531224B1 (ko) | 이중편파 레이더 기반의 강수 추정 시스템 및 그 방법 | |
| CN106125076A (zh) | 一种应用于城市交通的防撞雷达预警方法与装置 | |
| CN115943439A (zh) | 一种基于雷视融合的多目标车辆检测及重识别方法 | |
| CN103914983A (zh) | 一种交通卡口管理雷达装置及实现方法 | |
| CN102162788A (zh) | 基于高清视频的能见度检测方法 | |
| Cui et al. | 3D detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4D mmWave radars | |
| CN114419825A (zh) | 基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法 | |
| CN114966899B (zh) | 一种基于多源多元遥感技术协同的区域能见度预测方法 | |
| CN113850102A (zh) | 基于毫米波雷达辅助的车载视觉检测方法及系统 | |
| CN115257784A (zh) | 基于4d毫米波雷达的车路协同系统 | |
| CN111323782A (zh) | 一种基于模糊逻辑的雷达同步监测方法 | |
| CN103149603A (zh) | 一种基于视频的道路气象检测方法 | |
| Sezgin et al. | Safe autonomous driving in adverse weather: Sensor evaluation and performance monitoring | |
| CN117029840A (zh) | 一种移动车辆定位方法及系统 | |
| CN110095776A (zh) | 用于确定对象的存在和/或特性的方法和周围环境识别设备 | |
| Ananda et al. | Preliminary Evaluation of Weather Radar Rainfall Estimation in Bandung City | |
| Kondapalli et al. | Real-time rain severity detection for autonomous driving applications | |
| CN116635739A (zh) | 一种基于车载定位装置的路侧毫米波雷达校准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |