CN117994625A - 基于毫米波雷达的特征融合能见度评估方法及系统 - Google Patents

基于毫米波雷达的特征融合能见度评估方法及系统 Download PDF

Info

Publication number
CN117994625A
CN117994625A CN202410407757.6A CN202410407757A CN117994625A CN 117994625 A CN117994625 A CN 117994625A CN 202410407757 A CN202410407757 A CN 202410407757A CN 117994625 A CN117994625 A CN 117994625A
Authority
CN
China
Prior art keywords
visibility
feature
representing
millimeter wave
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410407757.6A
Other languages
English (en)
Other versions
CN117994625B (zh
Inventor
朱辰宇
杨盛
杨聪
詹同
乔时琛
王健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202410407757.6A priority Critical patent/CN117994625B/zh
Publication of CN117994625A publication Critical patent/CN117994625A/zh
Application granted granted Critical
Publication of CN117994625B publication Critical patent/CN117994625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/95—Radar or analogous systems specially adapted for specific applications for meteorological use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于毫米波雷达的特征融合能见度评估方法及系统，包括：采集视觉数据与3D雷达数据；对采集到的数据进行视觉特征提取与3D特征提取；将提取到的特征进行融合后，使用前馈神经网络进行能见度的评估。在雨雾等恶劣天气条件下，采用的毫米波雷达技术可以穿透这些低能见度条件，仍然获取准确的环境信息。在低能见度条件下，可以提供准确能见度信息来调整车速，优化行车路线，甚至在必要时启动紧急制动。准确的能见度信息允许车辆智能系统在能见度下降时及时作出反应，从而避免因视线不佳而引起的事故。这对于提高雨雾天气等低能见度环境下的道路安全具有重要意义。

Description

基于毫米波雷达的特征融合能见度评估方法及系统
技术领域
本发明涉及能见度评估技术领域，具体为基于毫米波雷达的特征融合能见度评估方法及系统。
背景技术
大雾天气是严重影响道路交通安全的主要因素，特别是高速公路团雾，经常引起多车连环相撞的重大交通事故。由雾引起的交通事故，一方面是驾驶员没有及时感知到能见度的变化，另一方面是前方车辆在大雾天气没有开启雾灯，导致后车在能见度下降的情况下没有及时观察到并采取减速或制动措施。汽车通常都安装有雾灯，但大部分司机通常不会开启雾灯，而是用开启双闪灯的方法替代雾灯，由于波长原因，双闪灯在大雾天的穿透能力不如雾灯，造车后车无法及时识别，由此造成安全隐患。
发明内容
鉴于上述存在的问题，提出了本发明。
因此，本发明解决的技术问题是：现有的能见度评估方法基本依靠纯视觉、算法难度较大、训练过程复杂、鲁棒性不佳等。
为解决上述技术问题，本发明提供如下技术方案：基于毫米波雷达的特征融合能见度评估方法，包括：
采集视觉数据与3D雷达数据；
对采集到的数据进行视觉特征提取与3D特征提取；
将提取到的特征进行融合后，使用前馈神经网络进行能见度的评估。
作为本发明所述的基于毫米波雷达的特征融合能见度评估方法的一种优选方案，其中：所述视觉特征提取包括，使用ResNet作为视觉特征提取器，输出256维特征张量；
所述3D特征提取包括，使用VoxelNet作为3D特征提取器，输出256维特征张量。
作为本发明所述的基于毫米波雷达的特征融合能见度评估方法的一种优选方案，其中：所述将提取到的特征进行融合包括，通过相机成像的几何将点3D云图的数据通过双线性插值法映射到图片中，计算点云匹配的图像坐标；
获得点云在图像上的投影：
；
其中，u表示待求点的横坐标，v表示待求点的纵坐标，z表示点到相机的距离，表示x轴上的相机焦距，/>表示y轴上的相机焦距，/>表示图像中心的横坐标，/>表示图像中心的纵坐标，X、Y、Z表示现实世界的3D坐标；
计算雷达点对应的图像特征：
；
其中，f(u，v)表示待求像素点，Q11、Q12、Q21、Q22表示与f(u，v)最邻近的四个已知的像素点；
将从毫米波雷达数据中提取的特征和从摄像头获取的视觉特征进行融合，对于每一个匹配的点，将视觉部分和3D点云部分的提取结果直接拼接为512维特征张量。
作为本发明所述的基于毫米波雷达的特征融合能见度评估方法的一种优选方案，其中：所述能见度的评估包括，对图中的内容进行能见度的区域划分；
评估每个像素点与图中除/>之外的其他像素点之间的特征相似度；
；
其中，表示当前评估的像素点；/>表示除/>之外的像素点；/>表示像素点/>的融合特征向量；/>表示像素点/>的融合特征向量；/>表示像素点/>和/>之间的空间距离，用于调整特征影响的空间衰减；σ表示控制特征差异敏感度的参数，范围在0.1到10之间；α表示控制空间衰减速率的参数，范围在0到2之间；
使用聚类算法，目标是最小化每个聚类内部的特征差异，同时最大化聚类之间的特征差异，聚类过程可以表示为：
；
其中，K表示聚类中心的数量，表示聚类内所有像素点的特征向量的/>平均值；
根据不同的聚类结果，将每个像素点分配到以各自聚类中心数据集合中，作为K个能见度的区域。
作为本发明所述的基于毫米波雷达的特征融合能见度评估方法的一种优选方案，其中：所述融合特征向量包括，对于图像中的每个像素点，计算LBP值；
；
其中，表示以/>为中心的邻域像素集合；/>表示中心像素/>的亮度值；表示邻域像素/>的亮度值；/>表示符号函数，定义为若x≥0，则s(x)=1，否则s(x)=0；j表示邻域像素的索引，用于计算二进制权重；
计算全局颜色直方图特征：
；
其中，I表示整个图像；B表示每个颜色通道的直方图分箱数；表示计算RGB颜色直方图的函数，为每个颜色通道生成一个直方图，将直方图合并；
将LBP特征和全局颜色直方图特征融合为最终的特征向量：
；
其中，表示对LBP特征应用主成分分析进行降维；k表示降维后的目标维度；Concat表示特征向量的拼接操作，将降维后的LBP特征和全局颜色直方图特征拼接成一个单一的特征向量。
作为本发明所述的基于毫米波雷达的特征融合能见度评估方法的一种优选方案，其中：所述能见度的评估还包括，若聚类结果为1个数据集合，则判定影响能见度的因素是均匀分布，直接对图像进行能见度计算；若聚类结果大于1个数据集合，则判定影响能见度的因素是不均匀分布，分别对每个聚类得到的数据集合进行能见度计算；
在完成能见度的计算后，对原始图片中将K个能见度的区域进行区别显示，并在每个区域中标注能见度数值V；
若，则将区域a与区域b合并为同一个区域进行显示，并将合并后区域的能见度调整为区域a与区域b的平均值。
作为本发明所述的基于毫米波雷达的特征融合能见度评估方法的一种优选方案，其中：所述前馈神经网络包括，将融合后的特征图传入前馈神经网络中，对每个区域进行识别，输出系数的系数估计；
根据比尔-朗伯定律得出能见度V：
；
其中，SNR表示在真实世界测算出的常系数。
一种采用本发明所述方法的基于毫米波雷达的特征融合能见度评估系统，其特征在于：
采集模块，采集视觉数据与3D雷达数据；
特征提取模块，对采集到的数据进行视觉特征提取与3D特征提取；
评估模块，将提取到的特征进行融合后，使用前馈神经网络进行能见度的评估。
一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现本发明中任一项所述的方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现本发明中任一项所述的方法的步骤。
本发明的有益效果：本发明提供的基于毫米波雷达的特征融合能见度评估方法，在雨雾等恶劣天气条件下，采用的毫米波雷达技术可以穿透这些低能见度条件，仍然获取准确的环境信息。这一点对于在各种天气和光照条件下都需要准确数据的应用场景非常关键。在发生大量浓烟的交通事故中或类似影响能见度的环境中，本发明通过对不同区域的能见度区分，可以锁定能见度较高的区域，从而对于汽车的自动驾驶等功能提供环境参考的技术依据。在自动驾驶和辅助驾驶系统中，准确估计能见度对于确保行车安全至关重要。在低能见度条件下，可以利用提供的准确能见度信息来调整车速，优化行车路线，甚至在必要时启动紧急制动，从而显著提高行车安全。准确的能见度信息允许车辆智能系统在能见度下降时及时做出反应，如降低车速，从而避免因视线不佳而引起的事故。这对于提高雨雾天气等低能见度环境下的道路安全具有重要意义。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明第一个实施例提供的基于毫米波雷达的特征融合能见度评估方法的整体流程图；
图2为本发明第一个实施例提供的基于毫米波雷达的特征融合能见度评估方法的残差网络结构图；
图3为本发明第一个实施例提供的基于毫米波雷达的特征融合能见度评估方法的双线性插值示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
实施例1
参照图1-图3，为本发明的一个实施例，提供了基于毫米波雷达的特征融合能见度评估方法，包括：
S1：采集视觉数据与3D雷达数据。
在估计能见度时同时采集视觉数据与3D雷达数据。要说的是，视觉数据（如从摄像头或图像传感器获得的图像和视频）能够提供丰富的环境细节，包括颜色、纹理、形状等视觉特征。这些特征对于识别视野中的对象、评估光照条件和理解场景内容非常有用。视觉数据直接对应于人类的视觉感知，使得对场景的直观理解和分析成为可能。例如，通过分析图像中的能见度，可以直接评估雾、烟雾等大气现象对视线的影响。3D雷达数据（如从激光雷达（LiDAR）获得的点云数据）提供了关于环境的精确空间信息，包括对象的位置、形状和大小。这种空间信息对于理解场景的三维结构和测量对象之间的距离至关重要。与视觉传感器相比，雷达系统通常能够在低光照条件下工作，甚至能够穿透雾、烟和其他大气现象。这使得雷达数据在能见度低的环境中仍然能够提供关键的空间信息。
再进一步，通过结合视觉数据的细节捕捉能力和3D雷达数据的空间信息，可以获得更全面的场景理解。视觉数据提供的颜色和纹理信息与雷达数据提供的准确距离测量相结合，可以更好地识别和分析场景中的对象和条件。在不同的环境条件下（如不同的光照条件、天气状况），单一数据源可能不足以提供准确的能见度估计。数据融合可以提高系统的鲁棒性，确保在各种条件下都能获得可靠的能见度估计。利用两种数据源的互补特性，可以通过综合分析和处理这些数据来提高能见度估计的精度。例如，利用雷达数据确定的距离信息校正或验证基于视觉数据的估计结果。
S2：对采集到的数据进行视觉特征提取与3D特征提取。
进一步的，选用ResNet作为视觉特征提取器，输出256维特征张量。选用VoxelNet作为3D特征提取器，输出256维特征张量。
ResNet是被广泛使用的图像特征提取器（如图2所示）。通过引入残差思想，使得网络可以直接学习输入与输出之间的残差，从而实现更深层次的网络结构而不损失训练效果。它在图像识别、分类和处理等领域表现出色。VoxelNet是专为处理3D点云数据而设计的神经网络，最初是为了提高基于点云的3D物体检测性能。VoxelNet通过将3D空间划分为规则的网格（体素），然后在每个体素内学习点云的特征。它结合了3D卷积神经网络（用于学习局部体素特征）和区域提议网络（用于物体检测），有效地从点云数据中提取有用信息。VoxelNet在处理点云数据方面非常有效，尤其是在自动驾驶汽车的3D物体检测领域。它能处理大量的点云数据，并准确地识别和定位3D空间中的物体。
S3：将提取到的特征进行融合后，使用前馈神经网络进行能见度的评估。
所述将提取到的特征进行融合包括，通过相机成像的几何将点3D云图的数据通过双线性插值法映射到图片中，计算点云匹配的图像坐标。要知道的是，通过相机成像的几何将点3D云图的数据通过双线性插值法映射到图片中，计算出点云匹配的图像坐标。（这些坐标不一定恰好为整数，因此使用双线性插值算法计算近似得到整数点的坐标）。这意味着从毫米波雷达数据中提取的特征和从摄像头获取的视觉特征会基于几何信息一一对应，以确保数据融合的一致性和准确性。
获得点云在图像上的投影：
；
其中，u表示待求点的横坐标，v表示待求点的纵坐标，z表示点到相机的距离，表示x轴上的相机焦距，/>表示y轴上的相机焦距，/>表示图像中心的横坐标，/>表示图像中心的纵坐标，X、Y、Z表示现实世界的3D坐标.
计算雷达点对应的图像特征（如图3）：
；
其中，f(u，v)表示待求像素点，Q11、Q12、Q21、Q22表示与f(u，v)最邻近的四个已知的像素点。
将从毫米波雷达数据中提取的特征和从摄像头获取的视觉特征进行融合，对于每一个匹配的点，将视觉部分和3D点云部分的提取结果直接拼接为512维特征张量。
进一步的，对图中的内容进行能见度的区域划分。自然环境中影响能见度的因素（如雾、烟、尘埃等）往往在空间上分布不均匀。通过对图像进行区域划分，可以识别出这些不均匀分布的区域，从而更准确地评估它们对能见度的具体影响。将图像划分为多个区域并分别评估每个区域的能见度，可以提高整体能见度评估的精度。这是因为不同区域可能受到不同程度的影响，一种“一刀切”的评估方法可能无法准确反映实际情况。
再进一步的，评估每个像素点与图中除/>之外的其他像素点之间的特征相似度：
；
其中，表示当前评估的像素点；/>表示除/>之外的像素点；/>表示像素点/>的融合特征向量；/>表示像素点/>的融合特征向量；/>表示像素点/>和/>之间的空间距离，用于调整特征影响的空间衰减；σ表示控制特征差异敏感度的参数，范围在0.1到10之间；α表示控制空间衰减速率的参数，范围在0到2之间。
要说的是，根据神经网络学习算法得到控制特征差异敏感度的参数σ和控制空间衰减速率的参数α的数值都是根据对环境的识别，从而输出不同的数值。学习过程为：收集一系列不同能见度环境下的图像数据，每个图像都有对应的能见度标签（例如，通过专家评估或使用现有的能见度评估工具获得）。对于每个图像，使用已经融合的特征提取方法（如ResNet和VoxelNet的融合特征）来获取图像的特征表示。神经网络接收图像的特征表示作为输入，并输出对应的σ和α值。网络的最后一层可以是两个独立的全连接层，分别用于预测σ和α。由于σ和α是连续值，可以使用均方误差（MSE）作为损失函数。使用梯度下降法（或其变体，如Adam优化器）来最小化损失函数，从而训练网络参数，包括与σ和α预测相关的权重。在独立的验证集上测试网络的性能，根据需要调整网络结构或训练参数（如学习率、批大小等）以提高预测准确性。当输入神经网络图像的融合结果时，神经网络则会根据学习结果输出σ和α的最优值。
使用聚类算法，目标是最小化每个聚类内部的特征差异，同时最大化聚类之间的特征差异，聚类过程可以表示为：
；
其中，K表示聚类中心的数量，表示聚类内所有像素点的特征向量的/>平均值；根据不同的聚类结果，将每个像素点分配到以各自聚类中心数据集合/>中，作为K个能见度的区域。
另外，选择聚类中心的第一步是理解数据的分布。对于图像数据，我们可以考虑像素特征相似度的分布。基于这个分布，我们可以采用以下策略之一来初始化聚类中心：K-means++初始化：K-means++是一种选择初始聚类中心的方法，旨在将初始中心彼此尽可能远地分开。具体步骤如下：
步骤1：随机选择一个点作为第一个聚类中心。
步骤2：对于数据集中的每个点，计算其与最近聚类中心的距离。
步骤3：选择下一个聚类中心，使得距离现有聚类中心更远的点具有更高的概率被选中。
重复步骤2和3，直到选择了所有K个聚类中心。
利用图像特性的优化：在图像聚类任务中，除了考虑像素点的特征相似度外，还可以考虑像素点在空间上的分布特性。可以结合空间信息和特征相似度来优化聚类中心的选择：
空间-特征混合初始化：选择聚类中心时，不仅虑像素点的特征相似度，还考虑像素点在图像中的空间位置。这可以通过调整K-means++算法中距离计算方式来实现，将特征相似度和空间距离结合成一个混合距离度量：
；
其中，Dlesture表示基于特征相似点的距离，Dspoce表示基于空问位置的距离。
融合特征向量包括，对于图像中的每个像素点，计算LBP值；
；
其中，表示以/>为中心的邻域像素集合，通常选择8个邻域像素；/>表示中心像素/>的亮度值；/>表示邻域像素/>的亮度值；/>表示符号函数，定义为若x≥0，则s(x)=1，否则s(x)=0；j表示邻域像素的索引，用于计算二进制权重。
计算全局颜色直方图特征：
；
其中，I表示整个图像；B表示每个颜色通道的直方图分箱数，例如8；表示计算RGB颜色直方图的函数，为每个颜色通道生成一个直方图，将直方图合并；对于整个图像J，我们需要计算其在RGB版色空间的直方图，假设每个颜色通道(红色R、绿色G、蓝色B）的直方图分籍数为8，则整个过程如下：对于R、G、B每个颜色通道，初始化一个长度为B的直方图数组，所有值设为0，这将给我们三个直方图：HR、HG、HB。
遍历图像中的每个像素：对于图像I中的每个像素点，执行以下步骤：a.获取像素点的RGB颜色值。B.根据颜色值和分箱数B，确定每个颜色值属于哪个分箱。可以使用以下公式计算分站索引：
；
将LBP特征和全局颜色直方图特征融合为最终的特征向量：
；
其中，表示对LBP特征应用主成分分析进行降维；k表示降维后的目标维度；Concat表示特征向量的拼接操作，将降维后的LBP特征和全局颜色直方图特征拼接成一个单一的特征向量。
再进一步的，能见度的评估还包括，若聚类结果为1个数据集合，则判定影响能见度的因素是均匀分布，直接对图像进行能见度计算；若聚类结果大于1个数据集合，则判定影响能见度的因素是不均匀分布，分别对每个聚类得到的数据集合进行能见度计算。
在完成能见度的计算后，对原始图片中将K个能见度的区域进行区别显示，并在每个区域中标注能见度数值V。若，则将区域a与区域b合并为同一个区域进行显示，并将合并后区域的能见度调整为区域a与区域b的平均值。
要说的是，自然和人造环境中影响能见度的因素往往分布复杂，可能在不同区域表现出不同的特性。通过区分均匀分布和不均匀分布的情况，这种设计能够更准确地反映实际环境中的能见度状况，从而提供更有用的信息。对于不均匀分布的情况，分别对每个聚类得到的数据集合进行能见度计算可以确保每个区域的特殊情况都被考虑到，从而提高整体评估的精度。这种方法允许算法细致地处理图像中的每个部分，确保评估结果尽可能接近实际情况。在聚类结果显示上，通过合并邻近且能见度相近的区域，并调整合并后区域的能见度为区域内平均值，可以简化信息展示，避免过度碎片化的区域划分导致的信息过载。这种方法旨在平衡详细程度和信息的可读性，使得展示结果既全面又不失清晰。
还要说的是，所述前馈神经网络包括，将融合后的特征图传入前馈神经网络中，对每个区域进行识别，输出系数的系数估计。前馈神经网络，通过不断输入现有的数据进行训练，使其能够输出系数估计/>，并且在输出时同时记录训练样本对应的SNR值。网络训练开始前，首先随机初始化网络中所有权重和偏置。将训练数据输入网络，通过每一层的加权求和和激活函数处理，计算得到输出层的预测值。通过反向传播算法，计算损失函数关于每个权重的梯度，即损失函数如何随权重的变化而变化。使用优化算法（如梯度下降或其变体）根据计算得到的梯度更新网络中的权重和偏置，以减小损失函数的值。重复前向传播、损失计算、反向传播和权重更新的过程，直到网络在验证集上的性能不再显著提高，或达到预定的迭代次数。
在完成训练后建立SNR数值与输出系数的匹配表。在神经网络在对某个区域进行识别时，将每个区域内选取N个点，对每个点进行特征提取与融合之后，传入前馈神经网络中，输出系数/>的系数估计，同时根据训练过程中每个/>值对应的SNR数值，输出这N个点的SNR值。将输出的这N个系数对应的SNR值进行bagging操作，去掉最大值和最小值计算平均数，得到场景下的信噪比估计SNR作为真实世界测算出的常系数。
要知道的是，信噪比是一个衡量信号强度相对于背景噪声强度的指标，对于估计能见度至关重要。在进行能见度估计时，算法基于一项假设，即被观测的介质（如大气）是均匀的。这意味着介质中的颗粒物（如雾、烟雾等）分布是均匀的，没有显著的浓度梯度。这种假设简化了能见度的计算，使其更加可行。
另外，比尔-朗伯定律（lg(1/T)=Kbc）是一个描述光通过一个吸收介质时强度如何衰减的物理定律。在这种情况下，算法能够根据信噪比来反推光的衰减程度，这是估算能见度的关键部分。T为透射比(透光度)，是出射光强度（I）比入射光强度(I0)。K为摩尔吸光系数。它与吸收物质的性质及入射光的波长λ有关。c为吸光物质的浓度，单位为mol/L，b为吸收层厚度，单位为厘米。
根据比尔-朗伯定律得出能见度V：
；
其中，SNR表示在真实世界测算出的常系数。
另一方面，本实施例还提供了基于毫米波雷达的特征融合能见度评估系统，其包括：
采集模块，采集视觉数据与3D雷达数据。
特征提取模块，对采集到的数据进行视觉特征提取与3D特征提取。
评估模块，将提取到的特征进行融合后，使用前馈神经网络进行能见度的评估。
以上功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置）、便携式计算机盘盒（磁装置）、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编辑只读存储器（EPROM或闪速存储器）、光纤装置以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
实施例2
以下，为本发明的一个实施例，提供了基于毫米波雷达的特征融合能见度评估方法，为了验证本发明的有益效果，通过经济效益计算和仿真实验进行科学论证。
试验准备：选取了两组数据进行实验，一组为仅使用视觉图像数据的传统能见度评估方法，另一组为本发明提出的基于视觉数据与3D雷达数据融合的方法。每组数据包括在不同天气条件下（晴天、雾天、雨天）的多个场景。对于每个场景，采集相应的视觉图像和3D雷达点云数据。
实施过程：首先，对采集到的视觉图像进行预处理，包括图像去噪、亮度调整等，以提高图像质量。对于3D雷达点云数据，进行滤波处理，去除噪声点，提取有效的空间信息。接着，使用局部二值模式（LBP）算法对视觉图像中的每个像素点进行特征提取，并计算全局颜色直方图特征。对于3D雷达数据，提取空间结构特征，如点云密度、表面粗糙度等。然后，将视觉图像的LBP特征和全局颜色直方图特征与3D雷达数据的空间结构特征进行融合。
采用前馈神经网络（FFNN）模型，输出每个场景的能见度评估结果。神经网络模型通过大量历史数据进行训练，学习特征向量与能见度之间的映射关系。为了提高评估的准确性，实施了多次评估并采用bagging方法处理结果，即去掉最高和最低的评估值，计算剩余值的平均数作为最终的能见度评估结果。如表1所示。在实际情况下，晴天条件，场景1的能见度为950米，场景2的能见度为980米，场景3的能见度为965米。雾天情况下，场景1的能见度为450米，场景2的能见度为420米，情景3的能见度为350米。
表1晴天与雾天的数据对比
从表1可以看出，在晴天的天气条件下本发明和传统方法都能够较准确地识别出能见度距离。而在雾天的影响下，传统方法在评估能见度的时候与实际的能见度偏离较大，且存在上下波动。而本发明能够精确识别出不同场景下的能见度，且波动在一个很小的范围。这一差异体现了融合方法在提高评估准确性方面的显著优势。
通过对本发明评估的能见度、传统融合方法评估的能见度、传统视觉方法评估的能见度进行测试，得到表2。测试环境为发生浓烟的交通事故现场模拟。
表2区域能见度结果
通过表2，能够看出，本发明可以通过对图像中进行区域划分，从而能够分别对不同区域进行能见度的评估，而传统的视觉方法、简单地将雷达和视觉相结合的方法都无法实现这一技术效果。本发明在区域A、B、C的能见度评估上显示出了较高的精确性，能够根据每个区域的实际情况给出相应的能见度评估。这种精确性对于需要详细能见度信息的应用场景（如自动驾驶、航空导航等）至关重要。
在发生大量浓烟的交通事故中或类似影响能见度的环境中，本发明通过对不同区域的能见度区分，可以锁定能见度较高的区域，从而对于汽车的自动驾驶等功能提供环境参考的技术依据。而传统的结合或视觉方法，无法捕捉这一区域从而无法能见度较高的区域为参考做出技术动作。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.基于毫米波雷达的特征融合能见度评估方法，其特征在于，包括：
采集视觉数据与3D雷达数据；
对采集到的数据进行视觉特征提取与3D特征提取；
将提取到的特征进行融合后，使用前馈神经网络进行能见度的评估。
2.如权利要求1所述的基于毫米波雷达的特征融合能见度评估方法，其特征在于：所述视觉特征提取包括，使用ResNet作为视觉特征提取器，输出256维特征张量；
所述3D特征提取包括，使用VoxelNet作为3D特征提取器，输出256维特征张量。
3.如权利要求2所述的基于毫米波雷达的特征融合能见度评估方法，其特征在于：所述将提取到的特征进行融合包括，通过相机成像的几何将点3D云图的数据通过双线性插值法映射到图片中，计算点云匹配的图像坐标；
获得点云在图像上的投影：
；
其中，u表示待求点的横坐标，v表示待求点的纵坐标，z表示点到相机的距离，表示x轴上的相机焦距，/>表示y轴上的相机焦距，/>表示图像中心的横坐标，/>表示图像中心的纵坐标，X、Y、Z表示现实世界的3D坐标；
计算雷达点对应的图像特征：
；
其中，f(u，v)表示待求像素点，Q11、Q12、Q21、Q22表示与f(u，v)最邻近的四个已知的像素点；
将从毫米波雷达数据中提取的特征和从摄像头获取的视觉特征进行融合，对于每一个匹配的点，将视觉部分和3D点云部分的提取结果直接拼接为512维特征张量。
4.如权利要求3所述的基于毫米波雷达的特征融合能见度评估方法，其特征在于：所述能见度的评估包括，对图中的内容进行能见度的区域划分；
评估每个像素点与图中除/>之外的其他像素点之间的特征相似度；
；
其中，表示当前评估的像素点；/>表示除/>之外的像素点；/>表示像素点的融合特征向量；/>表示像素点/>的融合特征向量；/>表示像素点和/>之间的空间距离，用于调整特征影响的空间衰减；σ表示控制特征差异敏感度的参数，范围在0.1到10之间；α表示控制空间衰减速率的参数，范围在0到2之间；
使用聚类算法，目标是最小化每个聚类内部的特征差异，同时最大化聚类之间的特征差异，聚类过程可以表示为：
；
其中，K表示聚类中心的数量，表示聚类内所有像素点的特征向量的/>平均值；
根据不同的聚类结果，将每个像素点分配到以各自聚类中心数据集合中，作为K个能见度的区域。
5.如权利要求4所述的基于毫米波雷达的特征融合能见度评估方法，其特征在于：所述融合特征向量包括，对于图像中的每个像素点，计算LBP值；
；
其中，表示以/>为中心的邻域像素集合；/>表示中心像素/>的亮度值；/>表示邻域像素/>的亮度值；/>表示符号函数，定义为若x≥0，则s(x)=1，否则s(x)=0；j表示邻域像素的索引，用于计算二进制权重；
计算全局颜色直方图特征：
；
其中，I表示整个图像；B表示每个颜色通道的直方图分箱数；表示计算RGB颜色直方图的函数，为每个颜色通道生成一个直方图，将直方图合并；
将LBP特征和全局颜色直方图特征融合为最终的特征向量：
；
其中，表示对LBP特征应用主成分分析进行降维；k表示降维后的目标维度；Concat表示特征向量的拼接操作，将降维后的LBP特征和全局颜色直方图特征拼接成一个单一的特征向量。
6.如权利要求5所述的基于毫米波雷达的特征融合能见度评估方法，其特征在于：所述能见度的评估还包括，若聚类结果为1个数据集合，则判定影响能见度的因素是均匀分布，直接对图像进行能见度计算；若聚类结果大于1个数据集合，则判定影响能见度的因素是不均匀分布，分别对每个聚类得到的数据集合进行能见度计算；
在完成能见度的计算后，对原始图片中将K个能见度的区域进行区别显示，并在每个区域中标注能见度数值V；
若，则将区域a与区域b合并为同一个区域进行显示，并将合并后区域的能见度调整为区域a与区域b的平均值。
7.如权利要求6所述的基于毫米波雷达的特征融合能见度评估方法，其特征在于：所述前馈神经网络包括，将融合后的特征图传入前馈神经网络中，对每个区域进行识别，输出系数的系数估计；
根据比尔-朗伯定律得出能见度V：
；
其中，SNR表示在真实世界测算出的常系数。
8.一种采用如权利要求1-7任一所述方法的基于毫米波雷达的特征融合能见度评估系统，其特征在于：
采集模块，采集视觉数据与3D雷达数据；
特征提取模块，对采集到的数据进行视觉特征提取与3D特征提取；
评估模块，将提取到的特征进行融合后，使用前馈神经网络进行能见度的评估。
9.一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现基于毫米波雷达的特征融合能见度评估方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现基于毫米波雷达的特征融合能见度评估方法的步骤。
CN202410407757.6A 2024-04-07 2024-04-07 基于毫米波雷达的特征融合能见度评估方法及系统 Active CN117994625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410407757.6A CN117994625B (zh) 2024-04-07 2024-04-07 基于毫米波雷达的特征融合能见度评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410407757.6A CN117994625B (zh) 2024-04-07 2024-04-07 基于毫米波雷达的特征融合能见度评估方法及系统

Publications (2)

Publication Number Publication Date
CN117994625A true CN117994625A (zh) 2024-05-07
CN117994625B CN117994625B (zh) 2024-06-25

Family

ID=90887835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410407757.6A Active CN117994625B (zh) 2024-04-07 2024-04-07 基于毫米波雷达的特征融合能见度评估方法及系统

Country Status (1)

Country Link
CN (1) CN117994625B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560972A (zh) * 2020-12-21 2021-03-26 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN117808689A (zh) * 2023-11-02 2024-04-02 南京邮电大学 基于毫米波雷达与摄像头融合的深度补全方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560972A (zh) * 2020-12-21 2021-03-26 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
US20220198806A1 (en) * 2020-12-21 2022-06-23 Beihang University Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN117808689A (zh) * 2023-11-02 2024-04-02 南京邮电大学 基于毫米波雷达与摄像头融合的深度补全方法

Also Published As

Publication number Publication date
CN117994625B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
Heinzler et al. Cnn-based lidar point cloud de-noising in adverse weather
CN107576960B (zh) 视觉雷达时空信息融合的目标检测方法及系统
CN108694386B (zh) 一种基于并联卷积神经网络的车道线检测方法
Pavlic et al. Classification of images in fog and fog-free scenes for use in vehicles
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN102314601B (zh) 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影
CN110263706A (zh) 一种雾霾天气车载视频动态目标检测和识别的方法
CN106096604A (zh) 基于无人平台的多波段融合探测方法
CN109086803B (zh) 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
Ogunrinde et al. A review of the impacts of defogging on deep learning-based object detectors in self-driving cars
CN112287861A (zh) 基于夜间环境感知的道路信息增强与驾驶预警方法
CN115100741B (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN112308005A (zh) 基于gan的交通视频显著性预测方法
Mingzhou et al. Detection of highway lane lines and drivable regions based on dynamic image enhancement algorithm under unfavorable vision
CN116486368A (zh) 基于自动驾驶场景下的多模态融合三维目标鲁棒检测方法
CN116311412A (zh) 一种融合3d注意力机制和空洞卷积的口罩佩戴检测方法
CN112419745A (zh) 一种基于深度融合网络的高速公路团雾预警系统
Lashkov et al. Edge-computing-facilitated nighttime vehicle detection investigations with CLAHE-enhanced images
Zhao et al. Image dehazing based on haze degree classification
CN116664448B (zh) 一种基于图像去雾的中高能见度计算方法及计算系统
CN117437615A (zh) 雾天交通标志检测方法、装置、存储介质和电子设备
CN117994625B (zh) 基于毫米波雷达的特征融合能见度评估方法及系统
CN116794650A (zh) 一种毫米波雷达与摄像头数据融合的目标检测方法和装置
CN116704309A (zh) 基于改进生成对抗网络的图像去雾识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant