CN117129002A - 一种提高行车安全性的车辆导航系统 - Google Patents

一种提高行车安全性的车辆导航系统 Download PDF

Info

Publication number
CN117129002A
CN117129002A CN202310853949.5A CN202310853949A CN117129002A CN 117129002 A CN117129002 A CN 117129002A CN 202310853949 A CN202310853949 A CN 202310853949A CN 117129002 A CN117129002 A CN 117129002A
Authority
CN
China
Prior art keywords
image
information
optical signal
sensor
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310853949.5A
Other languages
English (en)
Inventor
金欣
曾云辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202310853949.5A priority Critical patent/CN117129002A/zh
Publication of CN117129002A publication Critical patent/CN117129002A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种提高行车安全性的车辆导航系统，包括传感器、光信号处理装置以及导航装置，所述传感器设置在车窗边，所述车窗至少包括车辆的前挡风窗，可选进一步包括侧挡风窗，所述传感器用于收集车窗视场内的光信号，所述光信号处理装置对所述光信号进行处理，从所述光信号得到去除散射光影响的车窗视场的清晰图像，所述导航装置基于去除散射光影响的所述图像的信息向驾驶员馈送导航信息或向自动驾驶系统馈送导航用的数据。本发明能够在低能见度环境下为车辆提供基于车窗视场的清晰图像的导航信息，从而提高低能见度环境下驾驶的安全性。

Description

一种提高行车安全性的车辆导航系统
技术领域
本发明涉及车辆导航系统的技术领域，特别是涉及一种提高行车安全性的车辆导航系统。
背景技术
能见度指的是在给定的气象条件下，人眼在水平方向上能够分辨出物体的最大距离。能见度受到大气透明度、光照强度、天气条件等多种因素的影响。通常，当能见度低于1000米时，认为处于低能见度环境。近年来，低能见度环境(如雾、雨、雪等)下的驾驶安全问题受到了广泛关注。因为在低能见度环境下(如雾、雨、雪等)，空气中的水滴、冰晶等微粒子会散射光线。散射会导致光线传播受阻，从而使得驾驶员看到的视野变得模糊不清，严重时甚至完全看不到前方的道路和障碍物。这种情况下，驾驶员的视线受限，反应时间缩短，容易发生交通事故。
红外成像技术使用红外相机捕捉热辐射信号，在低能见度环境中进行目标检测。然而，红外成像技术可能受到环境温度和天气条件的影响，导致成像效果受限。在温度较高的环境中，背景和目标之间的温度差可能较小，导致红外成像效果较差。同样，如果目标和背景的温度接近，红外成像技术可能难以区分它们。而且，雨、雪和雾等天气条件可能影响红外成像效果。水分子和冰晶可以吸收和散射红外辐射，使得在这些条件下红外成像的有效距离降低。
现有技术尚难以有效解决低能见度环境(如雾、雨、雪等)导致驾驶员视野模糊所产生的驾驶安全问题。
发明内容
本发明的目的在于解决至少一定程度上消除散射造成的视野模糊影响车辆驾驶的问题，提供一种提高行车安全性的车辆导航系统。
为实现上述目的，本发明采用以下技术方案：
一种提高行车安全性的车辆导航系统，包括传感器、光信号处理装置以及导航装置，所述传感器设置在车窗边，所述车窗至少包括车辆的前挡风窗，可选进一步包括侧挡风窗，所述传感器用于收集车窗视场内的光信号，所述光信号处理装置对所述光信号进行处理，从所述光信号得到去除散射光影响的车窗视场的清晰图像，所述导航装置基于去除散射光影响的所述图像的信息向驾驶员馈送导航信息或向自动驾驶系统馈送导航用的数据，所述导航信息包括图像和/或语音信息。
在本发明的一些实施例中，所述传感器收集的光信号包括直接光信号和散射光信号，所述散射光信号包括周围环境中的散射光、所述车窗对周围环境中的散射光的作用及所述车窗的边缘对散射光的积累效应带来的散射光信号。
在本发明的一些实施例中，所述导航装置包括显示装置，所述显示装置用于显示所述图像；优选地，所述显示装置为HUD抬头显示装置，所述图像可显示于挡风玻璃上。
在本发明的一些实施例中，所述导航装置还包括信息融合处理模块，所述信息融合处理模块将所述车载通信系统获取的实时路况信息与去除散射光影响的所述图像进行融合，形成融合的导航图像信息馈送驾驶员。
在本发明的一些实施例中，所述传感器包括可见光传感器、红外传感器中的一种或其组合，可选还进一步包括激光雷达、毫米波雷达、超声波传感器中的一种或多种的组合。
在本发明的一些实施例中，所述光信号处理装置对收集的光信号进行去噪处理，具体包括：将输入的光信号分割为若干像素块；对每个像素块计算光强度的局部方差；根据局部方差计算各像素块的去噪窗口的大小；按照相应大小的去噪窗口自适应地对各像素块的光信号进行去噪处理；将处理后的像素块重新组合成去噪后的光信号；和/或者，所述光信号处理装置对收集的光信号进行直方图均衡化处理，具体包括：将输入的光信号分割为若干像素块；对每个像素块计算局部对比度，并根据局部对比度确定对比度增强系数；按照相应的对比度增强系数，对各像素块进行自适应的对比度增强处理；将处理后的像素块重新组合成对比度增强后的光信号。
在本发明的一些实施例中，所述光信号处理装置将两种以上传感器收集的光信号进行深度学习融合，具体包括：使用深度神经网络对不同类型的光信号进行特征提取，并将其转换为一个共同的特征空间；在所述共同的特征空间中，应用特征融合策略将不同类型光信号的特征进行融合；将融合后的特征映射恢复到原始信号的空间分辨率；将融合后的特征映射转换回光信号，得到融合输出。
在本发明的一些实施例中，所述光信号处理装置由收集的光信号生成对应于光信号类型的透射率估计图像，将所述透射率估计图像输入经训练的深度神经网络，优选采用基于U-Net的深度神经网络，经过所述深度神经网络输出去散射效果的图像；其中，所述透射率估计图像描述了图像中每个像素点的透射率值，表示光线经过散射介质后衰减的程度；
优选地，红外光信号的透射率估计图像的生成包括：
获取红外图像的各像素点的光强；
确定参考光强；
计算红外图像中的像素点的光强与参考光强的比值；
根据所述比值，获得红外光信号的透射率估计图像；
优选地，可见光信号的透射率估计图像的生成包括：
获取可见光RGB图像的各像素点的光强；
确定参考光强；
计算可见光RGB图像中的像素点的光强与参考光强的比值；
根据所述比值，获得可见光信号的透射率估计图像；
优选地，激光雷达信号的透射率估计图像的生成包括：
获取激光雷达点云数据；
将点云数据转换为二维深度图像；
确定参考深度；
计算二维深度图像的像素点的深度与参考深度的比值；
根据所述比值，获得激光雷达信号的透射率估计图像；
更优选地，所述将点云数据转换为二维深度图像的方法具体包括：
步骤一：分区块处理
将整个点云数据划分成大小相等的区块，每个区块包含预定数量的点；
步骤二：引入光照模型
在将点云投影到2D平面时，同时保留每个点的深度信息和法线信息，得到一个同时包含深度信息和光照信息的2D图像；
步骤三：高斯混合模型处理
对于点云中的每个区块，使用高斯混合模型对每个区块中的点的深度进行建模，得到多个高斯分布，然后选择分布最大的那个高斯分布的均值作为这个区块的深度值；
步骤四：基于图的数据融合
使用图割算法对深度图像进行后处理，使得相邻像素的深度值变化平滑化。
在本发明的一些实施例中，所述深度神经网络具有以下的一种或多种特征：在U-Net的编码器和解码器的卷积层中引入注意力模块；在网络中引入混合卷积结构；解码器使用特征金字塔网络FPN结构进行多尺度特征融合，通过自顶向下的路径和横向连接，将不同尺度的特征图融合在一起；使用适应性损失函数，根据输入图像的特性动态调整权重；使用无监督方法进行预训练。
在本发明的一些实施例中，所述光信号处理装置还对深度神经网络输出的图像进行后处理，所述后处理包括去除残留散射和增强图像边缘；所述去除残留散射包括：计算图像中每个像素点的加权平均值，其权重与相邻像素间的相似度成正比，并根据所述加权平均值进行非局部均值NLM滤波；所述增强图像边缘包括：对图像进行高斯滤波；使用Sobel算子计算图像的梯度幅值和方向；对梯度幅值进行非极大值抑制；采用双阈值法对边缘进行连接，得到完整的边缘信息。
本发明具有如下有益效果：
本发明提出的提高行车安全性的车辆导航系统，包括传感器、光信号处理装置以及导航装置，通过将传感器设置在车窗边，车窗包括前挡风窗，利用传感器收集车窗视场内的光信号，利用车窗相当于一块超大的透镜、具有超大的视场的特点，光信号处理装置对光信号进行处理(包括从周围环境直接获得的光信号以及周围环境光经过车窗作用后得到的光信号)得到去除散射光影响的车窗视场的清晰图像，能够在低能见度环境下获得清晰图像；并通过导航装置将导航信息(清晰图像和/或语音信息)发送给驾驶员，或向自动驾驶系统馈送导航用的数据，从而为车辆提供基于车窗视场的清晰图像的导航信息，提高低能见度环境下驾驶的安全性。
本发明通过获取车窗视场的清晰图像来提供导航信息，能够降低整个车辆导航系统的成本；通过将传感器设置在车窗边，在低能见度环境下也能够捕捉到车窗的整个视场，从而实现了一个低成本、大视场角的低能见度环境下车辆导航系统。
此外，在一些实施例中，还具有如下有益效果：
通过在传统的U-Net基础上，引入了注意力机制、混合卷积结构、多尺度特征融合、适应性损失函数和无监督预训练等内容，能够实现更好的去散射性能，从而得到更清晰的图像，使导航信息更准确。
通过结合多种传感器获取的数据，对车窗上的散射成像进行去除，在去散射的过程中，通过针对低能见度环境下的特殊情况进行优化，使得去散射效果更好、适应性更强，从而得到更清晰的图像，使导航信息更准确。
在后处理过程中，通过改进的非局部均值滤波器和Canny边缘检测算法，能够进一步提高图像质量。
本发明实施例中的其他有益效果将在下文中进一步述及。
附图说明
图1是本发明实施例车辆导航系统的结构框图；
图2a是本发明实施例中均匀布局的传感器布局策略；
图2b是本发明实施例中非均匀布局的传感器布局策略；
图2c是本发明实施例中环形布局的传感器布局策略；
图3是本发明实施例中车辆导航系统的模式图；
附图标记如下：
1为车窗，2为传感器。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本实施例中的左、右、上、下、顶、底等方位用语，仅是互为相对概念，或是以产品的正常使用状态为参考的，而不应该认为是具有限制性的。
本发明下述实施例提出了一种提高行车安全性的车辆导航系统，包括传感器、光信号处理装置以及导航装置，所述传感器设置在车窗边，所述车窗至少包括车辆的前挡风窗，可选进一步包括侧挡风窗，所述传感器用于收集车窗视场内的光信号，所述光信号处理装置对所述光信号进行处理，从所述光信号得到去除散射光影响的车窗视场的清晰图像，所述导航装置基于去除散射光影响的所述图像的信息向驾驶员馈送导航信息或向自动驾驶系统馈送导航用的数据，所述导航信息包括图像和/或语音信息。例如，可以直接将车窗视场的图像作为导航信息显示给驾驶员，还可以基于图像识别技术增加相应的语音信息(如对图像中识别到的目标物、障碍物等进行提示)，也可以基于图像识别的结果单以语音形式对驾驶员进行导航提示。还可以进一步融合车载通信系统获取的信息(如实时路况信息)来进行导航信息的显示和/或播报。去除散射光影响的所述图像的信息还可以作为车载自动驾驶系统进行导航与控制用的数据。由此，本发明通过为车辆提供基于车窗视场的清晰图像的导航数据信息，可以降低散射现象带来的影响，改善驾驶员在恶劣天气条件下的视野，或者为自动驾驶系统提供准确的周围环境信息，能够有效提高低能见度环境下驾驶的安全性。
在一个优选的实施例中，传感器收集的光信号包括直接光信号和散射光信号，所述散射光信号包括周围环境中的散射光、所述车窗对周围环境中的散射光的作用及所述车窗的边缘对散射光的积累效应带来的散射光信号。
在一个优选的实施例中，导航装置包括显示装置，所述显示装置用于显示所述图像；优选地，所述显示装置为HUD抬头显示装置，所述图像可显示于挡风玻璃上。
在一个优选的实施例中，导航装置还包括信息融合处理模块，所述信息融合处理模块将所述车载通信系统获取的实时路况信息与去除散射光影响的所述图像进行融合，形成融合的导航图像信息馈送驾驶员。
在一个优选的实施例中，光信号处理装置对收集的光信号进行去噪处理，具体包括：将输入的光信号分割为若干像素块；对每个像素块计算光强度的局部方差；根据局部方差计算各像素块的去噪窗口的大小；按照相应大小的去噪窗口自适应地对各像素块的光信号进行去噪处理；将处理后的像素块重新组合成去噪后的光信号。
在一个优选的实施例中，光信号处理装置对收集的光信号进行直方图均衡化处理，具体包括：将输入的光信号分割为若干像素块；对每个像素块计算局部对比度，并根据局部对比度确定对比度增强系数；按照相应的对比度增强系数，对各像素块进行自适应的对比度增强处理；将处理后的像素块重新组合成对比度增强后的光信号。
在一个优选的实施例中，所述光信号处理装置将两种以上传感器收集的光信号进行深度学习融合，具体包括：使用深度神经网络对不同类型的光信号进行特征提取，并将其转换为一个共同的特征空间；在所述共同的特征空间中，应用特征融合策略将不同类型光信号的特征进行融合；将融合后的特征映射恢复到原始信号的空间分辨率；将融合后的特征映射转换回光信号，得到融合输出。
本发明实施例提出的提高行车安全性的车辆导航系统，包括以下几个部分：
一、传感器
在车窗的侧边安装多个传感器，用于收集散射光信号，进一步的，车窗至少包括车辆的前挡风窗，可选进一步包括侧挡风窗。上述传感器包括可见光传感器、红外传感器中的一种或其组合，可选还进一步包括激光雷达、毫米波雷达、超声波传感器中的一种或多种的组合，上述传感器具有如下特点：
(1)毫米波雷达：可以穿透雾、雨、雪等恶劣天气条件，检测距离较远的物体。
(2)超声波传感器：可以测量与周围物体的距离，常用于停车辅助等场景。
(3)激光雷达(LiDAR)：通过发射激光脉冲并接收返回的反射信号来测量距离，实现高精度的三维测绘。适用于各种散射场景，包括轻度、中度和重度散射。激光雷达通过发射激光脉冲并接收返回的反射信号来测量距离，因此相对不受散射影响。在雾、雨、雪等低能见度环境中，激光雷达可以提供较为稳定的测量结果。
(4)红外传感器：适用于中度至重度散射场景，如大雾、浓雾和强烈空气污染。在这些场景下，可见光散射较为严重，而红外传感器通过捕获热辐射信号可以有效地检测目标，降低散射对成像的影响。
(5)光学传感器：适用于轻度至中度散射场景，如轻雾、薄雾和轻度空气污染。在这些场景下，可见光散射对图像质量的影响相对较小，光学传感器可以获取较为清晰的图像。
传感器类型包括光电传感器、红外传感器等，可根据不同光线条件和散射程度选择合适的传感器组合，如表1所示。
表1：不同光线条件和散射程度下的传感器组合
传感器模块的整体方案应包括对多种传感器类型的考虑和配置，以实现高效的散射光信号捕获。
优选地，本发明实施例可以结合多种传感器(如光学传感器、红外传感器等)，实现多源数据融合，提高去散射成像的准确性和稳定性。
在进行数据融合时，各方多源数据需要满足以下条件：
a.数据时效性：各传感器收集到的数据应具有相近的时刻，以保证数据融合的准确性。
b.数据一致性：各传感器输出的数据格式和单位应保持一致，便于进行数据处理和整合。
c.数据准确性：各传感器收集到的数据应尽可能准确，以避免引入误差。
d.数据完整性：各传感器应尽可能覆盖感知范围内的所有信息，避免数据缺失或重复。
在具体的实施例中，以上条件并不需要全部满足。
传感器类型选择：在设计传感器模块时，应考虑不同类型的传感器来捕捉散射光信号。例如，可以选择光学传感器(如(Complementary Metal Oxide Semiconductor，CMOS)互补金属氧化物半导体、(charge coupled device，CCD)电荷耦合器件相机)捕获可见光散射信号，红外传感器(如热像仪)捕获红外散射信号，以及激光雷达传感器捕获激光散射信号。通过多种传感器的组合，可以实现对各种环境条件下散射光信号的全面捕获。
传感器布局策略：在车窗1(如汽车前挡风玻璃、侧窗等)的侧边安装传感器2，以实现对散射光信号的有效捕获。可以采用均匀布局(如图2a所示)、非均匀布局(如图2b所示)、环形布局(如图2c所示)或其他合适的布局方式，以实现对散射光信号的最佳捕获效果。同时，考虑到窗口的形状和大小，可以将传感器安装在窗口的四周或部分边缘位置，以提高传感器接收散射光信号的能力。
以汽车前挡风玻璃为例解释传感器布局策略：
均匀布局：在前挡风玻璃的四个边缘均匀地分布传感器。假设有8个传感器，那么每个边缘可以放置2个传感器，传感器之间的距离相等。例如，在左右边缘各放置2个传感器，上下边缘也各放置2个传感器。这种布局方式可以保证光线从各个方向均匀地接收。
非均匀布局：根据实际需求和散射特性，在前挡风玻璃的边缘放置传感器，但传感器之间的距离不相等。例如，可以在需要更高分辨率的区域放置更多的传感器，而在其他区域减少传感器的数量。这种布局方式可以根据特定场景需求优化传感器分布。
其他布局方式：可以根据具体应用需求和传感器特性，设计更多的布局方式。例如，可以考虑使用螺旋布局、环形布局或其他自定义布局。关键在于实现对散射光信号的最佳捕获效果。
二、光信号处理装置
光信号处理装置通过经训练的深度神经网络，从光信号得到去除散射光影响的车窗视场的清晰图像，信号预处理和去散射算法是光信号处理装置中的关键部分，具体方法如下所述。
信号预处理
由于在低能见度环境下，散射光信号可能受到各种因素的影响，如噪声、光照变化等噪声。噪声主要来自于传感器本身、电子设备以及环境。噪声可能导致散射光信号的强度变化不稳定，从而使信号中的有用信息被掩盖。噪声可能会使信号波动、失真，降低信号的信噪比，影响信号的可靠性和准确性，光照条件的变化可能导致散射光信号的强度和分布发生变化。例如，在夜晚或者阴天，光照强度较低，而在阳光明媚的白天，光照强度较高。光照变化会影响散射光信号的可见度、对比度和颜色，从而使信号更难以识别和处理。因此，在进行去散射处理之前，需要对传感器捕获的原始光信号进行预处理。
信号预处理包括如下内容：
1、去噪：使用去噪算法，例如双边滤波、非局部均值滤波或深度学习方法，对捕获的信号进行去噪处理，降低噪声对图像质量的影响。
本发明实施例提出一种自适应窗口散射去噪算法(Adaptive Window ScatteringDenoising Algorithm，AWS-DA)，在车窗侧边散射成像的场景下，输入为传感器捕获的散射光信号，输出为去噪后的散射光信号。去噪算法步骤如下：
a)将输入的散射光信号分割为若干小块(如8x8像素)。
b)对每个小块计算散射光强度的局部方差。
c)根据局部方差计算去噪窗口的大小。较高的局部方差意味着较大的结构变化和散射信息，因此需要较小的窗口以保留细节；较低的局部方差意味着较小的结构变化，因此可以使用较大的窗口进行平滑处理。
d)使用自适应窗口对散射光信号进行去噪处理。
e)将处理后的小块重新组合成去噪后的散射光信号。
本发明实施例提出的去噪算法能够根据图像的局部特性自适应地调整去噪窗口的大小，以便在保留图像细节的同时有效降低噪声。
针对本特殊场景下的改进：由于散射光信号在不同区域的特性可能有较大差异，AWS-DA能够根据这些特性调整窗口大小，从而在去噪的同时保留有用的散射光信息。
2、直方图均衡化：对去噪后的散射光信号进行直方图均衡化处理，以增强对比度和亮度，提高图像中散射光信号的可辨识度。
本发明实施例提出一种自适应局部对比度增强算法(Adaptive Local ContrastEnhancement Algorithm，ALCEA)，在车窗侧边散射成像的场景下，输入为去噪后的散射光信号，输出为对比度增强后的散射光信号。直方图均衡化步骤如下：
a)将输入的散射光信号分割为若干小块(如8x8像素)。
b)对每个小块计算局部对比度，并根据局部对比度选择自适应的对比度增强系数。
c)对每个小块应用自适应对比度增强算法，以提高散射光信号的可辨识度。
d)将处理后的小块重新组合成对比度增强后的散射光信号。
本发明实施例中的直方图均衡化方法能够根据局部区域内散射光强度的分布自适应地调整直方图均衡化参数，以提高图像的对比度和亮度。
针对本特殊场景下的改进：在低能见度环境下，散射光强度在图像中的分布可能不均匀。LRSI-AHE能够根据局部区域的散射光强度特点进行自适应调整，使得散射光信号在整个图像中的可辨识度得到提高。
3、传感器数据融合：将不同类型传感器(如光学、红外、激光雷达等)捕获的信号进行融合，以获得更丰富的信息，提高信号处理的准确性和鲁棒性。
本发明实施例提出一种深度学习融合算法(Deep Learning Fusion Algorithm，DLFA)，在车窗侧边散射成像的场景下，输入为不同类型传感器(如光学、红外、激光雷达等)捕获的散射光信号，输出为融合后的散射光信号。传感器数据融合的步骤如下：
a)对输入的不同类型散射光信号进行预处理，以便进行深度学习融合。
b)使用深度神经网络(如卷积神经网络)对预处理后的散射光信号进行特征提取。深度神经网络可以自动学习不同类型传感器信号的特征，并将它们转换为一个共同的特征空间。
c)在共同特征空间中，应用特征融合策略，例如加权平均、最大化激活等，将不同传感器的特征进行融合。这些策略可以根据场景和传感器的性能动态调整，以实现最佳融合效果。
d)使用反卷积或其他上采样操作，将融合后的特征映射恢复到原始信号的空间分辨率。
e)将融合后的特征映射转换回散射光信号，得到最终的融合输出。
本发明实施例中传感器数据融合的方法利用深度学习网络(如卷积神经网络，CNN)在多个尺度上融合不同传感器的数据，以提取更丰富的特征信息。
针对本特殊场景下的改进：在低能见度环境下，不同类型传感器捕获的信号具有不同的特性。DL-MSFS能够在多个尺度上自适应地融合这些信息，提高信号处理的准确性和鲁棒性，从而在复杂的低能见度环境下实现更可靠的成像效果。
去散射算法
去散射算法的目的是从预处理后的信号中分离散射光信号和直接光信号，以便在低能见度环境下获得清晰、准确的图像。
以下从系统差异的角度分析本发明实施例相对于传统的技术的优势。
低能见度环境下，本发明实施例车辆导航系统成像时利用车窗侧边的散射特性(散射特性指的是车窗侧边散射特性是指在低能见度环境下，车窗(如汽车前挡风玻璃、侧窗等)与周围环境中的散射光线之间的相互作用。当光线穿过大气中的雾、烟、尘埃等颗粒物时，光线会发生散射。车窗侧边的散射特性利用了这些散射光线在窗户边缘的积累效应)通过在侧边安装传感器来收集散射光信号。本发明实施例中系统能够利用现有的车窗或其他透明窗作为成像装置，无需额外增加复杂的光学系统。
相比之下，现有的低能见度环境下成像系统通常是针对特定光学成像系统(如激光雷达等)设计的，往往需要额外的光学元件或者调整成像设备的参数来适应不同的散射环境。例如，根据散射环境的特点(如雾、烟、尘埃等)，调整或添加特定的光学滤波器或者偏振器以减小散射光对成像质量的影响。根据环境光线条件和散射程度，调整成像设备(如摄像头、激光雷达等)的参数，例如曝光时间、感光度、对比度等，以适应不同的散射环境。根据散射环境的特点，选择不同的成像设备工作波段。
在本发明实施例还提出一种基于深度神经网络(Deep Neural Networks，DNN)神经网络模型的散射成像去除算法，它可以在低能见度环境下使用，该算法主要包括以下内容：
利用DNN进行散射成像去除：在散射成像去除的过程中，透射率估计图像是一个关键因素。透射率(transmission)表示光线穿过散射介质(如雾、烟、雪等)时，光线衰减的程度。透射率估计图像描述了每个像素点的透射率值，通常以灰度图像的形式表示，其中较亮的像素表示透射率较高，较暗的像素表示透射率较低。
透射率图像并不是直接采集到的，而是根据不同的传感器采集到的信号估算得到的，具体的方法及描述如下：
1.红外传感器透射率估计：
步骤1：读取红外图像I_IR；
步骤2：计算局部大气光A_IR，在一个具体的实施例中，可以使用图像的最亮部分作为大气光的近似值：A_IR＝max(I_IR)；
步骤3：计算I_IR与A_IR的比值：R_IR＝I_IR/A_IR；
步骤4：对R_IR进行阈值处理，以获得透射率图像T_IR：T_IR＝1-R_IR。
2.光学传感器透射率估计：
步骤1：读取光学图像I_RGB；
步骤2：将光学图像从RGB颜色空间转换为HSV颜色空间，得到H，S和V通道；
步骤3：计算局部大气光A_V，在一个具体的实施例中，可以使用图像的最亮部分作为大气光的近似值：A_V＝max(V)；
步骤4：计算V与A_V的比值：计算V与A_V的比值；
步骤5：对R_V进行阈值处理，以获得透射率图像T_V：T_V＝1–R_V。
3.激光雷达透射率估计：
步骤1：读取激光雷达点云数据P；
步骤2：将点云数据转换为二维深度图像I_depth，其中Z表示点云中的距离值；
作为优选实施例，步骤2提出一种实现点云数据转换为二维深度图像的方法，和现有的方法直接做映射投影不同，本方法包括以下步骤：
步骤21：分区块处理
将整个点云数据首先划分成大小相等的区块，每个区块包含一定数量的点。这样可以帮助降低计算复杂度，同时也可以更好地保留局部信息。
步骤22：引入光照模型
在将点云投影到2D平面时，我们不仅仅保留每个点的深度信息，同时也考虑到每个点的法线信息。具体来说，将每个点的法线方向和光源方向的角度作为一种“光照”信息(可以利用Lambert光照模型)添加到深度图像中。这样，可以得到一个同时包含深度信息和光照信息的2D图像。
步骤23：高斯混合模型处理
对于点云中的每个区块，我们不直接计算所有点到观察者的最近距离，而是使用高斯混合模型对这些距离进行建模，得到多个高斯分布。然后，选择分布最大的那个高斯分布的均值作为这个区块的深度值。这样，我们可以更好地处理点云中的噪声和异常值。
步骤24：基于图的数据融合
最后，为了保证深度图像中的连续性，使用图割算法对深度图像进行后处理，使得相邻像素的深度值尽可能接近。这样，我们不仅可以得到一个光滑的深度图像，而且可以更好地保留物体的边界信息。
步骤3：计算局部大气光A_depth，在一个具体的实施例中，可以使用图像的最亮部分作为大气光的近似值：A_depth＝max(I_depth)；
步骤4：计算I_depth与A_depth的比值：R_depth＝I_depth/A_depth；
步骤5：对R_depth进行阈值处理，以获得透射率图像T_depth:T_depth＝1–R_depth。
本发明实施例将预处理的图像送入DNN，DNN的输入为(预处理后的图像)对应的透射率估计图像。本发明实施例中的DNN使用U-Net架构来搭建，其中包括对输入的特征提取和对输出的反卷积操作。与传统的U-Net相比，本发明实施例在网络的结构和参数设置上进行了优化，以更好地适应车窗侧边散射成像的低能见度环境下的成像系统。具体来说，本发明实施例使用了一些特殊的卷积核和归一化方法来增加网络的稳定性和鲁棒性。
传统的U-Net网络结构和参数描述如下：
U-Net是一种典型的编码-解码(Encoder-Decoder)结构，包括压缩路径(下采样)和扩展路径(上采样)，U-Net网络的基本结构如下：
(1)编码器(下采样)：包括4个卷积层，每个卷积层后接一个ReLU激活函数和一个2x2最大池化层。卷积核大小为3x3，步长为1。
(2)解码器(上采样)：包括4个上采样层，每个上采样层后接一个2x2反卷积层，一个卷积层和一个ReLU激活函数。卷积核大小为3x3，步长为1。
(3)损失函数：使用像素级别的交叉熵损失。
本发明实施例还提出了一种基于U-Net的神经网络结构，本发明实施例的神经网络结构在传统的U-Net基础上，引入了注意力机制、混合卷积结构、多尺度特征融合、适应性损失函数和无监督预训练等，以实现更好的去散射性能。具体内容描述如下：
1.首先，在U-Net的编码器和解码器的卷积层中引入注意力模块，使网络能够自动学习并关注输入图像中的重要区域，从而有助于网络在处理散射光信号时更加关注低能见度环境中的关键细节。
2.其次，本发明实施例在网络中引入混合卷积结构，如Inception模块，该结构可以帮助网络在不同尺度上捕捉图像细节，提高处理低能见度环境中散射光信号的能力。
3.在解码器部分，本发明实施例使用特征金字塔网络(FPN)结构进行多尺度特征融合，通过自顶向下的路径和横向连接，将不同尺度的特征图融合在一起，从而有助于网络更好地捕捉不同尺度的散射光信息。
4.为了使模型更关注低能见度环境中的关键细节，本发明实施例使用适应性损失函数，该损失函数将根据输入图像的特性动态调整权重，使网络能够自适应地优化重要区域的预测。
5.由于低能见度环境下的成像系统可能面临训练数据稀缺的问题，本发明实施例在训练深度网络之前使用无监督方法(如自编码器或GAN)进行预训练，有助于网络学习到更丰富的特征表示，从而提高去散射性能。
综上所述，本发明实施例提出的神经网络结构通过引入注意力机制、混合卷积结构、多尺度特征融合、适应性损失函数和无监督预训练等创新点，能够更好地适应车窗侧边散射成像的低能见度环境下的成像系统。上述内容共同使神经网络在去散射性能方面取得更好的结果，从而满足特定场景下的需求。
在一个优选的实施例中，还包括以下内容：
1.注意力模块引入：注意力模块的计算公式如下：
S＝F(X,W)*σ(G(X,V))
其中，S是输出特征图，X是输入特征图，F和G分别为卷积运算，W和V为卷积核，σ为激活函数(如sigmoid函数)。
2.混合卷积结构：以Inception模块为例，其计算公式如下：
I_out＝concat(conv_1x1(I_in),conv_3x3(I_in),conv_5x5(I_in),max_pool(I_in))
其中，I_out为输出特征图，I_in为输入特征图，concat为连接操作，conv_1x1、conv_3x3和conv_5x5分别为不同尺寸的卷积运算，max_pool为池化运算。
3.多尺度特征融合：使用特征金字塔网络(FPN)结构，其计算公式如下：
P_i＝upsample(P_(i+1))+conv_1x1(C_i)
其中，P_i和C_i分别为金字塔特征图和原始特征图，i为层级，upsample为上采样操作。
4.适应性损失函数：以加权交叉熵损失函数为例，其计算公式如下：
L＝-∑(w_p*y*log(σ(x))+w_n*(1-y)*log(1-σ(x)))
其中，L为损失值，y为真实标签，x为预测值，σ为sigmoid函数，w_p和w_n分别为正类和负类的权重。
5.无监督预训练：以自编码器为例，其损失函数可以表示为：
L＝||X-decode(encode(X))||2
其中，X为输入，encode和decode分别为编码器和解码器。
光信号处理装置还对深度神经网络输出的图像进行后处理。
本发明实施例对DNN的输出(DNN的输出是一个去除散射效果的图像，该图像在保留目标物体信息的同时，减少了散射光对图像的影响，从而提高了成像质量。在这个场景下，DNN输出的图像是由光学、红外和激光雷达传感器捕获的散射光信号经过融合和处理得到的。)进行后处理，包括去除残留散射和增强边缘。为了去除残留散射，本发明实施例使用非局部均值(NOn-Local Mean，NLM)滤波器可以有效地减少噪声并保留细节。为了增强边缘，本发明实施例使用了Canny(计算机科学家John F.Canny于1986年提出的一种边缘检测算子)边缘检测算法。
在后处理过程中，本发明实施例采用非局部均值(Non-Local Mean，NLM)滤波器和Canny边缘检测算法，为适应在车窗侧边散射成像的场景，本发明实施例根据具体需求对这些方法进行了改进。
1、改进的NLM滤波器
NLM滤波器是一种基于图像区域相似性的滤波方法，它可以在保留图像细节的同时有效地减少噪声。在车窗侧边散射成像的场景中，针对DNN输出的图像，本发明实施例首先计算图像中每个像素点的加权平均值。这里的权重与相邻像素间的相似度成正比。通过这种方法，本发明实施例可以保留图像中的细节信息，同时去除残留的散射效果。
2、改进的Canny边缘检测算法
为了适应在车窗侧边散射成像的场景，本发明实施例对Canny算法进行了优化。首先，本发明实施例将DNN输出的图像进行高斯滤波，以平滑图像并消除噪声。接下来，本发明实施例使用Sobel算子计算图像的梯度幅值和方向。然后，本发明实施例对梯度幅值进行非极大值抑制，以保留边缘并减小虚假边缘的出现。最后，本发明实施例采用双阈值法对边缘进行连接，从而得到完整的边缘信息。
通过这两个后处理步骤，本发明实施例可以进一步优化DNN输出的图像质量，去除残留的散射效果并增强边缘。这些改进使得本发明实施例的方法更加适合处理车窗侧边散射成像的低能见度环境下的成像系统。
本发明实施例相比于现有技术，具有更高的去散射效果和更好的适应性。首先，本发明实施例针对车窗侧边散射成像的低能见度环境下的成像系统设计了特定的DNN结构和参数设置。其次，本发明实施例使用了一些特殊的卷积核和归一化方法来增加网络的稳定性和鲁棒性。最后，本发明实施例改进NLM滤波器和Canny边缘检测算法对输出进行后处理，以进一步增强去散射效果和边缘信息。
三、导航装置
导航装置基于去除散射光影响的所述图像向驾驶员馈送导航信息，导航信息包括图像和/或语音信息。
1、导航装置包括显示装置，显示装置用于显示所述图像；优选地，所述显示装置为HUD抬头显示装置，所述图像可显示于挡风玻璃上。
显示装置将去散射图像实时传输到驾驶员视野内的显示设备(如(AugmentedReality，AR)眼镜、车载显示屏等)，使驾驶员能够在低能见度环境下获得超大视场的清晰视线。
在一个具体的实施例中，将(head-up display，HUD)抬头显示装置安装在汽车前窗玻璃的内侧，将清晰的图像通过透明的玻璃直接投射到驾驶员视野范围内，实现直接在前方路面上显示导航、速度、警告等信息。这种方式可以让驾驶员将注意力集中在前方，同时也可以减少驾驶员的眼睛移动频率，提高行车安全性。
2、导航装置还包括信息融合处理模块，所述信息融合处理模块将所述车载通信系统获取的实时路况信息与去除散射光影响的所述图像进行融合，形成融合的导航图像信息馈送驾驶员。
如图3所示，信息融合处理模块负责协调各个模块之间的信息流传递和处理，以确保系统的高效运行。此外，该信息融合处理模块可与车辆的其他系统(如导航、车载通信等)进行通信，以获取实时路况信息和驾驶员操作指令。获取实时路况信息和驾驶员操作指令的过程解释如下：
1、场景：驾驶员正在雨天驾驶，前方有一个复杂的十字路口，能见度受到雨水影响。
2、实时路况信息：信息融合处理模块通过车载通信系统接收到路况信息，得知前方十字路口有一个临时施工区域，部分车道已被封闭。此外，还接收到了附近交通信号灯的状态信息，指示当前为绿灯。
3、驾驶员操作指令：在驾驶员的导航系统中，已设置目的地。驾驶员发出语音指令：“显示最佳路径”，要求系统根据当前路况信息规划一条最佳行驶路线。
4、信息融合处理模块在接收到这些信息后，协调本系统各个部分进行处理。首先，将获取的实时路况信息与去散射图像进行融合，突显出施工区域和交通信号灯。然后，根据驾驶员的操作指令，将最佳行驶路径在显示设备上标注出来，例如在AR眼镜或车载显示屏上显示一条引导线。
通过这种方式，信息融合处理模块确保了各个装置之间的信息流畅传递和处理，提高了系统的高效运行。同时，它帮助驾驶员在低能见度环境下更好地理解路况，提升了驾驶安全性。
本发明实施例还包括以下部分：
四、电源装置
电源装置为系统提供稳定可靠的电源，以确保在各种工作条件下的正常运行。
通过对以上部分的集成和优化，本发明实施例可以在低能见度环境下为驾驶员提供清晰的视野和实时的驾驶辅助信息，从而提高驾驶安全和舒适性。
相较于上述技术，本发明实施例提出的提高行车安全性的车辆导航系统具有以下优势：
1、利用现有车窗：本发明实施例利用车窗等车窗侧边进行散射成像，无需额外增加复杂的设备，减轻了系统的负担，降低了成本。
2、超大视场：车窗本身就是一种具有超大视场的成像装置(是车窗本身就相当于一块超大的透镜，这个超大的透镜能有超大的视场)，相较于传统的成像设备，如摄像头、激光雷达等，可以提供更宽广的视野，提高驾驶员的安全感。
3、多传感器融合：本发明实施例可以结合多种传感器(如光学传感器、红外传感器等)，实现多源数据融合，提高去散射成像的准确性和稳定性。
4实时处理、结合专门设计的去散射算法，如基于深度学习的图像处理技术，可以实时处理收集到的散射光信号，生成清晰的去散射图像。
本发明实施例提出的提高行车安全性的车辆导航系统，该系统除了在车窗侧边安装传感器及其后续的去散射处理算法外，还有机地结合了传感器、光信号处理装置、导航装置。在低能见度环境下，该车辆导航系统能够有效地为驾驶员提供清晰可靠的视觉信息，降低驾驶风险。通过实时处理和呈现去散射后的图像，驾驶员可以在恶劣天气条件下更安全地进行行驶。
本发明实施例在提高行车安全性方面具有广泛的应用前景，尤其适用于低能见度环境下的汽车行业。与现有技术相比，本发明实施例具有更好的视觉效果、更低的成本、更广泛的视场和更强的适应性等优势。本车辆导航系统在驾驶员的视野内实时呈现去散射后的图像，有效降低驾驶风险，提高行车安全性。此外，该车辆导航系统还可以与车辆的其他系统(如导航、车载通信等)进行通信，以获取实时路况信息和驾驶员操作指令。整个方法的设计和实现展示了其先进性和实用性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种提高行车安全性的车辆导航系统，其特征在于，包括传感器、光信号处理装置以及导航装置，所述传感器设置在车窗边，所述车窗至少包括车辆的前挡风窗，可选进一步包括侧挡风窗，所述传感器用于收集车窗视场内的光信号，所述光信号处理装置对所述光信号进行处理，从所述光信号得到去除散射光影响的车窗视场的清晰图像，所述导航装置基于去除散射光影响的所述图像的信息向驾驶员馈送导航信息或向自动驾驶系统馈送导航用的数据，所述导航信息包括图像和/或语音信息。
2.如权利要求1所述的车辆导航系统，其特征在于，所述传感器收集的光信号包括直接光信号和散射光信号，所述散射光信号包括周围环境中的散射光、所述车窗对周围环境中的散射光的作用及所述车窗的边缘对散射光的积累效应带来的散射光信号。
3.如权利要求1或2所述的车辆导航系统，其特征在于，所述导航装置包括显示装置，所述显示装置用于显示所述图像；优选地，所述显示装置为HUD抬头显示装置，所述图像可显示于挡风玻璃上。
4.如权利要求1或2所述的车辆导航系统，其特征在于，所述导航装置还包括信息融合处理模块，所述信息融合处理模块将所述车载通信系统获取的实时路况信息与去除散射光影响的所述图像进行融合，形成融合的导航图像信息馈送驾驶员。
5.如权利要求1或2所述的车辆导航系统，其特征在于，所述传感器包括可见光传感器、红外传感器中的一种或其组合，可选还进一步包括激光雷达、毫米波雷达、超声波传感器中的一种或多种的组合。
6.如权利要求5所述的车辆导航系统，其特征在于，所述光信号处理装置对收集的光信号进行去噪处理，具体包括：
将输入的光信号分割为若干像素块；
对每个像素块计算光强度的局部方差；
根据局部方差计算各像素块的去噪窗口的大小；
按照相应大小的去噪窗口自适应地对各像素块的光信号进行去噪处理；
将处理后的像素块重新组合成去噪后的光信号；
和/或者，所述光信号处理装置对收集的光信号进行直方图均衡化处理，具体包括：
将输入的光信号分割为若干像素块；
对每个像素块计算局部对比度，并根据局部对比度确定对比度增强系数；
按照相应的对比度增强系数，对各像素块进行自适应的对比度增强处理；
将处理后的像素块重新组合成对比度增强后的光信号。
7.如权利要求5所述的车辆导航系统，其特征在于，所述光信号处理装置将两种以上传感器收集的光信号进行深度学习融合，具体包括：
使用深度神经网络对不同类型的光信号进行特征提取，并将其转换为一个共同的特征空间；
在所述共同的特征空间中，应用特征融合策略将不同类型光信号的特征进行融合；
将融合后的特征映射恢复到原始信号的空间分辨率；
将融合后的特征映射转换回光信号，得到融合输出。
8.如权利要求1至7任一项所述的车辆导航系统，其特征在于，所述光信号处理装置由收集的光信号生成对应于光信号类型的透射率估计图像，将所述透射率估计图像输入经训练的深度神经网络，优选采用基于U-Net的深度神经网络，经过所述深度神经网络输出去散射效果的图像；其中，所述透射率估计图像描述了图像中每个像素点的透射率值，表示光线经过散射介质后衰减的程度；
优选地，红外光信号的透射率估计图像的生成包括：
获取红外图像的各像素点的光强；
确定参考光强；
计算红外图像中的像素点的光强与参考光强的比值；
根据所述比值，获得红外光信号的透射率估计图像；
优选地，可见光信号的透射率估计图像的生成包括：
获取可见光RGB图像的各像素点的光强；
确定参考光强；
计算可见光RGB图像中的像素点的光强与参考光强的比值；
根据所述比值，获得可见光信号的透射率估计图像；
优选地，激光雷达信号的透射率估计图像的生成包括：
获取激光雷达点云数据；
将点云数据转换为二维深度图像；
确定参考深度；
计算二维深度图像的像素点的深度与参考深度的比值；
根据所述比值，获得激光雷达信号的透射率估计图像；
更优选地，所述将点云数据转换为二维深度图像的方法具体包括：
步骤一：分区块处理
将整个点云数据划分成大小相等的区块，每个区块包含预定数量的点；
步骤二：引入光照模型
在将点云投影到2D平面时，同时保留每个点的深度信息和法线信息，得到一个同时包含深度信息和光照信息的2D图像；
步骤三：高斯混合模型处理
对于点云中的每个区块，使用高斯混合模型对每个区块中的点的深度进行建模，得到多个高斯分布，然后选择分布最大的那个高斯分布的均值作为这个区块的深度值；
步骤四：基于图的数据融合
使用图割算法对深度图像进行后处理，使得相邻像素的深度值变化平滑化。
9.如权利要求8所述的车辆导航系统，其特征在于，所述深度神经网络具有以下的一种或多种特征：
在U-Net的编码器和解码器的卷积层中引入注意力模块；
在网络中引入混合卷积结构；
解码器使用特征金字塔网络FPN结构进行多尺度特征融合，通过自顶向下的路径和横向连接，将不同尺度的特征图融合在一起；
使用适应性损失函数，根据输入图像的特性动态调整权重；
使用无监督方法进行预训练。
10.如权利要求8所述的车辆导航系统，其特征在于，所述光信号处理装置还对深度神经网络输出的图像进行后处理，所述后处理包括去除残留散射和增强图像边缘；
所述去除残留散射包括：计算图像中每个像素点的加权平均值，其权重与相邻像素间的相似度成正比，并根据所述加权平均值进行非局部均值NLM滤波；
所述增强图像边缘包括：对图像进行高斯滤波；使用Sobel算子计算图像的梯度幅值和方向；对梯度幅值进行非极大值抑制；采用双阈值法对边缘进行连接，得到完整的边缘信息。
CN202310853949.5A 2023-07-12 2023-07-12 一种提高行车安全性的车辆导航系统 Pending CN117129002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310853949.5A CN117129002A (zh) 2023-07-12 2023-07-12 一种提高行车安全性的车辆导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310853949.5A CN117129002A (zh) 2023-07-12 2023-07-12 一种提高行车安全性的车辆导航系统

Publications (1)

Publication Number Publication Date
CN117129002A true CN117129002A (zh) 2023-11-28

Family

ID=88861802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310853949.5A Pending CN117129002A (zh) 2023-07-12 2023-07-12 一种提高行车安全性的车辆导航系统

Country Status (1)

Country Link
CN (1) CN117129002A (zh)

Similar Documents

Publication Publication Date Title
Hautière et al. Towards fog-free in-vehicle vision systems through contrast restoration
US9384401B2 (en) Method for fog detection
Hautière et al. Mitigation of visibility loss for advanced camera-based driver assistance
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
DE102008003948B4 (de) Vorrichtung zum Bestimmen des Vorhandenseins von Nebel unter Verwendung einer Abbildung, die durch eine in ein Fahrzeug eingebaute Abbildungsvorrichtung erzielt wird
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
US8786697B2 (en) Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
TWI607901B (zh) 影像修補系統及其方法
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
Negru et al. Image based fog detection and visibility estimation for driving assistance systems
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
KR101364727B1 (ko) 촬영된 영상의 처리를 이용한 안개 감지 방법 및 장치
CN110371108B (zh) 车载超声波雷达与车载环视系统融合方法
CN113820714B (zh) 一种基于多传感器融合的尘雾天气道路环境感知系统
JPWO2019194256A1 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
JP2013167624A (ja) 撮像装置及びこれを備えた車両システム並びに画像処理方法
Jiang et al. Target detection algorithm based on MMW radar and camera fusion
CN117111055A (zh) 一种基于雷视融合的车辆状态感知方法
CN106803073B (zh) 基于立体视觉目标的辅助驾驶系统及方法
Wang et al. On the application of cameras used in autonomous vehicles
JP6847709B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
CN106991415A (zh) 用于车载鱼眼相机的图像处理方法和装置
CN115100618B (zh) 一种多源异构感知信息多层级融合表征与目标识别方法
CN207115438U (zh) 用于车载鱼眼相机的图像处理装置
JP6789151B2 (ja) カメラ装置、検出装置、検出システムおよび移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination