CN116229404A - 一种基于距离传感器的图像去雾优化方法 - Google Patents
一种基于距离传感器的图像去雾优化方法 Download PDFInfo
- Publication number
- CN116229404A CN116229404A CN202310356936.7A CN202310356936A CN116229404A CN 116229404 A CN116229404 A CN 116229404A CN 202310356936 A CN202310356936 A CN 202310356936A CN 116229404 A CN116229404 A CN 116229404A
- Authority
- CN
- China
- Prior art keywords
- image
- distance sensor
- defogging
- depth
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000005457 optimization Methods 0.000 title claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000003068 static effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
一种基于距离传感器的图像去雾优化方法，步骤S1.视觉传感器获取图像信息，距离传感器获取周围障碍物信息，距离传感器与视觉传感器采用联合标定，即，距离传感器感知到的要素通过投影的方式关联到图像上，从而获取图像中像素点对应的深度信息；步骤S2.对于有雾天气对图像质量的影响，根据大气散射模型得到图像中像素点对应的深度信息；步骤S3.像素点的深度通过距离传感器输出结果的投影获得，在距离传感器的帮助下，恢复出无雾图像。该方法提高图像去雾的效果，可与多种传统算法相结合，优化传统算法的效果，进而提高视觉传感器在雾天的检测性能。
Description
技术领域
本发明属于自动驾驶技术领域，具体涉及一种基于距离传感器的图像去雾优化方法。
背景技术
图像去雾的研究算法有很多，但是主要分为两类：基于图像增强的去雾算法和基于图像复原的去雾算法。
基于图像增强的去雾算法
基于图像增强的去雾算法出发点是尽量去除图像噪声，提高图像对比度，从而恢复出无雾清晰图像。代表性方法有：直方图均衡化(HLE)、自适应直方图均衡化(AHE)、限制对比度自适应直方图均衡化(CLAHE)、Retinex算法、小波变换、同态滤波等等。
基于图像复原的去雾算法
这一系列方法基本是基于大气退化模型，进行响应的去雾处理。代表性算法有来自何凯明博士的暗通道去雾算法、基于导向滤波的暗通道去雾算法、Fattal的单幅图像去雾算法(Single image dehazing)、Tan的单一图像去雾算法(Visibility inbad weatherfrom a single image)、Tarel的快速图像恢复算法(Fast visibility restoration froma single color or gray level image)、贝叶斯去雾算法(Single image defogging bymultiscale depth fusion)、基于颜色衰减先验假设的去雾算法(A Fast Single ImageHaze Removal Algorithm Using ColorAttenuation Prior)，基于大气退化模型的去雾效果普遍好于基于图像增强的去雾算法，后面挑选的传统去雾算法例子也大多是基于大气退化模型的去雾算法。
基于CNN的去雾算法
当然，由于CNN近年在一些任务上取得了较大的进展，去雾算法自然也有大量基于CNN的相关工作。这类方法是主要可以分为两类，第一类仍然是于大气退化模型，利用神经网络对模型中的参数进行估计，早期的方法大多数是基于这种思想。第二类则是利用输入的有雾图像，直接输出得到去雾后的图像，也即是深度学习中常说的端到端方法。
综上，现有的去雾算法中，大多数算法没有使用像素点深度。个别算法对像素点的深度做了假设(A Fast Single Image Haze Removal Algorithm Using ColorAttenuation Prior)，但并没有获取实际的深度值，深度仅作为推算过程的一个变量使用。
发明内容
本发明所要解决的技术问题是克服现有技术的不足，提供一种基于距离传感器的图像去雾优化方法，提高图像去雾的效果，可与多种传统算法相结合，优化传统算法的效果，进而提高视觉传感器在雾天的检测性能。
本发明提供一种基于距离传感器的图像去雾优化方法，包括如下步骤，
步骤S1.视觉传感器获取图像信息，距离传感器获取周围障碍物信息，距离传感器与视觉传感器已完成联合标定，即，距离传感器感知到的要素通过投影的方式关联到图像上，从而获取图像中像素点对应的深度信息；
步骤S2.对于有雾天气对图像质量的影响，根据大气散射模型，得到图像中像素点对应的深度信息，采用如下公式：
I(x)＝J(x)e-βd(x)+A∞(1-e-βd(x))；
其中，I(x)为观察到的有雾图像，J(x)为待恢复的无雾图像，d(x)为景物深度，A∞为全局大气光，通常情况下为全局常量，
β为大气散射系数，公式为
其中，λ为光的波长，h为海拔高度，H为常数，n为空气折射率；
步骤S3.像素点的深度通过距离传感器输出结果的投影获得，由I(x)恢复出无雾图像J(x)。
作为本发明的进一步技术方案，步骤S1中，距离传感器感知到的要素包括点云和目标。
进一步的，步骤S3中，距离传感器获取获取的要素包括其他道路参与者信息和静态道路信息，其他道路参与者信息包括他车、行人、自行车，静态道路信息包括地面、路沿、标牌。
本发明的优点在于，本方法根据距离传感器的输出，对图像区域的深度做修正后，可以明显提升远处目标的去雾效果，降低了对感知目标识别算法的要求。
附图说明
图1为本发明的方法流程图；
图2为本发明的硬件环境及数据流运行框图。
具体实施方式
本实施例中，相机获取图像，激光雷达获取点云数据，点云数据包含周围环境的深度信息。通过车载存储器中保存的标定参数，将点云投影到图像中。图像可通过目标检测算法得到图像上的ROI区域，通过获取该区域内的点云投影信息，可以获得深度信息。之后按照上文所述方法，获取优化后的去雾图像。
请参阅图1，本实施例提供本发明一种基于距离传感器的图像去雾优化方法，包括如下步骤，
步骤S1.视觉传感器获取图像信息，距离传感器获取周围障碍物信息，距离传感器与视觉传感器已完成联合标定，即，距离传感器感知到的要素通过投影的方式关联到图像上，从而获取图像中像素点对应的深度信息；
步骤S2.对于有雾天气对图像质量的影响，根据大气散射模型，采用如下公式：
I(x)＝J(x)e-βd(x)+A∞(1-e-βd(x))；
其中，I(x)为观察到的有雾图像，J(x)为待恢复的无雾图像，d(x)为景物深度，A∞为全局大气光，通常情况下为全局常量，
β为大气散射系数，公式为
其中，λ为光的波长，h为海拔高度，H为常数，n为空气折射率；
其中β的计算，在近似估算时可以使用可见光平均波长、当地的实际海拔高度和当地的平均空气折射率计算。在要求较为精确的计算结果时，可以对当地不同时段里雾天的平均波长、平均空气折射率进行统计，之后制成表格进行查询，提高计算精度
步骤S3.像素点的深度通过距离传感器输出结果的投影获得，由I(x)恢复出无雾图像J(x)。
步骤S1中，距离传感器感知到的要素包括点云和目标。
步骤S3中，距离传感器获取获取的要素包括其他道路参与者信息和静态道路信息，其他道路参与者信息包括他车、行人、自行车，静态道路信息包括地面、路沿、标牌。
本实施例运行的硬件环境及数据流如图2所示。
本实施例提出的方法也可以用作神经网络输入的预处理。对于带有去雾功能的神经网络，通过采集有雾/无雾的图片数据进行训练。本发明提出的方法可以辅助训练数据的生成。
现有的传统去雾算法一般将e-βd(x)作为一个整体变量去优化，获得估计值。由于景物深度d(x)和大气散射系数是完全无关的两个参数，且与实际像素值的关系不明确，因此e-βd(x)作为整体进行估计一般不能获得准确的结果。而由于距离传感器精度较高，因此本发明的方法去雾效果会优于传统的去雾算法，并且可解释性、可维护性更强。
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解，本发明不受上述具体实施例的限制，上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理，在不脱离本发明精神范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。
Claims (3)
1.一种基于距离传感器的图像去雾优化方法，其特征在于，包括如下步骤，
步骤S1.视觉传感器获取图像信息，距离传感器获取周围障碍物信息，距离传感器与视觉传感器已完成联合标定，即，距离传感器感知到的要素通过投影的方式关联到图像上，从而获取图像中像素点对应的深度信息；
步骤S2.对于有雾天气对图像质量的影响，根据大气散射模型，得到图像中像素点对应的深度信息，采用如下公式：
I(x)＝J(x)e-βd(x)+A∞(1-e-βd(x))；
其中，I(x)为观察到的有雾图像，J(x)为待恢复的无雾图像，d(x)为景物深度，A∞为全局大气光，通常情况下为全局常量，
β为大气散射系数，公式为
其中，λ为光的波长，h为海拔高度，H为常数，n为空气折射率；
步骤S3.像素点的深度通过距离传感器输出结果的投影获得，由I(x)恢复出无雾图像J(x)。
2.根据权利要求1所述的一种基于距离传感器的图像去雾优化方法，其特征在于，所述步骤S1中，距离传感器感知到的要素包括点云和目标。
3.根据权利要求1所述的一种基于距离传感器的图像去雾优化方法，其特征在于，所述步骤S3中，距离传感器获取的要素包括其他道路参与者信息和静态道路信息，其他道路参与者信息包括他车、行人、自行车，静态道路信息包括地面、路沿、标牌。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310356936.7A CN116229404A (zh) | 2023-04-06 | 2023-04-06 | 一种基于距离传感器的图像去雾优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310356936.7A CN116229404A (zh) | 2023-04-06 | 2023-04-06 | 一种基于距离传感器的图像去雾优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116229404A true CN116229404A (zh) | 2023-06-06 |
Family
ID=86577020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310356936.7A Pending CN116229404A (zh) | 2023-04-06 | 2023-04-06 | 一种基于距离传感器的图像去雾优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116229404A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058210A (zh) * | 2023-10-11 | 2023-11-14 | 比亚迪股份有限公司 | 基于车载传感器的距离计算方法和装置及存储介质和车辆 |
-
2023
- 2023-04-06 CN CN202310356936.7A patent/CN116229404A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058210A (zh) * | 2023-10-11 | 2023-11-14 | 比亚迪股份有限公司 | 基于车载传感器的距离计算方法和装置及存储介质和车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107301623B (zh) | 一种基于暗通道和图像分割的交通图像去雾方法及系统 | |
| CN107103591B (zh) | 一种基于图像雾霾浓度估计的单幅图像去雾方法 | |
| CN111292258B (zh) | 一种基于暗通道和亮通道先验的图像去雾方法 | |
| KR102261532B1 (ko) | 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법 | |
| CN110211067B (zh) | 一种用于uuv近海面可见光图像去雾方法 | |
| CN111709888B (zh) | 一种基于改进的生成对抗网络的航拍图像去雾方法 | |
| CN110060221B (zh) | 一种基于无人机航拍图像的桥梁车辆检测方法 | |
| CN109118450B (zh) | 一种沙尘天气条件下的低质图像增强方法 | |
| CN116229404A (zh) | 一种基于距离传感器的图像去雾优化方法 | |
| CN114693548B (zh) | 一种基于亮区域检测的暗通道去雾方法 | |
| CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
| CN104318528A (zh) | 基于多尺度wls滤波的雾天图像恢复方法 | |
| CN114119383B (zh) | 一种基于多特征融合的水下图像复原方法 | |
| Pandian et al. | Object Identification from Dark/Blurred Image using WBWM and Gaussian Pyramid Techniques | |
| CN112419163A (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
| CN111667498B (zh) | 一种面向光学卫星视频的运动舰船目标自动检测方法 | |
| CN109191405B (zh) | 一种基于透射率全局估计的航空影像去雾算法 | |
| CN112465720A (zh) | 一种基于图像天空分割的图像去雾方法、装置和存储介质 | |
| CN116433513A (zh) | 一种道路监视视频去雾方法、系统、电子设备和存储介质 | |
| CN116757949A (zh) | 一种大气-海洋散射环境退化图像复原方法及系统 | |
| CN110544216A (zh) | 基于深度学习的视频去雾系统 | |
| CN107248146B (zh) | 一种uuv近海面可见光图像去雾方法 | |
| CN111489302B (zh) | 一种雾气环境下海事图像增强方法 | |
| CN112767275B (zh) | 一种基于人工稀疏标注信息引导的单张图像去雾方法 | |
| Tao et al. | Improved Retinex for low illumination image enhancement of nighttime traffic |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |