CN110909686B

CN110909686B - 一种用于辅助驾驶的低照度图像增强系统

Info

Publication number: CN110909686B
Application number: CN201911169427.3A
Authority: CN
Inventors: 刘逸伦; 马慧; 田文博; 方春鑫; 杨泽东; 赵冬冬
Original assignee: Heilongjiang University
Current assignee: Heilongjiang University
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2022-05-31
Anticipated expiration: 2039-11-26
Also published as: CN110909686A

Abstract

本发明提出一种用于辅助驾驶的低照度图像增强系统。发明方法包括：低照度图像亮度通道的估计、全局和局部增强等预处理操作和车道线检测操作；在此基础上使用能量函数优化亮度通道；将亮度信息进行色调映射获得全局自适应亮度信息；再将其输入改进的Retinex算法获得亮度增强图像的输出，按增强比例恢复至彩色图像；最后，对增强图像进行多特征融合的车道线检测处理。本发明将全局图像亮度增强和局部细节保护进行有效结合对低照度图像自适应增强，能够提升系统对夜间车道线检测的稳定性。

Description

一种用于辅助驾驶的低照度图像增强系统

技术领域

本发明属于模式识别领域，特别涉及一种用于辅助驾驶的低照度图像增强技术。

背景技术

基于计算机视觉的辅助驾驶系统，在夜间光照条件不足、光线散射严重的条件下，对低照度图像的预处理过程中经常会发生颜色偏移、图像细节丢失等情况，最终对车道线检测的准确率造成一定影响，严重的可能会引发交通事故。因此需要对夜间场景的图像在亮度和对比度上进行提升，增强图像纹理。

目前对图像的增强过程主要从全局和非全局两方面出发。对全局的图像增强包括：对数压缩，伽马矫正，直方图均衡，线性拉伸等。非全局操作包括：局部直方图均衡和Retinex算法等。全局操作的算法速度快、方法简单，但是缺少对细节的处理，同时对低照度图像处理后会出现过增强的情况。基于局部操作的算法复杂度相对较高，在滤波操作后会使图像边缘模糊。

车道线检测过程主要是基于图像的边缘特性进行检测，传统图像增强算法对夜间图像增强会产生大量噪声，缺乏对车道线边缘的保护以及图像的动态压缩能力，会造成较多误检测或漏检测的情况。

发明内容

本发明为了解决对低照度图像增强后造成的光晕伪影、细节丢等情况，提供一种基于色调映射的辅助驾驶低照度图像增强系统，能够对低照度图像进行颜色保持和动态范围压缩处理，用以提升基于视觉的辅助驾驶对夜间车道线识别的准确度。为实现上述发明目的，本发明提供了以下技术方案：

一种用于辅助驾驶的低照度图像增强算法，包括：

步骤1：输入低照度原始夜间图像，使用双模能量函数求解低照度图像的最优亮度通道；

步骤2：使用色调映射的方法，对步骤1获得的图像亮度通道进行全局自适应增强；将全局自适应亮度通道输入添加增益-偏离算子的Retienx算法获得局部自适应亮度，使用tanh函数替代对数函数对图像进行压缩；

步骤3：对R、G、B通道按局部自适应亮度与亮度通道的比例进行映射并合成三通道彩色图像；

步骤4：根据步骤3获得的增强图像，进行多特征融合的车道线检测。

优选地，对步骤1的操作是通过引入双模能量函数并求解最优解，获得亮度通道线性组合中最优的权重系数，保留了原始图像的对比度信息，表示为：

L _ω=ω _r R+ω _g G+ω _b B

优化权重系数的能量函数为：

式中，

表示为在像素对P中，像素点x, y的输出亮度差；

表示颜色对比度，即像素对之间的差异（区分正负）。

优选地，在步骤2中，应用基于tanh空间的色调映射获得全局自适应亮度，减少图像信息的丢失以及实现对亮度通道的动态压缩，其中：

式中，

和

表示步骤1求解的亮度通道以及它的最大值，

是对全局亮度的逼近，可以表示为：

将全局亮度输入改进的Retinex局部亮度估计公式，获得局部自适应亮度：

式中，f是对全局亮度的引导滤波操作，对图像边缘具有保护作用，能降低光晕伪影的影响；gain是基于全局自适应输出的修正因子；offset是修正全局自适应输出与引导滤波输出的比值，其中：

式中：

是全局自适应亮度的最大值；η为调节常数，对

，

二者比例的权重进行调整；

式中，

是全局自适应亮度的对数平均；λ是亮度调节常数。

优选地，在步骤3中，计算增强图像的反射分量

和初始的亮度通道

的增强比例，具体为：

式中，prop为R、G、B通道的增强比例；按比例对RGB三通道映射：

式中，R、G、B为原始图像的RGB三通道，

、

为亮度增强后的RGB通道，最终合并成三通道彩色图像。

优选地，在步骤4中，多特征融合的车道线检测，具体为：

1）道路图像的冗余部分包括天空、楼宇、树木，选择图像部分的三分之二作为ROI区域进行预处理和检测操作；

2）计算方向梯度幅值与图像颜色通道，用于获得阈值分割后的二值图像；

3）在ROI区域近端使用Canny边缘检测和Hough变换提取车道线，将角度取值范围设置为左侧车道线与水平坐标轴之间夹角30°到85°，右侧夹角120°到175°；在ROI区域远端使用Catmull-Rom算法拟合曲线车道线。

本发明构建了一个基于色调映射的自适应辅助驾驶图像增强系统，增益效果如下：综合全局亮度信息和局部图像细节信息，实现了图像整体亮度的提升以及车道线边缘细节的保护，抑制了黑暗的区域的噪声影响，降低图像信息的丢失。在保证实时性的前提下，提升了低照度条件下车道线检测的成功率。

附图说明

图1为本发明图像预处理部分的流程图。

图2~3 为夜间道路图片增强效果对比图。

图4为本发明车道线检测部分的流程图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细阐述。应当理解，所述实施例仅用于说明本发明，而不用于限制本发明的保护范围。此外应理解，在阅读了本发明描述的内容以后，本领域技术人员可以对本发明做各种改动或修改，这些等价形式同样落于本申请所限定的保护范围。

本发明的设计思路：在夜间光照条件不足、光线散射严重的条件下，对低照度图像的预处理过程中经常会发生颜色偏移、图像细节丢失等情况，影响了后期的图像识别和信息提取。针对这个问题，本发明提出了一种基于辅助驾驶的低照度图像增强系统，引入引导滤波和色调映射技术实现对亮度通道的动态压缩，减少数据丢失。与其他低照度增强算法相比，本发明增强后的图像亮度得到显著提升，同时解决了颜色失真、光晕伪影的情况，有效地保证车道线与地面之间的对比度，提升低照度条件下车道线检测成功率。

如图1为本发明实施例提供的一种辅助驾驶的低照度图像预处理部分流程图，该系统步骤包括：

步骤1：输入低照度原始夜间图像，使用双模能量函数对低照度图像的亮度通道求解最优值；

步骤2：使用色调映射的方法，对步骤1获得的图像亮度通道进行全局自适应增强并作为改进的Retienx算法的输入获得局部自适应亮度；

本发明的特征还在于，进一步的，所述步骤1中，利用基于能量函数的亮度估计获得全局亮度的输入值，具体步骤如下：

原始能量函数可以表示为：

通过最小化能量函数，来达到保留对比度的目的，其中，g _x， g _y为输出的亮度值；

表示颜色对比度，即像素对之间的差异（区分正负），由Lab空间中的欧氏距离表示为：

将原始能量函数改进为双模函数，降低了映射顺序限制，优化了亮度通道计算过程，使优化算法具有O(1)的运行时间，目标函数表示为：

式中，

表示为在像素对P中，像素点x,y的输出亮度差；

通过带权重的线性组合来表示亮度通道的估计：

保证E(g)最小的同时，还需要满足两个约束条件：

最终求解出

的数值，即为亮度通道线性组合最优的权重。

进一步的，所述步骤2中，计算全局自适应亮度，具体为：

在获得亮度通道的估计之后便可以在tanh空间进行映射操作：

其中，

和

表示亮度通道以及它的最大值，

可以表示为：

通过求解亮度通道的对数平均获得对全局亮度的逼近。

进一步的，计算局部自适应亮度，具体按照以下步骤进行：

在Retinex对图像的局部操作中，由于边缘两侧像素值差距过大，用模板对窗口内像素加权后，亮度较高部分像素值的估计较正常偏低，亮度较低部分的估计则相对偏高，导致光晕伪影现象的出现。本发明使用引导滤波替代高斯滤波，引导滤波在亮度通道的引导图像I和滤波输出的图像q之间存在以下线性关系：

其中，

为亮度图像

的滤波窗口，

,

为系数常量，可以通过最小二乘法对最优化问题求解获得：

式中

和

分别是引导图像

在窗口

中的均值和方差；滤波窗口的半径为r；

表示窗口中的像素个数；

是输入图像P在窗口

中像素的平均值；

是正则化参数，它的作用是防止

的数值超出范围。

进一步的，为了简化计算过程，选择全局自适应的输出作为引导滤波的引导图像和输入图像，最终的引导滤波函数如下所示：

将引导滤波获得的照度分量输入tanh空间的Retinex的关系式中，获得反射分量

：

双曲正切（hyperbolic tangent function）函数将图像压缩到0-1之间，根据函数的特性：将黑暗区域拉伸到一个范围较大的空间；将高亮部分压缩到一个较小范围中。相较于对数函数，不需要对图像裁剪，保护了低照度图像的细节信息。

进一步的，将Retinex算法关系式进行修改，通过对反射分量公式添加修正因子实现局部对比度增强，避免了图像过度平滑，将反射分量的公式改进为：

其中，gain是基于全局自适应输出的影响因子，负责对反射分量整体对比度进行调节，抑制低照度区域过度增强，公式可以表示为：

gain是全局自适应亮度的最大值；

为对比度调节常数，对

，

二者比例的权重进行调整。offset公式可表示为：

其中，

是全局自适应亮度的对数平均，

是亮度调节常数。

进一步的，所述步骤3中，计算增强图像的反射分量

和初始的亮度通道

的增强比例，具体为：

式中，prop为R、G、B通道的增强比例。进而映射出亮度增强后的

、

：

进一步的，将亮度增强后的

、

合成为增强的低照度彩色图像。

为保证辅助驾驶系统对的夜间和日间的低照度图像具有通用性，实验图像选择两种照度条件下的道路图像，低照度增强效果如图2~3所示。

如图4为本发明实施例提供的一种多特征融合车道线检测系统流程图。进一步的，所述步骤4中，多特征融合的车道线检测，具体为：

1）计算方向梯度、梯度幅值与图像颜色通道，用于获得阈值分割后融合的二值图像；

进一步的，选择x方向的Sobel算子对图像边缘提取，图像颜色通道包括RGB通道、HSV空间的V通道和Lab的L通道，使用与操作来获得最优的提取效果；

2）选择图像部分的三分之二作为车道线有效区域；

3）将车道线部分分为两部分，近端为直线部分，远端为曲线部分。具体操作包括：

进一步的，为了避免误检，将Hough变换的角度限制为：左侧车道线与水平坐标轴之间夹角的取值范围为30°到85°；右侧夹角的取值范围为120°到175°。

在近端检测区域使用Canny边缘检测和Hough变换提取车道线；

在远端检测区域使用Catmull-Rom算法拟合曲线车道线，具体为：

其中，核心是选定P0、P1、P2、P3四个基础点，通过插值算法在两个点中间拟合出光滑直线，基础点的选取方式为：

1）车道线近端与远端之间的分界点设置为P3；

2）从车道线消失点作一条水平线并向下遍历，与车道线的交点设置为P1；

3）得到了P1，P3两点后，取P1,P3中间的一行搜索两车道的P2点。

综上所述，本发明实现了对低照度图像的动态范围压缩、亮度的提升、图像的细节保持等效果，算法复杂度低，满足了实时性的要求，对夜间车道线的检测的效果有一定提升。

上述仅为本发明的优选实例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims

1.一种用于辅助驾驶的低照度图像增强系统，其特征在于，具体按照以下步骤进行：

步骤1：输入低照度原始夜间图像，计算低照度图像的亮度通道；

所述计算低照度图像的亮度通道，包括：为了保证颜色对比度以及图像的细节信息，引入双模能量函数优化亮度通道计算过程，优化权重系数的能量函数为：

式中

表示为在像素对P中，像素点(x, y)的输出亮度差，

表示颜色对比度，即像素对之间的差异；

步骤2：使用色调映射的方法，对步骤1获得的图像亮度通道进行全局自适应增强并作为改进的Retienx算法的输入，计算出局部自适应亮度；

所述色调映射的方法，包括：

基于色调映射在tanh空间获得全局自适应亮度，其中：

式中

和

表示步骤1求解的亮度通道以及它的最大值

是对全局亮度的对数平均；

将全局自适应亮度输入改进的Retinex局部亮度估计公式，可以获得局部自适应亮度：

式中，f 是引导滤波输出的反射分量，用以降低光晕伪影的影响；gain是基于全局自适应输出的修正因子；offset是修正全局自适应输出与引导滤波输出的比值；

步骤4：根据步骤3获得的增强图像，进行多特征融合的车道线检测；

所述进行多特征融合的车道线检测，包括：

1）融合图像颜色、梯度信息进行二值化处理；

2）去除道路图像顶部三分之一的冗余区域，对剩余的车道线检测区域进行投影变换；

3）在ROI区域近端使用Canny边缘检测和Hough变换提取车道线；在ROI区域远端使用Catmull-Rom算法拟合曲线车道线，具体为：

其中，核心是选定P0、P1、P2、P3四个基础点，通过插值算法在两个点中间拟合出光滑直线。