CN103973990A - 宽动态融合方法及装置 - Google Patents

Abstract

本发明提供一种宽动态融合方法及装置，该方法包括：在标准测试条件下，对标准测试目标分别在不同增益下进行N次不同光线下的曝光，获取相应增益下的噪声方差-亮度曲线；获取拍摄对象不同快门时间的M帧图像；根据当前增益下的噪声方差-亮度曲线，确定像素点噪声方差，根据该噪声方差确定对应的预处理滤波器模板大小并滤波；根据该噪声方差，确定该等像素点对应的去噪滤波器大小并滤波；将每一帧去噪后的图像进行分层处理，分别对M帧图像的亮度信息进行融合和M帧图像的纹理信息进行融合，将融合后的亮度信息和纹理信息叠加，输出宽动态图像。本发明有效提升了图像去噪效果，并使宽动态图像包含尽量多的细节信息。

Description

宽动态融合方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种宽动态融合方法及装置。

背景技术

摄像机具有监控视角广、安装简便等特点，但是，由于一般的摄像机的图像动态范围比较小，在监视场景对比度较大的情况下，比如逆光捕捉对象或者同时捕捉室内场景和室外场景的对象，拍摄的图像质量比较差。有鉴于此，宽动态摄像机应运而生。宽动态技术是在非常强烈的对比下让摄像机看到影像的特色而运用的一种技术。当在强光源(如日光、灯具或反光等)照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像机输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量。摄像机在同一场景中对最亮区域及较暗区域的表现是存在局限的，这种局限就是通常所讲的“动态范围”。

目前，宽动态图像一般采用下述两种方式来实现：一种方式为数字宽动态技术，即通过对图像不同区域进行不同的增益调整，调节明暗程度；另一种方式是基于每次曝光获取多帧图像，每次曝光的明暗程度不同，根据多帧图像中像素点的明暗，将多帧图像融合为一帧图像。第一种方式只能增加主观效果，对因动态范围不够引起的图像信息丢失问题无法恢复，并且图像增益增大时，图像噪声也随之增大；第二种方法中，图像信息由于来自不同的曝光图像，融合后图像的噪声分布变化较大，难以根据融合后的图像进行噪声估计，并进行去噪处理。此外，由于以往的多帧融合算法往往只考虑到亮度信息的融合，图像细节纹理信息容易丢失。

发明内容

有鉴于此，本发明提供了一种宽动态融合装置，该装置应用于摄像机上，该装置包括：

噪声估计单元，用于在标准测试条件下，对选取的标准测试目标分别在不同增益下进行N次不同光线下的曝光，获取相应增益下的噪声方差-亮度曲线，其中，所述噪声方差-亮度曲线为通过预设的噪声估计算法对相应增益下的N次曝光图像进行噪声参数估计后得到；

图像采集单元，用于对拍摄对象进行多次曝光，获取不同快门时间的M帧图像，其中，对所述M帧图像的每一帧图像的明暗区域进行划分，不同明暗区域均至少有一次准确曝光；

边缘识别单元，用于根据当前增益下的噪声方差-亮度曲线，对所述M帧图像中的每一帧图像的像素点确定噪声方差，根据该噪声方差确定该像素点对应的预设边缘识别算子中预处理滤波器模板大小，并对该像素点进行滤波，在完成一帧图像的滤波后，通过预设边缘识别算子识别图像边缘，确认图像边缘点的边缘方向和法线方向；

去噪处理单元，用于根据所述M帧图像中的每一帧图像的像素点的噪声方差，确定该等像素点对应的去噪滤波器大小，根据该等去噪滤波器大小对该等像素点滤波，其中，对图像边缘点只沿边缘方向滤波，不对法线方向滤波；

图像融合单元，用于将每一帧去噪后的图像进行分层处理，获得每一帧图像的亮度信息和纹理信息，分别对M帧图像的亮度信息进行融合和M帧图像的纹理信息进行融合，将融合后的亮度信息和纹理信息叠加，输出宽动态图像。

本发明还提供了一种宽动态融合方法，该方法应用于摄像机上，该方法包括：

步骤A，在标准测试条件下，对选取的标准测试目标分别在不同增益下进行N次不同光线下的曝光，获取相应增益下的噪声方差-亮度曲线，其中，所述噪声方差-亮度曲线为通过预设的噪声估计算法对相应增益下的N次曝光图像进行噪声参数估计后得到；

步骤B，对拍摄对象进行多次曝光，获取不同快门时间的M帧图像，其中，对所述M帧图像的每一帧图像的明暗区域进行划分，不同明暗区域均至少有一次准确曝光；

步骤C，根据当前增益下的噪声方差-亮度曲线，对所述M帧图像中的每一帧图像的像素点确定噪声方差，根据该噪声方差确定该像素点对应的预设边缘识别算子中预处理滤波器模板大小，并对该像素点进行滤波，在完成一帧图像的滤波后，通过预设边缘识别算子识别图像边缘，确认图像边缘点的边缘方向和法线方向；

步骤D，根据所述M帧图像中的每一帧图像的像素点的噪声方差，确定该等像素点对应的去噪滤波器大小，根据该等去噪滤波器大小对该等像素点滤波，其中，对图像边缘点只沿边缘方向滤波，不对法线方向滤波；

步骤E，将每一帧去噪后的图像进行分层处理，获得每一帧图像的亮度信息和纹理信息，分别对M帧图像的亮度信息进行融合和M帧图像的纹理信息进行融合，将融合后的亮度信息和纹理信息叠加，输出宽动态图像。

本发明通过对一个拍摄对象进行多次曝光获取多帧图像，分别对每一帧图像进行去噪和分层处理，并在亮度信息和纹理信息两个方面分别对多帧图像进行融合，最终获得具有较优去噪效果以及包含尽量多细节信息的宽动态图像。

附图说明

图1是本发明一种实施方式中宽动态融合装置的逻辑结构及其基础硬件环境的示意图。

图2是本发明一种实施方式中宽动态融合方法的流程图。

图3是本发明一种实施方式中图像传感器不同增益下噪声方差-亮度曲线示意图。

图4是本发明一种实施方式中图像边缘点的边缘方向和法线方向示意图。

图5是本发明一种实施方式中图像处理系统框图。

具体实施方式

以下结合附图对本发明进行详细说明。

本发明提供一种宽动态融合装置，该装置应用于摄像机设备上，以下以软件实现为例进行说明，但是本发明并不排除诸如硬件或者逻辑器件等其他实现方式。如图1所示，该摄像机设备包括CPU、内存、非易失性存储器以及其他硬件。该宽动态融合装置作为一个逻辑层面的虚拟装置，其通过CPU来运行。该装置包括噪声估计单元、图像采集单元、边缘识别单元、去噪处理单元以及图像融合单元。请参考图2，该装置的使用和运行过程包括以下步骤：

步骤101，噪声估计单元在标准测试条件下，对选取的标准测试目标分别在不同增益下进行N次不同光线下的曝光，获取相应增益下的噪声方差-亮度曲线，其中，所述噪声方差-亮度曲线为通过预设的噪声估计算法对相应增益下的N次曝光图像进行噪声参数估计后得到；

步骤102，图像采集单元对拍摄对象进行多次曝光，获取不同快门时间的M帧图像，其中，对所述M帧图像的每一帧图像的明暗区域进行划分，不同明暗区域均至少有一次准确曝光；

步骤103，边缘识别单元根据当前增益下的噪声方差-亮度曲线，对所述M帧图像中的每一帧图像的像素点确定噪声方差，根据该噪声方差确定该像素点对应的预设边缘识别算子中预处理滤波器模板大小，并对该像素点进行滤波，在完成一帧图像的滤波后，通过预设边缘识别算子识别图像边缘，确认图像边缘点的边缘方向和法线方向；

步骤104，去噪处理单元根据所述M帧图像中的每一帧图像的像素点的噪声方差，确定该等像素点对应的去噪滤波器大小，根据该等去噪滤波器大小对该等像素点滤波，其中，对图像边缘点只沿边缘方向滤波，不对法线方向滤波；

步骤105，图像融合单元将每一帧去噪后的图像进行分层处理，获得每一帧图像的亮度信息和纹理信息，分别对M帧图像的亮度信息进行融合和M帧图像的纹理信息进行融合，将融合后的亮度信息和纹理信息叠加，输出宽动态图像。

在对图像进行去噪处理前，需确认当前使用的图像传感器的噪声参数，对于固定的图像传感器，其噪声参数会随着传感器曝光使用的增益值和传感器曝光时接收到的光线积累强度改变，因此，需要在不同的增益和外界光线下对传感器噪声参数进行估计。

噪声模型可以描述为：

z(x)＝y(x)+σ(y(x))ξ(x)

其中，

z(x)为采集到的Bayer格式图像；

y(x)为原始无噪声污染图像；

ξ(x)为无偏随机噪声；

σ(y(x))为噪声均方差。

噪声均方差可以描述为：

$\mathrm{\σ}\left(y\left(x\right)\right)=\sqrt{\mathrm{ay}\left(x\right)+b}$

其中，参数a和b的大小与传感器本身特性、摄像机进行曝光时采用的曝光增益大小以及摄像机传感器接收到的光线强度相关，为了得到在不同增益和光线强度下的a和b的值，本发明采用下述方法进行噪声参数a和b的估计，进而得到不同增益下的噪声方差-亮度曲线。

选取无纹理且光线反射均匀的测试板，放置到光线恒定且均匀的灯箱中。确定需要进行标定的传感器增益范围，由于增益值和噪声会同步增加，因此，为了全范围内抑制噪声，应尽量覆盖整个增益范围，即增益值的测试范围需要覆盖到较小增益到实际使用到的最大增益之间，如1到36db。实际操作过程中，为了减少标定工作量，每隔4db进行一次标定，即分别在1db、5db、9db、13db……33db进行标定，其余增益下的噪声方差-亮度曲线根据上述标定出的曲线进行数据插值获得。为了采集到不同光线下的含噪图像，改变摄像机传感器接收到的光线强度，在每一个增益下，可通过调节光圈大小或快门时间改变进光量。以光圈调节为例，光圈的调节范围从关闭到最大，记录不同光圈下的图像。为了得到的噪声方差-亮度曲线尽可能的表示实际情况，调整光圈并记录图像的次数需在10次以上，以尽量覆盖到光圈实际可转动的范围。通过该过程，每一个增益下均可获得一组图像。

对上述过程获得的噪声图像，假设采集的一帧图像中，每一个像素点对应的y(x)相同，理论上，只需要对两帧图像进行计算，即可求出当前增益对应的a和b参数。本发明为了获得更加优化的a和b参数，采用Levenberg-Marquardt(L-M)算法进行a和b参数的优化求解，定义误差绝对值之和作为目标函数，其中，N为当前增益下记录图像的次数，σ为估计的整体噪声方差，σ(y(x))为每一帧图像的噪声方差，参数求解过程为寻找使得目标函数值最小的参数向量。重复该过程，获得不同增益下的a和b参数，进而得到不同增益下的噪声方差-亮度曲线。图3为图像传感器不同增益下噪声方差-亮度曲线。

在完成对图像传感器的标定后，即可对实际拍摄的图像进行去噪处理。在对拍摄对象拍摄时，需进行多次曝光，通常采用不同快门时间来获取不同的图像，这些图像分别保证宽动态图像中亮度不同的区域都至少有一次亮度较好的曝光。对采集到的每一帧图像的明暗区域进行划分，保证每一个区域在M帧图像中都至少有一次准确曝光。例如，对图像的明区进行一次准确曝光，对图像的暗区进行一次准确曝光，以便在后续图像融合时，无论是图像的明区还是暗区都可采集到准确曝光，不会出现明区过曝，而暗区曝光不足的问题。以下针对每一次曝光的图像进行如下处理。

在图像处理过程中，为了获得较好的图像边缘信息，首先需要识别图像边缘，进而对该边缘信息进行特殊处理。边缘检测的算法很多，本发明中采用Canny算子对每次曝光后的图像计算边缘，Canny算子是一种多级边缘检测算法，旨在找到一种最优的边缘检测算法，该算法比较稳定，检测效果好。任何边缘检测算法都不可能在未经处理的原始数据上很好地工作，因此，Canny算子的第一步需要对原始图像进行平滑滤波，去除部分对边缘识别有影响的噪声。Canny算子采用的预处理滤波器为高斯滤波器，通过对原始图像与高斯平滑模板作卷积，得到与原始图像相比有些轻微模糊的图像。Canny算子中的高斯滤波器模板的大小直接影响Canny算法的结果。较小的滤波器模板产生的模糊效果也较少，这样就可以检测较小、变化明显的细线。较大的滤波器模板产生的模糊效果也较多，将较大的一块图像区域涂成一个特定点的颜色值，这样带来的结果就是对于检测较大、平滑的边缘更加有用。

固定大小的滤波器模板很难适用于所有的图像，图像处理效果不好。本发明根据当前增益下的噪声方差-亮度曲线计算像素点亮度值对应的噪声方差，进而确定相应的高斯滤波器模板大小。该高斯滤波器模板为二维模板，其大小可根据经验值获得，例如，当噪声方差小于图像像素点亮度值的0.2倍时，Canny边缘预处理中的高斯滤波器模板取5*5，否则，高斯滤波器模板取7*7。以该像素点为中心，使用选定的高斯滤波器模板进行滤波。同理，针对每一个像素点计算其对应的高斯滤波器模板，进而得到经高斯滤波后的整幅图像。

在经过高斯滤波处理后，通过Canny算子得到边缘点的位置，计算边缘点的边缘方向，以及与边缘方向垂直的法线方向，如图4所示。在对图像进行下一步去噪滤波时，为了保持图像边缘锐度，对图像的边缘点只沿着图像的边缘方向进行去噪，不对法线方向进行处理。所采用的去噪滤波器的长度同样根据当前增益下像素点亮度值对应的噪声方差确定，去噪滤波器长度可根据经验值获得，例如，当噪声方差小于图像像素点亮度值的0.2倍时，去噪滤波器长度取5，否则，去噪滤波器长度取7。对每一个像素点采用其对应的去噪滤波器进行滤波，获得整幅去噪滤波后的图像。为了保证在边缘点位置只对边缘方向进行去噪滤波，上述去噪滤波器采用一维滤波，当然，对于非边缘点仍可采用二维滤波的去噪滤波器，以得到更加理想的去噪效果。

以上为单次曝光图像的去噪处理过程，重复上述过程，获得拍摄对象的多帧去噪后的宽动态图像，将多帧图像进行融合输出最终的宽动态图像，如图5所示图像处理系统框图。在对图像进行去噪处理后，为了尽量保持住图像的纹理信息，通过滤波器对每一帧经过上述方法滤噪后的图像的亮度信息和纹理信息进行分层，再分别对多帧图像的亮度信息进行融合和多帧图像的纹理信息进行融合。例如，可通过加权处理方法得到融合后的亮度图像，再根据多帧图像的纹理信息，采用同一像素点位置取最大值的方式，生成新的纹理信息。最后，将处理后的亮度信息和纹理信息相加，恢复出宽动态图像。

本发明通过对一个拍摄对象进行多次曝光获取多帧图像，分别对每一帧图像进行去噪和分层处理，并在亮度信息和纹理信息两个方面分别对多帧图像进行融合，最终获得具有较优去噪效果以及包含尽量多细节信息的宽动态图像。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种宽动态融合装置，该装置应用于摄像机上，其特征在于，该装置包括：

噪声估计单元，用于在标准测试条件下，对选取的标准测试目标分别在不同增益下进行N次不同光线下的曝光，获取相应增益下的噪声方差-亮度曲线，其中，所述噪声方差-亮度曲线为通过预设的噪声估计算法对相应增益下的N次曝光图像进行噪声参数估计后得到；

图像采集单元，用于对拍摄对象进行多次曝光，获取不同快门时间的M帧图像，其中，对所述M帧图像的每一帧图像的明暗区域进行划分，不同明暗区域均至少有一次准确曝光；

边缘识别单元，用于根据当前增益下的噪声方差-亮度曲线，对所述M帧图像中的每一帧图像的像素点确定噪声方差，根据该噪声方差确定该像素点对应的预设边缘识别算子中预处理滤波器模板大小，并对该像素点进行滤波，在完成一帧图像的滤波后，通过预设边缘识别算子识别图像边缘，确认图像边缘点的边缘方向和法线方向；

去噪处理单元，用于根据所述M帧图像中的每一帧图像的像素点的噪声方差，确定该等像素点对应的去噪滤波器大小，根据该等去噪滤波器大小对该等像素点滤波，其中，对图像边缘点只沿边缘方向滤波，不对法线方向滤波；

图像融合单元，用于将每一帧去噪后的图像进行分层处理，获得每一帧图像的亮度信息和纹理信息，分别对M帧图像的亮度信息进行融合和M帧图像的纹理信息进行融合，将融合后的亮度信息和纹理信息叠加，输出宽动态图像。

2.如权利要求1所述的装置，其特征在于：

所述预设的噪声估计算法为L-M算法。

3.如权利要求1所述的装置，其特征在于：

所述预设边缘识别算子为Canny算子；

所述预处理滤波器为Canny算子中的高斯滤波器。

4.一种宽动态融合方法，该方法应用于摄像机上，其特征在于，该方法包括：

步骤A，在标准测试条件下，对选取的标准测试目标分别在不同增益下进行N次不同光线下的曝光，获取相应增益下的噪声方差-亮度曲线，其中，所述噪声方差-亮度曲线为通过预设的噪声估计算法对相应增益下的N次曝光图像进行噪声参数估计后得到；

步骤B，对拍摄对象进行多次曝光，获取不同快门时间的M帧图像，其中，对所述M帧图像的每一帧图像的明暗区域进行划分，不同明暗区域均至少有一次准确曝光；

步骤C，根据当前增益下的噪声方差-亮度曲线，对所述M帧图像中的每一帧图像的像素点确定噪声方差，根据该噪声方差确定该像素点对应的预设边缘识别算子中预处理滤波器模板大小，并对该像素点进行滤波，在完成一帧图像的滤波后，通过预设边缘识别算子识别图像边缘，确认图像边缘点的边缘方向和法线方向；

步骤D，根据所述M帧图像中的每一帧图像的像素点的噪声方差，确定该等像素点对应的去噪滤波器大小，根据该等去噪滤波器大小对该等像素点滤波，其中，对图像边缘点只沿边缘方向滤波，不对法线方向滤波；

步骤E，将每一帧去噪后的图像进行分层处理，获得每一帧图像的亮度信息和纹理信息，分别对M帧图像的亮度信息进行融合和M帧图像的纹理信息进行融合，将融合后的亮度信息和纹理信息叠加，输出宽动态图像。

5.如权利要求4所述的方法，其特征在于：

所述预设的噪声估计算法为L-M算法。

6.如权利要求4所述的装置，其特征在于：

所述预设边缘识别算子为Canny算子；

所述预处理滤波器为Canny算子中的高斯滤波器。