CN106412448B - 一种基于单帧图像的宽动态范围处理方法与系统 - Google Patents

Abstract

本申请公开了一种基于单帧图像的宽动态范围处理方法，包括：将单帧源图像的亮度分量分别进行低通滤波与去噪处理，并依据低通滤波与去噪滤波处理得到的两幅图像数据提取边界信息；将获取的边界信息引入源图像信息的亮度分量中以获取一幅暗图像和一幅亮图像；根据先验曲线进行明暗度调整映射处理来调整边界信息、亮图像、暗图像的亮度值；在暗图像亮度调整后的基础上，引入亮度调整后的边界信息来补偿获取图像的轮廓信息，并通过经亮度调整后的亮图像和暗图像的整体明暗信息来决定最终图像的明暗程度并合成亮度维度分量；通过合成的亮度维度分量产生一个增益来调整单帧源图像的色度分量。本申请能有效降低数据处理量、降低成本。

Description

一种基于单帧图像的宽动态范围处理方法与系统

技术领域

本申请涉及数字图像处理领域，尤其涉及一种基于单帧图像的宽动态范围处理方法与系统。

背景技术

近年来，视频监控系统被广泛应用于医疗、交通、安防、汽车、航天、军事侦查等重要领域，视频监控系统成为社会生活的重要方面。视频监控要求在特殊环境下仍然保持优秀的监控图像，能够同时反应图像中非常亮和非常暗区域中可视细节信息。在场景中存在非常强烈的明暗对比时依然能够清晰成像的宽动态范围(Wide Dynamic Range，WDR)技术变的非常重要，交通监控系统需要捕获路面所有细节，如低照度的行人、道路表面，高照度的交通灯、汽车前后灯；安防监控系统需要捕获高照度的室外场景和低照度的室内场景，如地下车库、银行、超市等场所，在这种应用环境下，采用宽动态范围技术扩展摄像机的动态范围以满足监控系统的需求已是亟待解决的问题。

现有宽动态范围技术主要采用多次曝光信号融合的方案，从时域或者空域对同一场景下的图像做两次或者两次以上的不同曝光时间处理，将这些图像信息按照一定的算法进行融合来获取宽动态图像，但是该方案数据量大、计算复杂度高、对设备处理能力要求较高，导致成本较高，且资源耗费严重。

现有宽动态范围技术对于单个CCD/CMOS图像传感器的情况，一般使用不同曝光时间对同一场景进行时域多次采样，获取场景中不同亮度区域的细节，通过将这组不同曝光时间产生的图像进行有效融合而获得宽动态范围图像，该技术方案对整幅图像的像素点进行不同时域曝光处理，或者说对每一幅图像都存在不同曝光时长处理的数据，例如一幅图像的长曝光采样后紧接着短曝光采样，该技术方案为多帧模式的多次曝光方法，通过帧间融合处理输出WDR图像，其曝光控制较为单一。单一传感器模式的时域多次曝光必定增大待处理数据量，且不适宜用于物体快速运动的场景。

现有宽动态范围技术对于多个CCD/CMOS图像传感器的情况，采用不同曝光时间对同一场景进行空域多次采样，在一帧图像内实现多次曝光，做帧内图像融合得到WDR输出图。该类技术方案需要特定的图像传感器，在工艺层面需要特殊设计改造，成本较高。多种传感器模式的空域多次曝光加大了对设备的要求，当设备不能满足条件时，无法使用，且较大的数据量以及较大的运算复杂度将带来高代价的实施，所需硬件及软件资源成本的高要求。

发明内容

本申请实施例提供一种基于单帧图像的宽动态范围处理方法，用以解决现有技术中图像宽动态范围处理耗费资源高、效果不理想的问题。

本申请实施例采用下述技术方案：

一种基于单帧图像的宽动态范围处理方法，包括：

获取源图像，所述源图像是在时域一次曝光采样的单帧图像；

将所述获取的单帧源图像的亮度分量分别进行低通滤波与去噪处理，并依据低通滤波与去噪滤波处理得到的两幅图像数据提取边界信息；

将获取的边界信息引入源图像信息的亮度分量中以获取一幅暗图像和一幅亮图像；

分别区分边界信息、亮图像以及暗图像的高低比特位大小，并根据先验曲线进行明暗度调整映射处理来调整边界信息、亮图像、暗图像的亮度值；

在暗图像亮度调整后的基础上，引入亮度调整后的边界信息来补偿获取图像的轮廓信息，并通过经亮度调整后的亮图像和暗图像的整体明暗信息来决定最终图像的明暗程度并合成亮度维度分量；

通过合成的亮度维度分量产生一个增益来调整单帧源图像的色度分量并合成最终宽动态范围图像输出。

优选地，将所述获取的单帧源图像的亮度分量分别进行低通滤波与去噪处理，并依据低通滤波与去噪滤波处理得到的两幅图像数据提取边界信息，包括：

将源图像所在的RGB颜色空间变换到YUV空间；

依据所述源图像的亮度分量建立像素矩阵：

根据亮度分量Y图像周围像素点距离模板中心像素点的不同距离给予不同的滤波权重系数，并建立权重系数模板：

对亮度分量Y进行低通滤波处理得到低通滤波值LPF；

对亮度分量Y进行去噪滤波处理得到去噪滤波值NRF；

根据低通滤波和去噪滤波得出的两部分数据为LPF，NRF，获取任一像素点位置(x,y)的边界信息，依据如下公式获取：

Edge(x,y)＝NRF(x,y)-LPF(x,y)。

优选地，对亮度分量Y进行低通滤波处理得到低通滤波值LPF，包括：

低通滤波结果通过如下公式计算：

其中，p₁＝a₂₂，p₂＝a₁₂+a₂₁+a₂₃+a₃₂，p₃＝a₁₁+a₁₃+a₃₁+a₃₃，p₄＝a₀₂+a₂₀+a₂₄+a₄₂，p₅＝a₀₁+a₁₀+a₀₃+a₃₀+a₁₄+a₄₁+a₃₄+a₄₃，p₆＝a₀₀+a₀₄+a₄₀+a₄₄，LPF表示滤波后的像素值结果，round(·)表示四舍五入计算。

优选地，对亮度分量Y进行去噪滤波处理得到去噪滤波值NRF，包括：

设定去噪阈值nrth参数；

根据像素矩阵模板中心周围像素点与中心像素点位置处像素值差值的绝对值diff＝|Around-Center|和去噪阈值nrth进行比较，对绝对差值diff小于去噪阈值nrth的相应像素点进行去噪滤波处理，将去噪阈值nrth与像素值绝对差值diff的差值作为滤波系数Weigh，即Weight＝nrth-diff；

去噪滤波结果通过如下公式计算：

其中，Numer表示满足去噪条件的像素点加权求和结果，inv_denom表示根据先验曲线由满足去噪条件的像素点滤波系数之和映射的函数值，具体地，

其中，Around_i表示满足去噪条件需要去噪处理的像素点像素值，Weight_i表示其相应的滤波系数，Denom表示相应滤波系数之和，inv_denom由Denom通过先验曲线查表得到其对应的值。

优选地，将获取的边界信息引入源图像信息的亮度分量中以获取一幅暗图像和一幅亮图像，包括：

亮图像的获取：依据源图像亮度Y分量，以及亮度前的边界信息Edge，并累加一个该图像亮度Y分量输入比特数所能表示的最大值，得到一幅相对较亮的图像，具体如下所示：

xb＝MAX+Edge(x,y)-In_Y(x,y)

其中，xb表示获取的相对较亮的图像，MAX表示Y分量输入比特数所能表示的最大值，In_Y为源图像输入Y分量的值；

暗图像的获取：依据源图像亮度Y分量，以及未调整亮度前的边界信息Edge，并累加一个该图像Y分量输入比特数所能表示的最小值，得到一幅相对较暗的图像，具体如下公式所示：

xd＝MIN+Edge(x,y)-In_Y(x,y)

其中，xd表示获取的相对较暗的图像，MIN表示源图像亮度Y分量输入比特数所能表示的最小值，In_Y为源图像亮度Y分量的值。

优选地，分别区分边界信息、亮图像以及暗图像的高低比特位大小，并根据先验曲线进行明暗度调整映射处理来调整边界信息、亮图像、暗图像的亮度值，包括：

边界信息的亮度调整：先对获取的边界信息施加一个整体调整参数wdrkinv，若记xc＝Edge，则初步调整后的边界部分为：

其中，所述wdrkbinv参数值是依据计算出的边界信息值Edge(x,y)的正负而设定的，表示如下：

依据xc_k查验先验曲线表并映射得到两个不同的函数值exp_c0，diff_c0，将高比特位和低比特位组合成调整后的边界信息，表示如下：

其中，exp_c为调整后的边界值，exp_c0，diff_c0为xc_k高比特位大小查表映射的值，Lxc_k为xc_k低比特位大小；

暗图像的亮度调整：对获取的相对较暗的图像xd施加一个整体调整参数wdrkdinv，则初步调整后的相对较暗的图像为：

依据xd_k查验先验曲线表并映射得到两个不同的函数值exp_d0，diff_d0，将高比特位和低比特位组合成调整后的暗图像，表示如下：

其中，exp_d为相对较暗的图像调整后的值，Lxd_k为xd_k低比特位大小；

亮图像的亮度调整：对获取的相对较亮的图像xb施加一个整体调整参数wdrkbinv，则初步调整后的相对亮图像为：

依据xb_k查验先验曲线表并映射得到两个不同的函数值exp_b0，diff_b0，将高比特位和低比特位组合成调整后的亮图像，表示如下：

其中，exp_b为相对较亮的图像调整后的值，Lxb_k为xb_k低比特位大小。

优选地，在暗图像亮度调整后的基础上，引入亮度调整后的边界信息来补偿获取图像的轮廓信息，并通过经亮度调整后的亮图像和暗图像的整体明暗信息来决定最终图像的明暗程度并合成亮度维度分量，包括：

最终合成的亮度Y分量表示为：

其中，Out_Y表示合成后的亮度Y分量值，numer表示在暗图像调整后的基础上引入调整后的边界信息的补偿结果，在这里numer≥0，若计算出的该值为负，则使其为0；denom_inv表示根据先验曲线由整体明暗信息映射的函数值，具体地：

numer＝exp_c-exp_d

denom_inv＝f(denom)＝f(exp_b-exp_d)

其中，denom表示由经过映射曲线调整的亮图像和暗图像整体明暗信息决定的最终图像明暗程度，denom_inv表示denom通过先验曲线查表得到的函数值。

优选地，通过合成的亮度维度分量产生一个增益来调整单帧源图像的色度分量并合成最终宽动态范围图像输出，包括：

通过合成的亮度分量值In_Y查验曲线表，获取y_inv，然后通过如下公式计算增益c_gain值：

最终合成的宽动态范围图像的U,V分量分别为：

其中，In_U、In_V为源图像的U、V维度分量；

合成Out_U、Out_V、Out_Y三个分量获得最终的宽动态范围处理后的图像。

一种基于单帧图像的宽动态范围处理系统，包括：

滤波单元，用于将单帧源图像的亮度分量分别进行低通滤波与去噪处理，并依据低通滤波与去噪滤波处理得到的两幅图像数据提取边界信息；

整合单元，用于将获取的边界信息引入源图像信息的亮度分量中以获取一幅暗图像和一幅亮图像；

亮度调整单元，用于分别区分边界信息、亮图像以及暗图像的高低比特位大小，并根据先验曲线进行明暗度调整映射处理来调整边界信息、亮图像、暗图像的亮度值；

亮度分量合成单元，用于在暗图像亮度调整后的基础上，引入亮度调整后的边界信息来补偿获取图像的轮廓信息，并通过经亮度调整后的亮图像和暗图像的整体明暗信息来决定最终图像的明暗程度并合成亮度维度分量；

图像合成单元，用于通过合成的亮度维度分量产生一个增益来调整单帧源图像的色度分量并合成最终宽动态范围图像输出。

优选地，所述系统还包括获取单元，用于获取源图像，所述源图像是在时域一次曝光采样的单帧图像。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请基于单帧图像的宽动态范围处理方法通过提取单次曝光的单帧源图像的亮度分量，通过对亮度分量的处理获得边界信息，再依据边界信息与亮度分量的结合形成亮暗两幅图像，并调整边界信息、亮图像与暗图像的亮度值，从而获得最终合成的亮度分量输出值，依据该亮度分量的输出值计算出色彩分量的增益值，最终计算出经宽动态范围处理后的图像。解决了现有技术单帧多次曝光或多帧单次曝光的图像进行宽动态范围处理所面临的数据处理量大、硬件成本高的缺点。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请提供的基于单帧图像的宽动态范围处理方法流程示意图；

图2为本申请提供的步骤S102去噪滤波用先验曲线图；

图3为本申请提供的步骤S104明暗度调整用先验曲线图；

图4为本申请提供的步骤S105宽动态范围合成亮度分量用先验曲线图；

图5为本申请提供的步骤S106宽动态范围图像合成获取增益用先验曲线图；

图6为本申请提供的采用本申请方法处理后的图像与源图像的比对效果图；

图7为本申请提供的基于单帧图像的宽动态范围处理系统的示意图；

图8为本申请提供的基于单帧图像的宽动态范围处理系统的模块连接示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

实施例1

参阅图1、图8所示，图1为本申请实施例1提供的基于单帧图像的宽动态范围处理方法的流程图，本案基于时域单次曝光采样的单帧图像进行宽动态范围处理，分析采样图像的像素高低比特位特征，并采用不同的先验曲线映射亮度值，最终通过算法合成宽动态范围图像。包括以下步骤：

S101：获取源图像。

本步骤所述获取的源图像是指通过图像传感器在时域一次曝光采样的单帧图像。

S102：将所述获取的单帧源图像的亮度分量分别进行低通滤波与去噪处理，并依据低通滤波与去噪滤波处理得到的两幅图像数据提取边界信息。

本步骤所述源图像的低通滤波、去噪处理是将10bits位深度图像所在的RGB颜色空间变换到YUV空间，对亮度Y分量进行低通滤波、去噪处理。

首先根据亮度分量Y图像周围像素点距离模板中心像素点的不同距离给予不同的滤波权重系数，以该5x5模板为例，共6种不同的滤波系数。

若给定一个5x5像素矩阵如下：

滤波模板表示如下：

则，本步骤的低通滤波处理时保持图像最外两圈像素点不变如，低通滤波结果通过如下公式计算：

其中，p₁＝a₂₂，p₂＝a₁₂+a₂₁+a₂₃+a₃₂，p₃＝a₁₁+a₁₃+a₃₁+a₃₃，p₄＝a₀₂+a₂₀+a₂₄+a₄₂，p₅＝a₀₁+a₁₀+a₀₃+a₃₀+a₁₄+a₄₁+a₃₄+a₄₃，p₆＝a₀₀+a₀₄+a₄₀+a₄₄，LPF表示滤波后的像素值结果，round(·)表示四舍五入计算，在本实施例中，其中一组可用的滤波系数f1～f6为：40,12,6,4,2,1。

本步骤对亮度Y分量进行去噪滤波，去噪滤波时保持图像最外两圈像素点不变：

首先设定一个合适的去噪阈值nrth参数，例如可以是nrth＝0x1F，若去噪阈值增大，其降噪能力将会增强，若去噪阈值设置太大，则去噪处理后的图像也会变模糊；

根据模板中心周围像素点与中心像素点位置处像素值差值的绝对值diff＝|Around-Center|和去噪阈值nrth进行比较，对绝对差值diff小于去噪阈值nrth的相应像素点进行去噪滤波处理，将去噪阈值nrth与像素值绝对差值diff的差值作为滤波系数Weigh，即Weight＝nrth-diff，该滤波系数的选取决定于去噪阈值及像素值间的大小，是一种动态自适应的选取方式。

则去噪滤波结果通过如下公式计算：

其中，Numer表示满足去噪条件的像素点加权求和结果，inv_denom表示根据先验曲线由满足去噪条件的像素点滤波系数之和映射的函数值，具体地，

其中，Around_i表示满足去噪条件需要去噪处理的像素点像素值，Weight_i表示其相应的滤波系数，Denom表示相应滤波系数之和，本实施例中由Denom通过先验曲线查表即可得到其对应的inv_denom值，该先验曲线如图2所示，图2所示先验曲线是通过y＝f(x)计算得到的值(x,y)，即当x＝0时，y＝65536；当0<x<256,且为整数时，y＝round(100000/(1.528*x))，round表示四舍五入取整。进一步地，由于该先验曲线表仅有256个数据点，若计算出的滤波系数之和Denom超过了256，则需要额外处理，本实施例中采用以下公式进行更新处理：

根据对源图像的亮度Y分量分别做低通滤波和去噪得出的两部分数据为LPF，NRF，任一像素点位置(x,y)的边界信息依据如下公式获取：

Edge(x,y)＝NRF(x,y)-LPF(x,y)

此时，像素点位置(x,y)不包括源图像周围两圈像素点。

S103：将获取的边界信息引入源图像信息的亮度分量中以获取一幅暗图像和一幅亮图像。

本步骤中对于亮图像的获取，是依据源图像亮度Y分量，以及亮度前的边界信息Edge，并累加一个该图像亮度Y分量输入比特数所能表示的最大值，得到一幅相对较亮的图像，具体如下所示：

xb＝MAX+Edge(x,y)-In_Y(x,y)

其中，xb表示获取的相对较亮的图像，MAX表示Y分量输入比特数所能表示的最大值，如果输入图像亮度Y分量数据为10bits，则MAX＝1024(2的10次方)，In_Y为源图像输入Y分量的值。

本步骤中对于暗图像的获取，是依据源图像亮度Y分量，以及未调整亮度前的边界信息Edge，并累加一个该图像Y分量输入比特数所能表示的最小值，得到一幅相对较暗的图像，具体如下公式所示：

xd＝MIN+Edge(x,y)-In_Y(x,y)

其中，xd表示获取的相对较暗的图像，MIN表示源图像亮度Y分量输入比特数所能表示的最小值，如果输入图像亮度Y分量为10bits,则MIN＝0(2的0次方)，In_Y为源图像亮度Y分量的值。

S104：分别区分边界信息、亮图像以及暗图像的高低比特位大小，并根据先验曲线进行明暗度调整映射处理来调整边界信息、亮图像、暗图像的亮度。

本步骤的亮度调整包括对边界信息、亮图像、暗图像的亮度调整。

1)所述边界信息的亮度调整包括：

先对获取的边界信息施加一个整体调整参数wdrkinv，若记xc＝Edge，则初步调整后的边界部分为：

其中，所述wdrkbinv参数值是依据计算出的边界信息值Edge(x,y)的正负而设定的，表示如下：

本实施例中，wdrkbinv参数值一般设定为小于2⁹，wdrkdinv参数值一般设定为大于2⁹。若Edge≥0，说明该区域较亮，需要先适度降低其亮度；若Edge<0，说明该区域较暗，需要先适度提升其亮度。其中，wdrkbinv参数用于较亮区域的亮度调整，当该值增大时，亮区域明暗程度将会降低，wdrkdinv参数用于较暗区域的亮度调整，当该值增大时，暗区域明暗程度将会随之增高。

对经过初步调整的边界信息，根据其高比特位大小查两个不同的先验曲线映射表获取两个不同取值。本实施例中，一种可用的先验曲线表如图3所示，用xc_k右移6比特位之后剩余的高位大小，去分别查曲线表1-exp_table和2-exp_diff_table映射两个不同的函数值exp_c0，diff_c0，具体地，记xc_k右移6比特位之后剩余的高位大小为x_k，则exp与diff查表计算如下：

映射完成后，将其高比特位和低比特位组合成调整后的边界，具体地，

其中，exp_c为调整后的边界值，exp_c0，diff_c0为xc_k高比特位大小查表映射的值，Lxc_k为xc_k低比特位大小，在这里为低6位大小，其计算如下：

Lxc_k＝xc_k&0x3F

其中，&表示按位与。

2)所述暗图像的亮度调整包括：

类似边界调整，再对获取的相对较暗的图像xd施加一个整体调整参数wdrkdinv，则初步调整后的相对较暗的图像为：

同样地，类似边界调整，仍使用先验曲线表如图3所示，用xd_k右移6比特位之后剩余的高位大小分别查如图3所示曲线表1,2映射两个不同的函数值exp_d0，diff_d0。图3所示先验曲线1-exp_table对应的函数曲线为y＝round(4085/(1+exp(-0.03144*(x-192))))；其中，x为0-383闭区间内的所有整数，共384个取值，round表示四舍五入取整；图3所示先验曲线2-exp_diff_table对应的函数曲线为Y＝diff(y)，其中diff表示差分，即对曲线1-exp_table数据做差分运算得到的数据曲线即为2-exp_diff_table，此处是对整数y做差分，因而Y也为整数。映射完成后，将其高比特位和低比特位组合成调整后的暗图像，表示如下：

其中，exp_d为相对较暗的图像调整后的值，exp_d0，diff_d0为xd_k高比特位大小查表映射的值，Lxd_k为xd_k低比特位大小，在这里同样为低6位大小，其计算如下：

Lxd_k＝xd_k&0x3F。

3)所述亮图像的亮度调整包括：

类似边界调整，先对获取的相对较亮的图像xb施加一个整体调整参数wdrkbinv，则初步调整后的相对亮图像为：

同样地，类似边界调整，仍使用先验曲线表如图3所示，用xb_k右移6比特位之后剩余的高位大小去分别查曲线表1,2映射两个不同的函数值exp_b0，diff_b0。映射完成后，将其高比特位和低比特位组合成调整后的亮图像，具体如下表示：

其中，exp_b为相对较亮的图像调整后的值，exp_b0，diff_b0为xb_k高比特位大小查表映射的值，Lxb_k为xb_k低比特位大小，在这里同样为低6位大小，其计算如下：

Lxb_k＝xb_k&0x3F。

本实施例中一组明暗区域调整参数设置为wdrkbinv＝0x151，wdrkdinv＝0x2A5。

S105：在暗图像亮度调整后的基础上，引入亮度调整后的边界信息来补偿获取图像的轮廓信息，并通过经亮度调整后的亮图像和暗图像的整体明暗信息来决定最终图像的明暗程度并合成亮度维度分量。

本步骤在较暗的图像调整后的基础上，通过引入经亮度调整后的边界信息的补偿来保证较好的边界信息，并由经过映射曲线调整的亮图像和暗图像的整体明暗信息来决定最终图像的明暗程度，最终合成的亮度Y分量表示为：

其中，Out_Y表示合成后的亮度Y分量值，numer表示在暗图像调整后的基础上引入调整后的边界信息的补偿结果，在这里numer≥0，若计算出的该值为负，则使其为0；denom_inv表示根据先验曲线由整体明暗信息映射的函数值，具体地：

numer＝exp_c-exp_d

denom_inv＝f(denom)＝f(exp_b-exp_d)

其中，denom表示由经过映射曲线调整的亮图像和暗图像整体明暗信息决定的最终图像明暗程度，本实施例中由denom通过先验曲线查表即可得到其对应的denom_inv值，一种可用的先验曲线如图4所示，为控制denom大小以便查表，通常采用denom除以4的结果去查表获取相应函数值，图4所示先验曲线的计算函数为:当x＝0时，y＝1048576＝2^20；当0<x<255，且为整数时y＝round(1/(9.54*10^(-7)*x))＝round(10^7/(9.54*x))；round表示四舍五入取整。

S106：通过合成的亮度维度分量产生一个增益来调整源图像UV色度分量并合成最终宽动态范围图像。

图5所示先验曲线的计算函数为:当x＝0时，y＝1048576＝2^20；当0<x<1024，且为整数时y＝round(1/(9.54*10^(-7)*x))＝round(10^7/(9.54*x))；round表示四舍五入取整。本步骤首先通过合成的亮度分量值In_Y查如图5所示的曲线表，以获取y_inv，然后通过如下公式计算增益c_gain值：

最终合成的宽动态范围图像的U,V分量分别为：

其中，In_U、In_V为源图像的U、V维度分量；

最终，合成Out_U、Out_V、Out_Y三个分量获得最终的宽动态范围处理后的图像。

如图6所示，显示了采用本申请技术方案实施宽动态范围处理后的图像与源图像的效果图，左图(1)为源图像，右图(2)为宽动态范围处理后的输出图像。从图6可知，经过本申请技术方案处理后的图像在较暗区域的细节更为清晰可辨。

实施例2

参阅图7、图8所示，图7为本申请实施例2提供的基于单帧图像的宽动态范围处理方法的示意图，本案基于时域单次曝光采样的单帧图像进行宽动态范围处理，分析采样图像的像素高低比特位特征，并采用不同的先验曲线映射亮度值，最终通过算法合成宽动态范围图像。包括

获取单元201，用于获取源图像，所述源图像是在时域一次曝光采样的单帧图像

滤波单元202，用于将单帧源图像的亮度分量分别进行低通滤波与去噪处理，并依据低通滤波与去噪滤波处理得到的两幅图像数据提取边界信息；

整合单元203，用于将获取的边界信息引入源图像信息的亮度分量中以获取一幅暗图像和一幅亮图像；

亮度调整单元204，用于分别区分边界信息、亮图像以及暗图像的高低比特位大小，并根据先验曲线进行明暗度调整映射处理来调整边界信息、亮图像、暗图像的亮度值；

亮度分量合成单元205，用于在暗图像亮度调整后的基础上，引入亮度调整后的边界信息来补偿获取图像的轮廓信息，并通过经亮度调整后的亮图像和暗图像的整体明暗信息来决定最终图像的明暗程度并合成亮度维度分量；

图像合成单元206，用于通过合成的亮度维度分量产生一个增益来调整单帧源图像的色度分量并合成最终宽动态范围图像输出。

所述获取单元201获取的源图像是指通过图像传感器在时域一次曝光采样的单帧图像。

所述滤波单元202将10bits位深度图像所在的RGB颜色空间变换到YUV空间，再对亮度Y分量进行低通滤波、去噪处理。

首先根据亮度分量Y图像周围像素点距离模板中心像素点的不同距离给予不同的滤波权重系数，以该5x5模板为例，共6种不同的滤波系数。

若给定一个5x5像素矩阵如下：

滤波模板表示如下：

则，本步骤的低通滤波处理时保持图像最外两圈像素点不变如，低通滤波结果通过如下公式计算：

其中，p₁＝a₂₂，p₂＝a₁₂+a₂₁+a₂₃+a₃₂，p₃＝a₁₁+a₁₃+a₃₁+a₃₃，p₄＝a₀₂+a₂₀+a₂₄+a₄₂，p₅＝a₀₁+a₁₀+a₀₃+a₃₀+a₁₄+a₄₁+a₃₄+a₄₃，p₆＝a₀₀+a₀₄+a₄₀+a₄₄，LPF表示滤波后的像素值结果，round(·)表示四舍五入计算，在本实施例中，其中一组可用的滤波系数f1～f6为：40,12,6,4,2,1。

本步骤对亮度Y分量进行去噪滤波，去噪滤波时保持图像最外两圈像素点不变：

首先设定一个合适的去噪阈值nrth参数，例如可以是nrth＝0x1F，若去噪阈值增大，其降噪能力将会增强，若去噪阈值设置太大，则去噪处理后的图像也会变模糊；

根据模板中心周围像素点与中心像素点位置处像素值差值的绝对值diff＝|Around-Center|和去噪阈值nrth进行比较，对绝对差值diff小于去噪阈值nrth的相应像素点进行去噪滤波处理，将去噪阈值nrth与像素值绝对差值diff的差值作为滤波系数Weigh，即Weight＝nrth-diff，该滤波系数的选取决定于去噪阈值及像素值间的大小，是一种动态自适应的选取方式。

则去噪滤波结果通过如下公式计算：

其中，Numer表示满足去噪条件的像素点加权求和结果，inv_denom表示根据先验曲线由满足去噪条件的像素点滤波系数之和映射的函数值，具体地，

其中，Around_i表示满足去噪条件需要去噪处理的像素点像素值，Weight_i表示其相应的滤波系数，Denom表示相应滤波系数之和，本实施例中由Denom通过先验曲线查表即可得到其对应的inv_denom值，该先验曲线如图2所示。进一步地，由于该先验曲线表仅有256个数据点，若计算出的滤波系数之和Denom超过了256，则需要额外处理，本实施例中采用以下公式进行更新处理：

根据对源图像的亮度Y分量分别做低通滤波和去噪得出的两部分数据为LPF，NRF，任一像素点位置(x,y)的边界信息依据如下公式获取：

Edge(x,y)＝NRF(x,y)-LPF(x,y)

此时，像素点位置(x,y)不包括源图像周围两圈像素点。

所述整合单元203对于亮图像的获取，是依据源图像亮度Y分量，以及亮度前的边界信息Edge，并累加一个该图像亮度Y分量输入比特数所能表示的最大值，得到一幅相对较亮的图像，具体如下所示：

xb＝MAX+Edge(x,y)-In_Y(x,y)

其中，xb表示获取的相对较亮的图像，MAX表示Y分量输入比特数所能表示的最大值，如果输入图像亮度Y分量数据为10bits，则MAX＝1024(2的10次方)，In_Y为源图像输入Y分量的值。

对于暗图像的获取，是依据源图像亮度Y分量，以及未调整亮度前的边界信息Edge，并累加一个该图像Y分量输入比特数所能表示的最小值，得到一幅相对较暗的图像，具体如下公式所示：

xd＝MIN+Edge(x,y)-In_Y(x,y)

其中，xd表示获取的相对较暗的图像，MIN表示源图像亮度Y分量输入比特数所能表示的最小值，如果输入图像亮度Y分量为10bits,则MIN＝0(2的0次方)，In_Y为源图像亮度Y分量的值。

所述调整单元204包括对边界信息、亮图像、暗图像的亮度调整。

1)所述边界信息的亮度调整包括：

先对获取的边界信息施加一个整体调整参数wdrkinv，若记xc＝Edge，则初步调整后的边界部分为：

其中，所述wdrkbinv参数值是依据计算出的边界信息值Edge(x,y)的正负而设定的，表示如下：

本实施例中，wdrkbinv参数值一般设定为小于2⁹，wdrkdinv参数值一般设定为大于2⁹。若Edge≥0，说明该区域较亮，需要先适度降低其亮度；若Edge<0，说明该区域较暗，需要先适度提升其亮度。其中，wdrkbinv参数用于较亮区域的亮度调整，当该值增大时，亮区域明暗程度将会降低，wdrkdinv参数用于较暗区域的亮度调整，当该值增大时，暗区域明暗程度将会随之增高。

对经过初步调整的边界信息，根据其高比特位大小查两个不同的先验曲线映射表获取两个不同取值。本实施例中，一种可用的先验曲线表如图3所示，用xc_k右移6比特位之后剩余的高位大小，去分别查曲线表1-exp_table和2-exp_diff_table映射两个不同的函数值exp_c0，diff_c0，具体地，记xc_k右移6比特位之后剩余的高位大小为x_k，则exp与diff查表计算如下：

映射完成后，将其高比特位和低比特位组合成调整后的边界，具体地，

其中，exp_c为调整后的边界值，exp_c0，diff_c0为xc_k高比特位大小查表映射的值，Lxc_k为xc_k低比特位大小，在这里为低6位大小，其计算如下：

Lxc_k＝xc_k&0x3F

其中，&表示按位与。

2)所述暗图像的亮度调整包括：

类似边界调整，再对获取的相对较暗的图像xd施加一个整体调整参数wdrkdinv，则初步调整后的相对较暗的图像为：

同样地，类似边界调整，仍使用先验曲线表如图3所示，用xd_k右移6比特位之后剩余的高位大小分别查如图3所示曲线表1,2映射两个不同的函数值exp_d0，diff_d0。映射完成后，将其高比特位和低比特位组合成调整后的暗图像，表示如下：

其中，exp_d为相对较暗的图像调整后的值，exp_d0，diff_d0为xd_k高比特位大小查表映射的值，Lxd_k为xd_k低比特位大小，在这里同样为低6位大小，其计算如下：

Lxd_k＝xd_k&0x3F。

3)所述亮图像的亮度调整包括：

类似边界调整，先对获取的相对较亮的图像xb施加一个整体调整参数wdrkbinv，则初步调整后的相对亮图像为：

同样地，类似边界调整，仍使用先验曲线表如图3所示，用xb_k右移6比特位之后剩余的高位大小去分别查曲线表1,2映射两个不同的函数值exp_b0，diff_b0。映射完成后，将其高比特位和低比特位组合成调整后的亮图像，具体如下表示：

其中，exp_b为相对较亮的图像调整后的值，exp_b0，diff_b0为xb_k高比特位大小查表映射的值，Lxb_k为xb_k低比特位大小，在这里同样为低6位大小，其计算如下：

Lxb_k＝xb_k&0x3F。

本实施例中一组明暗区域调整参数设置为wdrkbinv＝0x151，wdrkdinv＝0x2A5。

所述亮度合成单元205在较暗的图像调整后的基础上，通过引入经亮度调整后的边界信息的补偿来保证较好的边界信息，并由经过映射曲线调整的亮图像和暗图像的整体明暗信息来决定最终图像的明暗程度，最终合成的亮度Y分量表示为：

其中，Out_Y表示合成后的亮度Y分量值，numer表示在暗图像调整后的基础上引入调整后的边界信息的补偿结果，在这里numer≥0，若计算出的该值为负，则使其为0；denom_inv表示根据先验曲线由整体明暗信息映射的函数值，具体地：

numer＝exp_c-exp_d

denom_inv＝f(denom)＝f(exp_b-exp_d)

其中，denom表示由经过映射曲线调整的亮图像和暗图像整体明暗信息决定的最终图像明暗程度，本实施例中由denom通过先验曲线查表即可得到其对应的denom_inv值，一种可用的先验曲线如图4所示，为控制denom大小以便查表，通常采用denom除以4的结果去查表获取相应函数值。

所述图像合成单元206通过合成的亮度分量值In_Y查如图5所示的曲线表，以获取y_inv，然后通过如下公式计算增益c_gain值：

最终合成的宽动态范围图像的U,V分量分别为：

其中，In_U、In_V为源图像的U、V维度分量；

最终，合成Out_U、Out_V、Out_Y三个分量获得最终的宽动态范围处理后的图像。

本申请基于单帧图像的宽动态范围处理方法通过提取单次曝光的单帧源图像的亮度分量，通过对亮度分量的处理获得边界信息，再依据边界信息与亮度分量的结合形成亮暗两幅图像，并调整边界信息、亮图像与暗图像的亮度值，从而获得最终合成的亮度分量输出值，依据该亮度分量的输出值计算出色彩分量的增益值，最终计算出经宽动态范围处理后的图像。解决了现有技术单帧多次曝光或多帧单次曝光的图像进行宽动态范围处理所面临的数据处理量大、硬件成本高的缺点。

需要说明的是，实施例一所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程对象聚类设备的处理器以产生一个机器，使得通过计算机或其他可编程对象聚类设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程对象聚类设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程对象聚类设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于单帧图像的宽动态范围处理方法，其特征在于，包括：

获取源图像，所述源图像是在时域一次曝光采样的单帧图像；

将所述获取的单帧源图像的亮度分量分别进行低通滤波与去噪处理，并依据低通滤波与去噪滤波处理得到的两幅图像数据提取边界信息；

将获取的边界信息引入源图像信息的亮度分量中以获取一幅暗图像和一幅亮图像；

分别区分边界信息、亮图像以及暗图像的高低比特位大小，并根据先验曲线进行明暗度调整映射处理来调整边界信息、亮图像、暗图像的亮度值；

在暗图像亮度调整后的基础上，引入亮度调整后的边界信息来补偿获取图像的轮廓信息，并通过经亮度调整后的亮图像和暗图像的整体明暗信息来决定最终图像的明暗程度并合成亮度维度分量；

通过合成的亮度维度分量产生一个增益来调整单帧源图像的色度分量并合成最终宽动态范围图像输出。

2.如权利要求1所述的方法，其特征在于，将所述获取的单帧源图像的亮度分量分别进行低通滤波与去噪处理，并依据低通滤波与去噪滤波处理得到的两幅图像数据提取边界信息，包括：

将源图像所在的RGB颜色空间变换到YUV空间；

依据所述源图像的亮度分量建立像素矩阵模板：

根据亮度分量Y图像周围像素点距离像素矩阵模板中心像素点的不同距离给予不同的滤波权重系数，并建立权重系数模板：

对亮度分量Y进行低通滤波处理得到低通滤波值LPF；

对亮度分量Y进行去噪滤波处理得到去噪滤波值NRF；

根据低通滤波和去噪滤波得出的两部分数据为LPF，NRF，获取任一像素点位置(x,y)的边界信息，依据如下公式获取：

Edge(x,y)＝NRF(x,y)-LPF(x,y)。

3.如权利要求2所述的方法，其特征在于，对亮度分量Y进行低通滤波处理得到低通滤波值LPF，包括：

低通滤波结果通过如下公式计算：

其中，p₁＝a₂₂，p₂＝a₁₂+a₂₁+a₂₃+a₃₂，p₃＝a₁₁+a₁₃+a₃₁+a₃₃，p₄＝a₀₂+a₂₀+a₂₄+a₄₂，p₅＝a₀₁+a₁₀+a₀₃+a₃₀+a₁₄+a₄₁+a₃₄+a₄₃，p₆＝a₀₀+a₀₄+a₄₀+a₄₄，LPF表示滤波后的像素值结果，round[·]表示四舍五入计算。

4.如权利要求3所述的方法，其特征在于，对亮度分量Y进行去噪滤波处理得到去噪滤波值NRF，包括：

设定去噪阈值nrth参数；

根据像素矩阵模板中心周围像素点与中心像素点位置处像素值差值的绝对值diff＝|Around-Center|和去噪阈值nrth进行比较，对绝对差值diff小于去噪阈值nrth的相应像素点进行去噪滤波处理，将去噪阈值nrth与像素值绝对差值diff的差值作为滤波系数Weigh，即Weight＝nrth-diff；

去噪滤波结果通过如下公式计算：

其中，Numer表示满足去噪条件的像素点加权求和结果，inv_denom表示根据先验曲线由满足去噪条件的像素点滤波系数之和映射的函数值，具体地，

其中，Around_i表示满足去噪条件需要去噪处理的像素点像素值，Weight_i表示其相应的滤波系数，Denom表示相应滤波系数之和，inv_denom由Denom通过先验曲线查表得到其对应的值。

5.如权利要求4所述的方法，其特征在于，将获取的边界信息引入源图像信息的亮度分量中以获取一幅暗图像和一幅亮图像，包括：

亮图像的获取：依据源图像亮度分量Y，以及未调整亮度前的边界信息Edge，并累加一个该图像亮度分量Y输入比特数所能表示的最大值，得到一幅相对较亮的图像，具体如下所示：

xb＝MAX+Edge(x,y)-In_Y(x,y)

其中，xb表示获取的相对较亮的图像，MAX表示源图像亮度分量Y输入比特数所能表示的最大值，In_Y为源图亮度分量Y的值；

暗图像的获取：依据源图像亮度分量Y，以及未调整亮度前的边界信息Edge，并累加一个该图像亮度分量Y输入比特数所能表示的最小值，得到一幅相对较暗的图像，具体如下公式所示：

xd＝MIN+Edge(x,y)-In_Y(x,y)

其中，xd表示获取的相对较暗的图像，MIN表示源图像亮度分量Y输入比特数所能表示的最小值，In_Y为源图像亮度分量Y的值。

6.如权利要求5所述的方法，其特征在于，分别区分边界信息、亮图像以及暗图像的高低比特位大小，并根据先验曲线进行明暗度调整映射处理来调整边界信息、亮图像、暗图像的亮度值，包括：

边界信息的亮度调整：先对获取的边界信息施加一个整体调整参数wdrkinv，若记xc＝Edge，则初步调整后的边界部分为：

其中，所述wdrkinv参数值是依据计算出的边界信息值Edge(x,y)的正负而设定的，表示如下：

wdrkbinv参数用于较亮区域的亮度调整，wdrkdinv参数用于较暗区域的亮度调整；

依据xc_k查验先验曲线表并映射得到两个不同的函数值exp_c0，diff_c0，将高比特位和低比特位组合成调整后的边界信息，表示如下：

其中，exp_c为调整后的边界值，exp_c0，diff_c0为xc_k高比特位大小查表映射的值，Lxc_k为xc_k低比特位大小；

暗图像的亮度调整：对获取的相对较暗的图像xd施加一个整体调整参数wdrkdinv，则初步调整后的相对较暗的图像为：

依据xd_k查验先验曲线表并映射得到两个不同的函数值exp_d0，diff_d0，将高比特位和低比特位组合成调整后的暗图像，表示如下：

其中，exp_d为相对较暗的图像调整后的值，exp_d0，diff_d0为xd_k高比特位大小查表映射的值，Lxd_k为xd_k低比特位大小；

亮图像的亮度调整：对获取的相对较亮的图像xb施加一个整体调整参数wdrkbinv，则初步调整后的相对亮图像为：

依据xb_k查验先验曲线表并映射得到两个不同的函数值exp_b0，diff_b0，将高比特位和低比特位组合成调整后的亮图像，表示如下：

其中，exp_b为相对较亮的图像调整后的值，exp_b0，diff_b0为xb_k高比特位大小查表映射的值，Lxb_k为xb_k低比特位大小。

7.如权利要求6所述的方法，其特征在于，在暗图像亮度调整后的基础上，引入亮度调整后的边界信息来补偿获取图像的轮廓信息，并通过经亮度调整后的亮图像和暗图像的整体明暗信息来决定最终图像的明暗程度并合成亮度维度分量，包括：

最终合成的亮度分量表示为：

其中，Out_Y表示合成后的亮度分量值，numer表示在暗图像调整后的基础上引入调整后的边界信息的补偿结果，在这里numer≥0，若计算出的该值为负，则使其为0；denom_inv表示根据先验曲线由整体明暗信息映射的函数值，具体地：

numer＝exp_c-exp_d

denom_inv＝f(denom)＝f(exp_b-exp_d)

其中，denom表示由经过先验曲线调整的亮图像和暗图像整体明暗信息决定的最终图像明暗程度，denom_inv表示denom通过先验曲线查表得到的函数值。

8.如权利要求7所述的方法，其特征在于，通过合成的亮度维度分量产生一个增益来调整单帧源图像的色度分量并合成最终宽动态范围图像输出，包括：

通过合成的亮度分量值Out_Y查验曲线表，获取y_inv，然后通过如下公式计算增益c_gain值：

最终合成的宽动态范围图像的U,V分量分别为：

其中，In_U、In_V为源图像的U、V维度分量；

合成Out_U、Out_V、Out_Y三个分量获得最终的宽动态范围处理后的图像。

9.一种基于单帧图像的宽动态范围处理系统，其特征在于，包括：

滤波单元，用于将单帧源图像的亮度分量分别进行低通滤波与去噪处理，并依据低通滤波与去噪滤波处理得到的两幅图像数据提取边界信息；

整合单元，用于将获取的边界信息引入源图像信息的亮度分量中以获取一幅暗图像和一幅亮图像；

亮度调整单元，用于分别区分边界信息、亮图像以及暗图像的高低比特位大小，并根据先验曲线进行明暗度调整映射处理来调整边界信息、亮图像、暗图像的亮度值；

亮度分量合成单元，用于在暗图像亮度调整后的基础上，引入亮度调整后的边界信息来补偿获取图像的轮廓信息，并通过经亮度调整后的亮图像和暗图像的整体明暗信息来决定最终图像的明暗程度并合成亮度维度分量；

图像合成单元，用于通过合成的亮度维度分量产生一个增益来调整单帧源图像的色度分量并合成最终宽动态范围图像输出。

10.如权利要求9所述的系统，其特征在于，所述系统还包括获取单元，用于获取源图像，所述源图像是在时域一次曝光采样的单帧图像。