CN106780402A - 基于Bayer格式的图像动态范围扩展方法及装置 - Google Patents

Abstract

本发明提供了一种基于Bayer格式图像动态范围扩展方法及装置。该基于Bayer格式的图像动态范围扩展方法包括：从第一动态范围的Bayer格式图像中提取其亮度分量和色度分量；对所述亮度分量进行非线性扩展，得到扩展后的亮度图像；对所述扩展后的亮度图像的预定区域进行预设处理，获得所述预定区域的优化结果；将所述扩展后的亮度图像和所述预定区域的优化结果进行分段融合，获得融合亮度分量；合并所述融合亮度分量和所述色度分量，将其转换为第二动态范围的Bayer格式图像；其中，所述第二动态范围大于所述第一动态范围。本发明的技术方案能够有效的扩展图像的动态范围。

Description

基于Bayer格式的图像动态范围扩展方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于Bayer格式的图像动态范围扩展方法及图像动态范围扩展装置。

背景技术

随着数字图像和计算机软硬件技术的快速发展，人们对数字图像品质的要求越来越高。从传统的胶片影像时代到如今的数字影像时代，高动态范围技术改善了图像动态范围狭窄的现象。高动态范围成像的目的是为了获取真实的表现场景中从太阳光直射的区域到最暗的区域的亮度范围，而这是普通图像无法做到的。数字成像系统的动态范围扩展技术具有重要的科学意义和研究价值，在航天航空、工业监控、车载导航、智能交通、数字娱乐等诸多领域有广泛的应用前景。

数字成像系统的动态范围扩展方法有多种实现的途径，目前主要可以归为两类，即软件扩展方法和硬件扩展方法。从硬件上扩展系统动态范围具有非常高的技术难度，目前还没有成熟可靠的方案，并且此方法需要对相机或是图像传感器进行改造，甚至重新设计，在硬件设备上花费了大量精力，制造成本也大大提高。软件扩展方法的主要思路是对场景进行多次曝光成像，通过设置不同的曝光时间，改变系统探测的亮度范围，获得多幅不同曝光度的图像，再通过软件方法将它们合成一幅高动态范围图像，恢复场景的细节信息。此方法的不足之处在于，需要拍摄多幅场景图片，需对多幅图像进行处理，不符合实时性要求。

因此需要一种新的图像动态范围扩展方案来实现图像增强的效果。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种基于Bayer格式的图像动态范围扩展方法及图像动态范围扩展装置，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本公开的一个方面，提供一种基于Bayer格式的图像动态范围扩展方法，包括：

从第一动态范围的Bayer格式图像中提取其亮度分量和色度分量；

对所述亮度分量进行非线性扩展，得到扩展后的亮度图像；

对扩展后的亮度分量进行处理，获得预定区域的优化结果；

将所述扩展后的亮度图像和所述预定区域的优化结果进行分段融合，获得融合亮度分量；

合并所述融合亮度分量和所述色度分量，将其转换为第二动态范围的Bayer格式图像；其中，所述第二动态范围大于所述第一动态范围。

在本公开的一种示例性实施例中，从第一动态范围的Bayer格式图像中提取其亮度分量和色度分量的步骤，采用如下公式提取：

其中，G^ul和G^lr分别表示所述第一动态范围的Bayer格式图像中2×2块中左上角绿色像素值和右下角绿色像素值；Y^ul和Y^lr是分别与G^ul和G^lr相对应的亮度分量；C_r和C_b分别为两个色度分量；B和R分别为所述第一动态范围的Bayer格式图像中2×2块中的蓝色像素值和红色像素值。

在本公开的一种示例性实施例中，对所述亮度分量进行非线性扩展，包括：

采用反色调映射扩展模型对所述亮度分量进行非线性扩展。

在本公开的一种示例性实施例中，所述反色调映射扩展模型为：

其中，(x,y)代表各像素点的位置；L_d(x,y)为所述第一动态范围的Bayer格式图像的亮度分量的亮度值；L_white为决定扩展动态范围的曲线形状的参数；L_w,max为扩展后的最大输出亮度值。

在本公开的一种示例性实施例中，对扩展后的亮度分量进行处理，获得预定区域的优化结果，包括：

对所述亮度分量进行分段处理，提取所述预定区域；

对所述预定区域进行腐蚀操作；

对腐蚀后的亮度图像进行双边滤波，获得所述预定区域的优化结果。

在本公开的一种示例性实施例中，对所述亮度分量进行分段处理，提取所述预定区域，采用如下公式：

其中，(x,y)为各像素点的位置；I(x,y)为非线性扩展后的各像素点的亮度值；ε为预设阈值；I_{d max}为非线性扩展后的所述亮度分量中的最大亮度值；L_h(x,y)为分段处理后相应像素点的亮度值。

在本公开的一种示例性实施例中，将所述扩展后的亮度图像和所述预定区域的优化结果进行分段融合，获得融合亮度分量，采用如下公式：

其中，(x,y)为各像素点的位置；I_{d min}为所述亮度分量中的最小亮度值；L_w(x,y)为扩展后的亮度图像的亮度值；L_h(x,y)为所述预定区域的优化结果；L(x,y)为分段融合之后的融合亮度分量。

在本公开的一种示例性实施例中，合并所述融合亮度分量和所述色度分量，将其转换为第二动态范围的Bayer格式图像，采用如下公式：

其中，G^ul和G^lr分别表示所述第二动态范围的Bayer格式图像中2×2块中左上角绿色像素值和右下角绿色像素值；Y^ul和Y^lr是分别与G^ul和G^lr相对应的亮度分量；C_r和C_b分别为两个色度分量；B和R分别为所述第二动态范围的Bayer格式图像中2×2块中的蓝色像素值和红色像素值。

在本公开的一种示例性实施例中，还包括：

对所述第二动态范围的Bayer格式图像进行颜色插值，获得彩色RGB图像。

根据本公开的一个方面，提供一种基于Bayer格式的图像动态范围扩展装置，包括：

第一颜色空间转换模块，用于从第一动态范围的Bayer格式图像中提取其亮度分量和色度分量；

非线性扩展模块，用于对所述亮度分量进行非线性扩展，得到扩展后的亮度图像；

局部优化模块，用于对扩展后的亮度分量进行处理，获得预定区域的优化结果；

分段融合模块，用于将所述扩展后的亮度图像和所述预定区域的优化结果进行分段融合，获得融合亮度分量；

第二颜色空间转换模块，用于合并所述融合亮度分量和所述色度分量，将其转换为第二动态范围的Bayer格式图像；其中，所述第二动态范围大于所述第一动态范围。

在本发明的一些实施例所提供的技术方案中，一方面，通过对Bayer原始图像中的亮度分量进行预设处理，能够有效地提升原始图像的动态范围，同时图像的色度信息也保持良好，图像细节增强明显。另一方面，本发明的图像动态范围扩展方案与现有技术中的多次曝光成像方式相比较，不需要拍摄多幅图像，只需处理单幅的Bayer格式图像即可，节省了硬件资源，缩短了运行时间，能满足系统对实时性的处理要求。

在本发明的一些实施例所提供的技术方案中，由于Bayer图像的数据量是RGB图像的数据量的1/3，因此通过直接对Bayer图像进行处理，有效减少了图像融合时的计算量，进而降低了对系统资源的消耗，提高了图像融合算法的效率，有利于进行嵌入式开发。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本发明的第一个实施例的基于Bayer格式的图像动态范围扩展方法的流程图；

图2示意性示出了根据本发明的第二个实施例的基于Bayer格式的图像动态范围扩展方法的流程图；

图3A示意性示出了Bayer格式图像的结构图；

图3B示意性示出了图2中所示方法的Bayer格式图像转换到YC_rC_b空间的示意图；

图4示意性示出了图2中所示方法的高光区域的局部优化方法的流程图；

图5示意性示出了根据本发明的实施例的基于Bayer格式的图像动态范围扩展装置的框图；

图6A示意性示出了根据本发明的图像动态范围扩展处理前后的一种对比效果示意图；

图6B示意性示出了根据本发明的图像动态范围扩展处理前后的另一种对比效果示意图；

图6C示意性示出了根据本发明的图像动态范围扩展处理前后的又一种对比效果示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本发明实施例针对现有数字成像系统的动态范围扩展方法的不足，提出了基于Bayer格式的符合人眼视觉的图像动态范围扩展方法及装置，仅需处理单幅的Bayer格式图片，以Bayer图像的2×2的块为单位，根据符合人眼视觉的YC_rC_b模型，提取亮度分量Y和两个色度分量C_rC_b，对亮度分量进行全局反色调映射扩展，并对高光区域的局部优化处理，扩展了高光区域的动态范围，然后再通过分段融合全局映射结果和局部优化结果获得最终的高动态范围图像。该方法及装置能够有效地提升图像的动态范围，同时图像的色度信息保持良好，对图像细节增强明显，具有鲁棒性和实时性。

图1示意性示出了根据本发明的第一个实施例的基于Bayer格式的图像动态范围扩展方法的流程图。

具体地，参照图1，根据本发明的第一个实施例的基于Bayer格式的图像动态范围扩展方法包括以下步骤：

在步骤S100中，从第一动态范围的Bayer格式图像中提取其亮度分量和色度分量。

在步骤S110中，对所述亮度分量进行非线性扩展，得到扩展后的亮度图像。

在步骤S120中，对扩展后的亮度分量进行处理，获得预定区域的优化结果。

在步骤S130中，将所述扩展后的亮度图像和所述预定区域的优化结果进行分段融合，获得融合亮度分量。

在步骤S140中，合并所述融合亮度分量和所述色度分量，将其转换为第二动态范围的Bayer格式图像。

其中，所述第二动态范围大于所述第一动态范围。

在示例性实施例中，所述第一动态范围的Bayer格式图像可以为低动态范围(lowdynamic range，LDR)的Bayer格式图像，所述第二动态范围的Bayer格式图像可以为高动态范围(high dynamic range，HDR)的Bayer格式图像，但本公开不限定于此，只要第二动态范围大于第一动态范围即可。

在本发明实施方式提供的的基于Bayer格式的图像动态范围扩展方法，一方面，通过对Bayer原始图像中的亮度分量进行预设处理，能够有效地提升原始图像的动态范围，同时图像的色度信息也保持良好，图像细节增强明显。另一方面，本发明的图像动态范围扩展方案与现有技术中的多次曝光成像方式相比较，不需要拍摄多幅图像，只需处理单幅的Bayer格式图像即可，节省了硬件资源，缩短了运行时间，能满足系统对实时性的处理要求。

此外，现有技术中，大多数的高动态处理的改进方法都是基于RGB图像进行的，由于处理的数据总量没有变化，运算效率提升有限，且硬件资源消耗大，难以进行嵌入式开发。而本发明实施例中由于Bayer图像的数据量是RGB图像的数据量的1/3，因此通过直接对Bayer图像进行处理，有效减少了图像动态范围扩展时的计算量，进而降低了对系统资源的消耗，提高了图像动态范围扩展算法的效率，有利于进行嵌入式开发。

以下参考图2所示的具体实例对上述每个步骤进行详细说明：

如图2所示，在步骤S200中，获取单幅Bayer格式图像。

对于彩色图像，需要采集多种最基本的颜色，如RGB三种颜色，最简单的方法就是用滤镜的方法，红色的滤镜透过红色的波长，绿色的滤镜透过绿色的波长，蓝色的滤镜透过蓝色的波长。如果要采集RGB三个基本色，则需要三块滤镜，这样价格昂贵，且不好制造，因为三块滤镜都必须保证每一个像素点都对齐。当用Bayer格式的时候，很好的解决了这个问题。Bayer格式图片在一块滤镜上设置的不同的颜色，通过分析人眼对颜色的感知发现，人眼对绿色比较敏感，所以一般Bayer格式的图片绿色(G)格式的像素是是R(红色)和B(蓝色)像素的和。另外，Bayer格式是相机或图像传感器内部的原始图片。很多软件都可以查看，比如PS。相机拍照下来存储在存储卡上的.jpeg或其它格式的图片，都是从.raw格式转化过来的。

Bayer色彩滤波阵列，由一半的G，1/4的R，1/4的B组成。当Bayer格式图像传感器往外逐行输出数据时，像素的序列为GRGRGR.../BGBGBG...(顺序RGB)。这样阵列的传感器(Sensor)设计，使得RGB传感器减少到了全色传感器的1/3。由于Bayer格式图像的数据量是RGB格式图像的数据量的1/3，因此通过直接获取待融合的Bayer格式图像，以直接对Bayer格式图像进行处理，可以有效减少图像动态范围扩展时的计算量，进而能够降低对系统资源的消耗，提高了图像动态范围扩展算法的效率，有利于进行嵌入式开发。

本发明实施例中，基于上述Bayer格式图像特殊的排列方式，有效地减少了系统的硬件资源，而且与传统的多曝光融合算法相比较，本发明算法仅需处理单幅Bayer格式图像，算法的运行时间缩短，更能满足系统的实时性要求。

在步骤S210中，以Bayer格式图像的2×2的块为单位，结合符合人眼视觉的YC_rC_b空间(或模型)提取亮度分量Y和两个色度分量C_rC_b。

Bayer格式图像可以看作以2×2的块为单位，由许多GB/RG小块组成的集合，如图3A所示。利用像素间的相似性，可以将每个2×2小块中的R、G、B像素值通过转换成YC_rC_b空间的亮度分量Y和色度分量C_rC_b，两者之间的空间转换示意图如图3B所示，转换公式如下：

其中，上述公式(1)中，G^ul和G^lr分别表示所述第一动态范围的Bayer格式图像中2×2块中左上角绿色像素值(例如小块中的左上角的G像素值)和右下角绿色像素值(例如小块中的右下角的G像素值)；Y^ul和Y^lr是分别与G^ul和G^lr相对应的亮度分量；C_r和C_b分别为两个色度分量；B和R分别为所述第一动态范围的Bayer格式图像中2×2块中的蓝色像素值和红色像素值。

在步骤S220中，采用全局映射的反色调映射扩展模型，对所述亮度分量Y进行非线性扩展。

色调映射是将高动态范围图像数据映射成低动态范围图像数据，并尽可能地在视觉上保留原来的视觉效果。反色调映射则是色调映射的反变换，用于增大图像的动态范围。

根据本发明的示例实施例，可以利用Reinhard提出的色调映射进行反转得到全局映射的反色调映射扩展模型，所述反色调映射扩展模型可以如下公式(2)所示：

其中，(x,y)代表所述Bayer格式图像中的各像素点的位置；L_d(x,y)为所述Bayer格式图像的亮度分量Y的亮度值；L_white为决定扩展动态范围的曲线形状的参数；L_w,max为扩展后的最大输出亮度值。在本发明实施例中，可以设定L_w,max＝L_w(x,y)，但本公开不限定于此。利用公式(2)对上述步骤中提取到的亮度分量Y进行非线性扩展，得到扩展后的亮度图像。

需要说明的是，本公开并不限定于上述公式(2)例举的反色调映射扩展模型，其可以采用任何现有技术中的反色调映射扩展模型。其中反色调映射扩展模型中的其他内容可参考现有技术，在此不再赘述。

在步骤S230中，采用分段阈值处理、腐蚀操作以及双边滤波局部优化高光区域。

结合图4对步骤S230进行说明。如图4所示，首先根据亮度分量获取阈值ε，例如，可以选择阈值ε约为所述第一动态范围的Bayer格式图像中的最大亮度值的97％，但本公开不限定于此，再例如，还可以选择选择阈值ε约为所述第一动态范围的Bayer格式图像中的最大亮度值的95％-98％中的任意数值，具体可以根据需求自主设置。然后根据所述阈值ε对所述亮度分量Y进行分段阈值处理，提取出高光区域，本发明实施例中的高光区域的定义可以根据所选择的阈值ε的大小来定义，即认为亮度值大于阈值ε的像素点认为是高光区域的像素点，反之，为非高光区域。然后对提取出的所述高光区域进行腐蚀操作，并对腐蚀操作后的亮度分量图采用双边滤波器进行滤波，获得所述高光区域的局部优化结果。

根据本发明的示例性实施例，对所述亮度分量进行分段处理，提取所述高光区域，采用如下公式：

其中，(x,y)为各像素点的位置；I(x,y)为各像素点的亮度值(为上述步骤中非线性扩展后的亮度值)；ε为预设阈值；I_{d max}为上述步骤中非线性扩展后的最大亮度值；L_h(x,y)为分段处理后的亮度值。

通过上述对亮度分量进行分段阈值处理，进一步增强了图像中高光区域像素点的亮度值，但这会影响高光区域周围低亮度的像素点的细节表现，采用腐蚀操作能够减少高光区域对周围像素点细节的遮盖效果，腐蚀操作公式如下：

上述公式(4)中，e(x',y')为腐蚀操作与上述分段处理后的亮度图像进行卷积的核；(x',y')为核的中心像素位置；E(x,y)为腐蚀操作后的像素点的亮度值；腐蚀操作是将图像与核作卷积，这一操作可以扩大低像素值区域。腐蚀相当于”最小值“滤波器，用于获取局部最小值，这样使图像中的高光区域逐渐减少。

从人的直观感觉来看，现实世界中的光源所发出的光不会直接截断，是随着放射距离边长而其亮度衰减。双边滤波的模糊效果能够有效地模拟光线的衰减情况和去除部分噪声。对腐蚀后的亮度图像进行双边滤波，公式如下：

上述公式(5)和(6)中，双边滤波前图像I的像素点p(x,y)的灰度值为I_p，滤波后的图像为BI在该像素点p(x,y)的灰度值为BI_p，q(u,v)是以像素p(x,y)为中心像素的邻域像素点，邻域像素集合记为S，W_p称为归一化因子，是空间滤波核函数，是灰度核滤波函数，其中和的表达式分别如下所示：

上述公式(7)和(8)中，σ_s表示高斯函数的标准差；s_r表示高斯函数的标准差。

双边滤波(Bilateral filter)是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的，具有简单、非迭代、局部的特点。

双边滤波器的好处是可以做边缘保存(edge preserving)，一般过去用的维纳滤波或者高斯滤波去降噪，都会较明显地模糊边缘，对于高频细节的保护效果并不明显。双边滤波器顾名思义比高斯滤波多了一个高斯方差sigma－d，它是基于空间分布的高斯滤波函数，所以在边缘附近，离的较远的像素不会太多影响到边缘上的像素值，这样就保证了边缘附近像素值的保存。在双边滤波器中，输出像素的值依赖于邻域像素值的加权值组合。

本发明实施例中，通过反色调映射扩展模型处理后图像的动态范围能得到很好的扩展，但是在高光区域会产生过曝光现象，以及会损失细节信息。本发明实施例通过优化原始的Bayer格式图像中的高光区域，对亮度分量进行分段阈值处理，提取了高光区域，再进行腐蚀操作和双边滤波对全局映射后的高光区域进行局部优化处理，从而扩展了高光区域的动态范围，同时有效地弥补了高光区域丢失的细节信息。

在步骤S240中，将所述扩展后的亮度图像和所述预定区域的优化结果进行分段融合，获得融合亮度分量；再将所述融合亮度分量和所述色度分量合并获得高动态的YC_rC_b数据。

根据本发明的示例性实施例，将所述扩展后的亮度图像和所述预定区域的优化结果进行分段融合，获得融合亮度分量，采用如下公式：

上述公式(9)中，(x,y)为各像素点的位置；I_{d min}为所述第一动态范围的Bayer格式图像中的最小的亮度值；L_w(x,y)为非线性扩展后的亮度图像的亮度值；L_h(x,y)为所述预定区域的优化结果；L(x,y)为分段融合之后的融合亮度分量。在一实施例中，上述公式(9)的参数a、b、c和d可以分别取常数，例如a＝3/4，b＝2，c＝0.8，d＝0.06，但本公开不限定于此。

上述公式(9)的上半部分就是对暗区域的亮度进行了调整，由aL_w(x,y)可以将原来亮度比较低的暗区域的亮度值变成了非线性扩展后的3/4，在一定程度上保持了原来的暗区域的亮度；利用公式(9)的下半部分进行融合其他区域，相比非线性扩展后的结果，暗区域和高光区域都进行了调整，对比度有所提高。

通过步骤S220的全局映射的反色调扩展映射模型和步骤S230中的高光区域的局部优化后，中高亮度区域表现良好，但是在暗区域并没有很好地保持其原有亮度，减小了亮度图像的对比度。本发明实施例中通过上述的公式(9)的分段融合，同时对暗区域的亮度进行进一步的调整，提高了画面的对比度。即将上述步骤S220中的全局映射结果和步骤S230中高光区域的局部优化结果进行分段融合处理，得到融合亮度分量，同时进一步处理了暗区域亮度，再合并亮度分量和两个色度分量C_r、C_b，获得了高动态的YC_rC_b空间的数据。

在步骤S250中，转换成高动态的Bayer格式图像。

根据本发明的示例性实施例，将宽动态的YC_rC_b空间的数据转换成宽动态的Bayer格式数据，合并所述融合亮度分量和所述色度分量，将其转换为第二动态范围的Bayer格式图像，采用如下公式：

其中，G^ul和G^lr分别表示所述Bayer格式图像中2×2块中左上角绿色像素值和右下角绿色像素值；Y^ul和Y^lr是分别与G^ul和G^lr相对应的亮度分量；C_r和C_b分别为两个色度分量；B和R分别为所述Bayer格式图像中2×2块中的蓝色像素值和红色像素值。

根据本发明的示例性实施例，基于Bayer格式的图像动态范围扩展方法还可以包括：对所述第二动态范围的Bayer格式图像进行颜色插值，获得彩色RGB图像。

Bayer格式图像中的每一个像素仅仅包括了光谱的一部分，必须通过插值来实现每个像素的RGB值。为了从Bayer格式得到每个像素的RGB格式，需要通过插值填补缺失的2个色彩。插值的方法有很多(包括领域、线性、3*3等)，一般在速度与质量之间权衡，采用线性插值补偿算法。关于插值的具体算法可以参考现有技术，在此不再赘述。

图5示意性示出了根据本发明的实施例的基于Bayer格式的图像动态范围扩展装置的框图。

如图5所示，根据本发明的实施例的基于Bayer格式的图像动态范围扩展装置10，包括：第一颜色空间转换模块100、非线性扩展模块110、局部优化模块120、分段融合模块130和第二颜色空间转换模块140。

根据本发明的示例性实施例，第一颜色空间转换模块100可以用于从第一动态范围的Bayer格式图像中提取其亮度分量和色度分量。

需要说明的是：由于Bayer图像的数据量是RGB图像的数据量的1/3，因此通过直接对Bayer图像进行处理，有效减少了图像动态范围扩展时的计算量，进而降低了对系统资源的消耗，提高了图像动态范围扩展算法的效率，有利于进行嵌入式开发。

根据本发明的示例性实施例，非线性扩展模块110可以用于对所述亮度分量进行非线性扩展，得到扩展后的亮度图像。

根据本发明的示例性实施例，局部优化模块120可以用于对扩展后的亮度分量进行处理，获得预定区域的优化结果。

在本发明的一种示例性实施例中，分段融合模块130可以用于将所述扩展后的亮度图像和所述预定区域的优化结果进行分段融合，获得融合亮度分量。

在本发明的一种示例性实施例中，第二颜色空间转换模块140可以用于合并所述融合亮度分量和所述色度分量，将其转换为第二动态范围的Bayer格式图像；其中，所述第二动态范围大于所述第一动态范围。

本发明实施例的基于Bayer格式的图像动态范围扩展装置的各模块的具体说明可参照上述基于Bayer格式的图像动态范围扩展方法的各实施例中的具体内容，在此不再赘述。

在本发明上述实施例提出的基于Bayer格式的图像动态范围扩展算法通过对Bayer原始图像中的亮度分量进行预设处理，能够有效地提升原始图像的动态范围，同时图像的色度信息也保持良好，图像细节增强明显；同时，可以有效减少图像动态范围扩展时的计算量，进而降低了对系统资源的消耗，提高了图像动态范围扩展算法的效率。具体处理效果如图6A至图6C所示。

本发明实施例的技术方案有利于进行嵌入式开发，如可以嵌入FPGA开发具有图像增强功能的相机或摄像机。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于Bayer格式的图像动态范围扩展方法，其特征在于，包括：

从第一动态范围的Bayer格式图像中提取其亮度分量和色度分量；

对所述亮度分量进行非线性扩展，得到扩展后的亮度图像；

对扩展后的亮度分量进行处理，获得预定区域的优化结果；

将所述扩展后的亮度图像和所述预定区域的优化结果进行分段融合，获得融合亮度分量；

合并所述融合亮度分量和所述色度分量，将其转换为第二动态范围的Bayer格式图像；其中，所述第二动态范围大于所述第一动态范围。

2.根据权利要求1所述的图像动态范围扩展方法，其特征在于，从第一动态范围的Bayer格式图像中提取其亮度分量和色度分量的步骤，采用如下公式提取：

$\left[\begin{array}{c}{Y}^{ul}\\ Y^{lr}\\ C_r\\ C_b\end{array}\right]=\left[\begin{array}{cccc}128.6& 0& 25& 65.5\\ 0& 128.6& 25& 65.5\\ -37.1& -37.1& 112& -37.8\\ -46.9& -46.9& -18.2& 112\end{array}\right]\left[\begin{array}{c}{G}^{ul}\\ G^{lr}\\ B\\ R\end{array}\right]+\left[\begin{array}{c}0\\ 0\\ 128\\ 128\end{array}\right]$

其中，G^ul和G^lr分别表示所述第一动态范围的Bayer格式图像中2×2块中左上角绿色像素值和右下角绿色像素值；Y^ul和Y^lr是分别与G^ul和G^lr相对应的亮度分量；C_r和C_b分别为两个色度分量；B和R分别为所述第一动态范围的Bayer格式图像中2×2块中的蓝色像素值和红色像素值。

3.根据权利要求1所述的图像动态范围扩展方法，其特征在于，对所述亮度分量进行非线性扩展，包括：

采用反色调映射扩展模型对所述亮度分量进行非线性扩展。

4.根据权利要求3所述的图像动态范围扩展方法，其特征在于，所述反色调映射扩展模型为：

$L_w(x,y)=\frac{1}{2}{L}_{w,\max }{L}_{white}\·\left(L_d\right(x,y)-1+\sqrt{{\left(1-L_d\left(x,y\right)\right)}^2}+\frac{4}{L_{white}^2}{L}_d(x,y\left)\right)$

其中，(x,y)代表各像素点的位置；L_d(x,y)为所述第一动态范围的Bayer格式图像的亮度分量的亮度值；L_white为决定扩展动态范围的曲线形状的参数；L_w,max为扩展后的最大输出亮度值。

5.根据权利要求1所述的图像动态范围扩展方法，其特征在于，对扩展后的亮度分量进行处理，获得预定区域的优化结果，包括：

对所述亮度分量进行分段处理，提取所述预定区域；

对所述预定区域进行腐蚀操作；

对腐蚀后的亮度图像进行双边滤波，获得所述预定区域的优化结果。

6.根据权利要求5所述的图像动态范围扩展方法，其特征在于，对所述亮度分量进行分段处理，提取所述预定区域，采用如下公式：

其中，(x,y)为各像素点的位置；I(x,y)为非线性扩展后的各像素点的亮度值；ε为预设阈值；I_{d max}为非线性扩展后的所述亮度分量中的最大亮度值；L_h(x,y)为分段处理后相应像素点的亮度值。

7.根据权利要求1所述的图像动态范围扩展方法，其特征在于，将所述扩展后的亮度图像和所述预定区域的优化结果进行分段融合，获得融合亮度分量，采用如下公式：

其中，(x,y)为各像素点的位置；I_{d min}为所述亮度分量中的最小亮度值；L_w(x,y)为扩展后的亮度图像的亮度值；L_h(x,y)为所述预定区域的优化结果；L(x,y)为分段融合之后的融合亮度分量。

8.根据权利要求1所述的图像动态范围扩展方法，其特征在于，合并所述融合亮度分量和所述色度分量，将其转换为第二动态范围的Bayer格式图像，采用如下公式：

$\left[\begin{array}{c}{G}^{ul}\\ G^{lr}\\ B\\ R\end{array}\right]=\left[\begin{array}{cccc}1.3518& -0.3518& -0.3366& -0.6991\\ -0.158& 1.3518& -0.3366& -0.6991\\ 0.5& 0.5& & 0.002\\ 0.5& 0.5& -0.0003& 1.3717\end{array}\right]\left[\begin{array}{c}{Y}^{ul}\\ Y^{lr}\\ C_r-128\\ C_b-128\end{array}\right]$

其中，G^ul和G^lr分别表示所述第二动态范围的Bayer格式图像中2×2块中左上角绿色像素值和右下角绿色像素值；Y^ul和Y^lr是分别与G^ul和G^lr相对应的亮度分量；C_r和C_b分别为两个色度分量；B和R分别为所述第二动态范围的Bayer格式图像中2×2块中的蓝色像素值和红色像素值。

9.根据权利要求1所述的图像动态范围扩展方法，其特征在于，还包括：

对所述第二动态范围的Bayer格式图像进行颜色插值，获得彩色RGB图像。

10.一种基于Bayer格式的图像动态范围扩展装置，其特征在于，包括：

第一颜色空间转换模块，用于从第一动态范围的Bayer格式图像中提取其亮度分量和色度分量；

非线性扩展模块，用于对所述亮度分量进行非线性扩展，得到扩展后的亮度图像；

局部优化模块，用于对扩展后的亮度分量进行处理，获得预定区域的优化结果；

分段融合模块，用于将所述扩展后的亮度图像和所述预定区域的优化结果进行分段融合，获得融合亮度分量；

第二颜色空间转换模块，用于合并所述融合亮度分量和所述色度分量，将其转换为第二动态范围的Bayer格式图像；其中，所述第二动态范围大于所述第一动态范围。