CN102970549B

CN102970549B - 图像处理方法及装置

Info

Publication number: CN102970549B
Application number: CN201210351891.6A
Authority: CN
Inventors: 陈海; 张雁
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2012-09-20
Filing date: 2012-09-20
Publication date: 2015-03-18
Anticipated expiration: 2032-09-20
Also published as: JP6111336B2; WO2014044045A1; CN102970549A; US20150195441A1; US9538093B2; JP2015530834A

Abstract

本发明提供一种图像处理方法及装置，其中，图像处理方法包括：采集同一场景在不同曝光时间下的至少两帧不同亮度的曝光帧；针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据；根据所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像。上述方法能够解决现有技术中从Raw数据获得的图像的色彩、亮度、对比度严重失真的问题。

Description

图像处理方法及装置

技术领域

本发明实施例涉及通信技术，尤其涉及一种图像处理方法及装置。

背景技术

基于多帧曝光合成的高动态范围（High Dynamic Range，简称HDR）成像的研究已经非常成熟。例如，在消费市场上，iPhone手机集成了HDR拍照功能。某些芯片的Android参考平台中也包含了较简单的HDR成像功能。

目前，无论是专业应用的监控摄像机还是消费市场的手机摄像头，都是采用CCD或者CMOS图像传感器来捕捉场景中的光信号并转化为数字信号的原始数据（也就是Raw数据），原始信号经过一系列数字信号前处理技术（Image Signal Processing，简称ISP）处理后转变为适合人眼观看的最终的视频信号（通常为RGB格式或者YUV格式）。

Raw数据为单通道数据，通常由多个不同颜色的相邻像素重复排列组成，每个像素位置只有一个数值。而经过ISP中的颜色插值处理之后的数据会增加到三通道，即每个像素位置有三个数值。

大多数的HDR处理技术都是针对ISP处理之后的三通道数据，如微软（siggraph 2003HDR video）提出一种校正多曝光帧的后处理方法。首先，利用多曝光帧标定出相机响应曲线，根据相机相应曲线和成HDR图像，最后使用色调映射的方法来压缩动态范围并提高局部对比度。

上述方法的缺点是：需要处理三倍于raw数据的数据量，并且需要进一步使用局部色调映射或者对比度增强等方法来提升局部对比度。复杂度高。另外，另外，ISP处理中的伽玛校正对图像的亮度影响很多，此类方法依赖于相机相应曲线及色调映射，简单移植到Raw数据中直接处理会使得图像的色彩以及亮度对比度严重失真。

发明内容

有鉴于此，针对现有技术中的缺陷，本发明提供一种图像处理方法及装置，用于解决现有技术中从Raw数据获得的图像的色彩、亮度、对比度严重失真的问题。

一方面，本发明实施例提供一种图像处理方法，包括：

采集同一场景在不同曝光时间下的至少两帧不同亮度的曝光帧；

针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据；

根据所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像。

另一方面，本发明实施例还提供一种图像处理装置，包括：

处理器，用于采集同一场景在不同曝光时间下的至少两帧不同亮度的曝光帧；针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据；根据所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像；

存储器，用于存储所述处理器中采集的至少两帧不同亮度的曝光帧。

由上述技术方案可知，本发明实施例的图像处理方法及装置，通过获取每一曝光帧的第一亮度数据，进而根据第一亮度数据获取所有曝光帧的校正参数，以便采用校正参数对曝光帧进行加权处理，得到校正后的Raw数据的HDR图像，由此，可解决现有技术中从Raw数据获得的图像的色彩、亮度、对比度严重失真的问题。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地：下面附图只是本发明的一些实施例的附图，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得同样能实现本发明技术方案的其它附图。

图1为本发明实施例中提供的一种Raw数据单元的排列结构示意图；

图2为本发明实施例中提供的一种图像处理方法的流程示意图；

图3为本发明实施例中提供的一种图像处理方法的流程示意图；

图4为本发明实施例中提供的一种图像处理方法的流程示意图；

图5A为本发明实施例中提供的亮度的统计直方图的示意图；

图5B为本发明实施例中提供的亮度的累积直方图的示意图；

图5C为本发明实施例中提供的亮度映射函数的示意图；

图6为本发明实施例中获取的HDR图像与现有的HDR图像的比较示意图；

图7A和图7B为本发明实施例中提供的图像处理装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。显然，下述的各个实施例都只是本发明一部分的实施例。基于本发明下述的各个实施例，本领域普通技术人员即使没有作出创造性劳动，也可以通过等效变换部分甚至全部的技术特征，而获得能够解决本发明技术问题，实现本发明技术效果的其它实施例，而这些变换而来的各个实施例显然并不脱离本发明所公开的范围。

业界还提出了一种基于Raw数据合成HDR的方法。该方法用多帧曝光帧的曝光时间比值作为各帧图像像素值进行归一化，然后加权融合得到HDR图像，再用色调映射的方法获得适合显示的低动态范围（Low DynamicRange，简称LDR）图像。

然而，上述方法采用曝光时间对不同曝光帧的像素进行归一化的过程需要标定，曝光时间和增益数不能直接对应到像素亮度的倍数。特别地，上述方法需要用到较多的行存储和帧存储，导致存储空间大、计算过程复杂。

本发明实施例中所涉及的raw数据为单通道数据，通常由多个不同颜色的相邻像素重复排列组成。如图1所示，图1示出了一种raw数据的排列结构示意图，即Bayer格式的raw数据，由R，G，B三种色彩像素组成GRBG的方式重复排列，每个像素位置只有一个数值。

本发明实施例中主要是把不同曝光时间的raw数据帧合成HDR raw数据帧，进而上述合成HDR raw的过程可兼容现有技术中的ISP处理技术，同时能够有效扩大最终视频信号的动态范围，又不改变原有的色彩和局部对比度，且有效降低曝光帧的存储成本和数据的计算量。本发明仅需处理单通道数据，并且不需要提前标定相机响应曲线，可有效降低曝光帧的存储成本和数据的计算量。

本发明实施例中提及的raw数据帧是指由raw数据组成的图像帧。

结合图1、图2所示，图1示出了本发明一实施例中提供的raw数据单元的排列结构示意图，图2示出了本发明实施例中提供的一种图像处理方法的流程示意图；本实施例中的图像处理方法如下文所述。

201、采集同一场景在不同曝光时间下的至少两帧不同亮度的曝光帧。

在实际应用中，HDR处理需要不同曝光的数据输入，可以两次曝光，也可以是三次或以上曝光。通常，把最佳的曝光帧称为参考曝光帧，其它的曝光帧称为扩展曝光帧。

在具体的应用场景中，可以采集不同曝光时间下的多帧不同亮度的曝光帧，此时选取一个最佳的曝光帧作为参考曝光帧，其他的均作为扩展曝光帧。

202、针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据。

举例来说，该步骤中的raw数据单元可以是：BGGR排列模式的数据单元、GRBG排列模式的数据单元或GRBW排列模式的数据单元。本发明实施例对于其它模式的raw数据也同样适用。

如图1所示，图1示出了GRBG排列模式的数据单元。即在GRBG的bayer模式中，相邻的GRBG四个像素位置的单通道数据组成一个raw数据单元。

不同图像传感器厂商的raw数据的排列模式各不相同，但都是以相邻的4个或者更多像素组成可重复排列的基本单元。由此，本发明实施例以常见的GRBG排列的Bayer模式为例，经过简单的扩展本发明实施例同样也能使用与其它的raw数据模式，如BGGR Bayer模式，GRBW等模式。

203、根据所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像。

可以理解的是，前述的raw数据为单通道的数据，进而最后获取的raw数据的HDR图像也是单通道的数据图像。

由上述实施例可知，本实施例以raw数据单元为基本单元，首先对不同曝光帧的raw基本单元进行预处理如合成，输出适合人眼观看的第一亮度数据，然后计算校正后的raw数据的HDR图像需要的校正参数，进入融合raw数据单元中的各原始数据，实现把现有的亮度后处理效果融合到输出的raw数据的HDR图像中。

另外，在一优选的实施例中，上述的步骤203中的根据所有的第一亮度数据获取所有曝光帧的校正参数，可具体为如下的步骤2031和步骤2033，如图3所示。

2031、根据所有的第一亮度数据获取每一曝光帧的权重系数。

2032、对每一曝光帧进行亮度处理，获得处理后的第二亮度数据。

可选地，可以采用亮度直方图均衡的方法对每一曝光帧进行亮度处理，获得处理后的第二亮度数据。

2033、根据所述权重系数和所述第二亮度数据、第一亮度数据获取与所有曝光帧对应的校正因子，得到包括权重系数和校正因子的校正参数。

可选地，在另一应用场景中，上述步骤203中的所述采用校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像，包括如下图中未示出的步骤2034。

2034、获取每一曝光帧中的每一像素点与所述曝光帧对应的权重系数以及校正因子的乘积，并将所有曝光帧中对应位置的像素点所对应的乘积求和，将所述求和后的各像素点组成的图像作为所述校正后的raw数据的HDR图像。

由上述实施例可知，本实施例的图像处理方法，通过获取每一曝光帧的第一亮度数据，进而根据第一亮度数据获取所有曝光帧的校正参数，以便采用校正参数对曝光帧进行加权处理，得到校正后的Raw数据的HDR图像，由此，可解决现有技术中从Raw数据获得的图像的色彩、亮度、对比度严重失真的问题。

在其他的应用场景中，上述步骤202中的将曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据，具体包括如下图中未示出的步骤2021。

2021、获取所述曝光帧的参考亮度值，采用预置的伽马系数校正所述参考亮度值，得到所述第一亮度数据。

举例来说，获取曝光帧的参考亮度值可包括：

1）获取所述raw数据单元中各像素点的均值，将所述均值作为所述参考亮度值；例如，在图1所示的GRBG的bayer模式中，参考亮度值可为（G+R+B+G）/4。

或者，

2）获取所述raw数据单元中G像素点的均值，将所述均值作为所述参考亮度值，例如，在图1所示的GRBG的bayer模式中，参考亮度值可为（G+G）/2。

上述的参考亮度值可以是传统的计算方法，也可以是简单的合成。

也就是说，在图1所示的bayer模式中，合成后的数据量是原始数据的1/4，进而可有效减少图像处理过程中的数据量。

由上述实施例可知，本实施例图像处理方法以raw数据单元为基本单元，首先对不同曝光帧的raw基本单元进行预处理如合成，输出适合人眼观看的第一亮度数据，然后计算校正后的raw数据的HDR图像需要的校正参数，进入融合raw数据单元中的各原始数据，同一raw数据单元中采用同样的权重系数以及校正因子可保证合成前后色彩的一致性；用适合人眼观看的亮度数据计算合成系数，可以实现把现有的亮度后处理效果融合到输出的raw数据的HDR图像中。

在另一应用场景中，图像处理方法如下步骤S01至步骤S06所示。其中，校正参数包括：权重系数和校正因子；每一曝光帧对应一个权重系数，所有的曝光帧对应一个校正因子。

以下以两帧的曝光帧进行举例说明：

S01、采集同一场景在不同曝光时间下的两帧不同亮度的曝光帧，第一曝光帧和第二曝光帧。

其中，第一曝光帧的亮度小于第二曝光帧的亮度，以及第一曝光帧的曝光时间小于第二曝光帧的曝光时间。R₁表示第一曝光帧，R₂表示第二曝光帧。

S02、针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据。

第一曝光帧的第一亮度数据为I′₁，第二曝光帧的第二亮度数据为I′₂。

优选地，获取曝光帧的参考亮度值，采用预置的伽马系数1/2.2通过查表的方式校正参考亮度值，得到第一亮度数据。

S03、针对第一曝光帧，根据第一亮度数据I′₁获取第一曝光帧的权重系数w₁；针对第二曝光帧，根据第二亮度数据I′₂获取第二曝光帧的权重系数w₂。

举例来说，根据如下的公式获取权重系数w₁和w₂。

w_{1}^{'} = \exp (\frac{{- I}_{1}^{' 2}}{δ^{2}})

w_{2}^{'} = \exp {(\frac{- (255 - I_{2}^{'})}{δ^{2}})}^{2}

w_{1} = \frac{w_{1}^{'}}{w_{1}^{'} + w_{2}^{'}}

w_{2} = \frac{w_{2}^{'}}{w_{1}^{'} + w_{2}^{'}};

其中，w′₁、w′₂表示计算权重系数的中间值，δ高斯分布系数。

S04、采用亮度直方图均衡的方式对第一曝光帧进行亮度处理，获得处理后的第二亮度数据I″₁，以及采用亮度直方图均衡的方式对第二曝光帧进行亮度处理，获取处理后的第二亮度数据I″₂。

S05、根据权重系数w₁、w₂和第二亮度数据I″₁、I″₂，第一亮度数据I′₁、I′₂获取与所有曝光帧对应的校正因子α。

α=(I″₁*w₁+I″₂*w₂)/(I′₁*w₁+I′₂*w₂)

S06、采用权重系数w₁、w₂和校正因子α对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像，如下公式所示：

R=(R₁*w₁+R₂*w₂)*α。

其中，R₁表示第一曝光帧，w₁表示第一曝光帧的权重系数，R₂表示第二曝光帧，w₂表示第二曝光帧的权重系数，α表示校正因子，R为raw数据的HDR图像。

由此，可以通过上述的图像处理方法得到色彩、亮度和对比度均不失真的图像。

图4示出了本发明另一实施例中的图像处理方法的流程示意图，如图4所示，本实施例中的图像处理方法的步骤如下文所述。

401、采集同一场景在不同曝光时间下的至少两帧不同亮度的曝光帧。

402、针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据。

403、采用统计直方图方式获取亮曝光帧中像素点的第一亮度数据和暗曝光帧中对应位置的像素点的第一亮度数据之间的对应关系，得到亮度映射函数。

该处统计直方图方式即为采用统计方式获得的直方图。

需要说明的是，该处亮度映射函数的获取方法为本领域技术人员公知的方法。

404、根据亮度映射函数和所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像。

由上述实施例可知，图像处理方法中采用单通道的raw数据直接获取校正后的raw数据的HDR图像，降低处理过程的运算量。上述图像处理方法应用了亮度处理方法，如直方图均衡，对比度调整，增加暗部亮度等，由此，可保持raw HDR图像的色彩一致性以及亮度单调性。

在另一应用场景中，图像处理方法如下步骤M01至步骤M06所示。其中，校正参数包括：权重系数和校正因子；每一曝光帧对应一个权重系数，所有的曝光帧对应一个校正因子。

以下以两帧的曝光帧进行举例说明：

M01、采集同一场景在不同曝光时间下的两帧不同亮度的曝光帧，第一曝光帧和第二曝光帧。

其中，第一曝光帧的亮度小于第二曝光帧的亮度，以及第一曝光帧的曝光时间小于第二曝光帧的曝光时间。R₁表示第一曝光帧、短曝光帧、暗曝光帧，R₂表示第二曝光帧、长曝光帧、亮曝光帧。

M02、针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据。

优选地，M02可通过如下的子步骤实现。

M021、计算第一曝光帧和第二曝光帧的参考亮度值。

该步骤M021中，参考亮度值的计算方法可以是传统的亮度计算方法，也可以是简单的合成，如（R+G+G+B）/4。在其他实施例中，也可以直接用G像素的值做为参考亮度值。

上述计算后的数据量是原始数据的1/4，有效减少了后续图像处理过程中计算量。

M022、采用伽马系数对上述的参考亮度值进行伽马校正，得到第一亮度数据。

需要说明的是，现有的伽马校正是ISP处理中对图像亮度及对比度影响最大的步骤，也是把原始数据转为适合人眼观看的一个重要步骤。为此，该步骤M022中采用与ISP处理一样的伽马系数对参考亮度进行处理。

在实际应用中，伽马系数可取值为1/2.2。在本实施例中，伽马校正可用查找表的方法来实现。另外，由于raw数据即曝光帧的原始数据的位宽通常较大，如10位，12位甚至14位。

为了节省计算资源，仅用raw数据中的前8位来进行查找表，输出的数值也可以是8位的数据。

也就是说，经过伽马校正后的参考亮度位宽可以与Bayer数据的不同。经过伽马校正后亮度数据记为I′，即第一曝光帧的第一亮度数据为I′₁，第二曝光帧的第二亮度数据为I′₂。

M03、采用统计直方图方式获取亮曝光帧（第二曝光帧）中像素点的第一亮度数据和暗曝光帧（第一曝光帧）中对应位置的像素点的第一亮度数据之间的对应关系，得到亮度映射函数。

举例来说，亮度映射函数b=f(a)，其中，a表示亮曝光帧中象素点的亮度值，f(a)表示暗曝光帧中对应位置的象素点的亮度值；

每一组a，f(a)称为一个映射对，将确定的映射对作为所述映射关系。

也就是说，若(a，b)为长曝光帧（第二曝光帧）到短曝光帧（第一曝光帧）对应的亮度映射函数f的一个值，即b=f(a)。

结合图5A、图5B、图5C所示，本实施例中的亮度映射函数b=f(a)可以由第一曝光帧、第二曝光帧的统计直方图容易得到。

如下图5A中为第一曝光帧、第二曝光帧的直方图，经过简单的累加之后可以得到如图5B中的累计直方图。经过亮度映射后，可以得到如图5C中的亮度映射数（第二行中为示意曲线），其中横坐标的第二曝光帧（扩展帧）图像中存在大量的过曝像素。

M04、根据亮度映射函数和所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像。

具体地，上述步骤M04可通过如下的子步骤M041至子步骤M044实现：

M041、针对第一曝光帧，根据第一亮度数据I′₁和亮度映射函数b=f(a)获取第一曝光帧的权重系数w₁；针对第二曝光帧，根据第二亮度数据I′₂和亮度映射函数b=f(a)获取第二曝光帧的权重系数w₂。

举例来说，根据如下的公式获取权重系数w₁和w₂。

w_{1}^{'} = \exp (\frac{{- (255 - a + I_{1}^{'})}^{2}}{δ^{2}})

w_{2}^{'} = \exp (\frac{{- (255 + b - I_{2}^{'})}^{2}}{δ^{2}})

w_{1} = \frac{w_{1}^{'}}{w_{1}^{'} + w_{2}^{'}}

w_{2} = \frac{w_{2}^{'}}{w_{1}^{'} + w_{2}^{'}}

通常，长曝光帧（第一曝光帧、第二曝光帧中曝光时间较长的曝光帧）中的暗（I′₁）的场景比短曝光（第一曝光帧、第二曝光帧中曝光时间较短的曝光帧）中暗（I′₂，更黑，倾向于欠曝）的场景更合适；

同样，短曝光中的亮（I′₂）的场景比长曝光中亮（I′₁，更亮，倾向于过曝）的场景更合适；因此，采用上述基于高斯分布的公式来计算权重系数，并归一化。

M042、采用亮度直方图均衡的方式对第一曝光帧进行亮度处理，获得处理后的第二亮度数据I″₁，以及采用亮度直方图均衡的方式对第二曝光帧进行亮度处理，获取处理后的第二亮度数据I″₂。

优选地，采用亮度直方图均衡的方法可能会严重改变图像对比度，比如动态范围较小的场景会变得对比度过大。由此，可以用几个关键点控制映射后的直方图，如映射后累计直方图中对应25％的亮度值必须在映射前长曝光累计直方图中对应25％的亮度值以及短曝光累计直方图中对应25％的亮度值之间。即I′_{2_25}≤I″₂₅≤I′_{1_25}。

M043、根据权重系数w₁、w₂和第二亮度数据I″₁、I″₂，第一亮度数据I′₁、I′₂获取与所有曝光帧对应的校正因子α。

α=(I″₁*w₁+I″₂*w₂)/(I′₁*w₁+I′₂*w₂)

需要说明的是，由于上述第一曝光帧、第二曝光帧的曝光时间各不相同，也就是说，亮度不相同。若简单的对应像素融合会破坏最终图像的亮度单调性，故本实施例中设置校正因子α可以实现把不同曝光帧校正成“同一曝光值”。

M044、采用权重系数w₁、w₂和校正因子α对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像，如下公式所示：

R=(R₁*w₁+R₂*w₂)*α。

上述依赖于亮度映射函数的权重计算方式的一个优点是，长短曝光帧中亮度等于映射值(a，b)时，可获得相同的合成权重，让输出的HDR帧质量更高。

由上述实施例可知，只需要存储单通道的raw数据，降低运算量。可以直接应用亮度处理方法，如直方图均衡，对比度调整，增加暗部亮度等。保持raw数据的HDR图像的色彩一致性以及亮度单调性。

特别地，相对于传统后处理的HDR融合方法，本发明仅需处理单通道数据，并且不需要提前标定相机响应曲线，可有效降低曝光帧的存储成本和数据的计算量。

如图6所示，图6中A图为现有技术中的后处理方式合成的HDR图像，B图为把后处理的合成方式简单用到raw数据处理的HDR图像（在B图中色彩和灰阶卡的对比度被严重改变）；

C图为没有做亮度校正的HDR图像（亮度单调性被破坏，如色卡最后一行）；D图为采用本发明实施例中的获取的亮度校正后的HDR图像(色彩和对比度更接近真实场景)。

另外，上述举例的实施例中，部分实施例中计算权重系数采用了亮度映射函数，部分实施例中计算权重系数没有采用亮度映射函数。该处本实施例不对其进行限定，可以根据实际需要选择。

进一步地，在本发明实施例所举例的任一实现方式中述获取权重系数采用高斯分布的方法，在其他实施例中，还可以采用泊松分布或者二次曲线等获取权重系数，本实施例不对其进行限定。

根据本发明的另一方面，本发明实施例还提供一种图像处理装置，如图7A和图7B所示，图7A、图7B中所示的图像处理装置包括：处理器71和存储器72；

其中，处理器71用于采集同一场景在不同曝光时间下的至少两帧不同亮度的曝光帧；针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据；根据所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像；

存储器72用于存储所述处理器中采集的至少两帧不同亮度的曝光帧。

在实际应用中，处理器71具体用于：针对每一曝光帧，获取所述曝光帧的参考亮度值，采用预置的伽马系数校正所述参考亮度值，得到所述第一亮度数据；

和/或，根据所有的第一亮度数据获取每一曝光帧的权重系数；对每一曝光帧进行亮度处理，获得处理后的第二亮度数据，根据所述权重系数和所述第二亮度数据、第一亮度数据获取与所有曝光帧对应的校正因子，得到包括权重系数和校正因子的校正参数；

和/或，获取每一曝光帧中的每一像素点与所述曝光帧对应的权重系数以及和所述校正因子的乘积，并将所有曝光帧中对应位置的像素点所对应的乘积求和，将所述求和后的各像素点组成的图像作为所述校正后的raw数据的HDR图像。

可选地，所述处理器还用于采用统计直方图方式获取亮曝光帧中像素点的第一亮度数据和暗曝光帧中对应位置的像素点的第一亮度数据之间的对应关系，得到亮度映射函数；以及根据根据所述亮度映射函数和所有的第一亮度数据获取每一曝光帧的权重系数；对每一曝光帧进行亮度处理，获得处理后的第二亮度数据，根据所述权重系数和所述第二亮度数据、第一亮度数据获取与所有曝光帧对应的校正因子，得到包括权重系数和校正因子的校正参数，进而获取每一曝光帧中的每一像素点与所述曝光帧对应的权重系数，以及和所述校正因子的乘积，并将所有曝光帧中对应位置的像素点所对应的乘积求和，将所述求和后的各像素点组成的图像作为所述校正后的raw数据的HDR图像。

本实施例中的处理器具体可执行如上任一实施例所述的图像处理方法。该处不再详细说明。

由上述实施例可知，本发明实施例的图像处理装置，通过获取每一曝光帧的第一亮度数据，进而根据第一亮度数据获取所有曝光帧的校正参数，以便采用校正参数对曝光帧进行加权处理，得到校正后的Raw数据的HDR图像，由此，可解决现有技术中从Raw数据获得的图像的色彩、亮度、对比度严重失真的问题。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种图像处理方法，其特征在于，包括：

根据所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的高动态范围HDR图像；

其中，所述根据所有的第一亮度数据获取所有曝光帧的校正参数，包括：

根据所有的第一亮度数据获取每一曝光帧的权重系数；

对每一曝光帧进行亮度处理，获得处理后的第二亮度数据，

根据所述权重系数和所述第二亮度数据、第一亮度数据获取与所有曝光帧对应的校正因子，得到包括权重系数和校正因子的校正参数。

2.根据权利要求1所述的方法，其特征在于，所述采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像，包括：

获取每一曝光帧中的每一像素点与所述曝光帧对应的权重系数,以及和所述校正因子的乘积，并将所有曝光帧中对应位置的像素点所对应的乘积求和，将所述求和后的各像素点组成的图像作为所述校正后的raw数据的HDR图像。

3.根据权利要求1至2任一所述的方法，其特征在于，所述将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据，具体包括：

获取所述曝光帧的参考亮度值，采用预置的伽马系数校正所述参考亮度值，得到所述第一亮度数据。

4.根据权利要求3所述的方法，其特征在于，所述获取所述曝光帧的参考亮度值，包括：

获取所述raw数据单元中各像素点的均值，将所述均值作为所述参考亮度值；

或者，获取所述raw数据单元中G像素点的均值，将所述均值作为所述参考亮度值。

5.根据权利要求1所述的方法，其特征在于，若采集同一场景在不同曝光时间下的两帧不同亮度的曝光帧：第一曝光帧R₁，第二曝光帧R₂；

则根据所有的第一亮度数据获取每一曝光帧的权重系数，包括：

w_{1}^{'} = \exp (\frac{{- I}_{1}^{' 2}}{δ^{2}}), w_{2}^{'} = \exp (\frac{{- (255 - I_{2}^{'})}^{2}}{δ^{2}})

w_{1} = \frac{w_{1}^{'}}{w_{1}^{'} + w_{2}^{'}}, w_{2} = \frac{w_{2}^{'}}{w_{1}^{'} + w_{2}^{'}};

其中，w₁′、w₂′表示计算权重系数的中间值，w₁表示第一曝光帧的权重系数，w₂表示第二曝光帧的权重系数，δ高斯分布系数，I₁′表示第一曝光帧的第一亮度数据，I₂′表示第二曝光帧的第一亮度数据。

6.根据权利要求5所述的方法，其特征在于，根据所述权重系数和所述第二亮度数据、第一亮度数据获取与所有曝光帧对应的校正因子，包括：

α＝(I₁″*w₁+I₂″*w₂)/(I₁′*w₁+I′₂*w₂)

其中，w₁表示第一曝光帧的权重系数，w₂表示第二曝光帧的权重系数，

α表示校正因子，I₁″表示第一曝光帧的第二亮度数据，I₂″表示第二曝光帧的第二亮度数据；I₁′表示第一曝光帧的第一亮度数据，I₂′表示第二曝光帧的第一亮度数据。

7.根据权利要求5所示的方法，其特征在于，所述采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的HDR图像，包括：

校正参数为权重系数w₁、w₂和校正因子α时，采用R＝(R₁*w₁+R₂*w₂)*α获得校正后的raw数据的HDR图像R；

其中，R₁表示第一曝光帧，w₁表示第一曝光帧的权重系数，R₂表示第二曝光帧，w₂表示第二曝光帧的权重系数，α表示校正因子，R为校正后的raw数据的HDR图像。

8.一种图像处理方法，其特征在于，包括：

其中，根据所有的第一亮度数据获取所有曝光帧的校正参数，具体为：

根据亮度映射函数和所有的第一亮度数据获取所有曝光帧的校正参数；

其中，所述根据所有的第一亮度数据获取所有曝光帧的校正参数之前，还包括：

采用统计直方图方式获取亮曝光帧中像素点的第一亮度数据和暗曝光帧中对应位置的像素点的第一亮度数据之间的对应关系，得到所述亮度映射函数。

9.根据权利要求8所述的方法，其特征在于，若采集同一场景在不同曝光时间下的两帧不同亮度的曝光帧：长曝光帧，短曝光帧，

则所述亮度映射函数为：b＝f(a)，其中，a表示所述长曝光帧中象素点的亮度值，b表示短曝光帧中与所述a的位置对应一致的象素点的亮度值；

相应地，根据所述亮度映射函数和所有的第一亮度数据I₁′、I₂′获取所有曝光帧的校正参数，包括：

根据如下的公式获取每一曝光帧的权重系数w₁，w₂：

w_{1}^{'} = \exp (\frac{- {(255 - a + I_{1}^{'})}^{2}}{δ^{2}}), w_{2}^{'} = \exp (\frac{{- (255 + b - I_{2}^{'})}^{2}}{δ^{2}})

w_{1} = \frac{w_{1}^{'}}{w_{1}^{'} + w_{2}^{'}}, w_{2} = \frac{w_{2}^{'}}{w_{1}^{'} + w_{2}^{'}};

对每一曝光帧进行亮度处理，获得处理后的第二亮度数据，

根据所述权重系数和所述第二亮度数据、所述第一亮度数据获取与所有曝光帧对应的校正因子，得到包括权重系数和校正因子的校正参数。

10.根据权利要求1至9任一所述的方法，其特征在于，

所述raw数据单元为：BGGR排列模式的数据单元、GRBG排列模式的数据单元或GRBW排列模式的数据单元。

11.一种图像处理装置，其特征在于，包括：

处理器，用于采集同一场景在不同曝光时间下的至少两帧不同亮度的曝光帧；针对每一曝光帧，将该曝光帧中重复排列的raw数据单元进行合成，得到合成后的第一亮度数据；根据所有的第一亮度数据获取所有曝光帧的校正参数，并采用所述校正参数对所有的曝光帧进行加权处理，得到校正后的raw数据的高动态范围HDR图像；

存储器，用于存储所述处理器中采集的至少两帧不同亮度的曝光帧；

其中，所述处理器具体用于：

针对每一曝光帧，获取所述曝光帧的参考亮度值，采用预置的伽马系数校正所述参考亮度值，得到所述第一亮度数据；

和/或

根据所有的第一亮度数据获取每一曝光帧的权重系数；对每一曝光帧进行亮度处理，获得处理后的第二亮度数据，根据所述权重系数和所述第二亮度数据、第一亮度数据获取与所有曝光帧对应的校正因子，得到包括权重系数和校正因子的校正参数；

和/或

获取每一曝光帧中的每一像素点与所述曝光帧对应的权重系数，以及和所述校正因子的乘积，并将所有曝光帧中对应位置的像素点所对应的乘积求和，将所述求和后的各像素点组成的图像作为所述校正后的raw数据的HDR图像。

12.一种图像处理装置，其特征在于，包括：

其中，所述处理器还用于

采用统计直方图方式获取亮曝光帧中像素点的第一亮度数据和暗曝光帧中对应位置的像素点的第一亮度数据之间的对应关系，得到亮度映射函数；以及

根据所述亮度映射函数和所有的第一亮度数据获取每一曝光帧的权重系数；对每一曝光帧进行亮度处理，获得处理后的第二亮度数据，根据所述权重系数和所述第二亮度数据、第一亮度数据获取与所有曝光帧对应的校正因子，得到包括权重系数和校正因子的校正参数。