CN104168403A - 基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置 - Google Patents

Abstract

本发明公开了一种基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置，包括通过按照奇偶双列配置不同的感光时间进行曝光，获得奇偶双列不同曝光值的一个图像帧；将图像帧分解为欠曝光图像帧和过曝光图像帧，其中欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布，过曝光图像帧中过曝光双列与缺失双列依次间隔分布；分别在红绿蓝通道上根据欠曝光或过曝光双列像素点的像素值获取欠曝光图像帧和过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；根据红绿蓝通道上像素点的像素值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧，通过上述方式，本发明能够克服高速运动模糊问题，降低高速连拍的帧率。

Description

基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置

技术领域

本发明涉及高动态范围(high dynamic range，下文简称HDR)视频录制技术领域，特别是涉及一种基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置。

背景技术

在数码相机中，在大光比环境下拍摄时，普通相机因受到动态范围的限制，不能纪录极端亮或者暗的细节，而HDR视频录制在高光和低光区域都能获得比正常拍摄更好的明暗层次。实际场景的动态范围常常在100dB以上，传感器是数码影像设备成像的核心器件。传统数码相机所采用的传感器元件有CCD(Charge-coupled Device，电荷耦合元件)或者CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)，一般只能有大约60dB的动态范围，如果采用动态范围较窄的传感器记录动态范围较宽的场景，则需要多次成像。以100dB的场景为例，可以先提高快门速度，拍摄一张0～60dB的欠曝光照片，再降低快门速度，拍摄一张40～100dB的过曝光照片，最后将两张照片融合成一张并重新计算灰阶映射关系。

现有厂商拍摄HDR视频采用高帧率传感器，可高速连续拍摄若干张不同曝光值的影像，以HDR的方式合成为一张照片。不过拍摄移动中的主体时，照片就有可能出现残影现像。在采集到多帧图像后，需要用特殊的HDR算法将多帧图像合并为一帧。

现代CMOS传感器通常是一种颜色滤波阵列结构，拜尔滤波阵列拍摄的图像简称拜尔图。每个像素记录10～14比特的单色信息，RGB三原色信息需要该像素与周围像素插值计算获得。

现有的拍摄HDR视频的方法主要包括两个关键技术点，多曝光帧采集和HDR的帧合并算法。多曝光帧采集是以不同曝光值高速连拍获得多帧图片。存在两个缺点：一方面，如果场景中存在高速运动的物体，则两帧之间无法做到点点匹配，合并后的图片很容易出现运动模糊。另一方面，高速连拍需要极高的帧率，限制了视频拍摄的快门下限。

而HDR算法是首先基于多个曝光帧估计相机的亮度响应函数，然后采用灰阶映射的方式计算新的灰阶表，最后计算新的HDR图像。由于相机的亮度响应函数通常需要对所有灰阶进行参数估计，计算复杂度在8位图像(256个灰阶)时尚可接受，但对于拜尔图(14比特)则计算量过于庞大，因此无法直接应用于HDR视频录制。加权平均是另一种常用的帧合并方法。以两帧图片合并为例，合并像素值P_new可以用式(1)计算：

P_new＝W₁P₁+(1+W₁)P₂       (1)

其中，P₁，P₂分别是欠曝光图和过曝光图上某一指定位置的像素值，W₁是0～1之间的数，表示像素1在合并像素中所占的权重。传统方法在分配权重时一般考虑的因素主要是像素的过曝光和欠曝光，并通常设定阈值来检测曝光的异常。过曝光或者欠曝光的像素权重会远低于正常像素值。以8位图像为例，采用式(2)计算权重：

其中，T₁和T₂分别为欠曝光和过曝光阈值。这种简单的区分过曝光和欠曝光对场景的适应性不好，很容易出现伪影，并且在像素合并时会出现过渡不自然的情况。

发明内容

本发明解决的技术问题是提供一种基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置，能够克服高速运动模糊问题，降低高速连拍的帧率。

为解决上述技术问题，本发明实施例提供一种基于拜尔颜色滤波阵列的高动态范围视频录制方法，其特征在于，方法包括：

按照奇偶双列配置不同的感光时间进行曝光，获得奇偶双列不同曝光值的一个图像帧，其中奇数双列为所述图像帧的总列数被4整除和余1的列，偶数双列为所述图像帧的总列数被4整除余2和余3的列；

将图像帧分解为欠曝光图像帧和过曝光图像帧，其中欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布，过曝光图像帧中过曝光双列与缺失双列依次间隔分布；

对于欠曝光图像帧，分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；

对于过曝光图像帧，分别在红绿蓝通道上根据过曝光双列像素点的像素值获取过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；

根据欠曝光图像帧和过曝光图像帧中红绿蓝通道上像素点的像素值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧。

其中，分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值的步骤包括：

用相邻的欠曝光双列像素点的像素值计算缺失双列像素点的像素估计值；

利用插值获得绿通道上缺失像素点的像素恢复值；

分别计算红蓝通道上像素点的像素值与绿通道上的像素恢复值的差；

对红蓝通道上像素点的像素值与绿通道上的像素恢复值的差做插值计算，获得红/蓝通道上缺失像素点的差的恢复值；

利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的恢复像素值相加，获得红蓝通道上的像素恢复值，以替换欠曝光图像帧像帧中缺失双列像素点的估计值，并作为对应像素点的像素值。

其中，分别在红绿蓝通道上根据过曝光双列像素点的像素值获取过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值的步骤包括：

用相邻的过曝光双列像素点的像素值计算缺失双列像素点的像素估计值；

利用插值获得绿通道上缺失像素点的像素恢复值；

分别计算红蓝通道上像素点的像素值与绿通道上的像素恢复值的差；

对红蓝通道上像素点的像素值与绿通道上的像素恢复值的差做插值计算，获得红/蓝通道上缺失像素点的差的恢复值；

利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的恢复像素值相加，获得红蓝通道上的像素恢复值，以替换过曝光图像帧中缺失双列像素点的估计值，并作为对应像素点的像素值。

其中，插值方法包括双线性插值、立方体插值中的至少一种。

其中，根据欠曝光图像帧和过曝光图像帧中红绿蓝通道上像素点的像素值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧的步骤包括：

根据红绿蓝通道上像素点的像素值分别获取欠曝光图像帧和过曝光图像帧中每个像素点的亮度；

根据欠曝光图像帧和过曝光图像帧中每个像素点的亮度获取每个像素点的权值；

根据每个像素点的权值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧。

其中，根据欠曝光图像帧和过曝光图像帧中每个像素点的亮度获取每个像素点的权值的步骤包括：

根据预设的欠曝光阈值T₁和过曝光阈值T₂利用以下关系式计算自适应的欠曝光阈值T_1,new和自适应的过曝光阈值T_2,new：

$T_{1,\mathrm{new}}={\max }_{x\&Element;\&cup;(P_1<T_1)}{P}_{2,x},$

$T_{2,\mathrm{new}}={\max }_{x\&Element;\&cup;(P_2>T_2)}{P}_{1,x}$

其中，P₁，P₂分别为欠曝光图像帧和过曝光图像帧中像素点的亮度，∪(P₁<T₁)表示P₁中所有小于T₁的欠曝光像素集，∪(P₂>T₂)表示P₂中所有大于T₂的过曝光像素集；

根据自适应的欠曝光阈值T_1,new和自适应的过曝光阈值T_2,new利用以下关系式计算每个像素点的权重：

其中，ω₁为欠曝光图像帧中亮度为P₁的像素点的权值，ω₂为过曝光图像帧中亮度为P₂的像素点的权值。

其中，根据每个像素点的权值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧的步骤包括：

采用二维高斯滤波器与对每个像素点的权值做卷积；

采用以下关系式进行帧合并计算，并做对比度拉伸：

q_new,i＝(1-ω₁)a₁q_1,i+(1-ω₂)a₂q_2,i+ω₁q_2,i+ω₂q_1,i     i＝1,2,3

其中， $a_1=1-\frac{|P_1-127|}{127},$ $a_2=1-\frac{|P_2-127|}{127},$ 用于增强对比度，q_1,i和q_2,i分别为RGB图的三个色彩通道。

为解决上述技术问题，本发明实施例还提供了一种基于拜尔颜色滤波阵列的高动态范围视频录制装置，其中，装置包括：

传感器模块，用于按照奇偶双列可配置不同的感光时间进行曝光，获得奇偶双列不同曝光值的图像帧，其中奇数双列为所述图像帧的总列数被4整除和余1的列，偶数双列为所述图像帧的总列数被4整除余2和余3的列；

分解模块，与传感器模块连接，用于将图像帧分解为欠曝光图像帧和过曝光图像帧，其中欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布，过曝光图像帧中过曝光双列与缺失双列依次间隔分布；

欠曝光像素恢复模块，与分解模块连接，用于对于欠曝光图像帧，分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；

过曝光像素恢复模块，与分解模块连接，用于对于过曝光图像帧，分别在红绿蓝通道上根据过曝光双列像素点的像素值获取过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；

合并模块，与欠曝光像素恢复模块以及分配曝光像素恢复模块连接，用于根据欠曝光图像帧和过曝光图像帧中红绿蓝通道上像素点的像素值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧。

其中，欠曝光像素恢复模块用于：

用相邻的欠曝光双列像素点的像素值计算缺失双列像素点的像素估计值；

利用插值获得绿通道上缺失像素点的像素恢复值；

分别计算红蓝通道上像素点的像素值与绿通道上的像素恢复值的差；

对红蓝通道上像素点的像素值与绿通道上的像素恢复值的差做插值计算，获得红/蓝通道上缺失像素点的差的恢复值；

利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的恢复像素值相加，获得红蓝通道上的像素恢复值，以替换欠曝光图像帧像帧中缺失双列像素点的估计值，并作为对应像素点的像素值。

其中，过曝光像素恢复模块用于：

用相邻的过曝光双列像素点的像素值计算缺失双列像素点的像素估计值；

利用插值获得绿通道上缺失像素点的像素恢复值；

分别计算红蓝通道上像素点的像素值与绿通道上的像素恢复值的差；

对红蓝通道上像素点的像素值与绿通道上的像素恢复值的差做插值计算，获得红/蓝通道上缺失像素点的差的恢复值；

利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的恢复像素值相加，获得红蓝通道上的像素恢复值，以替换过曝光图像帧中缺失双列像素点的估计值，并作为对应像素点的像素值。

其中，插值包括双线性插值、立方体插值中的至少一种。

其中，合并模块用于：

根据红绿蓝通道上像素点的像素值分别获取欠曝光图像帧和过曝光图像帧中每个像素点的亮度；

根据欠曝光图像帧和过曝光图像帧中每个像素点的亮度获取每个像素点的权值；

根据每个像素点的权值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧。

其中，合并模块还用于：

根据预设的欠曝光阈值T₁和过曝光阈值T₂利用以下关系式计算自适应的欠曝光阈值T_1,new和自适应的过曝光阈值T_2,new：

$T_{1,\mathrm{new}}={\max }_{x\&Element;\&cup;(P_1<T_1)}{P}_{2,x},$

$T_{2,\mathrm{new}}={\max }_{x\&Element;\&cup;(P_2>T_2)}{P}_{1,x}$

其中，P₁，P₂分别为欠曝光图像帧和过曝光图像帧中像素点的亮度，∪(P₁<T₁)表示P₁中所有小于T₁的欠曝光像素集，∪(P₂>T₂)表示P₂中所有大于T₂的过曝光像素集；

根据自适应的欠曝光阈值T_1,new和自适应的过曝光阈值T_2,new利用以下关系式计算每个像素点的权重：

其中，ω₁为欠曝光图像帧中亮度为P₁的像素点的权值，ω₂为过曝光图像帧中亮度为P₂的像素点的权值。

其中，合并模块还用于：

采用二维高斯滤波器与对每个像素点的权值做卷积；

采用以下关系式进行帧合并计算，并做对比度拉伸：

q_new,i＝(1-ω₁)a₁q_1,i+(1-ω₂)a₂q_2,i+ω₁q_2,i+ω₂q_1,i     i＝1,2,3

其中， $a_1=1-\frac{|P_1-127|}{127},$ $a_2=1-\frac{|P_2-127|}{127},$ 用于增强对比度，q_1,i和q_2,i分别为RGB图的三个色彩通道。

通过上述方案，与现有技术相比，本发明的有益效果是：通过按照奇偶双列配置不同的感光时间进行曝光，获得奇偶双列不同曝光值的一个图像帧；将图像帧分解为欠曝光图像帧和过曝光图像帧，其中欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布，过曝光图像帧中过曝光双列与缺失双列依次间隔分布；对于欠曝光图像帧，分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；对于过曝光图像帧，分别在红绿蓝通道上根据过曝光双列像素点的像素值获取过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；再根据欠曝光图像帧和过曝光图像帧中红绿蓝通道上像素点的像素值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧，能够克服高速运动模糊问题，降低高速连拍的帧率。

附图说明

图1是本发明第一实施例的基于拜尔颜色滤波阵列的高动态范围视频录制方法的流程示意图；

图2是本发明第一实施例的曝光的拜尔图；

图3是本发明第一实施例中步骤S12的实现方法的流程示意图；

图4是本发明第一实施例的步骤S12中缺失双列像素点的像素估计值获取方法示意图；

图5是本发明第一实施例的步骤S12中红通道上像素点的像素恢复值获取方法示意图；

图6是本发明第一实施例中步骤S14的实现方法的流程示意图；

图7是本发明基于拜尔颜色滤波阵列的高动态范围视频录制方法的结果示意图；

图8是本发明第一实施例的基于拜尔颜色滤波阵列的高动态范围视频录制装置的结构示意图。

具体实施方式

请参阅图1，图1是本发明第一实施例的基于拜尔颜色滤波阵列的高动态范围视频录制方法的流程示意图。如图1所示，基于拜尔颜色滤波阵列的高动态范围视频录制方法包括：

步骤S10：按照奇偶双列配置不同的感光时间进行曝光，获得奇偶双列不同曝光值的一个图像帧，其中奇数双列为图像帧的总列数被4整除和余1的列，偶数双列为图像帧的总列数被4整除余2和余3的列。

在本发明中采用的拜尔图中，一个颜色滤波单元包含一个R和B单元，两个G单元，空间上呈2x2排列，即每个颜色滤波单元占两行和两列。具体地，定义列标号为c，0<＝c<＝C，其中C为图像帧的总列数，且C一般为偶数，优选地，C为4的倍数。定义奇数双列为(c1,c2)，其中c1被4整除，c2被4整除余1，c2＝c1+1；定义偶数双列为(c3,c4)，其中c3被4整除余2，c4被4整除余3，c4＝c3+1。这样配置保证了奇数双列和偶数双列都完整的包含了一组拜尔色彩阵列。

在步骤S10中，如图2所示，以双列为单位，采用奇数双列和偶数双列分别曝光的方法，即对于奇数双列进行欠曝光，对于偶数双列进行过曝光，得到奇偶双列不同曝光值的一个图像帧。例如，通过设计传感器按照奇偶双列配置不同的感光时间，从而获得两个不同的曝光值的图像帧，此时每个图像帧只有原始帧的一半宽度。如此，如果用传统的方法60帧/秒的帧率拍摄的视频，在本发明中只需要30帧/秒的帧率就可以达到相同的效果。当然在本发明的其它实施例中，也可以是对于偶数双列进行欠曝光，对于奇数双列进行过曝光。这种单帧多曝光的方法保证了每一列曝光必定包含一组完整的颜色滤波单元。

步骤S11：将图像帧分解为欠曝光图像帧和过曝光图像帧，其中欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布，过曝光图像帧中过曝光双列与缺失双列依次间隔分布。

在步骤S11中，对步骤S10中得到的图像帧进行分解，得到欠曝光图像帧和过曝光图像帧。具体地，在原始图像帧中，欠曝光的奇数双列保持不变，偶数双列改为缺失列，得到欠曝光图像帧。在原始图像帧中，过曝光的偶数双列保持不变，奇数双列改为缺失列，得到过曝光图像帧。所以欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布，过曝光图像帧中过曝光双列与缺失双列依次间隔分布。

步骤S12：对于欠曝光图像帧，分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值。

对于欠曝光图像帧，如图3所示，对欠曝光图像帧中的RGB信息的恢复包括：

步骤S120：用相邻的欠曝光双列像素点的像素值计算缺失双列像素点的像素估计值。

在欠曝光图像帧中，偶数双列为缺失列，在步骤S120中，采用相邻的奇数双列插值计算偶数双列的缺失值。如图4所示，例如采用平均的插值方式，即R3＝(R1+R5)/2，G4＝(G2+G6)/2，G9＝(G7+G11)/2，B10＝(B8+B12)/2。

步骤S121：利用插值获得绿通道上缺失像素点的像素恢复值。

考虑到欠曝光图像帧中绿通道的信息比红蓝通道多，首先用插值方法恢复绿通道的信息。该插值方法包括双线性插值、立方体插值中的至少一种，当然在本发明的其它实施例中，也可以应用其他的插值方法恢复绿通道的信息。

步骤S122：分别计算红蓝通道上像素点的像素值与绿通道上的像素恢复值的差。

考虑到欠曝光图像帧中红蓝通道的像素数较少，不直接针对红蓝通道的像素进行恢复，而是针对红蓝通道已知像素与绿通道的差，以用于恢复红蓝通道的像素。具体地，如图5所示，以红通道为例，红通道已知像素与绿通道的差值R1，记作R1＝R-G，其中R为成像位置的红色像素值，G是对应位置绿通道的像素恢复值。

步骤S123：对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插值计算，获得红/蓝通道上缺失像素点的差的恢复值。即对红通道已知像素与绿通道的差值R1做插值，以得到红通道上缺失像素点的差的恢复值。

步骤S124：利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相加，获得红蓝通道上的像素恢复值，以替换所述欠曝光图像帧像帧中所述缺失双列像素点的估计值，并作为对应像素点的像素值。

得到红通道上缺失像素点的差的恢复值R1之后，红像素的估计值R为红通道上缺失像素点的差的恢复值R1与绿通道上的恢复像素值G之和，即R＝R1+G。图5中的恢复信息中在右侧有一列是缺失列。当缺失列在左侧时，很容易用类似的计算方法获得缺失列的像素恢复值。以此时的缺失列的像素恢复值替换根据相邻的奇数双列的插值计算得到的偶数双列所得的缺失值。蓝通道采用图5所示的相同的方法进行处理，在此不再赘述。最终得到欠曝光图像帧中红绿蓝三通道上缺失列的像素恢复值，以用于后续的合并帧的处理。

再参照图1所示，步骤S13：对于过曝光图像帧，分别在红绿蓝通道上根据过曝光双列像素点的像素值获取过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值。

利用插值获得绿通道上缺失像素点的像素恢复值；分别计算红蓝通道上像素点的像素值与绿通道上的像素恢复值的差；对红蓝通道上像素点的像素值与绿通道上的像素恢复值的差做插值计算，获得红/蓝通道上缺失像素点的差的恢复值；利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的恢复像素值相加，获得红蓝通道上的像素恢复值，以替换过曝光图像帧中缺失双列像素点的估计值，并作为对应像素点的像素值。具体地与图5中过曝光图像帧中缺失双列像素点的像素恢复值的获取方法相同，在此不再赘述。最终得到过曝光图像帧中红绿蓝三通道上缺失列的像素恢复值，以用于后续的合并帧的处理。

步骤S14：根据欠曝光图像帧和过曝光图像帧中红绿蓝通道上像素点的像素值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧。

传统的HDR视频采用的帧合并计算中出现伪影和过度不自然的问题，伪影产生的根源在于帧合并时，过渡带存在亮度反转的现象，传统方法在选取高光和低光阈值时无法避免这个问题，在大变光区域这个问题就会显现出来。而过度不自然则是因为没有考虑孤立点和孤立块的情况。由于自然场景的光线复杂，很容易产生过曝光和欠曝光区域交织的情况，简单的合并很容易造成过度不自然的问题。如图6所示，合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧包括：

步骤S140：根据红绿蓝通道上像素点的像素值分别获取欠曝光图像帧和过曝光图像帧中每个像素点的亮度。

在步骤S140中，亮度的获取采用现有技术，如亮度可以为(R+G+B)/3，当然也可以采用其他方法根据红绿蓝通道上像素点的像素值来获取亮度。

步骤S141：根据欠曝光图像帧和过曝光图像帧中每个像素点的亮度获取每个像素点的权值。

在步骤S141中，根据预设的欠曝光阈值T₁和过曝光阈值T₂利用以下关系式计算自适应的欠曝光阈值T_1,new和自适应的过曝光阈值T_2,new：

$T_{1,\mathrm{new}}={\max }_{x\&Element;\&cup;(P_1<T_1)}{P}_{2,x},$

$T_{2,\mathrm{new}}={\max }_{x\&Element;\&cup;(P_2>T_2)}{P}_{1,x}$

其中，P₁，P₂分别为欠曝光图像帧和过曝光图像帧中像素点的亮度，∪(P₁<T₁)表示P₁中所有小于T₁的欠曝光像素集，∪(P₂>T₂)表示P₂中所有大于T₂的过曝光像素集。可见，T_1,new表示P₂中对应P₁中欠曝光位置的像素值上界，T_2,new表示P₁中对应P₂中过曝光位置的像素值下界。

然后根据自适应的欠曝光阈值T_1,new和自适应的过曝光阈值T_2,new利用以下关系式计算每个像素点的权重：

其中，ω₁ω₁为欠曝光图像帧中亮度为P₁的像素点的权值，ω₂为过曝光图像帧中亮度为P₂的像素点的权值。

步骤S142：根据每个像素点的权值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧。

为了避免过曝光和欠曝光区域交织导致的过度不自然的问题，对权重图ω₁,ω₂做高斯模糊化。在步骤S142中，首先采用二维高斯滤波器与对每个像素点的权值做卷积。具体地，采用窗宽为H，方差为σ的二维高斯滤波器与ω₁,ω₂做卷积。H与图像帧的尺寸有关，一般选取σ＝H/6，当然方差σ也可以根据需要选取其他值。

然后采用以下关系式进行帧合并计算，并做对比度拉伸：

q_new,i＝(1-ω₁)a₁q_1,i+(1-ω₂)a₂q_2,i+ω₁q_2,i+ω₂q_1,i   i＝1,2,3

其中， $a_1=1-\frac{|P_1-127|}{127},$ $a_2=1-\frac{|P_2-127|}{127},$ 用于增强对比度，q_1,i和q_2,i分别为RGB图的三个色彩通道。

对依传统方法和本发明方法拍摄的图片进行对比，如图7所示，左上角的图片是欠曝光的图片，右上角是过曝光的图片，左下角是应用传统方法合并的图片，右下角是应用本发明的方法获取的图片。可见，根据本发明的方法拍摄的图片对比度较好，不存在伪影，过渡带自然，要优于传统方法。

在本发明实施例中，通过按照奇偶双列配置不同的感光时间进行曝光，获得奇偶双列不同曝光值的一个图像帧；将图像帧分解为欠曝光图像帧和过曝光图像帧，其中欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布，过曝光图像帧中过曝光双列与缺失双列依次间隔分布；对于欠曝光图像帧，分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；对于过曝光图像帧，分别在红绿蓝通道上根据过曝光双列像素点的像素值获取过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；再根据欠曝光图像帧和过曝光图像帧中红绿蓝通道上像素点的像素值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧，能够克服高速运动模糊问题，降低高速连拍的帧率，同时能够解决伪影和过度不自然的问题。

请参阅图8，图8是本发明第一实施例的基于拜尔颜色滤波阵列的高动态范围视频录制装置的结构示意图。如图8所示，基于拜尔颜色滤波阵列的高动态范围视频录制装置10包括：传感器模块11、分解模块12、欠曝光像素恢复模块13、过曝光像素恢复模块14以及合并模块15。传感器模块11用于按照奇偶双列可配置不同的感光时间进行曝光，获得奇偶双列不同曝光值的图像帧。分解模块12与传感器模块11连接，用于将图像帧分解为欠曝光图像帧和过曝光图像帧，其中欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布，过曝光图像帧中过曝光双列与缺失双列依次间隔分布。欠曝光像素恢复模块13与分解模块12连接，用于对于欠曝光图像帧，分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值。过曝光像素恢复模块14与分解模块12连接，用于对于过曝光图像帧，分别在红绿蓝通道上根据过曝光双列像素点的像素值获取过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值。合并模块15与欠曝光像素恢复模块13以及分配曝光像素恢复模块14连接，用于根据欠曝光图像帧和过曝光图像帧中红绿蓝通道上像素点的像素值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧。

在本发明实施例中，在本发明中采用的拜尔图中，一个颜色滤波单元包含一个R和B单元，两个G单元，空间上呈2x2排列，即每个颜色滤波单元占两行和两列。传感器模块11采用奇数双列和偶数双列分别曝光的方法，即对于奇数双列进行欠曝光，对于偶数双列进行过曝光，得到奇偶双列不同曝光值的一个图像帧。这种曝光方法保证了每一列曝光必定包含一组完整的颜色滤波单元。分解模块12将图像帧进行分解，得到欠曝光图像帧和过曝光图像帧。具体地，在原始图像帧中，欠曝光的奇数双列保持不变，偶数双列改为缺失列，得到欠曝光图像帧。在原始图像帧中，过曝光的偶数双列保持不变，奇数双列改为缺失列，得到过曝光图像帧。所以欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布，过曝光图像帧中过曝光双列与缺失双列依次间隔分布。

具体地，欠曝光像素恢复模块13用于：用相邻的欠曝光双列像素点的像素值计算缺失双列像素点的像素估计值；例如采用平均的插值方式。考虑到欠曝光图像帧中绿通道的信息比红蓝通道多，首先利用插值获得绿通道上缺失像素点的像素恢复值。该插值方法包括双线性插值、立方体插值中的至少一种，当然在本发明的其它实施例中，也可以应用其他的插值方法恢复绿通道的信息。再分别计算红蓝通道上像素点的像素值与绿通道上的像素恢复值的差；并对红蓝通道上像素点的像素值与绿通道上的像素恢复值的差做插值计算，获得红/蓝通道上缺失像素点的差的恢复值。此处的插值方法与前述的相同，即包括双线性插值、立方体插值中的至少一种。最后利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的恢复像素值相加，获得红蓝通道上的像素恢复值，以替换欠曝光图像帧像帧中缺失双列像素点的估计值，并作为对应像素点的像素值。蓝通道采用上述相同的方法进行处理，在此不再赘述。最终得到欠曝光图像帧中红绿蓝三通道上缺失列的像素恢复值，以用于后续的合并帧的处理。

过曝光像素恢复模块14用于：用相邻的过曝光双列像素点的像素值计算缺失双列像素点的像素估计值；例如采用平均的插值方式。考虑到欠曝光图像帧中绿通道的信息比红蓝通道多，首先利用插值获得绿通道上缺失像素点的像素恢复值；该插值方法包括双线性插值、立方体插值中的至少一种，当然在本发明的其它实施例中，也可以应用其他的插值方法恢复绿通道的信息。再分别计算红蓝通道上像素点的像素值与绿通道上的像素恢复值的差；并对红蓝通道上像素点的像素值与绿通道上的像素恢复值的差做插值计算，获得红/蓝通道上缺失像素点的差的恢复值；此处的插值方法与前述的相同，即包括双线性插值、立方体插值中的至少一种。最后利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的恢复像素值相加，获得红蓝通道上的像素恢复值，以替换过曝光图像帧中缺失双列像素点的估计值，并作为对应像素点的像素值。蓝通道采用上述相同的方法进行处理，在此不再赘述。最终得到过曝光图像帧中红绿蓝三通道上缺失列的像素恢复值，以用于后续的合并帧的处理。

合并模块15用于：根据红绿蓝通道上像素点的像素值分别获取欠曝光图像帧和过曝光图像帧中每个像素点的亮度。亮度的获取采用现有技术，如亮度可以为(R+G+B)/3，当然也可以采用其他方法根据红绿蓝通道上像素点的像素值来获取亮度。然后根据欠曝光图像帧和过曝光图像帧中每个像素点的亮度获取每个像素点的权值。具体地，根据预设的欠曝光阈值T₁和过曝光阈值T₂利用以下关系式计算自适应的欠曝光阈值T_1,new和自适应的过曝光阈值T_2,new：

$T_{1,\mathrm{new}}={\max }_{x\&Element;\&cup;(P_1<T_1)}{P}_{2,x},$

$T_{2,\mathrm{new}}={\max }_{x\&Element;\&cup;(P_2>T_2)}{P}_{1,x}$

其中，P₁，P₂分别为欠曝光图像帧和过曝光图像帧中像素点的亮度，∪(P₁<T₁)表示P₁中所有小于T₁的欠曝光像素集，∪(P₂>T₂)表示P₂中所有大于T₂的过曝光像素集。可见，T_1,new表示P₂中对应P₁中欠曝光位置的像素值上界，T_2,new表示P₁中对应P₂中过曝光位置的像素值下界。然后根据自适应的欠曝光阈值T_1,new和自适应的过曝光阈值T_2,new利用以下关系式计算每个像素点的权重：

其中，ω₁为欠曝光图像帧中亮度为P₁的像素点的权值，ω₂为过曝光图像帧中亮度为P₂的像素点的权值。最后根据每个像素点的权值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧。

为了避免过曝光和欠曝光区域交织导致的过度不自然的问题，对权重图ω₁,ω₂做高斯模糊化。即采用二维高斯滤波器与对每个像素点的权值做卷积，具体地，采用窗宽为H，方差为σ的二维高斯滤波器与ω₁,ω₂做卷积。H与图像帧的尺寸有关，一般选取σ＝H/6，当然方差σ也可以根据需要选取其他值。然后采用以下关系式进行帧合并计算，并做对比度拉伸：

q_new,i＝(1-ω₁)a₁q_1,i+(1-ω₂)a₂q_2,i+ω₁q_2,i+ω₂q_1,i   i＝1,2,3

其中， $a_1=1-\frac{|P_1-127|}{127},$ $a_2=1-\frac{|P_2-127|}{127},$ 用于增强对比度，q_1,i和q_2,i分别为RGB图的三个色彩通道。根据本发明的方法拍摄的图片对比度较好，不存在伪影，过渡带自然，要优于传统方法。

综上所述，本发明通过按照奇偶双列配置不同的感光时间进行曝光，获得奇偶双列不同曝光值的一个图像帧；将图像帧分解为欠曝光图像帧和过曝光图像帧，其中欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布，过曝光图像帧中过曝光双列与缺失双列依次间隔分布；对于欠曝光图像帧，分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；对于过曝光图像帧，分别在红绿蓝通道上根据过曝光双列像素点的像素值获取过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；再根据欠曝光图像帧和过曝光图像帧中红绿蓝通道上像素点的像素值合并过曝光图像帧和欠曝光图像帧，获得一个高动态范围帧，能够克服高速运动模糊问题，降低高速连拍的帧率，合并图像帧时对权重的进一步处理还可以解决伪影和过度不自然的问题。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (14)

1.一种基于拜尔颜色滤波阵列的高动态范围视频录制方法，其特征在于，所述方法包括：

按照奇偶双列配置不同的感光时间进行曝光，获得奇偶双列不同曝光值的一个图像帧，其中奇数双列为所述图像帧的总列数被4整除和余1的列，偶数双列为所述图像帧的总列数被4整除余2和余3的列；

将所述图像帧分解为欠曝光图像帧和过曝光图像帧，其中所述欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布，所述过曝光图像帧中过曝光双列与缺失双列依次间隔分布；

对于所述欠曝光图像帧，分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取所述欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；

对于所述过曝光图像帧，分别在红绿蓝通道上根据过曝光双列像素点的像素值获取所述过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；

根据所述欠曝光图像帧和所述过曝光图像帧中所述红绿蓝通道上像素点的像素值合并所述过曝光图像帧和所述欠曝光图像帧，获得一个高动态范围帧。

2.根据权利要求1所述的方法，其特征在于，所述分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取所述欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值的步骤包括：

用相邻的欠曝光双列像素点的像素值计算缺失双列像素点的像素估计值；

利用插值获得绿通道上缺失像素点的像素恢复值；

分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差；

对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插值计算，获得红/蓝通道上缺失像素点的差的恢复值；

利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相加，获得红蓝通道上的像素恢复值，以替换所述欠曝光图像帧像帧中所述缺失双列像素点的估计值，并作为对应像素点的像素值。

3.根据权利要求1所述的方法，其特征在于，所述分别在红绿蓝通道上根据过曝光双列像素点的像素值获取所述过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值的步骤包括：

用相邻的过曝光双列像素点的像素值计算缺失双列像素点的像素估计值；

利用插值获得绿通道上缺失像素点的像素恢复值；

分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差；

对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插值计算，获得红/蓝通道上缺失像素点的差的恢复值；

利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相加，获得红蓝通道上的像素恢复值，以替换所述过曝光图像帧中所述缺失双列像素点的估计值，并作为对应像素点的像素值。

4.根据权利要求2或3任一项所述的方法，其特征在于，所述插值方法包括双线性插值、立方体插值中的至少一种。

5.根据权利要求1所述的方法，其特征在于，所述根据所述欠曝光图像帧和所述过曝光图像帧中所述红绿蓝通道上像素点的像素值合并所述过曝光图像帧和所述欠曝光图像帧，获得一个高动态范围帧的步骤包括：

根据所述红绿蓝通道上像素点的像素值分别获取所述欠曝光图像帧和所述过曝光图像帧中每个像素点的亮度；

根据所述欠曝光图像帧和所述过曝光图像帧中每个像素点的亮度获取每个像素点的权值；

根据每个像素点的所述权值合并所述过曝光图像帧和所述欠曝光图像帧，获得一个高动态范围帧。

6.根据权利要求5所述的方法，其特征在于，所述根据所述欠曝光图像帧和所述过曝光图像帧中每个像素点的亮度获取每个像素点的权值的步骤包括：

根据预设的欠曝光阈值T₁和过曝光阈值T₂利用以下关系式计算自适应的欠曝光阈值T_1,new和自适应的过曝光阈值T_2,new：

$T_{1,\mathrm{new}}={\max }_{x\&Element;\&cup;(P_1<T_1)}{P}_{2,x},$

$T_{2,\mathrm{new}}={\max }_{x\&Element;\&cup;(P_2>T_2)}{P}_{1,x}$

其中，P₁，P₂分别为所述欠曝光图像帧和所述过曝光图像帧中像素点的亮度，∪(P₁<T₁)表示P₁中所有小于T₁的欠曝光像素集，∪(P₂>T₂)表示P₂中所有大于T₂的过曝光像素集；

根据所述自适应的欠曝光阈值T_1,new和所述自适应的过曝光阈值T_2,new利用以下关系式计算所述每个像素点的权重：

其中，ω₁为所述欠曝光图像帧中亮度为P₁的像素点的权值，ω₂为所述过曝光图像帧中亮度为P₂的像素点的权值。

7.根据权利要求6所述的方法，其特征在于，所述根据每个像素点的所述权值合并所述过曝光图像帧和所述欠曝光图像帧，获得一个高动态范围帧的步骤包括：

采用二维高斯滤波器与对每个像素点的所述权值做卷积；

采用以下关系式进行帧合并计算，并做对比度拉伸：

q_new,i＝(1-ω₁)a₁q_1,i+(1-ω₂)a₂q_2,i+ω₁q_2,i+ω₂q_1,i      i＝1,2,3

其中， $a_1=1-\frac{|P_1-127|}{127},$ $a_2=1-\frac{|P_2-127|}{127},$ 用于增强对比度，q_1,i和q_2,i分别为RGB图的三个色彩通道。

8.一种基于拜尔颜色滤波阵列的高动态范围视频录制装置，其特征在于，所述装置包括：

传感器模块，用于按照奇偶双列可配置不同的感光时间进行曝光，获得奇偶双列不同曝光值的图像帧，其中奇数双列为所述图像帧的总列数被4整除和余1的列，偶数双列为所述图像帧的总列数被4整除余2和余3的列；

分解模块，与所述传感器模块连接，用于将所述图像帧分解为欠曝光图像帧和过曝光图像帧，其中所述欠曝光图像帧中欠曝光双列与缺失双列依次间隔分布，所述过曝光图像帧中过曝光双列与缺失双列依次间隔分布；

欠曝光像素恢复模块，与所述分解模块连接，用于对于所述欠曝光图像帧，分别在红绿蓝通道上根据欠曝光双列像素点的像素值获取所述欠曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；

过曝光像素恢复模块，与所述分解模块连接，用于对于所述过曝光图像帧，分别在红绿蓝通道上根据过曝光双列像素点的像素值获取所述过曝光图像帧中缺失双列像素点的像素恢复值作为对应像素点的像素值；

合并模块，与所述欠曝光像素恢复模块以及所述分配曝光像素恢复模块连接，用于根据所述欠曝光图像帧和所述过曝光图像帧中所述红绿蓝通道上像素点的像素值合并所述过曝光图像帧和所述欠曝光图像帧，获得一个高动态范围帧。

9.根据权利要求8所述的装置，其特征在于，所述欠曝光像素恢复模块用于：

用相邻的欠曝光双列像素点的像素值计算缺失双列像素点的像素估计值；

利用插值获得绿通道上缺失像素点的像素恢复值；

分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差；

对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插值计算，获得红/蓝通道上缺失像素点的差的恢复值；

利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相加，获得红蓝通道上的像素恢复值，以替换所述欠曝光图像帧像帧中所述缺失双列像素点的估计值，并作为对应像素点的像素值。

10.根据权利要求8所述的装置，其特征在于，所述过曝光像素恢复模块用于：

用相邻的过曝光双列像素点的像素值计算缺失双列像素点的像素估计值；

利用插值获得绿通道上缺失像素点的像素恢复值；

分别计算红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差；

对所述红蓝通道上像素点的像素值与绿通道上的所述像素恢复值的差做插值计算，获得红/蓝通道上缺失像素点的差的恢复值；

利用红/蓝通道上缺失像素点的差的恢复值与绿通道上的所述恢复像素值相加，获得红蓝通道上的像素恢复值，以替换所述过曝光图像帧中所述缺失双列像素点的估计值，并作为对应像素点的像素值。

11.根据权利要求9或10任一项所述的装置，其特征在于，所述插值包括双线性插值、立方体插值中的至少一种。

12.根据权利要求8所述的装置，其特征在于，所述合并模块用于：

根据所述红绿蓝通道上像素点的像素值分别获取所述欠曝光图像帧和所述过曝光图像帧中每个像素点的亮度；

根据所述欠曝光图像帧和所述过曝光图像帧中每个像素点的亮度获取每个像素点的权值；

根据每个像素点的所述权值合并所述过曝光图像帧和所述欠曝光图像帧，获得一个高动态范围帧。

13.根据权利要求12所述的装置，其特征在于，所述合并模块还用于：

根据预设的欠曝光阈值T₁和过曝光阈值T₂利用以下关系式计算自适应的欠曝光阈值T_1,new和自适应的过曝光阈值T_2,new：

$T_{1,\mathrm{new}}={\max }_{x\&Element;\&cup;(P_1<T_1)}{P}_{2,x},$

$T_{2,\mathrm{new}}={\max }_{x\&Element;\&cup;(P_2>T_2)}{P}_{1,x}$

其中，P₁，P₂分别为所述欠曝光图像帧和所述过曝光图像帧中像素点的亮度，∪(P₁<T₁)表示P₁中所有小于T₁的欠曝光像素集，∪(P₂>T₂)表示P₂中所有大于T₂的过曝光像素集；

根据所述自适应的欠曝光阈值T_1,new和所述自适应的过曝光阈值T_2,new利用以下关系式计算所述每个像素点的权重：

其中，ω₁为所述欠曝光图像帧中亮度为P₁的像素点的权值，ω₂为所述过曝光图像帧中亮度为P₂的像素点的权值。

14.根据权利要求13所述的装置，其特征在于，所述合并模块还用于：

采用二维高斯滤波器与对每个像素点的所述权值做卷积；

采用以下关系式进行帧合并计算，并做对比度拉伸：

q_new,i＝(1-ω₁)a₁q_1,i+(1-ω₂)a₂q_2,i+ω₁q_2,i+ω₂q_1,i       i＝1,2,3

其中， $a_1=1-\frac{|P_1-127|}{127},$ $a_2=1-\frac{|P_2-127|}{127},$ 用于增强对比度，q_1,i和q_2,i分别为RGB图的三个色彩通道。