CN101917551B - 一种多次曝光的高动态范围图像获取方法 - Google Patents

Abstract

本发明公开了一种多次曝光的高动态范围图像获取方法。它是将电荷耦合元件采用初始曝光时间t₀进行曝光所获得的亮图和暗图的全部像素的平均亮度值

与理想平均亮度值B₀进行比较，通过数字信号处理器计算出新的曝光时间t_new，电荷耦合元件采用新的曝光时间t_new进行曝光，获得一幅亮图和暗图，将亮图的第1个到第N个像素的亮度值和暗图的第1个到第N个像素的亮度值分别与阈值S进行比较，通过所述公式得到高动态范围图像第1个到第N个像素的亮度值，由N个像素的亮度值组成的图像即为高动态范围图像。本发明是通过图像传感器单次曝光获得一幅高动态范围图像，解决了现有图像获取方法动态范围小、无法在运动场景中使用等技术问题，而且具有生产成本低的优势。

Description

一种多次曝光的高动态范围图像获取方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种多次曝光的高动态范围图像获取方法。

背景技术

电荷耦合器件(CCD)是一种广泛使用的图像传感器。然而，这种技术面临的一个严重问题是其动态范围的限制。自然场景的动态范围多数超过100dB，而传统的成像技术大多只能达到约60-70dB。这就造成在大动态范围的场景中采集的图像既有过曝光区域又有欠曝光区域，而过曝光和欠曝光都意味着图像细节的丢失。

为了解决上述问题，有人提出了改进的方法，这些方法可以分为两种：一种是基于多次曝光的方法来拟合高动态范围图像(HDRI)；另一种是单次曝光直接获得HDRI。

基于多次曝光拟合HDRI的方法在当今高端数码照相机中被广泛采用，即所谓的“包围曝光功能”。它的基本原理是，首先使用预设的曝光时间拍摄一幅图像，再使用比预设值短的曝光时间拍摄一幅亮度较暗的图像，最后使用比预设值长的曝光时间拍摄一幅亮度较亮的图像，然后将这三幅图像按照一定的方法进行合成，最后可以得到一幅HDRI。这种方法由于直接使用普通的影响采集设备，因而具有成本低的优势。但是，由于上述三幅图像分别拍摄于三个不同的时间，因此在运动场景中不能完全重合，因此得到的HDRI会发生错误，严重限制了这种方法的应用范围。

基于单次曝光直接获得HDRI的方法因其在运动场景中的良好表现近年来越来越得到人们的重视。然而，提出的改进方案多半只局限在对图像传感器本身的改进上，例如改变传感器的单元结构以直接获得大动态范围的图像。这些方法固然可行，但是重新设计感光芯片并进行流片，其消耗的成本是非常可观的，因此直接限制了这些方法的实际应用。

发明内容

本发明的目的是克服现有技术的不足，提供一种多次曝光的高动态范围图像获取方法。

多次曝光的高动态范围图像获取方法包括如下步骤：

1)电荷耦合元件采用初始曝光时间t0进行曝光，将电荷耦合元件输出的模拟电信号通过串行信号线分别输入高增益模拟数字转换器和低增益模拟数字转换器进行采样，由高增益模拟数字转换器通过数字并行总线输出一幅亮图，由低增益模拟数字转换器通过数字并行总线输出一幅暗图；

2)将亮图和暗图存储于随机存储器中，数字信号处理器通过数字并行总线读取随机存储器中的亮图和暗图中像素的亮度值，并采用如下公式计算亮图和暗图的全部像素的平均亮度值

$\stackrel{\‾}{B}=\frac{1}{2N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(u_i+v_i)$

其中，是亮图和暗图的全部像素的平均亮度值，u_i是亮图的第i个像素的亮度值，v_i是暗图的第i个像素的亮度值，N是亮图的总像素个数；

3)将亮图和暗图的全部像素的平均亮度值

与预先设定的理想平均亮度值B₀进行比较，若亮图和暗图的全部像素的平均亮度值

与理想平均亮度值B₀的差的绝对值小于设定的阈值γ，则进入步骤6)，若亮图和暗图的全部像素的平均亮度值

与理想平均亮度值B₀的差的绝对值

大于或等于设定的阈值γ，则进入步骤4)；在8位灰度图像中理想平均亮度值B₀是0到255之间的任意整数，通常取128，阈值γ是0到128之间的常数，通常取10；

4)通过数字信号处理器计算出新的曝光时间t_new：

$t_{\mathrm{new}}=(B_0-\stackrel{\‾}{B})\×\frac{B_0}{\stackrel{\‾}{B}}\×\mathrm{\Δ}+t_{\mathrm{old}}$

其中，t_new是新的曝光时间，

是亮图和暗图的全部像素的平均亮度值，B₀是理想平均亮度值，步长Δ是正实数，t_old是采集当前的亮图和暗图时所采用的曝光时间；

5)电荷耦合元件采用新的曝光时间t_new进行曝光，将电荷耦合元件输出的模拟电信号通过串行信号线分别输入高增益模拟数字转换器和低增益模拟数字转换器进行采样，由高增益模拟数字转换器通过数字并行总线输出一幅亮图，由低增益模拟数字转换器通过数字并行总线输出一幅暗图；重复步骤2)到步骤5)，直至满足亮图和暗图的全部像素的平均亮度值与理想平均亮度值B₀的差的绝对值

小于设定的阈值γ，则由步骤3)进入步骤6)；

6)将亮图的第1个像素的亮度值和暗图的第1个像素的亮度值分别与阈值S进行比较，0≤S≤255，选取最接近阈值S的像素的亮度值作为高动态范围图像的第1个像素的亮度值；依次重复上述操作，最后将亮图中第N个像素的亮度值和暗图第N个像素的亮度值与阈值S进行比较，选取最接近阈值S的像素的亮度值作为高动态范围图像的第N个像素的亮度值；从而得到高动态范围图像第1个到第N个像素的亮度值，由N个像素的亮度值组成的图像即为高动态范围图像；

或者将亮图的第1个像素的亮度值与阈值S进行比较，0≤S≤255，如果亮图的第1个像素的亮度值大于阈值S，则权重系数w取0到0.5之间的常数，如果亮图的第1个像素的亮度值小于或等于阈值S，则权重系数w取0.5到1之间的常数；依次重复上述操作，最后将亮图的第N个像素的亮度值与阈值S进行比较，0≤S≤255，如果亮图的第N个像素的亮度值大于阈值S，则权重系数w取0到0.5之间的常数，如果亮图的第N个像素的亮度值小于或等于阈值S，则权重系数w取0.5到1之间的常数；

采用如下公式计算高动态范围图像第1个到第N个像素的亮度值：

H＝w×u_i+(1-w)×v_i

H为高动态范围图像的亮度值，u_i是亮图的像素的亮度值，v_i是暗图的像素的亮度值，w为权重系数；

从而得到高动态范围图像第1个到第N个像素的亮度值，由N个像素的亮度值组成的图像即为高动态范围图像。

本发明是通过图像传感器多次曝光获得一幅高动态范围图像，解决了现有图像获取方法动态范围小、无法在运动场景中使用等技术问题，而且具有生产成本低的优势。

附图说明

图1是多次曝光的高动态范围图像获取方法的流程图；

图2是高增益模拟数字转换器通过数字并行总线输出的一幅亮图；

图3是低增益模拟数字转换器通过数字并行总线输出的一幅暗图；

图4是采用本发明所述方法由图2图3合成的高动态范围图像。

具体实施方式

如图1所示，多次曝光的高动态范围图像(HDRI)获取方法包括如下步骤：

1)电荷耦合元件(Charge-coupled Device，CCD)采用初始曝光时间t₀进行曝光，将电荷耦合元件输出的模拟电信号通过串行信号线分别输入高增益模拟数字转换器(Analog-digital Converter，ADC)和低增益模拟数字转换器进行采样，由高增益模拟数字转换器通过数字并行总线输出一幅亮图，由低增益模拟数字转换器通过数字并行总线输出一幅暗图；

2)将亮图和暗图存储于随机存储器中，数字信号处理器通过数字并行总线读取随机存储器中的亮图和暗图中像素的亮度值，并采用如下公式计算亮图和暗图的全部像素的平均亮度值

$\stackrel{\‾}{B}=\frac{1}{2N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(u_i+v_i)$

其中，

是亮图和暗图的全部像素的平均亮度值，u_i是亮图的第i个像素的亮度值，v_i是暗图的第i个像素的亮度值，N是亮图的总像素个数；

3)将亮图和暗图的全部像素的平均亮度值

与预先设定的理想平均亮度值B₀进行比较，若亮图和暗图的全部像素的平均亮度值与理想平均亮度值B₀的差的绝对值

小于设定的阈值γ，则进入步骤6)，若亮图和暗图的全部像素的平均亮度值

与理想平均亮度值B₀的差的绝对值

大于或等于设定的阈值γ，则进入步骤4)；在8位灰度图像中理想平均亮度值B₀是0到255之间的任意整数，通常取128，阈值γ是0到128之间的常数，通常取10；

4)通过数字信号处理器计算出新的曝光时间t_new：

$t_{\mathrm{new}}=(B_0-\stackrel{\‾}{B})\×\frac{B_0}{\stackrel{\‾}{B}}\×\mathrm{\Δ}+t_{\mathrm{old}}$

其中，t_new是新的曝光时间，

是亮图和暗图的全部像素的平均亮度值，B₀是理想平均亮度值，步长Δ是正实数，t_old是采集当前的亮图和暗图时所采用的曝光时间；

5)电荷耦合元件采用新的曝光时间t_new进行曝光，将电荷耦合元件输出的模拟电信号通过串行信号线分别输入高增益模拟数字转换器和低增益模拟数字转换器进行采样，由高增益模拟数字转换器通过数字并行总线输出一幅亮图，由低增益模拟数字转换器通过数字并行总线输出一幅暗图；重复步骤2)到步骤5)，直至满足亮图和暗图的全部像素的平均亮度值

与理想平均亮度值B₀的差的绝对值

小于设定的阈值γ，则由步骤3)进入步骤6)；

6)将亮图的第1个像素的亮度值和暗图的第1个像素的亮度值分别与阈值S进行比较，0≤S≤255，选取最接近阈值S的像素的亮度值作为高动态范围图像的第1个像素的亮度值；依次重复上述操作，最后将亮图中第N个像素的亮度值和暗图第N个像素的亮度值与阈值S进行比较，选取最接近阈值S的像素的亮度值作为高动态范围图像的第N个像素的亮度值；从而得到高动态范围图像第1个到第N个像素的亮度值，由N个像素的亮度值组成的图像即为高动态范围图像；

或者将亮图的第1个像素的亮度值与阈值S进行比较，0≤S≤255，如果亮图的第1个像素的亮度值大于阈值S，则权重系数w取0到0.5之间的常数，如果亮图的第1个像素的亮度值小于或等于阈值S，则权重系数w取0.5到1之间的常数；依次重复上述操作，最后将亮图的第N个像素的亮度值与阈值S进行比较，0≤S≤255，如果亮图的第N个像素的亮度值大于阈值S，则权重系数w取0到0.5之间的常数，如果亮图的第N个像素的亮度值小于或等于阈值S，则权重系数w取0.5到1之间的常数；

采用如下公式计算高动态范围图像第1个到第N个像素的亮度值：

H＝w×u_i+(1-w)×v_i

H为高动态范围图像的亮度值，u_i是亮图的像素的亮度值，v_i是暗图的像素的亮度值，w为权重系数；

从而得到高动态范围图像第1个到第N个像素的亮度值，由N个像素的亮度值组成的图像即为高动态范围图像。

实施例

本实施例中，所述的电荷耦合元件采用SONY公司的ICX204，高增益模拟数字转换器和低增益模拟数字转换器均采用SONY公司的CXD2311AR，数字信号处理器采用ADI的blackfin561，随机存储器采用Samsung公司的K4S511632D。

1)电荷耦合元件采用初始曝光时间1/100s进行曝光，将电荷耦合元件输出的模拟电信号通过串行信号线分别输入高增益模拟数字转换器和低增益模拟数字转换器进行采样，由高增益模拟数字转换器通过8位数字并行总线输出一幅亮图，由低增益模拟数字转换器通过8位数字并行总线输出一幅暗图；

2)将亮图和暗图存储于随机存储器中，数字信号处理器通过数字并行总线读取随机存储器中的亮图和暗图中像素的亮度值，并采用如下公式计算亮图和暗图的全部像素的平均亮度值

$\stackrel{\‾}{B}=\frac{1}{2N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(u_i+v_i)$

其中，

是亮图和暗图的全部像素的平均亮度值，u_i是亮图的第i个像素的亮度值，v_i是暗图的第i个像素的亮度值，N是亮图的总像素个数；

计算结果为

3)将亮图和暗图的全部像素的平均亮度值

与预先设定的理想平均亮度值B₀进行比较，若亮图和暗图的全部像素的平均亮度值

与理想平均亮度值B₀的差的绝对值

小于设定的阈值γ，则进入步骤6)，若亮图和暗图的全部像素的平均亮度值

与理想平均亮度值B₀的差的绝对值

大于或等于设定的阈值γ，则进入步骤4)；在8位灰度图像中理想平均亮度值B₀是0到255之间的任意整数，本实施例中理想平均亮度值B₀取128，阈值γ取10；

由于

大于阈值10，因此进入步骤4)；

4)通过数字信号处理器计算出新的曝光时间t_new：

$t_{\mathrm{new}}=(B_0-\stackrel{\‾}{B})\×\frac{B_0}{\stackrel{\‾}{B}}\×\mathrm{\Δ}+t_{\mathrm{old}}$

其中，t_new是新的曝光时间，是亮图和暗图的全部像素的平均亮度值，即116.7，B₀是理想平均亮度值，即128，步长Δ是正实数，本实施例中取0.001，t_old是采集当前的亮图和暗图时所采用的曝光时间，即1/100s；

计算结果为t_new＝0.022s；

5)电荷耦合元件采用新的曝光时间0.022s进行曝光，将电荷耦合元件输出的模拟电信号通过串行信号线分别输入高增益模拟数字转换器和低增益模拟数字转换器进行采样，由高增益模拟数字转换器通过数字并行总线输出一幅亮图，由低增益模拟数字转换器通过数字并行总线输出一幅暗图；重复步骤2)到步骤5)，直至满足亮图和暗图的全部像素的平均亮度值

与理想平均亮度值B₀的差的绝对值

小于设定的阈值γ，即阈值10，则由步骤3)进入步骤6)；

6)将亮图图2的第1个像素的亮度值与阈值S进行比较，S取200，如果亮图图2第1个像素的亮度值大于阈值200，则权重系数w取0.25，如果亮图图2第1个像素的亮度值小于或等于阈值200，则权重系数w取0.75；依次重复上述操作，最后将亮图图2中第N个像素的亮度值与阈值200进行比较，如果亮图图2中第N个像素的亮度值大于阈值200，则权重系数w取0.25，如果亮图图2中第N个像素的亮度值小于阈值200，则权重系数w取0.75；

采用如下公式计算高动态范围图像第1个到第N个像素的亮度值：

H＝w×u_i+(1-w)×v_i

H为高动态范围图像的亮度值，u_i是亮图的像素的亮度值，v_i是暗图的像素的亮度值，w为权重系数，视亮图的像素的亮度值u_i的取值范围取0.25或0.75；

从而得到高动态范围图像第1个到第N个像素的亮度值，由N个像素的亮度值组成的图像即为高动态范围图像图4。

Claims (1)

1.一种多次曝光的高动态范围图像获取方法，其特征在于包括如下步骤：

1)电荷耦合元件采用初始曝光时间t₀进行曝光，将电荷耦合元件输出的模拟电信号通过串行信号线分别输入到高增益模拟数字转换器和低增益模拟数字转换器进行采样，由高增益模拟数字转换器通过数字并行总线输出一幅亮图，由低增益模拟数字转换器通过数字并行总线输出一幅暗图；

2)将亮图和暗图存储于随机存储器中，数字信号处理器通过数字并行总线读取随机存储器中的亮图和暗图中像素的亮度值，并采用如下公式计算亮图和暗图的全部像素的平均亮度值

$\stackrel{\‾}{B}=\frac{1}{2N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(u_i+v_i)$

其中，

是亮图和暗图的全部像素的平均亮度值，u_i是亮图的第i个像素的亮度值，v_i是暗图的第i个像素的亮度值，N是亮图的总像素个数；

3)将亮图和暗图的全部像素的平均亮度值与预先设定的理想平均亮度值B₀进行比较，若亮图和暗图的全部像素的平均亮度值

与理想平均亮度值B₀的差的绝对值

小于设定的阈值γ，则进入步骤6)，若亮图和暗图的全部像素的平均亮度值

与理想平均亮度值B₀的差的绝对值

大于或等于设定的阈值γ，则进入步骤4)；在8位灰度图像中理想平均亮度值B₀是0到255之间的任意整数，阈值γ是0到128之间的常数；

4)通过数字信号处理器计算出新的曝光时间t_new：

$t_{\mathrm{new}}=(B_0-\stackrel{\‾}{B})\×\frac{B_0}{\stackrel{\‾}{B}}\×\mathrm{\Δ}+t_{\mathrm{old}}$

其中，t_new是新的曝光时间，

是亮图和暗图的全部像素的平均亮度值，B₀是理想平均亮度值，步长Δ是正实数，t_old是采集当前的亮图和暗图时所采用的曝光时间；

5)电荷耦合元件采用新的曝光时间t_new进行曝光，将电荷耦合元件输出的模拟电信号通过串行信号线分别输入到高增益模拟数字转换器和低增益模拟数字转换器进行采样，由高增益模拟数字转换器通过数字并行总线输出一幅亮图，由低增益模拟数字转换器通过数字并行总线输出一幅暗图；重复步骤2)到步骤5)，直至满足亮图和暗图的全部像素的平均亮度值

与理想平均亮度值B₀的差的绝对值

小于设定的阈值γ，则由步骤3)进入步骤6)；

6)将亮图的第1个像素的亮度值和暗图的第1个像素的亮度值分别与阈值S进行比较，0≤S≤255，选取最接近阈值S的像素的亮度值作为高动态范围图像的第1个像素的亮度值；依次重复上述操作，最后将亮图中第N个像素的亮度值和暗图第N个像素的亮度值与阈值S进行比较，选取最接近阈值S的像素的亮度值作为高动态范围图像的第N个像素的亮度值；从而得到高动态范围图像第1个到第N个像素的亮度值，由N个像素的亮度值组成的图像即为高动态范围图像；

或者将亮图的第1个像素的亮度值与阈值S进行比较，0≤S≤255，如果亮图的第1个像素的亮度值大于阈值S，则权重系数w取0到0.5之间的常数，如果亮图的第1个像素的亮度值小于或等于阈值S，则权重系数w取0.5到1之间的常数；依次重复上述操作，最后将亮图的第N个像素的亮度值与阈值S进行比较，0≤S≤255，如果亮图的第N个像素的亮度值大于阈值S，则权重系数w取0到0.5之间的常数，如果亮图的第N个像素的亮度值小于或等于阈值S，则权重系数w取0.5到1之间的常数；

采用如下公式计算高动态范围图像第1个到第N个像素的亮度值：

H＝w×u_i+(1-w)×v_i

H为高动态范围图像的亮度值，u_i是亮图的像素的亮度值，v_i是暗图的像素的亮度值，w为权重系数；

从而得到高动态范围图像第1个到第N个像素的亮度值，由N个像素的亮度值组成的图像即为高动态范围图像。

Images