CN100464572C

CN100464572C - 一种图像合成方法和装置

Info

Publication number: CN100464572C
Application number: CNB2007101195045A
Authority: CN
Inventors: 沈操; 王浩; 孙余顺
Original assignee: Vimicro Corp
Current assignee: Mid Star Technology Ltd By Share Ltd
Priority date: 2007-07-25
Filing date: 2007-07-25
Publication date: 2009-02-25
Anticipated expiration: 2027-07-25
Also published as: CN101102417A

Abstract

本发明公开了一种图像合成装置，其包括感光器件、曝光时间形成单元及图像合成单元，其中所述曝光时间形成单元用于针对一固定场景形成N个不同的曝光时间，所述感光器件用于根据所述N个曝光时间对该固定场景进行曝光以获得该固定场景的N张图像，所述图像合成单元用于综合所述数张图像中相对清楚的区域得到即包含高亮度区域的细节也包含低亮度区域的细节的合成图像，这样就可以利用普通的感光器件来获得高清晰度的图像。

Description

一种图像合成方法和装置

技术领域

本发明涉及图像处理领域，尤其涉及图像合成技术。

技术背景

目前，曝光方法主要有帧曝光方式和行曝光方式，这两种方式有一个共同的特点，就是当感光器件输出一幅数字图像时，每个像素点对应的感光单元所经历的曝光时间是相同的。但是，由于感光单元物理特性的限制，当感光单元接收一定数量的光子能量后就会达到饱和状态。当达到饱和状态后，就算再延长曝光时间也不会增加信息。而实际上，一幅图像一般都包含有高亮度的区域和低亮度的区域，为了在获得原始图像时能够获得高亮度区域图像的细节，就需要限制曝光时间不能过长；而另一方面，为了在获得原始图像时能够获得低亮度区域图像的细节，需要适当延长曝光时间。因此，在曝光过程中就需要在高亮度区域的细节和低亮度区域的细节做出取舍，或者保证高亮度区域的细节而使低亮度区域由于曝光不足而损失细节，或者保证低亮度区域的细节而使高亮度区域曝光过度而损失细节。

现有技术中一般可以采用高像素位数的感光器件，比如一般的感光器件的像素值用8位二进制数来表示，那么采用10位像素数的感光器件就会获得更为清晰的图像，相应的32位像素数的感光器件可以获得更为清晰的图像，但计算量和成本等会随之增加。另外，即使采用这种高像素数的感光器件也只能部分的解决图像清晰的问题，也就是说，保证高亮度区域的细节而使低亮度区域由于曝光不足而损失细节或者保证低亮度区域的细节而使高亮度区域曝光过度而损失细节的问题依然没有被彻底解决。

发明内容

有鉴于此，本发明提供了一种图像合成方法，其可以合成获得即包含高亮度区域的细节也包含低亮度区域的细节的合成图像。

本发明提供了一种图像合成装置，其可以利用普通的感光器件来获得即包含高亮度区域的细节也包含低亮度区域的细节的合成图像。

为了达到上述目的，根据本发明的一方面提供的一种图像合成方法，其包括：针对一固定场景获取N个不同的曝光时间，其中包括一个根据自动曝光程序获取的自动曝光时间，以及根据曝光时间调节步长调节后得到的其他曝光时间；感光器件分别根据所述N个曝光时间对该固定场景进行曝光以获得该固定场景的N张图像；将所述N张图像合成得到合成图像；其中N是大于1的自然数。

进一步的，所述曝光时间的值的获取步骤包括：利用自动曝光程序获取自动曝光时间值TIME_AE；如果曝光时间的个数N为奇数，那么第

个曝光时间的值为自动曝光时间值TIME_AE，第

个曝光时间的值为TIME_AE+i*λ，第

个曝光时间的值为TIME_AE-i*λ；如果曝光时间的个数N为偶数，那么第N/2个曝光时间的值为TIME_AE-λ*1/2，第N/2+i个曝光时间的值为TIME_AE+(i-1)*λ+λ*1/2，第N/2-i个曝光时间的值为TIME_AE-(i-1)*λ-λ*1/2，其中

表示向下取整，i为自然数，λ为曝光时间调节步长。

进一步的，将所述N张图像合成得到合成图像的步骤按照以下公式执行：

out (x, y) = \frac{Σ_{n = 1}^{N} P_{n} (x, y)}{N}

其中，P_n(x，y)表示第n张图像的第x行y列像素点的像素值，out(x，y)是合成图像中第x行y列像素点的像素值，1≦n≦N，1≦x≦X，1≦y≦Y，X表示图像的行数，Y表示图像的列数。

进一步的，将所述数张图像合成得到合成图像的步骤包括：查找所述N张图像中的第n张图像中的最小像素值D_n-min、最大像素值D_n_max，并根据D_n_mid＝(D_n_max+D_n_min)/2求取中间像素值D_n_mid；根据第n张图像的第x行y列像素点的像素值P_n(x，y)与该张图像的中间像素值D_n_mid的距离设定其权重W_n(x，y)，其中W_n(x，y)表示第n张图像的第x行y列的像素点的权重；根据如下公式加权叠加得到合成图像：

out (x, y) = \frac{Σ_{n = 1}^{N} [W_{n} (x, y)) * P_{n} (x, y)]}{Σ_{n = 1}^{N} W_{n} (x, y))}

out(x，y)是合成图像中第x行y列像素点的像素值，其中1≦n≦N，1≦x≦X，1≦y≦Y，X表示图像的行数，Y表示图像的列数。

再进一步的，根据第n张图像的第x行y列像素点的像素值P_n(x，y)与该张图像的中间像素值D_n_mid的距离设定其权重W_n(x，y)的步骤按照以下公式执行：

分段线性权重函数：

或者2次权重函数：

W_{n} (x, y) = - {(P_{n} (x, y) - D_{n}_mid)}^{2} + {(\frac{D_{n}_\max - D_{n}_\min}{2})}^{2}

(公式2)

再或者2次权重函数的变形：

W_{n} (x, y) = {[- {(P_{n} (x, y) - D_{n}_mid)}^{2} + {(\frac{D_{n}_\max - D_{n}_\min}{2})}^{2}]}^{\frac{1}{2}}

(公式3)。

根据本发明的一方面提供的一种图像合成装置，其包括感光器件、曝光时间形成单元及图像合成单元，其中所述曝光时间形成单元用于针对一固定场景形成N个不同的曝光时间，其中包括一个根据自动曝光程序获取的自动曝光时间，以及根据曝光时间调节步长调节后得到的其他曝光时间；所述感光器件用于根据所述N个曝光时间对该固定场景进行曝光以获得该固定场景的N张图像；所述图像合成单元用于将所述N张图像合成为合成图像，其中N是大于1的自然数。

这样，在本发明提出的技术方案中，利用数个不同的曝光时间使感光器件针对一固定场景进行曝光以分别获得该固定场景的不同曝光度的数张图像，综合所述数张图像中相对清楚的区域得到即包含高亮度区域的细节也包含低亮度区域的细节的合成图像，这样就可以利用普通的感光器件来获得高清晰度的图像。

附图说明

图1是本发明图像合成方法的一个实施例的流程示意图；和

图2是本发明图像合成装置的一个实施例的功能结构示意图。

具体实施方式

下面结合说明书附图来说明本发明的具体实施方式。

总体来讲，在本发明提出的技术方案中，是利用数个不同的曝光时间使感光器件针对一固定场景进行曝光以分别获得该固定场景的不同曝光度的数张图像，曝光时间的值较小的图像，清楚的是该固定场景中的高亮度区域，曝光时间的值较大的图像，清楚的是该固定场景中的低亮度区域，综合所述数张图像中相对清楚的区域得到即包含高亮度区域的细节也包含低亮度区域的细节的合成图像，这样就可以利用普通的感光器件来获得高清晰度的图像。

根据本发明的一方面，本发明提供了一种图像合成方法，其可以利用普通的感光器件来获得即包含高亮度区域的细节也包含低亮度区域的细节的合成图像。

请参考图1所示，其示出了本发明图像合成方法的一个实施例的流程示意图，所述图像合成方法包括如下步骤。

步骤100，针对一固定场景获取数个不同的曝光时间。

所述曝光时间的个数N可以根据需要设定，其可以是大于1的自然数，比如2、3、4、6、11等。

所述曝光时间的值可以由用户根据经验自己手动设定，比如1/8秒、1/120秒、1/180秒等等，也可以由图像摄取装置自动设定，其具体可以是：利用自动曝光程序获取自动曝光时间值TIME_AE；如果曝光时间的个数N为奇数，那么第

个曝光时间的值为自动曝光时间值TIME_AE，第

个曝光时间的值为TIME_AE+i*λ，第

个曝光时间的值为TIME_AE-i*λ；如果曝光时间的个数为偶数，那么第N/2个曝光时间的值为TIME_AE-λ*1/2，第N/2+i个曝光时间的值为TIME_AE+(i-1)*λ+λ*1/2，第N/2-i个曝光时间的值为TIME_AE-(i-1)*λ-λ*1/2，其中

表示向下取整，i为自然数，λ为曝光时间调节步长，其可以根据需要设定。

步骤200、分别利用所述数个曝光时间使感光器件对该固定场景进行曝光以获得该固定场景的数张图像。

具体来说就是，利用第n个曝光时间使感光器件对该固定场景进行曝光获得第n张图像，其中1≦n≦N，从而共获得N张该固定场景不同曝光度的图像。

曝光时间的值较小的图像，较清楚的是该固定场景中的高亮度区域，而低亮度区域可能由于曝光不足而不清楚；曝光时间的值较大的图像，较清楚的是该固定场景中的低亮度区域，而高亮度区域由于过曝而不清楚。

步骤300、综合所述数张图像中相对清楚的区域合成得到即包含高亮度区域的细节也包含低亮度区域的细节的合成图像。

具体来讲，所述数张图像的合成可以有以下两种方式。

第一种是直接叠加平均法，其具体可以为：将数张图像的对应像素点的像素值相加后除以图像张数N，将结果作为合成图像中对应像素点的像素值。具体可参照以下公式进行直接叠加平均：

out (x, y) = \frac{Σ_{n = 1}^{N} P_{n} (x, y)}{N}

其中，P_n(x，y)表示第n张图像的第x行y列像素点的像素值，out(x，y)是合成图像中第x行y列像素点的像素值，其中1≦x≦X，1≦y≦Y，X表示图像的行数，Y表示图像的列数。

第二种是加权叠加法，其具体可以为以下步骤。

步骤一、查找所述数张图像中的第n张图像中的最小像素值D_n_min、最大像素值D_n_max，并根据D_n_mid＝(D_n_max+D_n_min)/2求取中间像素值D_n_mid；

步骤二、根据第n张图像的像素点的像素值P_n(x，y)与该张图像的中间像素值D_n_mid的距离设定其权重W_n(x，y)，其中W_n(x，y)表示第n张图像的第x行y列的像素点的权重，P_n(x，y)表示第n张图像的第x行y列像素点的像素值。

设定权重W_n(x，y)具体可以是给予像素值趋近中间像素值的像素点以更大的权重，而给予像素值远离中间像素值的像素点以较小的权重，也就是说，对高亮和低暗的像素值给予小的权重，而给中间值的像素以大的权重。

可以根据以下公式设定n张图像的第x行y列的像素点的权重的权重W_n(x，y)：

分段线性权重函数：

或者2次权重函数：

W_{n} (x, y) = - {(P_{n} (x, y) - D_{n}_mid)}^{2} + {(\frac{D_{n}_\max - D_{n}_\min}{2})}^{2}

(公式2)

再或者2次权重函数的变形：

W_{n} (x, y) = {[- {(P_{n} (x, y) - D_{n}_mid)}^{2} + {(\frac{D_{n}_\max - D_{n}_\min}{2})}^{2}]}^{\frac{1}{2}}

(公式3)

步骤三、根据每张图像的权重对所述数张图像进行加权叠加以得到合成图像。

具体可以根据如下公式加权叠加：

out (x, y) = \frac{Σ_{n = 1}^{N} [W_{n} (x, y)) * P_{n} (x, y)]}{Σ_{n = 1}^{N} W_{n} (x, y))}

out(x，y)是合成图像中第x行y列像素点的像素值。

这样，在合成图像中就既可以看清楚该固定场景的高亮度区域的细节，也可以看清该固定场景的低亮度区域的细节，同时，这样的图像合成方法还可以有效抑制原始图像中的噪声。

根据本发明的另一方面，本发明提供了一种图像合成装置，其可以利用普通的感光器件来获得即包含高亮度区域的细节也包含低亮度区域的细节的合成图像。

请参考图2所示，其示出了本发明图像合成装置的一个实施例的功能结构示意图。所述图像合成装置包括感光器件10、曝光时间形成单元20及图像合成单元30。

所述曝光时间形成单元20用于针对一固定场景形成数个不同的曝光时间。所述曝光时间的个数N可以是大于1的自然数，所述曝光时间的值可以由用户根据经验自己手动设定，也可以由图像摄取装置自动设定，其具体可以是：利用自动曝光程序获取自动曝光时间值TIME_AE；如果曝光时间的个数N为奇数，那么第

个曝光时间的值为自动曝光时间值TIME_AE，第

个曝光时间的值为TIME_AE+i*λ，第

所述感光器件10用于根据所述数个曝光时间对该固定场景进行曝光以获得该固定场景的数张图像。具体来说就是，利用第n个曝光时间使感光器件对该固定场景进行曝光获得第n张图像，其中1≦n≦N，从而共获得N张该固定场景不同曝光度的图像。

所述图像合成单元30用于综合所述数张图像中相对清楚的区域合成得到即包含高亮度区域的细节也包含低亮度区域的细节的合成图像。

所述图像合成单元30可以有两种实施方式，一种实施方式是根据以下公式进行图像合成：

out (x, y) = \frac{Σ_{n = 1}^{N} P_{n} (x, y)}{N}

其中，P_n(x，y)表示第n张图像的第x行y列像素点的像素值，out(x，y)是合成图像中第x行y列像素点的像素值。

另外一种实施方式中，所述图像合成单元30包括有像素值参数计算模块、权重计算模块及图像合成模块，其中像素值参数计算模块用于获取所述数张图像中的第n张图像中的最小像素值D_n_min、最大像素值D_n_max，并根据D_n_mid＝(D_n_max+D_n_min)/2求取中间像素值D_n_mid，

所述权重计算模块用于根据第n张图像的像素点的像素值P_n(x，y)与该张图像的中间像素值D_n_mid的距离设定其权重W_n(x，y)，其中W_n(x，y)表示第n张图像的第x行y列的像素点的权重，P_n(x，y)表示第n张图像的第x行y列像素点的像素值。设定权重W_n(x，y)具体可以是给予像素值趋近中间像素值的像素点以更大的权重，而给予像素值远离中间像素值的像素点以较小的权重，也就是说，对高亮和低暗的像素值给予小的权重，而给中间值的像素以大的权重。具体的，所述权重计算模块可以根据以下公式设定n张图像的第x行y列的像素点的权重的权重W_n(x，y)：

分段线性权重函数：

或者2次权重函数：

W_{n} (x, y) = - {(P_{n} (x, y) - D_{n}_mid)}^{2} + {(\frac{D_{n}_\max - D_{n}_\min}{2})}^{2}

(公式2)

再或者2次权重函数的变形：

W_{n} (x, y) = {[- {(P_{n} (x, y) - D_{n}_mid)}^{2} + {(\frac{D_{n}_\max - D_{n}_\min}{2})}^{2}]}^{\frac{1}{2}}

(公式3)

所述图像合成模块用于根据每张图像的权重对所述数张图像进行加权叠加以得到合成图像。

具体可以根据如下公式加权叠加：

out (x, y) = \frac{Σ_{n = 1}^{N} [W_{n} (x, y)) * P_{n} (x, y)]}{Σ_{n = 1}^{N} W_{n} (x, y))}

out(x，y)是合成图像中第x行y列像素点的像素值。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims

1.一种图像合成方法，其特征在于，其包括:

针对一固定场景获取N个不同的曝光时间，其中包括一个根据自动曝光程序获取的自动曝光时间，以及根据曝光时间调节步长调节后得到的其他曝光时间；

感光器件分别根据所述N个曝光时间对该固定场景进行曝光以获得该固定场景的N张图像；

将所述N张图像合成得到合成图像，

其中N是大于1的自然数。

2.如权利要求1所述的图像合成方法，其特征在于，所述曝光时间的值的获取步骤包括:

利用自动曝光程序获取自动曝光时间值TIME_AE；

如果曝光时间的个数N为奇数，那么第

个曝光时间的值为自动曝光时间值TIME_AE，第

个曝光时间的值为TIME_AE+i*λ，第

个曝光时间的值为TIME_AE-i*λ；

如果曝光时间的个数N为偶数，那么第N/2个曝光时间的值为TIME_AE-λ*1/2，第N/2+i个曝光时间的值为TIME_AE+(i-1)*λ+λ*1/2，第N/2-i个曝光时间的值为TIME_AE-(i-1)*λ-λ*1/2，

其中

表示向下取整，i为自然数，λ为曝光时间调节步长。

3.如权利要求1所述的图像合成方法，其特征在于，将所述数张图像合成得到合成图像的步骤按照以下公式执行:

out (x, y) = \frac{Σ_{n = 1}^{N} P_{n} (x, y)}{N}

4.如权利要求1所述的图像合成方法，其特征在于，将所述N张图像合成得到合成图像的步骤包括:

查找所述N张图像中的第n张图像中的最小像素值D_n_min、最大像素值D_n_max，并根据D_n_mid＝(D_n_max+D_n_min)/2求取中间像素值D_n_mid；

根据第n张图像的第x行y列像素点的像素值P_n(x，y)与该张图像的中间像素值D_n_mid的距离设定其权重W_n(x，y)，其中W_n(x，y)表示第n张图像的第x行y列的像素点的权重；

根据如下公式加权叠加得到合成图像:

out (x, y) = \frac{Σ_{n = 1}^{N} [{W_{n} (x, y)) * P}_{n} (x, y)]}{Σ_{n = 1}^{N} W_{n} (x, y))}

out(x，y)是合成图像中第x行y列像素点的像素值，

其中1≦n≦N，1≦x≦X，1≦y≦Y，X表示图像的行数，Y表示图像的列数。

5.如权利要求4所述的图像合成方法，其特征在于，根据第n张图像的第x行y列像素点的像素值P_n(x，y)与该张图像的中间像素值D_n_mid的距离设定其权重W_n(x，y)的步骤按照以下公式执行:

分段线性权重函数:

或者2次权重函数:

W_{n} (x, y) = - {(P_{n} (x, y) - D_{n}_mid)}^{2} + {(\frac{D_{n}_\max - D_{n}_\min}{2})}^{2}

(公式2)

再或者2次权重函数的变形:

W_{n} (x, y) = {[- {(P_{n} (x, y) - D_{n}_mid)}^{2} + {(\frac{D_{n}_\max - D_{n}_\min}{2})}^{2}]}^{\frac{1}{2}}

(公式3)。

6.一种图像合成装置，其包括感光器件，其特征在于:其还包括有曝光时间形成单元及图像合成单元，其中

所述曝光时间形成单元用于针对一固定场景形成N个不同的曝光时间，其中包括一个根据自动曝光程序获取的自动曝光时间，以及根据曝光时间调节步长调节后得到的其他曝光时间；

所述感光器件用于根据所述N个曝光时间对该固定场景进行曝光以获得该固定场景的N张图像；

所述图像合成单元用于将所述N张图像合成为合成图像，

其中N是大于1的自然数。

7.如权利要求6所述的图像合成装置，其特征在于，所述曝光时间形成单元设定N个不同的曝光时间包括:

利用自动曝光程序获取自动曝光时间值TIME_AE；如果曝光时间的个数N为奇数，那么第

个曝光时间的值为自动曝光时间值TIME_AE，第

个曝光时间的值为TIME_AE+i*λ，第

表示向下取整，i为自然数，λ为曝光时间调节步长。

8.如权利要求6所述的图像合成装置，其特征在于，所述图像合成单元根据以下公式进行图像合成:

out (x, y) = \frac{Σ_{n = 1}^{N} P_{n} (x, y)}{N}

其中，P_n(x，y)表示第n张图像的第x行y列像素点的像素值，out(x，y)是合成图像中第x行y列像素点的像素值，

9.如权利要求6所述的图像合成装置，其特征在于，所述图像合成单元包括有像素值参数计算模块、权重计算模块及图像合成模块，

其中像素值参数计算模块用于获取所述数张图像中的第n张图像中的最小像素值D_n_min、最大像素值D_n_max，并根据D_n_mid＝(D_n_max+D_n_min)/2求取中间像素值D_n_mid，

所述权重计算模块用于根据第n张图像的第x行y列像素点的像素值P_n(x，y)与该张图像的中间像素值D_n_mid的距离设定其权重W_n(x，y)，其中W_n(x，y)表示第n张图像的第x行y列的像素点的权重，

所述图像合成模块用于根据如下公式加权叠加:

out (x, y) = \frac{Σ_{n = 1}^{N} [{W_{n} (x, y)) * P}_{n} (x, y)]}{Σ_{n = 1}^{N} W_{n} (x, y))}

out(x，y)是合成图像中第x行y列像素点的像素值，

其中，1≦n≦N，1≦x≦X，1≦y≦Y，X表示图像的行数，Y表示图像的列数。

10.如权利要求9所述的图像合成装置，其特征在于，所述权重计算模块根据以下公式设定n张图像的第x行y列的像素点的权重的权重W_n(x，y):

分段线性权重函数:

或者2次权重函数:

W_{n} (x, y) = - {(P_{n} (x, y) - D_{n}_mid)}^{2} + {(\frac{D_{n}_\max - D_{n}_\min}{2})}^{2}

(公式2)

再或者2次权重函数的变形:

W_{n} (x, y) = {[- {(P_{n} (x, y) - D_{n}_mid)}^{2} + {(\frac{D_{n}_\max - D_{n}_\min}{2})}^{2}]}^{\frac{1}{2}}

(公式3)。