CN103905738A - 高动态范围图像生成系统及方法 - Google Patents

Abstract

本发明提供一种高动态范围图像生成系统，其包括光源和高动态范围图像生成模块，该光源可设置在拍摄对象周围以向其提供光照强度不同的第一颜色光、第二颜色光和第三颜色光；该高动态范围图像生成模块可包括分量获取单元和处理单元，其中，所述分量获取单元从图像捕获部件在所述光源照射下所捕获的拍摄对象的一幅图像中，获取第一颜色分量灰度图、第二颜色分量灰度图和第三颜色分量灰度图的图像数据；所述处理单元由所述分量获取单元获得的各分量灰度图数据，通过已标定的所述图像捕获部件的第一颜色分量、第二颜色分量及第三颜色分量响应函数，获得所述各分量灰度图中各像素在拍摄对象上对应点的图像辐照度，从而生成高动态范围图像。本发明还提供相应的方法。所述系统及方法可实时生成HDR图像。

Description

高动态范围图像生成系统及方法

技术领域

本发明涉及图像处理技术，尤其涉及高动态范围图像的生成。

背景技术

高动态范围(HDR，High Dynamic Range)图像在计算机图形学中有着重要应用。

动态范围指的是图像中最大像素值与最小像素值的比，传统图像用整数代表像素值，只能表示256个亮度级，但实际自然场景中动态范围高达100000000∶1，这在传统图像中无法表示。但与传统图像不同，HDR图像用浮点数表示像素值，可以完全表示出自然场景中的动态范围，而且其像素值是实际场景亮度的线性映射，给处理带来很大的方便和好处。

HDR图像的获取方法有三类，第一类是模拟光线和基于物理光照模型的合成图像，第二类是用多张不同曝光度的普通图像来计算实际场景亮度，得到HDR图像，第三类是使用各种新的硬件设备直接拍摄HDR图像。第二类方法因只需普通相机拍摄不同曝光度的图像就可生成HDR图像而具有广泛应用。但是，由于其需要拍摄不同曝光度的图像，因此很难实时获得HDR图像。

发明内容

本发明提供一种高动态范围图像生成系统及方法，可在实时获得HDR图像。根据本发明所述的高动态范围图像生成系统可包括光源和高动态范围图像生成模块。其中，该光源可设置在拍摄对象周围以向其提供光照强度不同的第一颜色光、第二颜色光和第三颜色光；该高动态范围图像生成模块可包括分量获取单元和处理单元。所述分量获取单元从图像捕获部件在所述光源照射下所捕获的拍摄对象的一幅图像中，获取第一颜色分量灰度图、第二色分量灰度图和第三颜色分量灰度图的图像数据；所述处理单元由所述分量获取单元获得的各分量灰度图数据，通过已标定的所述图像捕获部件的第一颜色分量、第二颜色分量及第三颜色分量响应函数，获得所述各分量灰度图中各像素在拍摄对象上对应点的图像辐照度，从而生成高动态范围图像。

本发明还提供一种高动态范围图像生成方法，所述方法包括：在在拍摄对象周围设置向其提供光照强度不同的第一颜色光、第二颜色光和第三颜色光的光源；从图像捕获部件在所述光源照射下所捕获的拍摄对象的一副图像中，获取第一颜色分量灰度图、第二颜色分量灰度图和第三颜色色分量灰度图的图像数据；以及根据所获取的各分量灰度图的图像数据，依据已标定的所述图像捕获部件的第一颜色分量、第二颜色分量及第三颜色色分量响应函数，获得所述各分量灰度图中各像素在拍摄对象上对应点的图像辐照度，从而生成高动态范围图像。

采用本发明所述的系统或执行本发明所述的方法可通过相机捕获的拍摄对象的一副图像生成高动态范围图像，从而实现了实时生成高动态范围图像。

附图说明

图1是根据本发明的一个示例的高动态范围图像生成系统的结构示意图。

图2是光源1与相机3的相对设置的示意性图示。

图3为相机3所拍摄的一副图像，图4、5和6分别是该图像的红色分量灰度图、绿色分量灰度图和蓝色分量灰度图。

图7-9是根据本发明的一个示例的高动态范围图像生成方法的流程示意。

具体实施方式

现在参照附图描述本发明的示意性示例，相同的附图标号表示相同的元件或步骤。下文描述的各实施例有助于本领域技术人员透彻理解本发明，但意在示例而非限制。

图1示意了根据本发明的一个示例的高动态范围图像生成系统。如图所示，该系统包括光源1和高动态范围图像生成模块2(为简洁起见，下文将“高动态范围”成为“HDR”)。HDR图像生成模块2可实现在图像捕获部件，例如相机内，也可实现在能与图像拍摄部件连接的电子处理装置，例如为计算机中。在下文的说明中，以相机作为图像捕获部件，且相机和图像捕获部件可互换使用，实际应用中，图像捕获部件可以是具有拍摄功能任何设备，如具有拍摄功能的手机，诸如iphone、安卓系统智能手机、塞班系统智能手机、以及widow手机等，电子设备等，还可以是其它具有拍摄功能的平板电脑，如ipad等。此外，在下文所有示例中，以第一颜色为红色、第二颜色为绿色以及第三颜色为蓝色作为示例进行说明，但并不以此为限，第一颜色、第二颜色及第三颜色也可为其他颜色。

在本实施方式中，光源1设置在拍摄对象周围以提供照射拍摄对象且强度不同的红色光、绿色光和蓝色光。在此“强度不同”指的是红色光、绿色光和蓝色光的光照强度至少包括两个不同等级的光照强度，例如，红色光为最强光、绿色光和蓝色光具有比红色光弱的相同光强，或者红色光光强最大、绿色光光强次之、蓝色光光强最弱等。可以理解，根据不同条件、环境或需要，在其他实施方式中，可以选择其他颜色作为光源1例如黄色光、橙色光和/或紫色光等。

HDR图像生成模块2包括分量获取单元20和处理单元22。分量获取单元20从相机在光源1的照射下所捕获的拍摄对象的一副图像中，获取红色分量灰度图、绿色分量灰度图和蓝色分量灰度图。要说明的是，拍摄对象及其背景所构成的拍摄环境也可成为拍摄场景，本文提到拍摄场景时必然包括该拍摄对像。处理单元22将所获的红色分量灰度图的图像数据、绿色分量灰度图的图像数据以及蓝色分量灰度图的图像数据与已经标定的各分量的响应函数相结合，计算出各分量灰度图中每一个像素在拍摄对象上对应点的图像辐照度，由此确定该一副图像中各像素在拍摄对象上对应点的图像辐照度。在获得了像素在拍摄对象上对应点的辐照度后，处理单元22生成HDR图像。

图2是光源1与相机3的相对设置环境的一个示意性图示。根据本发明的示例，光源1包括发射红色光的第一LED光源10、发射绿色光的第二LED光源12以及发射蓝色光的第三LED光源14，且第一、第二和第三LED光源10、12和14均被配置成可独立调整光照强度。示例性地，第一LED光源10、第二LED光源12及第三LED光源14中的每一个都可由LED阵列构成。在其他实施方式中，光源1可以是白炽灯、卤素灯或荧光灯等。

参照图1和图2，根据本发明的示例，HDR图像生成模块2还包括响应函数标定模块24。如所知道的那样，响应函数是从场景亮度到图像亮度的映射，在此场景亮度由场景照度或者光源1的光源亮度表示，图像亮度由图像照度表示。此外，光源亮度可由光源1的光照强度表征。在相机3第一次于图2所示的拍摄场景中进行拍摄时，响应函数标定单元24标定相机3在光源1照射下的红色分量响应函数、绿色分量响应函数和蓝色分量响应函数。下文以对红色分量响应函数的标定说明响应函数标定单元24的标定过程：

调整光源1中第一LED光源10的光照强度，从强到弱或从弱到强，在该过程中，相机3拍摄一系列图像。响应函数标定单元24对这一系列图像进行处理，最小化代价函数(1)，从而得到红色分量的响应函数g：

$O_k=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{P}{\mathrm{\Σ}}}{\left\{w\left(Z_{\mathrm{ijk}}\right)\right[g_k\left(Z_{\mathrm{ijk}}\right)-\ln E_{\mathrm{ki}}-\ln I_{\mathrm{jk}}\left]\right\}}^2+\mathrm{\λ}\underset{z=Z_{\min }+1}{\overset{Z_{\max }-1}{\mathrm{\Σ}}}{\left[w\left(z\right){g_k}^{\′\′}\left(z\right)\right]}^2---\left(1\right)$

其中， $w\left(Z_{\mathrm{ijk}}\right)=\left\{\begin{array}{cc}z-z_{\min }& z\≤z_{\mathrm{avg}}\\ z_{\max }-z& z>z_{\mathrm{avg}}\end{array}\right.;$

k代表颜色，本例针对的红色分量响应函数，则k应为R，Z_ijk表示图像j第i个像素的灰度值，w(Z_ijk)是权值函数，I_jk是拍摄第j幅图像时的光源亮度，E_ki是k颜色(本例为红色)分量下的第i个像素的场景照度。

类似地，将第二LED光源12的亮度从强到弱或从弱到强调节以获得一系列图像，对其进行处理，进而结合函数(1)获得绿色分量响应函数；将第三LED光源14的亮度从强到弱或从弱到强调节以获得一系列图像，对其进行处理，进而结合函数(1)获得蓝色分量响应函数。

响应函数标定之后，相机3后续拍摄过程中可不再对响应函数进行标定，而直接拍摄并在获得图像数据后结合该响应函数计算生成HDR图像。

如上所述，至少在相机3首次于图2所示的场景下拍摄时，标定相机3在光源1照射下的红色分量响应函数、绿色分量响应函数和蓝色分量响应函数。可选择存储所标定的函数，由此相机3以后在光源1照射下进行拍摄时可以不再进行响应函数的标定。

已标定相机3的各响应函数后，用户可调节光源1，使得拍摄对象各部分至少在一个颜色分量中是清晰的。用户所调节的光源1的亮度值，可通过交互介面设置在光源相关控制单元中。根据本发明的示例，第一LED光源10的光照强度设置为最大，第二LED光源12的强度设置为次之，而第三LED光源14的强度设置为最小，亦即光源1的红色光最强、绿色光次之、蓝色光最弱。使拍摄对象中需最强光的部分A被第一LED光源10照射清晰，需次强光的部分B被第二LED光源12照射清晰，需最弱光的部分C由第三LED光源14照射清晰，这样，拍摄对象的A、B和C三部分依次在红色分量、绿色分量和蓝色分量中清晰。光源设置完毕，相机3捕获图像。分量获取单元22可从所捕获的一副图像获得红色分量灰度图、绿色分量灰度图及蓝色分量灰度图。处理单元22从这些灰度图获得各分量灰度图的图像数据，即结合先前标定的响应函数计算出各像素在拍摄对象上对应点的图像辐照度，进而生成高动态范围图像。

可见，本发明的系HDR图像生成统，由于提供三中颜色的光的光源1的设置，使得可从相机3捕获的一副图像中获得清晰的拍摄对象的红色分量图像、绿色分量图像和蓝色分量图像。基于这些分量图像的图像数据，进一步通过响应函数获得各像素在拍摄对象上对应点的图像辐照度，进而生成HDR图像。与现有通过曝光获得多个图像生成HDR图像相比，本发明所述的系统只需拍摄一副图像即可生成HDR图像，因此具有实时性。

图3为相机3所拍摄的一副图像，图4、5和6分别是该图像的红色分量灰度图、绿色分量灰度图和蓝色分量灰度图。

本发明还提供HDR图像生成方法。图7-9是该方法的流程示意。如7所示，在拍摄对象7周围设置光源1，光源1发出强度不同的红色光、绿色光和蓝色光来照射拍摄对象7，光源1的具体配置例如为上文所述的那样。相机3如果是首次在光源1的照射下进行拍摄，则首先进行响应函数标定。响应函数的标定过程如上文结合响应标定单元22所描述的那样，调整光源的红色光强度获得一系列图像，依据该系列图像的图像数据，通过将函数(1)最小化而获得红色分量响应函数；调整光源的绿色光强度获得一系列图像，依据该系列图像的图像数据，通过将函数(1)最小化而获得绿色分量响应函数；调整光源的蓝色光强度获得一系列图像，依据该系列图像的图像数据，通过将函数(1)最小化而获得蓝色分量响应函数。图像8是从相机3所拍摄的一副图像中获得的蓝色分量灰度图像70B、绿色分量灰度图像70G和红色分量灰度图像70R。将所获得各分量灰度图像的图像数据与预先标定的各分量的响应函数相结合，从而计算出各像素在拍摄对象上对应点的图像辐照度，由此生成HDR图像，如图9所示。

本发明所述的方法可实现为软件、硬件或该两者的结合，且所实现的软件可设置在相机中，也可设置在能够与相机连接的电子设备(如计算机)中。

尽管已结合附图在上文的描述中，公开了本发明的具体实施例，但是本领域技术人员可以理解到，可在不脱离本发明精神的情况下，对公开的具体实施例进行变形或修改。本发明的实施例仅用于示意并不用于限制本发明。

Claims (10)

1.一种高动态范围图像生成系统，其特征在于，所述系统包括：

光源，设置在拍摄对象周围以向其提供光照强度不同的第一颜色光、第二颜色光和第三颜色光；以及

高动态范围图像生成模块，包括：

分量获取单元，其从图像捕获部件在所述光源照射下捕获的拍摄对象的一幅图像中，获取第一颜色分量灰度图、第二颜色分量灰度图和第三颜色分量灰度图的图像数据；

处理单元，其由所述分量获取单元获得的各分量灰度图数据，通过已标定的所述图像捕获部件的第一颜色分量、第二颜色分量及第三颜色分量响应函数，获得所述各分量灰度图中各像素在拍摄对象上对应点的图像辐照度，从而生成高动态范围图像。

2.如权利要求1所述的高动态范围图像生成系统，其特征在于，所述光源是LED光源。

3.如权利要求2所述的高动态范围图像生成系统，其特征在于，其特征在于，所述光源包括发射红色光的第一LED光源、发射绿色光的第二LED光源以及发射蓝色光的第三LED光源，且第一、第二和第三LED光源的光照强度均可调。

4.如权利要求1、2、3中任意一项所述的高动态范围图像生成系统，其特征在于，所述高动态范围图像生成模块还包括响应函数标定单元，其至少在所述图像捕获部件首次在所述光源照射下拍摄时，标定所述图像捕获部件的各响应函数。

5.如权利要求1所述的高动态图像拍摄系统，其特征在于，所述响应函数标定单元通过如下操作标定所述图像捕获部件的各响应函数：

调整光源中颜色与待标定响应函数所涉及分量的颜色对应的光的光照强度，从而采集一系列图像；

基于所获得的一系列图像，通过将函数 $O_k=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{P}{\mathrm{\Σ}}}{\left\{w\left(Z_{\mathrm{ijk}}\right)\right[g_k\left(Z_{\mathrm{ijk}}\right)-1\ln E_{\mathrm{ki}}-\ln I_{\mathrm{jk}}\left]\right\}}^2+\mathrm{\λ}\underset{z=Z_{\min }+1}{\overset{Z_{\max }-1}{\mathrm{\Σ}}}{\left[w\left(z\right){g_k}^{\′\′}\left(z\right)\right]}^2$ 最小化标定该响应函数，其中w(Z_ijk)为权值函数，且 $w\left(Z_{\mathrm{ijk}}\right)=\left\{\begin{array}{cc}z-z_{\min }& z\≤z_{\mathrm{avg}}\\ z_{\max }-z& z>z_{\mathrm{avg}}\end{array}\right.,$ k指代颜色通道，i为采样点序号，Z_ijk表示k颜色通道下的图像j的第i个像素的灰度值，E_ki为k颜色通道下的第i个像素的场景照度。

6.一种高动态范围图像生成方法，其特征在于，所述方法包括：

在在拍摄对象周围设置向其提供光照强度不同的第一颜色光、第二颜色光和第三颜色光的光源；

从图像捕获部件在所述光源照射下所捕获的拍摄对象的一副图像中，获取第一颜色分量灰度图、第二颜色分量灰度图和第三颜色色分量灰度图的图像数据；以及

根据所获取的各分量灰度图的图像数据，依据已标定的所述图像捕获部件的第一颜色分量、第二颜色分量及第三颜色色分量响应函数，获得所述各分量灰度图中各像素在拍摄对象上对应点的图像辐照度，从而生成高动态范围图像。

7.如权利要求5所述的高动态范围图像生成方法，其特征在于，所述光源是LED光源。

8.如权利要求7所述的高动态范围图像生成方法，其特征在于，其特征在于，所述光源包括发射红色光的第一LED光源、发射绿色光的第二LED光源以及发射蓝色光的第三LED光源，且第一、第二和第三LED光源的光照强度均可调。

9.如权利要求6、7、8中任意一项所述的高动态范围图像生成方法，其特征在于，所述方法还包括：

至少在所述图像捕获部件首次在所述光源照射下拍摄时，标定所述图像捕获部件的各响应函数。

10.如权利要求6所述的高动态范围图像生成方法，其特征在于，标定所述图像捕获部件的各响应函数包括：

调整光源中颜色与待标定响应函数所涉及分量的颜色对应的光的光照强度，从而采集一系列图像；

基于所获得的一系列图像，通过将函数 $O_k=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{P}{\mathrm{\Σ}}}{\left\{w\left(Z_{\mathrm{ijk}}\right)\right[g_k\left(Z_{\mathrm{ijk}}\right)-\ln E_{\mathrm{ki}}-\ln I_{\mathrm{jk}}\left]\right\}}^2+\mathrm{\λ}\underset{z=Z_{\min }+1}{\overset{Z_{\max }-1}{\mathrm{\Σ}}}{\left[w\left(z\right){g_k}^{\′\′}\left(z\right)\right]}^2$ 最小化标定该响应函数，其中w(Z_ijk)为权值函数，且 $w\left(Z_{\mathrm{ijk}}\right)=\left\{\begin{array}{cc}z-z_{\min }& z\≤z_{\mathrm{avg}}\\ z_{\max }-z& z>z_{\mathrm{avg}}\end{array}\right.,$ k指代颜色通道，i为采样点序号，Z_ijk表示k颜色通道下的图像j的第i个像素的灰度值，E_ki为k颜色通道下的第i个像素的场景照度。

Images