CN106303274A - 一种高动态范围图像合成方法及装置 - Google Patents

Abstract

本申请公开了一种高动态范围图像合成方法及装置，该方法包括：获取在同一场景拍摄的曝光度不同的至少两帧图像或高帧频下的连续多帧图像，以及每帧图像上所有像素点的灰度值；根据经典HDR图像合成公式，用灰度值代替光照度，形成第一HDR图像合成公式；对第一HDR图像合成公式优化生成第二HDR图像合成公式；使用第二HDR图像合成公式合成HDR图像；并将生成的HDR图像通过分段线性模型表示，使其能够在普通显示设备上显示。本方法通过对相机响应函数的简化，和在HDR合成中简化HDR图像合成公式以及压缩映射的优化过程，节约了大量的逻辑和存储资源，进而提高了硬件FPGA的可实现性，满足硬件设备的高速和实时性要求。

Description

一种高动态范围图像合成方法及装置

技术领域

本发明主要涉及图像合成领域，尤其涉及一种高动态范围图像合成方法及装置。

背景技术

对于感光元件，例如相机的成像芯片，动态范围(英文：Dynamic Range，缩写：DR)表示图像中所包含的从“最暗”至“最亮”的范围。动态范围越大，所能表现的层次越丰富。对于相机，其动态范围越大，它能同时记录的暗部细节和亮部细节就越丰富。现实中真实存在的亮度差，即最高的物体亮度和最暗的物体亮度之比为10⁸，人眼所能看到的亮度范围是10⁵左右，而一般的显示器能表示的亮度范围只有2⁸(即256)种不同的亮度。

随着科技的进步，普通动态范围(英文：Standard Dynamic Range，缩写：SDR)的相机已经无法完全满足人们的需求。高动态范围(英文：High Dynamic Range，缩写：HDR)的相机，是通过某种手段或途径提升相机的动态范围，与SDR相机相比，该类相机能获取到场景细节更为丰富的图像，该图像称之为高动态范围(HDR)图像。

目前，一种HDR图像的获取方法是通过多张不同曝光度的普通图像来回溯估计实际的场景亮度，用实际场景亮度合成得到HDR图像。在HDR图像合成与显示的过程中，涉及相机响应函数的标定、HDR合成以及色调映射(英文：Tone Mapping)等操作过程，但是这些操作过程均需要进行复杂的运算，例如奇异值分解、指数运算、加权平均等，所以在硬件逻辑实现层面上，例如，对于硬件FPGA(英文：Field Programmable Gate Array)中实现上述运算需要占用大量的逻辑和存储资源，无法满足硬件设备(例如摄像机)的高速和实时性要求。

发明内容

本申请提供了一种高动态范围图像合成方法及装置，以解决现有的在提高图像动态范围时，占用大量FPGA的逻辑和存储资源的问题。为解决上述技术问题，本申请公开了如下技术方案：

第一方面，提供了一种高动态范围HDR图像合成方法，所述方法包括：

获取在同一场景拍摄的至少两帧图像或高帧频下的连续多帧图像，且每帧图像的曝光度不同；获取每帧图像上所有像素点的灰度值；根据经典HDR图像合成公式，用灰度值代替所述经典HDR图像合成算法公式中的光照度，形成第一HDR图像合成公式；对所述第一HDR图像合成公式优化生成第二HDR图像合成公式；使用所述第二HDR图像合成公式对至少两帧图像上的对应位置的像素点进行合成，并生成HDR图像；建立一个分段线性模型，将所述生成的HDR图像通过所述分段线性模型表示。

进一步地，所述经典HDR图像合成公式表示为：

$hdr\left(i\right)=\frac{\underset{j=1}{\overset{P}{\Σ}}w\left(Z_{ij}\right)E_j\left(Z_{ij}\right)}{\underset{j=1}{\overset{P}{\Σ}}w\left(Z_{ij}\right)}$

其中，hdr表示HDR合成后的图像，hdr(i)表示hdr图像上第i个像素点的灰度值，Z_ij为第j帧图像第i个像素点的灰度值，E_j(Z_ij)为第j帧图像第i个像素点处的实际场景照度，w(Z_ij)为第j帧图像第i个像素点的补偿权值，P表示合成一帧HDR图像所用的图像帧数，所述第一HDR图像合成公式表示为：

$hdr\left(i\right)=\frac{\underset{j=1}{\overset{P}{\Σ}}w\left(Z_{ij}\right)\·Z_{ij}}{\underset{j=1}{\overset{P}{\Σ}}w\left(Z_{ij}\right)}$

Z_ij表示为第j帧图像第i个像素点的灰度值，Z_ij相当于所述经典HDR图像合成公式中的E_j(Z_ij)。

进一步地，对所述第一HDR图像合成公式优化生成第二HDR图像合成公式包括：对所述第一HDR图像合成公式进行去分母化简，生成第二HDR图像合成公式；其中，所述第二HDR图像合成公式表示为：

进一步地，所述通过分段线性模型对HDR图像进行压缩包括：如果所述分段线性模型为三段式分段线性模型，并且设Y₁₁表示为所述HDR图像合成后的图像灰度，Y₁₀表示为Y₁₁压缩后的图像灰度，则将Y₁₀通过所述分段线性模型可例化表示为：

$Y_{10}=\left\{\begin{array}{cc}{Y}_{11}/a+Y_{11}/b,& Y_{11}\&le;y1\\ Y_{11}/c+Y_{11}/d+e,& y1<Y_{11}\&le;y2\\ Y_{11}/f+g,& Y_{11}>y2\end{array}\right.$

其中，y1，y2表示所述三段式分段线性模型的拐点，a,b,c,d,e,f,g表示分段线性系数。

进一步地，在所述分段线性模型中，位于分母位置的分段线性系数的取值为2ⁿ，且n是自然数。

第二方面，提供了一种HDR图像合成装置，所述装置包括：

图像获取单元，用于获取在同一场景拍摄的至少两帧图像或高帧频下的连续多帧图像，且每帧图像的曝光度不同；

灰度值获取单元，用于获取每帧图像上所有像素点的灰度值；

第一公式合成单元，用于根据经典HDR图像合成公式，用灰度值代替所述经典HDR图像合成算法公式中的光照度，形成第一HDR图像合成公式；

第二公式合成单元，用于对所述第一HDR图像合成公式优化生成第二HDR图像合成公式；

HDR图像合成单元，用于使用所述第二HDR图像合成公式对至少两帧图像上的对应位置的像素点进行合成，并生成HDR图像；

压缩单元，用于建立一个分段线性模型，将所述生成的HDR图像通过所述分段线性模型表示。

进一步地，所述经典HDR图像合成公式表示为：

$hdr\left(i\right)=\frac{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)E_j\left(Z_{ij}\right)}{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)}$

其中，hdr表示HDR合成后的图像，hdr(i)表示hdr图像上第i个像素点的灰度值，Z_ij为第j帧图像第i个像素点的灰度值，E_j(Z_ij)为第j帧图像第i个像素点处的实际场景照度，w(Z_ij)为第j帧图像第i个像素点的补偿权值，P表示合成一帧HDR图像所用的图像帧数，所述第一HDR图像合成公式表示为：

$hdr\left(i\right)=\frac{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)\&CenterDot;Z_{ij}}{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)}$

Z_ij表示为第j帧图像第i个像素点的灰度值，Z_ij相当于所述经典HDR图像合成公式中的E_j(Z_ij)。

进一步地，所述第二公式合成单元，具体用于对所述第一HDR图像合成公式进行去分母化简，生成第二HDR图像合成公式；

其中，所述第二HDR图像合成公式表示为：

进一步地，所述压缩单元具体用于，如果所述分段线性模型为三段式分段线性模型，并且设Y₁₁表示为所述HDR图像合成后的图像灰度，Y₁₀表示为Y₁₁压缩映射后的图像灰度，则将Y₁₀通过所述分段线性模型可例化表示为：

$Y_{10}=\left\{\begin{array}{cc}{Y}_{11}/a+Y_{11}/b,& Y_{11}\&le;y1\\ Y_{11}/c+Y_{11}/d+e,& y1<Y_{11}\&le;y2\\ Y_{11}/f+g,& Y_{11}>y2\end{array}\right.$

其中，y1，y2表示所述三段式分段线性模型的拐点，a,b,c,d,e,f,g表示分段线性系数。

进一步地，在所述分段线性模型中，位于分母位置的分段线性系数的取值为2ⁿ，且n是自然数。

第三方面，提供了一种HDR图像合成设备，所述设备包括收发器，处理器和存储器，

收发器，用于获取在同一场景拍摄的至少两帧图像，且每帧图像的曝光度不同，以及获取每帧图像上所有像素点的灰度值；

处理器，用于根据经典HDR图像合成公式，用灰度值代替所述经典HDR图像合成算法公式中的光照度，形成第一HDR图像合成公式，以及对所述第一HDR图像合成公式优化生成第二HDR图像合成公式；

所述处理器，还用于使用所述第二HDR图像合成公式对至少两帧图像上的对应位置的像素点进行合成，并生成HDR图像，以及建立一个分段线性模型，将所述生成的HDR图像通过所述分段线性模型表示；

存储器，用于存储所述第一HDR图像合成公式、第二HDR图像合成公式、分段线性模型和生成的HDR图像。

本申请提供的一种高动态范围图像合成方法及装置，在感光元件为理想元件的条件下，认为该感光元件的灰度响应与光照度成线性关系，即相机响应函数与光照度是线性相关的，因此用图像的灰度值代替经典HDR图像合成算法中的光照度，并对其进行HDR合成，进而无需再对相机响应函数进行标定，将FPGA中复杂运算，例如指数、对数、除法、加权平均等优化为单点的加减和移位等运算，由于这些加减和移位运算适于FPGA的执行操作，几乎不占用FPGA逻辑和存储资源，所以能够满足硬件设备的高速和实时性要求。

此外，简化HDR合成模型后，由于实际中理想感光元件难以实现，所以通过ToneMapping分段线性模型对其进行校正和补偿，从而使得合成结果趋向真实的相机响应函数。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种HDR图像合成方法的流程图；

图2是本申请实施例提供的一种HDR图像合成方法的流程示意图；

图3是本申请实施例提供的一种分段线性模型可例化的曲线示意图；

图4是本申请实施例提供的一种HDR图像合成装置的结构框图；

图5是本申请实施例提供的一种HDR图像合成设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本申请实施例提供了一种高动态范围图像合成方法及装置，对于黑白图像，图像亮度数据为单通道，将该单通道定义为Y通道，本申请实施例涉及的HDR图像合成方法均是在Y通道上设计完成。此外，本方法也可以应用于彩色图像的亮度(Y)通道，如果将彩色图像的亮度通道单独提取出来，则也可以看成是一幅黑白图像，因此本实施例提供的方法也适用于彩色图像的亮度(Y)通道的HDR合成。

如图2所示，现有的HDR图像合成过程包括：首先，由图像的Y通道找出平面照度E，即相机响应函数的标定。所谓相机响应函数，是指在相机成像过程中入射光的平面照度与图像数据之间的函数映射关系，涵盖了相机内部处理的所有过程，可视为相机的固有属性。其次，用平面照度加权平均得到HDR图像(即HDR合成)，最后通过Tone Mapping将HDR图像在普通显示屏上显示。

但是现有的HDR合成过程在硬件FPGA实现中占用大量逻辑和存储资源，具体地，在相机响应函数的标定的过程中，需要通过复杂的最优化和迭代运算，会占用大量逻辑资源，并且将最终获得的响应函数存储在FPGA中，还要占用存储资源。

此外，在HDR合成的过程中，涉及除法运算操作，由于该除法操作是针对每个点进行的，且每一点的补偿权值不同，所以对于FPGA而言实现难度较大，占用大量的逻辑资源。

为克服HDR合成过程在硬件FPGA中占用大量逻辑和存储资源的问题，本申请实施例提供了一种HDR图像合成方法，该方法用于将同一场景曝光度不同的两帧或两帧以上图像合成为一帧HDR图像，并将其显示在普通的显示设备上。

所述曝光度是指感光元件获取一帧图像的曝光程度，可以理解为感光元件单位面积上接收到的光子数(或光子能量)的多少。例如，曝光度越高，感光元件单位面积接收到的光子数越多，图像效果就越亮；反之，曝光度越低，图像越暗。由于同一场景的不同帧图像的曝光度不同，例如，曝光度高的图像能看清楚较暗区域的细节，但较亮区域呈现为过曝，亮部细节无法分辨；曝光度低的图像能看清楚较亮区域的细节，但较暗区域的细节看不清楚；本申请提供的方法通过将多个曝光度不同的图像进行HDR合成，来恢复实际场景的照度。

如图1所示是本申请提供的一种HDR图像合成方法的流程图，该方法包括如下步骤：

步骤101：获取在同一场景拍摄的至少两帧图像或高帧频下的连续多帧(至少两帧)图像，且每帧图像的曝光度不同；

本实施例中，同一场景拍摄的至少两帧曝光度不同的图像，其实现方法可简要概括为两类：1)同时获取同一场景中的不同曝光度的多帧(至少两帧)图像，该功能可通过特殊的感光元件实现，其原理在于多帧图像同时曝光、同时输出但曝光度不同；2)高帧频拍摄时前后连续帧曝光度不同的图像，其原理在于高帧频拍摄时可认为前后帧图像场景一致。

步骤102：获取每帧图像上所有像素点的灰度值；

步骤103：根据经典HDR图像合成公式，用灰度值代替所述经典HDR图像合成算法公式中的光照度，形成第一HDR图像合成公式；

在感光元件为理想元件的条件下，认为该感光元件的灰度响应与光照度成线性关系，即相机响应函数与光照度是线性相关的，因此可用图像的灰度值代替经典HDR合成算法中的光照度。

其中，这里所述的感光元件是指成像传感器，通过感光元件能够获取待合成的图像，通过该图像能够得到其上任一点的灰度值。

步骤104：对所述第一HDR图像合成公式优化生成第二HDR图像合成公式；

步骤105：使用所述第二HDR图像合成公式对至少两帧图像上的对应位置的像素点进行合成，并生成HDR图像；

如果对曝光度不同的两帧图像进行HDR合成，则分别获取第一帧图像上所有像素点的灰度值和第二帧图像上所有像素点的灰度值，以一个像素点为例，分别将第一帧图像和第二帧图像上同一位置像素点的灰度值代入到所述第二HDR图像合成公式中，得到合成后的HDR图像在这一位置像素点的灰度值。将第一帧图像和第二帧图像上的所有相同位置像素点的灰度值带入到所述第二HDR图像合成公式中，进而得到合成后的HDR图像。

步骤106：建立一个分段线性模型，将所述生成的HDR图像通过所述分段线性模型表示。

在步骤106中生成的HDR图像需要HDR显示器才能够显示，但是这种HDR显示器价格昂贵，所以为了使生成的HDR图像能够显示在一般的显示设备上，因此对该HDR图像进行压缩操作，具体压缩的过程可以通过预先设置的分段线性模型来实现。

本实施例提供的一种高动态范围图像合成方法，在感光元件为理想元件的条件下，认为该感光元件的灰度响应与光照度成线性关系，即相机响应函数与光照度是线性相关的，因此用图像的灰度值代替经典HDR图像合成算法中的光照度，并对其进行HDR合成，进而无需再对相机响应函数进行标定，将FPGA中复杂运算，例如指数、对数、除法、加权平均等优化为单点的加减和移位等运算，由于这些加减和移位运算适于FPGA的执行操作，几乎不占用FPGA逻辑和存储资源，所以能够满足硬件设备的高速和实时性要求。

在上述方法的一个具体实施例中，假设感光元件的灰度响应与光照度成线性关系，则所述灰度响应满足理想的线性相关模型，在所述经典HDR图像合成算法中，经典HDR图像合成公式表示为：

$hdr\left(i\right)=\frac{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)E_j\left(Z_{ij}\right)}{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)}$

其中，设任意一帧图像上任意一个像素点表示为第j帧图像第i个像素点，hdr表示HDR合成后的图像，即所述生成的HED图像，hdr(i)表示hdr图像上第i个像素点的灰度值，Z_ij为第j帧图像第i个像素点的灰度值，E_j(Z_ij)为第j帧图像第i个像素点处的实际场景照度，w(Z_ij)为第j帧图像第i个像素点的补偿权值，补偿权值函数可通过三角函数或正态分布函数获得，所述第j帧图像第i个像素点的补偿权值为所述补偿权值函数中的一个值，P表示合成一帧HDR图像所用的图像帧数。

基于上述线性相关模型，将获取的任意一个像素点的灰度值代替经典HDR合成算法中的光照度，即Z＝kE,其中，k为线性相关系数，对于一款成像设备(例如相机等)，k为常数。

将该灰度值替换经典HDR图像合成公式中的光照度之后，形成第一HDR图像合成公式，所述第一HDR图像合成公式表示为：

$hdr\left(i\right)=\frac{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)\&CenterDot;Z_{ij}}{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)}$

其中，Z_ij表示第j帧图像第i个像素点的灰度值，Z_ij相当于所述经典HDR图像合成公式中的E_j(Z_ij)。

使用第一HDR合成公式对获取的多帧图像进行HDR合成，避免对相机响应函数进行标定，避免复杂的运算，进而节约了大量逻辑和存储资源。

进一步地，在使用第一HDR图像合成公式对多帧图像进行HDR合成过程中，由于HDR合成后还需经过Tone Mapping的映射过程才能将HDR合成后的图像在普通显示屏上进行显示，因此考虑将HDR合成过程中涉及映射关系的部分优化掉，即对上述第一HDR合成公式进行去分母化简，优化掉该公式中的分母部分，生成第二HDR图像合成公式。

所述第二HDR图像合成公式可表示为：

本实施例中，通过对第一HDR图像合成公式的优化，能够进一步地简化HDR图像合成公式，进而减小计算量，节约硬件资源。

在上述实施例所提供的方法中，由于是基于理想的感光元件实现的，但是现实中的元器件难以达到理想要求，会产生误差，所以需要通过Tone Mapping分段线性模型对其进行校正和补偿，从而使得合成结果趋向真实的相机响应函数。

具体实现的过程如下：

将Tone Mapping设置为一个分段线性模型，为了在增大HDR图像对比度的同时满足FPGA硬件逻辑的需求，将该Tone Mapping优化为分段线性模型。

如果所述分段线性模型为三段式分段线性模型，并且设Y₁₁表示为所述HDR图像合成后的图像灰度，Y₁₀表示为Y₁₁压缩后的图像灰度，即生成的HDR图像灰度，则将Y₁₀通过所述分段线性模型可例化表示为：

$Y_{10}=\left\{\begin{array}{cc}{Y}_{11}/a+Y_{11}/b,& Y_{11}\&le;y1\\ Y_{11}/c+Y_{11}/d+e,& y1<Y_{11}\&le;y2\\ Y_{11}/f+g,& Y_{11}>y2\end{array}\right.$

其中，y1，y2表示为分段线性映射模型的拐点，a,b,c,d,e,f,g表示分段线性系数。优选的，在所述分段线性模型中，位于分母位置的分段线性系数的取值为2ⁿ，且n是自然数。在上述分段线性模型中，a,b,c,d,f取值为2ⁿ，n＝0,1,2,3......,由于在上述公式中a,b,c,d,f均为除法操作，而在FPGA中除法操作实现起来比较繁琐，所以将分段线性系数取值为2ⁿ，例如，2、4、8、16等，进而FPGA中就能够通过数据移位的方法实现上述公式中的除法操作，不但加快了运算速度，而且不占用资源。

本实施例通过设置分段线性映射模型，能够减小FPGA的存储空间，进一步节约了硬件FPGA存储资源。

在一个具体的实施例中，若HDR合成后的数据为11bit数据(即Y₁₁)，要将该11bit数据映射到10bit数据(即Y₁₀)的灰度空间，可将上述分段线性模型例化表示为：

$Y_{10}=\left\{\begin{array}{cc}{Y}_{11}/2,& Y_{11}<(2^7+2^9)\\ Y_{11}/2+(Y_{11}-2^7-2^9)/4,& (2^7+2^9)<Y_{11}<(2^{10}+2^7+2^6)\\ (Y_{11}+2^{11}-2^8)/4,& (2^{10}+2^7+2^6)<Y_{11}<(2^{10}+2^9+2^8)\\ Y_{11}/2,& else\end{array}\right.$

如图3示出了上述Tone Mapping分段线性模型可例化的曲线，其中拐点y1、y2、y3分别对应上面式子中的(2⁷+2⁹)、(2¹⁰+2⁷+2⁶)和(2¹⁰+2⁹+2⁸)。本具体的实施例的有益效果为：分段线性模型的斜率系数均取值为2ⁿ(n＝0,1,2，……)，在FPGA中可通过简单执行的移位操作实现。

本发明涉及一种实时性高的HDR图像合成与显示方法，该方法适用于FPGA硬件实现，可广泛应用于各种成像设备，尤其是可应用于实时性要求高的设备，并且不借助外部软硬件也可提高设备的动态范围。

在另一个实施例中，如果对同一场景曝光度不同的两帧图像进行HDR图像合成，且所述两帧图像分别为高曝光(英文：High Exposure，缩写：HE)图像和低曝光(英文：LowExposure，缩写：LE)图像，则对所述HE图像和LE图像进行HDR图像合成，基于上述理想LE图像和HE图像的灰度响应均与光照度图像E呈线性相关的模型，则简化HDR合成过程为hdr(i)＝n1*LE(i)+n2*HE(i)。

其中，hdr表示合成后的HDR图像，hdr(i)表示HDR图像上第i个像素点，LE(i)表示LE图像上第i个像素点，HE(i)表示HE图像上第i个像素点，n1,n2为补偿权值。HDR图像与具体照度图像E之间的比例关系通过Tone Mapping将其映射回来。

本申请实施例还提供了一种HDR图像合成装置，对应于前述方法的实施例，该装置用于将同一场景曝光度不同的两帧或两帧以上图像合成为一帧高动态范围HDR图像，如图4所示，该装置400包括：

图像获取单元401，用于获取在同一场景拍摄的至少两帧图像或高帧频下的连续多帧(至少两帧)图像，且每帧图像的曝光度不同；

灰度值获取单元402，用于获取每帧图像上所有像素点的灰度值；

第一公式合成单元403，用于根据经典HDR图像合成公式，在感光元件为理想元件的条件下，认为该感光元件的灰度响应与光照度成线性关系，用灰度值代替所述经典HDR图像合成算法公式中的光照度，形成第一HDR图像合成公式；

第二公式合成单元404，用于对所述第一HDR图像合成公式优化生成第二HDR图像合成公式；

HDR图像合成单元405，用于使用所述第二HDR图像合成公式对至少两帧图像上的对应位置的像素点进行合成，并生成HDR图像；

压缩单元406，用于建立一个分段线性模型，将所述生成的HDR图像通过所述分段线性模型表示。

进一步地，在所述经典HDR图像合成算法中，经典HDR图像合成公式为：

$hdr\left(i\right)=\frac{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)E_j\left(Z_{ij}\right)}{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)}$

其中，hdr表示HDR合成后的图像，hdr(i)表示hdr图像上第i个像素点的灰度值，Z_ij为第j帧图像第i个像素点的灰度值，E_j(Z_ij)为第j帧图像第i个像素点处的实际场景照度，w(Z_ij)为第j帧图像第i个像素点的补偿权值，P表示合成一帧HDR图像所用的图像帧数，所述第一HDR图像合成公式表示为：

$hdr\left(i\right)=\frac{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)\&CenterDot;Z_{ij}}{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)}$

Z_ij表示为第j帧图像第i个像素点的灰度值，Z_ij相当于所述经典HDR图像合成公式中的E_j(Z_ij)。

进一步地，所述优化单元具体用于对所述第一HDR图像合成公式进行去分母化简，生成第二HDR图像合成公式；

其中，所述第二HDR图像合成公式表示为：

进一步地，所述压缩单元405具体用于，如果所述分段线性模型为三段式分段线性模型，并且设Y₁₁表示为所述HDR图像合成后的图像灰度，Y₁₀表示为Y₁₁压缩映射后的图像灰度，则将Y₁₀通过所述分段线性模型可例化表示为：

$Y_{10}=\left\{\begin{array}{cc}{Y}_{11}/a+Y_{11}/b,& Y_{11}\&le;y1\\ Y_{11}/c+Y_{11}/d+e,& y1<Y_{11}\&le;y2\\ Y_{11}/f+g,& Y_{11}>y2\end{array}\right.$

其中，y1，y2表示所述三段式分段线性模型的拐点，a,b,c,d,e,f,g表示分段线性系数。可选的，在所述分段线性模型中，位于分母位置的分段线性系数的取值为2ⁿ，且n是自然数，即a,b,c,d,f取值为2ⁿ，n＝0,1,2,3......,。

需要说明的是，本申请实施例所建立的分段线性模型包括但不仅局限于有两个(y1,y2)或三个(y1,y2,y3)拐点的线性分段模型，其它类型的分段线性函数模型，即只要是通过分段线性模型进行的HDR图像压缩和映射方法，均属于本申请所包含的范围之内。

上述实施例提供的一种HDR图像合成装置，在感光元件为理想元件的条件下，认为该感光元件的灰度响应与光照度成线性关系，即相机响应函数与光照度是线性相关的，因此用图像的灰度值代替经典HDR图像合成算法中的光照度，并对其进行HDR合成，进而无需再对相机响应函数进行标定，将FPGA中复杂运算，例如指数、对数、除法、加权平均等优化为单点的加减和移位等运算，由于这些加减和移位运算适于FPGA的执行操作，几乎不占用FPGA逻辑和存储资源，所以能够满足硬件设备的高速和实时性要求。

此外，简化HDR合成模型后，由于实际中理想感光元件的难以实现，所以通过ToneMapping分段线性模型对其进行校正和补偿，从而使得合成结果趋向真实的相机响应函数。

在另一个实施例中，还提供一种HDR图像合成设备，如图5所示，所述设备包括收发器510，处理器520和存储器530，

收发器510，用于获取在同一场景拍摄的至少两帧图像，且每帧图像的曝光度不同，以及获取每帧图像上所有像素点的灰度值；

处理器520，用于根据经典HDR图像合成公式，用灰度值代替所述经典HDR图像合成算法公式中的光照度，形成第一HDR图像合成公式，以及对所述第一HDR图像合成公式优化生成第二HDR图像合成公式；

所述处理器520，还用于使用所述第二HDR图像合成公式对至少两帧图像上的对应位置的像素点进行合成，并生成HDR图像，以及建立一个分段线性模型，将所述生成的HDR图像通过所述分段线性模型表示；

存储器530，用于存储所述第一HDR图像合成公式、第二HDR图像合成公式、分段线性模型和生成的HDR图像。

本实施例提供的HDR图像合成设备，通过对相机响应函数的简化，和在HDR合成中简化HDR图像合成公式以及压缩映射的优化过程，进而节约了大量的逻辑和存储资源，提高了硬件FPGA的可实现性，满足硬件设备的高速和实时性要求。

此外，所述处理器还用于实现上述HDR图像合成方法及装置实施例中的功能和步骤。

另外，所述HDR图像合成设备还包括显示器540，该显示器540用于显示经过ToneMapping压缩后的HDR图像。

所述处理器520包括处理芯片，该处理芯片可以为中央处理器(CPU)。处理芯片还可以进一步包括硬件芯片，所述硬件芯片可以是集成电路(英文：integrated circuit)，可编程逻辑器件(英文：programmable logic device，PLD)或其组合。上述PLD可以是现场可编程逻辑门阵列(FPGA)，通用阵列逻辑(英文：generic array logic，GAL)或其任意组合。

所述存储器530可以为易失性存储器，非易失性存储器或其组合。其中，易失性存储器可以是随机存取存储器(RAM)，非易失性存储器可以是只读存储器(ROM)、硬盘(harddisk drive，HDD)或固态硬盘(solid-state drive，SSD)。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于装置或设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种高动态范围HDR图像合成方法，其特征在于，所述方法包括：

获取在同一场景拍摄的至少两帧图像或高帧频下的连续多帧图像，且每帧图像的曝光度不同；

获取每帧图像上所有像素点的灰度值；

根据经典HDR图像合成公式，用灰度值代替所述经典HDR图像合成算法公式中的光照度，形成第一HDR图像合成公式；

对所述第一HDR图像合成公式优化生成第二HDR图像合成公式；

使用所述第二HDR图像合成公式对至少两帧图像上的对应位置的像素点进行合成，并生成HDR图像；

建立一个分段线性模型，将所述生成的HDR图像通过所述分段线性模型表示。

2.根据权利要求1所述的方法，其特征在于，所述经典HDR图像合成公式表示为：

$hdr\left(i\right)=\frac{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)E_j\left(Z_{ij}\right)}{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)}$

其中，hdr表示HDR合成后的图像，hdr(i)表示hdr图像上第i个像素点的灰度值，Z_ij为第j帧图像第i个像素点的灰度值，E_j(Z_ij)为第j帧图像第i个像素点处的实际场景照度，w(Z_ij)为第j帧图像第i个像素点的补偿权值，P表示合成一帧HDR图像所用的图像帧数，所述第一HDR图像合成公式表示为：

$hdr\left(i\right)=\frac{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)\&CenterDot;Z_{ij}}{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)}$

Z_ij表示为第j帧图像第i个像素点的灰度值，Z_ij相当于所述经典HDR图像合成公式中的E_j(Z_ij)。

3.根据权利要求1所述的方法，其特征在于，对所述第一HDR图像合成公式优化生成第二HDR图像合成公式包括：

对所述第一HDR图像合成公式进行去分母化简，生成第二HDR图像合成公式；

其中，所述第二HDR图像合成公式表示为：

4.根据权利要求1所述的方法，其特征在于，将所述生成的HDR图像通过所述分段线性模型表示包括：

如果所述分段线性模型为三段式分段线性模型，并且设Y₁₁表示为所述HDR图像合成后的图像灰度，Y₁₀表示为Y₁₁压缩后的图像灰度，则将Y₁₀通过所述分段线性模型可例化表示为：

$Y_{10}=\left\{\begin{array}{cc}{Y}_{11}/a+Y_{11}/b,& Y_{11}\&le;y1\\ Y_{11}/c+Y_{11}/d+e,& y1<Y_{11}\&le;y2\\ Y_{11}/f+g,& Y_{11}>y2\end{array}\right.$

其中，y1，y2表示所述三段式分段线性模型的拐点，a,b,c,d,e,f,g表示分段线性系数。

5.根据权利要求1-4任一项所述的方法，其特征在于，在所述分段线性模型中，位于分母位置的分段线性系数的取值为2ⁿ，且n是自然数。

6.一种HDR图像合成装置，其特征在于，所述装置包括：

图像获取单元，用于获取在同一场景拍摄的至少两帧图像或高帧频下的连续多帧图像，且每帧图像的曝光度不同；

灰度值获取单元，用于获取每帧图像上所有像素点的灰度值；

第一公式合成单元，用于根据经典HDR图像合成公式，用灰度值代替所述经典HDR图像合成算法公式中的光照度，形成第一HDR图像合成公式；

第二公式合成单元，用于对所述第一HDR图像合成公式优化生成第二HDR图像合成公式；

HDR图像合成单元，用于使用所述第二HDR图像合成公式对至少两帧图像上的对应位置的像素点进行合成，并生成HDR图像；

压缩单元，用于建立一个分段线性模型，将所述生成的HDR图像通过所述分段线性模型表示。

7.根据权利要求6所述的装置，其特征在于，所述经典HDR图像合成公式表示为：

$hdr\left(i\right)=\frac{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)E_j\left(Z_{ij}\right)}{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)}$

其中，hdr表示HDR合成后的图像，hdr(i)表示hdr图像上第i个像素点的灰度值，Z_ij为第j帧图像第i个像素点的灰度值，E_j(Z_ij)为第j帧图像第i个像素点处的实际场景照度，w(Z_ij)为第j帧图像第i个像素点的补偿权值，P表示合成一帧HDR图像所用的图像帧数，所述第一HDR图像合成公式表示为：

$hdr\left(i\right)=\frac{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)\&CenterDot;Z_{ij}}{\underset{j=1}{\overset{P}{\&Sigma;}}w\left(Z_{ij}\right)}$

Z_ij表示为第j帧图像第i个像素点的灰度值，Z_ij相当于所述经典HDR图像合成公式中的E_j(Z_ij)。

8.根据权利要求6所述的装置，其特征在于，所述第二公式合成单元，具体用于对所述第一HDR图像合成公式进行去分母化简，生成第二HDR图像合成公式；

其中，所述第二HDR图像合成公式表示为：

9.根据权利要求6所述的装置，其特征在于，所述压缩单元具体用于，

如果所述分段线性模型为三段式分段线性模型，并且设Y₁₁表示为所述HDR图像合成后的图像灰度，Y₁₀表示为Y₁₁压缩映射后的图像灰度，则将Y₁₀通过所述分段线性模型可例化表示为：

$Y_{10}=\left\{\begin{array}{cc}{Y}_{11}/a+Y_{11}/b,& Y_{11}\&le;y1\\ Y_{11}/c+Y_{11}/d+e,& y1<Y_{11}\&le;y2\\ Y_{11}/f+g,& Y_{11}>y2\end{array}\right.$

其中，y1，y2表示所述三段式分段线性模型的拐点，a,b,c,d,e,f,g表示分段线性系数。

10.一种HDR图像合成设备，其特征在于，所述设备包括收发器，处理器和存储器，

收发器，用于获取在同一场景拍摄的至少两帧图像或高帧频下的连续多帧图像，且每帧图像的曝光度不同，以及获取每帧图像上所有像素点的灰度值；

处理器，用于根据经典HDR图像合成公式，用灰度值代替所述经典HDR图像合成算法公式中的光照度，形成第一HDR图像合成公式，以及对所述第一HDR图像合成公式优化生成第二HDR图像合成公式；

所述处理器，还用于使用所述第二HDR图像合成公式对至少两帧图像上的对应位置的像素点进行合成，并生成HDR图像，以及建立一个分段线性模型，将所述生成的HDR图像通过所述分段线性模型表示；

存储器，用于存储所述第一HDR图像合成公式、第二HDR图像合成公式、分段线性模型和生成的HDR图像。