CN104835131A - 一种基于ic实现hdr图像生成及色调映射的方法和系统 - Google Patents

Abstract

本发明公开了一种基于IC实现HDR图像生成及色调映射的系统及方法，中央处理模块通过总线与图像采集模块、数据存储模块和HDR处理模块通信，至少HDR处理模块以集成电路IC形式实现；图像采集模块采集目标场景在不同曝光度下的多幅目标图像；数据存储模块对图像采集模块采集的目标图像进行存储，并对HDR处理模块处理得到的结果图像进行存储；HDR处理模块从数据存储模块中获取目标图像，对目标场景在不同曝光度下的多幅目标图像进行HDR合成处理得到HDR图像，对HDR图像进行色调映射处理得到目标场景的结果图像，将目标场景的结果图像进行存储。通过集成电路IC形式实现了HDR图像合成和色调映射，提高了实时性，降低了软件依赖，减少了系统资源开销。

Description

一种基于IC实现HDR图像生成及色调映射的方法和系统

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于集成电路IC(integratedcircuit)实现HDR图像生成及色调映射的方法和系统。

背景技术

HDR图像即高动态范围图像，是一种可以记录真实世界场景中亮度信息的数字图像，其具有更接近真实世界场景的动态范围，真实世界场景的亮度级可达到十几个量级，而人眼识别的动态范围有五个数量级。随着HDR合成技术的发展迅速，可以使用特殊的HDR摄像头拍摄获取高动态范围的图像，也可以对一组不同曝光度的低动态范围图像做软件的合成得到HDR图像，得到满足人眼观察的更有细节层次的图像。通过特殊设计的摄像头能实时有效的获取HDR图像，但是摄像头工艺难度较高增加了系统的成本。在采用HDR图像合成时，由于数字图像传输设备和数字图像显示设备所支持的通常是3色8位数据通道，其只有256个亮度级，并不能直接显示合成的HDR图像，因此这就需要进行动态范围压缩的色调映射运算。在现有技术中，HDR图像生成及色调映射通常是通过软件实现的，实现的程序编写过程比较方便，但是由于对整幅图像的每个像素点有大量的重复的浮点数运算，很耗费系统资源，难以保证实时性。

发明内容

为了解决背景技术中存在的技术问题，本发明提出了一种基于集成电路IC实现HDR图像生成及色调映射的方法和系统。

本发明提出的一种基于IC实现HDR图像生成及色调映射的系统，包括：中央处理模块、图像采集模块、数据存储模块、HDR处理模块；

中央处理模块通过总线与图像采集模块、数据存储模块和HDR处理模块通信，其中，至少HDR处理模块以集成电路IC形式实现；

图像采集模块，用于采集目标场景在不同曝光度下的多幅目标图像；

数据存储模块，用于对图像采集模块采集的目标图像进行存储，并对HDR处理模块处理得到的结果图像进行存储；

HDR处理模块，用于从数据存储模块中获取目标图像，对目标场景在不同曝光度下的多幅目标图像进行HDR合成处理得到HDR图像，对HDR图像进行色调映射处理得到目标场景的结果图像，将目标场景的结果图像进行存储。

其中，HDR处理模块包括HDR图像合成子模块，HDR图像合成子模块用于对目标场景在不同曝光度下的多幅目标图像中对应像素点进行加权处理和归一处理合成得到HDR图像中一个像素点的像素值，遍历多幅目标图像中每个像素点得到目标场景的HDR图像；

优选地，HDR图像合成子模块具体用于，计算目标图像中每个像素点的像素值所对应目标场景的亮度、目标图像中每个像素点的像素值所对应的高斯权重以及目标图像的曝光时间，将目标场景在不同曝光度下的多幅目标图像中对应像素点的亮度和高斯权重以及目标图像的曝光时间进行加权处理，再根据多幅目标图像中对应像素点的高斯权重之和进行归一处理，从而得到HDR图像中一个像素点的像素值；

优选地，在HDR图像合成中进行加权归一处理的计算公式如下：

$\mathrm{img}\_\mathrm{HDR}\left(i\right)=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\frac{{\mathrm{weight}}_j\left(i\right)\×\mathrm{img}\_{\mathrm{lin}}_j\left(i\right)}{\mathrm{stack}\_{\mathrm{exposure}}_j}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{weight}}_j\left(i\right)}$

在上式中，img_hdr(i)为合成得到HDR图像中像素点i的像素值，img_lin_j(i)为第j幅目标图像中像素点i的像素值所对应目标场景的亮度，stack_exposure_j为第j幅目标图像的曝光时间，weight_j(i)为第j幅目标图像中像素点i的像素值所对应的高斯权重，n为目标场景在不同曝光度下的目标图像的数量；

优选地，根据Debevec和Malik算法得到光照响应曲线，将光照响应曲线函数存储到查找表lutDeb中，通过查找表将目标图像中像素点的像素值对应到光照响应曲线反函数中所表示的目标场景的亮度img_lin；优选地，根据目标图像中每个像素点的流明值得到目标图像的流明平均值，利用流明平均值得到目标图像的曝光时间stack_exposure，或者，由图像采集模块CMOS相机提供目标图像的曝光时间stack_exposure；优选地，根据目标图像中像素点的像素值所对应目标场景的亮度计算得到目标图像中像素点的像素值所对应的高斯权重weight。

其中，HDR处理模块还包括色调映射子模块，色调映射子模块用于对目标场景的HDR图像中每个像素点进行色调映射，再根据色调映射前后比例对HDR图像中每个像素点的RGB值进行等比例映射，遍历HDR图像中每个像素点得到目标场景的结果图像；

优选地，色调映射子模块具体用于，根据HDR图像中每个像素的RGB值分别计算HDR图像中每个像素点的流明值L，对每个像素点进行色调映射处理得到色调映射后像素点的流明值，根据色调映射前后像素点的流明值比例对HDR图像中每个像素点的RGB值进行等比例映射得到映射后像素点的RGB值，然后进行gamma矫正映射到显示区间，完成HDR图像进行色调映射处理得到目标场景的结果图像；

优选地，在色调映射过程中对HDR图像进行压缩的计算公式如下：

$L_d=\frac{\mathrm{Lscaled}\×(1+\mathrm{Lscaled}/P_{\mathrm{white}}^2)}{1+\mathrm{Lscaled}}$

在上式中，Ld为色调映射后HDR图像中像素点的流明值，Lscaled为像素点的参考扫描流明值，Pwhite为纯白色点判据阈值；

优选地，根据HDR图像中每个像素点的流明值L计算得到HDR图像中流明值的对数平均值、平均值对数、最大值对数和最小值对数，然后计算HDR图像的曝光度Palpha和纯白色点判据阈值Pwhite，再根据HDR图像的曝光度Palpha计算参考扫描流明值Lscaled；

优选地，在色调映射过程中，将HDR图像压缩到8bit的显示范围内；优选地，在gamma矫正过程中，将HDR图像中每个像素点比例映射后的RGB值矫正映射到显示区间【0，255】。

其中，HDR处理模块还包括浮点数运算子模块，浮点数运算子模块与HDR图像合成子模块和色调映射子模块连接，用于根据HDR图像合成子模块和色调映射子模块提供的计算参数和计算公式进行浮点运算；

优选地，HDR处理模块还包括DMA子模块、FIFO子模块和Registers子模块用于与总线上的中央处理模块、数据存储模块进行数据交互；优选地，HDR处理模块根据中央处理模块提供的目标图像的基地址和数据读取长度通过DMA子模块向数据存储模块发出数据获取请求，HDR处理模块根据中央处理模块提供的结果图像的基地址和数据写入长度通过DMA子模块向数据存储模块发出数据写入请求；优选地，FIFO子模块用于对从数据存储模块获取的目标图像数据和需要写入数据存储模块中的结果图像数据进行缓存；优选地，Registers子模块用于对中央处理模块提供的目标图像的基地址和结果图像的基地址进行存储；

优选地，HDR处理模块还包括输入子模块、中间子模块和输出子模块用于对数据进行存储；优选地，输入子模块用于对获取的目标图像数据进行存储以备HDR合成子模块进行HDR合成处理；优选地，中间子模块用于对HDR合成子模块合成的HDR图像进行存档以备色调映射子模块进行色调映射处理；优选地，输出子模块用于对色调映射子模块处理得到的结果图像数据进行存储以备写入。

其中，还包括图像显示模块，中央处理模块通过总线与图像显示模块通信，图像显示模块用于对数据存储模块中存储的目标场景的结果图像进行显示。

其中，总线以集成电路IC形式实现；

优选地，中央处理模块CPU以集成电路IC形式实现；

优选地，图像采集模块通过输入接口连接到总线，输入接口以集成电路IC形式实现，优选图像采集模块为CMOS相机；

优选地，数据存储模块通过SDRAM控制器连接到总线，SDRAM控制器以集成电路IC形式实现，优选数据存储模块为DDR；

优选地，图像显示模块通过DVI控制器连接到总线，DVI控制器以集成电路IC形式实现，优选图像显示模块为显示器。

本发明还提出了一种基于IC实现HDR图像生成及色调映射的方法，包括：

采集目标场景在不同曝光度下的多幅目标图像并进行存储；

获取目标场景在不同曝光度下的多幅目标图像并进行HDR合成处理得到HDR图像，对HDR图像进行色调映射处理得到目标场景的结果图像并进行存储。

其中，在HDR合成处理的步骤中，对目标场景在不同曝光度下的多幅目标图像中对应像素点进行加权处理和归一处理合成得到HDR图像中一个像素点的像素值，遍历多幅目标图像中每个像素点得到目标场景的HDR图像；

优选地，在HDR合成处理的步骤中，其具体包括：计算目标图像中每个像素点的像素值所对应目标场景的亮度、目标图像中每个像素点的像素值所对应的高斯权重以及目标图像的曝光时间，将目标场景在不同曝光度下的多幅目标图像中对应像素点的亮度和高斯权重以及目标图像的曝光时间进行加权处理，再根据多幅目标图像中对应像素点的高斯权重之和进行归一处理，从而得到HDR图像中一个像素点的像素值；

优选地，在HDR图像合成中进行加权归一处理的计算公式如下：

$\mathrm{img}\_\mathrm{hdr}\left(i\right)=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\frac{{\mathrm{weight}}_j\left(i\right)\×\mathrm{img}\_{\mathrm{lin}}_j\left(i\right)}{\mathrm{stack}\_{\mathrm{exposure}}_j}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{weight}}_j\left(i\right)}$

在上式中，img_hdr(i)为合成得到HDR图像中像素点i的像素值，img_lin_j(i)为第j幅目标图像中像素点i的像素值所对应目标场景的亮度，stack_exposure_j为第j幅目标图像的曝光时间，weight_j(i)为第j幅目标图像中像素点i的像素值所对应的高斯权重，n为目标场景在不同曝光度下的目标图像的数量；

优选地，根据Debevec和Malik算法得到光照响应曲线，将光照响应曲线函数存储到查找表lutDeb中，通过查找表将目标图像中像素点的像素值对应到光照响应曲线反函数中所表示的目标场景的亮度img_lin；优选地，根据目标图像中每个像素点的流明值得到目标图像的流明平均值，利用流明平均值得到目标图像的曝光时间stack_exposure，或者，由图像采集模块CMOS相机提供目标图像的曝光时间stack_exposure；优选地，根据目标图像中像素点的像素值所对应目标场景的亮度计算得到目标图像中像素点的像素值所对应的高斯权重weight。

其中，在色调映射处理的步骤中，对目标场景的HDR图像中每个像素点进行色调映射，再根据色调映射前后比例对HDR图像中每个像素点的RGB值进行等比例映射，遍历HDR图像中每个像素点得到目标场景的结果图像；

优选地，在色调映射处理的步骤中，其具体包括：根据HDR图像中每个像素的RGB值分别计算HDR图像中每个像素点的流明值L，对每个像素点进行色调映射处理得到色调映射后像素点的流明值，根据色调映射前后像素点的流明值比例对HDR图像中每个像素点的RGB值进行等比例映射得到映射后像素点的RGB值，然后进行gamma矫正映射到显示区间，完成HDR图像进行色调映射处理得到目标场景的结果图像；

优选地，在色调映射过程中对HDR图像进行压缩的计算公式如下：

$L_d=\frac{\mathrm{Lscaled}\×(1+\mathrm{Lscaled}/P_{\mathrm{white}}^2)}{1+\mathrm{Lscaled}}$

在上式中，Ld为色调映射后HDR图像中像素点的流明值，Lscaled为像素点的参考扫描流明值，Pwhite为纯白色点判据阈值；

优选地，根据HDR图像中每个像素点的流明值L计算得到HDR图像中流明值的对数平均值、平均值对数、最大值对数和最小值对数，然后计算HDR图像的曝光度Palpha和纯白色点判据阈值Pwhite，再根据HDR图像的曝光度Palpha计算参考扫描流明值Lscaled。

其中，还包括对存储的目标场景的结果图像进行显示。

在本发明中，通过对目标场景在不同曝光度下的多幅目标图像中每个对应像素点进行加权归一合成处理得到目标场景的HDR图像，对目标场景的HDR图像中每个像素点进行色调映射，再根据色调映射前后比例对HDR图像中每个像素点的RGB值进行等比例映射，再进行矫正映射到显示区间，得到目标图像的结果图像。通过基于集成电路IC实现HDR图像生成和色调映射，大幅度提高了HDR图像处理的实时性，降低了对软件依赖，减少系统的资源开销。

附图说明

图1为本发明实施例公开的一种基于IC实现HDR图像生成及色调映射的系统的结构示意图。

图2为本发明实施例公开的HDR图像处理模块中HDR图像合成的硬件流水线示意图。

图3为本发明实施例公开的HDR图像处理模块中HDR图像色调映射的硬件流水线示意图。

图4为本发明实施例公开一种基于IC实现HDR图像生成及色调映射的方法的流程示意图。

图5为本发明实施例公开的HDR图像处理模块在进行图像合成的算法流程示意图。

图6为本发明实施例公开的HDR图像处理模块在进行色调映射的算法流程示意图。

图7为本发明实施例公开的HDR处理模块的主状态机示意图。

具体实施方式

下面，通过具体实施例对本发明的技术方案进行详细说明。

在本发明中，HDR图像生成和色调映射算法可以方便地在各种集成电路的形式实现，包括ASIC、FPGA等，整个系统具备很好的扩展性，方便集成其他的图像算法，能保证处理的运算实时性。

本发明实施例中，基于集成电路IC的实施例是以FPGA为例子来实现的，本领域技术人员可以很方便地扩展到其他IC来实现。

如图1所示，在FPGA上搭建图1所示的一个SoC系统，图1为本发明实施例提出的一种基于IC实现HDR图像生成及色调映射的系统的结构示意图。

参照图1，本发明实施例提出了一种基于集成电路IC实现HDR图像生成及色调映射的系统，包括中央处理模块、图像采集模块、数据存储模块、HDR处理模块、图像显示模块，中央处理模块通过总线与图像采集模块、数据存储模块、HDR处理模块、图像显示模块进行通信；图像采集模块用于采集目标场景在不同曝光度下的多幅目标图像；数据存储模块用于对图像采集模块采集的目标图像进行存储，可以将不同曝光度的多幅目标图像以RGB位图顺序存储在数据存储模块中，并且，数据存储模块用于对HDR处理模块处理得到的结果图像进行存储；HDR处理模块用于从数据存储模块中获取目标图像，对目标场景在不同曝光度下的多幅目标图像进行HDR合成处理得到HDR图像，对HDR图像进行色调映射处理得到目标场景的结果图像，将目标场景的结果图像进行存储；图像显示模块用于对数据存储模块中存储的目标场景的结果图像进行显示。

中央处理模块CPU是系统的控制中心，CPU可以是软处理器核也可以是硬处理器核用于负责控制整个系统的运行，在系统控制过程中，中央处理模块向图像采集模块发出采集指令，启动图像采集模块来采集目标图像并将目标图像存储在数据存储模块中，然后将数据存储模块中目标图像的基地址和处理完成后结果图像的基地址传输给HDR处理模块，并向HDR处理模块发出运算指令，HDR处理模块从数据存储模块中获取目标图像进行HDR图像合成处理和色调映射处理得到结果图像并存储在数据存储模块中，在运算结束后，中央控制模块将数据存储模块的图像地址发送给图像显示模块，图像显示模块从数据存储模块中获取图像并进行显示。

在具体实施例中，HDR处理模块是专门用于处理HDR图像生成和色调映射的模块，在HDR处理模块中从数据存储模块中读取目标图像数据，在模块内先实现HDR图像生成之后进行色调映射，将最后的运算结果存储到数据存储模块中。其中，图像采集模块可以采用CMOS传感器，CMOS传感器通过输入接口连接到总线，数据存储模块可以采用DDR3存储器，DDR3存储器通过SDRAM控制器连接到总线，图像显示模块可以采用显示器，显示器通过DVI控制器连接到总线，CMOS传感器、DDR3存储器、显示器以及其控制器都是常见的设备和接口。

在系统的集成电路IC实现过程中，在图1中，总线、CPU、HDR处理模块、输入接口、SDRAM控制器、DVI控制器都以集成电路IC形式实现。

在本发明实施例中，HDR处理模块通过DMA子模块、FIFO子模块和Registers子模块与总线上的其他模块(中央处理模块、数据存储模块)进行数据交互。根据中央处理模块提供的目标图像的基地址和数据读取长度，HDR处理模块通过DMA子模块向数据存储模块发出数据获取请求，根据中央处理模块提供的结果图像的基地址和数据写入长度,HDR处理模块通过DMA子模块向数据存储模块发出数据写入请求，其中，数据读取长度和数据写入长度可以根据计算需要进行设定，例如可以设定为图像中的一列像素。FIFO子模块用于对从数据存储模块获取的目标图像数据和需要写入数据存储模块中的结果图像数据进行缓存。中央处理模块提供的目标图像的基地址和结果图像的基地址存储在Registers子模块中，另外，HDR合成开始的hdr_start标志设在Registers中，在HDR处理模块完成运算后，将Rsgisters中的完成标志位置“1”。

在本发明实施例中，在HDR处理模块设有输入子模块RAM、中间子模块RAM和输出子模块RAM用于对数据进行存储。输入子模块RAM用于对获取的目标图像数据进行存储以备HDR合成子模块进行HDR合成处理；中间子模块RAM用于对HDR合成子模块合成的HDR图像进行存档以备色调映射子模块进行色调映射处理；输出子模块RAM用于对色调映射子模块处理得到的结果图像数据进行存储以备写入。

在本发明实施例中，HDR处理模块在进行HDR图像合成处理和色调映射处理时分别通过HDR图像合成子模块和色调映射子模块来实现的，HDR图像合成子模块的输入端与输入子模块RAM连接，HDR图像合成子模块的输出端与中间子模块RAM连接，色调映射子模块的输入端与输入子模块RAM连接，色调映射子模块的输出端与输出子模块RAM连接。

HDR图像合成子模块用于对目标场景在不同曝光度下的多幅目标图像中对应像素点进行加权处理和归一处理合成得到HDR图像中一个像素点的像素值，遍历多幅目标图像中每个像素点得到目标场景的HDR图像。

色调映射子模块用于对目标场景的HDR图像中每个像素点进行色调映射，再根据色调映射前后比例对HDR图像中每个像素点的RGB值进行等比例映射，然后进行gamma矫正，遍历HDR图像中每个像素点得到目标场景的结果图像。

在本发明实施例中，HDR处理模块还包括浮点数运算子模块，浮点数运算子模块与HDR图像合成子模块和色调映射子模块连接，用于根据HDR图像合成子模块和色调映射子模块提供的计算参数和计算公式进行浮点运算，以减小硬件周期和资源的消耗。

在具体实施例中，CMOS传感器采集目标场景在低动态范围LDR的三种不同曝光度下的三幅目标图像，并将三幅目标图像存储在DDR3存储器上；HDR处理模块通过DMA子模块从DDR3存储器中读取目标图像数据，在读取过程中从三幅目标图像的基地址开始依次读取一列像素并存储到输入子模块RAM中，在完成运算之后再读取下一列像素，遍历整个目标图像完成所有列像素数据的读取；HDR合成子模块对读取的三幅不同曝光度的目标图像进行合成得到一幅HDR图像，并将合成的HDR图像存储在中间子模块RAM中；色调映射子模块对合成的HDR图像进行色调映射处理，并将色调映射后的结果图像存储在输出子模块RAM中；HDR处理模块根据结果图像的基地址和数据写入长度通过DMA子模块将结果图像写入DDR3存储器中；最后，通过CPU控制通过DVI接口在显示器上显示结果。

在HDR处理模块中，HDR图像合成子模块对目标场景在三种不同曝光度下的三幅目标图像中对应像素点进行加权处理和归一处理，合成得到HDR图像中一个像素点的像素值，遍历三幅目标图像中每个像素点，得到目标场景的HDR图像。

在HDR图像合成处理中，HDR图像合成子模块首先计算三幅目标图像中每个像素点的像素值所对应目标场景的亮度、目标图像中每个像素点的像素值所对应的高斯权重以及目标图像的曝光时间，然后将目标场景的三幅目标图像中对应像素点的亮度和高斯权重以及目标图像的曝光时间进行加权处理，再根据多幅目标图像中对应像素点的高斯权重求和并对加权计算结果进行归一处理，从而得到HDR图像中一个像素点的像素值。

在HDR图像合成中进行加权归一处理的计算公式如下：

$\mathrm{img}\_\mathrm{hdr}\left(i\right)=\frac{\frac{{\mathrm{weiht}}_1\left(i\right)\×\mathrm{img}\_{\mathrm{lin}}_1\left(i\right)}{\mathrm{stack}\_{\mathrm{exposure}}_1}+\frac{{\mathrm{weight}}_2\left(i\right)\×\mathrm{img}\_{\mathrm{lin}}_2\left(i\right)}{\mathrm{stack}\_{\mathrm{exposure}}_2}+\frac{{\mathrm{weight}}_3\left(i\right)\×\mathrm{img}\_{\mathrm{lin}}_3\left(i\right)}{\mathrm{stack}\_{\mathrm{exposure}}_3}}{{\mathrm{weight}}_1\left(i\right)+{\mathrm{weight}}_2\left(i\right)+{\mathrm{weight}}_3\left(i\right)}$

在上述公式中，img_hdr(i)为合成得到HDR图像中像素点i的像素值，img_lin₁(i)、img_lin₂(i)、img_lin₃(i)分别为第一幅、第二幅、第三幅目标图像中像素点i的像素值所对应目标场景的亮度，stack_exposure₁、stack_exposure₂、stack_exposure₃分别为第一幅、第二幅、第三幅目标图像的曝光时间，weight₁(i)、weight₂(i)、weight₃(i)分别为第一幅、第二幅、第三幅目标图像中像素点i的像素值所对应的高斯权重；

其中，在计算目标图像中每个像素点的像素值所对应目标场景的亮度时，采用Debevec和Malik算法，这是一种标定相机系统光照响应曲线之后，再利用系统光照响应曲线反向求解场景中亮度并合成高动态范围图像的方法，具体算法在诸多文献中有介绍，已经是本技术行业领域的基本知识。具体地，求解光照响应曲线的过程运算利用matlab编程求解出256个整数曝光度的对应函数，将对数函数存储在查找表(look up table)lutDeb中，这样直接通过查找表lutDeb，将目标图像中像素点的像素值对应到光照响应曲线反函数中所表示的目标场景的亮度img_lin，即为目标图像中像素点的像素值所对应目标场景的亮度。

其中，在计算目标图像的曝光时间时，通过计算目标图像中每个像素点的流明值，然后求得整个目标图像的流明平均值，即可得到目标图像的曝光时间stack_exposure，计算表达式为stack_exposure＝1/mean(lum(stack(i)))，lum(stack(i))是关于像素点i的流明值的函数，stack(i)为存储在stack中的像素点i的像素值，mean是关于平均值的函数；或者，目标图像的曝光时间stack_exposure可以由CMOS相机直接提供。

其中，在计算目标图像中每个像素点的像素值所对应的高斯权重时，根据目标图像中每个像素点的像素值所对应目标场景的亮度，计算得到目标图像中像素点的像素值所对应的高斯权重weight，计算表达式为weight＝exp(-(stack(i)-0.5)^2/(2×(0.15)^2))，其中，stack(i)为存储在stack中的像素点i的像素值。

在上述实施例中，图2显示了HDR合成算法在集成电路实现中的流水结构。在stack中存储的是目标图像数据，在运算过程中都是浮点数计算，需要耗费硬件一定的周期和资源，所以划分了流水线结构进行浮点数运算。

通过求得目标图像中每个像素点的亮度img_lin、高斯权重weight以及曝光时间stack_exposure之后，根据计算公式交由后续的乘法器、加法器和除法器进行浮点运算。

通过合成得到HDR图像之后进行色调映射处理，在色调映射过程中采用了基于S方程的空域不变算法，算法的核心是应用一个S方程将HDR图像的像素值压缩到8bits的普通显示范围内。

在色调映射过程中对HDR图像进行压缩的计算公式如下：

$L_d=\frac{\mathrm{Lscaled}\×(1+\mathrm{Lscaled}/P_{\mathrm{white}}^2)}{1+\mathrm{Lscaled}}$

在上式中，Ld为色调映射后HDR图像中像素点的流明值，Lscaled为像素点的参考扫描流明值，Pwhite为纯白色点判据阈值。

在计算过程中，色调映射子模块首先根据HDR图像每个像素点的RGB值分别计算每个像素点的流明值L，然后求得每个像素点的流明值L的对数平均值Lwa、平均值对数log₂average、最大值对数log₂max、最小值对数log₂min，并据此计算HDR图像的曝光度Palpha和纯白色点判据阈值Pwhite，Palpha＝0.18×4^((2×log₂average-log₂min-log₂max)/(log₂max-log₂min))，Pwhite＝1.5×2^(log₂max-log₂min-5)，再根据HDR图像的曝光度Palpha计算像素点的参考扫描流明值Lscaled，Lscaled＝(Palpha×L)/Lwa。

通过上述公式对HDR图像中每个像素点进行色调映射处理得到色调映射后像素点的流明值，根据色调映射前后像素点的流明值比例对HDR图像中每个像素点的RGB值进行等比例映射得到映射后像素点的RGB值，imgOut(i)＝(img(i)×Ld(i))/L(i)，然后进行gamma矫正映射到显示区间【0，255】，使的HDR图像压缩到适合在常见的256色动态范围的显示器上进行显示，完成HDR图像进行色调映射处理得到目标场景的结果图像。

其中，色调映射算法的实现也应用了流水线的结构，图3显示了色调映射的主要运算的流水结构，将上述计算得到的参数导入流水线进行浮点数运算得到imgOut。

如图4、5、6所示，图4为本发明实施例公开一种基于IC实现HDR图像生成及色调映射的方法的流程示意图，图5为本发明实施例公开的HDR图像处理模块在进行图像合成的算法流程示意图，图6为本发明实施例公开的HDR图像处理模块在进行色调映射的算法流程示意图。

参照图4，本发明实施例公开一种基于IC实现HDR图像生成及色调映射的方法，包括如下步骤：

S1、COMS传感器采集目标场景在三种不同曝光度下的三幅目标图像；

S2、将三种不同曝光度下的三幅目标图像存储在DDR3存储器中；

S3、HDR处理模块从DDR3存储器中读取三种不同曝光度下的三幅目标图像进行HDR合成得到一幅HDR图像；

S4、HDR处理模块对HDR图像进行色调映射处理得到目标场景的结果图像；

S5、将目标场景的结果图像存储在DDR3存储器中；

S6、将目标场景的结果图像在显示器上进行显示。

在步骤S3中，参照图5，在进行HDR图像合成处理时，根据三种不同曝光度下的三幅目标图像，分别计算三幅目标图像中每个像素点的像素值所对应目标场景的亮度、目标图像中每个像素点的像素值所对应的高斯权重以及目标图像的曝光时间，然后将目标场景的三幅目标图像中对应像素点的亮度和高斯权重以及目标图像的曝光时间进行加权处理，再根据三幅目标图像中对应像素点的高斯权重求和对加权计算结果进行归一处理，从而得到HDR图像中一个像素点的像素值。

在HDR图像合成中进行加权归一处理的计算公式如下：

$\mathrm{img}\_\mathrm{hdr}\left(i\right)=\frac{\frac{{\mathrm{weiht}}_1\left(i\right)\×\mathrm{img}\_{\mathrm{lin}}_1\left(i\right)}{\mathrm{stack}\_{\mathrm{exposure}}_1}+\frac{{\mathrm{weight}}_2\left(i\right)\×\mathrm{img}\_{\mathrm{lin}}_2\left(i\right)}{\mathrm{stack}\_{\mathrm{exposure}}_2}+\frac{{\mathrm{weight}}_3\left(i\right)\×\mathrm{img}\_{\mathrm{lin}}_3\left(i\right)}{\mathrm{stack}\_{\mathrm{exposure}}_3}}{{\mathrm{weight}}_1\left(i\right)+{\mathrm{weight}}_2\left(i\right)+{\mathrm{weight}}_3\left(i\right)}$

在上述公式中，img_hdr(i)为合成得到HDR图像中像素点i的像素值，img_lin₁(i)、img_lin₂(i)、img_lin₃(i)分别为第一幅、第二幅、第三幅目标图像中像素点i的像素值所对应目标场景的亮度，stack_exposure₁、stack_exposure₂、stack_exposure₃分别为第一幅、第二幅、第三幅目标图像的曝光时间，weight₁(i)、weight₂(i)、weight₃(i)分别为第一幅、第二幅、第三幅目标图像中像素点i的像素值所对应的高斯权重；

在步骤S4中，参照图6，在进行HDR图像色调映射处理时，根据步骤S3合成得到的HDR图像，根据HDR图像每个像素点的RGB值分别计算每个像素点的流明值L，然后求得每个像素点的流明值L的对数平均值Lwa、平均值对数log₂average、最大值对数log₂max、最小值对数log₂min，并据此计算HDR图像的曝光度Palpha和纯白色点判据阈值Pwhite，再根据HDR图像的曝光度Palpha计算像素点的参考扫描流明值Lscaled；根据上述计算结果，在色调映射过程中按照如下计算公式将HDR图像压缩到8bits的普通显示范围内：

$L_d=\frac{\mathrm{Lscaled}\×(1+\mathrm{Lscaled}/P_{\mathrm{white}}^2)}{1+\mathrm{Lscaled}}$

通过上述公式对HDR图像中每个像素点进行色调映射处理得到色调映射后像素点的流明值，根据色调映射前后像素点的流明值比例对HDR图像中每个像素点的RGB值进行等比例映射得到映射后像素点的RGB值，然后进行gamma矫正映射到显示区间【0，255】，完成HDR图像进行色调映射处理得到目标场景的结果图像。

在上述实施例中，HDR处理模块在处理图4所示流程工作是由若干个工作状态组成的，其工作主状态机如图7所示：

缺省状态在IDLE状态，当CPU给模块发送开始工作的命令后，状态机跳入GIOA状态；在这个状态HDR合成模块得到Registers中的三幅待处理图像的基地址和输出图像的基地址；之后跳入RDS状态，该状态下给DMA控制模块发出读取DDR3内存中数据的命令并给出读取的基地址；当来自DDR3的数据通过总线进入FIFO并将标志位mst_fifo_valid_write_xfer置“1”之后，跳入RDF状态；在该状态下取出FIFO中的数据放进输入块RAM中；取完第一幅图像的一列数据后跳入RDSB状态；RDSB、RDFB、RDSC、RDFC分别是后两幅不同曝光度图像的处理状态，实现与上述RDS、RDF类似的操作，跳转判断也相似；三幅图像都接收完毕后跳入HDRS状态，开始HDR合成的运算；在HDRD状态中完成图4的HDR生成算法；完成HDR生成后跳入TOM状态；TOM状态实现了图5中的色调映射算法；将结果存入输出块RAM中；完成HDR合成后跳入WDS状态，在该状态下给DMA控制模块发出向DDR3内存中写数据的命令并给出写入的基地址；跳入WDF状态，从输出块RAM将数据放入FIFO之后通过总线存入DDR3中；完成一行存储后，如果还未完成整幅图像的运算则继续跳入RDS状态；直到完成整幅图像的合成后跳回到IDLE缺省状态；运算结束。

在图3中，各个状态和跳转判断具体说明如下：IDLE，缺省初始状态；GIOA，get_inout_addr获取待处理的目标图像和最终输出目标图像在DDR3内存中的基地址；RDS，read_data_start通过DMA开始从DDR3读取第一幅曝光度的目标图像数据；RDF，read_data_fifo将目标图像中一列像素点的像素值读入并存储在输入字模块RAM中；RDSB、RDFB、RDSC、RDFC分别是后两幅不同曝光度的目标图像的处理状态，实现与上述RDS、RDF类似的操作；HDRS，HDR合成运算开始；HDRD，hdr_data合成HDR图像的运算状态；TOM，tone_mapping进行色调映射的运算状态；WDS，write_data_start控制DMA开始将运算结果存进DDR3；WDF，write_data_fifo将结果图像中一列像素点的像素值存储在DDR3中；Hdr_start，HDR合成模块启动工作的标志；mst_fifo_valid_write_xfer，总线通知HDR合成子模块将DMA的图像数据放进fifo；rd_row_ok，一列数据运算完成的标志；hdr_make_ok，HDR图像生成完成的标志；ton_map_ok，色调映射完成的标志；hdr_ok，HDR合成运算完成的标志；wr_row_ok，向DDR3中写入一列像素完成的标志；rd_line_ok，一整幅图像运算并写进DDR3完成的标志。

在本发明中，通过对目标场景在不同曝光度下的多幅目标图像中每个对应像素点进行加权归一合成处理得到目标场景的HDR图像，对目标场景的HDR图像中每个像素点进行色调映射，再根据色调映射前后比例对HDR图像中每个像素点的RGB值进行等比例映射，再进行矫正映射到显示区间，得到目标图像的结果图像。通过基于集成电路IC实现HDR图像生成和色调映射，大幅度提高了HDR图像处理的实时性，降低了对软件依赖，减少系统的资源开销。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明，并不用于限制本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于IC实现HDR图像生成及色调映射的系统，其特征在于，包括：中央处理模块、图像采集模块、数据存储模块、HDR处理模块；

中央处理模块通过总线与图像采集模块、数据存储模块和HDR处理模块通信，其中，至少HDR处理模块以集成电路IC形式实现；

图像采集模块，用于采集目标场景在不同曝光度下的多幅目标图像；

数据存储模块，用于对图像采集模块采集的目标图像进行存储，并对HDR处理模块处理得到的结果图像进行存储；

HDR处理模块，用于从数据存储模块中获取目标图像，对目标场景在不同曝光度下的多幅目标图像进行HDR合成处理得到HDR图像，对HDR图像进行色调映射处理得到目标场景的结果图像，将目标场景的结果图像进行存储。

2.根据权利要求1所述的基于IC实现HDR图像生成及色调映射的系统，其特征在于，HDR处理模块包括HDR图像合成子模块，HDR图像合成子模块用于对目标场景在不同曝光度下的多幅目标图像中对应像素点进行加权处理和归一处理合成得到HDR图像中一个像素点的像素值，遍历多幅目标图像中每个像素点得到目标场景的HDR图像；

优选地，HDR图像合成子模块具体用于，计算目标图像中每个像素点的像素值所对应目标场景的亮度、目标图像中每个像素点的像素值所对应的高斯权重以及目标图像的曝光时间，将目标场景在不同曝光度下的多幅目标图像中对应像素点的亮度和高斯权重以及目标图像的曝光时间进行加权处理，再根据多幅目标图像中对应像素点的高斯权重之和进行归一处理，从而得到HDR图像中一个像素点的像素值；

优选地，在HDR图像合成中进行加权归一处理的计算公式如下：

$\mathrm{img}\_\mathrm{hdr}\left(i\right)=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\frac{{\mathrm{weight}}_j\left(i\right)\×\mathrm{img}\_{\mathrm{lin}}_j\left(i\right)}{\mathrm{stack}\_{\mathrm{exposure}}_j}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{weight}}_j\left(i\right)}$

在上式中，img_hdr(i)为合成得到HDR图像中像素点i的像素值，img_lin_j(i)为第j幅目标图像中像素点i的像素值所对应目标场景的亮度，stack_exposure _j为第j幅目标图像的曝光时间，weight_j(i)为第j幅目标图像中像素点i的像素值所对应的高斯权重，n为目标场景在不同曝光度下的目标图像的数量；

优选地，根据Debevec和Malik算法得到光照响应曲线，将光照响应曲线函数存储到查找表lutDeb中，通过查找表将目标图像中像素点的像素值对应到光照响应曲线反函数中所表示的目标场景的亮度img_lin；优选地，根据目标图像中每个像素点的流明值得到目标图像的流明平均值，利用流明平均值得到目标图像的曝光时间stack_exposure，或者，由图像采集模块CMOS相机提供目标图像的曝光时间stack_exposure；优选地，根据目标图像中像素点的像素值所对应目标场景的亮度计算得到目标图像中像素点的像素值所对应的高斯权重weight。

3.根据权利要求1或2所述的基于IC实现HDR图像生成及色调映射的系统，其特征在于，HDR处理模块还包括色调映射子模块，色调映射子模块用于对目标场景的HDR图像中每个像素点进行色调映射，再根据色调映射前后比例对HDR图像中每个像素点的RGB值进行等比例映射，遍历HDR图像中每个像素点得到目标场景的结果图像；

优选地，色调映射子模块具体用于，根据HDR图像中每个像素的RGB值分别计算HDR图像中每个像素点的流明值L，对每个像素点进行色调映射处理得到色调映射后像素点的流明值，根据色调映射前后像素点的流明值比例对HDR图像中每个像素点的RGB值进行等比例映射得到映射后像素点的RGB值，然后进行gamma矫正映射到显示区间，完成HDR图像进行色调映射处理得到目标场景的结果图像；

优选地，在色调映射过程中对HDR图像进行压缩的计算公式如下：

$L_d=\frac{\mathrm{Lscaled}\×(1+\mathrm{Lscaled}/P_{\mathrm{white}}^2)}{1+\mathrm{Lscaled}}$

在上式中，Ld为色调映射后HDR图像中像素点的流明值，Lscaled为像素点的参考扫描流明值，Pwhite为纯白色点判据阈值；

优选地，根据HDR图像中每个像素点的流明值L计算得到HDR图像中流明值的对数平均值、平均值对数、最大值对数和最小值对数，然后计算HDR图像的曝光度Palpha和纯白色点判据阈值Pwhite，再根据HDR图像的曝光度Palpha计算参考扫描流明值Lscaled；

优选地，在色调映射过程中，将HDR图像压缩到8bit的显示范围内；优选地，在gamma矫正过程中，将HDR图像中每个像素点比例映射后的RGB值矫正映射到显示区间【0，255】。

4.根据权利要求1-3中任一项所述的基于IC实现HDR图像生成及色调映射的系统，其特征在于，HDR处理模块还包括浮点数运算子模块，浮点数运算子模块与HDR图像合成子模块和色调映射子模块连接，用于根据HDR图像合成子模块和色调映射子模块提供的计算参数和计算公式进行浮点运算；

优选地，HDR处理模块还包括DMA子模块、FIFO子模块和Registers子模块用于与总线上的中央处理模块、数据存储模块进行数据交互；优选地，HDR处理模块根据中央处理模块提供的目标图像的基地址和数据读取长度通过DMA子模块向数据存储模块发出数据获取请求，HDR处理模块根据中央处理模块提供的结果图像的基地址和数据写入长度通过DMA子模块向数据存储模块发出数据写入请求；优选地，FIFO子模块用于对从数据存储模块获取的目标图像数据和需要写入数据存储模块中的结果图像数据进行缓存；优选地，Registers子模块用于对中央处理模块提供的目标图像的基地址和结果图像的基地址进行存储；

优选地，HDR处理模块还包括输入子模块、中间子模块和输出子模块用于对数据进行存储；优选地，输入子模块用于对获取的目标图像数据进行存储以备HDR合成子模块进行HDR合成处理；优选地，中间子模块用于对HDR合成子模块合成的HDR图像进行存档以备色调映射子模块进行色调映射处理；优选地，输出子模块用于对色调映射子模块处理得到的结果图像数据进行存储以备写入。

5.根据权利要求1-4中任一项所述的基于IC实现HDR图像生成及色调映射的系统，其特征在于，还包括图像显示模块，中央处理模块通过总线与图像显示模块通信，图像显示模块用于对数据存储模块中存储的目标场景的结果图像进行显示。

6.根据权利要求1-5中任一项所述的基于IC实现HDR图像生成及色调映射的系统，其特征在于，总线以集成电路IC形式实现；

优选地，中央处理模块CPU以集成电路IC形式实现；

优选地，图像采集模块通过输入接口连接到总线，输入接口以集成电路IC形式实现，优选图像采集模块为CMOS相机；

优选地，数据存储模块通过SDRAM控制器连接到总线，SDRAM控制器以集成电路IC形式实现，优选数据存储模块为DDR；

优选地，图像显示模块通过DVI控制器连接到总线，DVI控制器以集成电路IC形式实现，优选图像显示模块为显示器。

7.一种基于IC实现HDR图像生成及色调映射的方法，其特征在于，包括：

采集目标场景在不同曝光度下的多幅目标图像并进行存储；

获取目标场景在不同曝光度下的多幅目标图像并进行HDR合成处理得到HDR图像，对HDR图像进行色调映射处理得到目标场景的结果图像并进行存储。

8.根据权利要求7所述的基于IC实现HDR图像生成及色调映射的方法，其特征在于，在HDR合成处理的步骤中，对目标场景在不同曝光度下的多幅目标图像中对应像素点进行加权处理和归一处理合成得到HDR图像中一个像素点的像素值，遍历多幅目标图像中每个像素点得到目标场景的HDR图像；

优选地，在HDR合成处理的步骤中，其具体包括：计算目标图像中每个像素点的像素值所对应目标场景的亮度、目标图像中每个像素点的像素值所对应的高斯权重以及目标图像的曝光时间，将目标场景在不同曝光度下的多幅目标图像中对应像素点的亮度和高斯权重以及目标图像的曝光时间进行加权处理，再根据多幅目标图像中对应像素点的高斯权重之和进行归一处理，从而得到HDR图像中一个像素点的像素值；

优选地，在HDR图像合成中进行加权归一处理的计算公式如下：

$\mathrm{img}\_\mathrm{HDR}\left(i\right)=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\frac{{\mathrm{weight}}_j\left(i\right)\×\mathrm{img}\_{\mathrm{lin}}_j\left(i\right)}{\mathrm{stack}\_{\mathrm{exposure}}_j}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{weight}}_j\left(i\right)}$

在上式中，img_hdr(i)为合成得到HDR图像中像素点i的像素值，img_lin_j(i)为第j幅目标图像中像素点i的像素值所对应目标场景的亮度，stack_exposure _j为第j幅目标图像的曝光时间，weight_j(i)为第j幅目标图像中像素点i的像素值所对应的高斯权重，n为目标场景在不同曝光度下的目标图像的数量；

优选地，根据Debevec和Malik算法得到光照响应曲线，将光照响应曲线函数存储到查找表lutDeb中，通过查找表将目标图像中像素点的像素值对应到光照响应曲线反函数中所表示的目标场景的亮度img_lin；优选地，根据目标图像中每个像素点的流明值得到目标图像的流明平均值，利用流明平均值得到目标图像的曝光时间stack_exposure，或者，由图像采集模块CMOS相机提供目标图像的曝光时间stack_exposure；优选地，根据目标图像中像素点的像素值所对应目标场景的亮度计算得到目标图像中像素点的像素值所对应的高斯权重weight。

9.根据权利要求7或8所述的基于IC实现HDR图像生成及色调映射的方法，其特征在于，在色调映射处理的步骤中，对目标场景的HDR图像中每个像素点进行色调映射，再根据色调映射前后比例对HDR图像中每个像素点的RGB值进行等比例映射，遍历HDR图像中每个像素点得到目标场景的结果图像；

优选地，在色调映射处理的步骤中，其具体包括：根据HDR图像中每个像素的RGB值分别计算HDR图像中每个像素点的流明值L，对每个像素点进行色调映射处理得到色调映射后像素点的流明值，根据色调映射前后像素点的流明值比例对HDR图像中每个像素点的RGB值进行等比例映射得到映射后像素点的RGB值，然后进行gamma矫正映射到显示区间，完成HDR图像进行色调映射处理得到目标场景的结果图像；

优选地，在色调映射过程中对HDR图像进行压缩的计算公式如下：

$L_d=\frac{\mathrm{Lscaled}\×(1+\mathrm{Lscaled}/P_{\mathrm{white}}^2)}{1+\mathrm{Lscaled}}$

在上式中，Ld为色调映射后HDR图像中像素点的流明值，Lscaled为像素点的参考扫描流明值，Pwhite为纯白色点判据阈值；

优选地，根据HDR图像中每个像素点的流明值L计算得到HDR图像中流明值的对数平均值、平均值对数、最大值对数和最小值对数，然后计算HDR图像的曝光度Palpha和纯白色点判据阈值Pwhite，再根据HDR图像的曝光度Palpha计算参考扫描流明值Lscaled。

10.根据权利要求7-9中任一项所述的基于IC实现HDR图像生成及色调映射的方法，其特征在于，还包括对存储的目标场景的结果图像进行显示。