CN106981054B - 一种图像处理方法及电子设备 - Google Patents

Abstract

本申请公开了一种图像处理方法及电子设备，方法包括：获得高动态光照渲染HDR图像；获得所述HDR图像中的亮度参数，所述亮度参数包括：所述HDR图像中明暗亮度的比例参数及亮度差值参数；基于所述亮度参数，获得动态范围DR因子和动态范围中心点；确定所述DR因子和所述中心点对应的目标曲线；利用所述目标曲线，建立所述HDR图像中图像帧与数字显示设备的显示像素之间的色调映射关系。本申请通过对HDR图像采用全局色调映射的实现方案，区别于现有技术中的局部色调映射方案，避免了图像中局部位置出现不自然的光晕现象。

Description

一种图像处理方法及电子设备

技术领域

本申请涉及数据处理技术领域，特别涉及一种图像处理方法及电子设备。

背景技术

高动态范围成像(High Dynamic Range Imaging，HDR成像)是一种常用在成像、摄影、计算机图形学等领域的技术，它的目标是在常用的数字显示设备上(8-bit)去准确地复制、再现人眼视觉所感知的一个宽动态范围(从太阳光直射到最暗的阴影)的真实世界中的场景。高动态范围成像一般包含两个部分：1.高动态图像或者辐射图的捕捉、获取、合成；2.把高动态图像或辐射图映射到常用显示设备上，即色调映射tone-mapping。

目前，为了追求在宽动态范围内尽可能最大化图像明暗处的对比度，大部分研究都集中在局部色调映射算法的改进上，即对高动态图像或辐射图中部分图像帧进行色调映射显示到数字显示设备上。

而局部色调映射算法会在图像上出现明暗边缘出现不自然的光晕现象(halo-artifact)。

发明内容

有鉴于此，本申请的目的是提供一种图像处理方法及电子设备，用以解决现有技术中的局部色调映射算法会在图像上出现光晕现象的技术问题。

本申请提供了一种图像处理方法，包括：

获得高动态光照渲染HDR图像；

获得所述HDR图像中的亮度参数，所述亮度参数包括：所述HDR图像中明暗亮度的比例参数及亮度差值参数；

基于所述亮度参数，获得动态范围DR因子和动态范围中心点；

确定所述DR因子和所述中心点对应的目标曲线；

利用所述目标曲线，建立所述HDR图像中图像帧与数字显示设备的显示像素之间的色调映射关系。

上述方法，优选的，获得所述HDR图像中的亮度参数，包括：

提取所述HDR图像中图像帧的最大亮度值L_max、最小亮度值L_min、平均亮度值L_mean及适应亮度值L_as；

利用LogDR＝log₂(L_max/L_min)，获得所述HDR图像的明暗亮度比例参数LogDR；

利用LogDiff＝log₂(L_mean)-log₂(L_as)，获得所述HDR图像的亮度差值参数LogDiff。

上述方法，优选的，确定所述DR因子和所述中心点对应的目标曲线，包括：

基于所述DR因子和所述中心点，确定曲线截取方式；

根据所述曲线截取方式，获得目标曲线。

上述方法，优选的，根据所述曲线截取方式，获得目标曲线，包括：

根据所述曲线截取方式及所述DR因子，获得纵坐标段；

根据所述曲线截取方式及所述中心点，获得横坐标段；

基于所述纵坐标段和所述横坐标段，获得目标曲线。

上述方法，优选的，所述DR因子的大小与所述纵坐标段的纵坐标范围相对应；

所述中心点的大小与所述横坐标段的中点横坐标相对应。

上述方法，优选的，还包括：

基于所述色调映射关系，将所述HDR图像在所述数字显示设备上进行显示。

本申请还提供了一种电子设备，包括：

输入接口，用于获得HDR图像；

数字显示设备；

处理器，用于获得所述HDR图像中的亮度参数，所述亮度参数包括：所述HDR图像中明暗亮度的比例参数及亮度差值参数，基于所述亮度参数，获得动态范围DR因子和动态范围中心点，在预设的人眼视觉模型中，确定所述DR因子和所述中心点对应的目标曲线，利用所述目标曲线，建立所述HDR图像中图像帧与所述数字显示设备的显示像素之间的色调映射关系。

上述电子设备，优选的，还包括：

输出接口，用于基于所述色调映射关系，将所述HDR图像在所述数字显示设备上进行显示。

由上述方案可知，本申请提供的一种图像处理方法及电子设备，在获得HDR图像之后，通过获得HDR图像中明暗亮度的比例参数及亮度差值参数来获得动态范围的DR因子和中心点，进而确定DR因子和中心点对应的目标曲线，并利用目标曲线建立HDR图像中图像帧与数字显示设备的显示像素之间的色调映射关系，由此后续能够基于这一色调映射关系将HDR图像显示在数字显示设备中。本申请通过对HDR图像采用全局色调映射的实现方案，区别于现有技术中的局部色调映射方案，避免了图像中局部位置出现不自然的光晕现象。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种图像处理方法的流程图；

图2及图3a分别为本申请实施例一的部分流程图；

图3b为本申请实施例的应用示例图；

图4为本申请实施例二提供的一种图像处理方法的流程图；

图5为本申请实施例三提供的一种电子设备的结构示意图；

图6为本申请实施例四提供的一种电子设备的结构示意图；

图7～图10分别为本申请实施例的其他应用示例图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1，为本申请实施例一提供的一种图像处理方法的实现流程图，适用于将高动态光照渲染HDR图像映射到普通的数字显示设备中进行显示的应用中。

在本实施例中，该方法可以包括以下步骤：

步骤101：获得HDR图像。

其中，HDR图像可以通过对一组连续不同曝光图片进行合成，来重造出HDRradiance map，即HDR图像。

步骤102：获得HDR图像中的亮度参数。

其中，亮度参数可以包括有：HDR图像中明暗亮度的比例参数及亮度差值参数。明暗亮度的比例参数可以用LogDR表示，亮度差值参数可以用LogDiff表示。

步骤103：基于亮度参数中的LogDR及LogDiff，获得动态范围的DR因子和中心点。

其中，这里的两个变量：DR因子和中心点事与色调映射曲线相关的。

步骤104：确定DR因子和中心点对应的目标曲线。

其中，本实施例中可以基于预设的人眼视觉模型来确定DR因子和中心点对应的目标曲线。

需要说明的是，人眼视觉模型是用于预测在给定环境光照下，人眼视网膜上感知色彩和亮度的细胞对光的响应。

步骤105：利用目标曲线，建立HDR图像中图像帧与数字显示设备的显示像素之间的色调映射关系。

例如，HDR图像中一个图像帧具有20个像素，数字显示设备的显示像素有5个，那么基于目标曲线，将HDR图像的图像帧中的第1个～第4个像素对应数字显示设备的第1个显示像素，将HDR图像的图像帧中的第5个～第8个像素对应数字显示设备的第2个显示像素，将HDR图像的图像帧中的第9个～第12个像素对应数字显示设备的第3个显示像素，将HDR图像的图像帧中的第13个～第16个像素对应数字显示设备的第4个显示像素，将HDR图像的图像帧中的第17个～第20个像素对应数字显示设备的第5个显示像素。

由上述方案可知，本申请实施例一提供的一种图像处理方法，在获得HDR图像之后，通过获得HDR图像中明暗亮度的比例参数及亮度差值参数来获得动态范围的DR因子和中心点，进而确定DR因子和中心点对应的目标曲线，并利用目标曲线建立HDR图像中图像帧与数字显示设备的显示像素之间的色调映射关系，由此后续能够基于这一色调映射关系将HDR图像显示在数字显示设备中。本实施例通过对HDR图像采用全局色调映射的实现方案，区别于现有技术中的局部色调映射方案，避免了图像中局部位置出现不自然的光晕现象。

图2所示为图1中步骤102的实现流程图，步骤102可以通过以下步骤实现：

步骤201：提取HDR图像中图像帧的最大亮度值L_max、最小亮度值L_min、平均亮度值L_mean及适应亮度值L_as；

步骤202：利用LogDR＝log₂(L_max/L_min)，获得HDR图像的明暗亮度比例参数LogDR。

步骤203：利用LogDiff＝log₂(L_mean)-log₂(L_as)，获得HDR图像的亮度差值参数LogDiff。

而明暗亮度比例参数LogDR和亮度差值参数LogDiff与DR因子和中心点有密切关联。而为了得到更加接近人眼视觉对宽动态范围环境的感知，本实施例中可以基于预设的人眼视觉对宽动态范围光照的感知模型来获得DR因子和中心点。

其中，人眼视觉对宽动态范围光照的感知模型是基于心理物理学实验获得，例如，一项心理物理学实验中，对40组不同场景和光照环境下的高动态光照范围图像进行建模，实现得出图像高动态特征和人眼感知之间的模型(具体算法实现时不局限于该模型)如下：

ceterpoint＝LogDiff/30+0.4994；

DRfactor＝0.0608*LogDR+0.031。

需要说明的是，上述心理物理学实验的原理可以理解为：HDR图像的输入对于人眼来说一种物理刺激，而建模过程即为对光的亮度物理刺激和它引起的人眼视觉感知进行数量化的研究过程。例如，光的亮度达到哪个强度才能引起视觉的感知。

本实施例中将明暗亮度比例参数LogDR和亮度差值参数LogDiff代入上述模型中，得到中心点ceterpoint和DR因子Drfactor。

而图1中的步骤104在确定DR因子和中心点对应的目标曲线时，可以通过以下步骤实现，如图3a中所示：

步骤301：基于DR因子和中心点，确定曲线截取方式。

其中，本实施例中可以确定基于人眼视觉模型中的曲线R(I)＝Iⁿ/(Iⁿ+σⁿ)的曲线截取方式。其中，I为环境光照下光亮度变量，R为人眼感知亮度变量，n为灵敏度常数，σ为半饱和常数，而在具体实现中，n为1，σ为1。

步骤302：根据曲线截取方式，获得目标曲线。

具体的，步骤302可以通过以下方式实现：

基于人眼视觉模型中的曲线R(I)＝Iⁿ/(Iⁿ+σⁿ)及DR因子，获得纵坐标段，即用DR因子在曲线R(I)＝Iⁿ/(Iⁿ+σⁿ)纵坐标上去截取相应纵坐标范围的坐标段，由此得到的纵坐标段的纵坐标范围对应于DR因子的大小；

基于人眼视觉模型中的曲线R(I)＝Iⁿ/(Iⁿ+σⁿ)及中心点，获得横坐标段，即用中心点在曲线R(I)＝Iⁿ/(Iⁿ+σⁿ)横坐标上去确定中心横坐标为该中心点大小的横坐标段；

基于纵坐标段和横坐标段，获得目标曲线，也就是说，在曲线R(I)＝Iⁿ/(Iⁿ+σⁿ)上，获得的横坐标段和纵坐标段所对应的曲线即为目标曲线。

如图3b中所示，曲线的实线部分为目标曲线，该目标曲线横坐标的中心坐标为中心点，该目标曲线纵坐标的范围为DR因子的大小范围。

参考图4，为本申请实施例二提供的一种图像处理方法的实现流程图，在步骤105之后，该方法还可以包括以下步骤：

步骤106：基于色调映射关系，将HDR图像在数字显示设备上进行显示。

由上述方案可知，本申请实施例二提供的一种图像处理方法，在获得HDR图像之后，通过获得HDR图像中明暗亮度的比例参数及亮度差值参数来获得动态范围的DR因子和中心点，进而确定DR因子和中心点对应的目标曲线，并利用目标曲线建立HDR图像中图像帧与数字显示设备的显示像素之间的色调映射关系，从而能够基于这一色调映射关系将HDR图像显示在数字显示设备中。本实施例通过对HDR图像采用全局色调映射的实现方案，区别于现有技术中的局部色调映射方案，避免了图像中局部位置出现不自然的光晕现象。

参考图5，为本申请实施例三提供的一种电子设备的结构示意图，该电子设备可以为手机、pad等能够对图像进行采集及处理的终端。

本实施例中，该电子设备可以包括以下结构：

输入接口501，用于获得HDR图像。

其中，该输入接口501与图像采集设备相连接，输入接口501可以通过与图像采集设备之间的数据通道来获得图像采集设备采集并生成的HDR图像。

数字显示设备502，该数字显示设备可以为具备普通显示像素(分辨率较低)的显示设备，如显示屏等。

处理器503，用于获得HDR图像中的亮度参数，所述亮度参数包括：所述HDR图像中明暗亮度的比例参数及亮度差值参数，基于所述亮度参数，获得动态范围DR因子和动态范围中心点，在预设的人眼视觉模型中，确定所述DR因子和所述中心点对应的目标曲线，利用所述目标曲线，建立所述HDR图像中图像帧与所述数字显示设备的显示像素之间的色调映射关系。

由上述方案可知，本申请实施例三提供的一种电子设备，在获得HDR图像之后，通过获得HDR图像中明暗亮度的比例参数及亮度差值参数来获得动态范围的DR因子和中心点，进而确定DR因子和中心点对应的目标曲线，并利用目标曲线建立HDR图像中图像帧与数字显示设备的显示像素之间的色调映射关系，由此后续能够基于这一色调映射关系将HDR图像显示在数字显示设备中。本实施例通过对HDR图像采用全局色调映射的实现方案，区别于现有技术中的局部色调映射方案，避免了图像中局部位置出现不自然的光晕现象。

参考图6，为本申请实施例四提供的一种电子设备的结构示意图，该电子设备还可以包括以下结构：

输出接口504，用于基于所述色调映射关系，将所述HDR图像在所述数字显示设备502上进行显示。

其中，输出接口504与数字显示设备502相连接，基于处理器503获得的色调映射关系将HDR图像输出到数字显示设备502上进行显示。

由上述方案可知，本申请实施例四提供的一种电子设备，在获得HDR图像之后，通过获得HDR图像中明暗亮度的比例参数及亮度差值参数来获得动态范围的DR因子和中心点，进而确定DR因子和中心点对应的目标曲线，并利用目标曲线建立HDR图像中图像帧与数字显示设备的显示像素之间的色调映射关系，从而能够基于这一色调映射关系将HDR图像显示在数字显示设备中。本实施例通过对HDR图像采用全局色调映射的实现方案，区别于现有技术中的局部色调映射方案，避免了图像中局部位置出现不自然的光晕现象。

在本申请提出前的过去几年里，为了追求在宽动态范围内尽可能最大化图像明暗处的对比度，大部分研究都集中在对局部tone-mapping算法的改进上。但是局部tone-mapping算法也有劣势，例如，计算量大，低效，会出现一些不自然、不真实的效果。在用局部tone-mapping算法处理过的高动态图片通常会在明显的明暗边缘出现不自然的光晕现象(halo-artifact)。

尽管全局tone-mapping算法很少被人引起重视，特别是在科研和学术领域。但是因为其高效性，实时性、计算量小、不会产生不自然的效果，全局tone-mapping算法被广泛地应用于智能手机拍摄、安防监控、汽车倒车雷达和行车记录仪等领域。

本申请中的全局tone-mapping算法基于一个经典的人眼视觉模型，用来预测在给定环境光照下，人眼视网膜上感知色彩和亮度的细胞对光的响应。基本数学表达如下：

R(I)＝Iⁿ/(Iⁿ+σⁿ)

I是输入luminance，R是感知的亮度，n是灵敏度常数，一般n＝0.7～2，σ是半饱和常数。为了简化模型，取n＝1,σ＝1。

该算法的优势在于：1.对不同宽动态范围的HDR图片可以得到非常consistent的结果；2.计算量小，便于在移动智能设备上给到更好的用户体验。3.基于人眼视觉模型衍生出来的，能够准确的再现人眼对宽动态范围世界的感知。

以下对本申请实施例的具体实现进行举例说明：

首先，对于一组连续不同曝光图片计算重建出HDR图像；

其次，根据不同动态范围HDR图像的统计信息，人眼视觉模型曲线中不同的部分被用于进行tone-mapping(色调映射)。该算法定义了两个关键参数DR Factor和CenterPoint作为依据，来决定选取曲线中哪一段用于tone-mapping计算。

例如，一张HDR图像中，明暗亮度的比例(LogDR)、平均亮度和adapting亮度的差值(LogDiff)与以上两个参数(DR Factor、Center point)有着密切的关联。其中，LogDR和LogDiff的计算如下：

LogDR＝log₂(L_max/L_min)；

LogDiff＝log₂(L_mean)-log₂(L_as)。

为了得到更接近人眼视觉对宽动态范围环境的感知，通过心理物理学实验对40组不同场景和光照环境下的高动态范围图片进行建模。实验得出图像高动态特征和人眼视觉感知之间的模型如下：

ceterpoint＝LogDiff/30+0.4994；

DRfactor＝0.0608*LogDR+0.031。

根据一张HDR图像计算出LogDR和LogDiff值，相应的可以计算出和tone-mapping曲线相关的两个参数DR Factor和Center Point。最后通过两个参数选取最优的曲线部分用于色调映射tone-mapping。

图7～图10列举了四种不同类别动态范围HDR图片所计算出来的tone-mapping曲线，用实线表明。图7中类线性曲线表明这是张类似标准动态范围的图片(8-bit like)；图8表明图片亮处有细节；图9表明图片亮处、暗处都有细节；图10表明图片暗处有细节。

本实施例可以应用在移动智能设备上，进而基于人眼视觉系统的快速tone-mapping算法，解决其他全局tone-mapping算法在不同动态范围环境下结果不consistent的问题，同时提供用户灵活度去调节参数或者选择ROI实时地得到他们想要的tone-mappedimage appearance。

因此，本申请能够在移动智能设备上实现计算速度快、实时处理、处理后图像风格稳定、一致的色调映射(tone-mapping)算法，同时，基于本申请的方案，用户有一定的自由度去调到自己喜好的图像。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种图像处理方法及电子设备进行了详细介绍，对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种图像处理方法，包括：

获得高动态光照渲染HDR图像；

获得所述HDR图像中的亮度参数，所述亮度参数包括：所述HDR图像中明暗亮度的比例参数及亮度差值参数；

基于所述亮度参数，获得动态范围DR因子和动态范围中心点；

确定所述DR因子和所述中心点对应的目标曲线；所述目标曲线用以表征所述HDR图像的色调映射曲线中最优的曲线；

利用所述目标曲线，建立所述HDR图像中图像帧与数字显示设备的显示像素之间的色调映射关系。

2.根据权利要求1所述的方法，其特征在于，获得所述HDR图像中的亮度参数，包括：

提取所述HDR图像中图像帧的最大亮度值L_max、最小亮度值L_min、平均亮度值L_mean及适应亮度值L_as；

利用LogDR＝log₂(L_max/L_min)，获得所述HDR图像的明暗亮度比例参数LogDR；

利用LogDiff＝log₂(L_mean)-log₂(L_as)，获得所述HDR图像的亮度差值参数LogDiff。

3.根据权利要求1所述的方法，其特征在于，确定所述DR因子和所述中心点对应的目标曲线，包括：

基于所述DR因子和所述中心点，确定曲线截取方式；

根据所述曲线截取方式，获得目标曲线。

4.根据权利要求3所述的方法，其特征在于，根据所述曲线截取方式，获得目标曲线，包括：

根据所述曲线截取方式及所述DR因子，获得纵坐标段；

根据所述曲线截取方式及所述中心点，获得横坐标段；

基于所述纵坐标段和所述横坐标段，获得目标曲线。

5.根据权利要求4所述的方法，其特征在于，所述DR因子的大小与所述纵坐标段的纵坐标范围相对应；

所述中心点的大小与所述横坐标段的中点横坐标相对应。

6.根据权利要求1所述的方法，其特征在于，还包括：

基于所述色调映射关系，将所述HDR图像在所述数字显示设备上进行显示。

7.一种电子设备，包括：

输入接口，用于获得HDR图像；

数字显示设备；

处理器，用于获得所述HDR图像中的亮度参数，所述亮度参数包括：所述HDR图像中明暗亮度的比例参数及亮度差值参数，基于所述亮度参数，获得动态范围DR因子和动态范围中心点，在预设的人眼视觉模型中，确定所述DR因子和所述中心点对应的目标曲线，利用所述目标曲线，建立所述HDR图像中图像帧与所述数字显示设备的显示像素之间的色调映射关系；所述目标曲线用以表征所述HDR图像的色调映射曲线中最优的曲线。

8.根据权利要求7所述的电子设备，其特征在于，还包括：

输出接口，用于基于所述色调映射关系，将所述HDR图像在所述数字显示设备上进行显示。