CN109919841A - 一种用于高动态范围图像联合上采样的导向图的合成方法 - Google Patents

Abstract

本发明请求保护一种用于高动态范围图像联合上采样的导向图的合成方法，其包括以下步骤：步骤1、获取N张高分辨率待处理图片，并分别将所述N张高分辨率待处理图片进行压缩处理得到低分辨率待处理图片，并采用高动态范围图像合成方法得到低分辨率高动态范围图片；步骤2、对步骤1获取的N张高分辨率待处理图片处理得到N张曝光图片，并给每张曝光图片计算一个额外因子γ，并采用HGI加权平均函数合成得到高动态范围图像联合上采样的导向图HGI；步骤3、将步骤1得到的低分辨率的高动态范围图片和步骤2得到的高动态范围图像联合上采样的导向图HGI采用联合上采样算法得到高分辨率高动态范围图片。本发明可以使高动态图像合成处理操作良好地兼容各类联合上采样算法。

Description

一种用于高动态范围图像联合上采样的导向图的合成方法

技术领域

本发明属于图像处理领域，尤其涉及用于高动态范围图像联合上采样的导向图的合成技术。

背景技术

高动态范围相比传统图像有着更宽广的动态范围，可以完整地展现同一场景下的明暗处细节，克服了单张图片存在欠曝或者过曝的问题。现在最为常用的高动态范围合成算法通常是对同一场景拍摄曝光时间不同的几张图片(后面称之为曝光组合)，然后采取相应算法进行合成。这类高动态范围图像合成算法在面对高分辨图像时，通常需要较大的计算量和较高的合成时间，难以满足实时性较高的应用场景。图1展示了高动态范围图像的合成步骤，曝光图片数量一般大于等于3，图片之间有着不同的曝光时间。

联合上采样算法是一种加速图像处理的技术手段，例如去雾、锐化、黑白图像上色等图像处理操作都可以使用联合上采样进行加速。常用的联合上采样算法有联合双边上采样、导向滤波、双边导向上采样等等。联合上采样算法的大致实现流程如图2所示。首先，高分辨待处理图片压缩后得到低分辨待处理图片。接着，原本在高分辨率待处理图片上执行的图像处理操作，换为在低分辨率待处理图片上执行。最后一步，将低分辨处理后图片与高分辨待处理图片(也就是导向图)使用联合上采样算法得到高分辨处理后图片。

该技术手段的优点显而易见：图像处理算法在低分辨执行，可以减轻计算量和节省时间。

联合上采样算法称高分辨待处理图片为导向图，该图用于联合上采样环节的颜色细节提取和增强。该算法要求导向图和低分辨处理后图片必须各自为一张图片。由图1可以看出，高动态范围图像的合成算法不满足这一条件，这是因为高动态范围图像的待处理图片由多张组成，并不是一张图片，不能直接使用现存的联合上采样算法，因此在以前不能使用联合上采样算法进行加速。本发明针对这一问题，提出了可以用于高动态范围图像联合上采样的导向图，简称为HGI(High Dynamic Range Guidance image)，可以使高动态图像合成处理操作良好地兼容各类联合上采样算法。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种可以使高动态图像合成处理操作良好地兼容各类联合上采样算法的用于高动态范围图像联合上采样的导向图的合成方法。本发明的技术方案如下：

一种用于高动态范围图像联合上采样的导向图的合成方法，其包括以下步骤：

步骤1、获取N张高分辨率待处理图片，并分别将所述N张高分辨率待处理图片进行压缩处理得到低分辨率待处理图片，并采用高动态范围图像合成方法得到低分辨率高动态范围图片；

步骤2、对步骤1获取的N张高分辨率待处理图片，采用普通相机在同一场景下，在短时间内拍摄多张有着不同曝光时间的图片的方法处理得到N张曝光图片，并采用基于单张图片的噪声估计，基于图像分块所组成列向量矩阵的特征分解，给每张曝光图片计算一个额外因子γ，并采用HGI加权平均函数合成得到高动态范围图像联合上采样的导向图HGI；

步骤3、将步骤1得到的低分辨率高动态范围图片和步骤2得到的高动态范围图像联合上采样的导向图HGI采用联合上采样算法得到高分辨率高动态范围图片。

进一步的，所述步骤2的HGI加权平均函数为：

其中，j(1,2,…,N)为曝光图片的下标,z为像素值，z_mid为相机动态范围的中间值，γ为衡量图像噪声水平额外因子，w(z)是像素值z所对应的权重值；

进一步的，所述步骤2给每张曝光图片计算一个额外因子γ的步骤具体包括：

将某张曝光图片，记为I，其色彩通道数为c；

对I进行不重叠分块，每块大小为d×d,包含r＝cd²个数据；

生成数据集矩阵，记为X_s，且其维度为s×r.其中x_t为一个分块中像素值展开而成的列向量，其长度为r；

计算数据集矩阵X_s的均值：计算数据集矩阵X_s的协方差矩阵：计算Σ的特征值

计算的中值，记为τ，并得到

重复上述过程，计算出曝光组合每张图片的σ，记为N为曝光图片的数量，则

进一步的，最终HGI中的像素的可由以下公式合成，

其中,P表示计算而来的HGI上的像素值，w(z)是像素值z所对应的权重值，附带下标表示曝光组合中不同图片相同位置的像素。

进一步的，所述步骤3将步骤1得到的低分辨率高动态范围图片和步骤2得到的高动态范围图像联合上采样的导向图HGI采用联合上采样算法得到高分辨率高动态范围图片，联合上采样算法具体包括：

1.联合双边上采样；

2.导向滤波；

3.双边导向上采样；

这三种算法上采样时都用到了导向图和低分辨率处理后图片，因此称之为联合上采样。

进一步的，所述N大于等于3。

本发明的优点及有益效果如下：

本发明提出的HGI良好的解决了高动态范围图像处理不能使用联合上采样的问题。利用量化指标PSNR(峰值信噪比)和SSIM(结构相似度)衡量HGI的联合上采样结果，均能保持较高的指标(PSNR>25dB，SSIM>0.93)，实现了联合上采样结果与传统合成在肉眼上的无差异感知，同时大大缩短了高动态范围图像的合成时间，具有很强的实用意义。本发明的创新点是利用HGI将联合上采样算法拓展到了高动态范围图像的合成领域，提出了高动态范围图像联合上采样的具体步骤(图6)。这将有助于解决高动态范围图像直接合成在手机等便携设备上速度慢、计算量大的特点，可以实现在手机取景框的实时高动态范围图像预览，并大大加速高动态范围图像的拍摄速度。联合上采样中要求的高质量导向图必须有低噪声、图片物体边缘信息清晰的特性，本发明中的HGI的加权平均函数对曝光组合中的噪声像素和饱和/不饱和像素有着良好的抑制作用，因此合成的HGI基本满足了高质量导向图的要求，为进一步将HGI应用到联合上采样算法提供了有力支撑。

附图说明

图1是现有技术中高动态范围图像合成示意图；

图2是联合上采样的流程示意图；

图3是HGI的合成示意图；

图4是HGI归一化函数图像(γ_j＝1)的示意图；

图5是计算一个额外因子γ的流程图；

图6是本发明优选实施例的用于高动态范围图像联合上采样的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

HGI的合成也是基于曝光组合的合成,该合成方法难度低，易执行，可以广泛地部署在GPU这类并行计算设备进行计算。图3)展示了HGI的合成步骤。曝光组合中的图片通过加权平均的方式得到HGI。这种加权平均是像素级别的，换而言之，HGI每个特定位置的像素，是由曝光组合中相应位置的像素加权平均得来的。

HGI合成的核心就是HGI加权平均函数，该函数如下三个能力：

1).有效去除曝光图片中过曝区域的过饱和像素，这类像素通常连片出现，表现为大面积泛白或者其他颜色的溢出而导致细节缺失。

2).有效去除曝光图片中欠曝区域的不饱和像素，这类像素一般伴随着噪点同时出现，表现为大面积的黑色区域。

3).降低高噪声图片的整体权重，通过函数中一个额外因子γ实现。

下面是HGI加权平均函数的公式：

其中，j(1,2,…,N)为曝光图片的下标,z为像素值，z_mid为相机动态范围的中间值，γ为衡量图像噪声水平额外因子，w(z)是像素值z所对应的权重值。图4是该函数中额因子为1(γ_j＝1)时的图像：该图像横轴为像素值，进行了归一化，竖轴为利用HGI加权平均函数计算得来的权重值。可以看出，该函数能够有效降低相机动态范围边缘饱和像素和不饱和像素的权重，从而消除或者减轻这类像素的影响。

其次，图3中的每张曝光图片都会计算一个额外因子γ，通过该因子给予高噪声图片较低的权重，防止干扰。该因子的计算步骤如图5所示。

步骤2给每张曝光图片计算一个额外因子γ的步骤具体包括：

将某张曝光图片，记为I，其色彩通道数为c；

对I进行不重叠分块，每块大小为d×d,包含r＝cd²个数据；

生成数据集矩阵，记为X_s，且其维度为s×r.其中x_t为一个分块中像素值展开而成的列向量，其长度为r；

计算数据集矩阵X_s的均值：计算数据集矩阵X_s的协方差矩阵：计算Σ的特征值

计算的中值，记为τ，并得到

重复上述过程，计算出曝光组合每张图片的σ，记为N为曝光图片的数量，则

HGI加权平均函数的完整定义，最终HGI中的像素的可由以下公式合成，

其中,P表示计算而来的HGI上的像素值，

w(z)是像素值z利用HGI加权平均函数计算而来的权重值，附带下标表示曝光组合中不同图片相同位置的像素。

可以看到HGI的本质就是曝光组合中同一位置像素的加权平均。

利用HGI，高动态范围图像的联合上采样过程如图6所示。

一种用于高动态范围图像联合上采样的导向图的合成方法，其包括以下步骤：

步骤1、获取N张高分辨率待处理图片，并分别将所述N张高分辨率待处理图片进行压缩处理得到低分辨率待处理图片，并采用高动态范围图像合成方法得到低分辨率高动态范围图片；

步骤2、对步骤1获取的N张高分辨率待处理图片处理得到N张曝光图片，并给每张曝光图片计算一个额外因子γ，并采用HGI加权平均函数合成得到高动态范围图像联合上采样的导向图HGI；

步骤3、将步骤1得到的低分辨率高动态范围图片和步骤2得到的高动态范围图像联合上采样的导向图HGI采用联合上采样算法得到高分辨率高动态范围图片。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种用于高动态范围图像联合上采样的导向图的合成方法，其特征在于，包括以下步骤：

步骤1、获取N张高分辨率待处理图片，并分别将所述N张高分辨率待处理图片进行压缩处理得到低分辨率待处理图片，并采用高动态范围图像合成方法得到低分辨率高动态范围图片；

步骤2、对步骤1获取的N张高分辨率待处理图片，采用普通相机在同一场景下，在短时间内拍摄多张有着不同曝光时间的图片的方法处理得到N张曝光图片，并采用基于单张图片的噪声估计，基于图像分块所组成列向量矩阵的特征分解，给每张曝光图片计算一个额外因子γ，并采用HGI加权平均函数合成得到高动态范围图像联合上采样的导向图HGI；

步骤3、将步骤1得到的低分辨率高动态范围图片和步骤2得到的高动态范围图像联合上采样的导向图HGI采用联合上采样算法得到高分辨率高动态范围图片。

2.根据权利要求1所述的一种用于高动态范围图像联合上采样的导向图的合成方法，其特征在于，所述步骤2的HGI加权平均函数为：

其中，j(1,2,…,N)为曝光图片的下标,z为像素值，z_mid为相机动态范围的中间值，γ为衡量图像噪声水平额外因子，w(z)是像素值z所对应的权重值。

3.根据权利要求1所述的一种用于高动态范围图像联合上采样的导向图的合成方法，其特征在于，所述步骤2给每张曝光图片计算一个额外因子γ的步骤具体包括：

将某张曝光图片，记为I，其色彩通道数为c；

对I进行不重叠分块，每块大小为d×d,包含r＝cd²个数据；

生成数据集矩阵，记为X_s，且其维度为s×r.其中x_t为一个分块中像素值展开而成的列向量，其长度为r；

计算数据集矩阵X_s的均值：计算数据集矩阵X_s的协方差矩阵：计算Σ的特征值

计算的中值，记为τ，并得到

重复上述过程，计算出曝光组合每张图片的σ，记为N为曝光图片的数量，则

4.根据权利要求1所述的一种用于高动态范围图像联合上采样的导向图的合成方法，其特征在于，最终HGI中的像素的可由以下公式合成，

其中,P表示计算而来的HGI上的像素值，w(z)是像素值z所对应的权重值，附带下标表示曝光组合中不同图片相同位置的像素。

5.根据权利要求1-4之一所述的一种用于高动态范围图像联合上采样的导向图的合成方法，其特征在于，所述步骤3将步骤1得到的低分辨率高动态范围图片和步骤2得到的高动态范围图像联合上采样的导向图HGI采用联合上采样算法得到高分辨率高动态范围图片，联合上采样算法具体包括：

1.联合双边上采样；

2.导向滤波；

3.双边导向上采样；

这三种算法上采样时都用到了导向图和低分辨率处理后图片，因此称之为联合上采样。

6.根据权利要求1-4之一所述的一种用于高动态范围图像联合上采样的导向图的合成方法，其特征在于，所述N大于等于3。