CN103413286B - 一种基于学习的高动态范围与高分辨率图像联合重建方法 - Google Patents

Abstract

本发明公开了一种基于学习的高动态范围与高分辨率图像联合重建方法，算法分为离线训练和在线学习两部分。离线部分包括学习样本采集、组织和分类预测器训练部分。样本采集过程根据场景亮度不同分为三类分别进行。采用聚类方法对样本文件进行组织。然后，通过线性或非线性预测器学习方法对分类预测器进行训练。在线重建部分对输入的多幅具有不同曝光参数的LR‑LDR图像进行HDR‑HR重建。首先，通过输入图像的平均图像进行场景的背景亮度分类；然后，根据亮度分类结果，利用离线训练部分训练好的分类预测器对输入图像进行高动态范围和高分辨率细节信息的预测，最终重建细节信息。该发明可对高对比度场景进行有效成像，本发明可用于夜晚街景监控图像处理。

Description

一种基于学习的高动态范围与高分辨率图像联合重建方法

技术领域

本发明涉及数字图像处理方法，特别涉及一种基于学习的高动态范围与高分辨率图像联合重建方法。

背景技术

受到图像成像设备分辨率以及亮度动态范围的影响，现有的普通摄像机难以对高对比度场景进行较远距离的高质量成像。高质量的图像在有效表现高对比度场景的同时，也应当具有较高的空间分辨率。针对图像的高动态范围图像显示和空间分辨率的重建问题，许多学者已进行了一些卓有成效的研究工作，但他们基本上都是分别独立进行的。现有的超分辨率复原技术通常假设多幅图像的曝光参数是不变的、摄像机响应函数的参数以及噪声参数是已知的；但是，在真实世界中所获取的图像通常对以上假设条件难以满足。因此，在统一技术框架中重建高动态范围和高分辨率图像，对图像融合的理论基础和实际应用都具有一定的价值。该发明可对高对比度场景进行有效成像，可用于夜街景监控图像处理或为摄影艺术家提供数码照片处理工具。

发明内容

本发明的目的在于，将同一场景多幅具有不同曝光参数的低分辨率图像重建为具有高亮度动态范围和高分辨率的高质量图像。这里的高动态范围指场景亮度对比度在256级以上，高分辨率指空间分辨率放大2倍以上。

为了达到上述目的，本发明采用基于示例学习的框架进行高动态范围和高分辨率图像的联合重建。通过对示例样本的学习，建立LDR-LR(Low Dynamic Range – LowResolution)与HDR-HR(High Dynamic Range-High Resolution)之间的映射关系。通过合理组织样本，分类训练学习模型等策略在无需人为交互的情况下实现HDR-HR图像的联合重建。整体流程图如附图1所示。算法分为离线训练和在线重建两部分。其流程图分别如附图2和附图3所示。离线部分包括学习样本采集、组织和分类预测器训练部分。样本采集过程根据场景亮度不同分为三类分别进行。采用K均值聚类方法对样本文件进行组织。然后，对分类预测器进行训练。

在线部分对输入的至少3幅具有不同曝光参数的LR-LDR图像进行HDR-HR重建。首先，通过输入图像的平均图像进行场景的背景亮度分类；然后，根据亮度分类结果，利用离线部分训练好的分类预测器对输入图像进行动态范围和细节信息的预测，最终重建细节信息。

该方法具体包括以下步骤：

（一）离线训练部分

1）示例样本的提取与组织

训练图像库由多组训练图像组成，每组训练图像为同一场景的至少3幅具有不同曝光参数的低分辨率图像和一幅对应的目标图像；图像序列可由分辨率相对较低的相机拍摄具有不同曝光参数的图像I_LDR-LRi，i=-1,0,1, 和一幅对应的目标图像I_HDR-HR；其中I_LDR-LR0为正常曝光图像，即采用自动曝光设置的相机采集的图像，设其曝光时间为t₀，I_LDR-LR-1为曝光时间小于t₀时采集的图像，即曝光时间短的图像，I_LDR-LR1为曝光时间大于t₀时采集的图像，即曝光时间长的图像；目标图像可通过光学记录仪器记录场景的真实亮度值，以浮点型数据存储形成的HDR图像，然后经过色调映射方法映射为能够体现高对比度场景且可在显示设备上显示的图像。训练图像也可由现有的浮点HDR图像模拟产生。示例样本是由成对的图像信息块组成，即HDR-HR图像块和相应的LDR-LR图像信息块。

HDR-HR和LDR-LR图像细节信息的提取：首先通过双边滤波器对每幅输入图像和HDR-HR图像进行滤波得到图像的基本层，取原图像与基本层图像的差值图像作为细节信息：

L_HDR-HR = I_HDR-HR－BF(I_HDR-HR) (1)

相应的LR-LDR图像的细节信息如下式计算：

L_LDR-LRi = I_LDR-LRi－BF(I_i) i=-1,0,1 (2)

其中BF(I_HDR-HR)为双边滤波器对图像I_{HDR_HR}滤波后的结果图像，即基本层图像。成对的训练样本块从L_HDR-HR和L_LDR-LRi中提取。其中i取决于背景亮度的聚类分割结果；在亮区从L_HDR-HR和L_LDR-LR-1中提取样本，在适中区从L_HDR-HR和L_LDR-LR0中提取样本，而在暗区则从L_HDR-HR和L_LDR-LR1中提取样本。

在样本采集时，对HDR-HR场景进行了背景亮度分类。具体为对所有LDR-LR图像的平均图像I_average进行K均值聚类分割，将图像分为亮区，适中区和暗区3个区域。成对的训练样本块从L_HDR-HR和L_LDR-LRi中提取；其中i取决于背景亮度的聚类分割结果；在亮区从L_HDR-HR和L_LDR-LR-1中提取样本，在适中区从L_HDR-HR和L_LDR-LR0中提取样本，而在暗区则从L_HDR-HR和L_LDR-LR1中提取样本。

示例样本的提取示意图如附图4所示。L_HDR-HR是HDR-HR图像的细节信息，L_LDR-LR是LDR-LR图像的细节信息。图像L_HDR-HR中任意一个图像块，在图像L_LDR-LR中都能找到一个对应的LDR-LR图像块。如图4 b)中所示，当下采样系数为2倍时，L_HDR-HR中灰色图像块大小为4×4，则在L_LDR-LR中对应的LDR-LR块为深灰色的大小为2×2 的图像块。为了同时考虑图像块与相邻块之间的内容连续性，我们将L_LDR-LR中的LDR-LR块向周边扩展一个像素。这样由两幅差图像中对应位置的灰色图像块构成一个成对的训练样本：

其中，[x₀,x₁,…x₁₅]是LDR-LR图像的16维细节信息，[y₀,y₁,…y₁₅]是HDR-HR图像的16维细节信息。

样本图像中所有位置的图像块都被选为训练样本，在对I_average聚类分割中被划分为同一个类别区域所提取的样本构成一个样本库。因此，可采集适用于亮区、暗区和适中区域的三个样本库。

2）分类预测器及其训练

对于每个样本库，训练一个分类预测器。分类预测的设计部分，分类预测器由一组子预测器构成，每个类别分别对应一个线性子预测器，其框图如图5所示。

对于给定样本库， LDR-LR部分样本的内容一般可被划分为若干类别。每个区域的内容具有相似的特征。算法将输入的LDR-LR样本示例（T中的{x_i,i=0,1, 15}部分）进行基于内容的分类。对于每个类别，设计一个简单的预测器，用于预测同一类别的LR-LDR图像块对应的细节信息。样本库的组织与训练具体方法如下：

对LR-LDR样本块进行聚类，将训练样本库划分为若干样本子空间，并通过分类来组织输入图像的内容。每个类别用一个编码矢量表示，得到一个由每类的编码矢量组成的码本。算法将每个样本分为一类，产生一个样本分类的编码列表。

码本的产生过程和训练样本库的分类过程都是离线进行的。利用采集到的3个训练样本库分别进行离线训练。得到码本后，训练样本根据码本进行分类，即对给定样本中的LDR-LR特征矢量，在码本中寻找与之距离最近的编码矢量，然后将该样本划分到该编码矢量所代表的类别中。

训练样本库的类别数为N，聚类后生成一个由N 个码字组成的码本CB，每个码字为一个编码矢量：

其中，R¹⁶表示16维实数矢量空间。

分类预测器的训练过程就是训练每个子预测器的过程。

（二）在线重建部分

1）场景背景亮度分类

在线重建部分选用至少3幅低分辨率低动态图像作为实验输入图像，J_-1为一曝光时间过短图像，J₁为一曝光时间过长图像，J₀为一曝光时间正常图像；其中曝光时间正常图像指将相机设置为自动曝光时获取的图像，设其曝光时间为t₀，曝光时间过短图像指采用比自动曝光时间t₀少的曝光时间拍摄的图像，曝光时间过长的图像指采用比自动曝光时间t₀长的曝光时间拍摄的图像。

为了保持场景整体亮度动态范围，选择3幅实验输入图像的平均图像作为LDR-LR图像，对中间图像进行K均值聚类获得场景亮度分类。依据亮度分类结果，在每个区域的像素进行重建的过程中分别采用对应类别的分类预测器进行预测。

预测时，输入数据首先通过样本分类过程产生的码本进行编码，即分类；然后根据其类别选择对应的子预测器进行预测。

2）分类预测学习及其重建

对于重建目标HDR-HR图像J_HDR-HR中每个4×4的图像块，在输入的LDR-LR图像都有对应位置的4×4块。这种位置对应关系与训练样本提取过程中的对应关系相同，如图4所示。

对于3幅输入图像获得其平均图像后，对其进行插值放大获得HDR-HR场景的初始估计图像。图像对其进行双边滤波器滤波取差值图像获得输入图像LDR-LR的细节信息。复原过程中，根据样本提取方式对输入LDR-LR图像对应图像块提取相应特征矢量，将该特征矢量作为分类预测器的输入，预测对应位置HDR-HR块的细节信息。整体HDR-HR图像细节信息层的重建过程采用一个4×4 像素的窗口在HDR-HR目标图像坐标上滑动，水平和垂直步长为2个像素。对每个窗口位置进行细节信息预测。图像中相同位置的细节信息由于窗口的重叠会产生多个预测值，将所有的预测值进行平均得到预测结果。

对应于3幅输入图像来说，对应亮区J_-1图像相对应的细节比较多，对应暗区J₁图像相对应的细节比较多，对应正常区域J₀图像相对应的细节比较多。因此，在用分类预测器用于进行细节信息的预测时，分别对应于不同的亮度区域，采用不同的输入图像指导细节信息的预测，最后估计得到的细节信息层叠加到初始估计图像中形成输出HDR-HR图像。

为了保证估计HDR-HR图像结果接近理想高分辨率图像的约束，通常采用LDR-LR图像观测模型约束。我们采用高斯移动平均模型约束。

本发明有益的技术效果是：提供了在基于学习的框架内进行图像高动态范围与超分辨率的联合重建，该方法能同时重建高动态范围与高分辨率的目标图像。

下面结合实例参照附图进行详细说明，以求对本发明的目的、特征和优点得到更深入的理解。

附图说明：

图1、本发明方法整体框图；

图2、离线训练部分流程图；

图3、在线重建部分流程图；

图4、提取训练样本示意图；a) HDR-HR细节图像 b) LDR-LR细节图像

图5、分类预测器框图；

图6、输入具有不同曝光参数的图像；a) Rosette b) Cathedral c) Church

图7、背景亮度分类结果；

图8、细节信息重建示意图；

图9、HDR-HR重建结果；a) Rosette b) Cathedral c) Church

图10、本发明方法与传统插值放大结果局部细节比较。a) Rosette插值局部细节信息 b)本发明方法局部细节信息。

具体实施方式：

以下结合说明书附图，对本发明的实施实例加以说明：

本发明提出方法分为离线训练和在线重建两部分。离线训练部分流程图如图2所示，包括学习样本采集、组织和分类预测器训练部分。样本采集过程根据场景亮度不同分为三类分别进行。采用聚类方法对样本文件进行组织。然后，通过线性或非线性预测器学习方法对分类预测器进行训练。

在线重建部分流程图如图3所示，对输入的3幅具有不同曝光参数的LR-LDR图像进行HDR-HR重建。首先，通过输入图像的平均图像进行场景的背景亮度分类；然后，根据亮度分类结果，利用离线训练部分训练好的分类预测器对输入图像进行高动态范围和高分辨率细节信息的预测，最终重建细节信息。

下面结合实例对该方法进行详细说明。

（1）离线训练部分

训练图像选取现有的浮点HDR图像模拟产生。通过HDRShop V1.0软件将HDR浮点图像模拟映射为3幅具有不同曝光参数的图像。具体产生方法为：首先将浮点HDR图像进行z=2倍下采样，选取正常曝光图像作为I₀。曝光参数调小1个f-stop，获得图像作为曝光较小图像I_-1；曝光参数以I₀为基准，调大一个f-stop作为I₁。目标图像通过Photomatix Pro 4.2.3软件将浮点HDR图像映射为一幅HDR-HR场景的目标图像I_HDR-HR，映射中采用了默认方法和参数。3幅LDR-LR图像和一幅对应的HDR-HR场景的目标图像I_HDR-HR组成一个场景的训练图像。

如在样本采集时，首先对HDR-HR场景进行背景亮度分类。背景亮度分类可采用多种方案，如可对3幅LDR-LR图像的平均图像I_average进行K均值聚类，分割为3类，从而将图像分为亮区，适中区和暗区3个区域。根据场景亮度分类结果，亮区样本在曝光时间短的LDR-LR与目标图像对应的细节图中提取；暗区样本在曝光时间长的LDR-LR与目标图像对应的细节图中提取；亮度适中区，则选择曝光时间适中的LDR-LR与目标图像对应的细节图中提取；在每个区域中采集示例样本，构成3个训练样本集。

示例样本是由成对的图像信息块组成，即HDR-HR图像块和相应的LDR-LR图像块。样本提取前，分别对LDR-LR和HDR-HR训练图像进行双边滤波器滤波，然后将原图像减去滤波后的图像得到细节信息。在对应的细节信息图像上，按照图4所示的对应关系采集成对的示例样本。图4中以采样倍数等于2为例。对应的样本分别提取的是16维的向量。

采集到的3个训练样本库分别进行基于聚类的样本组织。可采用K均值聚类，对样本中的LDR-LR部分进行聚类。

对于每个样本库，训练一个分类预测器。分类预测器由一组子预测器构成，每个聚类类别的样本子集对应一个子预测器。子预测器的训练中，对应类别的所有样本为训练样本。其中LDR-LR部分为输入，HDR-HR部分为目标。预测器的目的是描述同类样本LDR-LR和HDR-HR的映射关系。这种映射关系用于指导非训练样本LDR-LR图像序列的HDR-HR图像重建。子预测器采用简单的最小均方误差准则（Least Mean Squares, LMS）预测器。各子预测器的输出为：

其中，x '为训练样本中的矢量：

训练过程中，权值矩阵初始化为零。训练过程采用训练样本库中相应类别的样本子集合进行。

离线训练部分的目的是训练与背景亮度分类数量对应个数的分类预测器，表示不同训练样本集中LDR-LR和HDR-HR之间的映射关系。分类预测器用于在线重建过程中的细节信息预测。

（2）在线重建部分

以3幅不属于训练图像的输入图像为例，J_-1为一曝光时间较短图像，J₁为曝光时间较长的图像，J₀为曝光时间正常图像。如附图5所示。为了保持场景整体亮度动态范围，选择3幅实验输入图像的平均图像J_average作为LDR-LR初始图像，将初始图像经双线性插值放大到目标图像大小，作为基本层图像。对I₀的灰度图像进行K均值聚类获得场景亮度分类，分割出亮区、暗区和亮度适中区。背景亮度分类结果如附图6所示。

对J_-1，J₀和J₁分别进行细节信息提取，即将原图与双边滤波器滤波后的平滑图像的差图像作为LDR-LR细节图像。

依据亮度分类结果，在每个区域的像素进行重建的过程中分别采用对应类别的分类预测器进行预测。预测时，输入数据首先通过样本分类过程产生的码本进行编码，即分类；然后根据其类别选择对应的子预测器进行细节信息预测。

对应于3幅输入图像来说，对于亮区，J_-1图像所呈现的细节信息相对较好；对于暗区，J₁图像中所成像的细节信息相对较好；对应正常区域J₀图像相对应的细节成像较好。因此，在用分类预测器用于进行细节信息的预测时，分别对应于不同的亮度区域，采用不同的输入图像指导细节信息的预测。

细节层的预测是逐块进行的，如附图8所示。由图像Ji的细节图像中4×4图像块经分类预测器预测得到一个4×4的输出结果，作为J_HDR-HR图像对应位置的细节信息块。然后，J_i细节图像中的方框以2像素为步长移动，提取细节信息块，再通过分类预测器，得到J_HDR-HR图像下一位置的细节信息块。最终，通过逐块预测，得到完整的细节信息层。最后将估计得到的细节信息层叠加到初始估计图像中形成融合的HDR-HR图像。

最后，通过图像观测模型，采用插值放大的基本层图像对融合图像进行模型约束，通过迭代优化：

其中I_HDR-HR为重建目标图像，（k, l）为图像J_HDR-HR与高斯函数卷积后得到的图像坐标；J_LDR-LR(i, j)为输入LDR-LR图像序列平均图像在坐标（i, j）处的像素值；q为放大倍数，G_σ为方差为σ的高斯滤波器，为卷积运算。高斯滤波使HDR-HR估计图像中每个像素为其周围点的加权平均和。迭代求解公式（7）的最优化问题，可得到最终的HDR-HR图像J_HDR-HR。

重建结果如图9所示。图10为本发明方法与传统插值放大结果局部细节比较。

本发明基于学习的高动态范围与超分辨率联合重建方法，可对高对比度场景进行有效成像，达到同时重建高分辨率和高动态范围图像的目标。本发明应用范围广泛，可用于夜晚街景监控图像处理以及为摄影艺术家提供数码照片处理工具。离线训练过程可一次训练，多次应用。

Claims (2)

1.一种基于学习的高动态范围与高分辨率图像联合重建方法，高动态范围指场景亮度对比度在256级以上，高分辨率指空间分辨率放大2倍以上；由图像采集设备对高对比度场景进行采集，将光学信号以不同曝光参数转化为多幅数字图像，存储在采集设备的存储器中；计算机读入图像，在处理器中进行高动态范围与高分辨率图像联合重建；所述的联合重建结果以数据库的形式存放并直接存储在本地硬盘，或通过网络存储设备进行网络存储；所述的基于学习的高动态范围与高分辨率图像联合重建方法包括离线训练部分和在线重建两部分；

所述的离线训练部分包括示例样本的采集与组织和分类预测器训练步骤；其目的是通过学习方法获得LDR-LR即低动态范围与低分辨率图像与HDR-HR即高动态范围与高分辨率图像信息之间的映射关系，以指导HDR-HR图像联合重建；

所述的在线重建部分对输入的多幅具有不同曝光参数的LDR-LR图像进行HDR-HR重建；首先，通过输入图像的平均图像进行场景的背景亮度分类；然后，根据亮度分类结果，利用离线部分训练好的分类预测器对输入图像进行高动态范围和高分辨率细节信息预测，最后通过LDR-LR观测模型约束最终重建HDR-HR图像；

所述的离线训练部分，具体步骤如下：

2.1示例样本的提取与组织：

训练图像库由多组训练图像组成，每组训练图像为同一场景的至少3幅具有不同曝光参数的低分辨率图像I_LDR-LRi，i＝-1,0,1,和一幅对应的目标图像I_HDR-HR；其中I_LDR-LR0为正常曝光图像，即采用自动曝光设置的相机采集的图像，设其曝光时间为t₀，I_LDR-LR-1为曝光时间小于t₀时采集的图像，即曝光时间短的图像，I_LDR-LR1为曝光时间大于t₀时采集的图像，即曝光时间长的图像；图像序列由分辨率相对较低的相机拍摄具有不同曝光参数的图像序列得到，目标图像通过光学记录仪器记录场景的真实亮度值，以浮点型数据存储形成的HDR图像，然后经过色调映射方法映射为能够体现高对比度场景且能在显示设备上显示的图像；训练图像或者由现有的浮点HDR图像模拟产生；示例样本是由成对的图像信息块组成，即HDR-HR图像信息块和相应的LDR-LR图像信息块；

HDR-HR和LDR-LR图像细节信息的提取：首先通过双边滤波器对每幅输入图像和HDR-HR图像进行滤波得到图像的基本层，取原图像与基本层图像的差值图像作为细节信息；L_HDR-HR为目标图像的细节信息：

L_HDR-HR＝I_HDR-HR－BF(I_HDR-HR) (1)

LR-LDR图像的细节信息L_LDR-LRi如下式计算：

L_LDR-LRi＝I_LDR-LRi－BF(I_i)i＝-1,0,1 (2)

其中BF()为双边滤波器，如公式(3)所示，BF(I_{HDR_HR})为双边滤波器对图像I_{HDR_HR}滤波后的结果图像，即基本层图像；

其中Ω为图像的定义域，“*”表示乘法，p(x)和p(y)为空间位置x和y(x,y均为2维坐标)处的像素值，和分别为空间域和像素域中的权值核函数，通常均取为高斯函数，δ_s空域高斯函数的标准差，δ_r为值域高斯函数的标准差，取值由实验经验设定；

在样本采集时，对HDR-HR场景进行了背景亮度分类；具体为对所有LDR-LR图像的平均图像I_average进行聚类分割，将图像分为亮区，适中区和暗区3个区域；成对的训练样本块从L_HDR-HR和L_LDR-LRi中提取；其中i取决于背景亮度的聚类分割结果；在亮区从L_HDR-HR和L_LDR-LR-1中提取样本，在适中区从L_HDR-HR和L_LDR-LR0中提取样本，而在暗区则从L_HDR-HR和L_LDR-LR1中提取样本；

图像L_HDR-HR中任意一个图像信息块，在图像L_LDR-LR中都能找到一个对应的LDR-LR图像信息块；当下采样倍数为2时，L_HDR-HR中的图像信息块大小设为4×4，则在L_LDR-LRi中对应的LDR-LR块为2×2大小的图像信息块；将L_LDR-LR中的LDR-LR块向周边扩展一个像素；这样由两幅差图像中对应位置的图像信息块构成一个成对的训练样本：

T＝[x₀,x₁,…x₁₅,y₀,y₁,…y₁₅]^T (4)

其中，[x₀,x₁,…x₁₅]是LDR-LR图像的16维细节信息，[y₀,y₁,…y₁₅]是HDR-HR图像的16维细节信息；

样本图像中所有位置的图像信息块都被选为训练样本，在对I_average聚类分割中被划分为同一个类别区域所提取的样本构成一个样本库；因此，采集适用于亮区、暗区和适中区域的三个样本库；

2.2分类预测器训练：

对于每个样本库，训练一个分类预测器；分类预测的设计部分，分类预测器由一组子预测器构成，每个类别分别对应一个线性子预测器；

对于给定样本库，LDR-LR部分样本的内容被划分为若干类别；每个区域的内容具有相似的特征；算法将输入的LDR-LR样本示例进行基于内容的分类；对于每个类别，设计一个预测器，用于预测同一类别的LDR-LR图像信息块对应的细节信息；样本库的组织与训练具体方法如下：

对LDR-LR样本块进行聚类，将训练样本库划分为若干样本子空间，并通过分类来组织输入图像的内容；每个类别用一个编码矢量表示，得到一个由每类的编码矢量组成的码本；算法将每个样本分为一类，产生一个样本分类的编码列表；

码本的产生过程和训练样本库的分类过程都是离线进行的；利用采集到的3个训练样本库分别进行离线训练；得到码本后，训练样本根据码本进行分类，即对给定样本中的LDR-LR特征矢量，在码本中寻找与之距离最近的编码矢量，然后将该样本划分到该编码矢量所代表的类别中；

训练样本库的类别数为N，聚类后生成一个由N个码字组成的码本CB，每个码字为一个编码矢量：

CB＝{c_i|c_i∈R¹⁶,i＝0,1,…,N-1} (5)

其中，R¹⁶表示16维实数矢量空间,c_i为训练样本经K均值聚类后获得的码字，及被分类同一类所有样本的平均值，为16维向量，每维的取值范围为-255到255；

分类预测器的训练过程就是训练每个子预测器的过程；子预测器采用简单的最小均方误差准则预测器；各子预测器的输出y_i为：

其中，w_i,j为线性预测的权值，其取值为实数；x'为训练样本中的矢量：

x'＝{x₀,x₁,…,x₁₅} (7)

训练过程中，权值w_i,j初始化为零，具体取值由最小均方误差准则预测器迭代计算获得；训练过程采用训练样本库中相应类别的样本子集合进行。

2.根据权利要求1所述的一种基于学习的高动态范围与高分辨率图像联合重建方法，其特征在于，所述的在线重建部分，具体步骤如下：

3.1场景背景亮度分类：

在线重建部分选用至少3幅低分辨率低动态图像作为实验输入图像，J_-1为一曝光时间过短图像，J₁为一曝光时间过长图像，J₀为一曝光时间正常图像；其中曝光时间正常图像指将相机设置为自动曝光时获取的图像，设其曝光时间为t₀，曝光时间过短图像指采用比自动曝光时间t₀少的曝光时间拍摄的图像，曝光时间过长的图像指采用比自动曝光时间t₀长的曝光时间拍摄的图像；

选择3幅实验输入图像的平均图像作为场景背景估计图像，对平均图像进行K均值聚类获得场景亮度分类；依据亮度分类结果，在每个区域的像素进行重建的过程中分别采用对应类别的分类预测器进行预测；

预测时，输入数据首先通过样本分类过程产生的码本进行编码，即分类；然后根据其类别选择对应的子预测器进行预测；

3.2分类预测学习及其重建：

对于重建目标HDR-HR图像J_HDR-HR中每个4×4的图像信息块，在输入的LDR-LR图像都有对应位置的4×4块；这种位置对应关系与训练样本提取过程中的对应关系相同，即图像重建目标图像中任意一个图像信息块，在图像LDR-LR图像中都能找到一个对应的LDR-LR图像信息块；当上采样倍数为2时，HDR-HR中的图像信息块大小设为4×4，则在LDR-LR中对应的图像信息块为2×2大小的图像信息块；将LDR-LR图像细节信息L’_LDR-LR中的LDR-LR块向周边扩展一个像素；

对于3幅输入图像获得其平均图像后，对其进行插值放大获得HDR-HR场景的初始估计图像；对其进行双边滤波器滤波取差值图像获得输入图像LDR-LR的细节信息；根据样本提取方式对输入LDR-LR图像对应图像信息块提取相应特征矢量，将该特征矢量作为分类预测器的输入，预测对应位置HDR-HR块的细节信息；整体HDR-HR图像细节信息层的重建过程采用一个4×4像素的窗口在HDR-HR目标图像坐标上滑动，水平和垂直步长为2个像素；对每个窗口位置进行细节信息预测；图像中相同位置的细节信息由于窗口的重叠会产生多个预测值，将所有的预测值进行平均得到预测结果；

对应于3幅输入图像来说，对应亮区J_-1图像相对应的细节比较多，对应暗区J₁图像相对应的细节比较多，对应正常区域J₀图像相对应的细节比较多；因此，在用分类预测器用于进行细节信息的预测时，分别对应于不同的亮度区域，采用不同的输入图像指导细节信息的预测，最后估计得到的细节信息层叠加到初始估计图像中形成输出HDR-HR图像；

采用LDR-LR图像观测模型约束；求解最优化问题，得到最终的HDR-HR图像J_HDR-HR。