CN102779334B - 一种多曝光运动图像的校正方法及装置 - Google Patents

Abstract

本发明实施例公开了一种多曝光运动图像的校正方法及装置，所述方法包括；确定亮度映射函数，所述亮度映射函数为参考帧与多个扩展帧之间的亮度映射关系；利用所述亮度映射关系对所述扩展帧的亮度进行映射，得到虚拟帧；计算所述虚拟帧与参考帧间的全局运动矢量；根据所述全局运动矢量对所述扩展帧的像素进行校正，得到校正后的第一扩展帧；根据所述参考帧对所述第一扩展帧的像素进行检测，得到所述第一扩展帧的局部错误像素；对所述第一扩展帧的局部错误像素的亮度进行校正，得到校正后的第二扩展帧。本发明实施例解决了现有技术中对多曝光帧的运动图像不能有效校正的技术问题。

Description

一种多曝光运动图像的校正方法及装置

技术领域

本发明涉及图像处理技术，特别涉及一种多曝光运动图像的校正方法及装置。

背景技术

随着多帧曝光合成的高动态范围（HDR）成像技术的发展，在目前消费市场上，IPhone等智能手机集成了HDR拍照功能。也就是说，在相机稳定和静止场景下，拍照效果都有着不同程度的提升，亮暗处细节的表现能力得到相应的提高。

但是，在相机抖动或者有运动物体的场景下，通过多曝光帧合成的HDR图像就会出现重影或模糊等不良情况。由于不同曝光下拍摄得到的各帧亮度差异很大。

现有技术1中，为了解决校正运动过程中多曝光帧合成的图像，而提供了一种运动校正方法，该方法先根据曝光帧与相机响应曲线之间的映射关系来映射并提升暗帧的亮度，然后，利用双向预测的方法计算出帧级的运动向量并校正，最后，采用基于梯度的光流法来校正局部运动。但是，该方法不但复杂度高，由于相机的响应曲线需要依据图像传感器及其它处理模块才能获得；而且校正效果也不是很理想。

现有技术2中，还提供一种运动校正方法，该方法中采用亮度映射函数把第一帧的亮度校正到第二帧的亮度范围；然后检测两帧之间的运动情况；对于运动的区域，采用第一帧映射之后的该区域亮度值来直接替换第二帧对应的像素值。

但是，当拍摄相机发生运动时，该方法检测出所有区域都是运动区域，经过替换校正后的第二帧图像已经基本丢失了该曝光条件下的细节信息，最后合成的HDR图像效果也不是很理想。由于运动判决难度比较大，尤其经过亮度映射之后的曝光帧，由于噪声级别不同/过曝欠曝区域的影响，运动判决的结果很难保证。因此，校正后的第二帧图像容易在运动区域的边缘出现明显的不连续现象，这会直接影响到最终的HDR合成效果。

因此，在对现有技术的研究和实践过程中，本发明的发明人发现，现有的实现方式中，无论是现有技术1，还是现有技术2，在相机抖动或者有运动物体的场景下，都不能有效校正多曝光帧的运动图像。

发明内容

本发明实施例中提供了一种多曝光运动图像的校正方法及装置，以解决现有技术中对多曝光帧的运动图像不能有效校正的技术问题。

本发明实施例中提供一种多曝光运动图像的校正方法，所述方法包括；

确定亮度映射函数，所述亮度映射函数为参考帧与多个扩展帧之间的亮度映射关系；

利用所述亮度映射关系对所述扩展帧的亮度进行映射，得到虚拟帧；

计算所述虚拟帧与参考帧间的全局运动矢量；

根据所述全局运动矢量对所述扩展帧的像素进行校正，得到校正后的第一扩展帧；

根据所述参考帧对所述第一扩展帧的像素进行检测，得到所述第一扩展帧的局部错误像素；

对所述第一扩展帧的局部错误像素的亮度进行校正，得到校正后的第二扩展帧。

相应的，本发明实施例还提供一种多曝光运动图像的校正装置，包括：

确定单元，用于确定亮度映射函数，所述亮度映射函数为参考帧与多个扩展帧的亮度映射关系；

映射单元，用于利用所述亮度映射关系对所述扩展帧的亮度进行映射，得到虚拟帧；

第一计算单元，用于计算所述虚拟帧与参考帧间的全局运动矢量；

第一校正单元，用于根据所述全局运动矢量对所述扩展帧的像素进行校正，得到校正后的第一扩展帧；

检测单元，用于根据所述参考帧对所述第一扩展帧的像素进行检测，得到所述第一扩展帧的局部错误像素；

第二校正单元，用于对所述第一扩展帧的局部错误像素的亮度进行校正，得到校正后的第二扩展帧

由上述技术方案可知，本发明实施例通过亮度映射函数、校正全局运动以及校正局部错误像素对扩展帧进行校正，解决了现有技术中对多曝光帧的运动图像不能有效校正的技术问题，即本实施例可有效校正多帧曝光图像之间的运动，所述运动可以包括由相机运动造成的全局运动，以及场景物体的运动。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种多曝光运动图像的校正方法的流程图；

图2为本发明实施例提供的一种亮度映射函数的示意曲线图；

图3为本发明实施例提供的一种局部错误像素的校正方法的流程图；

图4为本发明实施例提供的一种多曝光运动图像的校正装置的结构示意图；

图5为本发明实施例提供的一种多曝光运动图像的校正装置的第二结构示意图；

图6为本发明实施例提供的一种多曝光运动图像的校正装置的第三结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例提供的一种多曝光运动图像的校正方法的流程图，所述方法包括：

步骤101：确定亮度映射函数，所述亮度映射函数为参考帧与多个扩展帧之间的亮度映射关系；

在该步骤中，亮度映射函数F(x)为参考帧与多个扩展帧之间的亮度映射关系，其中，亮度映射函数可以通过对参考帧及多个扩展帧的统计直方图进行计算得到，具体如图2所示，图2为本发明实施例提供的一种亮度映射函数的示意曲线图，在该图2中，横坐标为扩展帧图像的亮度，即扩展帧亮度，在该扩展帧图像中存在大量的过曝像素；纵坐标为参考帧图像的亮度，即参考帧亮度。

另外，通常情况下，相机的曝光值由曝光行以及增益确定，多帧曝光图像是指相机在不同曝光值配置下拍摄得到的图像。在高动态范围（HDR，High Dynamic Range）成像中，通常需要两帧或者多帧不同曝光值拍摄得到的图像。在该实施例中，定义当前场景中最佳曝光值拍摄得到的图像帧称为参考帧，除所述参考帧以外的图像帧称为扩展帧。对于多帧曝光的图像，最佳曝光帧通常是中间曝光值下拍摄得到的曝光帧。

步骤102：利用所述亮度映射关系对所述扩展帧的亮度进行映射，得到虚拟帧；

在该步骤中，可以使用亮度映射函数对扩展帧进行映射，获得亮度直方图，从而得到与参考帧相似的虚拟帧。也就是说，除过曝，欠曝及运动区域外，所述虚拟帧的亮度与参考帧的亮度非常接近。

步骤103：计算所述虚拟帧与参考帧间的全局运动矢量；

本实施例中，可以采用选取参考块的方式来计算虚拟帧与参考帧之间的全局运动矢量。本实施例中的全局运动矢量可包括平移运动矢量以及旋转运动矢量。其计算方法与普通（非HDR）图像的运动计算一样。本实施例以计算全局平移运动为例，具体包括：

首先，把参考帧图像划分为固定尺寸的子图像块（如64x64）。统计各子块的平均亮度及标准差，去除平均亮度过暗或者过亮，以及标准差过小（即平坦区域）的子图像块。从剩下的子图像块中选出特定数量（如9个）的子图像块作为参考块，记录个参考块的位置（i0，j0）…（i9，j9），并且这些参考块较均匀地分布在图像的各个位置。

然后，根据下述块匹配公式，由参考块计算平移矢量，其公式为：

${\min }_{\mathrm{mx}\∈[-\mathrm{tx},\mathrm{tx}],\mathrm{my}\∈[-\mathrm{ty},\mathrm{ty}]}\left\{{\mathrm{\Σ}}_{k=0}^9\right||\mathrm{ref}(\mathrm{ik},\mathrm{jk}),\mathrm{ext}(\mathrm{ik}+\mathrm{mx},\mathrm{jk}+\mathrm{my})|\left|\right\}$

其中，tx,ty为图像运动的最大范围，(mx,my)为可能的运动矢量；ref(ik,jk)指参考帧中第k个参考块；ext(ik+mx,jk+my)为虚拟帧中偏移mx，my后的第k个参考块；||ref(ik,jk),ext(ik+mx,jk+my)||是两个图象块的欧式距离，即两个图象块对应点的绝对差之和。

最后，与最小对应的mx，my即全局运动矢量。

其计算全局平移运动的具体过程，对于本领域技术人员已是熟知技术，在此不再赘述。

另外，在该实施例中，对于实时性要求比较高的情况下，也可以只计算全局的平移运动，也可以同时计算全局的平移运动和旋转运动，对于前者，对旋转运动产生的错误可留到后续局部错误像素中一起校正。当然，也可以计算全局平移运动和旋转运动，其计算全局平移运动，得到全局平移运动矢量，计算旋转运动，得到全局旋转运动矢量。

步骤104：根据所述全局运动矢量对所述扩展帧的像素进行校正，得到校正后的第一扩展帧；

在该实施例中，如果校正仅考虑平移运动的参考帧校正，可以采用简单的指针偏移的方式完成大部分的像素校正。如虚拟帧相对于参考帧的平移运动量为(a,b),即参考帧(0,0)坐标的像素对应于虚拟帧的(a,b)；图像宽高为(w,h),原扩展帧亮度内存指针为p，校正之后的指针则为p+b*w+a。偏移后的虚拟帧会在图像周围产生“空缺”像素，而对所述“空缺”像素的校正，可以采用最近像素填补的方法来补充，或者参考帧对应位置的像素经过亮度映射函数映射得到，这对于本领域技术来说已是熟知技术，在此不再赘述。

当然，如果同时考虑平移运动和旋转运动的参考帧校正，可以利用插值的方式对所述扩展帧的像素进行校正，得到校正后的第一扩展，也就是说，通过插值的方法得到校正之后的虚拟帧。对于空缺像素，可以采用与“仅考虑平移运动”的填补方法，具体详见上述，在此不再赘述。

步骤105：根据所述参考帧对所述第一扩展帧的像素进行检测，得到所述第一扩展帧的局部错误像素；

经过上述步骤的校正，全局运动校正之后的扩展帧与参考帧之间不对应的像素已经大大减少，但还会会存少量的不对称像素，这主要有下面几种情况造成的：1.全局运动计算不准确；2.全局运动没考虑旋转情况；3.场景深度不同形成的运动视差；4.场景中物体的局部运动及运动模糊；5.长曝光图像中过曝区域轮廓外扩。本实施例中，将这些不对应的像素统称为局部错误像素，其共同特点为参考帧像素经过亮度映射函数的反函数映射后得到的映射值与扩展帧对应的像素值差值超出合理范围。

步骤106：对所述第一扩展帧的局部错误像素的亮度进行校正，得到校正后的第二扩展帧。

在该步骤中，提供了一种局部错误像素的校正方法，其流程图如图3所示，但并不限于此，所述方法包括：

步骤301：计算第一扩展帧的亮度值的范围；

一种计算方法为：利用所述亮度映射函数的逆函数得到所述第一扩展帧的像素位置的亮度值x；对所述亮度值x进行映射，得到期望值fx；根据所述亮度值x、期望值fx以及所述扩展帧与参考帧的曝光关系，确定所述第一扩展帧的亮度值的范围为[fx-ix,fx+ax]，其中，所述ix和ax为固定限制常数。但并不限于此这种计算方式，还可以其他类似的计算方式，本实施例不作限制。

步骤302：判断所述第一扩展帧的亮度值是否在所述范围内；如果在，执行步骤303；如果不在，执行步骤304；

步骤303：不需对所述第一扩展帧的亮度进行修改，直接输出或存储所述第一扩展帧；

步骤304：对所述第一扩展帧的亮度值进行修改，得到修改后的第二扩展帧；并输出或存储所述第二扩展帧。

也就是说，先利用亮度映射函数的反函数得到该所述第一扩展帧的像素位置的亮度值x（如160），对所述亮度值x进行映射，得到期望值fx（如90）,然后由扩展帧与参考帧的曝光关系估计出一个合理区间[fx-ix,fx+ax]，比如[82，106]，其中，ix,ax也可以是固定限制常数，比如16为人眼可察觉的微小变化阈值等。扩展帧对应像素位置的亮度值（如60）不属于合理区间内的像素，则为局部错误像素，其具体的校正方法可以用简单的期望值fx（比如90）代替所述亮度值（如60），或者合理区间内所有值中与x绝对差最小的值（比如82）代替所述亮度值（如60）。

可选的，在该实施例中，为了校正前后的扩展帧（比如第一扩展帧）比较平滑，也可以采用下述公式对扩展帧的亮度值进行修改，其公式为：

x′＝a*Thr+(1-a)*xa＝min(1，|Thr-x|/β)

其中，所述a为计算得到的加权系数，所述x为亮度值，所述fx为期望值，所述Thr为最接近的期望值，β为平滑控制系数，为计算方便，可取8，16，32等。。这对于本领技术人员来说，已是熟知技术，在此不再赘述。

在本发明的另一实施例中，如果对于校正效果要求比较高的情况下，也可以同时计算全局的平移以及旋转运动，并通过插值的方法得到校正之后的虚拟帧。而对于校正后的空缺像素，可以采用与“仅考虑平移运动”的填补方法校正。其中，本发明实施例提供一种补偿平移与旋转运动的快速电子稳像算法，该算法先采用灰度投影算法估计并补偿视频图像序列间的平移运动,再利用拉普拉斯变换在靠近图像的边缘区域选取几个具有明显特征的小块,运用块匹配算法进行匹配,计算并补偿其旋转运动量,以得到稳定的视频图像序列.通过理论分析和实验验证,表明这种稳像算法具有速度快、准确度高的特点。其具体的实现过程对于本领域技术人员来说，已是熟知技术，在此不再赘述。

本发明实施例通过亮度映射函数、校正全局运动以及校正局部错误像素对扩展帧进行校正，解决了现有技术中对多曝光帧的运动图像不能有效校正的技术问题，即本实施例可有效校正多帧曝光图像之间的运动，所述运动可以包括由相机运动造成的全局运动，以及场景物体的运动。进一步，本实施例可以对校正之后的图像帧在运动区域的边界处平滑过渡，不需要对相机提前标定。

基于上述方法的实现过程，本发明实施例还提供一种多曝光运动图像的校正装置，其结构示意图详见图4，所述校正装置包括：确定单元41，映射单元42，第一计算单元43，第一校正单元44，检测单元45和第二校正单元46，其中，

所述确定单元41，用于确定亮度映射函数，所述亮度映射函数为参考帧与多个扩展帧的亮度映射关系；所述映射单元42，用于利用所述亮度映射关系对所述扩展帧的亮度进行映射，得到虚拟帧；所述第一计算单元43，用于计算所述虚拟帧与参考帧间的全局运动矢量；所述第一校正单元54，用于根据所述全局运动矢量对所述扩展帧的像素进行校正，得到校正后的第一扩展帧；所述检测单元45，用于根据所述参考帧对所述第一扩展帧的像素进行检测，得到所述第一扩展帧的局部错误像素；所述第二校正单元46，用于对所述第一扩展帧的局部错误像素的亮度进行校正，得到校正后的第二扩展帧。

其中，所述第二校正单元46包括：第二计算单元461和修改单元462，其中，所述第二计算单元461，用于计算第一扩展帧的亮度值的范围；所述修改单元462，用于在所述第一扩展帧的亮度值不在所述范围内时，对所述第一扩展帧的亮度值进行修改，得到修改后的第二扩展帧。其结构示意图如图5所示，图5为本发明实施例提供的一种多曝光运动图像的校正装置的第二结构示意图。

还请参阅图6，图6为本发明实施例提供的一种多曝光运动图像的校正装置的第三结构示意图。该实施例在图5所述实施例的基础上，

所述第二计算单元461包括：亮度值确定单元4611，期望值确定单元4612和范围确定单元4613，所述亮度值确定单元4611，用于利用所述亮度映射函数的逆函数得到所述第一扩展帧的像素位置的亮度值x；所述期望值确定单元4612，用于对所述亮度值x进行映射，得到期望值fx；所述范围确定单元4613，用于根据所述亮度值x、期望值fx以及所述扩展帧与参考帧的曝光关系，确定所述第一扩展帧的亮度值的范围为[fx-ix,fx+ax]，其中，所述ix和ax为固定限制常数。

所述修改单元462包括：第一修改单元4621，第二修改单元4622和/或第三修改单元4623，所述第一修改单元4621，用于将所述第一扩展帧的亮度值修改为所述期望值fx；所述第二修改单元4622，用于将所述第一扩展帧的亮度值修改为所述范围[fx-ix,fx+ax]内的所有值与亮度值x的绝对差值中最小的值；所述第三修改单元4623，用于按照公式对所述第一扩展帧的亮度值进行修改，其公式为：

x′＝a*Thr+(1-a)*x a＝min(1，|Thr-x|/β)

其中，所述a为计算得到的加权系数;所述Thr为最接近的期望值；β为平滑控制系数。所述x为亮度值、所述fx为期望值，所述ix和ax为固定限制常数。

在该实施例中，修改单元以同时包括第一修改单元、第二修改单元和第三修改单元为例，但并不限于此。

所述装置中各个单元的功能和作用的实现过程详见上述方法中对应的实现过程，在此不再赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种多曝光运动图像的校正方法，其特征在于，包括； 

确定亮度映射函数，所述亮度映射函数为参考帧与多个扩展帧之间的亮度映射关系； 

利用所述亮度映射关系对所述扩展帧的亮度进行映射，得到虚拟帧； 

计算所述虚拟帧与参考帧间的全局运动矢量； 

根据所述全局运动矢量对所述扩展帧的像素进行校正，得到校正后的第一扩展帧； 

根据所述参考帧对所述第一扩展帧的像素进行检测，得到所述第一扩展帧的局部错误像素； 

对所述第一扩展帧的局部错误像素的亮度进行校正，得到校正后的第二扩展帧； 

其中，所述对所述第一扩展帧的局部错误像素的亮度进行校正，得到校正后的第二扩展帧包括： 

计算第一扩展帧的亮度值的范围；若所述第一扩展帧的亮度值不在所述范围内；则对所述第一扩展帧的亮度值进行修改，得到修改后的第二扩展帧，其中， 

所述计算第一扩展帧的亮度值的范围，包括：利用所述亮度映射函数的逆函数得到所述第一扩展帧的像素位置的亮度值x；对所述亮度值x进行映射，得到期望值fx；根据所述亮度值x、期望值fx以及所述扩展帧与参考帧的曝光关系，确定所述第一扩展帧的亮度值的范围为[fx-ix,fx+ax]，其中，所述ix和ax为固定限制常数。 

2.根据权利要求1所述的方法，其特征在于，所述对第一扩展帧的局部错误像素进行校正，得到亮度校正后的第二扩展帧，还包括： 

若所述第一扩展帧的亮度值在所述范围内；则不需对所述第一扩展帧的亮度进行修改。 

3.根据权利要求1或2所述的方法，其特征在于，所述对所述第一扩展帧的亮度值进行修改，得到修改后的第二扩展帧，包括： 

将所述第一扩展帧的亮度值修改为所述期望值fx；或者， 

将所述第一扩展帧的亮度值修改为所述范围[fx-ix,fx+ax]内的所有值与亮度值x的绝对差值中最小的值；或者 

将所述第一扩展帧的亮度值按照下述公式进行修改： 

其中，所述a为计算得到的加权系数，所述Thr为最接近的期望值，β为平滑控制 系数，所述x为亮度值，所述fx为期望值。 

4.根据权利要求1所述的方法，其特征在于， 

如果所述全局运动矢量包括平移运动矢量，所述根据所述全局运动矢量对所述扩展帧的像素进行校正，得到校正后的第一扩展帧具体包括：利用指针偏移的方式对所述扩展帧的像素进行校正，得到校正后的第一扩展帧； 

如果所述全局运动矢量包括平移运动矢量和旋转运动矢量，所述根据所述全局运动矢量对所述扩展帧的像素进行校正，得到校正后的第一扩展帧具体包括：利用插值的方式对所述扩展帧的像素进行校正，得到校正后的第一扩展帧。 

5.一种多曝光运动图像的校正装置，其特征在于，包括： 

确定单元，用于确定亮度映射函数，所述亮度映射函数为参考帧与多个扩展帧的亮度映射关系； 

映射单元，用于利用所述亮度映射关系对所述扩展帧的亮度进行映射，得到虚拟帧； 

第一计算单元，用于计算所述虚拟帧与参考帧间的全局运动矢量； 

第一校正单元，用于根据所述全局运动矢量对所述扩展帧的像素进行校正，得到校正后的第一扩展帧； 

检测单元，用于根据所述参考帧对所述第一扩展帧的像素进行检测，得到所述第一扩展帧的局部错误像素； 

第二校正单元，用于对所述第一扩展帧的局部错误像素的亮度进行校正，得到校正后的第二扩展帧；其中，所述第二校正单元包括： 

第二计算单元，用于计算第一扩展帧的亮度值的范围； 

修改单元，用于在所述第一扩展帧的亮度值不在所述范围内时，对所述第一扩展帧的亮度值进行修改，得到修改后的第二扩展帧； 

其中，所述第二计算单元包括： 

亮度值确定单元，用于利用所述亮度映射函数的逆函数得到所述第一扩展帧的像素位置的亮度值x； 

期望值确定单元，用于对所述亮度值x进行映射，得到期望值fx； 

范围确定单元，用于根据所述亮度值x、期望值fx以及所述扩展帧与参考帧的曝光关系，确定所述第一扩展帧的亮度值的范围为[fx-ix,fx+ax]，其中，所述ix和ax为固定限制常数。 

6.根据权利要求5所述的装置，其特征在于，所述修改单元包括： 

第一修改单元，用于将所述第一扩展帧的亮度值修改为所述期望值fx；或者， 

第二修改单元，用于将所述第一扩展帧的亮度值修改为所述范围[fx-ix,fx+ax]内的所有值与亮度值x的绝对差值中最小的值；或者 

第三修改单元，用于按照公式对所述第一扩展帧的亮度值进行修改，其公式为： 

其中，所述a为计算得到的加权系数；所述Thr为最接近的期望值；β为平滑控制系数，所述x为亮度值、所述fx为期望值，所述ix和ax为固定限制常数。