CN110619652A - 一种基于光流映射重复区域检测的图像配准鬼影消除方法 - Google Patents

Abstract

本发明公开了一种基于光流映射重复区域检测的图像配准鬼影消除方法。本发明首先使用参考帧图像和待配准帧图像间的光流对两张图像进行预配准，再记录待配准图像中的每个像素在预配准结果中的对应位置，将待配准图像中被使用多次的像素在预配准结果中的对应位置作为疑似鬼影位置，在若干候选鬼影像素中剔除与参考帧图像最相似的像素，其余像素判定为鬼影，最后，在检测出的鬼影位置使用参考帧图像的对应像素对预配准结果进行替换，从而得到无鬼影的图像配准结果。本发明精度高、效率高，能在不增加配准算法时间复杂度的情况下有效地去除鬼影，是一种能在实际相机成像系统中实现图像配准去鬼影的实用方法手段。

Description

一种基于光流映射重复区域检测的图像配准鬼影消除方法

技术领域

本发明属于数字图像处理技术中的图像配准技术领域，具体涉及一种基于光流映射重复区域检测的图像配准鬼影消除方法。

背景技术

图像的多帧融合技术广泛应用在HDR、多帧降噪、图像超分辨等智能手机图像处理任务中。图像配准是多帧融合算法的必备模块。传统全局配准方法基于特征点匹配计算一个全局变换矩阵对图像进行变换，然而受限于图像各部分间可能存在不同的变换关系以及图像中可能存在运动物体等原因，传统全局配准算法的输出结果存在缺陷。

稠密光流输出两帧图像中每个像素的位移，使用光流进行局部配准有不受单一变换矩阵限制的优点，可以在图像的各个区域都获得较好的配准结果。然而，由于两张图像在遮挡区域不存在正确的像素对应关系，使用光流法配准在遮挡区域会出现鬼影现象。鬼影的定义为在配准结果中同一个物体重复出现多次。现有的鬼影检测算法一般基于帧间差分，在差分计算的基础上通过不同的公式变换检测鬼影。这些算法没有结合光流的性质和鬼影现象出现的原因设计算法，从而造成重复计算，算法效率低。除此之外，由于两张图像之间的曝光参数可能存在不同，使得两张图的平均亮度不同，使得基于差分的鬼影检测、消除算法在不同场景下的阈值难以统一，模型的鲁棒性和精确度存在缺陷。

因此，目前缺乏一种高效、稳定的图像配准鬼影检测、消除算法。

发明内容

为了解决背景技术中的问题，本发明提出了一种基于光流映射重复区域检测的图像配准鬼影消除方法，可有效解决目前光流法配准中常用的基于差分的鬼影消除算法运行效率低、鲁棒性差的技术缺陷。

本发明采用的技术方案如下：

包括以下步骤：

1)选取在同一场景下获取的两张有相对位移的图像，将其中任意一张设为参考帧图像I_R，另一张则为待配准帧图像I_T，计算两张图像间的光流f；

2)使用光流f对参考帧图像I_R和待配准帧图像I_T进行预配准：以参考帧图像I_R为基准，使用光流f将待配准帧图像向参考帧图像映射，得到预配准结果I_warp；

3)记录在预配准过程中被重复使用的待配准帧图像像素，将记录的待配准帧图像像素在预配准结果I_warp中对应的像素加入疑似鬼影区域掩模Mask_ori。

4)计算疑似鬼影区域掩模Mask_ori中的像素与对应的参考帧图像像素的差分绝对值S，将差分绝对值最小的像素从Mask_ori中剔除，得到优化的鬼影检测结果Mask_opt；

5)使用一次形态学腐蚀操作去除优化的鬼影检测结果Mask_opt中鬼影掩模的噪声，再使用两次形态学膨胀操作使优化的鬼影检测结果Mask_opt中的鬼影掩模连续，从而得到最终鬼影掩模Mask_final；

6)将预配准结果I_warp中被最终鬼影掩模Mask_final记录的像素用参考帧图像I_R中对应的像素替换即得最终的无鬼影配准结果，公式如下：

I_warp(Mask_final)＝I_R(Mask_final)

其中，I_warp(Mask_final)为Mask_final中标记的像素在预配准结果中的对应像素，I_R(Mask_final)为Mask_final中标记的像素在参考帧图像I_R中的对应像素。

所述步骤2)中的预配准计算方法为：

I_warp(x)＝I_T(x+f(x))

其中，x是像素坐标，I_warp(x)为在x位置处的预配准结果；I_T(x+f(x))表示将待配准帧图像I_T在(x+f(x))处的像素映射到预配准结果I_warp的x位置处，f(x)为在x位置处的光流；

所述步骤2)中，光流的映射方式为后向映射，即光流以参考帧图像为基准，将待配准帧图像向参考帧图像映射。

在步骤2)预配准过程中同时完成步骤3)疑似鬼影区域掩模Mask_ori的获取，时间复杂度为O(N)，不增加额外的时间复杂度。

所述步骤4)具体为：

4.1)计算疑似鬼影区域掩模Mask_ori中的像素与参考帧图像中对应像素的差分的绝对值S：

S(Mask_ori)＝|I_warp(Mask_ori)-I_R(Mask_ori)|

I_warp(Mask_ori)表示Mask_ori中标记的像素在预配准结果中的对应像素，I_R(Mask_ori)表示Mask_ori中标记的像素在参考帧图像中的对应像素，S(Mask_ori)表示Mask_ori中标记的像素在预配准结果中的对应像素与在参考帧图像中的对应像素的差分的绝对值；

4.2)在待配准过程中每个被重复使用的待配准帧图像像素对应多个Mask_ori中的像素，取差分绝对值最小的Mask_ori中的像素组成待保留像素掩模Mask_keep；

4.3)将待保留像素掩模Mask_keep中记录的像素从疑似鬼影区域掩模Mask_ori中剔除，得到优化的鬼影区域掩模Mask_opt；

所述步骤4)中，对被检测到的重复使用的像素，只保留与参考帧图像最接近的像素，其余像素均判定为鬼影。

所述步骤5)中，形态学腐蚀操作的核大小设为2*2，形态学膨胀操作的核大小设为8*8。

本发明的有益效果：

(1)本发明在使用光流映射图像的同时完成鬼影检测，时间复杂度为O(N)，不增加图像配准算法的时间复杂度。

(2)现有的鬼影检测算法主要基于图像差分，当参考帧图像I_R和待配准帧图像I_T曝光参数不同，亮度有较大跳变时，基于差分的检测算法容易出现误检；而当鬼影与参考帧图像颜色相近时，基于变分的检测算法容易出现漏检。本发明从光流的定义“同一物体在配准结果中出现多次”出发，直接检测配准结果中同一像素使用多次的区域并替换，鬼影检测精度高，防止漏检。

附图说明

图1为本发明的流程图；

图2(a)为参考帧图像和待配准帧图像的叠加示意图，图2(b)为参考帧图像和待配准帧图像对应的光流图；

图3为初始配准结果；

图4(a)为未经形态学操作的鬼影掩模，图4(b)为经过形态学腐蚀和膨胀操作的鬼影掩模；

图5为消除了鬼影的最终配准结果。

具体实施方式

下面结合附图对本发明的实施过程进行具体描述。

如图1所示，本发明提供的一种基于光流映射重复区域检测的图像配准鬼影消除方法，包括以下步骤：

1)将两张图像分为参考帧图像I_R和待配准帧图像I_T，计算两张图像间的光流f，光流以I_R为基准图，即光流图中物体的位置与参考帧图像中的物体位置相同，光流值表示某像素从参考帧图像到待配准帧图像的位移。附图2展示了一个参考帧图像、待配准帧图像及其对应光流的例子。

2)使用光流f对参考帧图像I_R和待配准帧图像I_T进行预配准，得到所示的预配准结果I_warp，计算方法为：

I_warp(x)＝I_T(x+f(x))

其中x是图像中的像素坐标，该步骤将待配准帧图像向参考帧图像映射，得到存在鬼影的初步配准结果。由图3的预配准结果可以看到，手臂遮挡区域出现了上下两个手臂，说明在在预配准过程中待配准帧图像像素被多次使用

3)记录在预配准过程中被使用超过一次的待配准帧图像像素；将记录的待配准帧图像像素在预配准结果I_warp中对应的像素加入疑似鬼影区域掩模Mask_ori(疑似鬼影区域掩模Mask_ori为上下两个手臂所在区域，需通过步骤4除去上方手臂)。

使用哈希表记录重复使用区域在预配准结果中的位置，时间复杂度为O(N)，与预配准映射的时间复杂度相同，不增加配准过程的时间复杂度。

4)计算Mask_ori中像素与参考帧图像的差分绝对值S，对于对应于待配准帧图像中同一点的像素，将差分绝对值最小的像素从Mask_ori中剔除，得到优化的鬼影检测结果Mask_opt。具体计算方法如下：

4.1)计算预配准结果I_warp中，Mask_ori标记的像素与参考帧图像中对应像素的差分的绝对值S：

S(Mask_ori)＝|I_warp(Mask_ori)-I_R(Mask_ori)|

4.2)对于对应于待配准帧图像中同一点的像素，用其中差分绝对值最小的像素点组成待保留像素掩模Mask_keep。

差分绝对值最小的像素点为与参考帧图像最接近的像素点，如图3中的下方手臂，其余像素均判定为鬼影。

4.3)将待保留像素掩模Mask_keep中记录的像素从疑似鬼影区域掩模Mask_ori中剔除，得到如图4(a)所示的优化的鬼影区域掩模Mask_opt。

5)对Mask_opt使用一次形态学腐蚀操作去除鬼影掩模中的噪声，再使用两次形态学膨胀操作使鬼影掩模连续，得到如图4(b)所示的最终的鬼影检测结果掩模Mask_final。形态学腐蚀操作的核大小设为2*2，核覆盖区域如有任何等于0的值，则将核覆盖的所有值置0；形态学膨胀操作核大小设为8*8，核覆盖区域如有任何非0值，则将核覆盖区域的所有值置1。

6)将预配准结果中被鬼影掩模Mask_final记录的像素用参考帧图像I_R的对应像素替换即得到如图5所示的最终的无鬼影配准结果，公式如下：

I_warp(Mask_final)＝I_R(Mask_final)

如图2展示的参考帧图像和待配准帧图像间的背景存在相对位移，前景人的手臂也在上下晃动，手臂划过的区域为遮挡区域。使用光流映射而得到的初始配准结果如图3所示，可以看出背景区域由于不存在遮挡在初始配准中就已经被成功配准，而手臂遮挡区域则出现了明显的鬼影现象(上下两个手臂)，其中上方的那条手臂为需要被去除的鬼影。

经过重复区域检测和筛选而得到的鬼影掩模如图4(a)所示，可以看到鬼影区域已经基本被掩模标出，但是掩模存在一些噪声且在鬼影手臂处掩模间断不连续。经过形态学操作之后的掩模在图4(b)展示，掩模上的噪声已经被成功消除，鬼影手臂被一个连续的掩模标出。

将鬼影区域替换后的最终配准结果如图5所示，可以看出待配准帧图像的前景背景均已被成功配准，且鬼影得到了很好的去除。

Claims (6)

1.一种基于光流映射重复区域检测的图像配准鬼影消除方法，其特征在于：包括以下步骤：

1)选取在同一场景下获取的两张有相对位移的图像，将其中任意一张设为参考帧图像I_R，另一张则为待配准帧图像I_T，计算两张图像间的光流f；

2)使用光流f对参考帧图像I_R和待配准帧图像I_T进行预配准：以参考帧图像I_R为基准，使用光流f将待配准帧图像向参考帧图像映射，得到预配准结果I_warp；

3)记录在预配准过程中被重复使用的待配准帧图像像素，将记录的待配准帧图像像素在预配准结果I_warp中对应的像素加入疑似鬼影区域掩模Mask_ori；

4)计算疑似鬼影区域掩模Mask_ori中的像素与对应的参考帧图像像素的差分绝对值S，将差分绝对值最小的像素从Mask_ori中剔除，得到优化的鬼影检测结果Mask_opt；

5)使用一次形态学腐蚀操作去除优化的鬼影检测结果Mask_opt中鬼影掩模的噪声，再使用两次形态学膨胀操作使优化的鬼影检测结果Mask_opt中的鬼影掩模连续，从而得到最终鬼影掩模Mask_final；

6)将预配准结果I_warp中被最终鬼影掩模Mask_final记录的像素用对应的参考帧图像I_R中的像素替换即得最终的无鬼影配准结果，实现鬼影的消除；

公式如下：

I_warp(Mask_final)＝I_R(Mask_final)。

2.根据权利要求1所述的一种基于光流映射重复区域检测的图像配准鬼影消除方法，其特征在于：所述步骤2)中的预配准计算方法为：

I_warp(x)＝I_T(x+f(x))

其中，x是像素坐标，I_warp(x)为在x位置处的预配准结果；I_T(x+f(x))表示将待配准帧图像I_T在(x+f(x))处的像素映射到预配准结果I_warp的x位置处，f(x)为在x位置处的光流。

3.根据权利要求1所述的一种基于光流映射重复区域检测的图像配准鬼影消除方法，其特征在于：所述步骤2)中，光流的映射方式为后向映射，即光流以参考帧图像为基准，将待配准帧图像向参考帧图像映射。

4.根据权利要求1所述的一种基于光流映射重复区域检测的图像配准鬼影消除方法，其特征在于：在步骤2)预配准过程中同时完成步骤3)疑似鬼影区域掩模Mask_ori的获取，时间复杂度为O(N)，不增加额外的时间复杂度。

5.根据权利要求1所述的一种基于光流映射重复区域检测的图像配准鬼影消除方法，其特征在于：所述步骤4)具体为：

4.1)计算疑似鬼影区域掩模Mask_ori中的像素与参考帧图像中对应像素的差分的绝对值S：

S(Mask_ori)＝|I_warp(Mask_ori)-I_R(Mask_ori)|

I_warp(Mask_ori)表示Mask_ori中标记的像素在预配准结果中的对应像素，I_R(Mask_ori)表示Mask_ori中标记的像素在参考帧图像中的对应像素，S(Mask_ori)表示Mask_ori中标记的像素在预配准结果中的对应像素与在参考帧图像中的对应像素的差分的绝对值；

4.2)在待配准过程中每个被重复使用的待配准帧图像像素对应多个Mask_ori中的像素，取差分绝对值最小的Mask_ori中的像素组成待保留像素掩模Mask_keep；

4.3)将待保留像素掩模Mask_keep中记录的像素从疑似鬼影区域掩模Mask_ori中剔除，得到优化的鬼影区域掩模Mask_opt。

6.根据权利要求1所述的一种基于光流映射重复区域检测的图像配准鬼影消除方法，其特征在于：所述步骤5)中，形态学腐蚀操作的核大小设为2*2，形态学膨胀操作的核大小设为8*8。