CN107103589B - 一种基于光场图像的高光区域修复方法 - Google Patents

Abstract

一种基于光场图像的高光区域修复方法，包括：获取四维光场图像以及对应的深度图像；从四维光场图像提取中心视点图像，初步确定高光目标点的空间域坐标，依照输入的深度图像对四维光场图像进行重聚焦，获取高光目标点的角度域特性并划分成饱和高光点与非饱和高光点；对一个视点或多个视点的图像进行本征图像分解，得到图像本征反射属性，找到高光目标点对应的本征反射信息；对非饱和高光点，利用多视点下的局部区域特性分离出漫反射分量，结合步骤A3确定的本征反射信息，对非饱和高光点进行修复；A5：对饱和高光点，利用临近像素点的漫反射分量进行传播，结合步骤A3确定的本征反射信息，对饱和高光点进行修复。利用本发明能够提高含有高光表面的图像的质量。

Description

一种基于光场图像的高光区域修复方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，特别是涉及一种基于光场图像的高光区域修复方法。

背景技术

高光，也称镜面反射。在计算机视觉和模式识别领域，图像的高光给许多应用的实现效果带来困难与挑战。高光其实是现实场景中一种非常常见的现象，它是光照在不同视角下的变化引起物体表面颜色、亮度的变化，反映了物体表面的光学反射特征。在数字图像中，高光像素往往具有高亮度，因而遮盖了物体表面的颜色、轮廓、纹理，饱和的高光更是直接导致了局部区域信息的丢失，故高光通常被认为是图像的瑕疵。目前，在计算机视觉、计算机图像学和模式识别领域的很多算法都假设物体表面仅含有漫反射，忽略高光的存在或将高光当做噪声或异常处理。例如图像分割，这类算法通常假定物体表面亮度变化均匀或平滑；而立体视点匹配、物体识别和跟踪算法试图对不同条件下拍摄的具有相同或相似场景的图像进行像素匹配，因此他们所需的物体表面要在不同拍摄条件下颜色、亮度尽可能一致。因此，使用这些算法处理含有高光反射的图像可能会导致显著的错误。然而，现实世界中的绝大多数物体表面都包含漫反射和高光反射。为了从数字图像中准确提取物体的颜色、轮廓、纹理信息，保证图像能够应用于传统的计算机视觉、模式识别等算法，准确地检测出高光并恢复出高光掩盖下的原始图像信息至关重要。

近年来，随着计算摄像学和光场成像技术的发展，一系列光场采集系统(相机阵列、移动相机、光场相机)应运而生，为计算机视觉和图像处理中的很多应用提供了新的解决方案。由于传统相机拍照时只记录一个视点的信息，只能聚焦到一个深度，因而场景的大部分光线信息丢失。光场相机在传感器前加入了一个微透镜阵列，能够在单次曝光的同时记录到达成像平面任意光线的角度与位置，完全刻画四维光场。由于光场图像携带了空间、角度共四维光场信息，人们可在后续处理中变换视点和数字重聚焦；而高光反射的特点正是光照在不同视角下引起物体表面颜色、亮度的变化。因此，利用光场成像技术记录了丰富光线信息的优势，将对高光区域的复原问题带来有效的帮助。

发明内容

本发明的主要目的在于针对现有技术的不足，提供。

为实现上述目的，本发明采用以下技术方案：

一种基于多视点的高光图像修复方法，其特征在于，所述方法包括：

A1：获取四维光场图像以及对应的深度图像；

A2：从四维光场图像提取中心视点图像，初步确定高光目标点的空间域坐标，依照输入的深度图像对四维光场图像进行重聚焦，获取高光目标点的角度域特性并划分成饱和高光点与非饱和高光点；

A3：对一个视点或多个视点的图像进行本征图像分解，得到图像本征反射属性，找到高光目标点对应的本征反射信息；

A4：对非饱和高光点利用多视点下的局部区域特性分离出漫反射分量，结合步骤A3确定的本征反射信息，对非饱和高光点进行修复；

A5：对饱和高光点，利用临近像素点的漫反射分量进行传播，结合步骤A3确定的本征反射信息，对饱和高光点进行修复。

进一步地：

步骤A1中，采用图像深度估计方法或主动深度测量方法提取场景对应的深度图像，采用四维光场的双平面模型表示光场，光场图像I＝I(x,y,u,v)，其中(u,v)表示光线的角度域坐标，(x,y)表示其空间域坐标。

步骤A2中，对高光点进行检测和分类，针对中心视点图像，采用亮度阈值设定的方法，找出中心视点下高光目标点的空间域坐标，结合深度图像对光场图像进行重聚焦，找到高光目标点在各个视点下的对应像素，作为该点的像素集合，计算集合内像素RGB值的方差，若方差小于某一设定阈值，则将该点划分为饱和高光点；若方差大于该阈值，则将该点划分为非饱和高光点。

步骤A3中，利用本征图像分解的方法从某一视点或多个视点图像中分离光照的影响，获取相对稳定的本征反射属性。

步骤A3中，本征图像分解算法中添加全局纹理约束，利用不相邻但具有相同纹理特性的像素恢复出高光区域的本征反射信息。

所述步骤A4中，使用原四维光场图像I对非饱和高光点修复后的光场图像I_d(x,y,u,v)进行初始化，再利用多视点下局部区域特性分离的漫反射分量D_m和相应非饱和高光点的本征反射属性D_i，将两者按照设定的权重组合并修复非饱和高光点的漫反射信息，如下式：

I_d(x，y，u，v)＝w_mD_m(x，y，u，v)+w_iD_i(x，y，u，v)

其中(u,v)表示光线的角度域坐标，(x,y)表示非饱和高光点的空间域坐标，w_m和w_i为设定的权重。

所述步骤A4中，从多视点下局部区域特性分离漫反射分量，对每一非饱和高光点，利用非饱和高光点在不同视点下的像素集合按照聚类算法分为两类，漫反射和镜面反射结合类、仅含漫反射类，计算两类类别中心M₁和M₂及置信度，利用置信度和邻域窗口处理，从光场图像中减去镜面反射分量，得到漫反射分量D_m。

所述步骤A5中，使用非饱和高光点修复后的光场图像I_d对饱和高光点修复后的光场图像I_r(x,y,u,v)进行初始化，对饱和高光点，利用邻域漫反射分量的加权和D_n和相应饱和高光点的本征反射属性D_i，将两者按照设定的权值进行组合修复饱和高光点的颜色信息，如下式：

I_r(x，y，u，v)＝w_nD_n(x，y，u，v)+w_iD_i(x，y，u，v)

其中(u,v)表示光线的角度域坐标，(x,y)表示饱和高光点的空间域坐标，w_n和w_i为设定的权重。至此，非饱和高光点及饱和高光点的漫反射信息均得到修复，输出高光修复后的光场图像。

D_n通过以下公式计算：

D_n(x,y,u,v)＝∑_m＝1,...kweight_mI_d(x^m,y^m,u,v)

weight_m＝1/2^m

其中，m表示Φ中像素距饱和像素p的距离从小到大排序的序号，从1取到k,(x^m,y^m)表示Φ中距离p第m小的像素空间域坐标，weight_m表示Φ中距离p第m小的像素对应的权值。

所述步骤A1中，四维光场图像可利用多视点成像设备采集，所述多视点成像设备采集包括相机阵列或光场相机。

本发明的有益效果：

本发明将高光场景点划分为饱和高光点与非饱和高光点，针对不同类型，综合其在不同视点下的颜色、强度以及本征反射属性，采用对应方法进行高光修复，利用本发明能够提高类似Lytro等光场相机或基线较小的相机阵列拍摄的含有高光表面的图像质量，恢复其原有纹理、颜色特征，应用于三维重建、图像分割等领域，能有效提升场景三维重建质量和图像分割的准确性。

附图说明

图1为本发明基于光场图像的高光区域修复方法一种实施例的流程图。

具体实施方式

以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参阅图1，在一种实施例中，本发明所提出的一种基于光场图像的高光区域修复方法，所述方法如下：

步骤A1：输入一幅四维光场图像(可利用多视点成像设备采集，如相机阵列、光场相机等)，以及对应深度图像

步骤A2：从四维光场图像提取中心视点图像，初步确定高光目标点的空间域坐标，依照已知的深度图像对光场图像进行重聚焦，获取高光目标点的角度域特性并划分成饱和高光点与非饱和高光点

步骤A3：对某一视点或多个视点的图像进行本征图像分解，得到图像本征反射属性，找到高光目标点对应的本征反射信息

步骤A4：对非饱和高光点，利用多视点下的局部区域特性分离出漫反射分量，结合A3确定的本征反射属性，对其进行修复

步骤A5：对饱和高光点，利用临近像素点的漫反射分量进行传播，结合A3确定的本征反射属性，对其进行修复。

在具体的实施方案中，可按下面方式操作。需注意的是，在下面的实施过程中所述的具体方法(如本征图像分解算法、联合联合散焦法和立体视点匹配法进行深度估计、加权KNN算法等)都仅为列举说明，本发明所涵盖的范围不局限于所列举的这些方法。

步骤A1：输入一幅四维光场图像(可利用多视点成像设备采集，如相机阵列、光场相机等)。对应深度图像可由被动深度估计(立体视点匹配、散焦法等)或主动深度测量(Kinect等)提取。以光场相机Lytro为例，一次成像经过微透镜中心标定、去马赛克、去噪等预处理之后，得到光场图像I＝I(x,y,u,v)，其中(u,v)表示光线的角度域坐标，(x,y)表示其空间域坐标，可使用联合散焦法和立体视点匹配法，并使用MRF优化的方法获取深度。

步骤A2：对于高光点的检测和分类，可针对中心视点图像，采用亮度阈值设定的方法，找出中心视点下高光目标点的空间域坐标。在中心视点下，若某像素的亮度高于h_thres，将其标记为高光目标点。从上一步得到的深度图中得到对应于该高光目标点的深度值，对光场图像进行重聚焦，找到高光目标点在各个视点下的对应像素，作为该点的像素集合，计算集合内像素RGB值的方差，若方差小于某一设定阈值var_thres，则将该点划分为饱和高光点；若方差大于该阈值，则将该点划分为非饱和高光点。饱和高光点在各个视点下均为较强高光，其漫反射信息几乎完全丢失；非饱和高光点在不同视点下的颜色强度变化很大，存在不同的漫反射和镜面反射分量的组合。对于一幅普通图像，高光像素所占比例不大，若对整幅图像进行处理，运算量和时间复杂度非常高，这一步的目的在于减少高光修复步骤的运算量，仅对检测出的高光像素进行处理，也保持了图像其他区域的稳定性。

步骤A3：对某一视点或多个视点的图像进行本征图像分解，分离光照的影响，获取相对稳定的反射本征属性，找到高光目标点对应的本征反射信息，作为高光区域信息恢复利用的线索之一。以对中心视点进行本征图像分解为例说明：

对中心视点图像I^c，像素p的强度I^c(p)可由其本征反射特性R^c(p)和本征光照特性S^c(p)相乘表示，即I^c(p)＝R^c(p)×S^c(p)，对等式两边取对数，得到：

i^c(p)＝r^c(p)+s^c(p)

i^c(p)、r^c(p)、s^c(p)分别表示取对数后的I^c(p)、R^c(p)、S^c(p)。

由于图像的本征反射特性与光照受到多种约束的影响，本发明将Retinex局部约束、全局纹理约束和绝对尺度约束加入到本征图像分解中，可将问题转化目标函数最小化问题。其中由于全局纹理约束的添加，可利用不相邻甚至相隔甚远但具有相同纹理特性的像素具有相同反射特性的原理，恢复其漫反射信息，作为后续步骤的线索之一。

步骤A4：首先使用原四维光场图像I对非饱和高光点修复后的光场图像I_d(x,y,u,v)进行初始化，再对非饱和高光点进行漫反射修复。非饱和高光点信息的恢复结合两种线索，一是利用多视点下局部区域特性分离的漫反射分量D_m，二是A3中得到的相应非饱和点的本征反射属性D_i，两者按照一定的权重组合。如下式：

I_d(x，y，u，v)＝W_mD，_n(x，y，u，v)+w_iD_i(x，y，u，v)

(u,v)表示光线的角度域坐标，(x,y)表示非饱和高光点的空间域坐标，w_m和w_i为设定的权重。

从多视点下的局部区域特性分离出漫反射分量，对每一非饱和高光点，利用非饱和高光点在不同视点下的像素集合按照聚类算法分为两类，漫反射和镜面反射结合类、仅含漫反射类，计算两类类别中心M₁和M₂及置信度。利用置信度和邻域窗口处理，从光场图像中减去对应位置下的镜面反射分量，得到漫反射分量D_m(x,y,u,v)。

其中，计算漫反射和镜面反射结合类的类别中心的颜色值M₁(x,y)和仅含漫反射类的类别中心的颜色值M₂(x,y)。按照下式计算置信度Conf(x,y)：

其中R是平均类内距离，β₀是控制亮度因素的参数，β₁是控制两类中心距离因素的参数，β₂为控制分类准确性的参数，|·|表示求模运算。

为提升算法的鲁棒性，在以当前非饱和高光点(x,y)为中心、空间域坐标内m×m大小的搜索窗口内，为其中每个像素的|M₁(x′,y′)-M₂(x′,y′)|(可看成是镜面反射分量)引入权值w，按照下式即可得到漫反射分量D_m：

Dm(x，y，u，v)＝I(x，y，u，v)-＜w×|M₁(x'，y')-M₂(x'，y')|＞

其中，(x′,y′)是像素(x,y)的搜索窗口内像素，<.>表示求期望，Conf(x′,y′)表示其置信度，参数γ可设为常量1。

对于非饱和区域的本征反射属性D_i，由于本例仅对中心视点图像进行本征图像分解，非饱和区域的本征反射属性D_i可由中心视点像素的本征反射特性复制至各个视点下对应像素，得到D_i(x,y,u,v)。

步骤A5：首先使用非饱和高光点修复后的光场图像I_d对饱和高光点修复后的光场图像I_r(x,y,u,v)进行初始化。对饱和高光点的修复，按照一定权值组合两种线索，一是邻域漫反射分量的加权和，二是步骤A3中得到的本征反射属性。相邻像素漫反射分量的加权和，可利用加权KNN算法实现。例如一个饱和像素p，找到距离其空间域坐标(x,y)最近的k个不属于饱和高光的像素(即非高光像素或在前一步中恢复的非饱和高光像素)组成像素集合Φ，按照下式实现饱和高光像素的修复，(x,y)为饱和高光点的空间域坐标：

I_r(x，y，u，v)＝w_nD_n(x，y，u，v)+w_iD_i(x，y，u，v)

其中(u,v)表示光线的角度域坐标，(x,y)表示饱和高光点的空间域坐标，w_n和w_i为设定的权重，D_n表示邻域漫反射分量的加权和，D_i表示相应饱和区域的本征反射属性：

D_n(x,y,u,v)＝∑_m＝1,...kweight_mI_d(x^m,y^m,u,v)

weight_m＝1/2^m

其中，m表示Φ中像素距p的距离从小到大排序的序号，从1取到k,(x^m,y^m)表示Φ中距离p第m小的像素空间域坐标，weight_m表示Φ中距离p第m小的像素对应的权值，距离越近，权值越大，表示离p越近的像素的漫反射信息对p的漫反射信息影响更大。weight_m的计算不限于上述实施例。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于多视点的高光图像修复方法，其特征在于，所述方法包括：

A1：获取四维光场图像以及对应的深度图像；

A2：从四维光场图像提取中心视点图像，初步确定高光目标点的空间域坐标，依照输入的深度图像对四维光场图像进行重聚焦，获取高光目标点的角度域特性并划分成饱和高光点与非饱和高光点；其中，对高光点进行检测和分类，针对中心视点图像，采用亮度阈值设定的方法，找出中心视点下高光目标点的空间域坐标，结合深度图像对光场图像进行重聚焦，找到高光目标点在各个视点下的对应像素，作为该点的像素集合，计算集合内像素RGB值的方差，若方差小于某一设定阈值，则将该点划分为饱和高光点；若方差大于该阈值，则将该点划分为非饱和高光点；

A3：对一个视点或多个视点的图像进行本征图像分解，得到图像本征反射属性，找到高光目标点对应的本征反射信息；

A4：对非饱和高光点利用多视点下的局部区域特性分离出漫反射分量，结合步骤A3确定的本征反射信息，对非饱和高光点进行修复；

A5：对饱和高光点，利用临近像素点的漫反射分量进行传播，结合步骤A3确定的本征反射信息，对饱和高光点进行修复。

2.如权利要求1所述的方法，其特征在于，步骤A1中，采用图像深度估计方法或主动深度测量方法提取场景对应的深度图像，采用四维光场的双平面模型表示光场，光场图像I＝I(x，y，u，v)，其中(u，v)表示光线的角度域坐标，(x，y)表示其空间域坐标。

3.如权利要求1所述的方法，其特征在于，步骤A3中，利用本征图像分解的方法从某一视点或多个视点图像中分离光照的影响，获取相对稳定的本征反射属性。

4.如权利要求3所述的方法，其特征在于，步骤A3中，本征图像分解算法中添加全局纹理约束，利用不相邻但具有相同纹理特性的像素恢复出高光区域的本征反射信息。

5.如权利要求1所述的方法，其特征在于，所述步骤A4中，使用原四维光场图像对非饱和高光点修复后的光场图像I_d(x，y，u，v)进行初始化，再利用多视点下局部区域特性分离的漫反射分量D_m和相应非饱和高光点的本征反射属性D_i，将两者按照设定的权重组合并修复非饱和高光点的漫反射信息，如下式：

I_d(x，y，u，v)＝w_mD_m(x，y，u，v)+w_iD_i(x，y，u，v)

其中(u，v)表示光线的角度域坐标，(x，y)表示非饱和高光点的空间域坐标，w_m和w_i为设定的权重。

6.如权利要求5所述的方法，其特征在于，所述步骤A4中，从多视点下局部区域特性分离漫反射分量，对每一非饱和高光点，利用非饱和高光点在不同视点下的像素集合按照聚类算法分为两类，漫反射和镜面反射结合类、仅含漫反射类，计算两类类别中心M₁和M₂及置信度，利用置信度和邻域窗口处理，从光场图像中减去镜面反射分量，得到漫反射分量D_m。

7.如权利要求1所述的方法，其特征在于，所述步骤A5中，使用非饱和高光点修复后的光场图像对饱和高光点修复后的光场图像I_r(x，y，u，v)进行初始化，对饱和高光点，利用邻域漫反射分量的加权和D_n和相应饱和高光点的本征反射属性D_i，将两者按照设定的权值进行组合修复饱和高光点的颜色信息，如下式：

I_r(x，y，u，v)＝w_nD_n(x，y，u，v)+w_iD_i(x，y，u，v)

其中(u，v)表示光线的角度域坐标，(x，y)表示饱和高光点的空间域坐标，w_n和w_i为设定的权重，至此，非饱和高光点及饱和高光点的漫反射信息均得到修复，输出高光修复后的光场图像。

8.如权利要求7所述的方法，其特征在于，D_n通过以下公式计算：

weight_m＝1/2^m

其中，m表示像素集合Φ中像素距饱和像素p的距离从小到大排序的序号，从1取到k，k表示像素集合中像素的个数，(x^m，y^m)表示Φ中距离p第m小的像素空间域坐标，weight_m表示Φ中距离p第m小的像素对应的权值。

9.如权利要求1所述的方法，其特征在于，所述步骤A1中，四维光场图像可利用多视点成像设备采集，所述多视点成像设备包括相机阵列或光场相机。