CN105023249A - 基于光场的高光图像修复方法及装置 - Google Patents

Abstract

一种基于光场的高光图像修复方法及装置，该方法包括：深度估计步骤，联合散焦和立体视点匹配进行光场图像深度估计；高光检测步骤，基于对角多视点颜色空间投影差异进行高光检测；以及高光去除步骤，从深度估计结果中获取检测到的高光点对应的深度值，重聚焦找到高光点对应的宏像素，按亮度强弱将该宏像素中的像素聚为两类，用双色反射模型对该两类构建方程组求解后得到高光点的镜面反射分量，去除该镜面反射分量，实现高光去除。该装置包括实现上述步骤的深度估计模块、高光检测模块以及高光去除模块。其能准确地识别高光像素，复原结果更具有真实性和鲁棒性。

Description

基于光场的高光图像修复方法及装置

技术领域

本发明涉及高光图像修复方法及装置，具体是一种基于光场的高光图像修复方法及装置。

背景技术

传统相机拍照时只能记录一个视点的信息，聚焦到一个深度，而场景的大部分光线信息丢失。光场相机由于在传感器前加入了一个微透镜阵列，能够同时记录到达成像平面任意光线的角度与位置，完全刻画了四维光场，因此其在计算机视觉和图像处理各种应用中被寄予厚望。近年来，光场相机也进入了普通人的消费市场(如Lytro相机)和工业界(如RayTrix相机)，在人们的休闲娱乐和工业制造等领域应用逐渐深入。

在日常拍照中，人们拍摄的照片常常带有镜面反射或者高光区域，比如人脸上的油光、眼镜的反射，使照片美感降低；严重情况将导致有用的信息丢失，如通过玻璃相框拍摄油画，成块的高光导致油画细节缺失。在计算机视觉中，漫反射与镜面反射特性的差异也给很多应用提出了难题。假设光照均匀分布，在不同的观察视角下，场景中的漫反射点保持着相同的颜色和强度，而镜面反射点在强度上变化明显，且颜色受到光源颜色的影响。大多数深度估计和图像分割算法在实现中只考虑了漫反射点的特性，而将镜面反射(高光)点作为噪声处理。虽然漫反射的假设对于场景中的大多数点都成立，但当这些算法处理带有镜面反射的平面时，效果显著下降。比如，在传统的深度估计中，算法对场景中镜面反射点只是给出了并不准确的虚拟深度。

发明内容

本发明的目的是提供一种基于光场的高光图像修复方法及装置。

本发明的具体技术方案如下：

一种基于光场的高光图像修复方法，该方法包括：

深度估计步骤，联合散焦和立体视点匹配进行光场图像深度估计；

高光检测步骤，基于对角多视点颜色空间投影差异进行高光检测；以及

高光去除步骤，从深度估计结果中获取检测到的高光点对应的深度值，重聚焦找到高光点对应的宏像素，按亮度强弱将该宏像素中的像素聚为两类，用双色反射模型对该两类构建方程组求解后得到高光点的镜面反射分量，去除该镜面反射分量，实现高光去除。

在上述的基于光场的高光图像修复方法中，优选地，所述深度估计步骤包括：

用四维极线平面图像表示光场；

按照α值对四维极线平面图像(Epipolar Plane Image,EPI)剪切，分别计算每个像素的散焦响应值和立体视点匹配响应值，所述α是物体的像距与主透镜到传感器的距离之比；

根据响应值确定每个像素的最优α值和置信度；以及

以最优α值和置信度为输入参数，使用马尔科夫随机场进行全局优化得到该像素对应场景点的深度值。

在上述的基于光场的高光图像修复方法中，优选地，所述高光检测步骤包括：

从光场图像中分离出各个视点下的图像；

构造Tri-view，沿对角线取出与中心视点成中心对称的两个视点组成视点对，将每个视点对与中心视点组合构成一个Tri-view；以及

将Tri-view的三个视点图像的所有像素分别投影至RGB颜色空间，分别记作H_L、H_C、H_R，用H_C减去H_L∪H_R得到中心视点图像中的高光像素，其中∪表示取并集。

在上述的基于光场的高光图像修复方法中，优选地，在高光去除步骤中，所述从深度估计结果中获取检测到的高光点对应的深度值，重聚焦找到高光点对应的宏像素包括：

按公式

α_p＝α_min+(α_max-α_min)×depth_p

计算该高光点对应的剪切值α_p，其中，depth_p表示该高光点对应的深度值，α_max、α_min表示剪切值的最大值、最小值；以及

用高光点对应的剪切值α_p通过剪切公式对光场图的像素重新排布，找到该高光点所对应的宏像素；

在高光去除步骤中，所述按亮度强弱将该宏像素中的像素聚为两类，用双色反射模型对该两类构建方程组求解后得到高光点的镜面反射分量包括：

将宏像素中的像素RGB值投影到HSI空间，分离色调、饱和度、亮度；以及

按亮度强弱将宏像素中的像素聚为两类，两类的中心分别记为M₁、M₂，根据双色反射模型构造方程组

M₁＝w_d1B+w_s1G

M₂＝w_d2B+w_s2G

其中B和G分别表示物体表面的本征HSI值和光源的HSI值，w_d1、w_d2表示物体表面本征颜色的幅值，w_s1、w_s2表示光源颜色的幅值，w_d1+w_s1＝1，w_d2+w_s2＝1，0≤w_d1≤1，0≤w_d2≤1，解该方程组得到的G值作为该高光点的镜面反射分量。

一种基于光场的高光图像修复装置，该修复装置包括：

深度估计模块，用于联合散焦和立体视点匹配进行光场图像深度估计；

高光检测模块，用于基于对角多视点颜色空间投影差异进行高光检测；以及

高光去除模块，用于：从深度估计结果中获取检测到的高光点对应的深度值，重聚焦找到高光点对应的宏像素，按亮度强弱将该宏像素中的像素聚为两类，用双色反射模型对该两类构建方程组求解后得到高光点的镜面反射分量，去除该镜面反射分量，实现高光去除。

在上述的基于光场的高光图像修复装置中，优选地，所述深度估计模块包括：

响应值计算子模块，用于按照α值对四维极线平面图像剪切，分别计算每个像素的散焦响应值和立体视点匹配响应值，所述α是物体的像距与主透镜到传感器的距离之比；

最优α值和置信度确定子模块，用于根据响应值确定每个像素的最优α值和置信度；以及

优化子模块，用于以最优α值和置信度为输入参数，使用马尔科夫随机场进行全局优化得到该像素对应场景点的深度值。

在上述的基于光场的高光图像修复装置中，优选地，所述高光检测模块包括：

视点图像分离子模块，用于从光场图像中分离出各个视点下的图像；

构造Tri-view子模块，用于沿对角线取出与中心视点成中心对称的两个视点组成视点对，将每个视点对与中心视点组合构成一个Tri-view；以及

高光点计算子模块，用于将Tri-view的三个视点图像的所有像素分别投影至RGB颜色空间，分别记作H_L、H_C、H_R，用H_C减去H_L∪H_R得到中心视点图像中的高光像素，其中∪表示取并集。

在上述的基于光场的高光图像修复装置中，优选地，在高光去除模块中，包括：

剪切值计算子模块，用于按公式

α_p＝α_min+(α_max-α_min)×depth_p

计算该高光点对应的剪切值α_p，其中，depth_p表示该高光点的深度值，α_max、α_min表示剪切值的最大值、最小值；以及

重聚集子模块，用高光点对应的剪切值α_p通过剪切公式对光场图的像素重新排布，找到该高光点所对应的宏像素；

在高光去除模块中，还包括：

颜色空间转换子模块，用于将宏像素中的像素RGB值投影到HSI空间，分离色调、饱和度、亮度；以及

镜面反射分量计算子模块，用于按亮度强弱将宏像素中的像素聚为两类，两类的中心分别记为M₁、M₂，根据双色反射模型构造方程组

M₁＝w_d1B+w_s1G

M₂＝w_d2N+w_s2G

其中B和G分别表示物体表面的本征HSI值和光源的HSI值，w_d1、w_d2表示物体表面本征颜色的幅值，w_s1、w_s2表示光源颜色的幅值，w_d1+w_s1＝1，w_d2+w_s2＝1，0≤w_d1≤1，0≤w_d2≤1，解该方程组得到的G值作为该高光点的镜面反射分量。

本发明具有以下有益效果：

由于光场相机能采集到更完整的光场数据，有利于多视点分离和重聚焦，相较于基于传统相机的高光图像修复，复原效果更好，更具有真实性；

通过联合散焦和立体视点匹配的光场图像深度估计方法得到光场图像的深度图，对中心视点的像素进行重聚焦，得到同一场景点在各个视点下对应的像素；而且由于深度估计结合了散焦法和立体视点匹配的优点，结果更具有鲁棒性；

由于将颜色空间投影差异扩展至对角线视点对，一定程度上解决了光场相机微透镜阵列基线很小带来的高光变化不明显的问题，从而能准确地识别高光像素。

附图说明

图1为一些实施例基于光场的高光图像修复方法的流程图；

图2为一些实施例中基于对角多视点颜色空间投影差异的高光检测原理图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。这些更详细的描述旨在帮助理解本发明，而不应被用于限制本发明。根据本发明公开的内容，本领域技术人员明白，可以不需要一些或者所有这些特定细节即可实施本发明。而在其它情况下，为了避免将发明创造淡化，未详细描述众所周知的操作过程。

参照图1，一些实施例的基于光场的高光图像修复方法包括：深度估计步骤S1，高光检测步骤S2，以及高光去除步骤S3，含高光的光场图像经过步骤S1和步骤S2对应得到深度图和高光点，然后通过步骤S3利用深度图对检测到的高光点进行去除，从而获得去除高光后的图像(复原图)。

在深度估计步骤S1中，联合散焦和立体视点匹配进行光场图像深度估计，获取深度图。更具体地说，它首先从光场相机原始数据中导出由各视点相对位置排列的宏像素组成的光场图像，组成四维极线平面图像(Epipolar Plane Image,EPI)，按α值进行剪切(α是物体的像距与主透镜到传感器的距离之比)，计算散焦和立体视点匹配深度估计的响应值，根据响应值确定每个像素的最优的α值和置信度，然后使用马尔科夫随机场(MRF)进行全局优化得到深度。更具体的，在一些实施例中，深度估计步骤S1具体包括以下子步骤：

光场相机拍摄一幅图像后，经过微透镜中心标定、去马赛克等处理之后，选取以每个微透镜中心为中心的圆形或矩形区域(作为宏像素)，保持原微透镜间的位置关系组成的图像作为所处理的光场图。这里以选取nxn矩形区域为例说明，n为宏像素的边长。

用四维极线平面图像表示光场，具体可用式(1)表示：

L＝L(x，y，u，v)                   (1)

(x,y)和(u,v)分别表示一条空间光线经过两个平行平面的交点，(u,v)记录该光线的角度信息，(x,y)记录该光线的位置信息。

按照α值对四维极线平面图像(4D EPI)剪切(移位)，分别计算每个像素的散焦响应值和立体视点匹配响应值，所述α是物体的像距与主透镜到传感器的距离之比，光场相机可聚焦在一定深度范围内，故α可取相应范围。

其中，4D EPI按α剪切(移位)可表示为式(2)：

$L_{\mathrm{\α}}(x,y,u,v)=L_0(x+u(1-\frac{1}{\mathrm{\α}}),y+v(1-\frac{1}{\mathrm{\α}}),u,v).---\left(2\right)$

其中，L₀表示输入的图像，L_α表示按某一个α值进行剪切后的图像。为了便于理解，下面使用2D x-u_EPI进行阐述。2D x-u_EPI按α进行剪切可表示为式(3)：

$L_{\mathrm{\α}}(x,u)=L_0(x+u(1-\frac{1}{\mathrm{\α}}),u).---\left(3\right)$

其中x表示空间水平坐标，u表示角度水平坐标。

光场相机捕获了多角度分辨率的光线以便于重聚焦，使得可利用散焦法进行深度估计。在一些实施例中，散焦响应值采用以下方法计算：对于某一α值，首先使用剪切后的EPI图像，计算x相同的像素(x,u’)对应的平均强度值可表示为式(4)：

${\stackrel{\‾}{L}}_{\mathrm{\α}}\left(x\right)=\frac{1}{N_u}\underset{u^{\′}}{\Σ}{L}_{\mathrm{\α}}(x,u^{\′}),---\left(4\right)$

其中N_u表示角度像素u的个数。然后，按照式(5)计算散焦响应值D_α(x)：

$D_{\mathrm{\α}}\left(x\right)=\frac{1}{\left|W_D\right|}\underset{x^{\′}\∈W_D}{\Σ}\left|{\mathrm{\Δ}}_x{\stackrel{\‾}{L}}_{\mathrm{\α}}\left(x^{\′}\right)\right|,---\left(5\right)$

其中W_D表示以当前像素为中心的窗口(为提高鲁棒性)，Δ_x表示对空间水平坐标的拉普拉斯算子。在每一个α值下，对图像中的每一个像素均计算相应的散焦响应值。

光场相机在一次曝光时间内采集的数据可进行视点分离，得到多个不同视点下的图像。利用EPI，可计算出空间中某一像素在各个视点下成像像素的标准差，作为其立体视点匹配响应值σ_α(x)，可表示为式(6)：

${\mathrm{\σ}}_{\mathrm{\α}}\left(x\right)=\sqrt{\frac{1}{N_u}\underset{u^{\′}}{\Σ}{\left(L_{\mathrm{\α}}\right(x,u^{\′})-{\stackrel{\‾}{L}}_{\mathrm{\α}}(x\left)\right)}^2},---\left(6\right)$

进一步地，为了提升算法的鲁棒性，计算以当前像素为中心、大小为W_C的像素块的平均标准差作为该像素的立体视点匹配响应值C_α(x)，可表示为式(7)：

$C_{\mathrm{\α}}\left(x\right)=\frac{1}{\left|W_C\right|}\underset{x^{\′}\∈W_C}{\Σ}{\mathrm{\σ}}_{\mathrm{\α}}\left(x^{\′}\right),---\left(7\right)$

在每一个α值下，对图像中的每一个像素均计算相应的立体视点匹配响应值。

接下来根据响应值确定每个像素的最优α值和置信度。具体地，对于场景中的每一个像素点，在α取值范围内找寻使散焦响应值D_α(x)取得最大值的α值，记为找寻使立体视点匹配响应值C_α(x)取得最小值的α值，记为可表示为式(8)：

$\begin{array}{c}{\mathrm{\α}}_D^{*}\left(x\right)=\underset{\mathrm{\α}}{\arg \max }{D}_{\mathrm{\α}}\left(x\right),\\ {\mathrm{\α}}_C^{*}\left(x\right)=\underset{\mathrm{\α}}{\arg \min }{C}_{\mathrm{\α}}\left(x\right).\end{array}---\left(8\right)$

由于散焦和立体视点匹配的响应值不一定在同一α值取得最优值，因此使用置信度和全局优化解决这一问题。一些实施例中使用峰值比方法对置信度进行估计，如式(9)所示：

$\begin{array}{c}{D}_{conf}\left(x\right)=D_{{\mathrm{\α}}_D^{*}}\left(x\right)/D_{{\mathrm{\α}}_D^{*2}}\left(x\right),\\ C_{conf}\left(x\right)=C_{{\mathrm{\α}}_C^{*2}}\left(x\right)/C_{{\mathrm{\α}}_C^{*}}\left(x\right),\end{array}---\left(9\right)$

其中，α^*2表示散焦响应值的第二最大值对应的α值或立体视点匹配响应值的第二最小值对应的α值。由公式(9)可得到，当最值显著大于或小于其余响应值时，置信度更高。

接下来，以最优α值和置信度为输入参数，使用马尔科夫随机场(MRF)进行全局优化得到该像素对应场景点的深度值。由于散焦深度估计对物体边缘估计比较模糊，但深度平滑，噪声低，在平滑区域置信度高，在边缘位置置信度低，而立体视点匹配法对物体细节估计得比较准确，但具有很大噪声，噪声位置置信度低，因此，这里结合两种方法的优点，进行MRF全局优化。MRF优化的输入参数表示为式(10)：

$\begin{array}{c}\left\{Z_1^{source},Z_2^{source}\right\}=\left\{{\mathrm{\α}}_C^{*},{\mathrm{\α}}_D^{*}\right\},\\ \{W_1^{source},W_2^{source}\}=\{C_{conf},D_{conf}\},\end{array}---\left(10\right)$

其中source表示初始数据项。

MRF全局优化的目标函数转化为如下函数的最小值：

$\begin{array}{c}\underset{Z}{\min imize}{\Σ}_{source}{\mathrm{\λ}}_{source}{\Σ}_i{W}_i^{source}|Z_i-Z_i^{source}|+\\ {\mathrm{\λ}}_{flat}{\Σ}_{(x,y)}\left(|\frac{\∂Z_i}{\∂x}{|}_{(x,y)}+|\frac{\∂Z_i}{\∂y}{|}_{(x,y)}\right)+{\mathrm{\λ}}_{smooth}{\Σ}_{(x,y)}|{\mathrm{\ΔZ}}_i{|}_{(x,y)},i=1,2.\end{array}---\left(11\right)$

其中λ_source表示散焦响应值与立体视点匹配响应值的权重，λ_flat和λ_smooth分别是控制深度图拉普拉斯算子和深度本身的平滑性参数，优选实施例中，λ_source＝1，λ_flat＝1，λ_smooth＝1。为得到准确的全局优化结果，可将公式(11)进行迭代，当两次迭代的结果误差小于设定的阈值，可认为得到了准确的优化结果Depth。

在高光检测步骤S2中，基于对角多视点颜色空间投影差异进行高光检测，识别出场景在中心视点下的高光像素点(高光点)。该方法首先分离出各个视点下的图像，利用对角线上位置对应的两个视点以及中心视点组成Tri-view，由于镜面反射投影在颜色空间(如RGB空间)位置的不同，可检测出高光点。更具体的，在一些实施例中，高光检测步骤S2具体包括以下子步骤：

首先从光场图像中分离出各个视点(如nxn个视点)下的图像，每个图像标记为I_i,j，i,j可取1,2,…,n。

接下来构造Tri-view，沿对角线分别取出与中心视点I_C成中心对称的两个视点组成视点对{I_L,I_R}，该视点对与中心视点组成一个Tri-view，记做{I_L,I_C,I_R}。对于中心视点I_C，可得到(n-1)个不同的Tri-view，即：

$\{1_{i,i},I_c,I_{n-i,n-i}|i=1,2,\mathrm{...},\frac{n-1}{2}\}$ 和 $\{I_{i,n-i+1},I_C,I_{n-i+1,i}|i=\frac{n+3}{2},\frac{n+5}{2},\mathrm{...},n\}.$

然后将Tri-view的三个视点图像的所有像素分别投影至RGB颜色空间，分别记作H_L、H_C、H_R，用H_C减去H_L∪H_R得到中心视点图像中的高光像素，其中∪表示取并集。由于一个场景点如果仅含有漫反射，那么这个点在H_L、H_C、H_R中位置应相同；而一个场景点如果含有镜面反射，那么其在H_L、H_C、H_R中位置将不同。考虑到不同视点之间可能形成的遮挡，将对角线对应视角的投影取并集，得到H_L∪H_R。通过从H_C中减去同时包含在H_L∪H_R的像素，可得到I_C中的镜面反射点(高光点)p，p所组成的集合记为H_C,spec，可表示为式(12)，在附图2中也示意性地表示了上述的基于对角多视点颜色空间投影差异的高光检测原理。

$H_{C,spec}=H_C-\left(H_L{\mathrm{UH}}_R\right)=\left\{p\right|p\∈H_C,p\∉\left(H_L{\mathrm{UH}}_R\right)\}.---\left(12\right)$

由于同一漫反射点在不同视角下投影位置可能有微小差异，当两个空间中投影点的距离小于某一阈值时，可以当做是同一个场景点进行处理以加强差错控制。H_C,spec中的元素重新投影到中心视点图像中，使用二分图S_C对高光点进行标记，如式(13)所示：

对于中心视点与对角线视点形成的(n-1)个不同的Tri-view，可形成(n-1)个高光二分图，记为S_C，k，k＝1，2，...，n-1。进一步地，为得到更准确的高光检测结果，利用高光二分图对中心视点的每一个像素(x,y)进行投票，若投票值超过某一阈值t，即 ${\mathrm{\Σ}}_{k=1}^n{s}_{C,k}(x,y)>t,$ (x,y)被标记为高光点。

在高光去除步骤S3中，采用了基于双色反射模型和重聚焦的高光去除算法。具体是从深度估计结果中获取检测到的高光点对应的深度值，重聚焦找到高光点对应的宏像素，按亮度强弱将该宏像素中的像素聚为两类，用双色反射模型对该两类构建方程组求解后得到高光点的镜面反射分量，去除该镜面反射分量，实现高光去除。

双色反射模型可用来描述非匀质物体表面的光照现象，光线经过物体表面反射后可能发生镜面反射和漫反射，因此物体表面的辐照度由相互独立的漫反射分量与镜面反射分量叠加形成。该双色反射模型可写成式(14)：

M＝w_dB+w_sG，                  (14)

其中M表示像素的颜色，B表示该像素漫反射的颜色(物体表面本身颜色)，G表示光源颜色，w_d和w_s分别表示两种反射的幅度因子，满足w_d+w_s＝1。在不同视点下，w_d和w_s的大小会随着视点变化而变化，但B和G由于取决于物体或者光源的本质属性而保持不变。当w_d＝1时，像素的颜色完全由物体本身颜色决定，属于纯漫反射；当w_s＝1时，物体本身的颜色完全被光源的颜色覆盖，属于纯镜面反射(纯高光)；当w_d和w_s均非零时，物体的颜色是两者的叠加。

为实现重聚焦，这里利用了光场图像深度估计的结果。即，对于步骤S2检测出的高光点p，首先在深度图Depth中找到对应的深度值Depth_p，按公式(15)计算出对应的剪切值α_p，再按照剪切公式(公式2)对光场图的像素重新排布，找到该高光点p所对应的nxn大小的宏像素MP(p)。

α_p＝α_min+(α_max-α_min)×depth_p，                 (15)

其中，depth_p表示该高光点对应的深度值，α_max、α_min表示剪切值的最大值、最小值。

高光点宏像素MP(p)可看成是由该场景点在各个视点下的采样点组成，通过分析镜面反射与漫反射在不同视点下的特性，可得到该场景点的漫反射分量和镜面反射分量。首先将宏像素MP(p)中的像素RGB值投影到HSI空间，分离色调、饱和度、亮度。通过K-means聚类将宏像素MP(p)中的nxn个像素分为两类，计算两类中心，将亮度更高(HSI中I分量更大的值)的中心记为M₁，表示镜面反射更强的类别，亮度较低的中心记为M₂，表示镜面反射较弱。然后，根据双色反射模型构造方程组(16)：

M₁＝w_d1B+w_s1G，

                            (16)

M₂＝w_d2N+w_s2G，

其中B和G分别表示物体表面的本征HSI值和光源的HSI值，w_d1、w_d2表示物体表面本征颜色的幅值，w_s1、w_s2表示光源颜色的幅值，w_d1+w_s1＝1，w_d2+w_s2＝1，0≤w_d1≤1，0≤w_d2≤1，解该方程组得到的G值作为该高光点的镜面反射分量，B值作为该高光点的漫反射分量。

在一些实施例中，进一步还为镜面反射与漫反射分量估计引入了置信度C，认为镜面反射更强并且两类分类分割更清楚的点往往拥有更高的置信度，置信度计算如式(18)：

$C=e-\frac{{\mathrm{\β}}_0}{\left|M_1\right|}-\frac{{\mathrm{\β}}_1}{|M_1-M_2|}+\frac{{\mathrm{\β}}_2}{R},---\left(18\right)$

其中R是平均类内距离，β₀是控制亮度因素的参数，β₁是控制两类中心距离因素的参数，β₂是控制分类准确性的参数，在优选实施例中β₀＝0.5，β₁＝0.5，β₂＝1。

在获得高光点的镜面反射分量后，生成与光场图相同大小的镜面反射分量图Spec，将高光像素p的光源HSI值填入该像素对应的宏像素中，将非高光像素所对应的宏像素置0。同理，可以得到与光场图相同大小的置信度图Conf，将高光像素p的置信度填入该像素对应的宏像素中，非高光像素所对应的置信度置0。

为实现高光修复，需将高光点减去镜面反射分量。为提升算法的鲁棒性，进一步在以目标像素(x,y,u,v)为中心mxm大小的搜索窗口，获得镜面反射分量的平均值。同时，为邻域内每个像素的镜面反射分量引入权值，如果该像素的置信度越高或者目标像素与该像素相差越小，应分配给更高的权值。具体计算可表示为式(19)，再经过简单的HSI空间转换为RGB空间，即可得到高光复原图像Df_d。

Df_d(x，y，u，v)＝L(x，y，u，v)-<W×Spec(x′，y′)>，            (19)

W＝e^{-γ/(Conf(x′，y′)×|L(x，y，u，v)-L(x′，y′，u，v)|)}，

其中，(x’,y’)是像素(x,y,u,v)的搜索窗口内像素，Spec(x’,y’)、Conf(x’,y’)分别表示该像素的镜面反射分量和置信度，W表示权值，<>表示求平均值，γ可设为常量1。

Claims (8)

1.基于光场的高光图像修复方法，其特征在于，该方法包括：

深度估计步骤，联合散焦和立体视点匹配进行光场图像深度估计；

高光检测步骤，基于对角多视点颜色空间投影差异进行高光检测；以及

高光去除步骤，从深度估计结果中获取检测到的高光点对应的深度值，重聚焦找到高光点对应的宏像素，按亮度强弱将该宏像素中的像素聚为两类，用双色反射模型对该两类构建方程组求解后得到高光点的镜面反射分量，去除该镜面反射分量，实现高光去除。

2.根据权利要求1所述的基于光场的高光图像修复方法，其特征在于，所述深度估计步骤包括：

用四维极线平面图像表示光场；

按照α值对四维极线平面图像剪切，分别计算每个像素的散焦响应值和立体视点匹配响应值，所述α是物体的像距与主透镜到传感器的距离之比；

根据响应值确定每个像素的最优α值和置信度；以及

以最优α值和置信度为输入参数，使用马尔科夫随机场进行全局优化得到该像素对应场景点的深度值。

3.根据权利要求1所述的基于光场的高光图像修复方法，其特征在于，所述高光检测步骤包括：

从光场图像中分离出各个视点下的图像；

构造Tri-view，沿对角线取出与中心视点成中心对称的两个视点组成视点对，将每个视点对与中心视点组合构成一个Tri-view；以及

将Tri-view的三个视点图像的所有像素分别投影至RGB颜色空间，分别记作H_L、H_C、H_R，用H_C减去H_L∪H_R得到中心视点图像中的高光像素，其中∪表示取并集。

4.根据权利要求1所述的基于光场的高光图像修复方法，其特征在于，

在高光去除步骤中，所述从深度估计结果中获取检测到的高光点对应的深度值，重聚焦找到高光点对应的宏像素包括：

按公式

α_p＝α_min+(α_max-α_min)×depth_p

计算该高光点对应的剪切值α_p，其中，depth_p表示该高光点对应的深度值，α_max、α_min表示剪切值的最大值、最小值；以及

用高光点对应的剪切值α_p通过剪切公式对光场图的像素重新排布，找到该高光点所对应的宏像素；

在高光去除步骤中，所述按亮度强弱将该宏像素中的像素聚为两类，用双色反射模型对该两类构建方程组求解后得到高光点的镜面反射分量包括：

将宏像素中的像素RGB值投影到HSI空间，分离色调、饱和度、亮度；以及

按亮度强弱将宏像素中的像素聚为两类，两类的中心分别记为M₁、M₂，根据双色反射模型构造方程组

M₁＝w_d1B+w_s1G

M₂＝w_d2B+w_s2G

其中B和G分别表示物体表面的本征HSI值和光源的HSI值，w_d1、w_d2表示物体表面本征颜色的幅值，w_s1、w_s2表示光源颜色的幅值，w_d1+w_s1＝1，w_d2+w_s2＝1，0≤w_d1≤1，0≤w_d2≤1，解该方程组得到的G值作为该高光点的镜面反射分量。

5.基于光场的高光图像修复装置，其特征在于，该修复装置包括：

深度估计模块，用于联合散焦和立体视点匹配进行光场图像深度估计；

高光检测模块，用于基于对角多视点颜色空间投影差异进行高光检测；以及

高光去除模块，用于：从深度估计结果中获取检测到的高光点对应的深度值，重聚焦找到高光点对应的宏像素，按亮度强弱将该宏像素中的像素聚为两类，用双色反射模型对该两类构建方程组求解后得到高光点的镜面反射分量，去除该镜面反射分量，实现高光去除。

6.根据权利要求5所述的基于光场的高光图像修复装置，其特征在于，所述深度估计模块包括：

响应值计算子模块，用于按照α值对四维极线平面图像剪切，分别计算每个像素的散焦响应值和立体视点匹配响应值，所述α是物体的像距与主透镜到传感器的距离之比；

最优α值和置信度确定子模块，用于根据响应值确定每个像素的最优α值和置信度；以及

优化子模块，用于以最优α值和置信度为输入参数，使用马尔科夫随机场进行全局优化得到该像素对应场景点的深度值。

7.根据权利要求5所述的基于光场的高光图像修复装置，其特征在于，所述高光检测模块包括：

视点图像分离子模块，用于从光场图像中分离出各个视点下的图像；

构造Tri-view子模块，用于沿对角线取出与中心视点成中心对称的两个视点组成视点对，将每个视点对与中心视点组合构成一个Tri-view；以及

高光点计算子模块，用于将Tri-view的三个视点图像的所有像素分别投影至RGB颜色空间，分别记作H_L、H_C、H_R，用H_C减去H_L∪H_R得到中心视点图像中的高光像素，其中∪表示取并集。

8.根据权利要求1所述的基于光场的高光图像修复装置，其特征在于，

在高光去除模块中，包括：

剪切值计算子模块，用于按公式

α_p＝α_min+(α_max-α_min)×depth_p

计算该高光点对应的剪切值α_p，其中，depth_p表示该高光点的深度值，α_max、α_min表示剪切值的最大值、最小值；以及

重聚集子模块，用高光点对应的剪切值α_p通过剪切公式对光场图的像素重新排布，找到该高光点所对应的宏像素；

在高光去除模块中，还包括：

颜色空间转换子模块，用于将宏像素中的像素RGB值投影到HSI空间，分离色调、饱和度、亮度；以及

镜面反射分量计算子模块，用于按亮度强弱将宏像素中的像素聚为两类，两类的中心分别记为M₁、M₂，根据双色反射模型构造方程组

M₁＝w_d1B+w_s1G

M₂＝w_d2B+w_s2G

其中B和G分别表示物体表面的本征HSI值和光源的HSI值，w_d1、w_d2表示物体表面本征颜色的幅值，w_s1、w_s2表示光源颜色的幅值，w_d1+w_s1＝1，w_d2+w_s2＝1，0≤w_d1≤1，0≤w_d2≤1，解该方程组得到的G值作为该高光点的镜面反射分量。