CN104091317A - 一种夜景图像窗户镜面反射效应去除方法 - Google Patents

Abstract

本发明涉及一种夜景图像窗户镜面反射效应去除方法，包括：获取同一背景下的两幅含有反射效应的夜景图像；定位反射区域；判断反射区域是否存在重叠；按照不同的情况分别进行处理；第一种，对于反射区域不重叠的情况，去除反射效应；第二种，对于反射区域存在重叠的情况，对于非重叠的反射区域，按照前述的反射区域不重叠情况进行处理；对于重叠的反射区域，进行相应的处理，最终得到总的背景图像。本发明能够实现反射效应的快速去除，增强夜景图像的可视质量。

Description

一种夜景图像窗户镜面反射效应去除方法

所属技术领域

本发明涉及一种彩色数码照片的镜面反射效应去除方法。 

背景技术

当居住在高层建筑物的消费者在室内使用数码相机或智能手机拍摄窗外场景时，由于摄像头和拍摄场景之间存在着玻璃窗户，常受到室内场景镜面反射现象的影响。在拍摄夜景图像时，这种反射干扰现象尤为明显。图1所示为一幅存在镜面反射效应的夜景图像，图中右上方亮区域在背景中并不真实存在，而是由于室内亮区域通过窗户玻璃的反射效应造成的。显然，反射区域的存在严重影响了夜景照片的可视质量，因此提出如何去除这类反射效应，恢复夜景图像的原貌是非常必要的。 

目前已有的反射效应去除方面的文献以外文为主。早期的方法都是通过改变相机的物理参数来获取两幅或多幅不同的图像，通过分析反射分量在不同图像的差别来分离背景场景和反射场景。例如，文献[1]和文献[2]所提方法通过改变偏振镜片的角度方式获取不同图像，文献[3]的方法中采用不同的镜头焦距拍摄图像，文献[4]使用闪光灯-非闪光灯图像对来降低反射效应的影响。上述方法虽然能够有效抑制反射效应，但是通常需要拍摄人掌握一定的摄影技巧，或者通过特定的工具，因此上述方法的通用性较差。文献[5]和文献[6]借助人工辅助方式实现分离反射场景，这类方法只需要单幅图像，但是需要人工辅助输入，另外分离过程使用的迭代算法计算量偏大，因此只适用于少量图像的情况。 

近期的研究重点重新回到基于多幅图像的思路，但在拍摄不同图像时，不需要调整相机的参数，只需改变拍摄角度，使得不同图像的反射分量存在一定视角上的差别。文献[7]借助立体匹配中的深度信息来恢复背景成分，但要求拍摄的图像只在水平方向上有位移。文献[8]通过计算图像序列的统计特性，使用一种稀疏盲分离技术分离反射分量。文献[9]提出了一种基于梯度信息的反射分离方法，根据各配准处理后各图像对应位置边缘点的分布情况，将边缘点分为背景层和反射层两类，再使用文献[5]的方法实现两层的划分。 

参考文献： 

[1]H.Farid and E.Adelson.Separating reflections and lighting using idependent components analysis.In CVPR,pages262–267,1999. 

[2]Y.Schechner,J.Shamir,and N.Kiryati.Polarization-based decorrelation of transparent layers:the inclination angle ofan invisible surface.InICCV,pages814–819,1999. 

[3]Y.Y.Schechner,N.Kiryati,and R.Basri.Separation of transparent layers using focus.IJCV, 39(1):25–39,2000. 

[4]A.Agrawal,R.Raskar,S.Nayar,andY.Li.Removing photography artifacts using gradient projection and flash-exposure sampling.ACM Trans.Graphics,23(3):828–835,2005. 

[5]A.Levin andY.Weiss.User assisted separation of reflections from a single image using a sparsity prior.IEEE TPAMI,29(9):1647–1654,2007. 

[6]S.Yeung,T.Wu,and C.Tang.Extracting smooth and transparent layers from a single image.InCVPR,pages1–7,2008. 

[7]Y.Tsin,S.B.Kang,and R.Szeliski.Stereo matching with linear superposition of layers.TPAMI,28(2):290–301,2006. 

[8]K.Gai,Z.Shi,and C.Zhang.Blind separation of super-imposed moving images using image statistics.TPAMI,34(1):19–32,2012. 

[9]Y.Li,M。S.Brown,Exploiting Reflection Change for Automatic Reflection Removal.InICCV2013. 

发明内容

本发明的目的是克服现有技术的上述不足，提供一种针对夜景图像的窗户镜面反射效应的去除方法，实现反射效应的快速去除，增强夜景图像的可视质量。本发明的技术方案如下： 

一种夜景图像窗户镜面反射效应去除方法，包括下面的步骤： 

步骤1：按照下列的条件获取同一背景下的两幅含有反射效应的夜景图像： 

(1)需要拍摄两幅图像，并保证在拍摄时镜头的焦距、光圈、曝光度等参数保持不变； 

(2)在拍摄两幅图像时，要保证两图像在同一个平面内； 

(3)在改变相机位置时，相机可以在同一个平面内的水平方向或垂直方向移动，但要求位移的大小应保证反射场景在两图像的位置有一定差别； 

用I₁和I₂分别表示同一背景下两幅含有反射场景的夜景图像，用B表示整个背景分量，Ω₁和Ω₂表示I₁和I₂中反射分量所在区域，B₁和B₂分别表示Ω₁和Ω₂对应区域的背景分量，反射分量用R表示，使用加性模型来描述成像过程，即Ω₁在I₁中对应的子图像是B₁+R，Ω₂在I₂中对应的子图像是B₂+R； 

步骤2：定位反射区域 

确认两幅图像中反射区域对应的最上方、最下方、最左方和最右方位置的坐标值，进而分别得到两图像中反射区域Ω₁和Ω₂的外接矩形位置信息； 

步骤3：判断反射区域是否存在重叠； 

步骤4：按照不同的情况分别进行处理： 

第一种，对于反射区域不重叠的情况：用R表示Ω₁和Ω₂中的反射分量，用B₁表示Ω₁中的背景分量，用B₂表示Ω₂中的背景成分；由于Ω₁和Ω₂区域不重叠，因此I₁中Ω₁对应的子图像是(R+B₁)，I₁中Ω₂对应的子图像是B₂；I₂中Ω₁对应的子图像是B₁，I₂中Ω₂对应的子图像是(R+B₂)，针对反射区域不重叠情况的反射效应去除方法如下： 

1)从I₁提取Ω₁和Ω₂对应的子图像，分别用(R+B₁)和B₂表示； 

2)从I₂中提取Ω₁和Ω₂对应的子图像，分别用(R+B₂)和B₁表示； 

3)使用I₂中Ω₁对应的子图像B₁代替I₁中的Ω₁对应的子图像(R+B₁)，处理后的图像用C₂表示； 

4)使用I₁中Ω₂对应的子图像B₂代替I₂中的Ω₂对应的子图像(R+B₂)，处理后的图像用C₂表示； 

5)将C₁和C₂求平均，得到最后的恢复图像，用C表示； 

第二种，对于反射区域存在重叠的情况： 

用Ω_O表示Ω₁和Ω₂的重叠区域，即有Ω_O＝Ω₁∩Ω₂，由于Ω₁和Ω₂是用其外接矩形表示其位置，因此Ω_O也是一个矩形区域，对于Ω₁和Ω₂中非重叠的区域，按照前述的反射区域不重叠情况进行处理； 

用R_O1表示I₁中Ω_O区域对应的反射分量，用R_O2表示I₂中Ω_O区域对应的反射分量，用B_O表示Ω_O区域对应的背景分量，在I₁中的反射分量R_O1在I₂中的对应区域是Ω_O+Δ，其中，Δ表示从Ω₁到Ω₂的位移，同理可得，在I₂中的反射分量R_O2在I₁中的对应区域是Ω_O–Δ，其中–Δ表示从R₂到R₁的位移；在I₁中Ω_O+Δ子图像是B_O+Δ，I₁中Ω_O–Δ的子图像是R_O2+B_O–Δ；I₂中Ω_O–Δ子图像是B_O–Δ，I₂中Ω_O+Δ的子图像是R_O1+B_O+Δ，采用下面方法去除Ω₁和Ω₂重叠区域Ω_O的反射分量： 

1)从I₁中提取3个子图像，分别用(R_O1+B_O)、(R_O2+B_O–Δ)和B_O+Δ表示； 

2)从I₂中提取3个子图像，分别用(R_O2+B_O)、(R_O1+B_O+Δ)和B_O–Δ表示； 

3)计算(R_O1+B_O–Δ)和B_O–Δ的差值，得到R′_O1；计算(R_O1+B_O)和R′_O1的差值，结果用B′_O表示； 

4)计算(R_O2+B_O+Δ)和B_O+Δ的差值，得到R′_O2；然后计算(R_O2+B_O)和R′_O2的差值，用B″_O表示； 

5)计算B′_O和B″_O的均值，得到Ω_O的背景子图像，用B_O表示，即有：B_O＝(B′_O+B″_O)/2； 

6)恢复非重叠部分的背景图像，最终得到总的背景图像。 

采用本发明所述方法，与现有技术相比，只需要用户拍摄两幅图像，借助少量的用户辅助输入信息，省去了复杂的反射区域检测过程，能够识别阴影区域是重叠还是非重叠情况，根据不同情况采用对应的处理过程，节省了计算机处理的时间，达到了更接近实用的效果。 

附图说明

图1是一个存在镜面反射效应的夜景图像实例图 

图2是本专利所提方法的流程图 

图3(a)和(b)各为一幅夜景图像结构示意图。 

图4是含有反射区域的坐标关系示意图 

图5(a)和(b)的两幅夜景图像是反射区域不重叠情况下的结构示意图 

图6(a)和(b)的两幅夜景图像是反射区域重叠情况下的结构示意图 

图7(a)-(d)的4个图是反射效应去除结果示意图，其中，(a)为夜景图像1(b)为夜景图像2(c)为分割出来的反射重叠区域(d)为反射效应去除处理结果 

具体实施方式

本发明所提方法包括三个主要步骤：图像获取、借助用户辅助输入方式的反射区域定位，反射效应去除等三个主要步骤。图2给出了所提方法的框图。 

步骤1：图像获取 

根据本专利所提方法的要求，在拍摄夜景图像时需要做到以下三点： 

(1)需要拍摄两幅图像，并保证在拍摄时镜头的焦距、光圈、曝光度等参数保持不变； 

(2)在拍摄两幅图像时，要保证两图像在同一个平面内； 

(3)在改变相机位置拍摄图像时，相机可以在同一个平面内的水平方向或垂直方向移动，但要求位移的大小应保证反射场景是完整的，反射场景在两图像的位置有一定差别。 

图3所示为拍摄得到的两幅夜景图像结构示意图。一般可以假设背景到镜头的距离远大于镜头到成像平面的距离，因此拍摄两图时产生的位移并不影响背景在图像中的位置，即背景基本保持不变。但反射场景由于到镜头的距离较近，在两幅图像中反射分量的位置有明显变化。 

用I₁和I₂分别表示获取同一背景下的两幅含有反射效应的夜景图像，用B表示整个背景分量，Ω₁和Ω₂表示I₁和I₂中反射分量所在区域，B₁和B₂分别表示Ω₁和Ω₂对应区域的背景分量，反射分量用R表示，使用加性模型来描述成像过程，即Ω₁在I₁中对应的子图像是B₁+R，Ω₂在I₂中对应的子图像是B₂+R。 

步骤2：借助用户辅助输入定位反射区域 

本专利需要借助用户输入信息，确定两幅图像中反射区域的位置。具体的做法是，用户使用鼠标(对于使用鼠标和计算机屏幕交互方式的用户)或者手指(针对智能手机或平板电脑等触屏方式交互的用户)，依次确认两幅图像中反射区域对应的最上方、最下方、最左方和最右方位置的坐标值，进而得到两图像中反射区域的外接矩形位置信息。 

图4给出了一个含有反射区域的坐标关系示意图。其中，图像的坐标原点定义在图像左上角的点，水平方向(x方向)从左至右依次增大，垂直方向(y方向)从上至下依次增大。用分别 表示Ω₁最左侧、最右侧、最上方和最下方像素点的坐标值，上标(1)表示第一幅图。则Ω₁的位置可以用两个点对定义的矩形区域来描述。对于Ω₂，采用与Ω₁相同的过程，得到反射区域对应的外接矩形位置信息，用表示。 

步骤3：反射效应去除 

由于在获取输入照片时，没有限定相机的平移大小，因此Ω₁和Ω₂的相对位置可能存在非重叠情况和重叠两种情况。图5和图6分别给出了两种情况的图示，其中图5所示为不重叠情况，图6是重叠情况。这两种情况在实际情况下都有可能发生，所采用的处理方法有所不同，因此在进行反射区域去除之前，需要首先确认反射区域是否存在重叠。具体过程如下： 

子步骤3.1：判断反射区域是否存在重叠 

我们使用一种快速方法判断Ω₁和Ω₂是否存在重叠情况，具体过程如下： 

1)根据Ω₁对应的外接矩形位置信息，计算反射区域二值图BW₁，即有： 

2)根据Ω₂对应的外接矩形位置信息，计算反射区域二值图BW₂，即有： 

3)计算BW₁和BW₂的重叠区域二值图BW，即有BW＝BW₁∩BW₂，其中符号“∩”表示集合求交集运算。 

4)如果(空集)，则认为Ω₁和Ω₂位置不重叠；否则，认为Ω₁和Ω₂位置存在部分重叠。 

子步骤3.2：反射区域不重叠的情况 

对于反射区域不重叠情况，如图5所示。图中用R表示Ω₁和Ω₂中的反射分量，用B₁表示Ω₁中的背景分量，用B₂表示Ω₂中的背景成分。由于Ω₁和Ω₂区域不重叠，因此I₁中Ω₁对应的子图像是(R+B₁)，I₁中Ω₂对应的子图像是B₂；I₂中Ω₁对应的子图像是B₁，I₂中Ω₂对应的子图像是(R+B₂)。 

本发明提出一种针对反射区域不重叠情况的反射效应去除方法，具体的处理过程如下： 

1)从I₁提取Ω₁和Ω₂对应的子图像，用(R+B₁)和B₂表示。 

2)从I₂中提取Ω₁和Ω₂对应的子图像，用(R+B₂)和B₁表示。 

3)使用I₂中Ω₁对应的子图像B₁代替I₁中的Ω₁对应的子图像(R+B₁)，处理后的图像用C₂表示。 

4)使用I₁中Ω₂对应的子图像B₂代替I₂中的Ω₂对应的子图像(R+B₂)，处理后的图像用C₂表示。 

5)将C₁和C₂求平均，得到最后的恢复图像，用C表示。即有：C＝(C₁+C₂)/2。 

子步骤3.3：反射区域存在重叠的情况 

图6所示为反射区域存在重叠的情况。用Ω_O表示Ω₁和Ω₂的重叠区域，即有Ω_O＝Ω₁∩Ω₂。需要说明的一点是，由于Ω₁和Ω₂是用其外接矩形表示其位置，因此Ω_O也是一个矩形区域。对于Ω₁和Ω₂中非重叠的区域，可以参考子步骤3.2节介绍的方法进行处理。下面重点讨论如何恢复Ω_O对应的背景内容。 

用R_O1表示I₁中Ω_O区域对应的反射分量，用R_O2表示I₂中Ω_O区域对应的反射分量，用B_O表示Ω_O区域对应的背景分量，如图6所示。在I₁中反射分量R_O1在I₂中的对应区域是Ω_O+Δ，其中Δ表示从Ω₁到Ω₂的位移。同理可得，在I₂中反射分量R_O2在I₁中的对应区域是Ω_O–Δ，其中–Δ表示从R₂到R₁的位移。观察图6不难发现，在I₁中Ω_O+Δ子图像是B_O+Δ，I₁中Ω_O–Δ的子图像是R_O2+B_O–Δ；I₂中Ω_O–Δ子图像是B_O–Δ，I₂中Ω_O+Δ的子图像是R_O1+B_O+Δ。 

根据上述分析，所提方法使用一种去除重叠部分反射分量的方法，具体过程如下： 

1)从I₁中提取图6所示3个子图像，用(R_O1+B_O)、(R_O2+B_O–Δ)和B_O+Δ表示。 

2)从I₂中提取图6所示3个子图像，用(R_O2+B_O)、(R_O1+B_O+Δ)和B_O–Δ表示。 

3)计算(R_O1+B_O–Δ)和B_O–Δ的差值，得到R’_O1；计算(R_O1+B_O)和R’_O1的差值，结果用B’_O表示。 

4)计算(R_O2+B_O+Δ))和B_O+Δ的差值，得到R’_O2；然后计算(R_O2+B_O)和R’_O2的差值，用B”_O表示。 

5)计算B’_O和B”_O的均值，得到Ω_O的背景子图像，用B_O表示，即有：B_O＝(B’_O+B”_O)/2。 

6)参考子步骤3.2，恢复非重叠部分的背景图像，最终得到总的背景图像。 

采用Windows7SP1系统下的matlab2014a作为实验仿真平台。选用专利申请人自行拍摄的20组图像作为测试集。采用本专利提出的方法对实验图像进行处理，得到了良好的处理效果。对于每一组分辨为1920×1080的图像，在通过用户输入确定反射区域之后，反射区域的去除过程只需0.02ms，处理速度非常迅速。图7(a)-(d)给出了反射效应去除过程示例，其中(a)和(b)为输入彩色图像原图，(c)是检测到的反射重叠区域，(d)为反射效应去除结果。 

Claims (3)

1.一种夜景图像窗户镜面反射效应去除方法，包括下面的步骤：

步骤1：按照下列的条件获取同一背景下的两幅含有反射效应的夜景图像：

(1)需要拍摄两幅图像，并保证在拍摄时镜头的焦距、光圈、曝光度等参数保持不变；

(2)在拍摄两幅图像时，要保证两图像在同一个平面内；

(3)在改变相机位置时，相机可以在同一个平面内的水平方向或垂直方向移动，但要求位移的大小应保证反射场景在两图像的位置有一定差别；

用I₁和I₂分别表示同一背景下两幅含有反射场景的夜景图像，用B表示整个背景分量，Ω₁和Ω₂表示I₁和I₂中反射分量所在区域，B₁和B₂分别表示Ω₁和Ω₂对应区域的背景分量，反射分量用R表示，使用加性模型来描述成像过程，即Ω₁在I₁中对应的子图像是B₁+R，Ω₂在I₂中对应的子图像是B₂+R；

步骤2：定位反射区域

确认两幅图像中反射区域对应的最上方、最下方、最左方和最右方位置的坐标值，进而分别得到两图像中反射区域Ω₁和Ω₂的外接矩形位置信息；

步骤3：判断反射区域是否存在重叠；

步骤4：按照不同的情况分别进行处理：

第一种，对于反射区域不重叠的情况：用R表示Ω₁和Ω₂中的反射分量，用B₁表示Ω₁中的背景分量，用B₂表示Ω₂中的背景成分；由于Ω₁和Ω₂区域不重叠，因此I₁中Ω₁对应的子图像是(R+B₁)，I₁中Ω₂对应的子图像是B₂；I₂中Ω₁对应的子图像是B₁，I₂中Ω₂对应的子图像是(R+B₂)，针对反射区域不重叠情况的反射效应去除方法如下：

1)从I₁提取Ω₁和Ω₂对应的子图像，分别用(R+B₁)和B₂表示；

2)从I₂中提取Ω₁和Ω₂对应的子图像，分别用(R+B₂)和B₁表示；

3)使用I₂中Ω₁对应的子图像B₁代替I₁中的Ω₁对应的子图像(R+B₁)，处理后的图像用C₂表示；

4)使用I₁中Ω₂对应的子图像B₂代替I₂中的Ω₂对应的子图像(R+B₂)，处理后的图像用C₂表示；

5)将C₁和C₂求平均，得到最后的恢复图像，用C表示；

第二种，对于反射区域存在重叠的情况：

用Ω_O表示Ω₁和Ω₂的重叠区域，即有Ω_O＝Ω₁∩Ω₂，由于Ω₁和Ω₂是用其外接矩形表示其位置，因此Ω_O也是一个矩形区域，对于Ω₁和Ω₂中非重叠的区域，按照前述的反射区域不重叠情况进行处理；

用R_O1表示I₁中Ω_O区域对应的反射分量，用R_O2表示I₂中Ω_O区域对应的反射分量，用B_O表示Ω_O区域对应的背景分量，在I₁中的反射分量R_O1在I₂中的对应区域是Ω_O+Δ，其中，Δ表示从Ω₁到Ω₂的位移，同理可得，在I₂中的反射分量R_O2在I₁中的对应区域是Ω_O–Δ，其中–Δ表示从R₂到R₁的位移；在I₁中Ω_O+Δ子图像是B_O+Δ，I₁中Ω_O–Δ的子图像是R_O2+B_O–Δ；I₂中Ω_O–Δ子图像是B_O–Δ，I₂中Ω_O+Δ的子图像是R_O1+B_O+Δ，采用下面方法去除Ω₁和Ω₂重叠区域Ω_O的反射分量：

1)从I₁中提取3个子图像，分别用(R_O1+B_O)、(R_O2+B_O–Δ)和B_O+Δ表示；

2)从I₂中提取3个子图像，分别用(R_O2+B_O)、(R_O1+B_O+Δ)和B_O–Δ表示；

3)计算(R_O1+B_O–Δ)和B_O–Δ的差值，得到R′_O1；计算(R_O1+B_O)和R′_O1的差值，结果用B′_O表示；

4)计算(R_O2+B_O+Δ)和B_O+Δ的差值，得到R′_O2；然后计算(R_O2+B_O)和R′_O2的差值，用B″_O表示；

5)计算B′_O和B″_O的均值，得到Ω_O的背景子图像，用B_O表示，即有：BO＝(B′_O+B″_O)/2；

6)恢复非重叠部分的背景图像，最终得到总的背景图像。

2.根据权利要求1所述的夜景图像窗户镜面反射效应去除方法，其特征在于，步骤2中，借助用户辅助输入定位反射区域。

3.根据权利要求1所述的夜景图像窗户镜面反射效应去除方法，其特征在于，步骤3中，判断反射区域是否存在重叠的方法如下：

1)根据Ω₁对应的外接矩形位置信息，计算反射区域二值图BW₁，

2)根据Ω₂对应的外接矩形位置信息，计算反射区域二值图BW₂，

3)计算BW₁和BW₂的重叠区域二值图BW，

4)如果则认为Ω₁和Ω₂位置不重叠；否则，认为Ω₁和Ω₂位置存在部分重叠。