CN103116885A - 一种使用闪光灯图像的前景区域提取方法 - Google Patents

Abstract

本发明涉及计算机视觉领域中的对象分割领域，涉及一种使用闪光灯图像的前景区域提取方法，包括：利用相同的摄像机在相同的环境条件下获取闪光灯图像和无闪光灯图像；将两幅彩色图像由原始的RGB颜色空间变换到HSV颜色空间；计算两幅图像的饱和度(S)分量图和强度(V)分量图；计算两幅图像的强度分量和饱和度分量的差值直方图；使用从闪光灯图像中提取前景区域二值化模板图；去除干扰区域，得到准确的前景区域二值图模板；提取前景区域并进行增强处理。本发明快速有效地将前景目标区域从背景中分离出来，即便是在背景有轻微改变的情况下，使用该方法仍可以准确定位并分割前景区域。

Description

一种使用闪光灯图像的前景区域提取方法

所属技术领域

本发明涉及计算机视觉领域中的对象分割领域，尤其是涉及针对数码照片的前景目标提取问题。

背景技术

图像分割是计算机视觉的一个基本问题，针对单一图像的前景/背景分离很困难，想要得到完美的分割结果更是具有挑战性的。现有的分割方法主要分为两类。一类是需要用户提供少量帮助，借助交互方式进行图像分割[1]。另一类需要提供附加信息或更多的图像，如运动序列[2,3]、立体图像[4]、红外图像[5]等。通常，基于多幅图像的方法的分割效果会更好一些。但考虑到实用性，在满足分割性能的前提下，要求拍摄尽量少的图像。比如，能否在只拍摄两张照片的情况下，实现前景目标的准确分割。本专利工作受到国家自然科学基金资助（No.61002030）。

参考文献

[1]Y.Boykov and M.P.Jolly.Interactive graph cuts for optimal boundary&regionsegmentation of objects in N-D images.In Proceedings of ICCV,2001.

[2]P.H.S.Torr,R.Szeliski,and P.Anandan.An integrated Bayesian approach to layerextraction from image sequences.IEEE Trans.on PAMI.,23(3):297–303,2001.

[3]J.J.Xiao and M.Shah.Motion layer extraction in the presence of occlusion using graphcut.In Proceedings of CVPR,volume II,pages972–979,2004.

[4]A.Criminisi,G.Gross,A.Blake,and V.Kolmogorov.Bilayer segmentation of binocularstereo video.In Proceedings of CVPR,volume I,pages53–60,2006.

[5]R.M.Bolle,J.H.Connell,N.Haas,R.Mohan,and G.Taubin.Object imaging system.U.S.Patent5631976,1994.

[6]http://en.wikipedia.org/wiki/HSL_and_HSV

发明内容

针对当前前景对象分割方法存在的不足，提出了一种利用无闪光图像和闪光灯图像提取前景对象区域的方法。由于只需两张照片，该方法能够快速有效地实现前景区域的分割。本发明的技术方案如下：

一种使用闪光灯图像的前景区域提取方法，包括下列步骤：

(1)利用相同的摄像机在相同的环境条件下获取闪光灯图像和无闪光灯图像，用FP和NFP分别表示闪光灯图像和无闪光灯图像；

(2)将两幅彩色图像由原始的RGB颜色空间变换到HSV颜色空间；

(3)计算两幅图像的饱和度(S)分量图和强度(V)分量图；

(4)用HNF_V(l)和HNF_S(l)，l＝1,2,...,L，分别表示无闪光灯图像强度分量和饱和度分量的直方图，用HF_V(l)和HF_S(l)分别表示闪光灯图像强度分量和饱和度分量的直方图，L表示无闪光灯图像和闪光灯图像的直方图的量化级数，计算两幅图像的强度分量和饱和度分量的差值直方图，分别用DH_V(l)和DH_S(l)表示；

(5)使用下式从闪光灯图像中提取候选前景区域二值化模板图BWFR：

式中，FP_V和FP_S经分别表示FP的强度图和饱和度图，BWFR取值为1的点代表前景区域候选像素点；

(6)对于候选前景区域二值化模板图BWFR，去除干扰区域，得到准确的前景区域二值图模板BW；

(7)使用二值图模板BW从原始闪光灯图像中提取前景区域，用FR表示，用FR_V和FR_S分别表示其强度分量图和饱和度分量图，对FR进行增强处理。

作为优选实施方式，其中的步骤（6），采用如下的方法去除干扰区域：

1)连接断裂：用数学形态学膨胀算子对潜在前景区域二值图中取值为1的点进行处理，连接断裂部分子；

2)填充空洞；

3)去除小区域：标注膨胀结果图像的连通区域，计算各连通区域内像素点的数目，对于某个连通区域，当它的像素数大于一定数值NUM时，被判定为前景区域；

4)缩小外轮廓：使用与步骤(1)中形状相同的结构算子对步骤3)处理结果进行腐蚀，将处理结果用BW表示。

其中的步骤（7），采用如下的方法增强前景图像：

1)强度值增强：借助下式所示的指数变换，压缩高强度值，拉伸低强度值，并做归一化处理，用FR_V表示处理后的饱和度分量：

${\mathrm{FR}}_V^{\′}(x,y)=\frac{1}{\max \left\{{\left({\mathrm{FR}}_V\right)}^{\mathrm{\γ}}\right\}}{\left({\mathrm{FR}}_V(x,y)\right)}^{\mathrm{\γ}}$

式中，参数γ的大小决定了强度值的增强效果，可取γ＝0.2；

2)饱和度调整：采用下式线性拉伸调整饱和度，用ER_S表示处理后的饱和度分量。

${\mathrm{FR}}_S^{\&prime;}(x,y)=\left\{\begin{array}{cc}1& {\mathrm{FR}}_S(x,y)=\max \left\{{\mathrm{FR}}_S\right\}\\ \frac{{\mathrm{FR}}_S(x,y)-\min {\{\mathrm{FR}}_S\}}{\max {\{\mathrm{FR}}_S\}-\min {\{\mathrm{FR}}_S\}}& \min {\{\mathrm{FR}}_S\}<{\mathrm{FR}}_S(x,y)<\max \{{\mathrm{FR}}_S\}\\ 0& {\mathrm{FR}}_S(x,y)=\min {\{\mathrm{FR}}_S\}\end{array}\right.$

由于闪光灯效应，闪光灯图像中位于离镜头较近的前景目标明显变亮，而背景内容变化很小。利用这种现象，本发明提出了新的前景目标提取方法，快速有效地将前景目标区域从背景中分离出来。从实验结果可见，即便是在背景有轻微改变的情况下，使用该方法仍可以准确定位并分割前景区域。

附图说明

图1本发明的技术方案框图。

图2所用膨胀算子结构示意图。

图3部分实验结果图，其中，(a)非闪光灯图像；(b)闪光灯图像；(c)初步分割结果；（d)精确定位算法；(e)前景区域提取；(f)增强结果。

具体实施方式

本发明提出了一种使用闪光/无闪光图像自动提取前景目标的方法下面结合附图和实施例对本发明进行说明。

在获取了闪光灯图像和无闪光灯图像后，本发明所采用的技术方案包括以下三个步骤：颜色空间变换、前景目标分割和前景目标增强。

1颜色空间变换

本发明所提方法需要使用图像的饱和度分量和强度分量。因此首先需要将两幅图像由原始的RGB颜色空间变换到HSV颜色空间。所采用的变换公式为[6]：

V＝max{P_c}(3)

式中，nax{}和min{}分别表示取最大值和最小值运算，c表示R、G、B三个颜色通道。

2前景目标区域提取

本发明的方法要求用于前景目标提取的闪光灯图像和无闪光灯图像满足以下两个前提条件：

1)两张图像拍摄时间间隔短，镜头基本保持静止，背景内容无明显变化，作为前景目标的人或物体的姿态基本保持不变；

2)由于闪光强度会随距离快速衰减，要求前景目标距离闪光灯较近，光照变化明显；背景区域距离较远，受闪光灯的影响可忽略不计。

用FP和NFP分别表示闪光灯图像和无闪光灯图像。基于上述两个前提条件，两幅图像背景区域内的像素点强度值和饱和度值都基本保持不变；与无闪光灯图像相比，闪光灯图像前景区域内像素点的强度值明显增加，同时饱和度值有所下降。因此，可以通过分析两幅图像强度值和饱和度值变化规律来区分背景区域和前景目标。

在实际拍摄过程中，一方面采用手持设备拍摄方式难免存在抖动，不能保证两幅图像背景内容严格对齐；另一方面，尽管在拍摄过程中，尽量缩短时间间隔，但仍无法令两幅图像的前景物体和背景运动物体完全保持不变。因此，如果直接使用两幅图像对应位置像素点的强度值和饱和度值的差别等特征用于前景目标检测，必将引入干扰。图像的直方图特征是对图像统计信息的描述，与像素点的位置信息无关，有效克服了上述两点不足。因此，所提方法使用直方图特征，考察两幅图像的差别。

用HNF_V(l)和HNF_S(l)(l＝1,2,...,L)分别表示无闪光灯图像强度分量和饱和度分量的直方图，用HF_V(l)和HF_S(l)(l1,2,...,L)分别表示闪光灯图像强度分量和饱和度分量的直方图。L表示直方图的量化级数，令L256。

使用下式计算两图像强度分量和饱和度分量的差值直方图，分别用DH_V(l)和DH_S(l)表示：

DH_V(l)＝HF_V(l)-HNF_V(l)  (4)

DH_S(l)＝HF_S(l)-HNF_S(l)  (5)

首先考虑强度分量直方图情况。用HNFB_V(l)和HNFF_V(l)分别表示无闪光灯图像背景区域和前景区域的强度分量直方图。用HFB_V(l)和HFF_V(l)分别表示闪光灯图像背景区域和前景区域的强度分量直方图。根据直方图的定义，有：HNF_V(l)=HVFB_V(l)+HNFF_V(l)和HF_V(l)=HFB_V(l)+HFF_V(l)。

由前提条件可知，两图像的背景区域强度直方图基本保持不变，即有：HVFB_V(l)≈HFB_V(l)。另外，前景区域强度值显著增加。因此，式(4)可重写为：

DH_V(l)＝HF_V(l)-HNF_V(l)

＝HFB_V(l)+HFF_V(l)-HNFB_V(l)-HNFF_V(l)  (6)

≈HFF_V(l)-HNFF_V(l)

进一步分析，满足DH_V(l)>0的l对应着闪光灯图像前景区域的强度值，满足DH_V(l)<0的l对应着无闪光灯图像前景区域的强度值。

使用与上述类似的分析过程，可得：

DH_S(l)＝HF_S(l)-HNF_S(l)≈HFF_S(l)-HNFF_S(l)  (7)

同理可得，满足DH_S(l)>0的l对应着闪光灯图像前景区域的饱和度值，满足DH_s(l)<0的l对应着无闪光灯图像前景区域的饱和度值。

综上所述，使用下式从闪光灯图像中提取前景区域二值化模板图，用BWFR表示，即有：

式中，FP_V和FP_S经分别表示FP的强度图和饱和度图。

BWFR取值为1的点代表前景区域候选像素点。这些像素点可能包含干扰点，需要引入后处理算法，去除干扰区域，精确定位前景区域。我们使用下述算法精确定位前景区域：

算法1：

(1)连接断裂：用数学形态学膨胀算子对潜在前景区域二值图中取值为1的点进行处理，连接断裂部分。选用半径为3个像素的菱形膨胀算子，具体形状如图2所示。

(2)填充空洞：填充步骤(1)处理结果内部含有的空洞。

(3)去除小区域：标注膨胀结果图像的连通区域，计算各连通区域内像素点的数目。对于某个连通区域，当它的像素数大于一定数值NUM时，才被判定为前景区域。

(4)缩小外轮廓：使用与步骤(1)中形状相同的结构算子对步骤(3)处理结果进行腐蚀，将处理结果用BW表示。

3前景目标提取与增强

使用二值图模板BW从原始闪光灯图像中提取前景区域，用FR表示。用FR_V和FR_S分别表示其强度分量图和饱和度分量图。由于闪光灯强光照射，导致FR的强度值偏高、饱和度偏低。使用下述增强算法，对FR进行增强处理。

算法2：

3)强度值增强：借助式(10)所示的指数变换，压缩高强度值，拉伸低强度值，并做归一化处理。

用FR′_V表示处理后的饱和度分量，则有：

${\mathrm{FR}}_V^{\&prime;}(x,y)=\frac{1}{\max \left\{{\left({\mathrm{FR}}_V\right)}^{\mathrm{\&gamma;}}\right\}}{\left({\mathrm{FR}}_V(x,y)\right)}^{\mathrm{\&gamma;}}---\left(10\right)$

式中，参数γ的大小决定了强度值的增强效果，可取γ＝0.2。

4)饱和度调整：采用线性拉伸调整饱和度。用FR_S表示处理后的饱和度分量，则有：

${\mathrm{FR}}_S^{\&prime;}(x,y)=\left\{\begin{array}{cc}1& {\mathrm{FR}}_S(x,y)=\max {\{\mathrm{FR}}_S\}\\ \frac{{\mathrm{FR}}_S(x,y)-\min \{{\mathrm{FR}}_S\}}{\max \{{\mathrm{FR}}_S\}-\min \{{\mathrm{FR}}_S\}}& \min \left\{{\mathrm{FR}}_S\right\}<{\mathrm{FR}}_S(x,y)<\max \left\{{\mathrm{FR}}_S\right\}\\ 0& {\mathrm{FR}}_S(x,y)=\min \left\{{\mathrm{FR}}_S\right\}\end{array}\right.---\left(11\right)$

采用Windows7SP1系统下的matlab2012b作为实验仿真平台。实验所用素材来自网络以及自拍图像，共10个场景，20幅照片。自拍图像选用相机为尼康单反相机D3100，图像的分辨率为2304×1536像素点，所用闪光灯类型为外接，拍摄方式设为自动。

算法1中用于去除小面积干扰区域的参数NUM可根据图像的分辨率来设定，一个典型值是图像像素总数的万分之一。图3给出了部分实验结果。图3(a)所示为一张典型的肖像/旅游照片，它可以分为前景（被拍摄人或物）和背景（建筑物）。在没有任何先验知识，或者手工辅助的条件下，只使用这幅图像进行前景提取非常困难。图3(b)是紧接着图3(a)所示图像之后使用闪光灯拍摄的另一张照片。将前一张照片称为无闪光灯图像，后一张照片称为闪光灯图像。因为拍摄时间间隔很短，相机和拍摄主体的相对运动很小。由于闪光灯效应，闪光灯图像中位于离镜头较近的前景目标明显变亮，而背景内容变化很小。利用这种现象，本发明提出了新的前景目标提取方法，快速有效地将前景目标区域从背景中分离出来。从实验结果可见，即便是在背景有轻微改变的情况下，使用该方法仍可以准确定位并分割前景区域。

Claims (3)

1.一种使用闪光灯图像的前景区域提取方法，包括下列步骤：

(1)利用相同的摄像机在相同的环境条件下获取闪光灯图像和无闪光灯图像，用FP和NFP分别表示闪光灯图像和无闪光灯图像；

(2)将两幅彩色图像由原始的RGB颜色空间变换到HSV颜色空间；

(3)计算两幅图像的饱和度(S)分量图和强度(V)分量图；

(4)用HNF_V(l)和HNF_S(l)，l＝1,2,...,L，分别表示无闪光灯图像强度分量和饱和度分量的直方图，用HF_V(l)和HF_S(l)分别表示闪光灯图像强度分量和饱和度分量的直方图，L表示无闪光灯图像和闪光灯图像的直方图的量化级数，计算两幅图像的强度分量和饱和度分量的差值直方图，分别用DH_V(l)和DH_S(l)表示；

(5)使用下式从闪光灯图像中提取候选前景区域二值化模板图BWFR：

式中，FP_V和FP_S经分别表示FP的强度图和饱和度图，BWFR取值为1的点代表前景区域候选像素点；

(6)对于候选前景区域二值化模板图BWFR，去除干扰区域，得到准确的前景区域二值图模板BW；

(7)使用二值图模板BW从原始闪光灯图像中提取前景区域，用FR表示，用FR_V和FR_S分别表示其强度分量图和饱和度分量图，对FR进行增强处理。

2.根据权利要求1所述的使用闪光灯图像的前景区域提取方法，其特征在于，其中的步骤（6），采用如下的方法去除干扰区域：

1)连接断裂：用数学形态学膨胀算子对潜在前景区域二值图中取值为1的点进行处理，连接断裂部分子；

2)填充空洞；

3)去除小区域：标注膨胀结果图像的连通区域，计算各连通区域内像素点的数目，对于某个连通区域，当它的像素数大于一定数值NUM时，被判定为前景区域；

4)缩小外轮廓：使用与步骤(1)中形状相同的结构算子对步骤3)处理结果进行腐蚀，将处理结果用BW表示。

3.根据权利要求1所述的使用闪光灯图像的前景区域提取方法，其特征在于，其中的步骤（7），采用如下的方法增强前景图像：

1)强度值增强：借助下式所示的指数变换，压缩高强度值，拉伸低强度值，并做归一化处理，用FR′_V表示处理后的饱和度分量：

${\mathrm{FR}}_V^{\&prime;}(x,y)=\frac{1}{\max \left\{{\left({\mathrm{FR}}_V\right)}^{\mathrm{\&gamma;}}\right\}}{\left({\mathrm{FR}}_V(x,y)\right)}^{\mathrm{\&gamma;}}$

式中，参数γ的大小决定了强度值的增强效果，可取γ＝0.2；

2)饱和度调整：采用下式线性拉伸调整饱和度，用FR′_S表示处理后的饱和度分量：

${\mathrm{FR}}_S^{\&prime;}(x,y)=\left\{\begin{array}{cc}1& {\mathrm{FR}}_S(x,y)=\max \{{\mathrm{FR}}_S\}\\ \frac{{\mathrm{FR}}_S(x,y)-\min \{{\mathrm{FR}}_S\}}{\max {\{\mathrm{FR}}_S\}-\min \{{\mathrm{FR}}_S\}}& \min \left\{{\mathrm{FR}}_S\right\}<{\mathrm{FR}}_S(x,y)<\max {\{\mathrm{FR}}_S\}\\ 0& {\mathrm{FR}}_S(x,y)=\min \{{\mathrm{FR}}_S\}.\end{array}\right.$

Images