CN102750535A - 自动提取图像前景的方法和系统 - Google Patents

Abstract

本发明提供了一种提取图像前景的方法和系统。所述方法包括：对待提取前景的彩色图像进行灰度化处理；对灰度化后的图像进行滤波处理；检测经滤波的图像的显著前景区域；确定前景范围；以及根据grabcut算法进行最终的前景提取。

Description

自动提取图像前景的方法和系统

技术领域

本发明总体地涉及计算机视觉中数字图像处理领域，尤其涉及自动提取图像前景的方法和系统。

背景技术

时至今日，随着科技和互联网行业的飞速发展，以往的人力处理已经不能满足当今人们的物质生活需要，更多的计算机处理方法更快更广泛的融入现代人的生活之中。

随着生活节奏的加快，人工智能领域也逐渐被人们所重视以取代以往的人力处理和简单的计算机计算，完全依靠计算机自主进行各种工作，是发展的必然趋势，而图形图像领域，是人们所感知最深的。

日常生活中，人们离不开购物，电子商务的出现与发展成为历史的必然，与传统的购物不同，电子商务是通过互联网技术，将商品上架于互联网，通过各种终端甚至手机客户端即可完成购物需求，但随着生活节奏的加快，通常的文字搜索已经不能满足人们的需要，一种新型的购物方法——拍照购物应时而生。

拍照购物主要依靠的是图像处理的方法，将用户拍摄的商品图像与商品图库的图像进行比对，找到最为相似的商品，但是由于用户拍摄的图像是任意的随机的，不可能与商家的商品图库完全吻合，复杂的商品背景环境对这一新型购物体验造成了很大的影响，商品与背景图像的分离成为了技术的关键，而传统的背景分离方法是基于人工干预即需要人为对要被分割的区域进行框选和设定，或者通过机器学习或其他经验型人工干预达到的，并未实现真正的人工智能。

发明内容

为了解决现有技术中的上述缺点和问题而提出本发明。

本发明提出一种提取图像前景的方法，包括：对待提取前景的彩色图像进行灰度化处理；对灰度化后的图像进行滤波处理；检测经滤波的图像的显著前景区域；确定前景范围；以及根据grabcut算法进行最终的前景提取。

优选地，检测经滤波的图像的显著前景区域包括：通过Canny边缘检测法来进行边缘检测；对边缘检测到的轮廓进行初步的提取。

优选地，确定前景范围包括：对提取的特征区域进行几何逼近，以获得所有区域的几何逼近区域；根据相应规则对所有区域的几何逼近区域进行筛选；以及寻找能包含筛选后的所有几何逼近区域的最大几何区域。

优选地，采用加权平均值法对图像进行所述灰度化处理。

优选地，采用高斯滤波进行所述滤波处理。

优选地，所述高斯滤波选择3*3的模板。

优选地，对所有区域的几何逼近区域进行筛选包括范围为

的阈值。

根据本发明的另一个方面，提供了一种提取图像前景的系统，包括：灰度化处理模块，用于对待提取前景的彩色图像进行灰度化处理；滤波处理模块，用于对经灰度化处理模块灰度化的图像进行滤波处理；特征区域提取模块，用于检测经滤波的图像的显著前景区域；前景范围确定模块，用于确定前景范围；以及前景最终提取模块，用于根据grabcut算法进行最终的前景提取。

优选地，所述特征区域提取模块包括：边缘检测模块，用于用边缘检测法和灰度阈值法中的一种来进行边缘检测；以及轮廓提取模块，用于对所述边缘检测模块所检测到的轮廓进行初步的提取，以确定轮廓线。

优选地，所述前景范围确定模块包括：初步区域框定模块，用于对所述特征区域提取模块所提取的特征区域进行几何逼近，以获得所有区域的几何逼近区域；区域筛选模块，用于根据预定规则对所述初步区域框定模块获得的所有几何区域进行筛选；以及最大几何区域确定模块，用于寻找能包含所述区域筛选模块筛选后的所有几何区域的最大几何区域。

附图说明

通过下面结合附图进行的描述，本发明一些示范性实施例的上述和其他方面、特征和优点对于本领域技术人员来说将变得显而易见，其中：

图1为根据本发明的示范性实施例的提取图像前景的方法的流程图；

图2为根据本发明的示范性实施例的检测图像的显著前景区域的方法的流程图；

图3为根据本发明的示范性实施例的精确确定前景范围的算法的流程图；以及

图4是根据本发明的示范性实施例的提取图像前景的系统的框图。

具体实施方式

提供参考附图的下面描述以帮助全面理解本发明的示范性实施例。其包括各种细节以助于理解，而应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，省略了对公知功能和结构的描述。

下面将参考附图详细描述本发明。

图1为根据本发明的示范性实施例的提取图像前景的方法的流程图。

在步骤S110中，对待提取前景的彩色图像进行灰度化处理操作。对图像进行灰度化的方法有许多种，经常使用的方法主要有以下三种：

(a)最大值法，其将彩色图像中的三分量亮度的最大值作为灰度图的灰度值，可以用公式f(i，j)＝max(R(i，j)，G(i，j)，B(i，j))来表达。采用最大值法对图像进行灰度化处理会使图像的整体亮度增强。

(b)平均值法，其将彩色图像中的三分量亮度求平均得到一个灰度值，可以用公式f(i，j)＝(R(i，j)+G(i，j)+B(i，j))/3来表达。采用平均值法对图像进行灰度化处理会形成比较柔和的灰度图像。

(c)加权平均法，其根据重要性及其它指标，将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下列公式(1)对RGB三分量进行加权平均能得到较合理的灰度图像：

Y＝0.299*R+0.587*G+0.114*B              (1)

其中Y代表转换后的像素值，R代表本像素的红色值，G代表本像素的绿色值，B代表本像素的蓝色值。

为了消除噪声干扰，在步骤S120中，对步骤S110中灰度化后的图像进行滤波处理。对图像进行滤波的方法有很多种，例如高斯滤波、中值滤波、均值滤波、最小均方差滤波、Gabor滤波等。作为一个示例，可以采用下列公式(2)的高斯平滑滤波：

$G(x,y)={\mathrm{Ae}}^{-\frac{x^2+y^2}{2{\mathrm{\δ}}^2}}---\left(2\right)$

其中，参数δ是高斯滤波模板，A是规范化系数。由于δ的值越大，平滑的窗口会越大，其平滑的力度也会越大，会使得平滑后的图像越模糊，所以可以根据需要选择适当的δ。这里通过对拍摄图像的噪声进行分析，所以可以选择例如3*3的模板来进行高斯平滑滤波。(本领域技术人员将清楚地理解m＝2*2δ²+1，其中m是模板的大小，即若

时，m＝3；)

在步骤S130中，检测经高斯平滑滤波的图像的显著前景区域，即对经高斯平滑滤波的图像进行特征区域提取。特征区域的提取例如是通过对预处理后的图像进行边缘检测和轮廓提取来得到。根据本发明的一个实施例，可以通过如图2中所示的过程来完成对显著前景区域的检测：

在步骤S210中，进行边缘检测。边缘检测例如可以包括Canny边缘检测法、Robert算子法、Sobel梯度法、二阶微分算子法等。

边缘是指图像变化最为显著的位置，物体的边缘是以图像局部特性的不连续性的形式出现，如灰度的突变等。从本质上说，边缘通常意味着一个区域的终结和另一个区域的开始。边缘检测是通过边缘检测算子找到物体的边缘，边缘检测算子是一组用在图像强度函数中定位变化重要的局部图像预处理方法。图像中的边缘通常与图像强度的一阶导数的不连续性有关。由于边缘是图像变化最剧烈的地方，采用微分处理将得到较高的值。

根据一个实施例，通过Canny边缘检测法来进行边缘检测和轮廓提取，其是通过(1)对处理后的图像使用一阶偏导有限差分计算梯度幅值和方向(2)对梯度幅值进行非极大抑制(3)采用预设的阈值进行双阈值算法检测和边缘连接来完成的。

在步骤S220中，对步骤S210中检测到的轮廓进行初步的提取。对边缘检测后所得到的二值图像进行联通区域检测，获得所有的内边界、外边界和环绕区域，最终确定二值图像中的轮廓线。

在步骤S140中，精确确定前景范围，该步骤可以通过图3中所示的步骤完成：

在步骤S310中，对步骤S130中提取的特征区域进行几何逼近，获得所有区域的几何逼近区域。可以采用的几何逼近的方式有很多，可以是矩形几何逼近、多边形几何逼近、也可以是曲线的几何逼近。例如，可以采用下面的方式来实现。

$\left\{\begin{array}{c}{x}_{\mathrm{left}\_\mathrm{up}}=\min \left(X\right),x_{\mathrm{right}\_\mathrm{bottom}}=\min \left(X\right),\\ y_{\mathrm{left}\_\mathrm{up}}=\max \left(Y\right),y_{\mathrm{right}\_\mathrm{bottom}}=\max \left(Y\right),\end{array}\right.$

其中X表示所有轮廓线的横向坐标值集，Y表示所有轮廓线的纵向坐标值集，其中Rect[x_{left_up}，y_{left_up}，x_{right_bottom}，y_{right_bottom}]是所逼近的矩形。

这里我们采用矩形区域作为几何区域，原因如下：相比其他非规则和规则区域，矩形区域的特征最为明显，可以通过确定左上角的坐标和右下角的坐标两点便可确定整个矩形区域；同时矩形相对于其他非规则或规则多边形区域在逼急效率上的计算时间复杂度更低，同时也能达到前景目标的初步区域框定。

在步骤S320中，对所有几何区域根据相应规则进行筛选，例如可以采用以下的筛选规则公式(3)：

$\left\{\begin{array}{c}{S}_{\mathrm{new}}=S_{\mathrm{Total}}-S^{\&prime;};\mathrm{if}(\mathrm{Area}\left(S^{\&prime;}\right)<\mathrm{Area}\left(S_{\mathrm{image}}\right)/T)\\ S_{\mathrm{new}}=S_{\mathrm{Total}};\mathrm{elae}\end{array}\right.---\left(3\right)$

其中S_new是获得的新的几何区域的集合，S_Total是初步确定的几何区域的集合，S′是当前待判定的几何区域，Area(.)表示几何区域的面积，T是对几何区域进行筛选的阈值。为了最大的去除预处理后剩余的噪声对最终结果的干扰，同时能够保证有用的前景信息并未被错误删除，根据实验，将阈值T的范围选择为

更优选，可以将选择为1/25。

在步骤S330中，寻找能包含所有几何区域的最大几何区域。例如，可以根据在步骤S320中所剩余的可选矩形区域，对所有矩形区域进行统计，获得最小的左上角坐标和最大的右下角坐标，这两点所确定的矩形区域即为能够包含S320所有剩余矩形的最小矩形区域。

在步骤S150中，进行最终的前景提取。例如，可以将在步骤S140中确定的最小矩形区域的内外图像分别作为前景和背景图像，然后根据grabcut算法完成最终的前景背景的分离，去除图像背景，保留前景目标。

图4是根据本发明的示范性实施例的提取图像前景的系统的框图。

如图4中所示，根据本发明的示范性实施例的提取图像前景的系统包括灰度化处理模块410、滤波处理模块420、特征区域提取模块430、前景范围确定模块440和前景最终提取模块450。

灰度化处理模块410对待提取前景的彩色图像进行灰度化处理，例如可以采用上述的最大值法、平均值法、加权平均法中的任意一种对图像进行灰度化。优选地，灰度化处理模块410采用加权平均值法对图像进行灰度化。由于上面已对这些灰度化处理方法进行了介绍，所以在此将再重复。

滤波处理模块420对经灰度化处理模块410灰度化的图像进行滤波处理，例如可以采用高斯滤波、中值滤波、均值滤波、最小均方差滤波、Gabor滤波等方法中的任意一种对图像进行滤波。优选地，滤波处理模块420采用高斯平滑滤波对图像进行滤波。对滤波处理的详细描述可以参加关于步骤S120进行的描述。

特征区域提取模块430检测经高斯平滑滤波的图像的显著前景区域。特征区域提取模块430包括边缘检测模块432和轮廓提取模块434。边缘检测模块432例如可以用边缘检测法和灰度阈值法等来进行边缘检测。

轮廓提取模块434对边缘检测模块432所检测到的轮廓进行初步的提取，其对边缘检测后所得到的二值图像进行联通区域检测，获得所有的内边界、外边界和环绕区域，最终确定二值图像中的轮廓线。

前景范围确定模块440用于精确确定前景范围。前景范围确定模块440包括初步区域框定模块442、区域筛选模块444、以及最大几何区域确定模块446。

初步区域框定模块442对特征区域提取模块430所提取的特征区域进行几何逼近，获得所有区域的几何逼近区域。

区域筛选模块444对初步区域框定模块442获得的所有几何区域进行筛选，例如可以采用以下的筛选规则公式(3)：

$\left\{\begin{array}{c}{S}_{\mathrm{new}}=S_{\mathrm{Total}}-S^{\&prime;};\mathrm{if}(\mathrm{Area}\left(S^{\&prime;}\right)<\mathrm{Area}\left(S_{\mathrm{image}}\right)/T)\\ S_{\mathrm{new}}=S_{\mathrm{Total}};\mathrm{elae}\end{array}\right.---\left(3\right)$

其中S_new是获得的新的几何区域的集合，S_Total是初步确定的几何区域的集合，S′是当前待判定的几何区域，Area(.)表示几何区域的面积，T是对几何区域进行筛选的阈值。为了最大的去除预处理后剩余的噪声对最终结果的干扰，同时能够保证有用的前景信息并未被错误删除，根据实验，将阈值T的范围选择为

更优选，可以将T选择为1/25。

最大几何区域确定模块446用于寻找能包含区域筛选模块444筛选后的所有几何区域的最大几何区域。例如，可以根据区域筛选模块444筛选后的可选矩形区域，对所有矩形区域进行统计，获得最小的左上角坐标和最大的右下角坐标，这两点所确定的矩形区域即为能够包含区域筛选模块444筛选后的所有剩余区域的最小矩形区域。

前景最终提取模块450用于进行最终的前景提取。例如，可以将在前景范围确定模块440中确定的最小矩形区域的内外图像分别作为前景和背景图像，然后根据grabcut算法完成最终的前景背景的分离，去除图像背景，保留前景目标。

本发明实施例的有益效果是：(1)通过对底层图像特征信息的分析与提取，解决了前景和背景需要人工干预而不能达到完全智能自动分离的目的；(2)因为是自动提取，解决了因不了解如何进行框定或如何选定待分离区域而导致前景分离失败或者前景被错误抹除的情况；(3)分块几何进行筛选解决了因图像预处理而不能达到完全的图像平滑降噪，而导致最终分离结果不准确的问题；(4)几何逼近算法能够更加精确的接近的待分离的前景目标区域，通过反复几何逼近达到了人为手工不能达到的精度。

应指出的是，上面分别对本发明的系统和方法实施例分别进行了描述，但是对一个实施例描述的细节也可应用于另一个实施例。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和系统的全部或者任何步骤或者部件可以以软件、硬件、固件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个软件模块或者一组软件模块来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

虽然本说明书包含许多特定实施方式细节，但是不应当将这些细节解释为对任何发明或可以主张的内容的范围的限制，而应当解释为对可以特定于特定发明的特定实施例的特征的描述。还可以将在本说明书中在分离的实施例的情境中描述的某些特征组合在单个实施例中实现。相反地，也可以将在单个实施方式的情境中描述的各个特征分离地在多个实施方式中实现或在任何适当的子组合中实现。此外，尽管可能在上面将特征描述为在某些组合中起作用，甚至最初主张如此，但是可以在一些情况下将来自所主张的组合的一个或多个特征从组合中删去，并且可以将所主张的组合指向子组合或者子组合的变体。

类似地，虽然在附图中以特定次序描绘了操作，但是不应当将这理解为需要以所示的特定次序或者以连续次序执行这样的操作、或者需要执行所有图示的操作才能达到期望的结果。在某些情况下，多任务以及并行处理可以是有利的。此外，不应当将在上述实施例中的各种系统组件的分离理解为在所有实施例中均需要这样的分离，而应当理解的是，通常可以将所描述的程序组件和系统集成到一起成为单个软件产品或封装为多个软件产品。

计算机程序(也称作程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，所述编程语言包括编译或解释语言、或者说明性或过程语言，并且其可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或适于在计算环境中使用的其它单元。计算机程序没有必要对应于文件系统中的文件。可以将程序存储在保持其它程序或数据的文件(例如，存储在标记语言文档中的一个或多个脚本)的一部分、专用于讨论中的程序的单个文件或者多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种提取图像前景的方法，包括：

对待提取前景的彩色图像进行灰度化处理；

对灰度化后的图像进行滤波处理；

检测经滤波的图像的显著前景区域；

确定前景范围；以及

根据grabcut算法进行最终的前景提取。

2.根据权利要求1所述的方法，其中，检测经滤波的图像的显著前景区域包括：

通过Canny边缘检测法来进行边缘检测；

对边缘检测到的轮廓进行初步的提取。

3.根据权利要求1所述的方法，其中，确定前景范围包括：

对提取的特征区域进行几何逼近，以获得所有区域的几何逼近区域；

根据相应规则对所有区域的几何逼近区域进行筛选；以及

寻找能包含筛选后的所有几何逼近区域的最大几何区域。

4.根据权利要求1所述的方法，其中，采用加权平均值法对图像进行所述灰度化处理。

5.根据权利要求1所述的方法，其中，采用高斯滤波进行所述滤波处理。

6.根据权利要求5所述的方法，其中，所述高斯滤波选择3*3的模板。

7.根据权利要求3所述的方法，其中，对所有区域的几何逼近区域进行筛选包括范围为

的阈值。

8.一种提取图像前景的系统，包括：

灰度化处理模块，用于对待提取前景的彩色图像进行灰度化处理；

滤波处理模块，用于对经灰度化处理模块灰度化的图像进行滤波处理；

特征区域提取模块，用于检测经滤波的图像的显著前景区域；

前景范围确定模块，用于确定前景范围；以及

前景最终提取模块，用于根据grabcut算法进行最终的前景提取。

9.根据权利要求8所述的系统，其中，所述特征区域提取模块包括：

边缘检测模块，用于用边缘检测法和灰度阈值法中的一种来进行边缘检测；以及

轮廓提取模块，用于对所述边缘检测模块所检测到的轮廓进行初步的提取，以确定轮廓线。

10.根据权利要求8所述的系统，其中，所述前景范围确定模块包括：

初步区域框定模块，用于对所述特征区域提取模块所提取的特征区域进行几何逼近，以获得所有区域的几何逼近区域；

区域筛选模块，用于根据预定规则对所述初步区域框定模块获得的所有几何区域进行筛选；以及

最大几何区域确定模块，用于寻找能包含所述区域筛选模块筛选后的所有几何区域的最大几何区域。

Images