CN105719243A - 图像处理装置和方法 - Google Patents

Abstract

本公开涉及图像处理装置和方法，图像处理装置包括：图像获取单元，其获取包含像素的图像；图片查找单元，其从图像中查找图片区域；背景获取单元，其在图像的不包括图片区域的非图片区域和图片区域中，分别执行背景连通域获取过程以分别获取非图片背景连通域和图片背景连通域；前景获取单元，其分别通过将非图片背景连通域和图片背景连通域从非图片区域和图片区域中去除，来分别获取非图片区域的非图片前景区域和图片区域的图片前景区域；以及合并单元，其将非图片区域的非图片前景区域和图片区域的图片前景区域进行合并，以获取最终图像前景区域。本公开可以更有效地提取文档前景区域。

Description

图像处理装置和方法

技术领域

本公开涉及图像处理领域，具体地涉及用于背透去除的装置和方法。

背景技术

这个部分提供了与本公开有关的背景信息，这不一定是现有技术。

在一些两面都存在书写或者印刷文字/图片的文档中，由于反面文档内容的影响，在正面文档的背景区域中会存在反面背透的文字或图片。同样的现象也存在于反面文档中。这种现象称为背透(show-through或bleed-through)，如图1A和图1B所示。通常，扫描文档图像里面的背透去除方法主要有两类：一类是只根据单面图像的信息来去除背透；另一类是根据两面图像的信息来去除背透。与第一类方法相比，第二类方法会根据两面图像的信息来得到文档图像的前景区域。由于利用了更多的信息，因而能够比较精确地去除背透区域。在第二类方法中，一个比较关键的地方在于有效地提取文档图像的前景区域。

如图2A和图2B所示，文档图像的前景层包括图片和文字两部分。很多传统的局部二值化/全局二值化方法可以用来提取图像的前景层。例如，根据设定的颜色或亮度阈值，将图像像素分类为前景像素和背景像素。然而，这些局部二值化/全局二值化方法只利用了单个像素或在局部区域内的信息。在一些文档的图片区域里，某些像素的颜色与背景像素的颜色非常接近，因而会被错误地分类为背景像素。这会导致前景像素的丢失。尽管有些方法可以用来定位文本行，然而，图像中的图片具有复杂的颜色分布及不规则的形状，这些方法很难有效地提取图片区域的前景层。因此，本公开将提出一种有效的提取文档前景区域的方案。

发明内容

这个部分提供了本公开的一般概要，而不是其全部范围或其全部特征的全面披露。

本公开的目的在于提供一种图像处理装置和图像处理方法，其可以不直接定位文档图像的前景层，而是通过检测相对容易定位的背景层，然后在检测到背景层之后将背景层去除，从而更有效地得到文档图像的前景层。

根据本公开的一方面，提供了一种图像处理装置，包括：图像获取单元，其获取包含像素的图像；图片查找单元，其从图像中查找图片区域；背景获取单元，其在图像的不包括图片区域的非图片区域和图片区域中，分别执行背景连通域获取过程以分别获取非图片背景连通域和图片背景连通域，非图片背景连通域中的每一个像素都被认为是非图片背景像素，而图片背景连通域中的每一个像素都被认为是图片背景像素；前景获取单元，其分别通过将非图片背景连通域和图片背景连通域从非图片区域和图片区域中去除，来分别获取非图片区域的非图片前景区域和图片区域的图片前景区域，非图片前景区域中的每一个像素都被认为是非图片前景像素，而图片前景区域中的每一个像素都被认为是图片前景像素；以及合并单元，其将非图片区域的非图片前景区域和图片区域的图片前景区域进行合并，以获取最终图像前景区域，图像前景区域中的每一个像素都被认为是图像前景像素。

根据本公开的另一方面，提供了一种图像处理方法，该方法包括：获取包含像素的图像；从图像中查找图片区域；在图像的不包括图片区域的非图片区域和图片区域中，分别执行背景连通域获取过程以分别获取非图片背景连通域和图片背景连通域，非图片背景连通域中的每一个像素都被认为是非图片背景像素而图片背景连通域中的每一个像素都被认为是图片背景像素；分别通过将非图片背景连通域和图片背景连通域从非图片区域和图片区域中去除，来分别获取非图片区域的非图片前景区域和图片区域的图片前景区域，非图片前景区域中的每一个像素都被认为是非图片前景像素，而图片前景区域中的每一个像素都被认为是图片前景像素；以及将非图片区域的非图片前景区域和图片区域的图片前景区域进行合并，以获取最终图像前景区域，图像前景区域中的每一个像素都被认为是图像前景像素。

根据本公开的另一方面，提供了一种程序产品，该程序产品包括存储在其中的机器可读指令代码，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本公开的图像处理方法。

根据本公开的另一方面，提供了一种机器可读存储介质，其上携带有根据本公开的程序产品。

使用根据本公开的图像处理装置和方法，可以将文档图像划分为候选图片区域以及非候选图片区域。然后，定位这两类区域的背景层。在检测到这两类区域的背景层之后，将其背景层去除，从而得到了文档图像的初始前景层。最后，对文档的初始前景层去除小的噪声后得到最终的前景层图像，从而更有效地得到文档图像的前景层。

这个概要中的描述和特定例子只是为了示意的目的，而不旨在限制本公开的范围。

附图说明

在此描述的附图只是为了所选实施例的示意的目的而非全部可能的实施，并且不旨在限制本公开的范围。在附图中：

图1A和图1B示出了本公开的技术方案所针对的存在背透的示例图像；

图2A示例性示出包括图片区域和文字区域的输入图像；

图2B示出图2A的输入图像的前景层；

图3为根据本公开的技术方案的基本思路的流程图；

图4为根据本公开的实施例的图像处理装置的框图；

图5为根据本公开的实施例的图像处理装置的一部分的框图；

图6示例性示出本公开的实施例中的连通域的外接矩形；

图7为根据本公开的实施例的图像处理装置的一部分的框图；

图8为根据本公开的另一个实施例的图像处理装置的框图；

图9为根据本公开的实施例的图像处理装置的一部分的框图；

图10为根据本公开的实施例的图像处理装置的一部分的框图；

图11为根据本公开的实施例的图像处理方法的流程图；

图12A示例性示出初始前景像素层；

图12B示例性示出针对图12A的初始前景像素层的二值化距离图像；

图12C示例性示出针对图12A的初始前景像素层的最终前景图像层；

图13示例性示出从源图像中裁剪得到的图像块；以及

图14为其中可以实现根据本公开的实施例的图像处理装置和方法的通用个人计算机的示例性结构的框图。

虽然本公开容易经受各种修改和替换形式，但是其特定实施例已作为例子在附图中示出，并且在此详细描述。然而应当理解的是，在此对特定实施例的描述并不打算将本公开限制到公开的具体形式，而是相反地，本公开目的是要覆盖落在本公开的精神和范围之内的所有修改、等效和替换。要注意的是，贯穿几个附图，相应的标号指示相应的部件。

实施方式

现在参考附图来更加充分地描述本公开的示例。以下描述实质上只是示例性的，而不旨在限制本公开、应用或用途。

下面提供了示例实施例，以便本公开将会变得详尽，并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定单元、装置和方法的示例，以提供对本公开的实施例的详尽理解。对于本领域技术人员而言将会明显的是，不需要使用特定的细节，示例实施例可以用许多不同的形式来实施，它们都不应当被解释为限制本公开的范围。在某些示例实施例中，没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。

图1A和图1B示出了本公开的技术方案所针对的存在背透的示例图像。当例如对文档进行扫描时，通常会发生所谓的背透现象，亦即在其中一页能看到另一页的内容。如图1A和图1B所示，在得到的扫描图像中，既存在由前景像素组成的正常图像部分，又存在由背透像素组成的背透图像。显然，背透像素的存在严重影响了文档的可读性，并进而可能会影响到自动字符识别。因此，有必要去除扫描图像中的背透部分。

如上面提到的那样，去除背透的方法主要是根据单面图像的信息和根据两面图像的信息来去除背透。在第二种方法中，关键在于有效地提取文档图像的前景层。图2A示出包括图片区域和文字区域的输入图像，而图2B示出该输入图像的前景层。在图2B中，黑色像素表示前景像素，而白色像素表示背景像素。很多传统的局部/全局二值化方法可以用来提取图像的前景层。然而，这些方法只利用了单个像素或在局部区域内的信息。而且，在一些文档的图片区域里，某些像素的颜色与背景像素的颜色非常接近，因而会被错误地分类为背景像素。这会导致前景像素的丢失。尽管有些方法可以用来定位文本行，然而图像中的图片具有复杂的颜色分布及不规则的形状，这些方法很难有效的提取图片区域的前景层。因此，本公开提出一种有效的提取文档前景区域的方案。

根据本公开的技术方案的基本思路并不直接定位图像的前景层，而是通过检测相对容易定位的背景层。然后，在检测到背景层之后将背景层去除，从而得到图像的前景层。

图3示出根据本公开的技术方案的基本思路的流程图。如图3所示，从输入图像中定位候选图片区域，同时获取去除候选图片区域之外的非候选图片区域。亦即，在此图像被划分为两部分：候选图片区域和非候选图片区域。接下来，在候选图片区域以及非候选图片区域中，分别通过连通域分析来检测各自的背景区域。然后，在候选图片区域以及非候选图片区域中，分别将背景区域去除，以得到候选图片区域以及非候选图片区域的前景区域。接下来，将得到的候选图片区域以及非候选图片区域的前景区域进行合并(未示出)，以输出该输入图像的前景区域。

上面简要描述了根据本公开的技术方案的基本思路。接下来参考附图来进一步详细地描述本公开的技术方案。

图4示出了根据本公开的实施例的图像处理装置400。如图4所示，根据本公开的实施例的图像处理装置400可以包括图像获取单元410、图片查找单元420、背景获取单元430、前景获取单元440以及合并单元450。

图像获取单元410可以获取包含像素的图像如给定的输入图像I(x，y)。

接下来，图片查找单元420可以从图像中查找图片区域。根据本公开的一个实施例，图片查找单元420可以针对输入图像I(x，y)执行如连通域获取过程，以获取图片区域。结合图2A和图2B，图片查找单元420可能将对应于图2B中的4个黑色阴影部分的图2A中的4幅图片定位为图片区域，而将除了所定位的图片区域之外的区域定位为非图片区域。

然后，背景连通域获取单元430可以在图像的不包括图片区域的非图片区域和图片区域中，分别执行背景连通域获取过程以分别获取非图片背景连通域和图片背景连通域。在非图片背景连通域中的每一个像素都可以作为非图片背景像素，而在图片背景连通域中的每一个像素都可以作为图片背景像素。根据本公开的一个实施例，假定输入图像I(x，y)存在颜色均匀的背景，针对其非图片区域，尺寸比较大的连通域可以被定位成该非图片区域的背景连通域(以下也称为CC_bg)。同样，针对其图片区域，尺寸比较大的连通域也可以被定位成该图片区域的背景连通域。此外，在获取非图片背景连通域和图片背景连通域的过程中，每个像素可以被赋值为其所属连通域的标记如(1～n)。

接下来，前景获取单元440可以分别通过将非图片背景连通域和图片背景连通域从非图片区域和图片区域中去除，来获取非图片区域的非图片前景区域和图片区域的图片前景区域。在非图片前景区域中的每一个像素都可以作为非图片前景像素，而在图片前景区域中的每一个像素都可以作为图片前景像素。根据本公开的一个实施例，针对输入图像I(x，y)的非图片区域，在定位到背景连通域CC_bg之后，可以将属于该背景连通域CC_bg的背景像素去除，从而得到该非图片区域的初始前景图像例如Mask_fore,init：

${\mathrm{Mask}}_{\mathrm{fore},\mathrm{init}}(x,y)=\left\{\begin{array}{cc}1,\mathrm{if}& \mathrm{label}(x,y)\≠\mathrm{label}\left(\mathrm{bg}\right)\\ 0,\mathrm{if}& \mathrm{label}(x,y)=\mathrm{label}\left(\mathrm{bg}\right)\end{array}\right.---\left(1\right)$

其中，label(bg)表示背景连通域CC_bg的标记，而label(x，y)表示像素(x，y)所属连通域的标记。同样，针对输入图像I(x，y)的图片区域，也可以在定位到背景连通域之后，将属于该背景连通域的背景像素去除，从而得到该图片区域的初始前景图像。

然后，合并单元450可以将非图片区域的非图片前景区域和图片区域的图片前景区域进行合并，以获取最终的图像前景区域，该图像前景区域中的每一个像素可以作为图像前景像素。

使用如图4所示的图像处理装置400，可以不直接定位文档图像的前景层，而是通过检测相对容易定位的背景层，然后在检测到背景层之后将背景层去除，从而更有效地得到文档图像的前景层。

根据本公开的另一实施例，如图5所示，图片查找单元420还可以包括第一梯度图像获取单元4201、第一图像转换单元4202、候选图片连通域获取单元4203、图片选择单元4204以及图片标记单元4205。

第一梯度图像获取单元4201可以基于图像的像素信息来获取图像的梯度图像。根据本公开的一个实施例，给定一幅输入图像I(x，y)，第一梯度图像获取单元4201可以通过如Sobel算子来计算该输入图像相应的梯度图像I_Grad(x，y)。当然，也可以采用本领域公知的其它算子来计算图像相应的梯度图像。

接下来，第一图像转换单元4202可以将图像的梯度图像转换成二值图像。例如，第一图像转换单元4202可以通过全局阈值化方法，将输入图像I(x，y)的梯度图像I_Grad(x，y)转换为二值图像Mask_Grad(x，y)：

${\mathrm{Mask}}_{\mathrm{Grad}}(x,y)=\left\{\begin{array}{c}1,I_{\mathrm{Grad}}(x,y)>t\\ 0,I_{\mathrm{Grad}}(x,y)\≤t\end{array}\right.---\left(2\right),$

当然，也可以采用本领域公知的其它方法来选择阈值t，或采用本领域公知的其它方法将梯度图像转换为二值图像。

然后，候选图片连通域获取单元4203可以对二值图像执行连通域分析算法，以获取候选图片连通域。根据本公开的一个实施例，如在上述二值图像Mask_Grad(x，y)上，候选图片连通域获取单元4203可以定位值为“1”的像素的连通域：CC(1)₁、CC(1)₂、…,CC(1)_n，以作为候选图片连通域，其中，每个值为“1”的像素可以被赋值为其所属连通域的标记(1～n)。

然而，所定位的候选图片连通域可能具有不同的尺寸。通常，可以判定尺寸比较大的候选图片连通域为候选图片区域。接下来，图片选择单元4204可以选择尺寸(如高度或宽度)大于预定阈值的候选图片连通域作为图片区域。为了满足界定连通域的尺寸，可以为连通域(如其高度或宽度)设置预定阈值，该预定阈值可以通过经验值来确定。

然后，图片标记单元4205可以标记图片区域的边界，以将图片区域与非图片区域分离。根据本公开的一个实施例，图片标记单元4205可以将位于尺寸比较大的候选图片连通域(即图片区域)外接矩形上的像素设置为前景像素(值为“1”)，如图6所示：

${\mathrm{RMask}}_{\mathrm{Grad}}(x,y)=\left\{\begin{array}{c}1,\mathrm{if}{x}_0\≤x\≤x_1,y=y_0\mathrm{or}{y}_1;y_0\≤y\≤y_1,x=x_0\mathrm{or}{x}_1\\ {\mathrm{Mask}}_{\mathrm{Grad}}(x,y),\mathrm{else}\end{array}\right.---\left(3\right)$

其中，x₀、y₀、x₁、y₁分别表示候选图片连通域的外接矩形的坐标，即外接矩形的宽度w为x₁-x₀，而外接矩形的高度h为y₁-y₀。

根据本公开的又一实施例，如图7所示，背景获取单元430还可以包括第二梯度图像获取单元4301、第二图像转换单元4302、划分单元4303、候选背景获取单元4304以及背景选择单元4305。

第二梯度图像获取单元4301可以基于图像的像素信息来获取图像的梯度图像。根据本公开的一个实施例，如上述给定的输入图像I(x，y)，第二梯度图像获取单元4301可以通过如Sobel算子来计算该输入图像相应的梯度图像I_Grad(x，y)。同样，也可以采用本领域公知的其它算子来计算图像相应的梯度图像。

接下来，第二图像转换单元4302可以将图像的梯度图像转换成二值图像。根据本公开的一个实施例，第二图像转换单元4302可以通过如全局阈值化方法，将输入图像I(x，y)的梯度图像I_Grad(x，y)转换为二值图像Mask_Grad(x，y)。同样，也可以采用本领域公知的其它方法来选择阈值t，或采用本领域公知的其它方法将梯度图像转换为二值图像。

接下来，划分单元4303可以将图像的二值图像划分为非图片区域和图片区域。根据本公开的一个实施例，如在二值图像Mask_Grad(x，y)上，划分单元4303可以将像素值为“1”的连通域CC(1)₁、CC(1)₂、…,CC(1)_n划分为图片区域，而将像素值为“0”的连通域CC(0)₁、CC(0)₂、…,CC(0)_n划分为非图片区域。

然后，候选背景获取单元4304可以分别对非图片区域和图片区域执行连通域分析算法，以分别获取非图片区域的候选背景连通域和图片区域的候选背景连通域。通常，针对非图片区域，如在RMask_Grad(x，y)图像中，值为“0”的像素具有较小的梯度响应，因此，值为“0”的像素将对应非图片区域背景像素。因此，根据本公开的一个实施例，如在二值图像RMask_Grad(x，y)中，候选背景获取单元4304可以分别在非图片区域和图片区域中定位像素值为“0”的连通域CC(0)₁、CC(0)₂、…,CC(0)_n，以作为非图片区域和图片区域的候选背景连通域，其中，每个值为“0”的像素可以分别被赋值为其所属连通域的标记(1～n)。

在本实施例中，针对单独的非图片区域和图片区域，可以假定它们都存在颜色均匀的背景。因而，无论非图片区域或图片区域的候选背景区域都可能是一个尺寸比较大的连通域。

接下来，背景选择单元4305可以分别在非图片区域和图片区域中选择具有最大尺寸的候选背景连通域作为非图片区域的非图片背景连通域和图片区域的图片背景连通域。根据本公开的一个实施例，针对非图片区域，尺寸最大的候选背景连通域可以被标记为背景连通域CC_bg：

CC(0)_max＝argmax_{i＝1，2...，n}size(CC(0)_i)(4)

$\mathrm{size}\left(\mathrm{CC}{\left(0\right)}_i\right)=w_{{\mathrm{CC}\left(0\right)}_i}*h_{{\mathrm{CC}\left(0\right)}_i}---\left(5\right)$

其中，size(CC(0)_i)表示候选背景连通域CC(0)_i包含背景像素的数目，w_CC(0)i和h_CC(0)i分别表示该候选背景连通域外接矩形的宽度和高度(如图6所示)。

此外，本领域技术人员将会意识到的是，由于所获取的文档图像的前景层中可能存在噪声，所以还可以进行对该前景层的修正过程。因此，提供了根据本公开的另一个实施例的图像处理装置。图8示出了根据本公开的另一个实施例的图像处理装置800。除了修正单元860之外，如图8所示的图像处理装置800的其它组成部分与如图4所示的图像处理装置400相同，本公开对此不再重复。

如图8所示，除了图像获取单元410、图片查找单元420、背景获取单元430、前景获取单元440以及合并单元450之外，图像处理装置800可以进一步包括修正单元860。

如图9所示，修正单元860可以进一步包括背景颜色获取单元8601、背景颜色计算单元8602、二值距离图像计算单元8603、计数单元8604以及设置单元8605。

背景颜色获取单元8601可以基于图像中非图片背景连通域中的非图片背景像素的信息来获取图像的参考背景颜色。例如，根据背景获取单元430获取的非图片背景连通域CC_bg，非图片背景区域的颜色均值(即参考背景颜色)可以估计得到：

${\mathrm{color}}_{\mathrm{bg}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{color}\left({\mathrm{CC}}_{\mathrm{bg},i}\right)---\left(6\right)$

可选地，具有最大频数的颜色也可以被当作参考背景颜色。具体地，每个非图片背景像素的颜色被量化到格子(bin)(例如，0、1、…、31，共32个bin)里，然后，可以计算每个非图片背景像素在这些bin里的直方图:h₁、h₂、…、h_d,其中，具有最大值的bin里像素的平均颜色值可以被作为参考背景颜色。

接下来，背景颜色计算单元8602可以计算图像中的每个像素的颜色和图像的参考背景颜色之间的距离以获取距离图。根据本公开的一个实施例，可以根据输入图像I(x，y)颜色图像和由背景颜色获取单元8601获取的参考背景颜色来计算距离图像dist(x，y)：

dist(x，y)＝|I(x，y)-color_bg|(7)

其中，|·|表示L1(几何)距离。

然后，二值距离图像计算单元8603可以基于距离图来计算二值距离图像。根据本公开的一个实施例，二值距离图像计算单元8603可以基于背景颜色计算单元8602计算的距离图像dist(x，y)，通过例如全局二值化方法(如OTSU)来获取一幅距离二值图像(下文也称为模板图像)Mask_dist(x，y)：

${\mathrm{Mask}}_{\mathrm{dist}}(x,y)=\left\{\begin{array}{c}1,\mathrm{dist}(x,y)>t_2\\ 0,\mathrm{dist}(x,y)\≤t_2\end{array}\right.---\left(8\right)$

其中，t₂是根据OTSU算法计算得到的阈值。当然，也可以采用本领域公知的其它方法来计算二值距离图。在这幅距离二值图像(模板图像)里，值为“1”的像素表示该像素具有很高的概率是前景像素。

接下来，计数单元8604可以计数二值距离图像的以图像前景像素为中心的一定范围内的参考图像前景像素的数目。根据本公开的一个实施例，在初始前景图像Mask_fore,init里，计数单元8604可以计数模板图像Mask_dist的以初始图像前景像素为中心的一定范围内的参考前景像素的数目。可选地，计数单元8604也可以对初始图像前景区域中的每个连通域来计算在模板图像Mask_dist里对应区域包含的参考图像前景像素的数目：

Num_fore(CC_i)＝#{Mask_dist(x，y)＝1}，x₀≤x≤x₁，y₀≤y≤y₁(9)

其中，x₀、y₀、x₁、y₁分别表示连通域CC(0)_i的外接矩形的坐标。

接下来，设置单元8605可以将参考图像前景像素的数目小于第二预定阈值的图像前景像素设置为图像的背景像素。根据本实施例，如果Num_fore(CC_i)的值小于第二预定阈值，则该连通域被认为是无效的。亦即，对所有判断为无效的连通域，将属于这些连通域的前景像素设置为背景像素，从而得到最终的前景像素层。

如图12A、图12B和图12C分别示例性示出初始前景像素层Mask_fore,init、针对图12A的初始前景像素层Mask_fore,init的二值化距离图像和针对图12A的初始前景像素层Mask_fore,init的最终前景图像层Mask_fore。

此外，对于那些图片区域，每个图片区域可以当作一幅单独的图像进行处理。如图13所示，图像中的流程图是一个比较大的连通域，并从原始图像中裁剪出来。与前面类似的非图片前景层提取方法被应用于该图像块，以提取图像块的前景层。

使用如图8所示的图像处理装置800，可以将文档图像划分为图片区域及非图片区域，然后去定位这两类区域的背景层。在检测到背景层之后将背景层去除，从而得到文档图像的初始前景层。最后，对文档的初始前景层去除小的噪声后得到最终的前景层图像，继而可以解决由于文档中存在多种类型的颜色及复杂的图片区域而难于提取图片区域的前景层的问题。

根据本公开的又一实施例，如图10所示，修正单元860可以进一步包括图片修正单元8606、图片颜色距离计算单元8607以及图片前景保留单元8608。

图片修正单元8606可以基于图片背景连通域中的图片背景像素的信息，来获取图片区域的背景颜色。

然后，图片颜色距离计算单元8607可以计算图片区域的背景颜色和图像的参考背景颜色之间的距离以获取背景颜色距离。根据本实施例，假定图片区域的背景颜色记为color_bg,k，图片颜色距离计算单元8607可以计算图片区域的背景颜色color_bg,k和图像的参考背景颜色color_bg之间的距离：

dif＝|color_bg，k-color_bg|(10)。

接下来，图片前景保留单元8608可以在背景颜色距离大于阈值的情况下，保留图片区域的全部作为图片区域的图片前景区域。即根据本实施例，如果dif的值超过设定的阈值，这意味着候选图片区域的背景颜色与整幅图像的背景颜色不同，因而整幅候选图片区域都被保留下来。否则，与上面相类似的前景提取方法将用来提取该候选图片区域的前景。

下面结合图11来描述根据本公开的实施例的图像处理的方法。如图11所示，根据本公开的实施例的图像处理的方法开始于步骤S1110。在步骤S1110中，获取包含像素的图像。

接下来，在步骤S1120中，从图像中查找图片区域。

接下来，在步骤S1130中，在图像的不包括图片区域的非图片区域和图片区域中，分别执行背景连通域获取过程以分别获取非图片背景连通域和图片背景连通域，非图片背景连通域中的每一个像素都被认为是非图片背景像素，而图片背景连通域中的每一个像素都被认为是图片背景像素。

接下来，在步骤S1140中，分别通过将非图片背景连通域和图片背景连通域从非图片区域和图片区域中去除，来分别获取非图片区域的非图片前景区域和图片区域的图片前景区域，非图片前景区域中的每一个像素都被认为是非图片前景像素，而图片前景区域中的每一个像素都被认为是图片前景像素。

接下来，在步骤S1150中，将非图片区域的非图片前景区域和图片区域的图片前景区域进行合并，以获取最终图像前景区域，图像前景区域中的每一个像素都被认为是图像前景像素。在这之后，过程结束。

根据本公开的又一实施例，还可以执行从图像中查找图片区域的步骤，该步骤进一步包括：基于图像的像素信息来获取图像的梯度图像；将图像的梯度图像转换成二值图像；对二值图像执行连通域分析算法，以获取候选图片连通域；选择尺寸大于第一预定阈值的候选图片连通域作为图片区域；以及标记图片区域的边界，以将其与非图片区域分离的步骤。

根据本公开的又一实施例，执行获取过程进一步包括：基于图像的像素信息来获取图像的梯度图像；将图像的梯度图像转换成二值图像；将图像的二值图像划分为非图片区域和图片区域；分别对非图片区域和图片区域执行连通域分析算法，以分别获取非图片区域的候选背景连通域和图片区域的候选背景连通域；以及分别在非图片区域和图片区域中选择具有最大尺寸的候选背景连通域作为非图片区域的非图片背景连通域和图片区域的图片背景连通域的步骤。

根据本公开的又一实施例，还可以执行进一步修正过程的步骤，该修正过程包括：基于图像中非图片背景连通域中的非图片背景像素的信息，来获取图像的背景颜色；计算图像中的每个像素的颜色和图像的背景颜色之间的距离以获取距离图；基于距离图来计算二值距离图像；计数二值距离图像的以图像前景像素为中心的一定范围内的参考图像前景像素的数目；以及将参考图像前景像素的数目小于第二预定阈值的图像前景像素设置为图像的背景像素的步骤。

根据本公开的又一实施例，修正过程可以进一步包括：基于图片背景连通域中的图片背景像素的信息，来获取图片区域的背景颜色；计算图片区域的背景颜色和图像的参考背景颜色之间的距离以获取背景颜色距离；以及在背景颜色距离大于阈值的情况下，保留图片区域的全部作为图片区域的图片前景区域。

根据本公开的又一实施例，获取图像的背景颜色的过程进一步包括：将每个非图片背景像素的颜色量化到格子中；计算每个非图片背景像素在相应的格子里的直方图；以及选择具有最大值的格子作为所述图像的参考背景颜色。

根据本公开的实施例的图像处理方法的上述步骤的各种具体实施方式前面已经作过详细描述，在此不再重复说明。

显然，根据本公开的图像处理方法的各个操作过程可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。

而且，本公开的目的也可以通过下述方式实现：将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。此时，只要该系统或者设备具有执行程序的功能，则本公开的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。

上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。

另外，计算机通过连接到因特网上的相应网站，并且将依据本公开的计算机程序代码下载和安装到计算机中然后执行该程序，也可以实现本公开的技术方案。

图14为其中可以实现根据本公开的实施例的图像处理装置和方法的通用个人计算机的示例性结构的框图。

如图14所示，CPU1301根据只读存储器(ROM)1302中存储的程序或从存储部分1308加载到随机存取存储器(RAM)1303的程序执行各种处理。在RAM1303中，也根据需要存储当CPU1301执行各种处理等等时所需的数据。CPU1301、ROM1302和RAM1303经由总线1304彼此连接。输入/输出接口1305也连接到总线1304。

下述部件连接到输入/输出接口1305：输入部分1306(包括键盘、鼠标等等)、输出部分1307(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，以及扬声器等)、存储部分1308(包括硬盘等)、通信部分1309(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1309经由网络比如因特网执行通信处理。根据需要，驱动器1310也可连接到输入/输出接口1305。可拆卸介质1311比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1310上，使得从中读出的计算机程序根据需要被安装到存储部分1308中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1311安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图14所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1311。可拆卸介质1311的示例包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM1302、存储部分1308中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

在本公开的装置和方法中，显然，各单元或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

以上虽然结合附图详细描述了本公开的实施例，但是应当明白，上面所描述的实施方式只是用于说明本公开，而并不构成对本公开的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本公开的实质和范围。因此，本公开的范围仅由所附的权利要求及其等效含义来限定。

关于包括以上实施例的实施方式，还公开下述的附记：

附记1.一种图像处理装置，包括：

图像获取单元，其获取包含像素的图像；

图片查找单元，其从所述图像中查找图片区域；

背景获取单元，其在所述图像的不包括所述图片区域的非图片区域和所述图片区域中分别执行背景连通域获取过程，以分别获取非图片背景连通域和图片背景连通域，所述非图片背景连通域中的每一个像素都被认为是非图片背景像素，而所述图片背景连通域中的每一个像素都被认为是图片背景像素；

前景获取单元，其分别通过将所述非图片背景连通域和所述图片背景连通域从所述非图片区域和所述图片区域中去除，来分别获取所述非图片区域的非图片前景区域和所述图片区域的图片前景区域，所述非图片前景区域中的每一个像素都被认为是非图片前景像素，而所述图片前景区域中的每一个像素都被认为是图片前景像素；以及

合并单元，其将所述非图片区域的非图片前景区域和所述图片区域的图片前景区域进行合并，以获取最终的图像前景区域，所述图像前景区域中的每一个像素都被认为是图像前景像素。

附记2.根据附记1所述的装置，其中，所述图片查找单元包括：

第一梯度图像获取单元，其基于所述图像的像素信息来获取所述图像的梯度图像；

第一图像转换单元，其将所述图像的梯度图像转换成二值图像；

候选图片连通域获取单元，其对所述二值图像执行连通域分析算法，以获取候选图片连通域；

图片选择单元，其选择尺寸大于第一预定阈值的候选图片连通域作为所述图片区域；以及

图片标记单元，其标记所述图片区域的边界，以将其与所述非图片区域分离。

附记3.根据附记1所述的装置，其中，所述背景获取单元包括：

第二梯度图像获取单元，其基于所述图像的像素信息来获取所述图像的梯度图像；

第二图像转换单元，其将所述图像的梯度图像转换成二值图像；

划分单元，其将所述图像的二值图像划分为所述非图片区域和所述图片区域；

候选背景获取单元，其分别对所述非图片区域和所述图片区域执行连通域分析算法，以分别获取所述非图片区域的候选背景连通域和所述图片区域的候选背景连通域；以及

背景选择单元，其分别在所述非图片区域和所述图片区域中选择具有最大尺寸的候选背景连通域作为所述非图片区域的非图片背景连通域和所述图片区域的图片背景连通域。

附记4.根据附记1至3中任一项所述的装置，进一步包括修正单元，所述修正单元包括：

背景颜色获取单元，其基于所述图像中非图片背景连通域中的非图片背景像素的信息，来获取所述图像的参考背景颜色；

背景颜色计算单元，其计算所述图像中的每个像素的颜色和所述图像的参考背景颜色之间的距离以获取距离图；

二值距离图像计算单元，其基于所述距离图来计算二值距离图像；

计数单元，其计数所述二值距离图像的以所述图像前景像素为中心的一定范围内的参考图像前景像素的数目；以及

设置单元，其将所述参考图像前景像素的数目小于第二预定阈值的所述图像前景像素设置为所述图像的背景像素。

附记5.根据附记4所述的装置，所述修正单元进一步包括：

图片修正单元，其基于所述图片背景连通域中的图片背景像素的信息，来获取所述图片区域的背景颜色；

图片颜色距离计算单元，其计算所述图片区域的背景颜色和所述图像的参考背景颜色之间的距离以获取背景颜色距离；以及

图片前景保留单元，其在所述背景颜色距离大于阈值的情况下，保留所述图片区域的全部作为所述图片区域的图片前景区域。

附记6.根据附记4所述的装置，其中，所述背景颜色获取单元进一步包括：

颜色量化单元，其将每个非图片背景像素的颜色量化到格子bin中；

直方图计算单元，其计算每个非图片背景像素在相应的格子bin里的直方图；以及

颜色选择单元，其选择具有最大值的格子bin里像素的平均颜色值作为所述图像的参考背景颜色。

附记7.根据附记4所述的装置，其中，所述计数单元对所述图像前景区域中的每个连通域来计算在所述二值距离图像里对应区域包含的参考图像前景像素的数目。

附记8.根据附记4所述的装置，其中，所述二值距离图像计算单元通过OTSU算法来计算二值距离图像。

附记9.根据附记1所述的装置，其中，所述非图片区域和所述图片区域都存在颜色均匀的背景。

附记10.一种图像处理方法，包括：

获取包含像素的图像；

从所述图像中查找图片区域；

在所述图像的不包括所述图片区域的非图片区域和所述图片区域中，分别执行背景连通域获取过程以分别获取非图片背景连通域和图片背景连通域，所述非图片背景连通域中的每一个像素都被认为是非图片背景像素而所述图片背景连通域中的每一个像素都被认为是图片背景像素；

分别通过将所述非图片背景连通域和所述图片背景连通域从所述非图片区域和所述图片区域中去除，来分别获取所述非图片区域的非图片前景区域和所述图片区域的图片前景区域，所述非图片前景区域中的每一个像素都被认为是非图片前景像素，而所述图片前景区域中的每一个像素都被认为是图片前景像素；以及

将所述非图片区域的非图片前景区域和所述图片区域的图片前景区域进行合并，以获取最终图像前景区域，所述图像前景区域中的每一个像素都被认为是图像前景像素。

附记11.根据附记6所述的方法，其中，从所述图像中查找图片区域进一步包括：

基于所述图像的像素信息来获取所述图像的梯度图像；

将所述图像的梯度图像转换成二值图像；

对所述二值图像执行连通域分析算法，以获取候选图片连通域；

选择尺寸大于第一预定阈值的候选图片连通域作为所述图片区域；以及

标记所述图片区域的边界，以将其与所述非图片区域分离。

附记12.根据附记6所述的方法，其中，所述获取过程进一步包括：

基于所述图像的像素信息来获取所述图像的梯度图像；

将所述图像的梯度图像转换成二值图像；

将所述图像的二值图像划分为所述非图片区域和所述图片区域；

分别对所述非图片区域和所述图片区域执行连通域分析算法，以分别获取所述非图片区域的候选背景连通域和所述图片区域的候选背景连通域；以及

分别在所述非图片区域和所述图片区域中选择具有最大尺寸的候选背景连通域作为所述非图片区域的非图片背景连通域和所述图片区域的图片背景连通域。

附记13.根据附记10至12中任一项所述的方法，进一步包括修正过程，所述修正过程包括：

基于所述图像中非图片背景连通域中的非图片背景像素的信息，来获取所述图像的背景颜色；

计算所述图像中的每个像素的颜色和所述图像的背景颜色之间的距离以获取距离图；

基于所述距离图来计算二值距离图像；

计数所述二值距离图像的以所述图像前景像素为中心的一定范围内的参考图像前景像素的数目；以及

将所述参考图像前景像素的数目小于第二预定阈值的所述图像前景像素设置为所述图像的背景像素。

附记14.根据附记13所述的方法，进一步包括：

基于所述图片背景连通域中的图片背景像素的信息，来获取所述图片区域的背景颜色；

计算所述图片区域的背景颜色和所述图像的参考背景颜色之间的距离以获取背景颜色距离；以及

在所述背景颜色距离大于阈值的情况下，保留所述图片区域的全部作为所述图片区域的图片前景区域。

附记15.根据附记13所述的方法，其中，获取所述图像的背景颜色进一步包括：

将每个非图片背景像素的颜色量化到格子bin中；

计算每个非图片背景像素在相应的格子bin里的直方图；以及

选择具有最大值的格子bin里像素的平均颜色值作为所述图像的参考背景颜色。

附记16.根据附记13所述的方法，其中，对所述图像前景区域中的每个连通域来计算在所述二值距离图像里对应区域包含的参考图像前景像素的数目。

附记17.根据附记13所述的方法，其中，通过OTSU算法来计算二值距离图像。

附记18.根据附记10所述的方法，其中，所述非图片区域和所述图片区域都存在颜色均匀的背景。

附记19.一种机器可读存储介质，其上携带有包括存储在其中的机器可读指令代码的程序产品，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据附记10-18中任何一项所述的方法。

Claims (10)

1.一种图像处理装置，包括：

图像获取单元，其获取包含像素的图像；

图片查找单元，其从所述图像中查找图片区域；

背景获取单元，其在所述图像的不包括所述图片区域的非图片区域和所述图片区域中分别执行背景连通域获取过程，以分别获取非图片背景连通域和图片背景连通域，所述非图片背景连通域中的每一个像素都被认为是非图片背景像素，而所述图片背景连通域中的每一个像素都被认为是图片背景像素；

前景获取单元，其分别通过将所述非图片背景连通域和所述图片背景连通域从所述非图片区域和所述图片区域中去除，来分别获取所述非图片区域的非图片前景区域和所述图片区域的图片前景区域，所述非图片前景区域中的每一个像素都被认为是非图片前景像素，而所述图片前景区域中的每一个像素都被认为是图片前景像素；以及

合并单元，其将所述非图片区域的非图片前景区域和所述图片区域的图片前景区域进行合并，以获取最终的图像前景区域，所述图像前景区域中的每一个像素都被认为是图像前景像素。

2.根据权利要求1所述的装置，其中，所述图片查找单元包括：

第一梯度图像获取单元，其基于所述图像的像素信息来获取所述图像的梯度图像；

第一图像转换单元，其将所述图像的梯度图像转换成二值图像；

候选图片连通域获取单元，其对所述二值图像执行连通域分析算法，以获取候选图片连通域；

图片选择单元，其选择尺寸大于第一预定阈值的候选图片连通域作为所述图片区域；以及

图片标记单元，其标记所述图片区域的边界，以将其与所述非图片区域分离。

3.根据权利要求1所述的装置，其中，所述背景获取单元包括：

第二梯度图像获取单元，其基于所述图像的像素信息来获取所述图像的梯度图像；

第二图像转换单元，其将所述图像的梯度图像转换成二值图像；

划分单元，其将所述图像的二值图像划分为所述非图片区域和所述图片区域；

候选背景获取单元，其分别对所述非图片区域和所述图片区域执行连通域分析算法，以分别获取所述非图片区域的候选背景连通域和所述图片区域的候选背景连通域；以及

背景选择单元，其分别在所述非图片区域和所述图片区域中选择具有最大尺寸的候选背景连通域作为所述非图片区域的非图片背景连通域和所述图片区域的图片背景连通域。

4.根据权利要求1至3中任一项所述的装置，进一步包括修正单元，所述修正单元包括：

背景颜色获取单元，其基于所述图像中非图片背景连通域中的非图片背景像素的信息，来获取所述图像的参考背景颜色；

背景颜色计算单元，其计算所述图像中的每个像素的颜色和所述图像的参考背景颜色之间的距离以获取距离图；

二值距离图像计算单元，其基于所述距离图来计算二值距离图像；

计数单元，其计数所述二值距离图像的以所述图像前景像素为中心的一定范围内的参考图像前景像素的数目；以及

设置单元，其将所述参考图像前景像素的数目小于第二预定阈值的所述图像前景像素设置为所述图像的背景像素。

5.根据权利要求4所述的装置，所述修正单元进一步包括：

图片修正单元，其基于所述图片背景连通域中的图片背景像素的信息，来获取所述图片区域的背景颜色；

图片颜色距离计算单元，其计算所述图片区域的背景颜色和所述图像的参考背景颜色之间的距离以获取背景颜色距离；以及

图片前景保留单元，其在所述背景颜色距离大于阈值的情况下，保留所述图片区域的全部作为所述图片区域的图片前景区域。

6.根据权利要求4所述的装置，其中，所述背景颜色获取单元进一步包括：

颜色量化单元，其将每个非图片背景像素的颜色量化到格子bin中；

直方图计算单元，其计算每个非图片背景像素在相应的格子bin里的直方图；以及

颜色选择单元，其选择具有最大值的格子bin里像素的平均颜色值作为所述图像的参考背景颜色。

7.根据权利要求4所述的装置，其中，所述计数单元对所述图像前景区域中的每个连通域来计算在所述二值距离图像里对应区域包含的参考图像前景像素的数目。

8.根据权利要求4所述的装置，其中，所述二值距离图像计算单元通过OTSU算法来计算二值距离图像。

9.根据权利要求1所述的装置，其中，所述非图片区域和所述图片区域都存在颜色均匀的背景。

10.一种图像处理方法，包括：

获取包含像素的图像；

从所述图像中查找图片区域；

在所述图像的不包括所述图片区域的非图片区域和所述图片区域中，分别执行背景连通域获取过程以分别获取非图片背景连通域和图片背景连通域，所述非图片背景连通域中的每一个像素都被认为是非图片背景像素而所述图片背景连通域中的每一个像素都被认为是图片背景像素；

分别通过将所述非图片背景连通域和所述图片背景连通域从所述非图片区域和所述图片区域中去除，来分别获取所述非图片区域的非图片前景区域和所述图片区域的图片前景区域，所述非图片前景区域中的每一个像素都被认为是非图片前景像素，而所述图片前景区域中的每一个像素都被认为是图片前景像素；以及

将所述非图片区域的非图片前景区域和所述图片区域的图片前景区域进行合并，以获取最终图像前景区域，所述图像前景区域中的每一个像素都被认为是图像前景像素。