CN105321161A - 一种图像处理方法和装置 - Google Patents

Abstract

本发明适用于图像处理领域，提供了一种图像处理方法和装置；该方法包括：获取原始图像；接收第一选取指令并从原始图像获取所述第一选取指令指定的第一像素集，对第一像素集建立第一高斯混合模型；接收第二选取指令并从原始图像获取所述第二选取指令指定的第二像素集，对所述第二像素集建立第二高斯混合模型；根据所述第一高斯混合模型确定前景边权重，根据所述第二高斯混合模型确定背景边权重，以确定的前景边权重和确定的背景边权重建立最大流最小割模型，并根据建立的最大流最小割模型确定所述原始图像的前景。相比于结合K-means算法和最大流最小割算法进行图像分割的方式，能够完全利用获取到的每个像素以更加精确地从原始图像中提取出前景。

Description

一种图像处理方法和装置

技术领域

本发明属于图像处理领域，尤其涉及一种图像处理方法和装置。

背景技术

图像分割，预先确定感兴趣的特定特征，从原始图像中提取出具有该特定特征的区域，将提取出的区域作为前景。现有的图像分割方法主要包括以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。

目前最热的为，结合硬聚类算法(K-means算法)和最大流最小割算法的图像分割方法。具体应用时，用户通过鼠标或触摸的方式操作笔在原始图像的目标区域内画出操作轨迹，根据该操作轨迹经过的区域，从原始图像中选取该区域内的像素，并通过K-means算法筛选出N个相似度最大的颜色；同理，用户通过鼠标或触摸的方式操作笔在原始图像的目标区域外画出操作轨迹，根据该操作轨迹经过的区域从原始图像中选取对应的像素，并通过K-means算法筛选出N个相似度最大的颜色。进而构建最大流最小割模型，针对原始图像中每个像素，分别计算该像素与K-means算法筛选出的颜色(针对目标区域内)的最小欧式距离，将计算出的值的倒数作为最大流最小割模型中该像素到源点的权重；同时，分别计算该像素与K-means算法筛选出的颜色(针对目标区域外)的最小欧式距离，将计算出的值的倒数作为最大流最小割模型中该像素到汇点的权重；最后根据最大流最小割模型确定出前景。但是，对于结合K-means算法和最大流最小割算法的图像分割方法，仅使用K-means算法筛选出的相似度最大的颜色确定原始图像中每个像素到源点的权重和每个像素到汇点的权重，没有利用与笔触选择的每个像素计算原始图像中每个像素到源点的权重和到汇点的权重，确定方式比较粗糙，从而确定出的前景不够精确。

发明内容

本发明的目的在于提供一种图像处理方法和装置，以解决结合K-means算法和最大流最小割算法进行图像分割，确定出的前景不够精确的问题。

第一方面，本发明提供一种图像处理方法，所述图像处理方法包括：

获取原始图像；

接收第一选取指令并从所述原始图像获取所述第一选取指令指定的第一像素集，对所述第一像素集建立第一高斯混合模型；

接收第二选取指令并从所述原始图像获取所述第二选取指令指定的第二像素集，对所述第二像素集建立第二高斯混合模型；

根据所述第一高斯混合模型确定前景边权重，根据所述第二高斯混合模型确定背景边权重，以确定的前景边权重和确定的背景边权重建立最大流最小割模型，并根据建立的最大流最小割模型确定所述原始图像的前景；

其中，所述前景边权重为所述最大流最小割模型的源点到所述原始图像的像素的权重，所述背景边权重为所述最大流最小割模型的汇点到所述原始图像的像素的权重。

第二方面，本发明提供一种图像处理装置，所述图像处理装置包括：

原始图像单元，用于获取原始图像；

第一模型建立单元，用于接收第一选取指令并从所述原始图像获取所述第一选取指令指定的第一像素集，对所述第一像素集建立第一高斯混合模型；

第二模型建立单元，用于接收第二选取指令并从所述原始图像获取所述第二选取指令指定的第二像素集，对所述第二像素集建立第二高斯混合模型；

最大流最小割模型单元，用于根据所述第一高斯混合模型确定前景边权重，根据所述第二高斯混合模型确定背景边权重，以确定的前景边权重和确定的背景边权重建立最大流最小割模型，并根据建立的最大流最小割模型确定所述原始图像的前景；所述前景边权重为所述最大流最小割模型的源点到所述原始图像的像素的权重，所述背景边权重为所述最大流最小割模型的汇点到所述原始图像的像素的权重。

本发明的有益效果：对于原始图像，用户触发第一选取指令，针对属于前景中的像素集进行部分选取，对选取的属于前景的像素集建立第一高斯混合模型；用户触发第二选取指令，针对不属于前景中的像素集进行部分选取，对选取的不属于前景的像素集建立第二高斯混合模型；进而，根据所述第一高斯混合模型确定所述最大流最小割模型的源点到所述原始图像的像素的权重，根据所述第二高斯混合模型确定背景边权重确定所述最大流最小割模型的汇点到所述原始图像的像素的权重，并建立最大流最小割模型；通过建立的最大流最小割模型确定出前景。本发明结合高斯混合模型和最大流最小割模型进行图像分割，能够完全利用获取到的第一像素集和第二像素集中的每个像素来建立高斯混合模型，并且在建立最大流最小割模型时也会间接利用第一像素集和第二像素集中的每个像素；因此，相比于结合K-means算法和最大流最小割算法进行图像分割的方式，能够完全利用获取到的第一像素集和第二像素集，更加精确地从原始图像中提取出前景。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图像处理方法的工作流程图；

图2是图1中步骤S2的具体工作流程图；

图3是图1中步骤S3的具体工作流程图；

图4是图1中步骤S4的具体工作流程图；

图5是图4中步骤S42的具体工作流程图；

图6是执行图5所示步骤的过程中的结果示意图；

图7是本发明实施例提供的图像处理装置的组成结构；

图8是图7中第一模型建立单元62的一种组成结构；

图9是图7中第二模型建立单元63的一种组成结构；

图10是图7中最大流最小割模型单元64的一种组成结构；

图11是图10中前景单元643的一种组成结构；

图12是图7中最大流最小割模型单元64的又一种组成结构。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

本发明实施例所述的目标前景，定义为：期望从原始图像中抠选出的前景。本发明实施例所述的前景为：结合第一高斯混合模型(GaussianMixtureModel，GMM)模型、第二GMM模型和最大流最小割模型，实际从所述原始图像中抠选出的图像；因此，实际扣选出的前景与期望扣选出的目标前景可能不同。本发明实施例所述的背景为：原始图像中除抠选出的前景以外的图像。因此，原始图像分为前景和背景两部分，一个像素只能属于前景或者属于背景。

需说明的是，GMM模型，是结合多个高斯模型来表征图像中各个像素点的特征。在本发明实施例中，第一GMM模型，是用来表征所述原始图像中属于前景的像素集的特征；第二GMM模型，是用来表征所述原始图像中不属于前景(即属于背景)的像素集的特征。

图1示出了本发明实施例提供的图像处理方法的工作流程，为了便于描述，仅示出了与本发明实施例相关的部分。

本发明实施例提供的所述图像处理方法，如图1所示，所述图像处理方法包括：

步骤S1，获取原始图像。

在本发明实施例中，预先载入执行图像分割(抠选动作)所针对的图像。

待完成图像的载入之后，根据分辨率阈值(预先根据实验确定)来判断是否需要从该图像中进一步裁剪出所述原始图像。

如果载入的图像的分辨率小于或等于所述分辨率阈值，可将载入的图像直接作为原始图像，直接对载入的图像进行前景的抠选。

如果图像分辨率大于所述分辨率阈值，同时需抠选的前景仅占该载入的图像中的小部分(即待扣选的前景的分辨率远小于该载入的图像的分辨率)，为了提高抠选效率，为快速从该图像中精确抠选出前景，以及为在选取第一像素集和第二像素集时的操作方便，可从该图像中选取包含前景的局部图像作为原始图像。

另外，如果图像分辨率较大，但需抠选的前景较复杂，无法一次性从该图像中筛选出整个前景；如，前景与背景较难区分，即前景与背景夹杂存在，无法一次性从该图像中筛选出整个前景；再如，需拖动显示该图像，因此也无法一次性从该图像中筛选出整个前景；因此需将该图像划分为多个原始图像，分别从每个原始图像中抠选出前景，将从每个原始图像抠选的前景组成整个前景，将组成的整个前景作为从图像抠选的前景。

确定原始图像之后，执行步骤S2或步骤S3，对于执行步骤S2或步骤S3的顺序，在此不做限定，先执行步骤S2或先执行步骤S3均可。实际应用中，提供了建立高斯混合模型GMM的模式切换，在切换到为前景建立第一GMM时，可执行步骤S2；在切换到为背景建立第二GMM时，可执行步骤S3。

步骤S2，接收第一选取指令并从所述原始图像获取所述第一选取指令指定的第一像素集，对所述第一像素集建立第一高斯混合模型GMM。

在本发明实施例中，切换到为前景建立第一GMM的模式时，用户以扣选出目标前景的目的而触发所述第一选取指令，因此通过所述第一选取指令从所述原始图像中选取的第一像素集均属于目标前景，选取像素的方式包括但不限于：圈选、框选、以不规则图形选择等任一或组合的方式。

待完成第一像素集的建立之后，对第一像素集建立第一GMM。

在本发明一优选实施例中，图2示出了步骤S2的具体工作流程，为了便于描述，仅示出了与本发明实施例相关的部分。如图2所示，所述接收第一选取指令并从所述原始图像获取所述第一选取指令指定的第一像素集这一步骤包括：

步骤S21，获取第一操作轨迹；具体在步骤S21中，在监听到用户触发的所述第一选取指令时，如果监听到的该第一选取指令指定对第一操作轨迹的获取操作，则对第一操作轨迹进行扑捉获取。

步骤S22，确定所述第一操作轨迹所具有的第一操作区域。

步骤S23，从所述原始图像中获取所述第一操作区域内的像素，将从所述第一操作区域内获取到的像素作为所述第一像素集。

具体对于步骤S21，本实施例提供了笔(即光标)。用户通过鼠标操控该笔，画出一条连续的操作轨迹；对画出的该条操作轨迹进行获取，将获取到的该条操作轨迹作为所述第一操作轨迹。另外，该笔也可通过触摸操控，在触摸屏上连续地触控，拖动该笔画出一条连续的操作轨迹，对画出的该条操作轨迹进行获取，将获取到的该条操作轨迹作为所述第一操作轨迹。另外，该笔也可由预先写好的应用程序操控；具体地，可预先编写好该应用程序，通过该应用程序操控该笔以画出一条连续的操作轨迹；另外，还可对先前操控笔来画出操作轨迹的过程进行录制并生成应用程序，下次可直接通过生成的应用程序对先前画出操作轨迹的过程进行重现；进而，对画出的该条操作轨迹进行获取，将获取到的该条操作轨迹作为所述第一操作轨迹。

具体在步骤S22中，对于本实施例提供的笔，可预先设定该笔的宽度。确定该第一操作区域的方式为，以第一操作轨迹作为该第一操作区域的长，和以笔的宽度作为该第一操作区域的宽。这样，当将该笔的宽度设定得较大时，同样的该第一操作轨迹可获得更多的像素；相对地，当将该笔的宽度设定得较小时，同样的该第一操作轨迹可获得较少的像素。因此，需用户针对目标前景的大小，适当设定该笔的宽度，以使得能够快速获取到足够多的、属于目标前景的像素(属于第一像素集)，保证最终扣选前景的正确率。

进而在步骤S23中，由于第一操作轨迹是用户为扣选出目标前景的目的而选取的，因此以该第一操作区域为像素的获取范围从所述原始图像中获取像素均属于目标前景，将获取到的像素集合成所述第一像素集，针对该第一像素集建立第一高斯混合模型GMM。

步骤S3，接收第二选取指令并从所述原始图像获取所述第二选取指令指定的第二像素集，对所述第二像素集建立第二高斯混合模型。

在本发明实施例中，切换到为背景建立第二GMM的模式时，用户以扣选出前景的目的而触发所述第二选取指令，因此通过所述第二选取指令从所述原始图像中选取的第二像素集均不属于目标前景，选取像素的方式包括但不限于：圈选、框选、以不规则图形选择等任一或组合的方式。

待完成第二像素集的建立之后，对第二像素集建立第二GMM。

在本发明一优选实施例中，图3示出了步骤S3的具体工作流程，为了便于描述，仅示出了与本发明实施例相关的部分。如图3所示，所述接收第二选取指令并从所述原始图像获取所述第二选取指令指定的第二像素集这一步骤，具体包括：

步骤S31，获取第二操作轨迹；具体在步骤S31中，在监听到用户触发的所述第二选取指令时，如果监听到的该第二选取指令指定对第二操作轨迹的获取操作，则对第一操作轨迹进行扑捉获取。

步骤S32，确定所述第二操作轨迹所具有的第二操作区域。

步骤S33，从所述原始图像中获取所述第二操作区域内的像素，将从所述第二操作区域内获取到的像素作为所述第二像素集。

具体在执行步骤S31时，与执行步骤S21类似。该笔可通过鼠标操控，可用户以扣选目标前景为目的而通过鼠标连续地拖动该笔，画出一条连续的操作轨迹，对画出的该条操作轨迹进行获取，将获取到的该条操作轨迹作为所述第二操作轨迹。另外，该笔也可通过触摸操控，在触摸屏上连续地触控，拖动该笔画出一条连续的操作轨迹，对画出的该条操作轨迹进行获取，将获取到的该条操作轨迹作为所述第二操作轨迹。另外，该笔也可由预先写好的应用程序操控；具体地，可预先编写好该应用程序，通过该应用程序操控该笔画出该条连续的操作轨迹；另外，还可对先前操控笔来画出操作轨迹的过程进行录制并生成应用程序，下次可直接通过生成的应用程序对先前画出操作轨迹的过程进行重现；进而，对画出的该条操作轨迹进行获取，将获取到的该条操作轨迹作为所述第二操作轨迹。需说明的是，由于是用户以扣选出目标前景的目的而画的第二操作轨迹，因此通过第二操作轨迹从所述原始图像中选取的第二像素集均不属于目标前景。

具体在步骤S32中，对于本实施例提供的笔，可预先设定该笔的宽度。确定该第二操作区域的方式为，以第二操作轨迹作为该第二操作区域的长，和以笔的宽度作为该第二操作区域的宽。这样，当将该笔的宽度设定得较大时，同样的该第二操作轨迹可获得更多的像素；相对地，当将该笔的宽度设定得较小时，同样的该第二操作轨迹可获得较少的像素。因此，需用户针对所述原始图像中不属于目标前景的图像的分辨率大小，适当设定该笔的宽度，以使得能够快速获取到足够多的、不属于目标前景的像素(属于第二像素集)，保证最终扣选出的前景的正确率。

进而在步骤S33中，由于第二操作轨迹是用户针对扣选出目标前景的目的而选取的，因此以该第二操作区域为像素的获取范围从所述原始图像中获取像素均不属于目标前景，将获取到的像素集合成所述第二像素集，针对该第二像素集建立第一高斯混合模型GMM。

作为的一种具体实施方式，建立第一GMM的方式和建立第二GMM的方式均采用算法(1)实现；算法(1)所示的GMM，如下：

$p\left(x\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\π}}_{k}p(x/k)---\left(1\right);$

其中，K为高斯模型的个数，π_k为第k个高斯模型的权重，p(x/k)为第k个高斯模型的概率密度函数。

在建立算法(1)的GMM时，需要针对算法(1)的GMM中的每个高斯模型进行参数估计，估计K个高斯模型的参数；以第k个高斯模型为例，需要估计出第k个高斯模型的权重π_k、均值μ_k和方差δ_k。本实施方式估计K个高斯模型的参数的步骤，详述如下：

步骤A1，获取N个样本值；

步骤A2，初始化K个高斯模型的权重；如针对第k个高斯模型，需初始化权重π_k、均值μ_k和方差δ_k；优选的，根据以往实验数据分别给权重π_k、均值μ_k和方差δ_k赋初始值；

步骤A3，同时估计K个高斯模型的参数：以对第k个高斯模型的权重π_k、均值μ_k和方差δ_k进行估计为例，步骤A3由步骤A31和步骤A32组成，详述步骤3如下；

步骤A31，对于第N个样本中的第i个样本xi来说，其由第k个高斯模型生成的概率由算法(2)确定：

$w_i\left(k\right)=\frac{{\mathrm{\π}}_{k}N(x_i/{\mathrm{\μ}}_k,{\mathrm{\δ}}_k)}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\π}}_{j}N(x_i/{\mathrm{\μ}}_j,{\mathrm{\δ}}_j)}---\left(2\right);$

步骤A32，在得到N个样本的由k个高斯模型生成的概率之后，通过算法(3)、算法(4)和算法(5)均收敛时，估计出第k个高斯模型的参数(权重π_k、均值μ_k和方差δ_k)：

${\mathrm{\μ}}_k=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i\left(k\right)x_i---\left(3\right);$

${\mathrm{\δ}}_k=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i\left(k\right)(x_i-{\mathrm{\μ}}_k){(x_i-{\mathrm{\ω}}_k)}^T---\left(4\right);$

$N_k=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i\left(k\right)---\left(5\right);$

步骤A4，依次类推，重复执行步骤S31和步骤32，直到算法(2)、算法(3)、算法(4)和算法(5)同时收敛，得到K个模型的估计参数。

步骤S4，根据所述第一GMM确定前景边权重，根据所述第二GMM确定背景边权重，以确定的前景边权重和确定的背景边权重建立最大流最小割模型，并根据建立的最大流最小割模型确定前景；其中，所述前景边权重为所述最大流最小割模型的源点到所述原始图像的像素的权重，所述背景边权重为所述最大流最小割模型的汇点到所述原始图像的像素的权重。

在本发明实施例中，在建立最大流最小割模型时，会确定两个虚拟节点，包括源点和汇点。针对原始图像中的每个像素，为源点到该像素的路径确定权重，将确定出的权重作为与该像素对应的前景边权重。

需强调的是，为源点到该像素的路径确定权重的方式为：将该像素作为输入参数，确定该像素在第一GMM中的概率。如，第一GMM为将该像素作为x,将该像素作为输入参数x代入该模型时，确定出p(x)，确定的p(x)即为源点到该像素的路径的权重(即与该像素对应的前景边权重)。这样，可针对原始图像中的每个像素，分别确定与该像素对应的前景边权重。

同理，可针对原始图像中的每个像素，分别确定与该像素对应的背景边权重，即为汇点到该像素的路径确定权重。确定汇点到该像素的路径确定权重的方式为：将该像素作为输入参数，确定该像素在第二GMM中的概率。如，第二GMM为将该像素作为x,将该像素作为输入参数x代入该模型时，确定出p(x)，确定的p(x)即为汇点到该像素的路径的权重(即与该像素对应的背景边权重)。

进而待针对原始图像中的每个像素，分别确定出的前景边权重和分别确定出背景边权重之后，以确定的前景边权重和确定的背景边权重建立最大流最小割模型。

在本发明一优选实施方式中，所述以确定的前景边权重和确定的背景边权重建立最大流最小割模型这一步骤，具体包括：

步骤B1，确定所述原始图像中每对相邻像素的欧式距离；

步骤B2，根据所述原始图像中每对相邻像素的欧式距离、所述确定的前景边权重和所述确定的背景边权重建立最大流最小割模型。

具体对于步骤B1，原始图像由像素组成，并且是由大量相邻的像素组成；在本实施例中，需针对每对相邻像素分别确定该对相邻像素的欧式距离。

作为执行步骤B2的一种具体实施方式，预设确定包含源点s和汇点t的网络G(V,E)；其中，V为端点的集合，包括：源点s、汇点t和原始图像的每个像素；其中，E为边的集合，包括：原始图像中每对相邻像素形成的边、源点s到该原始图像中每个像素的边、该原始图像中每个像素到汇点t的边。需说明的是，原始图像中每对相邻像素形成的边的容量为：该对相邻像素的欧式距离的倒数；源点s到该原始图像中每个像素的边的容量为：与该个像素对应的前景边权重；该原始图像中每个像素到汇点t的边的容量为：与该个像素对应的背景边权重。进而，步骤B2由步骤B21、步骤B22、步骤B23和步骤B24依次组成。

步骤B21，对于边集合E中的所有边，分别设定正向流量的初始值，分别设定逆向流量的初始值；例如，将集合E中的所有边的正向流量f(s,t)赋值为为0，将集合E中的所有边的负向流量f(t,s)赋值为0；

步骤B22，从网络G(V,E)中搜索从源点s到汇点t的一条增广路径p；继而，找出该条增广路径p中边的最小容量c(p)；继而，更新增广路径p中所有边的流量：使用f(u,v)与c(p)的和更新先前的f(s,t)；继而，将f(t,s)更新为-f(s,t)；

步骤B23，重复执行步骤B22，直到找不到新的增广路径，完成最大流模型的建立。

步骤B23，待执行完步骤B23以建立最大流模型之后，根据最终确定的正向流量f(s,t)和负向流量f(t,s)，确定网络G(V,E)中从源点s到汇点t的最小割模型；作为一优选实施方式，确定该最小割模型时需满足：在所有分割中均具有最小的正向边流量和。

在本发明一实施例中，如果确定的原始图像的分辨率还是比较大，则在建立最大流最小割模型比较费时，鉴于此，本实施例对步骤S4进行了具体优化，包括步骤S41、步骤S42和步骤S43，并通过图4示出了相应的具体流程，为了便于描述，仅示出了与本发明实施例相关的部分。

如图4所示，所述根据所述第一高斯混合模型确定前景边权重，根据所述第二高斯混合模型确定背景边权重，以确定的前景边权重和确定的背景边权重建立最大流最小割模型，并根据建立的最大流最小割模型确定所述原始图像的前景这一步骤，具体包括：

步骤S41，在检测到所述原始图像的分辨率大于或等于所述预设分辨率时，对所述原始图像缩小指定倍数并得到小图像。

在本实施例中，待针对所述原始图像完成所述第一GMM和所述第二GMM的建立之后，在针对原始图像建立最大流最小割模型之前，需预先检测所述原始图像的分辨率是否小于所述预设分辨率；如果检测结果为所述原始图像的分辨率大于或等于所述预设分辨率，则将所述原始图像缩小该指定倍数，得到该小图像；即，所述小图像为：将所述原始图像缩小所述指定倍数而得到的图像。这样，针对小图像建立最大流最小割模型，建立速度得到大幅提高。需强调的是，该指定倍数通常根据实验得到；当然，也可以根据应用需要而认为设定。

步骤S42，根据所述第一GMM确定第一前景边权重，根据所述第二GMM确定第一背景边权重，以确定的第一前景边权重和确定的第一背景边权重建立第一最大流最小割模型，并根据建立的第一最大流最小割模型确定小前景；需说明的是，所述第一前景边权重为所述最大流最小割模型的源点到所述小图像的像素的权重，所述第一背景边权重为所述最大流最小割模型的汇点到所述小图像的像素的权重。

在本实施例中，仍然需要针对该小图像中每对相邻像素的欧式距离。进而，根据所述小图像中每对相邻像素的欧式距离、所述确定的第一前景边权重和所述确定的第一背景边权重建立第一最大流最小割模型。

进而，通过建立的第一最大流最小割模型从该小图像中确定出该小前景。

S43，确定所述小前景所具有的小前景区域，对所述小前景区域放大所述指定倍数并得到大前景区域，将所述原始图像中位于所述大前景区域内的图像作为前景。

值得说明的是，通过步骤S42确定的小前景，是期望进一步确定出该小前景所占有的区域，将该小前景所占有的区域作为小前景区域。继而，为从原始图像中提取出前景，将该小前景区域进行所述指定倍数的放大，得到在原始图像中对应的大前景区域；通过该大前景区域从原始图像中圈选出像素集，由圈选出的像素集组成前景。

在本发明一优选实施方式中，为根据步骤S42确定的小前景，精确地在原始图像中确定出前景，对S43进行了优化，包括步骤S431、步骤S432、步骤S433、步骤S434、步骤S435和步骤S436，并通过图5示出了相应的具体流程，为了便于描述，仅示出了与本发明实施例相关的部分。

如图5所示，所述确定所述小前景所具有的小前景区域，对所述小前景区域放大所述指定倍数并得到大前景区域，将所述原始图像中位于所述大前景区域内的图像作为前景这一步骤具体包括：

步骤S431，将所述小前景区域划分为主区域和边界区域。

在本实施例中，具体对于小前景区域的划分，可根据实验划分主区域和边界区域；当然也可以用户设定。作为一具体实施方式，对应于小图像中的每个像素，在所述小前景区域中体现为网格；进而，可将所述小前景区域中最外边的网格组成的连通区域作为该边界区域；将该小前景区域中除该边界区域以外的区域作为该主区域。以图6为例，示图1所示了原始图像和目标前景；进而执行步骤S41并得到示图2所示的小图像。待执行步骤S42之后，执行步骤S431将所述小前景区域划分为主区域和边界区域，如示图3所示.

步骤S432，对所述主区域放大所述指定倍数并得到大主区域，对所述边界区域放大所述指定倍数并得到大边界区域。

在本实施例中，由于小图像是对原始图像进行缩小该指定倍数得到的；进而，为从原始图像中精确确定边界前景，针对小图像而确定的小前景区域所包含的边界区域进行所述指定倍数放大，得到针对原始图像的大边界区域，如图6中的示图4所示。

在对该小前景区域的边界区域进行放大时，会根据该边界区域在小图像中的位置，在原始图像中的对应位置放大成大边界区域，如图6中的示图4所示。

步骤S433，从所述原始图像中确定所述大边界区域内的边界图像。

在本实施例中，根据所述大边界区域在所述原始图像中的对应位置和大小，从原始图像中选择出像素集，由选择出的像素集组成该边界图像。

步骤S434，根据所述第一GMM确定第二前景边权重，根据所述第二GMM确定第二背景边权重，以确定的第二前景边权重和确定的第二背景边权重建立第二最大流最小割模型，并根据建立的第二最大流最小割模型确定边界前景；需说明的是，所述第二前景边权重为所述最大流最小割模型的源点到所述边界图像的像素的权重，所述第二背景边权重为所述最大流最小割模型的汇点到所述边界图像的像素的权重。

在本实施例中，针对边界图像建立第二最大流最小割模型，具体地，仍需预先针对该边界图像中每对相邻像素的欧式距离。进而，根据所述边界图像中每对相邻像素的欧式距离、所述确定的第二前景边权重和所述确定的第二背景边权重建立第二最大流最小割模型。

进而，通过建立的第二最大流最小割模型从该边界图像中确定出该边界前景。

步骤S435，将所述原始图像中位于所述大主区域内的图像作为主前景。

在本实施例中，如图6中的示图4所示，执行步骤S432时，已针对小图像的所述主区域进行所述指定倍数的放大，得到针对原始图像的大主区域。通常情况下，通过该大主区域从原始图像中选择出的像素集，都属于目标前景内的像素。因此，将通过该大主区域从原始图像中选择出的像素集组成的图像作为主前景。但是如果选择的主区域过大，进而通过大主区域选择出的主前景包含了目标前景外的像素，则在执行步骤S431划分小前景区域时，减小划分出的主区域的大小，增大边界区域的大小，以保证：通大主区域(过对减小后的主区域放大得到的)选择到的像素均属于目标前景内的像素，即选择到的像素没有包含任一目标前景外的像素。

步骤S436，将所述主前景和所述边界前景结合为所述前景。

在本实施例中，待执行步骤S434划分出边界前景之后，以及执行步骤S435确定出主前景之后，结合所述主前景和所述边界前景并生成所述前景，如图6中的示图5所示。

本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括ROM/RAM、磁盘、光盘等。

需要说明的是，本发明实施例提供的图像处理装置与本发明实施例提供的图像处理方法相互适用。

图7示出了本发明实施例提供的图像处理装置的组成结构，为了便于描述，仅示出了与本发明实施例相关的部分。

本实施例提供的图像处理装置，如图7所示，所述图像处理装置包括：

原始图像单元61，用于获取原始图像；

第一模型建立单元62，用于接收第一选取指令并从所述原始图像获取所述第一选取指令指定的第一像素集，对所述第一像素集建立第一高斯混合模型GMM；

第二模型建立单元63，用于接收第二选取指令并从所述原始图像获取所述第二选取指令指定的第二像素集，对所述第二像素集建立第二高斯混合模型GMM；

最大流最小割模型单元64，用于根据所述第一GMM确定前景边权重，根据所述第二GMM确定背景边权重，以确定的前景边权重和确定的背景边权重建立最大流最小割模型，并根据建立的最大流最小割模型确定所述原始图像的前景；所述前景边权重为所述最大流最小割模型的源点到所述原始图像的像素的权重，所述背景边权重为所述最大流最小割模型的汇点到所述原始图像的像素的权重。

图8示出了第一模型建立单元62的一种优化组成结构，为了便于描述，仅示出了与本发明实施例相关的部分。

在本发明一实施例中，如图8所示，所述第一模型建立单元62包括：

第一轨迹单元621，用于获取第一操作轨迹；

第一区域单元622，用于确定所述第一操作轨迹所具有的第一操作区域；

第一像素集单元623，用于从所述原始图像中获取所述第一操作区域内的像素，将从所述第一操作区域内获取到的像素作为所述第一像素集。

图9示出了第二模型建立单元63的一种优化组成结构，为了便于描述，仅示出了与本发明实施例相关的部分。

在本发明一实施例中，如图9所示，所述第二模型建立单元63包括：

第二轨迹单元631，用于获取第二操作轨迹；

第二区域单元632，用于确定所述第二操作轨迹所具有的第二操作区域；

第二像素集单元633，用于从所述原始图像中获取所述第二操作区域内的像素，将从所述第二操作区域内获取到的像素作为所述第二像素集。

图10示出了最大流最小割模型单元64的一种优化组成结构，为了便于描述，仅示出了与本发明实施例相关的部分。

在本发明一实施例中，如图10所示，所述最大流最小割模型单元64包括：

小图像单元641，用于在检测到所述原始图像的分辨率大于或等于所述预设分辨率时，对所述原始图像缩小指定倍数并得到小图像；

小前景单元642，用于根据所述第一GMM确定第一前景边权重，根据所述第二GMM确定第一背景边权重，以确定的第一前景边权重和确定的第一背景边权重建立第一最大流最小割模型，并根据建立的第一最大流最小割模型确定小前景；所述第一前景边权重为所述最大流最小割模型的源点到所述小图像的像素的权重，所述第一背景边权重为所述最大流最小割模型的汇点到所述小图像的像素的权重；

前景单元643，用于确定所述小前景所具有的小前景区域，对所述小前景区域放大所述指定倍数并得到大前景区域，将所述原始图像中位于所述大前景区域内的图像作为前景。

图11示出了前景单元643的一种优化组成结构，为了便于描述，仅示出了与本发明实施例相关的部分。

在本发明一实施例中，如图11所示，所述前景单元643包括：

划分单元6431，用于将所述小前景区域划分为主区域和边界区域；

放大单元6432，用于对所述主区域放大所述指定倍数并得到大主区域，对所述边界区域放大所述指定倍数并得到大边界区域；

边界图像单元6433，用于从所述原始图像中确定所述大边界区域内的边界图像；

边界前景单元6434，用于根据所述第一GMM确定第二前景边权重，根据所述第二GMM确定第二背景边权重，以确定的第二前景边权重和确定的第二背景边权重建立第二最大流最小割模型，并根据建立的第二最大流最小割模型确定边界前景；所述第二前景边权重为所述最大流最小割模型的源点到所述边界图像的像素的权重，所述第二背景边权重为所述最大流最小割模型的汇点到所述边界图像的像素的权重；

主前景单元6435，用于将所述原始图像中位于所述大主区域内的图像作为主前景；

前景子单元6436，用于将所述主前景和所述边界前景结合为所述前景。

图12示出了最大流最小割模型单元64的又一种优化组成结构，为了便于描述，仅示出了与本发明实施例相关的部分。

在本发明一实施例中，如图12所示，所述最大流最小割模型单元64还包括：

欧式距离单元646，用于确定所述原始图像中每对相邻像素的欧式距离；

模型建立单元647，用于根据所述原始图像中每对相邻像素的欧式距离、所述确定的前景边权重和所述确定的背景边权重建立最大流最小割模型。

本领域技术人员可以理解为本发明实施例提供的图像处理装置所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (12)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：

获取原始图像；

接收第一选取指令并从所述原始图像获取所述第一选取指令指定的第一像素集，对所述第一像素集建立第一高斯混合模型；

接收第二选取指令并从所述原始图像获取所述第二选取指令指定的第二像素集，对所述第二像素集建立第二高斯混合模型；

根据所述第一高斯混合模型确定前景边权重，根据所述第二高斯混合模型确定背景边权重，以确定的前景边权重和确定的背景边权重建立最大流最小割模型，并根据建立的最大流最小割模型确定所述原始图像的前景；

其中，所述前景边权重为所述最大流最小割模型的源点到所述原始图像的像素的权重，所述背景边权重为所述最大流最小割模型的汇点到所述原始图像的像素的权重。

2.如权利要求1所述的图像处理方法，其特征在于，所述接收第一选取指令并从所述原始图像获取所述第一选取指令指定的第一像素集这一步骤，具体包括：

获取第一操作轨迹；

确定所述第一操作轨迹所具有的第一操作区域；

从所述原始图像中获取所述第一操作区域内的像素，将从所述第一操作区域内获取到的像素作为所述第一像素集。

3.如权利要求1或2所述的图像处理方法，其特征在于，所述接收第二选取指令并从所述原始图像获取所述第二选取指令指定的第二像素集这一步骤，具体包括：

获取第二操作轨迹；

确定所述第二操作轨迹所具有的第二操作区域；

从所述原始图像中获取所述第二操作区域内的像素，将从所述第二操作区域内获取到的像素作为所述第二像素集。

4.如权利要求3所述的图像处理方法，其特征在于，所述根据所述第一高斯混合模型确定前景边权重，根据所述第二高斯混合模型确定背景边权重，以确定的前景边权重和确定的背景边权重建立最大流最小割模型，并根据建立的最大流最小割模型确定所述原始图像的前景这一步骤，具体包括：

在检测到所述原始图像的分辨率大于或等于所述预设分辨率时，对所述原始图像缩小指定倍数并得到小图像；

根据所述第一高斯混合模型确定第一前景边权重，根据所述第二高斯混合模型确定第一背景边权重，以确定的第一前景边权重和确定的第一背景边权重建立第一最大流最小割模型，并根据建立的第一最大流最小割模型确定小前景；

确定所述小前景所具有的小前景区域，对所述小前景区域放大所述指定倍数并得到大前景区域，将所述原始图像中位于所述大前景区域内的图像作为前景；

其中，所述第一前景边权重为所述最大流最小割模型的源点到所述小图像的像素的权重，所述第一背景边权重为所述最大流最小割模型的汇点到所述小图像的像素的权重。

5.如权利要求4所述的图像处理方法，其特征在于，所述确定所述小前景所具有的小前景区域，对所述小前景区域放大所述指定倍数并得到大前景区域，将所述原始图像中位于所述大前景区域内的图像作为前景这一步骤，具体包括：

将所述小前景区域划分为主区域和边界区域；

对所述主区域放大所述指定倍数并得到大主区域，对所述边界区域放大所述指定倍数并得到大边界区域；

从所述原始图像中确定所述大边界区域内的边界图像；

根据所述第一高斯混合模型确定第二前景边权重，根据所述第二高斯混合模型确定第二背景边权重，以确定的第二前景边权重和确定的第二背景边权重建立第二最大流最小割模型，并根据建立的第二最大流最小割模型确定边界前景；

将所述原始图像中位于所述大主区域内的图像作为主前景；

将所述主前景和所述边界前景结合为所述前景；

其中，所述第二前景边权重为所述最大流最小割模型的源点到所述边界图像的像素的权重，所述第二背景边权重为所述最大流最小割模型的汇点到所述边界图像的像素的权重。

6.如权利要求1所述的图像处理方法，其特征在于，所述以确定的前景边权重和确定的背景边权重建立最大流最小割模型这一步骤，具体包括：

确定所述原始图像中每对相邻像素的欧式距离；

根据所述原始图像中每对相邻像素的欧式距离、所述确定的前景边权重和所述确定的背景边权重建立最大流最小割模型。

7.一种图像处理装置，其特征在于，所述图像处理装置包括：

原始图像单元，用于获取原始图像；

第一模型建立单元，用于接收第一选取指令并从所述原始图像获取所述第一选取指令指定的第一像素集，对所述第一像素集建立第一高斯混合模型；

第二模型建立单元，用于接收第二选取指令并从所述原始图像获取所述第二选取指令指定的第二像素集，对所述第二像素集建立第二高斯混合模型；

最大流最小割模型单元，用于根据所述第一高斯混合模型确定前景边权重，根据所述第二高斯混合模型确定背景边权重，以确定的前景边权重和确定的背景边权重建立最大流最小割模型，并根据建立的最大流最小割模型确定所述原始图像的前景；所述前景边权重为所述最大流最小割模型的源点到所述原始图像的像素的权重，所述背景边权重为所述最大流最小割模型的汇点到所述原始图像的像素的权重。

8.如权利要求7所述的图像处理装置，其特征在于，所述第一模型建立单元包括：

第一轨迹单元，用于获取第一操作轨迹；

第一区域单元，用于确定所述第一操作轨迹所具有的第一操作区域；

第一像素集单元，用于从所述原始图像中获取所述第一操作区域内的像素，将从所述第一操作区域内获取到的像素作为所述第一像素集。

9.如权利要求7或8所述的图像处理装置，其特征在于，所述第二模型建立单元包括：

第二轨迹单元，用于获取第二操作轨迹；

第二区域单元，用于确定所述第二操作轨迹所具有的第二操作区域；

第二像素集单元，用于从所述原始图像中获取所述第二操作区域内的像素，将从所述第二操作区域内获取到的像素作为所述第二像素集。

10.如权利要求9所述的图像处理装置，其特征在于，所述最大流最小割模型单元包括：

小图像单元，用于在检测到所述原始图像的分辨率大于或等于所述预设分辨率时，对所述原始图像缩小指定倍数并得到小图像；

小前景单元，用于根据所述第一高斯混合模型确定第一前景边权重，根据所述第二高斯混合模型确定第一背景边权重，以确定的第一前景边权重和确定的第一背景边权重建立第一最大流最小割模型，并根据建立的第一最大流最小割模型确定小前景；所述第一前景边权重为所述最大流最小割模型的源点到所述小图像的像素的权重，所述第一背景边权重为所述最大流最小割模型的汇点到所述小图像的像素的权重；

前景单元，用于确定所述小前景所具有的小前景区域，对所述小前景区域放大所述指定倍数并得到大前景区域，将所述原始图像中位于所述大前景区域内的图像作为前景。

11.如权利要求10所述的图像处理装置，其特征在于，所述前景单元包括：

划分单元，用于将所述小前景区域划分为主区域和边界区域；

放大单元，用于对所述主区域放大所述指定倍数并得到大主区域，对所述边界区域放大所述指定倍数并得到大边界区域；

边界图像单元，用于从所述原始图像中确定所述大边界区域内的边界图像；

边界前景单元，用于根据所述第一高斯混合模型确定第二前景边权重，根据所述第二高斯混合模型确定第二背景边权重，以确定的第二前景边权重和确定的第二背景边权重建立第二最大流最小割模型，并根据建立的第二最大流最小割模型确定边界前景；所述第二前景边权重为所述最大流最小割模型的源点到所述边界图像的像素的权重，所述第二背景边权重为所述最大流最小割模型的汇点到所述边界图像的像素的权重；

主前景单元，用于将所述原始图像中位于所述大主区域内的图像作为主前景；

前景子单元，用于将所述主前景和所述边界前景结合为所述前景。

12.如权利要求7所述的图像处理装置，其特征在于，所述最大流最小割模型单元还包括：

欧式距离单元，用于确定所述原始图像中每对相邻像素的欧式距离；

模型建立单元，用于根据所述原始图像中每对相邻像素的欧式距离、所述确定的前景边权重和所述确定的背景边权重建立最大流最小割模型。