CN106303161B - 一种图像处理方法及电子设备 - Google Patents

Abstract

本发明公开了一种图像处理方法及电子设备，用于解决电子设备图像处理能力较差的技术问题。所述方法包括：将图像进行图像分割，获得至少一个子图像，以及，根据图像对应的深度图，获得图像的深度信息；深度信息用于表示图像中的每个像素点是前景像素点或背景像素点；根据深度信息，分别确定至少一个子图像中的每个子图像中包括的已知子区域，或已知子区域和未知子区域；已知子区域为前景子区域或背景子区域；将所述至少一个子图像中包括未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点；根据确定结果，在图像中确定前景区域和背景区域。

Description

一种图像处理方法及电子设备

技术领域

本发明涉及计算机技术领域，特别涉及一种图像处理方法及电子设备。

背景技术

随着科学技术的不断发展，电子技术也得到了飞速的发展，电子产品的种类也越来越多，人们也享受到了科技发展带来的各种便利。比如，PC(个人计算机)、PAD(平板电脑)手机等电子设备已经成为人们生活中一个不可或缺的部分。而应用在这些电子设备上的图像处理技术也得到了飞速发展。

现有技术中，在进行图像处理时，可能会经常碰到需要抠图的情况。现在的抠图技术主要是利用图像的深度信息，将图像的前景和背景分离。但在获取图像时，如果环境条件不够理想，例如光线较暗或者较强时，则获得的图像的深度信息可能会不太准确，这样会导致抠图的结果不理想，比如，将前景误认为是背景而去除、将背景误认为是前景而保留，等等。

因此，现有技术中的抠图准确性不高，电子设备图像处理能力较差。

发明内容

本发明实施例提供一种图像处理方法及电子设备，用于解决电子设备图像处理能力较差的技术问题。

第一方面，提供一种图像处理方法，包括：

将图像进行图像分割，获得至少一个子图像，以及，根据所述图像对应的深度图，获得所述图像的深度信息；所述深度信息用于表示所述图像中的每个像素点是前景像素点或背景像素点；

根据所述深度信息，分别确定所述至少一个子图像中的每个子图像中包括的已知子区域，或已知子区域和未知子区域；所述已知子区域为前景子区域或背景子区域；

将所述至少一个子图像中包括所述未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点；

根据确定结果，在所述图像中确定前景区域和背景区域。

可选的，根据所述深度信息，分别确定所述至少一个子图像中的每个子图像中包括的已知子区域和未知子区域，包括：

根据所述深度信息，对所述至少一个子图像中的每个子图像进行以下处理：

根据所述图像的深度信息，在子图像中分别确定：前景像素点的数量、以及背景像素点的数量；所述前景像素点的数量和所述背景像素点的数量均大于0；

若所述前景像素点的数量大于所述背景像素点的数量，则确定所述子图像中包括所述前景像素点的区域为前景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量小于所述背景像素点的数量，则确定所述子图像中包括所述背景像素点的区域为背景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量等于所述背景像素点的数量，则确定所述子图像中包括所述前景像素点的区域为前景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量等于所述背景像素点的数量，确定所述子图像中包括所述背景像素点的区域为背景子区域，其余的为所述未知子区域。

可选的，将所述至少一个子图像中包括所述未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点，包括：

对所述至少一个子图像中包括所述未知子区域的每个子图像进行以下处理：

根据子图像中的所述已知子区域包括的像素点，以及所述子图像周围的至少一个像素点，将所述未知子区域对应的像素点进行GMM处理，以将所述未知子区域中的像素点确定为前景像素点或背景像素点。

可选的，在根据确定结果，在所述图像中确定前景区域和背景区域之后，还包括：

将所述图像的所述前景区域和所述背景区域进行分割。

可选的，

所述方法还包括：获取所述图像的边缘信息；

将所述图像的所述前景区域和所述背景区域进行分割，包括：

根据所述边缘信息，将所述图像的所述前景区域和所述背景区域进行分割。

第二方面，提供一种电子设备，包括：

存储器，用于存储指令；

处理器，用于执行所述指令，将图像进行图像分割，获得至少一个子图像，以及，根据所述图像对应的深度图，获得所述图像的深度信息；所述深度信息用于表示所述图像中的每个像素点是前景像素点或背景像素点；根据所述深度信息，分别确定所述至少一个子图像中的每个子图像中包括的已知子区域，或已知子区域和未知子区域；所述已知子区域为前景子区域或背景子区域；将所述至少一个子图像中包括所述未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点；根据确定结果，在所述图像中确定前景区域和背景区域。

可选的，所述处理器用于：

根据所述深度信息，对所述至少一个子图像中的每个子图像进行以下处理：

根据所述图像的深度信息，在子图像中分别确定：前景像素点的数量、以及背景像素点的数量；所述前景像素点的数量和所述背景像素点的数量均大于0；

若所述前景像素点的数量大于所述背景像素点的数量，则确定所述子图像中包括所述前景像素点的区域为前景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量小于所述背景像素点的数量，则确定所述子图像中包括所述背景像素点的区域为背景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量等于所述背景像素点的数量，则确定所述子图像中包括所述前景像素点的区域为前景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量等于所述背景像素点的数量，确定所述子图像中包括所述背景像素点的区域为背景子区域，其余的为所述未知子区域。

可选的，所述处理器用于：

对所述至少一个子图像中包括所述未知子区域的每个子图像进行以下处理：

根据子图像中的所述已知子区域包括的像素点，以及所述子图像周围的至少一个像素点，将所述未知子区域对应的像素点进行GMM处理，以将所述未知子区域中的像素点确定为前景像素点或背景像素点。

可选的，所述处理器还用于：

在根据确定结果，在所述图像中确定前景区域和背景区域之后，将所述图像的所述前景区域和所述背景区域进行分割。

可选的，所述处理器还用于：

获取所述图像的边缘信息；

根据所述边缘信息，将所述图像的所述前景区域和所述背景区域进行分割。

第三方面，提供一种电子设备，包括：

获取模块，用于将图像进行图像分割，获得至少一个子图像，以及，根据所述图像对应的深度图，获得所述图像的深度信息；所述深度信息用于表示所述图像中的每个像素点是前景像素点或背景像素点；

第一确定模块，用于根据所述深度信息，分别确定所述至少一个子图像中的每个子图像中包括的已知子区域，或已知子区域和未知子区域；所述已知子区域为前景子区域或背景子区域；

第二确定模块，用于将所述至少一个子图像中包括所述未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点；

第三确定模块，用于根据所述第二确定模块的确定结果，在所述图像中确定前景区域和背景区域。

本发明实施例中，电子设备可以首先根据图像的深度信息，在图像经过图像分割后所得的每一个子图像中，初步确定每个像素点属于已知子区域中的像素点还是未知子区域中的像素点。由于通过深度信息，可以将像素点初步区分为前景像素点和背景像素点(本发明实施例中，将属于图像中前景部分的像素点称为前景像素点，将属于图像中背景部分的像素点称为背景像素点)，那么，就可以大概确定每个子图像中包括的已知子区域，或已知子区域和未知子区域，然后，电子设备可以将包括有未知子区域的子图像进行GMM(Gaussian Mixture Model，高斯混合模型)处理，从而进一步确定未知子区域中的每个像素点是前景像素点还是背景像素点。最后，根据处理结果，便可以确定图像中的哪些区域为前景区域，哪些区域为背景区域。

一般来说，若环境条件不理想，则获得的深度信息可能会不太准确，从而可能导致在区分图像的前景区域和背景区域时得到的结果不够准确，比如，将前景误认为是背景而去除、将背景误认为是前景而保留，等等。本发明实施例，通过对未知子区域进行进一步的GMM处理，可以更为准确地确定未知子区域中包括的像素点为哪种像素点，因此，尽量避免因为深度信息的不准确带来的误差，从而可以在抠图时尽量避免诸如将前景误认为是背景而去除、或将背景误认为是前景而保留等等不理想的情况，提高了抠图的准确性，也提高了电子设备的图像处理能力。

附图说明

图1为本发明实施例中图像处理方法的流程图；

图2为本发明实施例中电子设备的示意图；

图3为本发明实施例中电子设备的结构框图。

具体实施方式

本发明实施例提供一种图像处理方法及电子设备，所述方法可以包括：将图像进行图像分割，获得至少一个子图像，以及，根据所述图像对应的深度图，获得所述图像的深度信息；所述深度信息用于表示所述图像中的每个像素点是前景像素点或背景像素点；根据所述深度信息，分别确定所述至少一个子图像中的每个子图像中包括的已知子区域，或已知子区域和未知子区域；所述已知子区域为前景子区域或背景子区域；将所述至少一个子图像中包括所述未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点；根据确定结果，在所述图像中确定前景区域和背景区域。

本发明实施例中，电子设备可以首先根据图像的深度信息，在图像经过图像分割后所得的每一个子图像中，初步确定每个像素点属于已知子区域中的像素点还是未知子区域中的像素点。由于通过深度信息，可以将像素点初步区分为前景像素点和背景像素点(本发明实施例中，将属于图像中前景部分的像素点称为前景像素点，将属于图像中背景部分的像素点称为背景像素点)，那么，就可以大概确定每个子图像中包括的已知子区域，或已知子区域和未知子区域，然后，电子设备可以将包括有未知子区域的子图像进行GMM处理，从而进一步确定未知子区域中的每个像素点是前景像素点还是背景像素点。最后，根据处理结果，便可以确定图像中的哪些区域为前景区域，哪些区域为背景区域。

一般来说，若环境条件不理想，则获得的深度信息可能会不太准确，从而可能导致在区分图像的前景区域和背景区域时得到的结果不够准确，比如，将前景误认为是背景而去除、将背景误认为是前景而保留，等等。本发明实施例，通过对未知子区域进行进一步的GMM处理，可以更为准确地确定未知子区域中包括的像素点为哪种像素点，因此，尽量避免因为深度信息的不准确带来的误差，从而可以在抠图时尽量避免诸如将前景误认为是背景而去除、或将背景误认为是前景而保留等等不理想的情况，提高了抠图的准确性，也提高了电子设备的图像处理能力。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中的电子设备可以是PC(个人计算机)、PAD(平板电脑)、手机等等不同的电子设备，本发明对此不作限制。

下面结合附图对本发明优选的实施方式进行详细说明。

请参见图1，本发明实施例提供一种图像处理方法，所述方法可以应用于电子设备，所述方法的主要流程描述如下。

步骤101：将图像进行图像分割，获得至少一个子图像，以及，根据图像对应的深度图，获得图像的深度信息。

本发明实施例中，将属于图像中前景部分的像素点称为前景像素点，将属于图像中背景部分的像素点称为背景像素点，深度信息用于表示图像中的每个像素点是前景像素点或背景像素点。例如，若通过深度信息确定一个像素点所属的区域为图像的前景区域，则确定该像素点为前景像素点，若通过深度信息确定一个像素点所属的区域为图像的背景区域，则确定该像素点为背景像素点。

深度信息可以通过图像对应的深度图获取。而对于获取深度图的方法，本发明不作限定。例如，可以在用于拍摄图像的电子设备中配置深度传感器(比如激光传感器、超声波传感器等等)，那么可以在拍摄图像的同时获得图像的深度图，或者，也可以在图像获取完毕后，通过图像获取深度图，等等。

本发明实施例中，获取图像和获取深度图这两个步骤，可以按照任意顺序执行。

对于获取深度信息的方式，以下举例说明。

深度图可以是一个灰度图，深度图中的每一个像素点的像素值的取值范围是[0，255]，深度图中，像素点的像素值可以用来表征一个像素点在图像的拍摄场景中对应的位置与拍摄该图像的电子设备之间的距离。

例如，可以设定一个阈值，并定义：像素值大于该阈值的像素点为前景像素点，像素值小于等于该阈值的像素点为背景像素点。或者可以定义：像素值大于该阈值的像素点为背景像素点，像素值小于等于该阈值的像素点为前景像素点。具体定义方式本发明不作限制。

例如，设定阈值为150，且采用第一种定义方式，那么就可以将像素值大于150的像素点确定为前景像素点，将像素值小于等于150的像素点确定为背景像素点。

这里的图像分割，是指根据一定的规则把图像分割成若干个具有相同或相似特征的区域的一种图像处理技术，本发明实施例中将分割所得到的区域称为子图像。

图像分割可以是基于颜色的分割，例如，可以将图像中颜色值相同或相近的像素点划分到一个子图像中，那么分割得到的每一个子图像中的像素点都具有相同或相近的颜色值。比如，可以将图像中颜色值为255，或者颜色值位于[250，255]之间的像素点划分到同一个子图像中。

或者，图像分割也可以是基于亮度、纹理、边缘等特征的分割，本发明不作限定。

本发明实施例中，对图像进行分割与获取深度信息，这两个步骤可以按照任意顺序执行。比如，可以在进行图像分割的同时，对深度图进行处理并获取深度信息，或者，可以先进行图像分割，再对深度图进行处理以获取深度信息，或者，可以先对深度图进行处理以获取深度信息，再对图像进行分割，等等。

步骤102：根据深度信息，分别确定至少一个子图像中的每个子图像中包括的已知子区域，或已知子区域和未知子区域。

其中，已知子区域为前景子区域或背景子区域。

本发明实施例中，已知子区域可以是根据深度信息确定的前景子区域或背景子区域，那么在一个子图像中，除了通过深度信息确定为已知子区域的区域之外可能还包括剩余区域，那么剩余的区域即为未知子区域。

根据深度信息，可能将一个子图像中的全部区域均确定为已知子区域，例如将一个子图像中的全部区域确定为背景子区域，或者将一个子图像中的全部区域确定为前景子区域。或者，根据深度信息，也可能将一个子图像中的部分区域确定为已知子区域，而另一部分区域为未知子区域，已知子区域可能是前景子区域，也可能是背景子区域。

本发明实施例中，将图像中属于前景的区域称为前景区域，属于背景的区域称为背景区域，子图像为对图像进行分割得到的，是图像的一部分，因此，将子图像中属于前景的区域称为前景子区域，属于背景的部分称为背景子区域。

可选的，本发明实施例中，根据深度信息，分别确定所述至少一个子图像中的每个子图像中包括已知子区域和未知子区域，包括：

根据深度信息，对至少一个子图像中的每个子图像进行以下处理：

根据图像的深度信息，在子图像中分别确定：前景像素点的数量、以及背景像素点的数量；前景像素点的数量和背景像素点的数量均大于0；

若前景像素点的数量大于背景像素点的数量，则确定子图像中包括前景像素点的区域为前景子区域，其余的为未知子区域；或，若前景像素点的数量小于背景像素点的数量，则确定子图像中包括背景像素点的区域为背景子区域，其余的为未知子区域；或，若前景像素点的数量等于背景像素点的数量，则确定子图像中包括前景像素点的区域为前景子区域，其余的为未知子区域；或，若前景像素点的数量等于背景像素点的数量，确定子图像中包括背景像素点的区域为背景子区域，其余的为未知子区域。

即，本发明实施例中，子图像中包括的已知子区域和未知子区域，可以是根据图像中包括的前景像素点的数量和背景像素点的数量来确定。对于每一个需要确定的子图像，有以下几种情况：

I、确定出子图像中的前景像素点的数量大于背景像素点的数量。那么可以将前景像素点对应的区域确定为前景子区域，即已知子区域，将其余的区域确定为未知子区域。

例如，子图像1中包括100个像素点，根据深度信息，确定其中的70个像素点为前景像素点，另外30个像素点为背景像素点，那么可以将70个前景像素点对应的区域确定为前景子区域，即已知子区域，将30个背景像素点对应的区域确定为未知子区域。

II、子图像中的前景像素点的数量小于背景像素点的数量。那么可以将背景像素点对应的区域确定为背景子区域，即已知子区域，将其余的区域确定为未知子区域。

例如，子图像2中包括100个像素点，根据深度信息，确定其中的60个像素点为背景像素点，另外40个像素点为前景像素点，那么可以将60个背景像素点对应的区域确定为背景子区域，即已知子区域，将40个前景像素点对应的区域确定为未知子区域。

III、子图像中的前景像素点的数量等于背景像素点的数量。这时，可以将背景像素点对应的区域确定为背景子区域，即已知子区域，将其余的区域确定为未知子区域，或者，也可以将前景像素点对应的区域确定为前景子区域，即已知子区域，将其余的区域确定为未知子区域。

例如，子图像3中包括100个像素点，根据深度信息，确定其中的50个像素点为背景像素点，另外50个像素点为前景像素点，那么可以将50个背景像素点对应的区域确定为背景子区域，即已知子区域，将50个前景像素点对应的区域确定为未知子区域，或者，也可以将50个前景像素点对应的区域确定为前景子区域，即已知子区域，将50个背景像素点对应的区域确定为未知子区域。

可选的，本发明实施例中，如果一个子图像中的前景像素点的数量为0，那么可以确定该子图像的所有区域属于背景子区域，此时该子图像只包括已知子区域，而不包括未知子区域。同样的，如果一个子图像中的背景像素点的数量为0，那么可以确定该子图像的所有区域属于前景子区域，此时该子图像只包括已知子区域，而不包括未知子区域。对于不包括未知子区域的子图像，可以不对其进行步骤103的处理。

步骤103：将至少一个子图像中包括未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点。

GMM处理，是一种根据已确定为前景像素点或背景像素点的像素点，去估计未知子区域包括的像素点是前景像素点或背景像素点的概率的处理方式。

其中，确定的已知子区域中可能包含的都是前景像素点，或者也可能包含的都是背景像素点。例如，可以设定前景像素点的概率值为1，及设定背景像素点的概率值为0，当然也可以设定前景像素点的概率值为0，及设定背景像素点的概率值为1。通过GMM处理之后，未知子区域包括的每一个像素点都可得到一个相应的概率值，取值范围为[0，1]。

例如，在子图像4中包括100个像素点，通过步骤102确定其中80个前景像素点对应的区域为前景子区域，其余20个背景像素点对应的区域为未知子区域。对子图像4进行GMM处理，可以将子图像4中的80个前景像素点作为基础，比如可以设定每一个前景像素点的概率值都为1，那么可以根据这80个概率值为1的前景像素点对未知子区域对应的20个像素点进行GMM处理，可以得到这20个像素点分别对应的概率值，即共得到20个概率值，每个概率值的取值范围都是[0，1]。比如，经GMM处理后确定，这20个像素点中，像素点1的概率值为0.6，像素点2的概率值为0.7，等等。

通过GMM处理，未知子区域中包括的每一个像素点都对应一个概率值，这个概率值可以用于进一步确认对应的像素点是前景像素点或背景像素点。确认方式可以是根据概率值的大小来确认是前景像素点还是背景像素点，也就是确定一个像素点是属于前景像素点的概率大，还是属于背景像素点的概率大。

例如，预先设定前景像素点的概率值为1，及背景像素点的概率值为0。通过GMM处理得到了子图像4中的未知子区域中包括的三个像素点的概率值，分别是0.2、0.5、0.8，那么，因0.2更靠近0，可将概率值为0.2的像素点确定为背景像素点，因0.8更靠近1，可将概率值为0.8的像素点确定为前景像素点，因0.5处于0和1中间，可将概率值为0.5的像素点确定为前景像素点或背景像素点。当然这里只是给出一种例子说明确定方式，在实际应用时也可以采用其他方式来确定未知子区域中的像素点是前景像素点还是背景像素点。例如，在得到未知子区域中每个像素点的概率值之后，也可以由用户选择将相应的像素点具体作为前景像素点还是背景像素点。

可选的，本发明实施例中，将至少一个子图像中包括未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点，包括：

对至少一个子图像中包括未知子区域的每个子图像进行以下处理：

根据子图像中的已知子区域包括的像素点，以及所述子图像周围的至少一个像素点，将未知子区域对应的像素点进行GMM处理，以将未知子区域中的像素点确定为前景像素点或背景像素点。

即，本发明实施例中，在对未知子区域进行GMM处理时，除了可以将子图像中已知子区域对应的像素点作为GMM处理的基础，还可以将未知子区域向周围扩展一些区域，以扩展出去的区域对应的像素点以及子图像中已知子区域对应的像素点共同作为GMM处理的基础。

例如，子图像5中包含有100个像素点，通过步骤102确定其中包括60个前景像素点对应的区域为前景子区域，其余40个背景像素点对应的区域为未知子区域，将这个未知子区域向周围扩展20个像素点，例如这20个像素点根据深度信息确定为背景像素点，那么可以依据已知的60个前景像素点(设定概率值为1)以及20个背景像素点(设定概率值为0)，对该子图像中的未知子区域进行GMM处理，这样可以得到未知子区域中的每一个像素点的概率值，同样，得到的每个概率值的取值范围都为[0，1]。这样，将已知子区域对应的像素点和未知子区域周围的部分像素点共同作为GMM处理的基础，可以得到较为可靠的未知子区域像素点的概率值，有利于更为准确地区分前景区域和背景区域，提升抠图的准确性。

本发明实施例中，对于只包括已知子区域而不包括未知子区域的子图像，可以无需执行步骤103，而直接对这部分子图像执行步骤104。

本发明实施例中，除了根据深度信息初步确定子图像中的前景像素点和背景像素点之外，还要进一步通过GMM处理方式来确定子图像中的前景像素点和背景像素点，比起单一采取深度信息来确定前景区域和背景区域的方式，本发明实施例中的确定结果更为准确。

步骤104：根据确定结果，在图像中确定前景区域和背景区域。

即，本发明实施例中，可以根据GMM处理的结果，也就是获得的所有的未知子区域包括的每一个像素点的概率值，来确定图像中哪些区域为前景区域，哪些区域为背景区域。

可选的，本发明实施例中，在根据确定结果，在图像中确定前景区域和背景区域之后，还包括：

将图像的前景区域和背景区域进行分割。

即，本发明实施例中，在通过步骤103确定了每一个像素点为前景像素点或背景像素点之后，将前景像素点对应的区域作为前景区域，背景像素点对应的区域作为背景区域，对图像进行分割，从而将图像中的前景区域和背景区域分开。

例如，确定出一张包含1000个像素点的图像中有300个前景像素点和700个背景像素点，那么可以将300个前景像素点对应的区域作为前景区域，另外700个背景像素点对应的区域作为背景区域，对图像进行分割，最终得到分离的前景区域和背景区域。这样，获得的分割结果，即抠图结果，可能就是较为理想的结果。可见，通过本发明实施例中的方案，可以更为准确地区分图像中的前景区域和背景区域，提高了电子设备的图像处理能力。

可选的，本发明实施例中，

所述方法还包括：获取图像的边缘信息；

将图像的前景区域和背景区域进行分割，包括：

根据边缘信息，将图像的前景区域和背景区域进行分割。

本发明实施例中，在将图像的前景区域和背景区域进行分割时，还可以考虑图像的边缘信息，这样，可以对图像中边缘部分做出更好的处理，获得更为理想的抠图结果，提升了电子设备图像处理能力。

获取图像的边缘信息的步骤，可以发生在步骤101-步骤104之间的任意位置，本发明不作限制。另外，图像的边缘信息可以通过现有技术中的任意边缘检测方式来获取，本发明不作限制。

请参见图2，基于同一发明构思，本发明实施例提供一种电子设备，所述电子设备可以包括：

存储器201，用于存储处理器202执行任务所需的指令；

处理器202，用于执行存储器201存储的指令，将图像进行图像分割，获得至少一个子图像，以及，根据图像对应的深度图，获得图像的深度信息；深度信息用于表示图像中的每个像素点是前景像素点或背景像素点；根据深度信息，分别确定至少一个子图像中的每个子图像中包括的已知子区域，或已知子区域和未知子区域；已知子区域为前景子区域或背景子区域；将至少一个子图像中包括未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点；根据确定结果，在图像中确定前景区域和背景区域。

可选的，本发明实施例中，处理器202用于：

根据深度信息，对至少一个子图像中的每个子图像进行以下处理：

根据图像的深度信息，在子图像中分别确定：前景像素点的数量、以及背景像素点的数量；前景像素点的数量和背景像素点的数量均大于0；

若前景像素点的数量大于背景像素点的数量，则确定子图像中包括前景像素点的区域为前景子区域，其余的为未知子区域；或，若前景像素点的数量小于背景像素点的数量，则确定子图像中包括背景像素点的区域为背景子区域，其余的为未知子区域；或，若前景像素点的数量等于背景像素点的数量，则确定子图像中包括前景像素点的区域为前景子区域，其余的为未知子区域；或，若前景像素点的数量等于背景像素点的数量，确定子图像中包括背景像素点的区域为背景子区域，其余的为未知子区域。

可选的，本发明实施例中，处理器202用于：

对至少一个子图像中包括未知子区域的每个子图像进行以下处理：

根据子图像中的已知子区域包括的像素点，以及子图像周围的至少一个像素点，将未知子区域对应的像素点进行GMM处理，以将未知子区域中的像素点确定为前景像素点或背景像素点。

可选的，本发明实施例中，处理器202还用于：

在根据确定结果，在图像中确定前景区域和背景区域之后，将图像的前景区域和背景区域进行分割。

可选的，本发明实施例中，处理器202还用于：

获取图像的边缘信息；

根据边缘信息，将图像的前景区域和背景区域进行分割。

请参见图3，基于同一发明构思，本发明实施例提供另一种电子设备，所述电子设备可以包括：

获取模块301，用于将图像进行图像分割，获得至少一个子图像，以及，根据图像对应的深度图，获得图像的深度信息；深度信息用于表示图像中的每个像素点是前景像素点或背景像素点；

第一确定模块302，用于根据深度信息，分别确定至少一个子图像中的每个子图像中包括的已知子区域，或已知子区域和未知子区域；已知子区域为前景子区域或背景子区域；

第二确定模块303，用于将至少一个子图像中包括未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点；

第三确定模块304，用于根据第二确定模块303的确定结果，在图像中确定前景区域和背景区域。

可选的，本发明实施例中，第一确定模块302用于：

根据深度信息，对至少一个子图像中的每个子图像进行以下处理：

根据图像的深度信息，在子图像中分别确定：前景像素点的数量、以及背景像素点的数量；前景像素点的数量和背景像素点的数量均大于0；

若前景像素点的数量大于背景像素点的数量，则确定子图像中包括前景像素点的区域为前景子区域，其余的为未知子区域；或，若前景像素点的数量小于背景像素点的数量，则确定子图像中包括背景像素点的区域为背景子区域，其余的为未知子区域；或，若前景像素点的数量等于背景像素点的数量，则确定子图像中包括前景像素点的区域为前景子区域，其余的为未知子区域；或，若前景像素点的数量等于背景像素点的数量，确定子图像中包括背景像素点的区域为背景子区域，其余的为未知子区域。

可选的，本发明实施例中，第二确定模块303用于：

对至少一个子图像中包括未知子区域的每个子图像进行以下处理：

根据子图像中的已知子区域包括的像素点，以及子图像周围的至少一个像素点，将未知子区域对应的像素点进行GMM处理，以将未知子区域中的像素点确定为前景像素点或背景像素点。

可选的，本发明实施例中，电子设备还包括：

分割模块，用于在根据第二确定模块303的确定结果，在所述图像中确定前景区域和背景区域之后，将图像的前景区域和背景区域进行分割。

可选的，本发明实施例中，获取模块301还用于：

获取图像的边缘信息；

分割模块还用于：

根据边缘信息，将图像的前景区域和背景区域进行分割。

本发明实施例提供一种图像处理方法及电子设备，所述方法可以包括：将图像进行图像分割，获得至少一个子图像，以及，根据所述图像对应的深度图，获得所述图像的深度信息；所述深度信息用于表示所述图像中的每个像素点是前景像素点或背景像素点；根据所述深度信息，分别确定所述至少一个子图像中的每个子图像中包括的已知子区域，或已知子区域和未知子区域；所述已知子区域为前景子区域或背景子区域；将所述至少一个子图像中包括所述未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点；根据确定结果，在所述图像中确定前景区域和背景区域。

本发明实施例中，电子设备可以首先根据图像的深度信息，在图像经过图像分割后所得的每一个子图像中，初步确定每个像素点属于已知子区域中的像素点还是未知子区域中的像素点。由于通过深度信息，可以将像素点初步区分为前景像素点和背景像素点(本发明实施例中，将属于图像中前景部分的像素点称为前景像素点，将属于图像中背景部分的像素点称为背景像素点)，那么，就可以大概确定每个子图像中包括的已知子区域，或已知子区域和未知子区域，然后，电子设备可以将包括有未知子区域的子图像进行GMM处理，从而进一步确定未知子区域中的每个像素点是前景像素点还是背景像素点。最后，根据处理结果，便可以确定图像中的哪些区域为前景区域，哪些区域为背景区域。

一般来说，若环境条件不理想，则获得的深度信息可能会不太准确，从而可能导致在区分图像的前景区域和背景区域时得到的结果不够准确，比如，将前景误认为是背景而去除、将背景误认为是前景而保留，等等。本发明实施例，通过对未知子区域进行进一步的GMM处理，可以更为准确地确定未知子区域中包括的像素点为哪种像素点，因此，尽量避免因为深度信息的不准确带来的误差，从而可以在抠图时尽量避免诸如将前景误认为是背景而去除、或将背景误认为是前景而保留等等不理想的情况，提高了抠图的准确性，也提高了电子设备的图像处理能力。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

具体来讲，本发明实施例中的一种图像处理方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像处理方法对应的计算机程序指令被一电子设备读取或被执行时，包括如下步骤：

将图像进行图像分割，获得至少一个子图像，以及，根据所述图像对应的深度图，获得所述图像的深度信息；所述深度信息用于表示所述图像中的每个像素点是前景像素点或背景像素点；

根据所述深度信息，分别确定所述至少一个子图像中的每个子图像中包括的已知子区域，或已知子区域和未知子区域；所述已知子区域为前景子区域或背景子区域；

将所述至少一个子图像中包括所述未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点；

根据确定结果，在所述图像中确定前景区域和背景区域。

可选的，所述存储介质中存储的与步骤：根据所述深度信息，分别确定所述至少一个子图像中的每个子图像中包括的已知子区域和未知子区域，对应的计算机指令在被执行过程中，具体包括：

根据所述深度信息，对所述至少一个子图像中的每个子图像进行以下处理：

根据所述图像的深度信息，在子图像中分别确定：前景像素点的数量、以及背景像素点的数量；所述前景像素点的数量和所述背景像素点的数量均大于0；

若所述前景像素点的数量大于所述背景像素点的数量，则确定所述子图像中包括所述前景像素点的区域为前景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量小于所述背景像素点的数量，则确定所述子图像中包括所述背景像素点的区域为背景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量等于所述背景像素点的数量，则确定所述子图像中包括所述前景像素点的区域为前景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量等于所述背景像素点的数量，确定所述子图像中包括所述背景像素点的区域为背景子区域，其余的为所述未知子区域。

可选的，所述存储介质中存储的与步骤：将所述至少一个子图像中包括所述未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点，对应的计算机指令在被执行过程中，具体包括：

对所述至少一个子图像中包括所述未知子区域的每个子图像进行以下处理：

根据子图像中的所述已知子区域包括的像素点，以及所述子图像周围的至少一个像素点，将所述未知子区域对应的像素点进行GMM处理，以将所述未知子区域中的像素点确定为前景像素点或背景像素点。

可选的，所述存储介质中存储的与步骤：根据确定结果，在所述图像中确定前景区域和背景区域，对应的计算机指令在被执行之后，还包括：

将所述图像的所述前景区域和所述背景区域进行分割。

可选的，所述存储介质中存储的与步骤：将所述图像的所述前景区域和所述背景区域进行分割，对应的计算机指令在被执行过程之前，还包括：

获取所述图像的边缘信息；

所述存储介质中存储的与步骤：将所述图像的所述前景区域和所述背景区域进行分割，对应的计算机指令在被执行过程中，具体包括：

根据所述边缘信息，将所述图像的所述前景区域和所述背景区域进行分割。

以上所述，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，不应理解为对本发明的限制。本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种图像处理方法，包括：

将图像进行图像分割，获得至少一个子图像，以及，根据所述图像对应的深度图，获得所述图像的深度信息；所述深度信息用于表示所述图像中的每个像素点是前景像素点或背景像素点；

根据所述深度信息，分别确定所述至少一个子图像中的每个子图像中包括的已知子区域和未知子区域；所述已知子区域为前景子区域或背景子区域；

将所述至少一个子图像中包括所述未知子区域的子图像分别进行高斯混合模型GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点；

根据确定结果，在所述图像中确定前景区域和背景区域；

其中，根据所述深度信息，对所述至少一个子图像中的每个子图像进行以下处理：

根据所述图像的深度信息，在子图像中分别确定：前景像素点的数量、以及背景像素点的数量；所述前景像素点的数量和所述背景像素点的数量均大于0；

若所述前景像素点的数量大于所述背景像素点的数量，则确定所述子图像中包括所述前景像素点的区域为前景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量小于所述背景像素点的数量，则确定所述子图像中包括所述背景像素点的区域为背景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量等于所述背景像素点的数量，则确定所述子图像中包括所述前景像素点的区域为前景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量等于所述背景像素点的数量，确定所述子图像中包括所述背景像素点的区域为背景子区域，其余的为所述未知子区域。

2.如权利要求1所述的方法，其特征在于，将所述至少一个子图像中包括所述未知子区域的子图像分别进行GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点，包括：

对所述至少一个子图像中包括所述未知子区域的每个子图像进行以下处理：

根据子图像中的所述已知子区域包括的像素点，以及所述子图像中的所述未知子区域向周围扩展的至少一个像素点，对所述未知子区域对应的像素点进行GMM处理，以将所述未知子区域中的像素点确定为前景像素点或背景像素点。

3.如权利要求1-2任一所述的方法，其特征在于，在根据确定结果，在所述图像中确定前景区域和背景区域之后，还包括：

将所述图像的所述前景区域和所述背景区域进行分割。

4.如权利要求3所述的方法，其特征在于，

所述方法还包括：获取所述图像的边缘信息；

将所述图像的所述前景区域和所述背景区域进行分割，包括：

根据所述边缘信息，将所述图像的所述前景区域和所述背景区域进行分割。

5.一种电子设备，包括：

存储器，用于存储指令；

处理器，用于执行所述指令，将图像进行图像分割，获得至少一个子图像，以及，根据所述图像对应的深度图，获得所述图像的深度信息；所述深度信息用于表示所述图像中的每个像素点是前景像素点或背景像素点；根据所述深度信息，分别确定所述至少一个子图像中的每个子图像中包括的已知子区域和未知子区域；所述已知子区域为前景子区域或背景子区域；将所述至少一个子图像中包括所述未知子区域的子图像分别进行高斯混合模型GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点；根据确定结果，在所述图像中确定前景区域和背景区域；

其中，根据所述深度信息，对所述至少一个子图像中的每个子图像进行以下处理：

根据所述图像的深度信息，在子图像中分别确定：前景像素点的数量、以及背景像素点的数量；所述前景像素点的数量和所述背景像素点的数量均大于0；

若所述前景像素点的数量大于所述背景像素点的数量，则确定所述子图像中包括所述前景像素点的区域为前景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量小于所述背景像素点的数量，则确定所述子图像中包括所述背景像素点的区域为背景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量等于所述背景像素点的数量，则确定所述子图像中包括所述前景像素点的区域为前景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量等于所述背景像素点的数量，确定所述子图像中包括所述背景像素点的区域为背景子区域，其余的为所述未知子区域。

6.如权利要求5所述的电子设备，其特征在于，所述处理器用于：

对所述至少一个子图像中包括所述未知子区域的每个子图像进行以下处理：

根据子图像中的所述已知子区域包括的像素点，以及所述子图像中的所述未知子区域向周围扩展的至少一个像素点，对所述未知子区域对应的像素点进行GMM处理，以将所述未知子区域中的像素点确定为前景像素点或背景像素点。

7.如权利要求5-6任一所述的电子设备，其特征在于，所述处理器还用于：

在根据确定结果，在所述图像中确定前景区域和背景区域之后，将所述图像的所述前景区域和所述背景区域进行分割。

8.如权利要求7所述的电子设备，其特征在于，所述处理器还用于：

获取所述图像的边缘信息；

根据所述边缘信息，将所述图像的所述前景区域和所述背景区域进行分割。

9.一种电子设备，包括：

获取模块，用于将图像进行图像分割，获得至少一个子图像，以及，根据所述图像对应的深度图，获得所述图像的深度信息；所述深度信息用于表示所述图像中的每个像素点是前景像素点或背景像素点；

第一确定模块，用于根据所述深度信息，分别确定所述至少一个子图像中的每个子图像中包括的已知子区域和未知子区域；所述已知子区域为前景子区域或背景子区域；

第二确定模块，用于将所述至少一个子图像中包括所述未知子区域的子图像分别进行高斯混合模型GMM处理，以确定其中包括的每个像素点是前景像素点或背景像素点；

第三确定模块，用于根据所述第二确定模块的确定结果，在所述图像中确定前景区域和背景区域；

其中，在所述第一确定模块中，进一步用于：

根据所述图像的深度信息，在子图像中分别确定：前景像素点的数量、以及背景像素点的数量；所述前景像素点的数量和所述背景像素点的数量均大于0；

若所述前景像素点的数量大于所述背景像素点的数量，则确定所述子图像中包括所述前景像素点的区域为前景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量小于所述背景像素点的数量，则确定所述子图像中包括所述背景像素点的区域为背景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量等于所述背景像素点的数量，则确定所述子图像中包括所述前景像素点的区域为前景子区域，其余的为所述未知子区域；或，若所述前景像素点的数量等于所述背景像素点的数量，确定所述子图像中包括所述背景像素点的区域为背景子区域，其余的为所述未知子区域。