CN105825494A - 一种图像处理方法及移动终端 - Google Patents

Abstract

本发明提供了一种图像处理方法，该图像处理方法包括：获取第一摄像头和第二摄像头分别拍摄的图像，得到彩色图像以及与所述彩色图像相对应的深度图像；根据所述得到的彩色图像和深度图像，确定所述彩色图像中所有对象的层次信息和位置信息；检测用户对所述彩色图像的至少一个对象的滤镜效果调整操作，获取滤镜效果调整操作的所有对象信息；根据所述获取的彩色图像中所有对象所在区域的所有边界点的坐标值以及滤镜效果调整操作对象信息，对所有对象执行滤镜处理。本发明实施例还提供一种相应的移动终端。本发明实施例提供的图像处理方法，分割出的层次图像与实际物距下的对象视觉吻合，在暗环境下仍能得到比较好的滤镜效果。

Description

一种图像处理方法及移动终端

技术领域

本发明涉及图像处理领域，特别涉及一种图像处理方法及移动终端。

背景技术

滤镜是一种能够使拍摄的照片具有一定艺术风格的图像处理技术。通过滤镜，用户能够将一张平淡的照片轻松地处理成LOMO、虚化、胶片、素描、黑白等十几种甚至几十种不同的风格，以表达出不同的意境。层次滤镜则是根据图像内容把图像分为多个层次，一般每一个对象即为一个层次，再对每个层次的图像内容进行滤镜处理，每个层次的滤镜风格可以相同也可以不同。目前的层次滤镜的处理方式一般是先从媒介中选择图像(或者是单摄像头相机拍摄过程中的预览帧数据流)，然后在此图像的预览界面上使用交互式方法选择出感兴趣区域，交互式方法可以为使用涂抹区域选择出感兴趣区域，也可以为使用矩形选择出感兴趣区域，再对所选择出来的每个感兴趣区域使用图像分割算法进行目标分割，每一个分割出来的目标即为图像的一个层次，最后对每个分割出来的层次图像进行滤镜处理。相较于普通滤镜，层次滤镜更具立体感和趣味性。

目前的层次滤镜的处理方式有如下的不足：1)在对图像的预览界面使用涂抹交互式方法选择感兴趣区域时，为了准确涂抹目标，需要用户花费大量的时间来对涂抹的感兴趣区域进行细节调整，且由于经常不能准确涂抹目标，需要在涂抹的边界扩大范围进行目标的边缘检测，以便准确分割出目标，但边缘检测算法有一定的局限性，如果用户所涂抹的区域的边界靠近另一个区域的边界，边缘检测的结果会导致这两个区域合并，这并不是用户所需要的结果，且边缘检测算法耗时过长，体验欠佳；2)在对图像的预览界面使用矩形交互式方法选择感兴趣区域时，一般使用GrabCut图割算法对矩形感兴趣区域进行目标分割，GrabCut图割算法在一定程度上能比较好地分割出目标，且分割出的目标的边缘过渡较好，但此算法容易造成分割的目标部分缺失的情况，需要用户再对缺失的部分进行划线选择才能比较好地完整分割，如果感兴趣区域的目标对象的小区域比较多时，缺失情况更加严重；3)涂抹交互式和的GrabCut矩形交互式方法由于操作时间过长的问题，不适合在移动终端的相机拍摄过程中使用。

发明内容

本发明实施例提供一种图像处理方法及移动终端，用以解决现有层次滤镜的处理方法存在操作时间过长、实现效果不佳的问题。

本发明的实施例提供一种图像处理方法，应用于一移动终端，所述移动终端包括第一摄像头和第二摄像头，所述图像处理方法包括：

获取所述第一摄像头和第二摄像头分别拍摄的图像，得到彩色图像以及与所述彩色图像相对应的深度图像；

根据所述得到的彩色图像和深度图像，确定所述彩色图像中所有对象的层次信息和位置信息；

检测用户对所述彩色图像的至少一个对象的滤镜效果调整操作，获取滤镜效果调整操作的所有对象信息；

根据所述获取的彩色图像中所有对象所在区域的所有边界点的坐标值以及滤镜效果调整操作对象信息，对所有对象执行滤镜处理。

本发明的实施例还提供一种移动终端，包括第一摄像头和第二摄像头，还包括：

获取模块，用于获取所述第一摄像头和第二摄像头分别拍摄的图像，得到彩色图像以及与所述彩色图像相对应的深度图像；

确定模块，用于根据所述得到的彩色图像和深度图像，确定所述彩色图像中所有对象的层次信息和位置信息；

检测模块，用于检测用户对所述彩色图像的至少一个对象的滤镜效果调整操作，获取滤镜效果调整操作的所有对象信息；

滤镜模块，用于根据所述获取的彩色图像中所有对象所在区域的所有边界点的坐标值以及滤镜效果调整操作对象信息，对所有对象执行滤镜处理。

本发明实施例提供的图像处理方法，首先获取第一摄像头和第二摄像头分别拍摄的图像，得到彩色图像以及与彩色图像相对应的深度图像；然后根据得到的彩色图像和深度图像，确定彩色图像中所有对象的层次信息和位置信息；再检测用户对彩色图像的至少一个对象的滤镜效果调整操作，获取滤镜效果调整操作的所有对象信息；最后根据获取的彩色图像中所有对象所在区域的所有边界点的坐标值以及滤镜效果调整操作对象信息，对所有对象执行滤镜处理。该图像处理方法在无交互的情况下自动分割出了彩色图像中各个对象的层次，无需用户再花费大量时间进行目标层次的划分与选取，且不会出现对象图像部分缺失的情况，在有效缩短操作时长的同时改善了实现效果，提升了用户体验，提高了实用性和便利性。

附图说明

图1为本发明图像处理方法的流程示意图；

图2为本发明图像处理方法应用于两个彩色摄像头时的流程示意图；

图3为本发明图像处理方法应用于一个彩色摄像头和一个深度摄像头时的流程示意图；

图4为本发明移动终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的图像处理方法，在无交互的情况下可自动分割出彩色图像中各个对象的层次，缩短了操作时长；且由于使用了深度图像信息，因此分割出的层次图像与实际物距下的对象视觉相吻合，不存在对象图像部分缺失的情况，从而提高了用户使用层次滤镜的体验；另外，由于深度图像不受光照、阴影和色度等因素的影响，因此在暗环境下仍能得到比较好的层次滤镜，改善了层次滤镜的实现效果。

如图1所示，本发明实施例的图像处理方法，应用于一移动终端，所述移动终端包括第一摄像头和第二摄像头，所述图像处理方法包括：

步骤101，获取所述第一摄像头和第二摄像头分别拍摄的图像，得到彩色图像以及与所述彩色图像相对应的深度图像。

步骤102，根据所述得到的彩色图像和深度图像，确定所述彩色图像中所有对象的层次信息和位置信息。

这里，由于深度图像准确地描述了彩色图像的物距信息，因此可以结合深度图像对彩色图像进行对象分割，所分割的每一个对象区域即为彩色图像的一个层次，且由此分割出的层次图像与实际物距下的对象视觉相吻合，不存在对象图像部分缺失的情况，改善了划分效果。

步骤103，检测用户对所述彩色图像的至少一个对象的滤镜效果调整操作，获取滤镜效果调整操作的所有对象信息。

步骤104，根据所述获取的彩色图像中所有对象所在区域的所有边界点的坐标值以及滤镜效果调整操作对象信息，对所有对象执行滤镜处理。

本发明实施例的图像处理方法，通过第一摄像头和第二摄像头分别拍摄的图像，可得到彩色图像以及与彩色图像相对应的深度图像；然后根据得到的彩色图像和深度图像，可确定彩色图像中所有对象的层次信息和位置信息；再检测用户对彩色图像的至少一个对象的滤镜效果调整操作，获取滤镜效果调整操作的所有对象信息；最后根据获取的彩色图像中所有对象所在区域的所有边界点的坐标值以及滤镜效果调整操作对象信息，完成对所有对象的滤镜处理。该图像处理方法在无交互的情况下自动分割出了彩色图像中各个对象的层次，无需用户再花费大量时间进行目标层次的划分与选取，且不会出现对象图像部分缺失的情况，在有效缩短操作时长的同时改善了实现效果，提升了用户体验，提高了实用性和便利性。

其中，上述步骤103中，可根据用户在移动终端预览界面上的操作，来检测用户对彩色图像的至少一个对象的滤镜效果调整操作。可使用户在彩色图像中先选取至少一个对象，然后对选取的对象进行滤镜效果调整操作。其中，用户在彩色图像中选取对象的交互方式如可以是用户在对象区域上划一小线段、圆圈或其它图形等。

其中，上述步骤104中，可根据步骤102确定的彩色图像中所有对象的位置信息，获取彩色图像中所有对象所在区域的所有边界点的坐标值。然后根据彩色图像中所有对象的层次信息及滤镜效果调整操作的对象信息，确定滤镜效果调整操作对象的层次信息及滤镜效果调整操作对象所在区域的边界点的坐标值，最后根据用户选取的滤镜效果对所有对象执行滤镜处理。

这里，可将用户选取的滤镜效果调整操作对象对应的层次区域作为目标层次区域，而未被选取的所有层次区域作为背景层次区域。在用户选取多个目标层次区域时，可使对不同层次区域分别进行相同或者不同风格的滤镜处理，并且各个层次区域之间的滤镜风格可进行切换，而对背景层次区域可使用同一种滤镜风格，滤镜风格也可进行切换，从而实现了滤镜处理的多元化，增加了立体感和趣味性。具体说明如下：

若目标层次区域是人脸，如可使用美颜之类的滤镜，同时背景层次区域使用虚化之类的滤镜；若目标层次区域是美食，如可使用美食滤镜进行处理，同时背景层次区域使用虚化之类的滤镜；为了增加趣味性，目标层次区域也可使用黑白或素描的滤镜效果，而背景层次区域不使用滤镜效果，反之亦可。当然，本发明实施例的滤镜使用效果不限于以上几种，用户可根据自己的兴趣进行选择，在此不一一说明。

优选的，上述步骤102中，所述确定彩色图像中所有对象的层次信息和位置信息的步骤可以包括：

步骤1021，根据深度神经网络原理对所述彩色图像进行聚类处理，获取第一聚类结果。

这里，由于深度图像准确地描述了彩色图像的物距信息，因此可以根据深度图像和彩色图像的图像内容使用深度神经网络对彩色图像进行初步分割，得到第一聚类结果。

步骤1022，对所述彩色图像进行区域生长处理，得到彩色图像中所有对象的层次信息和位置信息。

这里，通过对彩色图像进行区域生长处理，实现了对彩色图像的二次分割，从而根据区域生长处理的结果可确定彩色图像中所有对象的层次信息和位置信息。

此时，结合深度图像实现了对彩色图像的对象分割，得到了彩色图像中所有对象的层次信息和位置信息，为接下来的滤镜处理提供了保障。

进一步的，上述步骤1021中，所述根据深度神经网络原理对所述彩色图像进行聚类处理的步骤可以包括：

步骤10211，对所述彩色图像和深度图像使用深度神经网络进行特征自动学习，获取第一分类特征。

步骤10212，根据所述获取的第一分类特征，对所述彩色图像进行聚类处理，得到第一聚类结果，所述聚类结果包括欠分割或过分割的对象的层次信息和位置信息。

此时，通过对彩色图像和深度图像使用深度神经网络进行特征自动学习，得到了聚类所需的第一分类特征，并使用第一分类特征对彩色图像进行聚类，完成了对彩色图像的初步分割。

但由于聚类结果可能包括欠分割或过分割的对象的层次信息和位置信息，因此需要对初步的聚类结果进行进一步处理，对此本发明实施例主要采用区域生长处理。优选的，上述步骤1022中，所述对所述彩色图像进行区域生长处理的步骤可以包括：

步骤10221，对所述彩色图像进行边缘检测，获取所述彩色图像对应的第一边缘图像。

步骤10222，对所述深度图像进行边缘检测，获取所述深度图像对应的第二边缘图像。

这里，对彩色图像和深度图像分别进行边缘检测，对应得到彩色图像的第一边缘图像和深度图像的第二边缘图像。其中边缘检测即为检测图像中亮度变化明显的像素点，根据亮度变化明显的像素点生成边缘图像。

步骤10223，根据所述获取的第一边缘图像，对所述第二边缘图像进行修正，获取第三边缘图像。

这里，结合彩色图像的边缘图像对深度图像的边缘图像进行边缘修正，得到修正后的深度图像的边缘图像。

步骤10224，根据所述获取的第一聚类结果和第三边缘图像，对所述彩色图像进行区域生长处理，得到彩色图像中所有对象的层次信息和位置信息，所述位置信息为彩色图像中所有对象所在区域的所有边界点的坐标值。

此时，结合深度图像并使用边缘图像融合的方式实现了对彩色图像的二次分隔，所分割的每一个对象区域即为彩色图像的一个层次，从而更加准确地得到了彩色图像中所有对象的层次信息和位置信息，消除了欠分割或过分割的对象的层次信息和位置信息，提高了划分的准确性和有效性，进而提高了滤镜实现效果。

其中，上述步骤10221、10222中，边缘检测即获取图像中边缘检测即获取图像中亮度变化明显的像素点，根据亮度变化明显的像素点生成边缘图像。具体如可根据Prewitt算子对图像进行边缘检测，Prewitt算子是一种一阶微分的边缘检测算子，其在图像空间利用方向模板与图像进行邻域卷积来完成的，通常采用水平方向模板检测水平边缘以及采用垂直方向模板检测垂直边缘，为了得到准确的边缘，因此这里的Prewitt算子可采用8方向模板对模糊图像进行边缘检测。

其中，上述步骤10224中，区域生长处理是根据同一对象区域内像素的相似性质来聚集像素点的方法，从初始区域(如小邻域或甚至于每个像素)开始，将相邻的具有同样性质的像素点或其它小区域归并到目前的区域中从而逐步增长区域，直至没有可以归并的点或其它小区域为止，进而实现目标的提取。区域内像素的相似性度量可以包括平均灰度值、纹理、颜色等信息。区域生长方法是一种比较普遍的方法，在没有先验知识可以利用时，可以取得最佳的性能，可以用来分割比较复杂的图象，如自然景物的各个对象对象。区域生长处理的几个原则如下所示：

1、种子点的选择：本发明所使用的区域生长种子为深度神经网络聚类后的每个类别的中心；

2、生长准则：每一个相邻的像素或其它区域可以根据聚类结果快速判断是否归并到当前区域；

3、终止条件：遇到深度图像的第三边缘图像c”的边缘点则终止生长。

进一步的，上述步骤103中，所述获取滤镜效果调整操作的所有对象信息的步骤可以包括：

步骤1031，根据用户对所述彩色图像的至少一个对象的滤镜效果调整操作，获取滤镜效果调整操作对应的所有对象在所述彩色图像中的位置以及对应的滤镜参数信息。

此时，可根据滤镜效果调整操作对应的所有对象在彩色图像的位置，确定滤镜效果调整操作对象所在区域边界点的坐标值及层次，然后根据对应的滤镜参数信息，对滤镜效果调整操作对象所在区域进行滤镜处理，优化了处理方式，提高了处理效果。

本发明实施例的方法可通过多种方式获取彩色图像以及与彩色图像相对应的深度图像，详细说明如下：

作为第一种实现方式，移动终端的第一摄像头和第二摄像头均为彩色摄像头，上述步骤101的步骤可以包括：

步骤1011，分别获取所述第一摄像头拍摄的第一原始彩色图像和所述第二摄像头拍摄的第二原始彩色图像。

这里，第一摄像头通过彩色图像传感器A采集第一原始彩色图像a，第二摄像头通过彩色图像传感器B采集第二原始彩色图像b。

步骤1012，根据所述第一摄像头的第一预设标定数据和所述第二摄像头的第二预设标定数据，对所述第一原始彩色图像和所述第二原始彩色图像分别进行矫正处理，获取第一矫正彩色图像和第二矫正彩色图像。

这里，可加载两个摄像头的标定数据对两幅原始彩色图像a、b分别进行立体矫正，以使矫正后的第一矫正彩色图像a’和第二矫正彩色图像b’相对应的像素点位于同一水平线上。

步骤1013，对所述获取的第一矫正彩色图像和第二矫正彩色图像根据预设合成算法进行合成处理，得到彩色图像。

步骤1014，获取所述彩色图像中每个像素点的深度值，并根据每个像素点的深度值，得到与所述彩色图像相对应的深度图像。

这里，首先对两个彩色摄像头拍摄的两幅原始彩色图像分别进行矫正，然后对两幅矫正彩色图像进行合成，得到彩色图像；再通过获取彩色图像中每个像素点的深度值，得到与彩色图像相对应的深度图像。此时，通过两个彩色传感器采集的两幅图像经过合成得到的彩色图像具有更好的图像质量。

优选的，上述步骤1013中，可首先对第一矫正彩色图像a’和第二矫正彩色图像b’逐行逐像素点进行匹配，然后对每一对匹配点根据增强图像质量的合成算法进行合成处理，合成后的像素点为彩色图像c在同一坐标下的当前像素点。通过两幅矫正彩色图像经过合成得到的彩色图像具有更好的图像质量。

具体的，上述步骤1014中，所述获取所述彩色图像中每个像素点的深度值的步骤可以包括：

步骤10141，获取所述彩色图像中每个像素点的视差值d。

步骤10142，获取所述第一摄像头与所述第二摄像头之间的距离b。

步骤10143，获取所述第一摄像头与第二摄像头之间的焦距f。

步骤10144，根据所述获取的彩色图像中每个像素点的视差值d、第一摄像头与所述第二摄像头之间的距离b以及第一摄像头与第二摄像头之间的焦距f，计算出所述彩色图像中每个像素点的深度值z。

此时，通过彩色图像中每个像素点的视差值d、两个摄像头间的距离b及焦距f，可准确获取到每个像素点的深度值，进而得到与彩色图像相对应的深度图像，为后续基于深度图像对彩色图像的分割处理提供了有力的数据支持。

进一步的，上述步骤10144中，具体可通过如下公式获取彩色图像中每个像素点的深度值z：

z＝b*f/d，

其中，d为彩色图像中每个像素点的视差值，b为第一摄像头和第二摄像头之间的距离，f为第一摄像头和第二摄像头之间的焦距。

下面以上述第一种实现方式为基础对本发明的一具体实现流程举例说明如下：

如图2所示，本发明实施例的图像处理方法，应用于移动终端，移动终端包括第一摄像头和第二摄像头，第一摄像头和第二摄像头均为彩色摄像头，图像处理方法包括：

步骤201，开启具有第一摄像头和第二摄像头的移动终端相机的层次滤镜。

本步骤是用户进入相机的层次滤镜模式，结束后执行步骤202、203。

步骤202，获取第一摄像头通过彩色图像传感器A采集第一原始彩色图像a。

步骤203，获取第二摄像头通过彩色图像传感器B采集第二原始彩色图像b。

步骤204，加载第一摄像头的第一预设标定数据和第二摄像头的第二预设标定数据。

步骤205，根据步骤204加载的标定数据对第一原始彩色图像a和第二原始彩色图像b进行立体矫正，使矫正后的第一矫正彩色图像a’和第二矫正彩色图像b’相对应的像素点位于同一水平线上，输出立体矫正后的第一矫正彩色图像a’和第二矫正彩色图像b’。

步骤206，对第一矫正彩色图像a’和第二矫正彩色图像b’逐行逐像素点进行匹配，然后对每一对匹配点根据增强图像质量的合成算法进行合成处理，合成后的像素点为彩色图像c在同一坐标下的当前像素点，输出合成后的彩色图像c。

步骤207，获取彩色图像c中每个像素点的视差值d，第一摄像头与第二摄像头之间的距离b以及第一摄像头与第二摄像头之间的焦距f，并通过公式z＝b*f/d，获取彩色图像c每个像素点的深度值z，输出深度图像z’。

步骤208，使用彩色图像c和相对应的深度图像z’，对彩色图像c进行层次分割。其中，深度图像z’准确地描述了彩色图像c的物距信息，因此可以结合深度图像z’对彩色图像c使用边缘图像结合的方式进行对象分割，所分割的每一个对象区域即为彩色图像的一个层次，具体子步骤如下：

步骤2081，根据深度图像z’和彩色图像c的图像内容使用深度神经网络对彩色图像c进行初步分割，得到第一聚类结果，具体包括：步骤20811，对彩色图像c和深度图像z’使用深度神经网络进行特征自动学习，输出聚类所需的第一分类特征；步骤20812，使用第一分类特征对彩色图像c进行聚类处理，得到第一聚类结果，聚类结果可能包括欠分割或过分割的对象对象。

步骤2082，对彩色图像c进行边缘检测，得到彩色图像c对应的第一边缘图像c’，对深度图像z’进行边缘检测，得到深度图像z’对应的第二边缘图像z”。

步骤2083，结合彩色图像c的第一边缘图像c’对深度图像的第二边缘图像z”进行边缘修正，得到修正后的深度图像的第三边缘图像z”’。

步骤2084，根据第一聚类结果和深度图像的第三边缘图像z”’，对彩色图像c进行区域生长处理，根据区域生长处理的结果确定彩色图像c中所有对象的层次信息和位置信息，位置信息即为彩色图像的对象所在区域的边界的坐标值。

步骤209，用户在预览界面上选择彩色图像c的目标对象，目标对象可以为一个或多个。

步骤210，计算步骤209所选的彩色图像c的目标对象位置在彩色图像c中所在的层次区域，其中，用户选取的目标对象对应的层次区域为目标层次区域，未被选取的所有层次区域作为背景层次区域。

步骤211，根据用户选取的滤镜调整参数，对彩色图像c的各个目标层次区域分别进行相同或不同风格的滤镜处理，对背景层次使用同一种风格的滤镜处理。

步骤212，判断是否退出层次滤镜，如果不退出则执行步骤213，否则执行步骤214。

步骤213，跳至步骤202、203，并继续之后的步骤。

步骤214，退出相机层次滤镜。

本发明实施例的图像处理方法，在无交互的情况下可自动地分割出彩色图像各种对象的层次，由于使用了深度图像信息，因此分割出的层次图像与实际物距下的对象视觉吻合，不存在对象图像部分缺失的情况，从而更加有利于层次滤镜的处理，减少了用户的操作和选择，提高了用户使用层次滤镜的体验。而且所获取的深度图像不受光照、阴影和色度等因素的影响，因此在暗环境下仍能得到比较好的层次滤镜。另外双彩色图像传感器采集到的两幅图像经过增强图像质量的合成算法后得到的彩色图像具有更好的图像质量。

作为第二种实现方式，移动终端的第一摄像头为彩色摄像头，第二摄像头为深度摄像头，上述步骤101的步骤可以包括：

步骤1015，分别获取所述第一摄像头拍摄的第三原始彩色图像和所述第二摄像头拍摄的第四原始深度图像；

步骤1016，根据所述第一摄像头的第三预设标定数据和所述第二摄像头的第四预设标定数据，对所述第三原始彩色图像和所述第四原始深度图像分别进行矫正处理，得到彩色图像和与所述彩色图像相对应深度图像。

这里，可首先分别加载两个摄像头的标定数据，然后根据两个摄像头的标定数据对两张原始图像进行立体矫正，使两张矫正后的图像相对应的像素点位于同一水平线上。

此时，通过第三彩色摄像头可直接获取到彩色图像，通过第一深度摄像头可直接获取到深度图像，不需要再根据彩色图像确定对应的深度图像，进一步缩短了操作时长，提高了处理效率。

以上述第二种实现方式为基础，如图3所示，本发明实施例的图像处理方法包括：

步骤301，开启具有第一摄像头和第二摄像头的移动终端相机的层次滤镜。

步骤302，获取第一摄像头通过彩色图像传感器C采集的第三原始彩色图像。

步骤303，获取第二摄像头通过深度图像传感器D采集的第四原始深度图像。

步骤304，加载第一摄像头的第三预设标定数据和第二摄像头的第四预设标定数据。

步骤305，根据步骤304获得的标定数据对第三原始彩色图像和第四原始深度图像进行立体矫正，使矫正后的彩色图像c和深度图像z’相对应的像素点位置匹配，输出矫正后的彩色图像c和深度图像z’。

之后的步骤同图2所示的步骤208-214。

本发明实施例的图像处理方法，在无交互的情况下自动分割出了彩色图像中各个对象的层次，无需用户再花费大量时间进行目标层次的划分与选取，且不会出现对象图像部分缺失的情况，在有效缩短操作时长的同时改善了实现效果，提升了用户体验，提高了实用性和便利性。另外，可通过深度摄像头直接获取到深度图像，不需要再根据彩色图像确定对应的深度图像，进一步缩短了操作时长，提高了处理效率。

作为第三种实现方式，上述步骤101还可使用预先保存在媒介(如相册)中的彩色图像和深度图像，此时，使用保存在媒介中的彩色图像和深度图像，可多次编辑目标对象和滤镜类型，在拍照不明确目标的情况下，此实施方式能够继续离线操作编辑，提高了灵活性。

本发明实施例的图像处理方法，在无交互的情况下可自动分割出彩色图像中各个对象的层次，缩短了操作时长；且由于使用了深度图像信息，因此分割出的层次图像与实际物距下的对象视觉相吻合，不存在对象图像部分缺失的情况，从而提高了用户使用层次滤镜的体验；另外，由于深度图像不受光照、阴影和色度等因素的影响，因此在暗环境下仍能得到比较好的层次滤镜，改善了层次滤镜的实现效果。

如图4所示，本发明的实施例还提供了一种移动终端，包括第一摄像头和第二摄像头，还包括：

获取模块401，用于获取所述第一摄像头和第二摄像头分别拍摄的图像，得到彩色图像以及与所述彩色图像相对应的深度图像；

确定模块402，用于根据所述得到的彩色图像和深度图像，确定所述彩色图像中所有对象的层次信息和位置信息；

检测模块403，用于检测用户对所述彩色图像的至少一个对象的滤镜效果调整操作，获取滤镜效果调整操作的所有对象信息；

滤镜模块404，用于根据所述获取的彩色图像中所有对象所在区域的所有边界点的坐标值以及滤镜效果调整操作对象信息，对所有对象执行滤镜处理。

本发明实施例的移动终端，在无交互的情况下自动分割出了彩色图像中各个对象的层次，无需用户再花费大量时间进行目标层次的划分与选取，且不会出现对象图像部分缺失的情况，在有效缩短操作时长的同时改善了实现效果，提升了用户体验，提高了实用性和便利性。

优选的，所述确定模块402可以包括：

聚类单元4021，用于根据深度神经网络原理对所述彩色图像进行聚类处理，获取第一聚类结果；

区域生长单元4022，用于对所述彩色图像进行区域生长处理，得到彩色图像中所有对象的层次信息和位置信息。

进一步的，所述聚类单元4021可以包括：

特征学习单元40211，用于对所述彩色图像和深度图像使用深度神经网络进行特征自动学习，获取第一分类特征；

聚类子单元40212，用于根据所述获取的第一分类特征，对所述彩色图像进行聚类处理，得到第一聚类结果，所述聚类结果包括欠分割或过分割的对象的层次信息和位置信息。

优选的，所述区域生长单元4022可以包括：

第一边缘检测单元40221，用于对所述彩色图像进行边缘检测，获取所述彩色图像对应的第一边缘图像；

第二边缘检测单元40222，用于对所述深度图像进行边缘检测，获取所述深度图像对应的第二边缘图像；

修正单元40223，用于根据所述获取的第一边缘图像，对所述第二边缘图像进行修正，获取第三边缘图像；

区域生长子单元40224，用于根据所述获取的第一聚类结果和第三边缘图像，对所述彩色图像进行区域生长处理，得到彩色图像中所有对象的层次信息和位置信息，所述位置信息为彩色图像中所有对象所在区域的所有边界点的坐标值。

进一步的，所述检测模块403可以包括：

第一获取单元4031，用于根据用户对所述彩色图像的至少一个对象的滤镜效果调整操作，获取滤镜效果调整操作对应的所有对象在所述彩色图像中的位置以及对应的滤镜参数信息。

作为第一种实现方式，所述获取模块401可以包括：

第二获取单元4011，用于分别获取所述第一摄像头拍摄的第一原始彩色图像和所述第二摄像头拍摄的第二原始彩色图像；

第一矫正单元4012，用于根据所述第一摄像头的第一预设标定数据和所述第二摄像头的第二预设标定数据，对所述第一原始彩色图像和所述第二原始彩色图像分别进行矫正处理，获取第一矫正彩色图像和第二矫正彩色图像；

合成单元4013，用于对所述获取的第一矫正彩色图像和第二矫正彩色图像根据预设合成算法进行合成处理，得到彩色图像；

第三获取单元4014，用于获取所述彩色图像中每个像素点的深度值，并根据每个像素点的深度值，得到与所述彩色图像相对应的深度图像。

具体的，所述第三获取单元可4014以包括：

第一获取子单元40141，用于获取所述彩色图像中每个像素点的视差值；

第二获取子单元40142，用于获取所述第一摄像头与所述第二摄像头之间的距离；

第三获取子单元40143，用于获取所述第一摄像头与第二摄像头之间的焦距；

计算单元40144，用于根据所述获取的彩色图像中每个像素点的视差值、第一摄像头与所述第二摄像头之间的距离以及第一摄像头与第二摄像头之间的焦距，计算出所述彩色图像中每个像素点的深度值。

作为第二种实现方式，所述获取模块401可以包括：

第四获取单元4015，用于分别获取所述第一摄像头拍摄的第三原始彩色图像和所述第二摄像头拍摄的第四原始深度图像；

第二矫正单元4016，用于根据所述第一摄像头的第三预设标定数据和所述第二摄像头的第四预设标定数据，对所述第三原始彩色图像和所述第四原始深度图像分别进行矫正处理，得到彩色图像和与所述彩色图像相对应深度图像。

作为第三种实现方式，上述获取模块401中获取的彩色图像及深度图像具体可为预先保存在媒介(如相册)中的图像，此时，使用保存在媒介中的彩色图像和深度图像，可多次编辑目标对象和滤镜类型，在拍照不明确目标的情况下，此实施方式能够继续离线操作编辑，提高了灵活性。

本发明实施例的移动终端，在无交互的情况下自动分割出了彩色图像中各个对象的层次，无需用户再花费大量时间进行目标层次的划分与选取，且不会出现对象图像部分缺失的情况，在有效缩短操作时长的同时改善了实现效果，提升了用户体验，提高了实用性和便利性。

本发明的终端实施例能实现方法实施例中各步骤，再此不再详述。

本发明的移动终端如可以是手机、平板电脑等移动终端。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种图像处理方法，应用于一移动终端，所述移动终端包括第一摄像头和第二摄像头，其特征在于，所述图像处理方法包括：

获取所述第一摄像头和第二摄像头分别拍摄的图像，得到彩色图像以及与所述彩色图像相对应的深度图像；

根据所述得到的彩色图像和深度图像，确定所述彩色图像中所有对象的层次信息和位置信息；

检测用户对所述彩色图像的至少一个对象的滤镜效果调整操作，获取滤镜效果调整操作的所有对象信息；

根据所述获取的彩色图像中所有对象所在区域的所有边界点的坐标值以及滤镜效果调整操作对象信息，对所有对象执行滤镜处理。

2.根据权利要求1所述的图像处理方法，其特征在于，所述确定彩色图像中所有对象的层次信息和位置信息，包括：

根据深度神经网络原理对所述彩色图像进行聚类处理，获取第一聚类结果；

对所述彩色图像进行区域生长处理，得到彩色图像中所有对象的层次信息和位置信息。

3.根据权利要求2所述的图像处理方法，其特征在于，所述根据深度神经网络原理对所述彩色图像进行聚类处理，包括：

对所述彩色图像和深度图像使用深度神经网络进行特征自动学习，获取第一分类特征；

根据所述获取的第一分类特征，对所述彩色图像进行聚类处理，得到第一聚类结果，所述聚类结果包括欠分割或过分割的对象的层次信息和位置信息。

4.根据权利要求2所述的图像处理方法，其特征在于，所述对所述彩色图像进行区域生长处理，包括：

对所述彩色图像进行边缘检测，获取所述彩色图像对应的第一边缘图像；

对所述深度图像进行边缘检测，获取所述深度图像对应的第二边缘图像；

根据所述获取的第一边缘图像，对所述第二边缘图像进行修正，获取第三边缘图像；

根据所述获取的第一聚类结果和第三边缘图像，对所述彩色图像进行区域生长处理，得到彩色图像中所有对象的层次信息和位置信息，所述位置信息为彩色图像中所有对象所在区域的所有边界点的坐标值。

5.根据权利要求1所述的图像处理方法，其特征在于，所述获取滤镜效果调整操作的所有对象信息，包括：

根据用户对所述彩色图像的至少一个对象的滤镜效果调整操作，获取滤镜效果调整操作对应的所有对象在所述彩色图像中的位置以及对应的滤镜参数信息。

6.根据权利要求1所述的图像处理方法，其特征在于，所述获取所述第一摄像头和第二摄像头分别拍摄的图像，得到彩色图像以及与所述彩色图像相对应的深度图像，包括：

分别获取所述第一摄像头拍摄的第一原始彩色图像和所述第二摄像头拍摄的第二原始彩色图像；

根据所述第一摄像头的第一预设标定数据和所述第二摄像头的第二预设标定数据，对所述第一原始彩色图像和所述第二原始彩色图像分别进行矫正处理，获取第一矫正彩色图像和第二矫正彩色图像；

对所述获取的第一矫正彩色图像和第二矫正彩色图像根据预设合成算法进行合成处理，得到彩色图像；

获取所述彩色图像中每个像素点的深度值，并根据每个像素点的深度值，得到与所述彩色图像相对应的深度图像。

7.根据权利要求6所述的图像处理方法，其特征在于，所述获取所述彩色图像中每个像素点的深度值，包括：

获取所述彩色图像中每个像素点的视差值；

获取所述第一摄像头与所述第二摄像头之间的距离；

获取所述第一摄像头与第二摄像头之间的焦距；

根据所述获取的彩色图像中每个像素点的视差值、第一摄像头与所述第二摄像头之间的距离以及第一摄像头与第二摄像头之间的焦距，计算出所述彩色图像中每个像素点的深度值。

8.根据权利要求1所述的图像处理方法，其特征在于，所述获取所述第一摄像头和第二摄像头分别拍摄的图像，得到彩色图像以及与所述彩色图像相对应的深度图像，包括：

分别获取所述第一摄像头拍摄的第三原始彩色图像和所述第二摄像头拍摄的第四原始深度图像；

根据所述第一摄像头的第三预设标定数据和所述第二摄像头的第四预设标定数据，对所述第三原始彩色图像和所述第四原始深度图像分别进行矫正处理，得到彩色图像和与所述彩色图像相对应深度图像。

9.一种移动终端，包括第一摄像头和第二摄像头，其特征在于，还包括：

获取模块，用于获取所述第一摄像头和第二摄像头分别拍摄的图像，得到彩色图像以及与所述彩色图像相对应的深度图像；

确定模块，用于根据所述得到的彩色图像和深度图像，确定所述彩色图像中所有对象的层次信息和位置信息；

检测模块，用于检测用户对所述彩色图像的至少一个对象的滤镜效果调整操作，获取滤镜效果调整操作的所有对象信息；

滤镜模块，用于根据所述获取的彩色图像中所有对象所在区域的所有边界点的坐标值以及滤镜效果调整操作对象信息，对所有对象执行滤镜处理。

10.根据权利要求9所述的移动终端，其特征在于，所述确定模块包括：

聚类单元，用于根据深度神经网络原理对所述彩色图像进行聚类处理，获取第一聚类结果；

区域生长单元，用于对所述彩色图像进行区域生长处理，得到彩色图像中所有对象的层次信息和位置信息。

11.根据权利要求10所述的移动终端，其特征在于，所述聚类单元包括：

特征学习单元，用于对所述彩色图像和深度图像使用深度神经网络进行特征自动学习，获取第一分类特征；

聚类子单元，用于根据所述获取的第一分类特征，对所述彩色图像进行聚类处理，得到第一聚类结果，所述聚类结果包括欠分割或过分割的对象的层次信息和位置信息。

12.根据权利要求10所述的移动终端，其特征在于，所述区域生长单元包括：

第一边缘检测单元，用于对所述彩色图像进行边缘检测，获取所述彩色图像对应的第一边缘图像；

第二边缘检测单元，用于对所述深度图像进行边缘检测，获取所述深度图像对应的第二边缘图像；

修正单元，用于根据所述获取的第一边缘图像，对所述第二边缘图像进行修正，获取第三边缘图像；

区域生长子单元，用于根据所述获取的第一聚类结果和第三边缘图像，对所述彩色图像进行区域生长处理，得到彩色图像中所有对象的层次信息和位置信息，所述位置信息为彩色图像中所有对象所在区域的所有边界点的坐标值。

13.根据权利要求9所述的移动终端，其特征在于，所述检测模块包括：

第一获取单元，用于根据用户对所述彩色图像的至少一个对象的滤镜效果调整操作，获取滤镜效果调整操作对应的所有对象在所述彩色图像中的位置以及对应的滤镜参数信息。

14.根据权利要求9所述的移动终端，其特征在于，所述获取模块包括：

第二获取单元，用于分别获取所述第一摄像头拍摄的第一原始彩色图像和所述第二摄像头拍摄的第二原始彩色图像；

第一矫正单元，用于根据所述第一摄像头的第一预设标定数据和所述第二摄像头的第二预设标定数据，对所述第一原始彩色图像和所述第二原始彩色图像分别进行矫正处理，获取第一矫正彩色图像和第二矫正彩色图像；

合成单元，用于对所述获取的第一矫正彩色图像和第二矫正彩色图像根据预设合成算法进行合成处理，得到彩色图像；

第三获取单元，用于获取所述彩色图像中每个像素点的深度值，并根据每个像素点的深度值，得到与所述彩色图像相对应的深度图像。

15.根据权利要求14所述的移动终端，其特征在于，所述第三获取单元包括：

第一获取子单元，用于获取所述彩色图像中每个像素点的视差值；

第二获取子单元，用于获取所述第一摄像头与所述第二摄像头之间的距离；

第三获取子单元，用于获取所述第一摄像头与第二摄像头之间的焦距；

计算单元，用于根据所述获取的彩色图像中每个像素点的视差值、第一摄像头与所述第二摄像头之间的距离以及第一摄像头与第二摄像头之间的焦距，计算出所述彩色图像中每个像素点的深度值。

16.根据权利要求9所述的移动终端，其特征在于，所述获取模块包括：

第四获取单元，用于分别获取所述第一摄像头拍摄的第三原始彩色图像和所述第二摄像头拍摄的第四原始深度图像；

第二矫正单元，用于根据所述第一摄像头的第三预设标定数据和所述第二摄像头的第四预设标定数据，对所述第三原始彩色图像和所述第四原始深度图像分别进行矫正处理，得到彩色图像和与所述彩色图像相对应深度图像。