CN109144369A - 一种图像处理方法及终端设备 - Google Patents

Abstract

本发明提供了一种图像处理方法及终端设备，涉及通信技术领域。其中，该方法包括：获取摄像头采集的预览图像中的手部区域和目标人体区域；通过所述深度摄像头，确定所述手部区域的姿态参数；通过所述深度摄像头，检测所述目标人体区域与所述终端设备之间的目标距离；根据所述目标距离和所述姿态参数，确定调整参数；根据所述调整参数，对所述目标人体区域进行处理。在本发明实施例中，终端设备可以根据用户手部姿态，以及目标人体区域与终端设备之间的距离，确定针对目标人体区域的调整参数，进而可以根据该调整参数处理目标人体区域，而无需用户在屏幕上手动进行操作，简化了人像美化处理的操作，提高了图像处理效率。

Description

一种图像处理方法及终端设备

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种图像处理方法及终端设备。

背景技术

目前绝大多数的终端设备都具有摄像功能，人们可以通过终端设备的摄像功能进行拍照、视频录制、直播等等，从而可以丰富人们的个人和社交生活。用户可以在终端设备中安装各种相机应用，从而利用终端设备的摄像功能。目前，很多相机应用都提供了人像美化功能，从而人们可以对照片或视频中的人像进行美化处理。

通常，具有人像美化功能的相机应用可以拍摄界面中提供瘦脸、瘦鼻梁等人像美化功能的滑动条，用户在拍照前，或者录制视频的过程中，可以拖动滑动条的滑块图标，从而能够调节不同的美化程度，进而可以对拍摄画面中的脸部、鼻部或其他部位等特定人体区域进行不同程度的美化。

然而，在实际应用中，美化不同人体区域的滑动条通常位于拍摄界面中不同的操作子界面，或者需要点击不同的图标，来触发特定人体区域的滑动条的显示，如此，用户需要在人像美化过程中多次手动在屏幕上进行操作，因此进行人像美化处理的操作较为繁琐，导致图像处理效率低下。

发明内容

本发明提供一种图像处理方法及终端设备，以解决在人像处理过程中，用户需手动在屏幕上进行繁琐操作，导致图像处理效率低下的问题。

为了解决上述技术问题，本发明是这样实现的：一种图像处理的方法，应用于包括深度摄像头的终端设备，包括：

获取摄像头采集的预览图像中的手部区域和目标人体区域；

通过所述深度摄像头，确定所述手部区域的姿态参数；

通过所述深度摄像头，检测所述目标人体区域与所述终端设备之间的目标距离；

根据所述目标距离和所述姿态参数，确定调整参数；

根据所述调整参数，对所述目标人体区域进行处理。

第一方面，本发明实施例还提供了一种终端设备，包括深度摄像头，所述终端设备还包括：

获取模块，用于获取摄像头采集的预览图像中的手部区域和目标人体区域；

第一确定模块，用于通过所述深度摄像头，确定所述手部区域的姿态参数；

检测模块，用于通过所述深度摄像头，检测所述目标人体区域与所述终端设备之间的目标距离；

第二确定模块，用于根据所述目标距离和所述姿态参数，确定调整参数；

处理模块，用于根据所述调整参数，对所述目标人体区域进行处理。

第二方面，本发明实施例还提供了一种终端设备，该终端设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现本发明所述的图像处理方法的步骤。

第三方面，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现本发明所述的图像处理方法的步骤。

在本发明实施例中，终端设备首先可以获取摄像头采集的预览图像中的手部区域和目标人体区域，然后可以通过深度摄像头，确定手部区域的姿态参数，之后可以通过深度摄像头，检测目标人体区域与终端设备之间的目标距离，并根据目标距离和姿态参数，确定调整参数，进而可以根据调整参数，对目标人体区域进行处理。在本发明实施例中，终端设备可以根据用户手部的姿态，以及目标人体区域与终端设备之间的距离，确定针对目标人体区域的调整参数，进而可以根据该调整参数对目标人体区域进行处理，而无需用户在屏幕上手动进行操作，从而简化了人像美化处理的操作，提高了图像处理效率。

附图说明

图1示出了本发明实施例一中的一种图像处理方法的流程图；

图2示出了本发明实施例二中的一种图像处理方法的流程图；

图3示出了本发明实施例二中的一种调整第一三角子区域面积和第二三角子区域面积的示意图；

图4示出了本发明实施例二中的另一种调整第一三角子区域面积和第二三角子区域面积的示意图；

图5示出了本发明实施例二中的一种用户手部处于操作终止位置时部分遮挡目标人体部位的示意图；

图6示出了本发明实施例三中的一种终端设备的结构框图；

图7示出了本发明各个实施例中的一种终端设备的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，示出了本发明实施例中的一种图像处理方法的流程图，具体可以包括如下步骤：

步骤101，获取摄像头采集的预览图像中的手部区域和目标人体区域。

在本发明实施例中，当用户需要通过手机等终端设备拍摄照片或者录制视频时，首先可以打开具有摄像功能的应用，例如相机应用等，然后终端设备可以开启摄像头，并打开应用的预览界面，进而终端设备可以将实时采集的预览图像显示在预览界面中。当应用中的图像处理功能处于开启状态时，终端设备可以对预览图像中人像的手部区域和目标人体区域进行识别，其中，目标人体区域可以包括鼻部、脸颊部或胸部等手部区域之外的人体区域。由于人体不同部位的轮廓和肤色通常不相同，因此在实际应用中，可以利用轮廓和肤色，对人像中的手部区域和目标人体区域进行识别。

步骤102，通过深度摄像头，确定手部区域的姿态参数。

在本发明实施例中，当用户需要对目标人体区域进行处理时，用户可以调整手部动作，从而使手部至少部分遮挡目标人体区域所代表的人体部位，并且在手部遮挡该人体部位的过程中，用户可以调整手部的姿态，从而实现一些动作，例如在保证手部部分遮挡目标人体区域所代表的人体部位的情况下，可以将手部移动一定的距离，或者保持手部部分遮挡该人体部位一段时间，进而终端设备可以通过深度摄像头，确定手部区域在移动过程中的姿态参数。用户可以通过这些动作向终端设备传达自己对目标人体区域想要达到的处理程度，从而便于终端设备获取用户的需求，进而根据用户需求进行人像处理。

步骤103，通过深度摄像头，检测目标人体区域与终端设备之间的目标距离。

在本发明实施例中，终端设备上可以配置深度摄像头，深度摄像头可以采集到当前预览界面中的三维预览图像，该三维预览图像中包括展示平面信息的二维图像，以及被拍摄物体的深度信息。终端设备可以通过深度摄像头采集目标人体区域的深度信息，从而确定目标人体区域与终端设备之间的目标距离。

步骤104，根据目标距离和姿态参数，确定调整参数。

在本发明实施例中，终端设备可以根据目标人体区域与终端设备之间的目标距离，以及手部区域的姿态参数，确定针对目标人体区域的调整参数，也即是终端设备可以将用户的动作姿态，转换为针对人像图像的具体处理参数。

步骤105，根据调整参数，对目标人体区域进行处理。

在本发明实施例中，终端设备确定出针对目标人体区域的调整参数之后，可以根据该调整参数，对目标人体区域进行处理，例如对脸颊部进行瘦脸处理，对鼻部进行高挺处理等等。通过检测用户手部姿态，可以对用户的目标人体区域进行处理，以满足用户的人像处理需求，而无需用户在屏幕上手动进行操作，来寻找针对目标人体区域的操作子界面，进而也无需用户手动在屏幕上调整滑动条来进行人像处理，因此简化了人像美化处理的操作，从而提高了图像处理效率。

在本发明实施例中，终端设备首先可以获取摄像头采集的预览图像中的手部区域和目标人体区域，然后可以通过深度摄像头，确定手部区域的姿态参数，之后可以通过深度摄像头，检测目标人体区域与终端设备之间的目标距离，并根据目标距离和姿态参数，确定调整参数，进而可以根据调整参数，对目标人体区域进行处理。在本发明实施例中，终端设备可以根据用户手部的姿态，以及目标人体区域与终端设备之间的距离，确定针对目标人体区域的调整参数，进而可以根据该调整参数对目标人体区域进行处理，而无需用户在屏幕上手动进行操作，从而简化了人像美化处理的操作，提高了图像处理效率。

参照图2，示出了本发明实施例中的另一种图像处理方法的流程图，具体可以包括如下步骤：

步骤201，获取摄像头采集的预览图像中的手部区域和目标人体区域。

在本发明实施例中，终端设备安装的相机应用中，可以配置本发明实施例提供的图像处理功能，用户可以通过点击图标、设置自动开启等方式，在终端设备开启预览界面之前或之后开启图像处理功能。在相机应用开启，且相机应用中的图像处理功能开启的情况下，终端设备可以通过预设目标识别模型，对预览图像中的各个区域进行肤色检测和轮廓识别，从而确定出预览图像中的手部特征的关键轮廓点，以及目标人体部位特征的关键轮廓点，并将手部特征的关键轮廓点所围成的区域确定为手部区域，将目标人体部位特征的关键轮廓点所围成的区域确定为目标人体区域，之后可以对所有关键轮廓点进行编号。其中，该预设目标识别模型可以事先通过标记有各个人体部位的图像进行训练得到。

在实际应用中，由于手部区域或目标人体区域可能与其他颜色相近的区域重叠，从而难以进行区分，因此，终端设备还可以通过深度摄像头，采集预览图像中的深度信息，进而可以根据预设目标识别模型，再结合深度信息，对预览图像中的手部区域和目标人体区域进行识别。通过结合深度信息进行手部区域和目标人体区域的识别，能够提高识别区域边缘的准确度。

在实际应用中，终端设备可以通过能够采集二维图像的普通摄像头，或者深度摄像头采集预览图像中的手部区域和目标人体区域，本发明实施例对于采集预览图像的摄像头不作具体限定。

例如，目标人体区域可以为脸颊部位对应的图像区域，终端设备可以获取深度摄像头采集的预览图像，并通过预设目标识别模型，对预览图像中的各个二维平面区域进行肤色检测和轮廓识别，确定初步的手部区域和初步的脸颊区域，然后再根据预览图像中的深度信息，确定手部区域和脸颊区域。

步骤202，在检测到目标人体区域包括手部区域的情况下，确定操作起始参数。

在本发明实施例中，终端设备安装的相机应用中，可以配置图像处理所需的用户操作文档或图示，从而指示用户进行预设的动作，以进行图像处理的控制。在实际应用中，用户可以控制手部部分遮挡需要进行处理的目标人体部位，从而触发终端设备通过深度摄像头采集手部区域的姿态参数，并且在手部持续遮挡目标人体部位的过程中，用户可以调整手部姿态，例如可以使手部移动一定的距离，从而用户可以通过手部的移动距离，或者手部遮挡目标人体部位的时长，向终端设备传达针对目标人体区域的处理程度。

首先，由于用户控制手部部分遮挡目标人体部位的过程中，手部通常更靠近终端设备，因此，手部区域和目标人体区域分别与终端设备之间的距离不同，也即手部区域和目标人体区域的深度信息不同，相应的，终端设备可以通过深度摄像头，实时采集手部区域和目标人体区域的深度信息，从而对手部区域和目标人体区域的位置变化进行监测。终端设备在检测到目标人体区域包括手部区域的情况下，也即是，终端设备在检测到目标人体区域中出现手部特征的情况下，可以确定起始参数。

在一种实现方式中，该起始参数可以为手部区域的操作起始位置，也即是终端设备可以将手部区域当前在预览图像中的位置，确定为手部改变姿态的操作起始参数，从而用户可以通过手部的移动距离，控制人像处理的程度。由于用户手部在保持部分遮挡目标人体部位的情况下，能够移动的距离有限，因此，在另一种实现方式中，该起始参数还可以为操作起始时间，也即是终端设备可以将当前时间确定为手部改变姿态的操作起始参数，从而用户可以通过手部保持部分遮挡目标人体部位的时长，控制人像处理的程度。

例如，终端设备在检测到脸颊区域包括手部区域的情况下，此时，终端设备可以确定手部区域的操作起始位置为W1。

步骤203，通过深度摄像头，检测手部区域的移动方向。

在本发明实施例中，用户的手部开始部分遮挡目标人体部位之后，用户持续移动手部，终端设备可以相应检测到手部区域的移动方向。具体的，终端设备可以每隔预设时长，通过深度摄像头确定一次手部区域的三维信息，该三维信息可以为三维坐标，用于表示手部区域在三维空间中的位置。对于任意一个预设时长的时段，终端设备可以将该时段结束时的手部区域三维坐标，指向该时段开始时的手部区域三维坐标的方向，确定为手部区域在该时段内的移动方向。

在实际应用中，由于手部区域的像素点较多，因此可以只对手部区域的任一关键轮廓点进行三维坐标监控，从而根据该关键轮廓点的位置变化，确定手部区域的移动方向，本发明实施例对此不作具体限定。

例如，终端设备可以通过深度摄像头，检测手部区域在各个时段内的移动方向。

步骤204，在检测到手部区域在第一时段的第一移动方向与手部区域在第二时段的第二移动方向之间的角度大于预设角度的情况下，确定操作终止参数，第二时段在第一时段之前。

在本发明实施例中，由于用户的控制动作执行完毕时，用户通常会撤回手部，从而使手部不再遮挡目标人体部位，而根据用户的一般习惯，手部的撤回方向通常会与执行控制动作的方向相差较多，例如用户通过向前方移动手部来进行控制动作之后，通常会突然向后方移动手部，从而进行撤回，以表示控制动作执行完毕，相应的，终端设备可以在检测到手部区域的移动方向突然产生较大改变时，确定用于代表用户控制动作执行完毕的操作终止参数。

具体的，终端设备可以检测手部区域在每个时段的移动方向，在检测到手部区域在第一时段的第一移动方向与手部区域在第二时段的第二移动方向之间的角度大于预设角度的情况下，终端设备可以确定操作终止参数。其中，第一时段的结束时间为当前时间，且第二时段在第一时段之前，第二时段可以为在第一时段之前，且紧邻第一时段的时段，当然，第二时段也可以为终端设备确定起始参数之后，第一时段之前的任一时段，本发明实施例对此不作具体限定。在实际应用中，该预设角度可以为120-180度，或者其他设定的角度，本发明实施例对此不作具体限定。

在一种实现方式中，该操作终止参数可以为手部区域的操作终止位置，也即是终端设备可以将手部区域此时在预览图像中的位置，确定为手部改变姿态的操作终止参数。在另一种实现方式中，该终止参数还可以为终止时间，也即是终端设备可以将手部移动方向急剧改变的时间确定为手部改变姿态的操作终止参数。

例如，第二时段在第一时段之前紧邻第一时段，终端设备可以确定手部区域在第一时段的第一移动方向与手部区域在第二时段的第二移动方向之间的角度大于预设角度120度，此时，终端设备可以确定手部区域的操作终止位置为W2。

步骤205，根据操作起始参数和操作终止参数，确定手部区域的姿态参数。

在本发明实施例中，在一种实现方式中，操作起始参数可以为手部区域的操作起始位置，操作终止参数可以为手部区域的操作终止位置，相应的，本步骤具体可以包括：确定手部区域从操作起始位置移动到操作终止位置的移动距离。

在另一种实现方式中，操作起始参数可以为操作起始时间，操作终止参数可以为操作终止时间，相应的，本步骤具体可以包括：确定手部区域从操作终止时间到操作起始时间的移动时长。

终端设备可以通过上述步骤202-205，在用户手部部分遮挡目标人体部位的过程中，通过深度摄像头确定手部区域的姿态参数，也即是可以根据用户的手部动作，确定针对目标人体部位对应的目标人体区域的处理程度。

例如，终端设备可以确定手部区域从操作起始位置W1移动到操作终止位置W2的移动距离为S1。

步骤206，通过深度摄像头，检测目标人体区域与终端设备之间的目标距离。

在本发明实施例中，终端设备可以通过深度摄像头，采集当前预览界面中的三维预览图像，该三维预览图像中包括展示平面信息的二维图像，以及被拍摄物体的深度信息。终端设备可以通过深度摄像头采集目标人体区域的深度信息，从而确定目标人体区域与终端设备之间的目标距离。

例如，终端设备可以通过深度摄像头，检测脸颊区域与终端设备之间的目标距离为D1。

步骤207，根据目标距离和姿态参数，确定调整参数。

在本发明实施例中，本步骤具体可以包括：根据目标距离和姿态参数，通过公式确定调整参数。

其中，a为调整参数，Δd为姿态参数对应的参考距离，D为目标距离；在l为目标人体区域在预览图像中的长度的情况下，L为预设长度；在l为目标人体区域在预览图像中的宽度的情况下；L为预设宽度。

其中，姿态参数为手部区域从操作起始位置移动到操作终止位置的移动距离时，终端设备可以直接将该移动距离确定为姿态参数对应的参考距离，姿态参数为手部区域从操作终止时间到操作起始时间的移动时长时，终端设备可以事先存储的不同移动时长对应的参考距离，从而终端设备可以从存储的对应关系中，确定当前的移动时长对应的参考距离。

其中，将姿态参数对应的参考距离Δd除以目标距离D，得到的第一参数可以表示用户通过手部动作展示的处理幅度。将预设长度L除以目标人体区域在预览图像中的长度l，或者将预设宽度L除以目标人体区域在预览图像中的宽度l，得到的第二参数可以表示真实的目标人体部位与预览图像中的目标人体区域的成像比例，其中，该预设长度和预设宽度可以是根据目标人体部位的尺寸经验值事先存储在终端设备中的，也可以是由用户根据自身的真实数据输入至终端设备中的。将第一参数除以第二参数，从而可以将用户通过手部动作展示的处理幅度，换算为预览图像中针对目标人体区域的调整参数a，也即是可以获得公式

例如，终端设备可以将手部区域从操作起始位置W1移动到操作终止位置W2的移动距离确定为参考距离S1，目标距离为D1，预设长度为Ly，目标人体区域在预览图像中的长度为l1，然后终端设备可以通过公式确定调整参数

步骤208，根据调整参数，对目标人体区域进行处理。

在本发明实施例中，本步骤具体可以包括：在检测到目标人体区域不包括手部区域的情况下，对目标人体区域进行三角剖分，得到至少三个三角子区域；从至少三个三角子区域中，确定对应操作终止参数的目标人体区域中包括的手部区域所指示的第一三角子区域；基于调整参数，调整第一三角子区域的面积；根据调整后的第一三角子区域的各个顶点，调整第二三角子区域的面积；其中，第二三角子区域与第一三角子区域相邻，且存在至少一个顶点为目标人体区域的边缘像素点。

其中，在检测到目标人体区域不包括手部区域的情况下，也即是在检测到目标人体区域中不存在手部特征的情况下，可以根据目标人体区域的各个关键轮廓点，对目标人体区域进行三角剖分，也即是可以将距离较近的三个关键轮廓点相连，从而得到区域不重叠的至少三个三角子区域。然后对于对应操作终止参数的目标人体区域中包括的手部区域，终端设备可以从至少三个三角子区域中，确定该手部区域所指示的第一三角子区域，也即是终端设备可以确定手部在撤回操作时遮挡目标人体部位的区域，对应到此时不遮挡目标人体部位的预览图像中指示的是哪个三角子区域，第一三角子区域可以表示用户在目标人体区域中想要进行处理的部位。需要说明的是，由于在实际应用中，用户的手部在结束控制操作时可能会遮挡不止一个三角子区域，对于这种情况，终端设备可以出现手部特征的面积最大的三角子区域确定为第一三角子区域，也即是将用户手部在结束控制操作时遮挡面积最大的三角子区域确定为第一三角子区域。

之后终端设备可以基于调整参数，调整第一三角子区域的面积。具体的，参照图3，在一种实现方式中，当第一三角子区域ADE中只有一个顶点A为目标人体区域的边缘像素点时，若需要使目标人体区域变瘦，则终端设备可以以调整参数为移动距离，将顶点A沿高线AF方向移动，到达A’的位置，也即顶点A到A’的距离即等于调整参数，从而可以减小第一三角子区域ADE的面积，得到处理后的第一三角子区域A’DE，实现变瘦效果。若是需要使目标人体区域变胖，则终端设备可以以调整参数为移动距离，将顶点A沿高线FA方向移动，从而可以增大第一三角子区域ADE的面积，得到处理后的第一三角子区域，实现变胖效果。

参照图4，在另一种实现方式中，当第一三角子区域PQM中有两个顶点P和Q均为目标人体区域的边缘像素点时，若需要使目标人体区域变瘦，则终端设备可以以调整参数为移动距离，将顶点Q沿边长PM方向移动，到达P’的位置，将顶点Q沿边长QM方向移动，到达Q’的位置，也即顶点P到P’的距离，以及顶点Q到Q’的距离均等于调整参数，从而可以减小第一三角子区域ADE的面积，得到处理后的第一三角子区域P’Q’M，实现变瘦效果。若是需要使目标人体区域变胖，则终端设备可以以调整参数为移动距离，将顶点P沿高线MP方向移动，将顶点Q沿高线MQ方向移动，从而可以增大第一三角子区域PQM的面积，得到处理后的第一三角子区域，实现变胖效果。

然后对于与第一三角子区域相邻，且存在至少一个顶点为目标人体区域的边缘像素点的第二三角子区域，终端设备可以根据调整后的第一三角子区域的各个顶点，调整第二三角子区域的面积。具体的，在一种实现方式中，参照图3，第二三角子区域可以包括三角形ABD和三角形ACE，其中，顶点B和顶点C均为目标人体区域的边缘像素点，终端设备可以将顶点B与A’连接，得到处理后的三角形子区域A’BD，从而调整了第二三角子区域ABD的面积，终端设备还可以将顶点C与A’连接，得到处理后的三角形子区域A’CE，从而调整了第二三角子区域ACE的面积。

在另一种实现方式中，参照图4，第二三角子区域可以包括三角形QMN和三角形PSM，其中，顶点Q和顶点S均为目标人体区域的边缘像素点，终端设备可以将顶点N与Q’连接，得到处理后的三角形子区域Q’MN，从而调整了第二三角子区域QMN的面积，终端设备还可以将顶点S与P’连接，得到处理后的三角形子区域P’SM，从而调整了第二三角子区域PSM的面积。

在实际应用中，当需要增大三角子区域的面积时，可以确定三角子区域的像素均值，并将增大区域的像素值更新为该三角子区域的像素均值。当需要缩小三角子区域的面积时，可以确定三角子区域附近的背景区域的像素均值，并将缩小区域的像素值更新为该背景区域的像素均值。

另外，在实际应用中，以脸颊部位为例，终端设备既可以对脸颊区域进行瘦脸操作，也即可以缩小第一三角子区域的面积，也可以对脸颊区域进行胖脸操作，也即可以增大第一三角子区域的面积。在实际应用中，用户可以通过控制手部的移动方向，选择进行瘦脸操作还是胖脸操作。例如当用户将手部逐渐靠近终端设备时，终端设备可以检测到手部区域的深度逐渐减小，此时终端设备可以确定用户需要进行缩小第一三角子区域面积的操作，也即瘦脸操作；而当用户将手部逐渐远离终端设备时，终端设备可以检测到手部区域的深度逐渐增大，此时终端设备可以确定用户需要进行增大第一三角子区域面积的操作，也即胖脸操作。

例如，终端设备在检测到脸颊区域中不包括手部区域的情况下，可以对脸颊区域进行三角剖分，得到三个以上的三角子区域，然后可以从各个三角子区域中，确定对应操作终止位置W2的脸颊区域中包括的手部区域所指示的第一三角子区域PQM，参照图5。之后终端设备可以以调整参数a1为移动距离，将顶点Q沿边长PM方向移动，以及将顶点Q沿边长QM方向移动，从而得到面积缩小的第一三角子区域。进而终端设备可以根据调整后的第一三角子区域的各个顶点，调整第二三角子区域的面积。其中，第二三角子区域与第一三角子区域相邻，且存在至少一个顶点为脸颊区域的边缘像素点。

在本发明实施例中，终端设备首先可以获取摄像头采集的预览图像中的手部区域和目标人体区域，然后在检测到目标人体区域包括手部区域的情况下，确定操作起始参数，并通过深度摄像头，检测手部区域的移动方向，进而当检测到手部区域结束控制手势时，确定操作终止参数，然后根据操作起始参数和操作终止参数，确定手部区域的姿态参数，并根据目标距离和姿态参数，确定调整参数，进而可以根据调整参数，对目标人体区域进行处理。在本发明实施例中，终端设备可以根据用户手部的姿态，以及目标人体区域与终端设备之间的距离，确定针对目标人体区域的调整参数，进而可以根据该调整参数对目标人体区域进行处理，而无需用户在屏幕上手动进行操作，从而简化了人像美化处理的操作，提高了图像处理效率。

参照图6，示出了本发明实施例中的一种终端设备600的结构框图，具体可以包括：

获取模块601，用于获取摄像头采集的预览图像中的手部区域和目标人体区域；

第一确定模块602，用于通过所述深度摄像头，确定所述手部区域的姿态参数；

检测模块603，用于通过所述深度摄像头，检测所述目标人体区域与所述终端设备之间的目标距离；

第二确定模块604，用于根据所述目标距离和所述姿态参数，确定调整参数；

处理模块605，用于根据所述调整参数，对所述目标人体区域进行处理。

其中，获取模块601可以与第一确定模块602连接，第一确定模块602可以与检测模块603连接，检测模块603可以与第二确定模块604连接，第二确定模块604可以与处理模块605连接。

可选的，所述第一确定模块602包括：

第一确定子模块，用于在检测到所述目标人体区域包括所述手部区域的情况下，确定操作起始参数；

检测子模块，用于通过所述深度摄像头，检测所述手部区域的移动方向；

第二确定子模块，用于在检测到所述手部区域在第一时段的第一移动方向与所述手部区域在第二时段的第二移动方向之间的角度大于预设角度的情况下，确定操作终止参数，所述第二时段在所述第一时段之前；

第三确定子模块，用于根据所述操作起始参数和所述操作终止参数，确定所述手部区域的姿态参数。

其中，获取模块601可以与第一确定子模块连接，第一确定子模块可以与检测子模块连接，检测子模块可以与第二确定子模块连接，第二确定子模块可以与第三确定子模块连接。

可选的，所述操作起始参数为所述手部区域的操作起始位置，所述操作终止参数为所述手部区域的操作终止位置；

所述第三确定子模块包括：

第一确定单元，用于确定所述手部区域从所述操作起始位置移动到所述操作终止位置的移动距离；

其中，所述姿态参数为所述移动距离。

可选的，所述操作起始参数为操作起始时间，所述操作终止参数为操作终止时间；

所述第三确定子模块包括：

第二确定单元，用于确定所述手部区域从所述操作终止时间到所述操作起始时间的移动时长。

可选的，所述第二确定模块包括：

第四确定子模块，用于根据所述目标距离和所述姿态参数，通过公式确定调整参数；

其中，a为所述调整参数，Δd为所述姿态参数对应的参考距离，D为所述目标距离；

在l为所述目标人体区域在所述预览图像中的长度的情况下，L为预设长度；

在l为所述目标人体区域在所述预览图像中的宽度的情况下，L为预设宽度。

可选的，所述处理模块605包括：

剖分子模块，用于在检测到所述目标人体区域中不包括所述手部区域的情况下，对所述目标人体区域进行三角剖分，得到至少三个三角子区域；

第五确定子模块，用于从所述至少三个三角子区域中，确定对应所述操作终止参数的所述目标人体区域中包括的所述手部区域所指示的第一三角子区域；

第一调整子模块，用于基于所述调整参数，调整所述第一三角子区域的面积；

第二调整子模块，用于根据调整后的所述第一三角子区域的各个顶点，调整第二三角子区域的面积；

其中，所述第二三角子区域与所述第一三角子区域相邻，且存在至少一个顶点为所述目标人体区域的边缘像素点。

其中，第二确定模块604可以与剖分子模块连接，剖分子模块可以与第五确定子模块连接，第五确定子模块可以与第一调整子模块连接，第一调整子模块可以与第二调整子模块连接。

本发明实施例提供的终端设备能够实现图1和图2的方法实施例中终端设备实现的各个过程，为避免重复，这里不再赘述。

在本发明实施例中，终端设备首先可以通过获取模块，获取摄像头采集的预览图像中的手部区域和目标人体区域，然后可以通过第一确定模块，通过深度摄像头，确定手部区域的姿态参数，之后可以通过检测模块，通过深度摄像头，检测目标人体区域与终端设备之间的目标距离，并根据目标距离和姿态参数，通过第二确定模块确定调整参数，进而可以根据调整参数，通过处理模块对目标人体区域进行处理。在本发明实施例中，终端设备可以根据用户手部的姿态，以及目标人体区域与终端设备之间的距离，确定针对目标人体区域的调整参数，进而可以根据该调整参数对目标人体区域进行处理，而无需用户在屏幕上手动进行操作，从而简化了人像美化处理的操作，提高了图像处理效率。

实施例四

图7为实现本发明各个实施例的一种终端设备的硬件结构示意图，

该终端设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、处理器710、电源711以及深度摄像头712等部件。本领域技术人员可以理解，图7中示出的终端设备结构并不构成对终端设备的限定，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，终端设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，处理器710，用于获取摄像头采集的预览图像中的手部区域和目标人体区域；通过所述深度摄像头，确定所述手部区域的姿态参数；通过所述深度摄像头，检测所述目标人体区域与所述终端设备之间的目标距离；根据所述目标距离和所述姿态参数，确定调整参数；根据所述调整参数，对所述目标人体区域进行处理。

在本发明实施例中，终端设备首先可以获取摄像头采集的预览图像中的手部区域和目标人体区域，然后可以通过深度摄像头，确定手部区域的姿态参数，之后可以通过深度摄像头，检测目标人体区域与终端设备之间的目标距离，并根据目标距离和姿态参数，确定调整参数，进而可以根据调整参数，对目标人体区域进行处理。在本发明实施例中，终端设备可以根据用户手部的姿态，以及目标人体区域与终端设备之间的距离，确定针对目标人体区域的调整参数，进而可以根据该调整参数对目标人体区域进行处理，而无需用户在屏幕上手动进行操作，从而简化了人像美化处理的操作，提高了图像处理效率。

应理解的是，本发明实施例中，射频单元701可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器710处理；另外，将上行的数据发送给基站。通常，射频单元701包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元701还可以通过无线通信系统与网络和其他设备通信。

终端设备通过网络模块702为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元703可以将射频单元701或网络模块702接收的或者在存储器709中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元703还可以提供与终端设备700执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元703包括扬声器、蜂鸣器以及受话器等。

输入单元704用于接收音频或视频信号。输入单元704可以包括图形处理器(Graphics Processing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元706上。经图形处理器7041处理后的图像帧可以存储在存储器709(或其它存储介质)中或者经由射频单元701或网络模块702进行发送。麦克风7042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元701发送到移动通信基站的格式输出。

终端设备700还包括至少一种传感器705，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板7061的亮度，接近传感器可在终端设备700移动到耳边时，关闭显示面板7061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器705还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元706用于显示由用户输入的信息或提供给用户的信息。显示单元706可包括显示面板7061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板7061。

用户输入单元707可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板7071上或在触控面板7071附近的操作)。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器710，接收处理器710发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板7071。除了触控面板7071，用户输入单元707还可以包括其他输入设备7072。具体地，其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板7071可覆盖在显示面板7061上，当触控面板7071检测到在其上或附近的触摸操作后，传送给处理器710以确定触摸事件的类型，随后处理器710根据触摸事件的类型在显示面板7061上提供相应的视觉输出。虽然在图7中，触控面板7071与显示面板7061是作为两个独立的部件来实现终端设备的输入和输出功能，但是在某些实施例中，可以将触控面板7071与显示面板7061集成而实现终端设备的输入和输出功能，具体此处不做限定。

接口单元708为外部装置与终端设备700连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元708可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到终端设备700内的一个或多个元件或者可以用于在终端设备700和外部装置之间传输数据。

存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器709可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器710是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器709内的软件程序和/或模块，以及调用存储在存储器709内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。处理器710可包括一个或多个处理单元；优选的，处理器710可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。

终端设备700还可以包括给各个部件供电的电源711(比如电池)，优选的，电源711可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

深度摄像头712可以采集三维图像，该三维图像中可以包括被拍摄物体的二维平面图像，以及被拍摄物体的深度信息。

另外，终端设备700包括一些未示出的功能模块，在此不再赘述。

优选的，本发明实施例还提供一种终端设备，包括处理器710，存储器709，存储在存储器709上并可在所述处理器710上运行的计算机程序，该计算机程序被处理器710执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (14)

1.一种图像处理方法，应用于包括深度摄像头的终端设备，其特征在于，所述方法包括：

获取摄像头采集的预览图像中的手部区域和目标人体区域；

通过所述深度摄像头，确定所述手部区域的姿态参数；

通过所述深度摄像头，检测所述目标人体区域与所述终端设备之间的目标距离；

根据所述目标距离和所述姿态参数，确定调整参数；

根据所述调整参数，对所述目标人体区域进行处理。

2.根据权利要求1所述的方法，其特征在于，所述通过所述深度摄像头，确定所述手部区域的姿态参数，包括：

在检测到所述目标人体区域包括所述手部区域的情况下，确定操作起始参数；

通过所述深度摄像头，检测所述手部区域的移动方向；

在检测到所述手部区域在第一时段的第一移动方向与所述手部区域在第二时段的第二移动方向之间的角度大于预设角度的情况下，确定操作终止参数，所述第二时段在所述第一时段之前；

根据所述操作起始参数和所述操作终止参数，确定所述手部区域的姿态参数。

3.根据权利要求2所述的方法，其特征在于，所述操作起始参数为所述手部区域的操作起始位置，所述操作终止参数为所述手部区域的操作终止位置；

所述根据所述操作起始参数和所述操作终止参数，确定所述手部区域的姿态参数，包括：

确定所述手部区域从所述操作起始位置移动到所述操作终止位置的移动距离；

其中，所述姿态参数为所述移动距离。

4.根据权利要求2所述的方法，其特征在于，所述操作起始参数为操作起始时间，所述操作终止参数为操作终止时间；

所述根据所述操作起始参数和所述操作终止参数，确定所述手部区域的调整幅度，包括：

确定所述手部区域从所述操作终止时间到所述操作起始时间的移动时长；

其中，所述姿态参数为所述移动时长。

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标距离和所述姿态参数，确定调整参数，包括：

根据所述目标距离和所述姿态参数，通过公式确定调整参数；

其中，a为所述调整参数，△d为所述姿态参数对应的参考距离，D为所述目标距离；

在l为所述目标人体区域在所述预览图像中的长度的情况下，L为预设长度；

在l为所述目标人体区域在所述预览图像中的宽度的情况下，L为预设宽度。

6.根据权利要求2所述的方法，其特征在于，所述根据所述调整参数，对所述目标人体区域进行处理，包括：

在检测到所述目标人体区域中不包括所述手部区域的情况下，对所述目标人体区域进行三角剖分，得到至少三个三角子区域；

从所述至少三个三角子区域中，确定对应所述操作终止参数的所述目标人体区域中包括的所述手部区域所指示的第一三角子区域；

基于所述调整参数，调整所述第一三角子区域的面积；

根据调整后的所述第一三角子区域的各个顶点，调整第二三角子区域的面积；

其中，所述第二三角子区域与所述第一三角子区域相邻，且存在至少一个顶点为所述目标人体区域的边缘像素点。

7.一种终端设备，包括深度摄像头，其特征在于，所述终端设备还包括：

获取模块，用于获取摄像头采集的预览图像中的手部区域和目标人体区域；

第一确定模块，用于通过所述深度摄像头，确定所述手部区域的姿态参数；

检测模块，用于通过所述深度摄像头，检测所述目标人体区域与所述终端设备之间的目标距离；

第二确定模块，用于根据所述目标距离和所述姿态参数，确定调整参数；

处理模块，用于根据所述调整参数，对所述目标人体区域进行处理。

8.根据权利要求7所述的终端设备，其特征在于，所述第一确定模块包括：

第一确定子模块，用于在检测到所述目标人体区域包括所述手部区域的情况下，确定操作起始参数；

检测子模块，用于通过所述深度摄像头，检测所述手部区域的移动方向；

第二确定子模块，用于在检测到所述手部区域在第一时段的第一移动方向与所述手部区域在第二时段的第二移动方向之间的角度大于预设角度的情况下，确定操作终止参数，所述第二时段在所述第一时段之前；

第三确定子模块，用于根据所述操作起始参数和所述操作终止参数，确定所述手部区域的姿态参数。

9.根据权利要求8所述的终端设备，其特征在于，所述操作起始参数为所述手部区域的操作起始位置，所述操作终止参数为所述手部区域的操作终止位置；

所述第三确定子模块包括：

第一确定单元，用于确定所述手部区域从所述操作起始位置移动到所述操作终止位置的移动距离；

其中，所述姿态参数为所述移动距离。

10.根据权利要求8所述的终端设备，其特征在于，所述操作起始参数为操作起始时间，所述操作终止参数为操作终止时间；

所述第三确定子模块包括：

第二确定单元，用于确定所述手部区域从所述操作终止时间到所述操作起始时间的移动时长；

其中，所述姿态参数为所述移动时长。

11.根据权利要求7所述的终端设备，其特征在于，所述第二确定模块包括：

第四确定子模块，用于根据所述目标距离和所述姿态参数，通过公式确定调整参数；

其中，a为所述调整参数，△d为所述姿态参数对应的参考距离，D为所述目标距离；

在l为所述目标人体区域在所述预览图像中的长度的情况下，L为预设长度；

在l为所述目标人体区域在所述预览图像中的宽度的情况下，L为预设宽度。

12.根据权利要求8所述的终端设备，其特征在于，所述处理模块包括：

剖分子模块，用于在检测到所述目标人体区域中不包括所述手部区域的情况下，对所述目标人体区域进行三角剖分，得到至少三个三角子区域；

第五确定子模块，用于从所述至少三个三角子区域中，确定对应所述操作终止参数的所述目标人体区域中包括的所述手部区域所指示的第一三角子区域；

第一调整子模块，用于基于所述调整参数，调整所述第一三角子区域的面积；

第二调整子模块，用于根据调整后的所述第一三角子区域的各个顶点，调整第二三角子区域的面积；

其中，所述第二三角子区域与所述第一三角子区域相邻，且存在至少一个顶点为所述目标人体区域的边缘像素点。

13.一种终端设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。