CN111582258A - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本公开提供了一种图像处理方法、装置、电子设备及可读存储介质，属于图像技术领域。本公开实施例中，可以获取包含手部区域的待处理图像，根据预训练的手部关键点检测模型，确定手部区域中手部的各个预设位置的手部关键点，最后，根据手部关键点，对待处理图像中手部区域的形状进行调整，得到目标图像。这样，通过调整待处理图像中手部区域的形状，可以实现对用户手部进行美化的效果，进而可以满足用户针对手部美化的需求。

Description

图像处理方法、装置、电子设备及可读存储介质

技术领域

本公开属于图像技术领域，特别是涉及一种图像处理方法、装置、电子设备及可读存储介质。

背景技术

随着用户审美意识的不断提高，用户经常需要对图像中的人物进行美化处理，以提高人物的美化程度。

相关技术中，往往是对图像中的人脸进行美化处理，或者是对人物的身材进行优化。这种美化方式存在局限性，无法满足用户针对其他方面的美化需求。示例的，用户有时候会针对手部拍摄视频或图片，例如，拍摄手势舞，这种情况下，手型较胖或不太好看的用户，往往希望能够对手部区域进行美化。而相关技术中的美化方式无法满足用户对手部区域的美化需求。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像处理方法、装置、电子设备及可读存储介质。

依据本公开的第一方面，提供了一种图像处理方法，该方法包括：

获取待处理图像；其中，所述待处理图像中包含手部区域；

根据预训练的手部关键点检测模型，确定所述手部区域中手部的各个预设位置的手部关键点；

根据所述手部关键点，对所述待处理图像中手部区域的形状进行调整，得到目标图像。

可选地，所述根据预训练的手部关键点检测模型，确定所述手部区域中手部的各个预设位置的手部关键点之前，所述方法还包括：

获取样本图像；其中，所述样本图像中包含手部区域；

对所述样本图像中手部的各个所述预设位置的关键点进行标注，得到真实手部关键点；

根据所述样本图像及所述真实手部关键点，训练初始模型，以获取所述预训练的手部关键点检测模型。

可选地，所述获取样本图像，包括：

获取包含手部区域且图像参数、所述手部区域对应的手势和/或所述手部区域对应的拍摄角度不同的多张图像；

将所述多张图像确定为所述样本图像。

可选地，所述根据所述手部关键点，对所述待处理图像中手部区域的形状进行调整，包括：

根据所述手部关键点，获取至少一对关键点对；其中，一个关键点对中包括一个起始关键点以及一个结束关键点；

对于任一所述关键点对，将所述关键点对中起始关键点对应的区域，向目标方向调整；所述目标方向为靠近所述结束关键点的方向或远离所述结束关键点的方向。

可选地，所述预设位置至少包括手部的各个手指的指尖、指关节以及掌部两侧边缘；所述关键点对包括第一关键点对以及第二关键点对；

所述根据所述手部关键点，获取至少一对关键点对，包括：

将位于同一指关节两侧的手部关键点进行组合，以及将位于掌部两侧边缘的手部关键点进行组合，得到所述第一关键点对；

将位于手指的指尖处的手部关键点与位于所述手指的指关节的手部关键点进行组合、将位于同一手指的不同指关节的手部关键点进行组合，或将位于掌部同一侧边缘手部关键点进行组合，得到所述第二关键点对。

可选地，所述将所述关键点对中起始关键点对应的区域，向目标方向调整，包括：

将以所述起始关键点为圆心，以预设长度为半径的区域，确定为所述起始关键点对应的区域；

按照预设调整强度，在所述关键点对为第一关键点对的情况下，将所述起始关键点对应的区域，向靠近所述结束关键点的方向调整，或者，在所述关键点对为第二关键点对的情况下，将所述起始关键点对应的区域，向远离所述结束关键点的方向调整。

可选地，所述获取待处理图像，包括：

根据所述电子设备的摄像头，采集当前实时画面；将所述当前实时画面，确定为所述待处理图像；

或者，获取所述电子设备当前拍摄的图像；将拍摄得到的图像作为所述待处理图像；

或者，获取手势视频；所述手势视频是记录用户手部状态变化过程的视频；提取所述手势视频中的视频帧，作为所述待处理图像。

依据本公开的第二方面，提供了一种图像处理装置，该装置包括：

第一获取模块，被配置为获取待处理图像；其中，所述待处理图像中包含手部区域；

确定模块，被配置为根据预训练的手部关键点检测模型，确定所述手部区域中手部的各个预设位置的手部关键点；

调整模块，被配置为根据所述手部关键点，对所述待处理图像中手部区域的形状进行调整，得到目标图像。

可选地，所述装置还包括：

第二获取模块，被配置为获取样本图像；其中，所述样本图像中包含手部区域；

标注模块，被配置为对所述样本图像中手部的各个所述预设位置的关键点进行标注，得到真实手部关键点；

训练模块，被配置为根据所述样本图像及所述真实手部关键点，训练初始模型，以获取所述预训练的手部关键点检测模型。

可选地，所述第二获取模块，被具体配置为：

获取包含手部区域且图像参数、所述手部区域对应的手势和/或所述手部区域对应的拍摄角度不同的多张图像；

将所述多张图像确定为所述样本图像。

可选地，所述调整模块，被具体配置为：

根据所述手部关键点，获取至少一对关键点对；其中，一个关键点对中包括一个起始关键点以及一个结束关键点；

对于任一所述关键点对，将所述关键点对中起始关键点对应的区域，向目标方向调整；所述目标方向为靠近所述结束关键点的方向或远离所述结束关键点的方向。

可选地，所述预设位置至少包括手部的各个手指的指尖、指关节以及掌部两侧边缘；所述关键点对包括第一关键点对以及第二关键点对；

所述调整模块，还被具体配置为：

将位于同一指关节两侧的手部关键点进行组合，以及将位于掌部两侧边缘的手部关键点进行组合，得到所述第一关键点对；

将位于手指的指尖处的手部关键点与位于所述手指的指关节的手部关键点进行组合、将位于同一手指的不同指关节的手部关键点进行组合，或将位于掌部同一侧边缘手部关键点进行组合，得到所述第二关键点对。

可选地，所述调整模块，还被具体配置为：

将以所述起始关键点为圆心，以预设长度为半径的区域，确定为所述起始关键点对应的区域；

按照预设调整强度，在所述关键点对为第一关键点对的情况下，将所述起始关键点对应的区域，向靠近所述结束关键点的方向调整，或者，在所述关键点对为第二关键点对的情况下，将所述起始关键点对应的区域，向远离所述结束关键点的方向调整。

可选地，所述第一获取模块，被具体配置为：

根据所述电子设备的摄像头，采集当前实时画面；将所述当前实时画面，确定为所述待处理图像；

或者，获取所述电子设备当前拍摄的图像；将拍摄得到的图像作为所述待处理图像；

或者，获取手势视频；所述手势视频是记录用户手部状态变化过程的视频；提取所述手势视频中的视频帧，作为所述待处理图像。

依据本公开的第三方面，提供了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如第一方面中任一项所述的图像处理方法。

依据本公开的第四方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够如第一方面中任一项所述的图像处理方法。

依据本公开的第五方面，提供了一种计算机程序产品，该计算机程序产品包括可读性程序指令，该可读性程序指令由移动终端的处理器执行时，使得移动终端能够执行如上述任一个实施例中的图像处理方法中的步骤。

本公开相比于相关技术，具有如下的优点和积极效果：

可以获取包含手部区域的待处理图像，根据预训练的手部关键点检测模型，确定手部区域中手部的各个预设位置的手部关键点，最后，根据手部关键点，对待处理图像中手部区域的形状进行调整，得到目标图像。这样，通过调整待处理图像中手部区域的形状，可以实现对用户手部进行美化的效果，进而可以满足用户针对手部美化的需求。

上述说明仅是本公开技术方案的概述，为了能够更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本公开的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本公开实施例提供的一种图像处理方法的步骤流程图；

图2-1是本公开实施例提供的另一种图像处理方法的步骤流程图；

图2-2是本公开实施例提供的一种手部关键点示意图；

图2-3是本公开实施例提供的一种调整后的手部示意图；

图3是本公开实施例提供的一种图像处理装置的框图；

图4是根据一示例性实施例示出的一种用于图像处理的装置的框图；

图5是根据一示例性实施例示出的一种用于图像处理的装置的框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1是本公开实施例提供的一种图像处理方法的步骤流程图，如图1所示，该方法可以包括：

步骤101、获取待处理图像；其中，所述待处理图像中包含手部区域。

本公开实施例中，该获取操作可以是在电子设备的手部美化功能启动的情况下执行的。该手部美化功能可以是用户在需要对手部进行调整，以实现美化手部区域时，通过预设操作开启的。其中，该预设操作可以为点击电子设备的预设按钮，本公开实施例对此不作限定。

进一步地，本公开实施例中的待处理图像可以为包含手部区域的图像，其中，手部区域指的是用户的手部在图像中所占的区域，手部区域可以为一个或多个，相应地，可以针对每个手部区域均按照后续步骤进行处理。这样，通过确保待处理图像中包含手部区域，可以确保后续针对手部的调整操作具有可调整的对象，进而确保针对手部的调整操作能够正常进行，同时也可以避免后续步骤中针对不包含手部区域的图像执行操作，进而导致操作资源浪费的问题。

步骤102、根据预训练的手部关键点检测模型，确定所述手部区域中手部的各个预设位置的手部关键点。

本公开实施例中，该手部关键点检测模型，可以是预先训练得到的。通过训练，以使该手部关键点检测模型学习到检测图像中手部区域中手部的各个预设位置的手部关键点的能力。其中，该预设位置可以是根据实际需求预先设定，例如，根据用户对手部的调整需求设定。

进一步地，可以将待处理图像输入该手部关键点检测模型，该手部关键点检测模型可以先对该待处理图像进行图像识别，以检测该待处理图像中包含的手部区域，接着，提取该手部区域的图像特征，基于提取到的图像特征，确定各个该手部中的各个预设位置，并各个预设位置上进行点位标记，最后，输入标记的点位，得到手部关键点。这样，通过检测出手部各个预设位置的手部关键点，可以实现对手部各个预设位置的精准定位，进而可以使后续步骤中基于这些手部关键点，对手部进行精准的调整。

步骤103、根据所述手部关键点，对所述待处理图像中手部区域的形状进行调整，得到目标图像。

本公开实施例中，由于手部关键点可以精准的表示待处理图像中手部的各个预设位置，因此，可以基于这些手部关键点对手部区域的形状进行精准的调整。这样，通过调整手部区域的形状，可以实现对图像中手部的美化调整，进而进一步满足用户对手部美化调整的需求。

综上所述，本公开实施例提供的图像处理方法，可以获取包含手部区域的待处理图像，根据预训练的手部关键点检测模型，确定手部区域中手部的各个预设位置的手部关键点，最后，根据手部关键点，对待处理图像中手部区域的形状进行调整，得到目标图像。这样，通过调整待处理图像中手部区域的形状，可以实现对用户手部进行美化的效果，进而可以满足用户针对手部美化的需求。

图2-1是本公开实施例提供的另一种图像处理方法的步骤流程图，如图2-1所示，该方法可以包括：

步骤201、获取样本图像；其中，所述样本图像中包含手部区域。

本步骤中，样本图像可以是用户输入的，也可以是从网络中采集的。示例的，可以获取包含手部区域且图像参数、所述手部区域对应的手势和/或所述手部区域对应的拍摄角度不同的多张图像；将所述多张图像确定为所述样本图像。

具体的，可以先从网络中爬取多张包含的手部区域的图像作为备选图像。接着，通过对备选图像解析，获取备选图像的图像参数，对备选图像进行手势识别，以确定手部区域对应的手势，以及根据手部区域的形状，确定手部区域对应的拍摄角度。最后，从各种图像参数、各种手势和/或各种拍摄角度对应的备选图像中，选择部分备选图像，作为样本图像。其中，图像参数可以为亮点，曝光度，噪点数等可以表示拍摄该图像时光线条件的参数。

由于图像的光线条件、手部区域对应的手势以及手部区域对应的拍摄角度均会对手部的关键点检测产生影响。因此，本公开实施例中，通过获取各种图像参数各种手势各种拍摄角度的样本图像，可以使得后续模型训练中，模型能够学习到在不同影响下对关键点进行检测别的能力，进而可以提高模型的检测能力。

步骤202、对所述样本图像中手部的各个所述预设位置的关键点进行标注，得到真实手部关键点。

本步骤中，预设位置可以是根据实际需求预先设定的，具体的，该预设位置可以至少包括手部的各个手指的指尖、指关节以及掌部两侧边缘。由于这些位置是手部中较为重要的位置，因此，通过设置这些位置为预设位置，可以确保后续可以确定出这些位置的关键点，进而较为精确的定位出手部中较为重要的位置，方便后续基于这些关键点进行调整，以及提高后续基于这些位置的关键点进行调整的效果。

进一步地，在进行标注时，可以先显示样本图像，然后接收用户对该样本图像的预设操作，对该预设操作指示的位置进行标注，进而得到真实手部关键点。其中，预设操作可以是点击操作、长按操作，等等。真实手部关键点可以是能够正确表示该样本图像中手部的预设位置的点。本公开实施中，通过用户人工标注的方式，仅需显示样本图像，并接收预设操作即可完成标注，进而一定程度上可以节省标注所需耗费的处理资源。

步骤203、根据所述样本图像及所述真实手部关键点，训练初始模型，以获取所述预训练的手部关键点检测模型。

本步骤中，该初始模型可以是开发人员基于神经网络模型预先构建的，该初始识别模型可以包括多层结构，每层结构可以实现不同的处理。进一步地，可以利用样本图像以及标注的真实手部关键点进行训练，让初始模型进行深度学习，即，自行学习手部关键点的位置，进而训练出一个手部关键点检测模型。进行模型训练时，可以将样本图像输入初始模型，利用该初始模型提取样本图像的图像特征，然后基于图像特征确定该样本图像中手部的各个预设位置的手部关键点，得到预测手部关键点。接着，根据预测手部关键点与真实手部关键点之间的偏差程度，对初始模型中各个层级的参数进行调整，并在完成调整之后，重复执行上述训练过程。最后，在初始模型满足停止训练的条件时，将该初始模型确定为手部关键点检测模型。其中，该停止训练的条件可以是初始模型的偏差程度小于预设的偏差程度阈值，或者是初始模型的训练的次数达到预设次数。

本公开实施例中，通过收集样本图像并进行标注，利用标注后的样本图像进行训练。在不断调整初始模型的参数，对初始模型进行重复训练的过程中，可以使得初始模型确定的预测手部关键点与真实手部关键点之间的偏差越来越小，即，初始模型的检测准确度越来越高。这样，将停止训练时的初始模型确定为手部关键点检测模型，可以确保该手部关键点检测模型能够准确的确定出图像中的手部关键点。同时，通过样本图像训练能够检测出各个预设位置的手部关键点的模型，使得后续基于该模型能够精确的定位手部的各个预设位置，进而提高对手部进行调整的精度

步骤204、获取待处理图像；其中，所述待处理图像中包含手部区域。

本步骤中，可以是根据所述电子设备的摄像头，采集当前实时画面；将所述当前实时画面，确定为所述待处理图像。其中，电子设备可以是在接受到拍摄指令的情况下，采集当前实时画面。其中，该拍摄指令可以是用户在需要使用电子设备录制视频，或者是进行直播的情况下发送的。例如，用户可以通过点击录制按钮或者是直播按钮，实现发送拍摄指令。这样，通过将当前实时画面作为待处理图像进行处理，可以实现在直播或者录制视频的场景下对所拍摄画面中的手部进行实时美化调整，进而提高用户录制视频以及进行直播的积极性。

进一步地，也可以是获取所述电子设备当前拍摄的图像；将拍摄得到的图像作为所述待处理图像。其中，电子设备可以实在接收到拍摄指令的情况下，进行拍摄的。这样，通过获取当前拍摄的图像作为待处理图像，可以实现在用户进行拍照的场景中，对新拍摄的图像进行美化调整，使得新拍摄的图像可以便捷的得到手部调整的处理。

进一步地，也可以是获取手势视频；其中，该手势视频是记录用户手部状态变化过程的视频。接着，提取所述手势视频中的视频帧，作为所述待处理图像。具体的，该手势视频可以通过以下过程录制：通过摄像头采集画面，通过预设的对象跟踪算法对画面中包含的手部进行跟踪，以确保手势视频中包含有用户手部状态变化过程。相应地，获取手势视频时，可以是电子设备自己录制，也可以是读取已经录制好的手势视频，本公开实施例对此不作限定。进一步地，可以将该手势视频中包含的所有视频帧都作为待处理图像。这样，可以实现对已拍摄视频中手部的调整美化，进而满足用户对视频中手部进行调整美化的需求。进一步地，也可以接收用户对电子设备中已存储图像的选择操作；将选择操作选中的已存储图像确定为待处理图像。其中，电子设备中的已存储图像可以是用户拍摄之后存储在电子设备中，也可以是用户从网络中下载到电子设备中，又或者是其他电子设备发送至该电子设备中的，本公开实施例对此不作限定。本公开实施例通过上述多种方式获取待处理图像，可以实现在多种场景中对图像的手部区域进行调整美化，场景限制较小。

步骤205、根据预训练的手部关键点检测模型，确定所述手部区域中手部的各个预设位置的手部关键点。

具体的，本步骤的具体实现方式可以参照前述步骤102，本公开实施例在此不作赘述。

步骤206、根据所述手部关键点，对所述待处理图像中手部区域的形状进行调整，得到目标图像。

具体的，可以通过下述步骤2061～步骤2062进行调整：

步骤2061、根据所述手部关键点，获取至少一对关键点对；其中，一个关键点对中包括一个起始关键点以及一个结束关键点。

本步骤中，关键点对可以包括第一关键点对及第二关键点对，在获取关键点对时，可以将位于同一指关节两侧的手部关键点进行组合，以及将位于掌部两侧边缘的手部关键点进行组合，得到第一关键点对。将位于手指的指尖处的手部关键点与位于所述手指的指关节的手部关键点进行组合、将位于同一手指的不同指关节的手部关键点进行组合，或将位于掌部同一侧边缘手部关键点进行组合，得到第二关键点对。这样，通过进行组合，可以使得后续步骤中基于组合得到的关键点便捷的进行调整。具体的，在进行组合时，可以是基于部分手部关键点进行组合，使得后续步骤中，仅需对部分区域进行调整，进而减少调整量，节省处理资源。也可以是基于所有的手部关键点进行组合，使得后续步骤中，对整个手部区域进行调整，进而确保调整效果。

本公开实施例中，无需用户手动进行选择，也无需向用户显示确定的手部关键点，电子设备基于关键点的位置自动组合关键点对的方式中，可以减少用户的操作过程，进而可以简化图像处理的流程。当然，也可以向用户显示标记有手部关键点的待处理图像，然后，根据用户对手部关键点的选择操作，确定起始关键点以及结束关键点，最后，将起始关键点以及结束关键点组合为关键点对。进而满足用户多样化的调整需求。

示例的，图2-2是本公开实施例提供的一种手部关键点示意图，如图2-2所示，可以将位于同一指关节两侧的手部关键点2以及手部关键点8，组合为第一关键点对。具体在组合时，可以将手部关键点2确定为起始关键点，将手部关键点8确定为结束关键点，组成一个第一关键点对。将手部关键点8确定为起始关键点，将手部关键点2确定为结束关键点，组成一个第一关键点对。进一步地，还可以将位于掌部两侧边缘的手部关键点6和手部关键点34，组合为第一关键点对。将位于手指的指尖处的手部关键点1与位于所述手指的指关节的手部关键点2，组合为第二关键点对，位于掌部同一侧边缘手部关键点5和手部关键点6，组合为第二关键点对，位于同一手指的不同指关节的手部关键点2和手部关键点3，组合为第二关键点对。

步骤2062、对于任一所述关键点对，将所述关键点对中起始关键点对应的区域，向目标方向调整；所述目标方向为靠近所述结束关键点的方向或远离所述结束关键点的方向。

具体的，可以将以起始关键点为圆心，以预设长度为半径的区域，确定为起始关键点对应的区域；按照预设调整强度，在关键点对为第一关键点对的情况下，将起始关键点对应的区域，向靠近结束关键点的方向调整，或者，在关键点对为第二关键点对的情况下，将起始关键点对应的区域，向远离结束关键点的方向调整。

其中，预设长度越大，起始关键点对应的区域越大，相应地，每次调整的范围也越大，反之，则越小。进一步地，预设调整强度越大，对起始关键点对应的区域的调整强度越大。因此，预设长度以及预设调整强度可以根据实际需求设置的。进一步地，进行调整时，可以是起始关键点对应的区域进行“液化处理”，即，按照预设调整强度将起始关键点对应的区域向目标方向推，以改变形状。其中，每次向目标方向推的量与预设调整强度成正比。

进一步地，以关键点对为：(手部关键点2，手部关键点8)、(手部关键点8，手部关键点2)、(手部关键点3，手部关键点9)、(手部关键点9，手部关键点3)，预设半径为0.3，预设调整强度为0.1为例，该调整操作可以通过下述逻辑代码实现：

其中，start表示起始关键点，end表示结束关键点，intensity表示预设调整强度，radius表示预设长度。

进一步地，相较于直接针对固定点位进行调整的方式，本步骤中，以起始关键点为圆心，以预设长度为半径的区域作为调整的区域，一定程度上可以使调整效果更加自然。同时，通过在关键点对为第一关键点对时，将起始关键点对应的区域，向靠近结束关键点的方向调整，在关键点对为第二关键点对时，将起始关键点对应的区域，向远离结束关键点的方向调整，可以使得调整后的手部更加纤细，进而实现瘦手。示例的，图2-3是本公开实施例提供的一种调整后的手部示意图，如图2-3所示，相较于图2-2中的手部，图2-3中调整后的手部更加纤细。需要说明的是，实际应用中，可以在将图2-3中标记的关键点去除之后，将调整后的手部所在图像确定为目标图像。

进一步地，实际应用场景中，用户经常使用短视频应用拍摄手势舞视频，本公开实施例可以在在用户拍摄或编辑时，运行与训练的手部关键点检测模型，对拍摄的视频进行实时检测，进而填补目前无法对手部进行美化的空白，使得用户可以对视频中的手部进行美化，进而可以是使得手部不够美观的用户，也能够拍摄出好看的图片、视频，进而提高用户的积极性。进一步地，本发明实施例中，还可以在完成调整之后，显示得到的目标图像，这样，在拍摄场景中，即，待处理图像是采集的当前实时画面的情况下，可以实时输出处理后的画面，使用户看到的是处理后的，即，瘦手之后的画面，进而提高用户的观看体验。

需要说明的是，也可以基于本步骤的调整方式对样本图像进行调整，将调整后的样本图像作为真实图像，并基于样本图像以及真实图像训练初始模型，使得初始模型学习对图像进行调整的能力，相应地，可以通过该模型执行调整步骤，本公开实施例对此不作限定。

综上所述，本公开实施例提供的图像处理方法，可以获取包含手部区域的样本图像，对样本图像中手部的各个预设位置的手部关键点进行标注，得到真实手部关键点，根据样本图像及所述真实手部关键点，训练初始模型，以获取预训练的手部关键点检测模型，这样，可以通过手部关键点检测模型快捷准确的检测出手部关键点。接着，可以获取包含手部区域的待处理图像，根据预训练的手部关键点检测模型，确定手部区域中手部的各个预设位置的手部关键点，最后，根据手部关键点，对待处理图像中手部区域的形状进行调整，得到目标图像。这样，通过调整待处理图像中手部区域的形状，可以实现对用户手部进行美化的效果，进而可以满足用户针对手部美化的需求。

图3是本公开实施例提供的一种图像处理装置的框图，如图3所示，该装置30可以包括：

第一获取模块301，被配置为获取待处理图像；其中，所述待处理图像中包含手部区域。

确定模块302，被配置为根据预训练的手部关键点检测模型，确定所述手部区域中手部的各个预设位置的手部关键点。

调整模块303，被配置为根据所述手部关键点，对所述待处理图像中手部区域的形状进行调整，得到目标图像。

综上所述，本公开实施例提供的图像处理装置，可以获取包含手部区域的待处理图像，根据预训练的手部关键点检测模型，确定手部区域中手部的各个预设位置的手部关键点，最后，根据手部关键点，对待处理图像中手部区域的形状进行调整，得到目标图像。这样，通过调整待处理图像中手部区域的形状，可以实现对用户手部进行美化的效果，进而可以满足用户针对手部美化的需求。

可选地，所述装置30还包括：

第二获取模块，被配置为获取样本图像；其中，所述样本图像中包含手部区域。

标注模块，被配置为对所述样本图像中手部的各个所述预设位置的关键点进行标注，得到真实手部关键点。

训练模块，被配置为根据所述样本图像及所述真实手部关键点，训练初始模型，以获取所述预训练的手部关键点检测模型。

可选地，所述第二获取模块，被具体配置为：

获取包含手部区域且图像参数、所述手部区域对应的手势和/或所述手部区域对应的拍摄角度不同的多张图像。

将所述多张图像确定为所述样本图像。

可选地，所述调整模块303，被具体配置为：

根据所述手部关键点，获取至少一对关键点对；其中，一个关键点对中包括一个起始关键点以及一个结束关键点。

对于任一所述关键点对，将所述关键点对中起始关键点对应的区域，向目标方向调整；所述目标方向为靠近所述结束关键点的方向或远离所述结束关键点的方向。

可选地，所述预设位置至少包括手部的各个手指的指尖、指关节以及掌部两侧边缘；所述关键点对包括第一关键点对以及第二关键点对。

所述调整模块303，还被具体配置为：

将位于同一指关节两侧的手部关键点进行组合，以及将位于掌部两侧边缘的手部关键点进行组合，得到所述第一关键点对。

将位于手指的指尖处的手部关键点与位于所述手指的指关节的手部关键点进行组合、将位于同一手指的不同指关节的手部关键点进行组合，或将位于掌部同一侧边缘手部关键点进行组合，得到所述第二关键点对。

可选地，所述调整模块303，还被具体配置为：

将以所述起始关键点为圆心，以预设长度为半径的区域，确定为所述起始关键点对应的区域。

按照预设调整强度，在所述关键点对为第一关键点对的情况下，将所述起始关键点对应的区域，向靠近所述结束关键点的方向调整，或者，在所述关键点对为第二关键点对的情况下，将所述起始关键点对应的区域，向远离所述结束关键点的方向调整。

可选地，所述第一获取模块301，被具体配置为：

根据所述电子设备的摄像头，采集当前实时画面；将所述当前实时画面，确定为所述待处理图像。

或者，获取所述电子设备当前拍摄的图像；将拍摄得到的图像作为所述待处理图像。

或者，获取手势视频；所述手势视频是记录用户手部状态变化过程的视频；提取所述手势视频中的视频帧，作为所述待处理图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本公开的一个实施例，提供了一种电子设备，包括：处理器、用于存储处理器可执行指令的存储器，其中，处理器被配置为执行时实现如上述任一个实施例中的图像处理方法中的步骤。

根据本公开的一个实施例，还提供了一种非临时性计算机可读存储介质，当存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行如上述任一个实施例中的图像处理方法中的步骤。

根据本公开的一个实施例，还提供了一种计算机程序产品，该计算机程序产品包括可读性程序代码，该可读性程序代码由移动终端的处理器执行时，使得移动终端能够执行如上述任一个实施例中的图像处理方法中的步骤。

图4是根据一示例性实施例示出的一种用于图像处理的装置的框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电力组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。

处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的图像处理方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。

存储器404被配置为存储各种类型的数据以支持在设备400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件406为装置400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。

多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当设备400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。

I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到设备400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像处理方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述图像处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图5是根据一示例性实施例示出的一种用于图像处理的装置的框图。例如，装置500可以被提供为一服务器。参照图5，装置500包括处理组件522，其进一步包括一个或多个处理器，以及由存储器532所代表的存储器资源，用于存储可由处理组件522的执行的指令，例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件522被配置为执行指令，以执行上述图像处理方法。

装置500还可以包括一个电源组件526被配置为执行装置500的电源管理，一个有线或无线网络接口550被配置为将装置500连接到网络，和一个输入输出(I/O)接口558。装置500可以操作基于存储在存储器532的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：

获取待处理图像；其中，所述待处理图像中包含手部区域；

根据预训练的手部关键点检测模型，确定所述手部区域中手部的各个预设位置的手部关键点；

根据所述手部关键点，对所述待处理图像中手部区域的形状进行调整，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据预训练的手部关键点检测模型，确定所述手部区域中手部的各个预设位置的手部关键点之前，所述方法还包括：

获取样本图像；其中，所述样本图像中包含手部区域；

对所述样本图像中手部的各个所述预设位置的关键点进行标注，得到真实手部关键点；

根据所述样本图像及所述真实手部关键点，训练初始模型，以获取所述预训练的手部关键点检测模型。

3.根据权利要求2所述的方法，其特征在于，所述获取样本图像，包括：

获取包含手部区域且图像参数、所述手部区域对应的手势和/或所述手部区域对应的拍摄角度不同的多张图像；

将所述多张图像确定为所述样本图像。

4.根据权利要求1所述的方法，其特征在于，所述根据所述手部关键点，对所述待处理图像中手部区域的形状进行调整，包括：

根据所述手部关键点，获取至少一对关键点对；其中，一个关键点对中包括一个起始关键点以及一个结束关键点；

对于任一所述关键点对，将所述关键点对中起始关键点对应的区域，向目标方向调整；所述目标方向为靠近所述结束关键点的方向或远离所述结束关键点的方向。

5.根据权利要4所述的方法，其特征在于，所述预设位置至少包括手部的各个手指的指尖、指关节以及掌部两侧边缘；所述关键点对包括第一关键点对以及第二关键点对；

所述根据所述手部关键点，获取至少一对关键点对，包括：

将位于同一指关节两侧的手部关键点进行组合，以及将位于掌部两侧边缘的手部关键点进行组合，得到所述第一关键点对；

将位于手指的指尖处的手部关键点与位于所述手指的指关节的手部关键点进行组合、将位于同一手指的不同指关节的手部关键点进行组合，或将位于掌部同一侧边缘手部关键点进行组合，得到所述第二关键点对。

6.根据权利要求5所述的方法，其特征在于，所述将所述关键点对中起始关键点对应的区域，向目标方向调整，包括：

将以所述起始关键点为圆心，以预设长度为半径的区域，确定为所述起始关键点对应的区域；

按照预设调整强度，在所述关键点对为第一关键点对的情况下，将所述起始关键点对应的区域，向靠近所述结束关键点的方向调整，或者，在所述关键点对为第二关键点对的情况下，将所述起始关键点对应的区域，向远离所述结束关键点的方向调整。

7.根据权利要求1所述的方法，其特征在于，所述获取待处理图像，包括：

根据所述电子设备的摄像头，采集当前实时画面；将所述当前实时画面，确定为所述待处理图像；

或者，获取所述电子设备当前拍摄的图像；将拍摄得到的图像作为所述待处理图像；

或者，获取手势视频；所述手势视频是记录用户手部状态变化过程的视频；提取所述手势视频中的视频帧，作为所述待处理图像。

8.一种图像处理装置，其特征在于，应用于电子设备，所述装置包括：

第一获取模块，被配置为获取待处理图像；其中，所述待处理图像中包含手部区域；

确定模块，被配置为根据预训练的手部关键点检测模型，确定所述手部区域中手部的各个预设位置的手部关键点；

调整模块，被配置为根据所述手部关键点，对所述待处理图像中手部区域的形状进行调整，得到目标图像。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像处理方法。

10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行如权利要求1至7中任一项所述的图像处理方法。

Images