CN111679737A - 手部分割方法和电子设备 - Google Patents

Abstract

本发明实施例公开了一种手部分割方法和电子设备。该方法包括：获取二维图像；确定所述二维图像中的目标人物；识别所述目标人物的人体关键点；基于所述人体关键点，确定所述目标人物的肤色及手部区域；根据所述目标人物的肤色，在所述手部区域内进行肤色阈值分割，得到所述目标人物的手部分割蒙版。本发明实施例可以提高手部分割的精确度。

Description

手部分割方法和电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种手部分割方法、及电子设备。

背景技术

随着人机交互需求的日益增长，终端设备，例如移动终端的用户在进行人机交互的过程中，往往需要对用户的手部进行分割。例如，期望利用人体手势完成一系列的交互工作，那么人体的手部分割就成为了手势识别的第一步。目前主流的手部分割方法为基于深度信息、3D点云信息等。然而，上述分割方法存在以下问题：深度信息和3D点云信息的采集需要特殊的采集设备，例如需要移动终端配备深度摄像头，提高了商业成本。并且采集到的深度和点云数据往往包含着大量噪声，不利于手部的精细化分割。

发明内容

本发明实施例提供一种手部分割方法和电子设备，以解决现有的手部分割方法精确度低，分割成本高的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种手部分割方法，所述方法包括：

获取二维图像；

确定所述二维图像中的目标人物；

识别所述目标人物的人体关键点；

基于所述人体关键点，确定所述目标人物的肤色及手部区域；

根据所述目标人物的肤色，在所述手部区域内进行肤色阈值分割，得到所述人物的手部分割蒙版。

第二方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

获取模块，用于获取二维图像；

第一确定模块，用于确定所述二维图像中的目标人物；

识别模块，用于识别所述目标人物的人体关键点；

第二确定模块，用于基于所述人体关键点，确定所述目标人物的肤色及手部区域；

分割模块，用于根据所述目标人物的肤色，在所述手部区域内进行肤色阈值分割，得到所述目标人物的手部分割蒙版。

在本发明实施例中，通过二维图像进行人物目标检测及人体关键点检测，并根据人体关键点提取每个人物的对应肤色和确定对应的手部区域，根据肤色对手部区域进行阈值分割得到对应的手部分割蒙版。本发明实施例能够实现利用二维图像实现人物手部精确分割的系统化方案，而不借助深度信息、3D点云信息等进行分割，不仅提高手部的精细化分割，还避免了现有分割方法导致的高商业成本的问题。

此外，通过为后续人机交互中为手势识别提供精确的手部分割蒙版，从而还可以提高人机交互的手势操控的准确性。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1为本发明实施例的手部分割方法流程图。

图2为本发明一个示例的手部分割方法流程图。

图3为图2示例的人物检测示意图。

图4(a)和图4(b)为图2示例的目标人物示意图。

图5(a)和图5(b)为图2示例的目标人物关键点示意图。

图6(a)和图6(b)为图2示例的目标人物手部方向示意图。

图7(a)和图7(b)为图2示例的目标人物手部区域示意图。

图8(a)和图8(b)为图2示例的目标人物的手部分割蒙版示意图。

图9为本发明实施例的电子设备的结构方框图。

图10为实现本发明各个实施例的一种电子设备的硬件结构方框图。

图11为实现本发明电子设备的硬件结构方框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明一个实施例中，提供一种手部分割方法，请参考图1，该图为本发明实施例的手部分割方法的步骤流程图，该方法可以是由电子设备实施，电子设备可以是移动终端设备或者服务器。

如图1所示，本发明实施例的手部分割方法包括以下步骤：

步骤1102，获取二维图像。

步骤1104，确定二维图像中的目标人物；

步骤1106，识别目标人物的人体关键点；

步骤1108，基于人体关键点，确定目标人物的肤色及手部区域；

步骤1110，根据目标人物的肤色，在手部区域内进行肤色阈值分割，得到目标人物的手部分割蒙版。

这里，步骤1102中获取的二维图像可以是RGB图像、CMYK图像、索引图像或其他格式的二维图像等。例如RGB图片的二维图像可以由电子设备的图像采集摄像头提供得到的，电子设备例如为智能手机、AR(增强现实，Augmented Reality)设备、VR(虚拟现实，VirtualReality)设备等可实现人机交互的装置或终端设备。

电子设备的前端图像采集装置，例如摄像头拍摄采集得到的RGB图片的二维图像可以输入至实施手部分割方法处理步骤1102至1110的模块，该处理模块例如可以是电子设备本身的后端处理模块，或者是将二维图像通过网络发送到服务器端进行对应的手部分割处理。

在一个实施例中，在步骤1104确定二维图像中的目标人物之前还可以包括：对二维图像中的人物进行最小外包矩形定位，以确定二维图像中的人物个数和人物位置。

例如，利用目标检测算法对所述二维图像进行人物检测，并根据目标检测结果确定对应的人物。在二维图像中存在多个人物的情况下，检测结果为多个人物的分类识别结果，每个人物对应有属于本人的标记，将二维图像中的各个人物区别开，并得到对应的人物个数。

通过二维图像中人物对应的最小外包矩形，可以确定二维图像中的人物个数和各个人物在二维图像中的位置，人物个数为定位对应的最小外包矩形的数量，人物的位置通过例如对应的最小外包矩形的中轴线位置和整个二维图像的中轴线位置比例关系可确定该矩形相对处于二维图像中哪个位置，即确定该矩形内的人物在二维图像中的位置。

在步骤1106中，可以利用人体关键点检测算法对步骤1104确定的目标人物进行人体关键点检测，从而确定每个人物的全身大体骨骼形状。

这里，二维图像的人物可以为全身人物图像，对应的人体关键点至少包括左右眼关键点、左右耳关键点、鼻子关键点和嘴部关键点(上述关键点属于头部关键点)，还包括颈部关键点、左右手肘关键点和左右手腕关键点，进一步还可以包括跨中关键点、左右脚踝关键点、左右膝盖关键点。

在检测到目标人物的人体关键点之后，则可以基于所述人体关键点确定对应目标人物的肤色及手部区域。

在一个实施例中，步骤1108基于所述人体关键点确定所述人物的肤色包括：获取所述目标人物的人体关键点中的第一面部关键点；根据所述第一面部关键点预定范围内的肤色确定所述目标人物的脸部肤色；将所述脸部肤色作为所述目标人物的肤色。

在人体关键点中，人物裸露在外面的肤色比较少，因此对应露在外面的肤色对应的关键点绝大部分都位于头部，该第一面部关键点可以包括左右眼关键点、左右耳关键点、鼻子关键点和嘴部关键点，其他例如四肢关键点等可能被衣服或鞋袜所包覆。此外，在头部关键点中，左右眼关键点会存在阴影的问题，左右耳关键点存在定位不准导致的像素偏差的问题，嘴部关键点则可能存在嘴唇颜色影响。因此，可选的，可以利用人体的鼻子关键点作为获取人物肤色的关键点。

在一个实施例中，可以选取鼻子关键点周边邻域(4*4)像素～(15*15)像素范围内的肤色。可选的，选择(5*5)像素区域内提取的肤色作为该目标人物的脸部肤色，并作为该目标人物的肤色。

在一个实施例中，在所述步骤1110根据所述目标人物的肤色，在所述手部区域内进行肤色阈值分割之前，所述方法还包括：将所述目标人物的肤色对应的第一格式颜色值转换为第二格式颜色值。

例如，以RGB值和YCrCb值为例，二者为颜色空间下表示颜色的两种像素值，在一个实施例中，可以将确定的人物肤色的RGB颜色域数值转换为YCrCb颜色域数值，如此可以减少光照对肤色提取的影响，从而提高后续手部分割的精确度。

在一个实施例中，步骤1108基于所述人体关键点，确定所述目标人物的手部区域包括：获取所述人体关键点中的手肘关键点和手腕关键点；以所述手腕关键点作为中心、以所述手腕关键点和所述手肘关键点之间的连线长度的二倍作为对角线长度、以及以所述连线的方向作为对角线方向，确定所述目标人物的手部对应的矩形区域；将所述目标人物的手部对应的矩形区域作为所述目标人物的手部区域。

手肘关键点包括左右手肘关键点，手腕关键点包括左右肘关键点，上述对应划分的手部矩形区域对应为同一个手的手肘和手腕关键点确定得到的。相应地，一个目标人物对应的手部矩形区域为左手部矩形区域和右手部矩形区域，对应确定的手部区域包括左手部区域和右手部区域。

在一个实施例中，步骤1110根据目标人物肤色的像素值，在所述手部区域内进行进行肤色阈值分割，得到所述目标人物的手部分割蒙版包括：根据所述目标人物的肤色的像素值确定对应的肤色阈值范围；在所述手部区域内的像素点的像素值位于所述肤色阈值范围内的情况下，设置所述像素点的像素值为第一像素值；在所述手部区域内的像素点的像素值不位于所述肤色阈值范围内的情况下，设置所述像素点的像素值为第二像素值；基于所述第一像素值和所述第二像素值得到所述目标人物的手部分割蒙版。

第一像素值对应为确定手部图像的像素值，第二像素值对应为确定背景图像的像素值，通过不同像素值区别手部图像和背景图像，即可将手部图像从图片中分割出来，得到对应的手部分割蒙版。

在上述将目标人物的肤色对应的RGB值转换为YCrCb值的情况下，则是根据目标人物肤色转换后的YCrCb值确定对应的肤色阈值范围，并且将手部区域内像素点的YCrCb值与该肤色阈值范围内进行比对。

在一个实施例中，在根据第一面部关键点例如鼻子关键点确定目标人物肤色的情况下，例如鼻子关键点对应的提取肤色YCrCb值为105，则肤色阈值范围可以设置为YCrCb值位于100-110之间。

相比现有技术不区分不同人物，而统一将肤色阈值范围设置在例如90-120之间较大的像素值范围而言，本发明实施例提取每个目标人物的鼻子关键点的肤色，并单独确定这个人的肤色阈值范围。在二维图像存在多个目标人物的情况下，本发明实施例可自适应地提取每个目标人物对应的肤色并基于提取的每个肤色值对应确定较小的、专属肤色阈值范围，从而可以获得更高精确度的手部分割蒙版。

上述实施例给出的目标人物及对应的人体关键点检测、手部分割为对应于单一目标人物。如果二维图像中存在多个目标人物，则可以分别对每个目标人物进行确定及对应的手部分割，得到对应多个目标人物的手部分割蒙版。

在人机交互环境下，手势操控者(文中统一定义为：目标人物)是对机器执行手势互动操控的人物，而不是周围的路人等非目标人物，在采集的RGB二维图像中存在多个目标人物的情况下，则需要对全部目标人物进行手部分割处理。

在一个实施例中，在所述二维图像中的人物为多个的情况下，以上步骤S1104确定二维图像中的目标人物可以进一步包括：

根据所述二维图像的像素宽度，确定所述二维图像的中轴线范围；

针对每个位于所述中轴线范围内的人物，确定所述人物对应的像素个数在所述二维图像的像素总个数中的第一比值；

根据至少两个所述第一比值，确定至少两个所述第一比值中的目标比值，并将所述目标比值对应的人物确定为目标人物。

以上第一比值和目标比值可以是根据具体应用场景和具体需要设置的数值。

例如可以将所获得的第一比值按照从大到小的顺序进行排序,并筛选出排序靠前的预定数量个第一比值作为目标比值，并将该目标比值对应的人物确定为图片中的目标人物。

该例子中，可选的，例如首先限定目标人物的中轴线范围在[0.25*W,0.75*W]之间(其中，W为二维图像宽度)，即确定二维图像中站位位于比较中心位置的人物为目标人物，边缘站位的人物为路人。

然后，再对目标人物所占画幅比进行排序来确定目标人物的方法。画幅比即为以上每个人物对应的像素个数与整个二维图像的像素总个数的第一比值，单个人物所占的画幅比大，说明该人物距离摄像头比较近，占据二维图像的画面比较大，通常设定为目标人物。所占的画幅比小，说明该人物距离摄像头较远，可能为路人。

如果二维图像中的人物比较多，则排序的数量与人物个数相同。在一个实施例中，可以通过设定阈值决定取几个目标人物作为手部分割对象。例如，双人的人机交互模式，可以按排序从高到低取前两位排序对应的人物作为目标人物。如果N人的人机交互模式，则可以按排序从高到低取前N位排序对应的人物作为目标人物。

在一个实施例中，该手部分割方法还可以包括：使用不同的颜色，将所述多个人物中确定的所述目标人物和除所述目标人物之外的非目标人物进行可视化处理。

可视化处理可以把二维图像中被拍摄的目标人物和路人区分开来，并提供给拍图片或视频的终端设备用户看到。如果用户通过可视化的界面判断目标人物确定的不正确，则用户可以提醒被拍摄的目标人物调整位置，使其符合目标人物的站位和所占画幅。

在一个实施例中，在所述目标人物为多个的情况下，所述确定所述二维图像中的目标人物之后，还包括：对多个所述目标人物分别进行人体关键点检测，以确定每个目标人物对应的人体关键点；基于所述人体关键点确定每个所述目标人物的肤色及手部区域；根据每个所述目标人物的肤色，在该目标人物的手部区域内进行肤色阈值分割，得到每个所述目标人物的手部分割蒙版。

在双人或多人的人机交互模式下，存在多个目标人物的情况。此时，对确定的每个目标人物分别进行对应的人体关键点检测、人物肤色提取、手部区域划分以及手部分割。如上文所述，在步骤1104中确定二维图像中的目标人物时，多个目标人物的分类识别会使得每个目标人物具有对应的标记，以互相区别。则在对每个目标人物分别进行对应的人体关键点检测、人物肤色提取、手部区域划分以及手部分割时，对应的步骤都是针对同一个人物执行的，以确定不同目标人物的手部分割蒙版的归属关系，区别不同目标人物的手部分割蒙版。

在一个实施例中，所述方法还包括：

将所述目标人物的手部分割蒙版输出用于人机交互的手势操控步骤，以使得所述手势操控步骤根据所述目标人物的手部分割蒙版识别所述目标人物对应的手势并操控对应的电子设备。

其中，所述手势操控步骤可以包括：识别所述目标人物的手部分割蒙版以获取所述目标人物对应的手势；根据所述手势生成对应的人机交互指令；根据所述人机交互指令操控对应的电子设备。

这里，电子设备可以为拍摄RGB二维图像的终端设备，也可以是远程需要被该人物手势操控的终端设备。

执行用于人机交互的手势操控步骤的设备可以是拍摄RGB二维图像的电子设备，该手势操控步骤由该电子设备的后台的处理模块接收到人物的手部分割蒙版，并执行相应操作，也可以是由远程的服务器执行，并发送给需被该人物手势操控的电子设备。

利用本发明实施例的手部分割方法得到的手部分割蒙版，可以进行手部对应的手势识别，并将识别的对应手势转化为人机交互指令用于操控电子设备或其他智能设备完成指定响应，如打开音乐播放器，播放音乐等。

在电子设备采集到被拍摄人物的手部的连续性动作视频时，可以获取视频的连续每帧RGB二维图像，并利用本发明实施例的手部分割方法进行分割得到对应的手部分割蒙版。通过识别多个连续帧RGB二维图像对应的连续手势，可以实现捕获被拍摄人物手部的连续性动作，并将其转化为人机交互指令，从而为该人物添加动效，例如通过大弧度摆手实现自动添加火花效应等。

本发明实施例通过二维图像进行人物目标检测及人体关键点检测，并根据人体关键点提取每个人物的对应肤色和确定对应的手部区域，根据肤色对手部区域进行阈值分割得到对应的手部分割蒙版。本发明实施例能够实现利用二维图像实现人物手部精确分割的系统化方案，而不借助深度信息、3D点云信息等进行分割，不仅提高手部的精细化分割，还避免了现有分割方法导致的高商业成本的问题。

本发明实施例只需要输入一张带有人物的二维图像即可，整个分割系统需要输入的前提条件少，操作简单。通过二维图像进行人物目标检测及人体关键点检测，根据不同的人物可自适应提取每个人物的对应肤色。利用每个人物对应提取的肤色进行该人物的手部分割，可实现多人场景下手部分割，避免现有多人场景下分割出多个人的手部，出现的手部误分割问题。

另一方面也提供了一套多目标人物情况下的手部分割算法的解决方案，能够在多目标人物情况下，仍能清晰的分辨出各个手部的归属关系，并为后续针对性的手势识别和动作识别奠定了基础。

通过本发明实施例，能够实现从输入二维图像到人物手部的精准分割，而不借助深度信息、3D点云信息等进行分割，从而不仅提高手部的精细化分割，还避免了现有分割方法导致的高商业成本的问题。

在二维图像为终端设备采集的RGB图像的情况下，本发明实施例可实现一种端到端的从终端设备采集到RGB图像到人物手部精确分割的系统化方案，可以为后续人机交互中为手势识别提供精确的手部分割蒙版，以达到在人机交互中为手势识别提供精确的手部分割蒙版。从而还可以提高人机交互的手势操控的准确性，真正实现了从RGB二维图像输入到输出特定人物精确的手部分割蒙版的端到端的自动化手部分割流程，有利于人机交互模式下的手势准确操控。

下面，将结合图2-8的示意图对本发明手部分割方法作出示例说明。在该例子中，以二维图像为终端设备的摄像头拍摄得到的RGB图片为例，但需要说明的是，本发明不局限于该具体实施例。

图2为本发明一个示例的手部分割方法流程图，该方法可以是由电子设备实施，该电子设备例如可以是终端设备或者服务器。

如图2所示，该示例的手部分割方法首先输入：图片，即终端设备的摄像头采集的RGB图片。

步骤1、人物检测

该步骤可以确定RGB图片画面内的人物个数和人物位置，利用目标检测算法对输入的RGB图片进行人物检测，使用外包矩形的形式定位出人物在图片中的位置，其中每个人物在定位时会有对应的分类识别标记，以互相区别。如图3所示，图3为图2示例的人物检测示意图，在该示意图中，检测的人物例如包括四个人物，分别为人物10、20、30、40。

步骤2、目标人物确定

如上文所述，为减少手部分割算法的复杂度和提高算法，减少路人的影响，可以根据人物站位和所占画幅的比例进行排序，筛选出RGB图片中的目标人物和非目标人物，使用不同颜色进行点亮,方便可视化。

如图4所示，图4(a)和图4(b)为图2示例的目标人物示意图。图4(a)为单目标人物情况，包括一个目标人物P；图4(b)为多目标人物情况，例如包括两个目标人物P1、P2。为了方便使用终端设备拍摄图片的用户可视化效果，可以将目标人物采用第一色系颜色半透明蒙版点亮，路人采用第二色半透明蒙版点亮，其中第一色系与第二色系的颜色不同。存在多目标人物的情况下，可以将多个目标人物采用不同的第一色系颜色半透明蒙版点亮，例如将图4(b)的目标人物P1使用紫色半透明蒙版点亮，目标人物P2使用红色半透明蒙版点亮。

步骤3、目标人物的人体关键点检测

利用人物关键点检测算法对步骤2得到的目标人物进行人体关键点检测，确定目标人物的大体骨骼形状。为方便用户可视化，可以采用第三色系的节点可视化人体关键点位置。如图5所示，图5(a)和图5(b)为图2示例的目标人物关键点示意图。白色节点为人体关键点，其中图5(a)为单目标人物情况，图5(b)为多目标人物情况。

步骤4、目标人物的肤色确定

根据步骤3得到人体关键点位置获取目标人物的鼻子关键点邻域内的肤色，借此确定目标人物肤色。并将目标人物肤色的RGB颜色域数值转化为YCrCb颜色域数值用以减少光照对肤色提取的影响。

步骤5、目标人物的手部方向判断

利用步骤3所得的目标人物的人体关键点中手肘和手腕关键点连线确定目标人物的手部方向。如图6所示，图6(a)和图6(b)为图2示例的目标人物手部方向示意图。箭头表示手部方向，其中图6(a)为单目标人物情况，箭头D1、D2分别对应目标人物P的左右手的手部方向；图6(b)为多目标人物情况，例如箭头D3、D4、D5、D6分别对应目标人物P1、P2的左右手的手部方向。

步骤6、目标人物的手部范围确定

根据步骤5得到的目标人物的手部方向和步骤3得到的目标人物的人体关键点估算目标人物的手部范围(手部区域)，手部范围采取以步骤5中的手腕关键点到手肘关键点连线确定的手部方向为对角线的方向、以手腕关键点为中心、以连线长度的二倍作为对角线的长度，确定对应的矩形区域，并将该矩形区域确定为目标人物的手部范围。

如图7所示，图7(a)和图7(b)为图2示例的目标人物手部区域示意图。矩形框表示手部区域，图7(a)为单目标人物情况，其中矩形框R1、R2分别对应目标人物P的左右手的手部范围；图7(b)为多目标人物情况，其中矩形框R3、R4、R5、R6分别对应目标人物P1、P2的左右手的手部范围。

步骤7、目标人物的手部分割

根据步骤4得到的目标人物肤色的YCrCb颜色数值，在步骤6得到的目标人物手部范围矩形框内进行肤色阈值分割，最终获得精确的目标人物手部分割蒙版。多目标人物时，为方便用户可视化目标人物的手部归属关系，可以采用步骤1中检测人物进行定位时对应的分类识别标记(或标识)，对不同目标人物的手部分割蒙版进行标记，从而以不同的标识来区别各个目标人物的手部归属关系。

例如，如图8所述，图8(a)和图8(b)为图2示例的目标人物的手部分割蒙版示意图，对应图示框内的手部蒙版。图8(a)为单目标人物情况，仅仅给目标人物手部加上第四色系的蒙版S1、S2，例如红色蒙版；图8(b)为多目标人物情况，在各目标人物的头部标记的颜色和目标人物的手部蒙版颜色同步的方式，来提示用户各目标人物的手部归属关系，如图8(b)所示，目标人物P1头部标记数字“1”颜色为第一颜色，其手部蒙版S3、S4可视化标记为第一颜色，目标人物P2头部标记数字“2”为第二颜色，其手部蒙版S5、S6可视化标记同样为第二颜色。

最后，输出：手部分割蒙版。

如此，本发明实施例能够实现一种端到端的从终端设备采集并输入RGB图片到目标人物手部的精准分割，可以为单人或多人场景下的人机交互提供精确的自动化手部分割方案，提高人机交互的手势操控的准确性。

在本发明另一个实施例中，提供了一种电子设备2000，如图9所示，该图为本发明实施例的电子设备的结构方框图。

如图所示，本发明实施例的电子设备2000包括：获取模块2200、第一确定模块2400、识别模块2600、第二确定模块2800以及分割模块2900。

获取模块2200用于获取二维图像，第一确定模块2400用于确定所述二维图像中的目标人物；识别模块2600用于识别所述目标人物的人体关键点；第二确定模块2800用于基于所述人体关键点确定所述目标人物的肤色及手部区域；分割模块2900用于根据所述目标人物的肤色，在所述手部区域内进行肤色阈值分割，得到所述目标人物的手部分割蒙版。

在一个实施例中，所述第一确定模块2400还用于：根据所述二维图像的像素宽度，确定所述二维图像的中轴线范围；针对每个位于所述中轴线范围内的人物，确定所述人物对应的像素个数在所述二维图像的像素总个数中的第一比值；根据至少两个所述第一比值，确定至少两个所述第一比值中的目标比值，并将所述目标比值对应的人物确定为目标人物。

在一个实施例中，在所述目标人物为多个的情况下，所述分割模块2900还用于：对多个所述目标人物分别进行人体关键点检测，以确定每个所述目标人物对应的人体关键点；基于所述人体关键点确定每个所述目标人物的肤色及手部区域；根据每个所述目标人物的肤色，在该目标人物的手部区域内进行肤色阈值分割，得到每个所述目标人物的手部分割蒙版。

在一个实施例中，所述第二确定模块2800还用于：获取所述目标人物的人体关键点中的第一面部关键点；根据所述第一面部关键点预定范围内的肤色确定所述目标人物的脸部肤色；将所述脸部肤色作为所述目标人物的肤色。

在一个实施例中，所述第二确定模块2800还用于：获取所述人体关键点中的手肘关键点和手腕关键点；以所述手腕关键点作为中心、以所述手腕关键点和所述手肘关键点之间的连线长度的二倍作为对角线长度、以及以所述连线的方向作为对角线方向，确定所述目标人物的手部对应的矩形区域；将所述目标人物的手部对应的矩形区域作为所述目标人物的手部区域。

本发明实施例提供的电子设备能够实现图1至图8的方法实施例中电子设备实现的各个过程，为避免重复，这里不再赘述。

在本发明实施例中，通过二维图像进行人物目标检测及人体关键点检测，并根据人体关键点提取每个人物的对应肤色和确定对应的手部区域，根据肤色对手部区域进行阈值分割得到对应的手部分割蒙版。本发明实施例能够实现利用二维图像实现人物手部精确分割的系统化方案，而不借助深度信息、3D点云信息等进行分割，不仅提高手部的精细化分割，还避免了现有分割方法导致的高商业成本的问题。

本发明实施例只需要输入一张带有人物的二维图像即可，整个分割系统需要输入的前提条件少，操作简单。通过二维图像进行人物目标检测及人体关键点检测，根据不同的人物可自适应提取每个人物的对应肤色。利用每个人物对应提取的肤色进行该人物的手部分割，可实现多人场景下手部分割，避免现有多人场景下分割出多个人的手部，出现的手部误分割问题。

另一方面也提供了一套多目标人物情况下的手部分割算法的解决方案，能够在多目标人物情况下，仍能清晰的分辨出各个手部的归属关系，并为后续针对性的手势识别和动作识别奠定了基础。

通过本发明实施例，能够实现从输入二维图像到人物手部的精准分割，而不借助深度信息、3D点云信息等进行分割，从而不仅提高手部的精细化分割，还避免了现有分割方法导致的高商业成本的问题。

在二维图像为终端设备采集的RGB图像的情况下，本发明实施例可实现一种端到端的从终端设备采集到RGB图像到人物手部精确分割的系统化方案，可以为后续人机交互中为手势识别提供精确的手部分割蒙版，以达到在人机交互中为手势识别提供精确的手部分割蒙版。从而还可以提高人机交互的手势操控的准确性，真正实现了从RGB二维图像输入到输出特定人物精确的手部分割蒙版的端到端的自动化手部分割流程，有利于人机交互模式下的手势准确操控。

图10为实现本发明各个实施例的一种电子设备的硬件结构方框图；

该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备、可穿戴设备等。

处理器110可以用于：获取二维图像；确定所述二维图像中的目标人物；识别所述目标人物的人体关键点；基于所述人体关键点，确定所述目标人物的肤色及手部区域；根据所述目标人物的肤色，在所述手部区域内进行肤色阈值分割，得到所述目标人物的手部分割蒙版。

在本实施例中，处理器110从输入单元104获取需手部分割的二维图像，然后基于获取的二维图像，确定该二维图像中的目标人物和目标人物的人物关键点。并基于所述人体关键点确定所述目标人物的肤色及手部区域，根据所述目标人物的肤色在所述手部区域内进行肤色阈值分割，得到所述目标人物的手部分割蒙版。这样，本发明实施例可以只需要输入一张带有人物的二维图像即可，整个分割系统需要输入的前提条件少，操作简单，且能够提高手部的精细化分割，降低手部分割的商业成本。

应理解的是，本发明实施例中，射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块102为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元103可以将射频单元101或网络模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与电子设备100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103包括扬声器、蜂鸣器以及受话器等。

输入单元104用于接收音频或视频信号。输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或网络模块102进行发送。麦克风1042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。

电子设备100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在电子设备100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器105还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板1071可覆盖在显示面板1061上，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图X中，触控面板1071与显示面板1061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元108为外部装置与电子设备100连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备100内的一个或多个元件或者可以用于在电子设备100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

电子设备100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备100包括一些未示出的功能模块，在此不再赘述。

可选的，根据本发明的再一个实施例，还提供了一种电子设备100，图11为本发明实施例的电子设备的硬件结构方框图。

如图11所示，电子设备100可以包括处理器110、存储器109及存储在所述存储器109上并可在所述处理器110上运行的计算机程序，该计算机程序被所述处理器110执行时实现上述任一项所述的手部分割方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

在本实施例中，电子设备100可以是移动终端、手机、VR设备、AR设备、服务器、平板电脑、掌上电脑、台式机、笔记本电脑、工作站、游戏机等任意具有存储器3200以及处理器3400的电子产品或其他终端设备。

最后，根据本发明的又一个实施例，还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序在被处理器执行时实现上述任意实施例所述的手部分割方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种手部分割方法，其特征在于，所述方法包括：

获取二维图像；

确定所述二维图像中的目标人物；

识别所述目标人物的人体关键点；

基于所述人体关键点，确定所述目标人物的肤色及手部区域；

根据所述目标人物的肤色，在所述手部区域内进行肤色阈值分割，得到所述目标人物的手部分割蒙版。

2.根据权利要求1所述的方法，其特征在于，在所述二维图像中的人物为多个的情况下，所述确定所述二维图像中的目标人物，包括：

根据所述二维图像的像素宽度，确定所述二维图像的中轴线范围；

针对每个位于所述中轴线范围内的人物，确定所述人物对应的像素个数在所述二维图像的像素总个数中的第一比值；

根据至少两个所述第一比值，确定至少两个所述第一比值中的目标比值，并将所述目标比值对应的人物确定为目标人物。

3.根据权利要求1所述的方法，其特征在于，在所述目标人物为多个的情况下，所述确定所述二维图像中的目标人物之后，所述方法具体包括：

对多个所述目标人物分别进行人体关键点检测，以确定每个所述目标人物对应的人体关键点；

基于所述人体关键点确定每个所述目标人物的肤色及手部区域；

根据每个所述目标人物的肤色，在该目标人物的手部区域内进行肤色阈值分割，得到每个所述目标人物的手部分割蒙版。

4.根据权利要求1所述的方法，其特征在于，基于所述人体关键点，确定所述目标人物的肤色包括：

获取所述目标人物的人体关键点中的第一面部关键点；

根据距离所述第一面部关键点预定范围内的肤色确定所述目标人物的脸部肤色；

将所述脸部肤色作为所述目标人物的肤色。

5.根据权利要求1或4所述的方法，其特征在于，基于所述人体关键点，确定所述目标人物的手部区域包括：

获取所述人体关键点中的手肘关键点和手腕关键点；

以所述手腕关键点作为中心、以所述手腕关键点和所述手肘关键点之间的连线长度的二倍作为对角线长度、以及以所述连线的方向作为对角线方向，确定所述目标人物的手部对应的矩形区域；

将所述目标人物的手部对应的矩形区域作为所述目标人物的手部区域。

6.一种电子设备，其特征在于，所述电子设备包括：

获取模块，用于获取二维图像；

第一确定模块，用于确定所述二维图像中的目标人物；

识别模块，用于识别所述目标人物的人体关键点；

第二确定模块，用于基于所述人体关键点，确定所述目标人物的肤色及手部区域；

分割模块，用于根据所述目标人物的肤色，在所述手部区域内进行肤色阈值分割，得到所述目标人物的手部分割蒙版。

7.根据权利要求6所述的电子设备，其特征在于，在所述二维图像中的人物为多个的情况下，所述第一确定模块还用于：

根据所述二维图像的像素宽度，确定所述二维图像的中轴线范围；

针对每个位于所述中轴线范围内的人物，确定所述人物对应的像素个数在所述二维图像的像素总个数中的第一比值；

根据至少两个所述第一比值，确定至少两个所述第一比值中的目标比值，并将所述目标比值对应的人物确定为目标人物。

8.根据权利要求6所述的电子设备，其特征在于，在所述目标人物为多个的情况下，所述分割模块还用于：

对多个所述目标人物分别进行人体关键点检测，以确定每个所述目标人物对应的人体关键点；

基于所述人体关键点确定每个所述目标人物的肤色及手部区域；

根据每个所述目标人物的肤色，在该目标人物的手部区域内进行肤色阈值分割，得到每个所述目标人物的手部分割蒙版。

9.根据权利要求6所述的电子设备，其特征在于，所述第二确定模块还用于：

获取所述目标人物的人体关键点中的第一面部关键点；

根据距离所述第一面部关键点预定范围内的肤色确定所述目标人物的脸部肤色；

将所述脸部肤色作为所述目标人物的肤色。

10.根据权利要求6或9所述的电子设备，其特征在于，所述第二确定模块还用于：

获取所述人体关键点中的手肘关键点和手腕关键点；

以所述手腕关键点作为中心、以所述手腕关键点和所述手肘关键点之间的连线长度的二倍作为对角线长度、以及以所述连线的方向作为对角线方向，确定所述目标人物的手部对应的矩形区域；

将所述目标人物的手部对应的矩形区域作为所述目标人物的手部区域。

Images