CN108985242A - 手势图像分割的方法及装置 - Google Patents

手势图像分割的方法及装置 Download PDF

Info

Publication number
CN108985242A
CN108985242A CN201810814460.6A CN201810814460A CN108985242A CN 108985242 A CN108985242 A CN 108985242A CN 201810814460 A CN201810814460 A CN 201810814460A CN 108985242 A CN108985242 A CN 108985242A
Authority
CN
China
Prior art keywords
point
image
direction vector
location point
palm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810814460.6A
Other languages
English (en)
Other versions
CN108985242B (zh
Inventor
徐佳琪
张丽云
朱晓雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201810814460.6A priority Critical patent/CN108985242B/zh
Publication of CN108985242A publication Critical patent/CN108985242A/zh
Application granted granted Critical
Publication of CN108985242B publication Critical patent/CN108985242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种手势图像分割方法及装置,涉及计算机技术领域,能够提高手势识别的速度和准确率。其中,该方法包括:获取原始图像,确定手肘位置点和手心位置点;根据手心位置点,以及手肘位置点与手心位置点之间的距离,在原始图像中截取包括待识别的手势的第一图像;在手势中,确定最大内切圆;确定第一方向向量、第二方向向量以及两向量之间的夹角;根据第一方向向量、第二方向向量、两向量之间的夹角,在最大内切圆上确定分割点;以分割点做最大内切圆的切线,以切线为分割线将第一图像中靠近手肘位置点一侧的图像分割出去,将剩余图像作为第二图像;对第二图像进行手势识别。

Description

手势图像分割的方法及装置
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种手势图像分割的方法及装置。
背景技术
Kinect是微软公司推出的一款与XBOX游戏机配套的3D体感摄影机,能通过彩色摄像头和3D深度感应器获取色彩信息和空间信息,实现骨骼跟踪、身份识别等功能。骨骼跟踪是Kinect体感操作的基础,它要求系统在允许的时延范围内,快速根据骨骼关系构建用户的躯干、肢体、头部甚至手指。
现有基于Kinect利用深度信息进行手势分割的方法,主要包括:(1)利用Kinect软件开发工具包实现手势识别功能的方法。该方法通过直接调用Kinect软件开发工具包中的相关函数,对图像进行分析处理,从而识别出图像中的手势。但是该方法容易造成手臂的一部分被当作切割后的图像处理,影响后续手势识别的准确性。(2)腕带式手势识别方法。该方法在第一种方法的基础上,通过在被识别人的手臂上佩戴的易于识别的腕带,利用腕带作为辅助定位手势的标识,使得手臂部分能够被区分出来,相比第一种方法,提高了识别准确性。但是该方法需要被识别者佩戴腕带,普适性不高。
发明内容
本发明实施例提供一种手势图像分割的方法及装置,能够更合理地分割手臂与手势,提高了识别的准确性,同时,也避免了腕带式手势识别方法使用固定颜色腕带带来的不便。
为达到上述目的,本发明实施例采用如下技术方案:
第一方面,本发明实施例提供一种手势图像分割的方法,所述方法包括:
获取原始图像,所述原始图像中包括待识别的手势;在原始图像中确定手肘位置点和手心位置点;根据手心位置点,以及手肘位置点与手心位置点之间的距离,在原始图像中截取第一图像,所述第一图像包括待识别的手势;在所述手势中,确定最大内切圆;确定第一方向向量、第二方向向量以及第一方向向量和第二方向向量之间的夹角,所述第一方向向量为所述手肘位置点和手心位置点之间的方向向量,所述第二方向向量用于表示所述手势的方向;根据第一方向向量、第二方向向量、第一方向向量和第二方向向量之间的夹角,在最大内切圆上确定分割点;以分割点做所述最大内切圆的切线,以切线为分割线将第一图像中靠近所述手肘位置点一侧的图像分割出去,将剩余图像作为第二图像;对第二图像进行手势识别。
本发明实施例的第二方面,提供一种手势图像分割的装置,包括:
获取单元,用于获取原始图像,所述原始图像中包括待识别的手势。
处理单元,用于在原始图像中确定手肘位置点和手心位置点;根据手心位置点,以及手肘位置点与手心位置点之间的距离,在原始图像中截取第一图像,所述第一图像包括待识别的手势;在所述手势中,确定最大内切圆;确定第一方向向量、第二方向向量以及第一方向向量和第二方向向量之间的夹角,所述第一方向向量为所述手肘位置点和手心位置点之间的方向向量,所述第二方向向量用于表示所述手势的方向;根据第一方向向量、第二方向向量、第一方向向量和第二方向向量之间的夹角,在最大内切圆上确定分割点;以分割点做所述最大内切圆的切线,以切线为分割线将第一图像中靠近所述手肘位置点一侧的图像分割出去,将剩余图像作为第二图像。
识别单元,用于对第二图像进行手势识别。
本发明实施例的第三方面,提供一种手势图像分割的装置,包括:处理器、图像采集器和存储器。其中,存储器用于存储一个或多个程序。该一个或多个程序包括计算机执行指令,当该装置运行时,处理器执行该存储器存储的该计算机执行指令,以使该装置执行第一方面及其各种可选的实现方式中任意之一所述的手势图像分割方法。
本发明实施例的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当计算机执行该指令时,该计算机执行上述第一方面及其各种可选的实现方式中任意之一所述的手势图像分割方法。
本发明实施例提供一种手势图像分割的方法及装置,本发明实施例根据手心位置点,以及手肘位置点与手心位置点之间的距离,在原始图像中截取第一图像,缩小了待识别图像的范围,提高了运算效率。另一方面,本申请实施例根据第一方向向量、第二方向向量、第一方向向量和第二方向向量之间的夹角,在最大内切圆上确定分割点,以过分割点的最大内切圆的切线为分割线将第一图像中靠近手肘位置点一侧的图像分割出去,相比利用Kinect软件开发工具包实现手势识别功能的方法,能够更合理地分割手臂与手势,提高了识别的准确性,同时,也避免了腕带式手势识别方法使用固定颜色腕带带来的不便。
附图说明
图1为本发明实施例提供的一种手势图像分割的方法流程图;
图2为本发明实施例提供的一种手势图像分割的示意图;
图3为本发明实施例提供的一种手势图像分割的示意图;
图4为本发明实施例提供的一种手势图像分割的示意图;
图5为本发明实施例提供的一种手势图像分割的示意图;
图6为本发明实施例提供的一种手势图像分割的示意图;
图7为本发明实施例提供的一种手势图像分割的示意图;
图8为本发明实施例提供的一种手势图像分割的示意图;
图9为本发明实施例提供的一种手势图像分割的示意图;
图10为本发明实施例提供的一种手势图像分割的示意图;
图11为本发明实施例提供的一种手势图像分割的示意图;
图12为本发明实施例提供的一种手势图像分割的示意图;
图13为本发明实施例提供的一种手势图像分割的装置结构示意图;
图14为本发明实施例提供的一种手势图像分割的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象,或者用于区别对同一对象的不同处理,而不是用于描述对象的特定顺序。
此外,本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明实施例通过分割出手势图像,并对手势图像进行分析识别,可以用于体感游戏或者智能家居设备的控制等。
本发明实施例提供一种手势图像分割的方法,可由任意计算机设备执行。如图1所示,该方法包括下述步骤101至步骤108:
101、获取原始图像。
其中,所述原始图像中包括待识别手势。
本申请不限制获取原始图像的方式或者设备。在实际应用中,可以采用其他方式或者设备获取原始图像。示例性的,本实施例中,该步骤由Kinect设备实现。所述Kinect设备具有骨骼跟踪功能,在本步骤的一种实现方式中,由Kinect设备利用该骨骼跟踪功能获取得到包含有骨骼信息的图像,并将该包含有骨骼信息的图像二值化,得到二值图像。该二值图像是仅仅包含目标像素和背景像素两种像素的图像。二值图像中所有的像素只能从0和1这两个值中取,目标像素的像素值为1,显示为白色,背景像素的像素值为0,显示为黑色,因此二值图像可以用一个由0和1组成的二维矩阵表示。在原始图像二值化的过程中,并没有改变原有的像素位置。该二值化图像即为本步骤所述的原始图像。
示例性的,如图2所述某个用户在做出五指张开的手势时,使用Kinect设备采集该用户的图像,得到包含该用户的五指张开手势的原始图像。
102、在所述原始图像中确定手肘位置点和手心位置点。
如图2所示,本步骤中,首先,根据原始图像中的骨骼信息,获取手肘骨骼点的位置和手心骨骼点的位置,所获取到的手肘骨骼点即为所述手肘位置点,所获取到的手心骨骼点即为初始手心位置点。之后,由于通过骨骼信息确定得到的手心位置点(本申请实施例描述为初始手心位置点)可能存在误差,为了得到更精确的手心位置点,本实施例中还需要进一步调整该手心位置点。具体调整过程为:在原始图像中,进一步确定以初始手心位置点为中心点,以预设手掌长度为边长的矩形区域,得到矩形区域内的图像。可选的,预设手掌长度可以由手肘骨骼点到手心骨骼点的长度确定。通常,手掌长度为手心位置到手臂中心位置的长度的一半左右,因此,本申请实施例中,预设手掌长度设为手肘骨骼点到手心骨骼点长度的0.5倍。之后,再根据矩形区域内的图像,使用均值漂移算法得到目标位置点。调整初始手心位置点至所述目标位置点,得到本步骤中所述的手心位置点。
可选的,本实施例中,所述均值漂移算法使用开源计算机视觉库(Open SourceComputer Vision Library,OpenCV))中的cvMeamShift函数实现。该函数具体实现方式如下:int cvMeanShift(const void*imgProb,CvRect windowIn,CvTermCriteriacriteria),对上述参数进行说明:imgProb:得到的原始图像的反向投影图,使用OpenCV函数cvCalcBackProjectPatch计算得到,在此不再赘述。windowIn:hand_rect图2中的矩形区域。criteria:迭代终止条件,使用默认数值,不对该数值进行定义。
103、根据所述手心位置点,以及手肘位置点与手心位置点之间的距离,在原始图像中截取第一图像,所述第一图像包括待识别的手势。
如图3所示,本步骤中,因为原始图像中包含有许多与手势无关的信息,不利于手势识别,因此需要截取第一图像,从而减少与手势无关的信息,进一步获得一个包含完整的手势图像但范围较小的图像。本申请实施例中,具体截取过程为:首先,确定以手心位置点为中心,以手肘位置点到手心位置点之间距离的第一预设倍数为边长的正方形区域。然后,截取所述正方形区域内部的图像即可得到第一图像。截取后的第一图像如图4所示。示例性的,本实施例中,第一预设倍数设为0.8倍。
104、在所述手势中,确定最大内切圆。
将在步骤103中得到的第一图像进行距离变换,得到距离矩阵。该距离矩阵包括:第一图像中的所有像素点位置,以及各个像素点到与自己距离最近的背景像素点之间的距离。获取上述距离中的最大值为手势半径,所述最大值对应的像素点位置为手势中心点。示例性的,本实施例获取最大内切圆的过程如下:首先,根据OpenCV中的函数cvDistTransform(hand_image,dist_image,CV_DIST_L2,3,0)得到距离矩阵。其中,hand_image是截取的第一图像,dist_image是得到的距离变换以后的距离矩阵,后三个参数可以看做是默认参数。然后,通过OpenCV提供的函数cvMinMaxLoc(dist_image,NULL,&PalmR,NULL,&PalmCentre)获得手势图像的中心点。其中,dist_image为距离变换以后的图像,PalmR为手势半径,PalmCentre为手势中心点。至此,可得到手势半径和手势中心点。
可选的,在得到手势半径和手势中心点后,可以判断手势中心点是否位于有效区域内。若手势中心点不在有效区域则认为该图像为不合理图像,不再进行进一步处理,从而可以减少处理量。示例性的,本实施例中,设第一图像的边长为a,则本实施例所述有效区域为:如图5所示,位于第一图像的中心,边长为第一图像边长a的第二预设倍数的正方形区域。示例性的,本实施例中,第二预设倍数设为0.5倍,即有效区域的边长为0.5a。
若手势中心点位于有效区域内,则继续确定最大内切圆。如图6所示,最大内切圆是指,第一图像中手势部分图像内部的最大内切圆。本实施例中,在第一图像中,以手势半径为半径,以手势中心点为圆心的圆即为最大内切圆。
105、确定第一方向向量、第二方向向量以及所述第一方向向量和第二方向向量之间的夹角,所述第一方向向量为所述手肘位置点和手心位置点之间的方向向量,所述第二方向向量用于表示所述手势的方向。
本实施例中,第一方向向量为表示手肘位置点和手心位置点之间的方向向量,其起点为手肘位置点,方向由手肘位置点指向手心位置点,大小等于手肘位置点到手心位置点的距离的绝对值。其具体确定方法如下:设第一向量的终点为d1,则d1的x轴坐标等于手心位置点的x轴坐标减去手肘位置点的x轴坐标,d1的y轴坐标等于手心位置点的y轴坐标减去手肘位置点的y轴坐标。
本实施例中,第二方向向量用于表示手势图像方向,其具体确定方法如下:设d2为所需确定的第二方向向量,使用OpenCV中的cvMoments函数,计算图像的矩特征值(moment)。cvMoments(handimg,&moment),其中,handimg是输入的所截取图像,moment是矩特征值,该函数返回的矩特征值包含以下参数:M00:0阶矩,M01:1阶水平矩阵,M10:1阶垂直矩阵,Mu20:水平矩阵二阶中心距,Mu11:0阶矩阵二阶中心距,Mu02:垂直矩阵二阶中心。接着,令a=Mu20/M00,b=Mu11/M00,c=Mu02/M00,square=sqrt(4*b*b+(a-c)*(a-c)),theta=atan2(2*b,a-c+square),其中,atan2(double y,double x)返回的是原点至点(x,y)的方位角,即与x轴的夹角。然后,令cs=cos(theta),sn=sin(theta)。由此,可得d2的坐标为(cs,sn)。
如图7所示,本实施例中,确定第一方向向量和第二方向向量之间的夹角的具体确定方法如下:夹角设为α,参照平面向量的计算公式:cosα=d1*d2/(|d1|*|d2|),根据cosα的值可得夹角α的度数。
106、根据所述第一方向向量、所述第二方向向量、所述第一方向向量和第二方向向量之间的夹角,在所述最大内切圆上确定分割点。
所述分割点是对第一图像进行分割的参考点,其具体确定方法如下:首先,判断第一方向向量和第二方向向量之间的夹角α是否小于预设角度。示例性的,本实施例中,预设角度设为10度。接着,若夹角α小于预设角度,则执行1061。若夹角α大于等于预设角度,则执行步骤1062。
1061、如图8所示,选取第一方向向量和第二方向向量之间的夹角α的角平分线所在的直线与最大内切圆之间的两个交点中靠近手肘位置点的交点,该交点即为分割点D。本步骤执行完毕后执行步骤1063。
1062、如图9所示,以手势中心点为起点,以第一方向向量所在直线为基准线,以夹角α的第三预设倍数为偏移量,做两条射线,所述两条射线与第一图像的两条边围成一个封闭图形。本实施例中,第三预设倍数为2倍。
为实现以上步骤,本实施例具体采用以下方法:设单位向量unit_vector=(x,y),求解满足unit_vector*(-d2)/(|unit_vector|*|d2|)=cos 2α时,x,y的值。该计算结果应为两组数值,对应两个单位向量,分别设为unit_vector1,unit_vector2。如图10所示,根据计算所得的unit_vector1,unit_vector2,设A(xa,ya),B(xb,yb),分别计算出同时满足以下条件时A、B的坐标:||AO||=最大内切圆半径、OA向量平行于unit_vector1、||BO||=最大内切圆半径、OB向量平行于unit_vector2。本步骤执行完毕后执行步骤1063。
1063、在最大内切圆的圆弧上寻找分割点。
为实现以上步骤,本实施例具体采用以下方法:如图10中所示,首先,定义圆弧AB上的点D满足||MO||=最大内切圆半径,即满足M点在圆弧上且向量OM与-d2的夹角小于2α,由此可计算出满足条件的M点的集合,即为圆弧点的集合。然后,对该集合内部的点进行遍历:
FOR(点Min圆弧AB)
使用line函数绘制射线OA,OB,OM
IF(射线OA和OM之间目标像素点=射线OM和OB之前间目标像素点)
Return当前遍历的点M
Else
继续遍历
该函数返回的结果即为分割点D,如图11所示。
107、如图12所示,以所述分割点做所述最大内切圆的切线,以所述切线为分割线将所述第一图像中靠近所述手肘位置点一侧的图像分割出去,将剩余图像作为第二图像。此步骤保留手势部分的图像,并将手臂部分的图像从第一图像中分割出去。
108、对所述第二图像进行手势识别。
需要说明的是,本发明实施例着重在于介绍手势图像分割的方法,而至于分割手势图像后对手势进行识别的方法,可参考现有技术,在此不做进一步限定。
本发明实施例提供一种手势图像分割的方法,本发明实施例根据手心位置点,以及手肘位置点与手心位置点之间的距离,在原始图像中截取第一图像,缩小了待识别图像的范围,提高了运算效率。另一方面,本申请实施例根据第一方向向量、第二方向向量、第一方向向量和第二方向向量之间的夹角,在最大内切圆上确定分割点,以过分割点的最大内切圆的切线为分割线将第一图像中靠近手肘位置点一侧的图像分割出去,相比利用Kinect软件开发工具包实现手势识别功能的方法,能够更合理地分割手臂与手势,提高了识别的准确性,同时,也避免了腕带式手势识别方法使用固定颜色腕带带来的不便。
本申请实施例可以根据上述方法示例对手势图像分割装置进行功能模块或者功能单元的划分,例如,可以对应各个功能划分各个功能模块或者功能单元,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块或者功能单元的形式实现。其中,本申请实施例中对模块或者单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本发明实施例提供一种手势图像分割的装置,如图13所示,该装置包括:获取模块201、处理模块202和识别模块203。
获取模块201,用于获取原始图像,所述原始图像中包括待识别的手势。
处理模块202,用于在所述原始图像中确定手肘位置点和手心位置点;根据所述手心位置点,以及所述手肘位置点与所述手心位置点之间的距离,在所述原始图像中截取第一图像,所述第一图像包括待识别的手势;在所述手势中,确定最大内切圆;确定第一方向向量、第二方向向量以及所述第一方向向量和第二方向向量之间的夹角,所述第一方向向量为所述手肘位置点和手心位置点之间的方向向量,所述第二方向向量用于表示所述手势的方向;根据所述第一方向向量、所述第二方向向量、所述第一方向向量和第二方向向量之间的夹角,在所述最大内切圆上确定分割点;以所述分割点做所述最大内切圆的切线,以所述切线为分割线将所述第一图像中靠近所述手肘位置点一侧的图像分割出去,将剩余图像作为第二图像。
识别模块203,用于对所述第二图像进行手势识别。
在本发明实施例的一个实现方式中,处理模块202,还具体用于:
根据原始图像中的骨骼信息,获取手臂骨骼点手肘骨骼点手肘骨骼点的位置为手肘位置点,获取手心骨骼点的位置为初始手心位置点。在原始图像中,确定以初始手心位置点为中心点,以预设手掌长度为边长的矩形区域,得到矩形区域内的图像;根据矩形区域内的图像,使用均值漂移算法得到目标位置点;调整初始手心位置点至所述目标位置点,得到所述手心位置点。
处理模块202,还用于:在所述原始图像中,确定以手心位置点为中心,以手肘位置点到手心位置点之间距离的第一预设倍数为边长的正方形区域;截取正方形区域内部的图像为第一图像。将第一图像通过距离变换,得到距离矩阵,所述距离矩阵包括:第一图像中的所有像素点位置,以及各个像素点到与自己距离最近的背景像素点之间的距离;获取距离矩阵中的所述距离中的最大值为手势半径,所述最大值对应的像素点位置为手势中心点;若手势中心点位于有效区域内,则在第一图像中,将以手势中心点为圆心,以手势半径为半径的圆确定为最大内切圆。所述有效区域为:位于第一图像的中心,边长为第一图像的边长的第二预设倍数的正方形区域。根据手心位置点和手肘位置点,得到手肘位置点至手心位置点的方向向量为第一方向向量;计算第一图像的矩特征值,根据矩特征值确定第二方向向量;确定第一方向向量与第二方向向量之间的夹角。若第一方向向量和第二方向向量之间的夹角小于预设角度,则选取第一方向向量和第二方向向量之间的夹角的角平分线所在的直线与最大内切圆之间的交点为分割点;或者,若第一方向向量和第二方向向量之间的夹角大于等于预设角度,则以手势中心点为起点,以第一方向向量所在直线为基准线,以第一方向向量和第二方向向量之间的夹角的第三预设倍数为偏移量,做两条射线,所述两条射线与所述第一图像的两条边围成一个封闭图形;在最大内切圆的圆弧上寻找分割点,分割点满足过所述手势中心点和分割点的直线平分封闭图形内的像素点。
本发明实施例提供一种手势图像分割的装置,本发明实施例根据手心位置点,以及手肘位置点与手心位置点之间的距离,在原始图像中截取第一图像,缩小了待识别图像的范围,提高了运算效率。另一方面,本申请实施例根据第一方向向量、第二方向向量、第一方向向量和第二方向向量之间的夹角,在最大内切圆上确定分割点,以过分割点的最大内切圆的切线为分割线将第一图像中靠近手肘位置点一侧的图像分割出去,相比利用Kinect软件开发工具包实现手势识别功能的方法,能够更合理地分割手臂与手势,提高了识别的准确性,同时,也避免了腕带式手势识别方法使用固定颜色腕带带来的不便。
图14示出了上述实施例中所涉及的装置的又一种可能的结构示意图。该装置包括:处理器302和图像采集器303。处理器302用于对手势图像进行处理,例如,执行上述处理模块202、识别模块203执行的步骤,和/或用于执行本文所描述的技术的其它过程。图像采集器303用于获取本申请所需的图像信息,例如,执行上述获取模块201执行的步骤。装置还可以包括存储器301和总线304,存储器301用于存储装置的程序代码和数据。
其中,上述处理器302可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。该处理器可以是中央处理器,通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
图像采集器303可以是Kinect设备、红外摄像头、体感摄像机或其他图像采集设备。
存储器301可以包括易失性存储器,例如随机存取存储器;该存储器也可以包括非易失性存储器,例如只读存储器,快闪存储器,硬盘或固态硬盘;该存储器还可以包括上述种类的存储器的组合。
总线304可以是扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。总线304可以分为地址总线、数据总线、控制总线等。为便于表示,图14中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当设备执行该指令时,该设备执行上述方法实施例所示的方法流程中设备执行的各个步骤。
其中,计算机可读存储介质,例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit,ASIC)中。在本申请实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。

Claims (12)

1.一种手势图像分割方法,其特征在于,包括:
获取原始图像,所述原始图像中包括待识别的手势;
在所述原始图像中确定手肘位置点和手心位置点;
根据所述手心位置点,以及所述手肘位置点与所述手心位置点之间的距离,在所述原始图像中截取第一图像,所述第一图像包括待识别的手势;
在所述手势中,确定最大内切圆;
确定第一方向向量、第二方向向量以及所述第一方向向量和第二方向向量之间的夹角,所述第一方向向量为所述手肘位置点和手心位置点之间的方向向量,所述第二方向向量用于表示所述手势的方向;
根据所述第一方向向量、所述第二方向向量、所述第一方向向量和第二方向向量之间的夹角,在所述最大内切圆上确定分割点;
以所述分割点做所述最大内切圆的切线,以所述切线为分割线将所述第一图像中靠近所述手肘位置点一侧的图像分割出去,将剩余图像作为第二图像;
对所述第二图像进行手势识别。
2.根据权利要求1所述的方法,其特征在于,所述原始图像包括骨骼信息,所述在所述原始图像中确定手肘位置点和手心位置点,包括:
根据所述原始图像中的骨骼信息,获取手肘骨骼点的位置为所述手肘位置点,获取手心骨骼点的位置为初始手心位置点;
在所述原始图像中,确定以所述初始手心位置点为中心点,以预设手掌长度为边长的矩形区域,得到矩形区域内的图像;
根据所述矩形区域内的图像,使用均值漂移算法得到目标位置点;
调整所述初始手心位置点至所述目标位置点,得到所述手心位置点。
3.根据权利要求1所述的方法,其特征在于,所述根据所述手心位置点,以及所述手肘位置点与所述手心位置点之间的距离,在所述原始图像中截取第一图像,包括:
在所述原始图像中,确定以所述手心位置点为中心,以所述手肘位置点到所述手心位置点之间距离的第一预设倍数为边长的正方形区域;
截取所述正方形区域内部的图像为所述第一图像。
4.根据权利要求1所述的方法,其特征在于,所述在所述手势中,确定最大内切圆,包括:
将第一图像通过距离变换,得到距离矩阵,所述距离矩阵包括:所述第一图像中的所有像素点位置,以及各个像素点到与自己距离最近的背景像素点之间的距离;
获取所述距离矩阵中的所述距离中的最大值为手势半径,所述最大值对应的像素点位置为手势中心点;
若所述手势中心点位于有效区域内,则在第一图像中,将以所述手势中心点为圆心,以所述手势半径为半径的圆确定为所述最大内切圆;
所述有效区域为:位于所述第一图像的中心,边长为所述第一图像的边长的第二预设倍数的正方形区域。
5.根据权利要求4所述的方法,其特征在于,所述确定第一方向向量、第二方向向量以及所述第一方向向量和第二方向向量之间的夹角,包括:
根据所述手心位置点和所述手肘位置点,得到所述手肘位置点至所述手心位置点的方向向量为第一方向向量;
计算所述第一图像的矩特征值,根据所述矩特征值确定第二方向向量;
确定所述第一方向向量与所述第二方向向量之间的夹角。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一方向向量、所述第二方向向量、所述第一方向向量和第二方向向量之间的夹角,在所述最大内切圆上确定分割点,包括:
若所述第一方向向量和第二方向向量之间的夹角小于预设角度,则选取所述第一方向向量和第二方向向量之间的夹角的角平分线所在的直线与所述最大内切圆之间的交点为分割点;
或者,若所述第一方向向量和第二方向向量之间的夹角大于等于预设角度,则以所述手势中心点为起点,以所述第一方向向量所在直线为基准线,以所述第一方向向量和第二方向向量之间的夹角的第三预设倍数为偏移量,做两条射线,所述两条射线与所述第一图像的两条边围成一个封闭图形;
在所述最大内切圆的圆弧上寻找分割点,所述分割点满足过所述手势中心点和所述分割点的直线平分所述封闭图形内的像素点。
7.一种手势图像分割的装置,其特征在于,包括:
获取单元,用于获取原始图像,所述原始图像中包括待识别的手势;
处理单元,用于在所述原始图像中确定手肘位置点和手心位置点;根据所述手心位置点,以及所述手肘位置点与所述手心位置点之间的距离,在所述原始图像中截取第一图像,所述第一图像包括待识别的手势;在所述手势中,确定最大内切圆;确定第一方向向量、第二方向向量以及所述第一方向向量和第二方向向量之间的夹角,所述第一方向向量为所述手肘位置点和手心位置点之间的方向向量,所述第二方向向量用于表示所述手势的方向;根据所述第一方向向量、所述第二方向向量、所述第一方向向量和第二方向向量之间的夹角,在所述最大内切圆上确定分割点;以所述分割点做所述最大内切圆的切线,以所述切线为分割线将所述第一图像中靠近所述手肘位置点一侧的图像分割出去,将剩余图像作为第二图像;
识别单元,用于对所述第二图像进行手势识别。
8.根据权利要求7所述的装置,其特征在于,所述原始图像包括骨骼信息,所述处理单元还用于:
根据所述原始图像中的骨骼信息,获取手肘骨骼点的位置为所述手肘位置点,获取手心骨骼点的位置为初始手心位置点;
在所述原始图像中,确定以所述初始手心位置点为中心点,以预设手掌长度为边长的矩形区域,得到矩形区域内的图像;
根据所述矩形区域内的图像,使用均值漂移算法得到目标位置点;
调整所述初始手心位置点至所述目标位置点,得到所述手心位置点。
9.根据权利要求7所述的装置,其特征在于,所述处理单元还用于:
在所述原始图像中,确定以所述手心位置点为中心,以所述手肘位置点到所述手心位置点之间距离的第一预设倍数为边长的正方形区域;
截取所述正方形区域内部的图像为所述第一图像。
10.根据权利要求7所述的装置,其特征在于,所述处理单元还用于:
将第一图像通过距离变换,得到距离矩阵,所述距离矩阵包括:所述第一图像中的所有像素点位置,以及各个像素点到与自己距离最近的背景像素点之间的距离;
获取所述距离矩阵中的所述距离中的最大值为手势半径,所述最大值对应的像素点位置为手势中心点;
若所述手势中心点位于有效区域内,则在第一图像中,将以所述手势中心点为圆心,以所述手势半径为半径的圆确定为所述最大内切圆;
其中,所述有效区域为:位于所述第一图像的中心,边长为所述第一图像的边长的第二预设倍数的正方形区域。
11.根据权利要求10所述的装置,其特征在于,所述处理单元还用于:
根据所述手心位置点和所述手肘位置点,得到所述手肘位置点至所述手心位置点的方向向量为第一方向向量;
计算所述第一图像的矩特征值,根据所述矩特征值确定第二方向向量;
确定所述第一方向向量与所述第二方向向量之间的夹角。
12.根据权利要求11所述的装置,其特征在于,所述处理单元还用于:
若所述第一方向向量和第二方向向量之间的夹角小于预设角度,则选取所述第一方向向量和第二方向向量之间的夹角的角平分线所在的直线与所述最大内切圆之间的交点为分割点;
或者,若所述第一方向向量和第二方向向量之间的夹角大于等于预设角度,则以所述手势中心点为起点,以所述第一方向向量所在直线为基准线,以所述第一方向向量和第二方向向量之间的夹角的第三预设倍数为偏移量,做两条射线,所述两条射线与所述第一图像的两条边围成一个封闭图形;
在所述最大内切圆的圆弧上寻找分割点,所述分割点满足过所述手势中心点和所述分割点的直线平分所述封闭图形内的像素点。
CN201810814460.6A 2018-07-23 2018-07-23 手势图像分割的方法及装置 Active CN108985242B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810814460.6A CN108985242B (zh) 2018-07-23 2018-07-23 手势图像分割的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810814460.6A CN108985242B (zh) 2018-07-23 2018-07-23 手势图像分割的方法及装置

Publications (2)

Publication Number Publication Date
CN108985242A true CN108985242A (zh) 2018-12-11
CN108985242B CN108985242B (zh) 2020-07-14

Family

ID=64550530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810814460.6A Active CN108985242B (zh) 2018-07-23 2018-07-23 手势图像分割的方法及装置

Country Status (1)

Country Link
CN (1) CN108985242B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899600A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种基于深度图的手部特征点检测方法
CN104899591A (zh) * 2015-06-17 2015-09-09 吉林纪元时空动漫游戏科技股份有限公司 基于深度相机的手腕点和手臂点的提取方法
CN106529480A (zh) * 2016-11-14 2017-03-22 江汉大学 一种基于深度信息的指尖检测和手势识别方法与系统
CN106845384A (zh) * 2017-01-17 2017-06-13 西北大学 一种基于递归模型的手势识别方法
CN107038424A (zh) * 2017-04-20 2017-08-11 华中师范大学 一种手势识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899600A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种基于深度图的手部特征点检测方法
CN104899591A (zh) * 2015-06-17 2015-09-09 吉林纪元时空动漫游戏科技股份有限公司 基于深度相机的手腕点和手臂点的提取方法
CN106529480A (zh) * 2016-11-14 2017-03-22 江汉大学 一种基于深度信息的指尖检测和手势识别方法与系统
CN106845384A (zh) * 2017-01-17 2017-06-13 西北大学 一种基于递归模型的手势识别方法
CN107038424A (zh) * 2017-04-20 2017-08-11 华中师范大学 一种手势识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BOSHENG WANG ET AL: "ACCURATE AND FAST HAND-FOREARM SEGMENTATION ALGORITHM BASED ON SILHOUETTE", 《2012 IEEE 2ND INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND INTELLIGENCE SYSTEMS》 *
阮晓钢 等: "基于多线索的运动手部分割方法", 《电子与信息学报》 *

Also Published As

Publication number Publication date
CN108985242B (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
US10691927B2 (en) Image deformation processing method and apparatus, and computer storage medium
US10650523B2 (en) Image segmentation method, image segmentation system and storage medium and apparatus including the same
US20170039761A1 (en) Image Processing Method And Apparatus
US20240096123A1 (en) Methods and apparatus for testing multiple fields for machine vision
CN112085033B (zh) 一种模板匹配方法、装置、电子设备及存储介质
US20200380250A1 (en) Image processing method and apparatus, and computer storage medium
CN108381549A (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN107944324A (zh) 一种二维码畸变校正方法及装置
US20210097268A1 (en) Image processing method and apparatus, and computer storage medium
CN110458888A (zh) 基于图像的测距方法、装置、存储介质和电子设备
Kishon et al. 3‐D curve matching using splines
WO2016012624A1 (en) Method for tracking keypoints in a scene
CN106982326A (zh) 焦距调整方法及终端
EP4040376A1 (en) Picture processing method and apparatus, and electronic device and storage medium
US10803295B2 (en) Method and device for face selection, recognition and comparison
CN109375833B (zh) 一种触控指令的生成方法及设备
CN110858814B (zh) 一种智能家居设备的控制方法及装置
CN108985242A (zh) 手势图像分割的方法及装置
CN112102404B (zh) 物体检测追踪方法、装置及头戴显示设备
JPH11167455A (ja) 手形状認識装置及び単色物体形状認識装置
CN112419399A (zh) 一种图像测距方法、装置、设备和存储介质
CN109063774A (zh) 图像追踪效果评价方法、装置、设备及可读存储介质
JP2016125995A (ja) 三次元形状測定装置、三次元形状測定方法、及び、プログラム
CN115147885A (zh) 脸型对比方法、装置、设备及存储介质
CN113574496A (zh) 识别操作终端设备的手势的方法和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant