CN107341811B - 基于深度图像的利用MeanShift算法进行手部区域分割的方法 - Google Patents

基于深度图像的利用MeanShift算法进行手部区域分割的方法 Download PDF

Info

Publication number
CN107341811B
CN107341811B CN201710471608.6A CN201710471608A CN107341811B CN 107341811 B CN107341811 B CN 107341811B CN 201710471608 A CN201710471608 A CN 201710471608A CN 107341811 B CN107341811 B CN 107341811B
Authority
CN
China
Prior art keywords
area
polygon
hand
region
hand region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710471608.6A
Other languages
English (en)
Other versions
CN107341811A (zh
Inventor
邹耀
应忍冬
金柯
马燕辉
鄢青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Data Miracle Intelligent Technology Co ltd
Original Assignee
Shanghai Data Miracle Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Data Miracle Intelligent Technology Co ltd filed Critical Shanghai Data Miracle Intelligent Technology Co ltd
Priority to CN201710471608.6A priority Critical patent/CN107341811B/zh
Publication of CN107341811A publication Critical patent/CN107341811A/zh
Application granted granted Critical
Publication of CN107341811B publication Critical patent/CN107341811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的基于深度图像的利用MeanShift算法进行手部区域分割的方法，包括以下步骤：1、读取深度图像；2、对深度图像进行预处理并初步提取包含冗余轮廓的手部区域；3、在初步提取得到的手部区域中选取初始迭代点并计算迭代半径；4、利用MeanShift算法对初始迭代点和迭代半径进行迭代运算，获取最接近手掌区域的圆形区域；5、根据最接近手掌区域的圆形区域将初步提取到的手部区域上的冗余轮廓剔除，更新得到精确的手部区域轮廓。本发明利用MeanShift算法进行手部区域分割的方法可以有效去除手臂等其他冗余轮廓信息，为后续的特征提取、分类学习等步骤的提供更为准确的输入数据源，提高最终手势识别和交互系统的稳定性和准确性。

Description

基于深度图像的利用MeanShift算法进行手部区域分割的 方法
技术领域
本发明涉及计算机模式识别和计算机视觉技术领域，尤其涉及一种基于深度图像的利用MeanShift算法进行手部区域分割的方法。
背景技术
手势交互是新型人机交互研究中一种重要的交互方式，这种交互是非接触性的、自然的交互，更符合人们的自然行为，因此基于手势的交互方式将是未来人机交互发展的趋势。手势识别技术涉及人工智能、模式识别、机器学习、计算机图像学等众多学科。另外，手势的研究设计到数学、计算机图形学、机器人运动学、医学等诸多学科。因此，手势识别的研究具有非常重要的研究价值与研究意义。当前基于手势交互的研究主要集中在基于RGB光学图像的处理上，包括人手检测、目标跟踪、手势识别三部分。
手势检测用于检测获取控制权的手势，主要分为静态手势和动态手势两种方式，静态手势的检测应用的是基于区域特征的目标检测方法，比如Haar特征、HOG特征、肤色特征、形状特征等，动态手势的检测主要基于运动的检测算法，根据运动区域的特征检测某种预定义的手势。目前手势检测研究较为成熟，但受光照、背景等的影响。
例如，专利申请号为201510282688.1的中国专利申请公开的一种基于深度图的手部特征点检测方法，包括以下步骤：(1)手部分割：利用Kinect采集到人体运动视频序列来提取手部，通过深度图利用OPENNI得到人体手部位置信息，通过设定搜索区域及深度阈值方法，初步获得手心点；利用OPENCV的find_contours函数得到手部轮廓；通过找到手轮廓内最大内接圆圆心，精确确定手部手心点，通过计算所有手部内部点到轮廓点之间的最短距离m，在最短距离中找到最大值M，M所代表的手部内部点为手心点，内接圆半径R＝M；(2)特征点提取：通过不断对手部轮廓进行高斯平滑，并结合曲率阈值从而得到CSS曲率图，根据图中CSS轮廓分析极限值得出手部指尖点及指谷点坐标，同时需要补全根据CSS曲率图无法得到的手部指谷点；(3)补全缺失手指：利用角度阈值和深度跳变结合的方式来补全缺失手指，从而找到弯曲手指的指尖点。
然而，这种基于设定搜索区域及深度阈值方法得到的手部轮廓会附带手臂或其他障碍物的轮廓信息，这些冗余轮廓信息会对后续的特征提取、分类学习等步骤产生干扰，造成最终手势识别和交互系统的不稳定。为此，申请人进行了有益的探索和尝试，找到了解决上述问题的办法，下面将要介绍的技术方案便是在这种背景下产生的。
发明内容
本发明所要解决的技术问题：针对现有技术的不足而提供一种基于深度图像的利用MeanShift算法进行手部区域分割的方法，该方法保证最终处理得到的手部区域由手腕处起始，去除手臂和其他障碍物造成的冗余轮廓信息，确保手势识别和交互系统的稳定性。
本发明所解决的技术问题可以采用以下技术方案来实现：
基于深度图像的利用MeanShift算法进行手部区域分割的方法，包括以下步骤：
步骤S10，读取深度图像；
步骤S20，对深度图像进行预处理并初步提取包含冗余轮廓的手部区域；
步骤S30，在初步提取得到的手部区域中选取初始迭代点并计算迭代半径；
步骤S40，利用MeanShift算法对初始迭代点和迭代半径进行迭代运算，获取最接近手掌区域的圆形区域；
步骤S50，根据获取到的最接近手掌区域的圆形区域将初步提取到的手部区域上的冗余轮廓剔除，更新得到精确的手部区域轮廓。
在本发明的一个优选实施例中，在所述步骤S20中，所述对深度图像进行预处理是指利用深度图像预处理模块对深度图像进行深度切割、图形学滤波并计算最大连通区域。
在本发明的一个优选实施例中，所述利用深度图像预处理模块对深度图像进行深度切割、图形学滤波并计算最大连通区域，包括以下步骤：
步骤S21，利用深度图像预处理模块对深度图像进行深度切割，并根据深度阈值提取包含冗余轮廓的手部区域，并将提取到的手部区域映射成二值图像，其中手部区域为白色，背景区域为黑色；
步骤S22，利用图形学对二值图像进行运算，先做开运算，平滑二值图像的轮廓并去除二值图像的背景噪声，再做闭运算，填充二值图像内的细小孔洞；
步骤S23，在经过图形学运算后的二值图像上寻找最大面积轮廓，并认为该轮廓为包含冗余轮廓的手部区域轮廓，同时填补该轮廓内的孔洞。
在本发明的一个优选实施例中，在所述步骤S30中，所述在初步提取得到的手部区域中选取初始迭代点并计算迭代半径，包括以下步骤：
步骤S31，将初步提取到的手部区域以多边形表示，并修复含有内环的多边形情况；
步骤S32，计算多边形的最小外接矩形，并与图像边界进行比较，根据两者的重合边数情况进行如下分类讨论：
(1)若重合边数大于或等于3，则表明手离镜头过近，图像无法显示完整的手部区域，算法终止；
(2)若重合边数为2且重合的两条边是平行边，则表明手横向或纵向贯穿镜头，图像无法显示完整的手部区域，算法终止；
(3)若重合边数为0，则表明没有手臂部分轮廓与图像边界相交，冗余轮廓不存在，此时返回的初始迭代点为手部区域的质心，初始迭代半径根据实际手掌经验值选取；
(4)若重合边数为1或重合边数为2且重合的两条边是相交边，则进入步骤S33；
步骤S33，在多边形的最小外接矩形的四个顶点中，计算距离多边形最近的顶点，且要保证该顶点是有效的且使得该顶点不与图像边界相交，再计算得到该顶点在多边形上的投影点，即该顶点距离多边性最近的点；
步骤S34，取投影点与多边形质心的连线中点作为初始迭代点，连线长度的一半作为初始迭代半径，若初始迭代点在多边形外部，则取该点在多边形上的投影点作为新的初始迭代点。
在本发明的一个优选实施例中，在所述步骤S40中，所述利用MeanShift算法对初始迭代点和迭代半径进行迭代运算，包括以下子步骤：
步骤S41，根据初始迭代点与初始迭代半径得到初始圆形区域；
步骤S42，寻找初始圆形区域与手部区域多边形的相交区域，并计算该相交区域的质心；
步骤S43，比较相交区域质心与圆心的位置，若两者之间的距离超过MeanShift算法的迭代门限，则进入步骤S44；若两者之间的距离在MeanShift算法的迭代门限内，则进入步骤S45；
步骤S44，调整当前圆形区域的圆心为相交区域的质心，半径为相交区域的质心到手部区域多边形边界的最小距离，并返回步骤S42；
步骤S45，若相交区域面积/圆形面积超过有效面积像素门限*1.1，则增加圆半径，并返回步骤S42；若相交区域面积/圆形面积低于有效面积像素门限*0.9，则减小圆半径,并返回步骤S42；否则终止迭代，输出迭代结束时的圆形区域的圆心c和半径r。
在本发明的一个优选实施例中，在所述步骤S50中，所述更新得到精确的手部区域轮廓，包括以下步骤：
步骤S51，根据迭代后的圆形区域与手部区域多边形的相交情况，将手部区域多边形分成相交区域I和不相交区域P，其中不相交区域P是由多个独立多边形p构成的；
步骤S52，针对不相交区域P中的每个独立多边形p，计算p与边界的重合线段的长度。若重合线段长度大于重合段门限值，则在原手部区域多边形中剪除该独立多边形p的部分，并进入步骤S54；若没有一个独立多边形p与边界的重合线段长度大于重合段门限值，则进入步骤S53；
步骤S53，针对不相交区域P中的每个独立多边形p，计算p的质心，以迭代后圆形区域的圆心c为起点，作cp延长线直至图像边界，计算p与cp延长线的重合线段的长度。若重合线段长度>0.4*cp延长线的长度，则在原手部区域多边形中剪除该独立多边形p的部分；
步骤S54，判断得到的手部区域多边形是否包含多个独立的多边形部分，若是，则将其中面积最大的多边形部分作为最终得到的手部区域多边形。返回最终得到的手部区域多边形外轮廓。
由于采用了如上的技术方案，本发明的有益效果在于：相比于传统的手部区域分割算法，本发明利用MeanShift算法进行手部区域分割的方法可以有效去除手臂等其他冗余轮廓信息，为后续的特征提取、分类学习等步骤的提供更为准确的输入数据源，提高最终手势识别和交互系统的稳定性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的总体算法流程框图。
图2是本发明的深度图像预处理的流程框图。
图3是本发明的计算初始迭代点和初始迭代半径的流程框图。
图4是本发明的根据MeanShift算法迭代寻找最优手掌区域的流程框图。
图5是本发明的手部区域轮廓更新的流程框图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
参见图1，图中给出的是本发明的一种基于深度图像的利用MeanShift算法进行手部区域分割的方法，包括以下步骤：
步骤S10，读取深度图像；
步骤S20，对深度图像进行预处理并初步提取包含冗余轮廓的手部区域；
步骤S30，在初步提取得到的手部区域中选取初始迭代点并计算迭代半径；
步骤S40，利用MeanShift算法对初始迭代点和迭代半径进行迭代运算，获取最接近手掌区域的圆形区域；
步骤S50，根据获取到的最接近手掌区域的圆形区域将初步提取到的手部区域上的冗余轮廓剔除，更新得到精确的手部区域轮廓。
在步骤S20中，对深度图像进行预处理是指利用深度图像预处理模块对深度图像进行深度切割、图形学滤波并计算最大连通区域。具体地，参见图2，对深度图像进行预处理包括以下步骤：
步骤S21，利用深度图像预处理模块对深度图像进行深度切割，并根据深度阈值提取包含冗余轮廓的手部区域，并将提取到的手部区域映射成二值图像，其中手部区域为白色，背景区域为黑色；
步骤S22，利用图形学对二值图像进行运算，先做开运算，平滑二值图像的轮廓并去除二值图像的背景噪声，再做闭运算，填充二值图像内的细小孔洞；
步骤S23，在经过图形学运算后的二值图像上寻找最大面积轮廓，并认为该轮廓为包含冗余轮廓的手部区域轮廓，同时填补该轮廓内的孔洞。
在步骤S30中，参见图3，在初步提取得到的手部区域中选取初始迭代点并计算迭代半径，包括以下步骤：
步骤S31，将初步提取到的手部区域以多边形表示，并修复含有内环的多边形情况；
步骤S32，计算多边形的最小外接矩形，并与图像边界进行比较，根据两者的重合边数情况进行如下分类讨论：
(1)若重合边数大于或等于3，则表明手离镜头过近，图像无法显示完整的手部区域，算法终止；
(2)若重合边数为2且重合的两条边是平行边，则表明手横向或纵向贯穿镜头，图像无法显示完整的手部区域，算法终止；
(3)若重合边数为0，则表明没有手臂部分轮廓与图像边界相交，冗余轮廓不存在，此时返回的初始迭代点为手部区域的质心，初始迭代半径根据实际手掌经验值选取；
(4)若重合边数为1或重合边数为2且重合的两条边是相交边，则进入步骤S33；
步骤S33，在多边形的最小外接矩形的四个顶点中，计算距离多边形最近的顶点，且要保证该顶点是有效的且使得该顶点不与图像边界相交，再计算得到该顶点在多边形上的投影点，即该顶点距离多边性最近的点；
步骤S34，取投影点与多边形质心的连线中点作为初始迭代点，连线长度的一半作为初始迭代半径，若初始迭代点在多边形外部，则取该点在多边形上的投影点作为新的初始迭代点。
在步骤S40中，参见图4，利用MeanShift算法对初始迭代点和迭代半径进行迭代运算，包括以下子步骤：
步骤S41，根据初始迭代点与初始迭代半径得到初始圆形区域；
步骤S42，寻找初始圆形区域与手部区域多边形的相交区域，并计算该相交区域的质心；
步骤S43，比较相交区域质心与圆心的位置，若两者之间的距离超过MeanShift算法的迭代门限，则进入步骤S44；若两者之间的距离在MeanShift算法的迭代门限内，则进入步骤S45；
步骤S44，调整当前圆形区域的圆心为相交区域的质心，半径为相交区域的质心到手部区域多边形边界的最小距离，并返回步骤S42；
步骤S45，若相交区域面积/圆形面积超过有效面积像素门限*1.1，则增加圆半径，并返回步骤S42；若相交区域面积/圆形面积低于有效面积像素门限*0.9，则减小圆半径,并返回步骤S42；否则终止迭代，输出迭代结束时的圆形区域的圆心c和半径r。
在步骤S50中，参见图5，更新得到精确的手部区域轮廓的方法包括以下步骤：
步骤S51，根据迭代后的圆形区域与手部区域多边形的相交情况，将手部区域多边形分成相交区域I和不相交区域P，其中不相交区域P是由多个独立多边形p构成的；
步骤S52，针对不相交区域P中的每个独立多边形p，计算p与边界的重合线段的长度。若重合线段长度大于重合段门限值，则在原手部区域多边形中剪除该独立多边形p的部分，并进入步骤S54；若没有一个独立多边形p与边界的重合线段长度大于重合段门限值，则进入步骤S53；
步骤S53，针对不相交区域P中的每个独立多边形p，计算p的质心，以迭代后圆形区域的圆心c为起点，作cp延长线直至图像边界，计算p与cp延长线的重合线段的长度。若重合线段长度>0.4*cp延长线的长度，则在原手部区域多边形中剪除该独立多边形p的部分；
步骤S54，判断得到的手部区域多边形是否包含多个独立的多边形部分，若是，则将其中面积最大的多边形部分作为最终得到的手部区域多边形。返回最终得到的手部区域多边形外轮廓。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.基于深度图像的利用MeanShift算法进行手部区域分割的方法，其特征在于，包括以下步骤：
步骤S10，读取深度图像；
步骤S20，对深度图像进行预处理并初步提取包含冗余轮廓的手部区域；
步骤S30，在初步提取得到的手部区域中选取初始迭代点并计算迭代半径；
步骤S40，利用MeanShift算法对初始迭代点和迭代半径进行迭代运算，获取最接近手掌区域的圆形区域；
步骤S50，根据获取到的最接近手掌区域的圆形区域将初步提取到的手部区域上的冗余轮廓剔除，更新得到精确的手部区域轮廓。
2.如权利要求1所述的基于深度图像的利用MeanShift算法进行手部区域分割的方法，其特征在于，在所述步骤S20中，所述对深度图像进行预处理是指利用深度图像预处理模块对深度图像进行深度切割、图形学滤波并计算最大连通区域。
3.如权利要求2所述的基于深度图像的利用MeanShift算法进行手部区域分割的方法，其特征在于，所述利用深度图像预处理模块对深度图像进行深度切割、图形学滤波并计算最大连通区域，包括以下步骤：
步骤S21，利用深度图像预处理模块对深度图像进行深度切割，并根据深度阈值提取包含冗余轮廓的手部区域，并将提取到的手部区域映射成二值图像，其中手部区域为白色，背景区域为黑色；
步骤S22，利用图形学对二值图像进行运算，先做开运算，平滑二值图像的轮廓并去除二值图像的背景噪声，再做闭运算，填充二值图像内的细小孔洞；
步骤S23，在经过图形学运算后的二值图像上寻找最大面积轮廓，并认为该轮廓为包含冗余轮廓的手部区域轮廓，同时填补该轮廓内的孔洞。
4.如权利要求3所述的基于深度图像的利用MeanShift算法进行手部区域分割的方法，其特征在于，在所述步骤S30中，所述在初步提取得到的手部区域中选取初始迭代点并计算迭代半径，包括以下步骤：
步骤S31，将初步提取到的手部区域以多边形表示，并修复含有内环的多边形情况；
步骤S32，计算多边形的最小外接矩形，并与图像边界进行比较，根据两者的重合边数情况进行如下分类讨论：
(1)若重合边数大于或等于3，则表明手离镜头过近，图像无法显示完整的手部区域，算法终止；
(2)若重合边数为2且重合的两条边是平行边，则表明手横向或纵向贯穿镜头，图像无法显示完整的手部区域，算法终止；
(3)若重合边数为0，则表明没有手臂部分轮廓与图像边界相交，冗余轮廓不存在，此时返回的初始迭代点为手部区域的质心，初始迭代半径根据实际手掌经验值选取；
(4)若重合边数为1或重合边数为2且重合的两条边是相交边，则进入步骤S33；
步骤S33，在多边形的最小外接矩形的四个顶点中，计算距离多边形最近的顶点，且要保证该顶点是有效的且使得该顶点不与图像边界相交，再计算得到该顶点在多边形上的投影点，即该顶点距离多边形 最近的点；
步骤S34，取投影点与多边形质心的连线中点作为初始迭代点，连线长度的一半作为初始迭代半径，若初始迭代点在多边形外部，则取该点在多边形上的投影点作为新的初始迭代点。
5.如权利要求4所述的基于深度图像的利用MeanShift算法进行手部区域分割的方法，其特征在于，在所述步骤S40中，所述利用MeanShift算法对初始迭代点和迭代半径进行迭代运算，包括以下子步骤：
步骤S41，根据初始迭代点与初始迭代半径得到初始圆形区域；
步骤S42，寻找初始圆形区域与手部区域多边形的相交区域，并计算该相交区域的质心；
步骤S43，比较相交区域质心与圆心的位置，若两者之间的距离超过MeanShift算法的迭代门限，则进入步骤S44；若两者之间的距离在MeanShift算法的迭代门限内，则进入步骤S45；
步骤S44，调整当前圆形区域的圆心为相交区域的质心，半径为相交区域的质心到手部区域多边形边界的最小距离，并返回步骤S42；
步骤S45，若相交区域面积/圆形面积超过有效面积像素门限*1.1，则增加圆半径，并返回步骤S42；若相交区域面积/圆形面积低于有效面积像素门限*0.9，则减小圆半径,并返回步骤S42；否则终止迭代，输出迭代结束时的圆形区域的圆心c和半径r。
6.如权利要求5所述的基于深度图像的利用MeanShift算法进行手部区域分割的方法，其特征在于，在所述步骤S50中，所述更新得到精确的手部区域轮廓，包括以下步骤：
步骤S51，根据迭代后的圆形区域与手部区域多边形的相交情况，将手部区域多边形分成相交区域I和不相交区域P，其中不相交区域P是由多个独立多边形p构成的；
步骤S52，针对不相交区域P中的每个独立多边形p，计算p与边界的重合线段的长度；若重合线段长度大于重合段门限值，则在原手部区域多边形中剪除该独立多边形p的部分，并进入步骤S54；若没有一个独立多边形p与边界的重合线段长度大于重合段门限值，则进入步骤S53；
步骤S53，针对不相交区域P中的每个独立多边形p，计算p的质心，以迭代后圆形区域的圆心c为起点，作cp延长线直至图像边界，计算p与cp 延长线的重合线段的长度；若重合线段长度>0.4*cp延长线的长度，则在原手部区域多边形中剪除该独立多边形p的部分；
步骤S54，判断得到的手部区域多边形是否包含多个独立的多边形部分，若是，则将其中面积最大的多边形部分作为最终得到的手部区域多边形，返回最终得到的手部区域多边形外轮廓。
CN201710471608.6A 2017-06-20 2017-06-20 基于深度图像的利用MeanShift算法进行手部区域分割的方法 Active CN107341811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710471608.6A CN107341811B (zh) 2017-06-20 2017-06-20 基于深度图像的利用MeanShift算法进行手部区域分割的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710471608.6A CN107341811B (zh) 2017-06-20 2017-06-20 基于深度图像的利用MeanShift算法进行手部区域分割的方法

Publications (2)

Publication Number Publication Date
CN107341811A CN107341811A (zh) 2017-11-10
CN107341811B true CN107341811B (zh) 2020-11-13

Family

ID=60220811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710471608.6A Active CN107341811B (zh) 2017-06-20 2017-06-20 基于深度图像的利用MeanShift算法进行手部区域分割的方法

Country Status (1)

Country Link
CN (1) CN107341811B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509837A (zh) * 2018-01-29 2018-09-07 上海数迹智能科技有限公司 一种基于深度图像的具有旋转不变性的指尖识别方法
CN108520264A (zh) * 2018-03-23 2018-09-11 上海数迹智能科技有限公司 一种基于深度图像的手部轮廓特征优化方法
CN108563329B (zh) * 2018-03-23 2021-04-27 上海数迹智能科技有限公司 一种基于深度图的人体手臂位置参数提取算法
CN110007754B (zh) * 2019-03-06 2020-08-28 清华大学 手与物体交互过程的实时重建方法及装置
CN110163208B (zh) * 2019-05-22 2021-06-29 长沙学院 一种基于深度学习的场景文字检测方法和系统
CN110310336B (zh) * 2019-06-10 2021-08-06 青岛小鸟看看科技有限公司 一种触控投影系统及图像处理方法
CN111127535B (zh) * 2019-11-22 2023-06-20 北京华捷艾米科技有限公司 一种手部深度图像的处理方法及装置
CN111144212B (zh) * 2019-11-26 2023-06-23 北京华捷艾米科技有限公司 一种深度图像目标分割方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
CN102521567A (zh) * 2011-11-29 2012-06-27 Tcl集团股份有限公司 一种人机交互的指尖检测方法、装置及电视机
CN103984928A (zh) * 2014-05-20 2014-08-13 桂林电子科技大学 基于景深图像的手指手势识别方法
CN104809430A (zh) * 2015-04-02 2015-07-29 海信集团有限公司 一种手掌区域识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
CN102521567A (zh) * 2011-11-29 2012-06-27 Tcl集团股份有限公司 一种人机交互的指尖检测方法、装置及电视机
CN103984928A (zh) * 2014-05-20 2014-08-13 桂林电子科技大学 基于景深图像的手指手势识别方法
CN104809430A (zh) * 2015-04-02 2015-07-29 海信集团有限公司 一种手掌区域识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《基于Kinect的手势跟踪概述》;刘佳 等;《计算机应用研究》;20150731;第32卷(第7期);第1921-1925页 *
《基于深度信息的手势检测与跟踪》;陈子毫;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130115(第01期);第16-17页第2.3.2小节 *
《基于自适应活动轮廓模型的实时手势跟踪》;齐苏敏 等;《计算机科学》;20061231;第33卷(第11期);第192-193页第2.2小节 *

Also Published As

Publication number Publication date
CN107341811A (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
CN107341811B (zh) 基于深度图像的利用MeanShift算法进行手部区域分割的方法
CN110232311B (zh) 手部图像的分割方法、装置及计算机设备
JP6079832B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
US10963066B2 (en) Keyboard input system and keyboard input method using finger gesture recognition
Geetha et al. A vision based recognition of indian sign language alphabets and numerals using b-spline approximation
CN104978012B (zh) 一种指向交互方法、装置及系统
JP2003346162A (ja) 手の画像認識による入力システム
Li et al. Fully automatic 3D facial expression recognition using polytypic multi-block local binary patterns
Krejov et al. Multi-touchless: Real-time fingertip detection and tracking using geodesic maxima
JP6651388B2 (ja) ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム
CN108520264A (zh) 一种基于深度图像的手部轮廓特征优化方法
US20160239702A1 (en) Image processing device, image display device, image processing method, and medium
WO2021196013A1 (zh) 单词识别方法、设备及存储介质
CN107610236B (zh) 一种基于图形识别的交互方法及系统
CN114445853A (zh) 一种视觉手势识别系统识别方法
Aksaç et al. Real-time multi-objective hand posture/gesture recognition by using distance classifiers and finite state machine for virtual mouse operations
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition
CN109325387B (zh) 图像处理方法、装置、电子设备
CN107169449A (zh) 基于深度传感器的中文手语翻译方法
CN113780040A (zh) 唇部关键点的定位方法及装置、存储介质、电子设备
CN110349111B (zh) 一种包含二维码图像的矫正方法和装置
KR20160097513A (ko) 깊이 영상에서 가장자리 쌍 기반의 손 추적 방법
Babu et al. Touchless User Interface for Sketching Using Hand Gesture Recognition
CN114596582B (zh) 一种带视觉和力反馈的增强现实交互方法及系统
US20230071291A1 (en) System and method for a precise semantic segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant