CN108549871B - 一种基于区域生长和机器学习的手部分割方法 - Google Patents

一种基于区域生长和机器学习的手部分割方法 Download PDF

Info

Publication number
CN108549871B
CN108549871B CN201810341634.1A CN201810341634A CN108549871B CN 108549871 B CN108549871 B CN 108549871B CN 201810341634 A CN201810341634 A CN 201810341634A CN 108549871 B CN108549871 B CN 108549871B
Authority
CN
China
Prior art keywords
depth
hand
point
growth
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810341634.1A
Other languages
English (en)
Other versions
CN108549871A (zh
Inventor
王行
盛赞
周晓军
李骊
杨淼
李朔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201810341634.1A priority Critical patent/CN108549871B/zh
Publication of CN108549871A publication Critical patent/CN108549871A/zh
Application granted granted Critical
Publication of CN108549871B publication Critical patent/CN108549871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于区域生长和机器学习的手部分割方法。该方法首先对场景深度图进行采集，然后通过区域生长的方式完成手部区域的分割，生长需要满足待定点和当前生长点的深度之差小于阈值1、待定点和种子点的深度之差小于阈值2、待定点和种子点的三维距离之差小于阈值3这三个约束条件，对于生长获得的生长区域，判断其面积是否满足要求，进而生成生长区域，然后将生长区域进行二分类以确定是否为手部区域。由于利用了手部先验知识，降低了分类的复杂程度，因此大幅度提升了手部分割及检测的准确度和效率。此外本发明还提出一种手部分割分类器的训练方法。

Description

一种基于区域生长和机器学习的手部分割方法
技术领域
本发明涉及一种图像处理方法，特别涉及一种基于区域生长和机器学习的手部分割方法。
背景技术
随着AR交互的不断发展，手势识别成为未来人工智能的一个重要组成板块，有效而稳定的手部分割算法能为手势识别提供准确的数据输入。作为手势识别的输入数据之一，深度图提供的三维位置信息对手势的立体恢复提供很好的依据。如何从深度图中分割出完整的手部数据则是手势识别的基础。相比于传统的RGB图像，深度图的手部检测和分割都由于特征有限都难以有效的完成。传统的深度图手部分割算法都是按照距离(深度)阈值过滤出手部区域，例如只提取深度值(300mm～600mm)的部分作为手部区域，这种方法完全依赖于手相对于传感器的位置、抗干扰能力弱，而且当手后有其他物体(例如手腕、胳膊等)处于深度阈值范围内时会产生严重的干扰，一般的深度阈值分割后，经常会带有大片的胳膊区域需要在进行分类处理。
现有的手部分割方法，实现步骤一般包括：(1)获取场景的深度图；(2)根据深度图逐像素计算特征向量，一般以窗口的方式计算；(3)根据训练好的分类器，对深度图数据进行手臂、手、手腕的分类。需要事先为该分类器构造样本及样本特征向量，以训练分类器。
然而上述现有方法完全依赖于手的位置和多分类的准确度，存在以下缺陷：(1)抗干扰能力弱；(如当手附近有其他干扰物)；(2)需要至少3～4种类别，除了手部样本还需要包括负样本(手腕、手臂等)，样本制作及数量要求很高；(3)深度图的噪声会保留；(4)计算复杂度高，花费时间长。
发明内容
为了解决上述现有技术中的缺陷，本发明提出一种基于深度及手部尺寸约束的区域生长手部分割方法。
本发明的第一个方面，提出一种手部分割方法，包括如下步骤：
步骤S110：采集场景的深度图，并确定深度图的有效范围；
步骤S120：将有效范围内的像素按照深度值排序；
步骤S130：从排序后的像素中选取种子点并开始生长；
步骤S140：判断生长区域的面积大小，若面积过小则重新选取种子点，并返回步骤S130重新进行区域生长，若面积满足要求则进入步骤S150；
步骤S150：按照生长区域的像素索引过滤深度图，生成只含生长区域的生长区域的深度图；
步骤S160：对步骤S150获得的生长区域的深度图实时进行分类，以确定所述生长区域的是否为手部区域；
步骤S170：对确定为手部区域的深度图提取质心并计算其轮廓，从质心为初值、轮廓点为数据源采用mean-shift算法搜索最优手心位置。
本发明的第二个方面，提出一种手部分割分类器的训练方法，包括如下步骤：
步骤S210：根据S110～S150的步骤采集大量生长区域的深度图作为训练数据集；
步骤S220：人工标记训练数据集的label；
步骤S230：提取所有训练数据集的特征，把这些特征组合成特征向量矩阵；
步骤S240：利用获得的特征向量矩阵和人工标记的所述label训练二分类器。
本发明利用了手部结构的先验知识，降低了后续分类的复杂度，大幅度提升了手部分割及检测的准确度和效率。
附图说明
图1为本发明提出的手部分割方法的流程图。
图2为本发明提出的区域生长的八邻域示意图。
图3为本发明提出的区域生长的十六邻域示意图。
图4为本发明提出的手部分割分类器的训练方法的流程图。
图5为采用本发明的方法提取出的手部区域分割图像。
图6为采用本发明的方法提取出的非手部区域分割图像。
具体实施方式
现结合附图和具体实施例对本发明方法原理及功能特点作进一步说明，但不作为对本发明的限定。
如图1所示，本发明提出的手部分割方法包括以下步骤。
步骤S110：采集场景的深度图，并确定深度图的有效范围。
其中场景的深度图可以通过带深度信息的摄像机获得，例如通过双目摄像机分别拍摄场景的左右眼图像以计算视差，进而获得深度图，也可以通过单目摄像机加距离传感器的方式获得场景的深度图。之后按照设定的最近和最远阈值过滤深度图数据：
其中Depthh为过滤后的深度图中点h的深度值，d为原始深度图中点h的深度值，mind为深度的最近阈值，maxd为深度的最远阈值。这里mind和maxd可以事先设置好，也可以通过用户接口由用户指定。
mind和maxd还可以根据历史手部分割识别的结果来确定。在一个实施方式中，根据前次手部分割识别的结果确定出手部区域对应的最大深度和最小深度，在所述最大深度的基础上加上一个适当的裕度作为maxd，在所述最小深度的基础上减去一个适当的裕度作为mind，如此可以充分利用前次手部分割的结果数据，缩小深度图的有效范围，进而减少后续处理的处理量，提高分割速度。在另一个实施方式中，根据历史手部分割识别的结果确定出手部区域可能出现的最大深度和最小深度分别作为maxd和mind，如此可以充分利用历史手部分割的结果，在缩小深度图的有效范围的同时保证深度图有效范围的完整性。
步骤S120：将有效范围内的像素按照深度值排序，第三视角和第一视角的排序方式相反。排序结果保留像素值及像素索引，第三视角由近到远，第一视角由远到近。
步骤S130：从排序后的像素中选取种子点并开始生长，生长邻域可选择八邻域(图2)或十六邻域(图3)。图3所示的十六邻域为在图2的八邻域的基础上增加外圈的四角邻域和外圈四边中点邻域，相比简单将八邻域扩充为24领域的方式，能够在减少计算量的同时，保证区域生长的连续性，防止因场景的深度图因瑕疵而不连续所导致的区域生长中断。
生长需要满足如下3个约束条件：
1)待定点和当前生长点的深度之差小于阈值1
其中Dcandidate表示待定点的深度，Dgrow表示当前迭代的生长点的深度，Thred1表示阈值1。
2)待定点和种子点的深度之差小于阈值2
其中Dcandidate表示待定点的深度，Dseed表示种子点的深度，Thred2表示阈值2。
3)待定点和种子点的三维距离之差小于阈值3
其中Pcandidate表示待定点三维坐标，Pseed表示种子点三维坐标，Thred3表示阈值3，运算符||·||表示三维距离计算。
当同时满足3个约束条件Condition1、Condition2和Condition3时，记录该待定点的像素索引为生长点，否则记录该待定点的像素索引为非生长点。遍历所有的生长点，当所有的生长点的生长邻域内不再有待定点时，生长停止。
步骤S140：判断生长区域的面积大小，若面积过小则重新选取种子点，并返回步骤S130重新进行区域生长，若面积满足要求则进入步骤S150。
步骤S150：按照生长区域的像素索引过滤深度图，生成只含生长区域的生长区域的深度图。
步骤S160：对步骤S150获得的生长区域的深度图实时进行分类，以确定所述生长区域的是否为手部区域。
步骤S170：对确定为手部区域的深度图提取质心并计算其轮廓，从质心为初值、轮廓点为数据源采用mean-shift算法搜索最优手心位置。
由此，本发明向手部分割技术中引入区域生长方法，利用手部结构的先验知识通过区域生长的方式获得手部分割区域，随后通过分类器进行二分类以确定获得的手部分割区域是否正确。相比传统单纯依靠分类器的手部分割方法，本方法由于分类器无需准确分类手部区域，只需要判断通过区域生长的方式获得的手部分割区域是否为手部，因此降低了后续分类器的复杂程度，能大幅度提升手部分割及检测的准确度和效率。
如图4所示，本发明还提出了一种手部分割分类器训练方法，包括以下步骤。
步骤S210：根据S110～S150的步骤采集大量生长区域的深度图作为训练数据集。
步骤S220：人工标记训练数据集的label，是手标记为1，否则标记为0。如图5所示的手部深度图标记为1，如图6所示的非手部深度图标记为0。
步骤S230：提取所有训练数据集的特征，把这些特征组合成特征向量矩阵，特征可以通过PCA等方式计算。所选取的特征可以包括但不限于以下方式：
特征一：PCA计算特征值，及其组合形式。
特征二：轮廓面积、凸包面积和包围盒面积。
特征三：轮廓长度。
步骤S240：利用获得的特征向量矩阵和人工标记的所述label训练二分类器。所述分类器可以采用Adaboost或SVM等。
上述手部分割分类器的训练方法，由于分类器仅需做二分类，判断出是手部还是非手部，因此对于分类器的特征向量可以采用比较简单的方式构建，从而大大简化了分类器的复杂度，同时也大大提高了手部分割分类器的训练速度。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围以权利要求为准。

Claims (8)

1.一种手部分割方法，包括如下步骤：
步骤S110：采集场景的深度图，并确定深度图的有效范围；
步骤S120：将有效范围内的像素按照深度值排序；
步骤S130：从排序后的像素中选取种子点并开始生长；
步骤S140：判断生长区域的面积大小，若面积过小则重新选取种子点，并返回步骤S130重新进行区域生长，若面积满足要求则进入步骤S150；
步骤S150：按照生长区域的像素索引过滤深度图，生成只含生长区域的生长区域深度图；
步骤S160：对步骤S150获得的生长区域深度图实时进行分类，以确定所述生长区域是否为手部区域；
步骤S170：对确定为手部区域的深度图提取质心并计算其轮廓，从质心为初值、轮廓点为数据源采用mean-shift算法搜索最优手心位置。
2.如权利要求1所述的手部分割方法，其特征在于：所述步骤S110中，所述有效范围包括深度的最近阈值和最远阈值，所述最近阈值和所述最远阈值根据历史手部分割识别的结果来确定。
3.如权利要求2所述的手部分割方法，其特征在于：根据前次手部分割识别的结果确定出手部区域对应的最大深度和最小深度，在所述最大深度的基础上加上一个裕度作为所述最远阈值，在所述最小深度的基础上减去一个裕度作为所述最远阈值。
4.如权利要求2所述的手部分割方法，其特征在于：根据历史手部分割识别的结果确定出手部区域出现过的最大深度和最小深度分别作为所述最远阈值和所述最近阈值。
5.如权利要求1所述的手部分割方法，其特征在于：所述步骤S130中，所述生长需要满足如下3个约束条件：
1)待定点和当前生长点的深度之差小于第一阈值，
2)待定点和种子点的深度之差小于第二阈值，
3)待定点和种子点的三维距离之差小于第三阈值，
当同时满足3个约束条件时，记录该待定点的像素索引为生长点，否则记录该待定点的像素索引为非生长点，遍历所有的生长点，当所有的生长点的生长邻域内不再有待定点时，生长停止。
6.如权利要求1所述的手部分割方法，其特征在于：所述步骤S130中，所述生长的生长邻域为在八邻域的基础上增加外圈的四角邻域和外圈四边中点邻域的十六邻域。
7.一种手部分割分类器的训练方法，包括如下步骤：
步骤S210：根据如权利要求1-6中任一项所述的手部分割方法，采集大量生长区域的深度图作为训练数据集；
步骤S220：人工标记训练数据集的label；
步骤S230：提取所有训练数据集的特征，把这些特征组合成特征向量矩阵；
步骤S240：利用获得的特征向量矩阵和人工标记的所述label训练二分类器。
8.如权利要求7所述的一种手部分割分类器的训练方法，其特征在于：所述步骤S230中，所述特征包括PCA计算特征值、轮廓面积、轮廓长度、凸包面积和包围盒面积之一。
CN201810341634.1A 2018-04-17 2018-04-17 一种基于区域生长和机器学习的手部分割方法 Active CN108549871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810341634.1A CN108549871B (zh) 2018-04-17 2018-04-17 一种基于区域生长和机器学习的手部分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810341634.1A CN108549871B (zh) 2018-04-17 2018-04-17 一种基于区域生长和机器学习的手部分割方法

Publications (2)

Publication Number Publication Date
CN108549871A CN108549871A (zh) 2018-09-18
CN108549871B true CN108549871B (zh) 2019-10-11

Family

ID=63515240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810341634.1A Active CN108549871B (zh) 2018-04-17 2018-04-17 一种基于区域生长和机器学习的手部分割方法

Country Status (1)

Country Link
CN (1) CN108549871B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902622B (zh) * 2019-02-26 2020-06-09 中国科学院重庆绿色智能技术研究院 一种用于登机牌信息验证的文字检测识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106890031A (zh) * 2017-04-11 2017-06-27 东北大学 一种标记物识别及标记点定位方法及手术导航系统
CN107742102A (zh) * 2017-10-13 2018-02-27 北京华捷艾米科技有限公司 一种基于深度传感器的手势识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096259B (zh) * 2014-05-09 2018-01-09 株式会社理光 深度图像的深度值恢复方法和系统
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
CN106250867B (zh) * 2016-08-12 2017-11-14 南京华捷艾米软件科技有限公司 一种基于深度数据的人体骨骼跟踪系统的实现方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106890031A (zh) * 2017-04-11 2017-06-27 东北大学 一种标记物识别及标记点定位方法及手术导航系统
CN107742102A (zh) * 2017-10-13 2018-02-27 北京华捷艾米科技有限公司 一种基于深度传感器的手势识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Automated detection of polyps in CT colonography images using deep learning algorithms in colon cancer diagnosis;Akshay M Godkhindi etal.;《2017 International Conference on Energy, Communication, Data Analytics and Soft Computing (ICECDS)》;20170802;第1722-1728页 *
基于视觉图像的手指关节角度测量方法和实现;黄晓立;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150315;第19-28页 *
深度图像分割的城市区域倾斜影像;季虹良 等;《测绘科学技术学报》;20171231;第34卷(第5期);第491-495页 *

Also Published As

Publication number Publication date
CN108549871A (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
CN108446617B (zh) 抗侧脸干扰的人脸快速检测方法
CN109154978B (zh) 用于检测植物疾病的系统和方法
CN105261017B (zh) 基于路面约束的图像分割法提取行人感兴趣区域的方法
CN107292252B (zh) 一种自主学习的身份识别方法
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN111860494B (zh) 图像目标检测的优化方法、装置、电子设备和存储介质
CN107610129B (zh) 一种基于cnn的多模态鼻咽部肿瘤联合分割方法
CN108198207A (zh) 基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法
CN107657225B (zh) 一种基于聚合通道特征的行人检测方法
CN109145742A (zh) 一种行人识别方法及系统
CN111738271B (zh) 自然环境中被遮挡果实的识别方法
CN110728185B (zh) 一种判别驾驶人存在手持手机通话行为的检测方法
CN111091583B (zh) 长期目标跟踪方法
CN103106409A (zh) 一种针对头肩检测的混合特征提取方法
CN111062293A (zh) 一种基于深度学习的无人机森林火焰识别方法
CN103198319A (zh) 用于矿山井筒环境下的模糊图像角点提取方法
CN105761260A (zh) 一种皮肤图像患处分割方法
CN106815843A (zh) 一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法
JP6448212B2 (ja) 認識装置及び認識方法
CN105809089A (zh) 复杂背景下的多人脸检测方法及装置
CN108549871B (zh) 一种基于区域生长和机器学习的手部分割方法
CN105354547A (zh) 一种结合纹理和彩色特征的行人检测方法
Zhou et al. Lane Detection Algorithm Based on Haar Feature Based Coupled Cascade Classifier
Kalam et al. Gender classification using geometric facial features
CN111898454A (zh) 权重二值化神经网络与迁移学习人眼状态检测方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant