CN108509837A - 一种基于深度图像的具有旋转不变性的指尖识别方法 - Google Patents

一种基于深度图像的具有旋转不变性的指尖识别方法 Download PDF

Info

Publication number
CN108509837A
CN108509837A CN201810085974.2A CN201810085974A CN108509837A CN 108509837 A CN108509837 A CN 108509837A CN 201810085974 A CN201810085974 A CN 201810085974A CN 108509837 A CN108509837 A CN 108509837A
Authority
CN
China
Prior art keywords
depth image
finger tip
hand region
coordinate
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810085974.2A
Other languages
English (en)
Inventor
王俊
刘佩林
邹耀
应忍冬
葛昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Digital Intelligent Technology Co Ltd
Original Assignee
Shanghai Digital Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Digital Intelligent Technology Co Ltd filed Critical Shanghai Digital Intelligent Technology Co Ltd
Priority to CN201810085974.2A priority Critical patent/CN108509837A/zh
Publication of CN108509837A publication Critical patent/CN108509837A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Abstract

本发明公开的一种基于深度图像的具有旋转不变性的指尖识别方法，包括以下步骤：步骤S10，获取需要进行指尖识别的深度图像，并对所述深度图像进行读取；步骤S20，对所述深度图像进行预处理，得到仅包含手部区域的深度图像；步骤S30，根据步骤20得到的深度图像的手部区域的轮廓信息计算指尖坐标及其可信度；步骤S40，根据步骤20得到的深度图像的深度信息计算指尖坐标及其可信度；步骤S50，结合步骤S30和步骤S40得到的指尖坐标及其可信度，得到最终的指尖坐标。本发明的有益效果在于：本发明基于深度图像进行指尖识别，相比较于基于RGB的方法，不容易受到光照、背景环境等周围环境因素的影响。

Description

一种基于深度图像的具有旋转不变性的指尖识别方法
技术领域
本发明涉及人机交互技术领域，尤其涉及一种基于深度图像的具有旋转不变性的指尖识别方法。
背景技术
人机交互一直以来都是人工智能领域中最热门的研究方向之一，相比较于键盘鼠标和其他交互方式，手势交互更加自然，因而基于视觉的手势识别成为了人机交互领域的重要技术，其中指尖检测是手势识别的基础。
目前已有的指尖检测方案中大多都是基于二维RGB图像进行检测的，首先利用肤色信息进行手部分割，然后提取出手部轮廓，在轮廓上根据曲率对类指尖的点进行检测，最后通过过滤算法过滤掉误判的手臂点。然而，在手指伸展且手掌平面平行于相机平面的情况下，一旦手掌与镜头形成一定的角度时，指尖检测的准确率便会下降，而当手掌与镜头的角度超过一定范围后，比如指尖近似垂直于镜头，这时就会出现指尖检测不到的情况。此外，目前的指尖检测方案容易受到周围环境、光照变化、背景等因素的影响，指尖检测的准确率稳定性较差。
为此，申请人进行了有益的探索和尝试，找到了解决上述问题的办法，下面将要介绍的技术方案便是在这种背景下产生的。
发明内容
本发明所要解决的技术问题：针对现有的指尖检测方案存在无法解决不同姿态下的指尖检测问题、容易受到周围环境因素影响、检测稳定性较差等问题，而提供一种有效解决不同姿态下的指尖检测问题、其准确率不受周围环境因素的影响、检测稳定性高的基于深度图像的具有旋转不变性的指尖识别方法。
本发明所要解决的技术问题可以采用如下技术方案来实现：
一种基于深度图像的具有旋转不变性的指尖识别方法，包括以下步骤：
步骤S10，获取需要进行指尖识别的深度图像，并对所述深度图像进行读取；
步骤S20，对所述深度图像进行预处理，得到仅包含手部区域的深度图像；
步骤S30，根据步骤20得到的深度图像的手部区域的轮廓信息计算指尖坐标及其可信度；
步骤S40，根据步骤20得到的深度图像的深度信息计算指尖坐标及其可信度；
步骤S50，结合步骤S30和步骤S40得到的指尖坐标及其可信度，得到最终的指尖坐标。
在本发明的一个优选实施例中，所述步骤S20包括以下子步骤：
步骤S21，对步骤S10中读取的深度图像进行中值滤波去除噪声处理；
步骤S22，根据自适应深度阈值对经过中值滤波去除噪声处理的深度图像进行切割，得到深度图像的手部区域，同时将切割得到的仅含手部区域的深度图像映射成二值图像，白色前景表示手部区域，黑色表示为背景；
步骤S23，将深度图像的手部区域的细小空洞去除；
步骤S24，在深度图像的手部区域内寻找掌心坐标，并计算手掌半径。
在本发明的一个优选实施例中，在所述步骤S23中，利用图形学滤波方法将深度图像的手部区域的细小空洞去除；
在本发明的一个优选实施例中，在所述步骤S24中，采用Meanshift算法在仅含手部区域的深度图像内寻找掌心坐标。
在本发明的一个优选实施例中，所述步骤S30中包括以下子步骤：
步骤S31，基于步骤S24确定的掌心坐标和手掌半径的基础上提取深度图像的手部区域的轮廓；
步骤S32，计算深度图像的手部区域的轮廓上所有点的曲率，并筛选出大于设定阈值的指尖候选点；
步骤S33，计算所有指尖候选点与掌心点的距离，并选择距离最大的指尖候选点作为最终指尖点，该最终指尖点的曲率和与掌心点的距离作为可信度。
在本发明的一个优选实施例中，在所述步骤S31中，基于步骤S24确定的掌心坐标和手掌半径的基础上，利用Meanshift算法在提取深度图像的手部区域的轮廓。
在本发明的一个优选实施例中，所述步骤S40包括以下子步骤：
步骤S41，筛选出深度图像的手部区域的自适应数量的深度最小的点；
步骤S42，选中的点根据深度值倒数加权，投影到x轴和y轴，并进行归一化处理；
步骤S43，分别计算x和y方向的投影中心，并将计算得出的结果作为指尖坐标；
步骤S44，计算选中点的数量和像素点分布的方差，并将计算结果作为可信度。
在本发明的一个优选实施例中，所述步骤S50包括以下子步骤：
步骤S51，获取步骤S30和步骤S40中的指尖坐标及其可信度，并分别计算步骤S30和步骤40得到的指尖坐标的权重因子；
步骤S52，根据权重因子计算步骤S30和步骤S40中的指尖坐标的加权和，并将结算结果作为最终的指尖坐标。
由于采用了如上的技术方案，本发明的有益效果在于：
1、本发明基于深度图像进行指尖识别，相比较于基于RGB的方法，不容易受到光照、背景环境等周围环境因素的影响；
2、本发明有效地不同姿态下的指尖检测问题，无论是手指指向镜头，还是平行镜头，都能达到很高的准确率；
3、本发明能够实现实时检测的功能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明基于深度图像的具有旋转不变性的指尖识别方法的流程图。
图2是本发明对所述深度图像进行预处理的流程图。
图3是本发明根据深度图像的手部区域的轮廓信息计算指尖坐标及其可信度的流程图。
图4是本发明根据深度图像的深度信息计算指标坐标及其可信度的流程图。
图5是本发明结合两种指尖坐标及其可信度计算最终的指尖坐标的流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
参见图1，图中给出的是一种基于深度图像的具有旋转不变性的指尖识别方法，包括以下步骤：
步骤S10，获取需要进行指尖识别的深度图像，并对所述深度图像进行读取；
步骤S20，对所述深度图像进行预处理，得到仅包含手部区域的深度图像；
步骤S30，根据步骤20得到的深度图像的手部区域的轮廓信息计算指尖坐标及其可信度；
步骤S40，根据步骤20得到的深度图像的深度信息计算指尖坐标及其可信度；
步骤S50，结合步骤S30和步骤S40得到的指尖坐标及其可信度，得到最终的指尖坐标。
参见图2，上述步骤S20包括以下子步骤：
步骤S21，对步骤S10中读取的深度图像进行中值滤波去除噪声处理；
步骤S22，根据自适应深度阈值对经过中值滤波去除噪声处理的深度图像进行切割，得到深度图像的手部区域，同时将切割得到的仅含手部区域的深度图像映射成二值图像，白色前景表示手部区域，黑色表示为背景；
步骤S23，利用图形学滤波方法将深度图像的手部区域的细小空洞去除；
步骤S24，采用Meanshift算法在深度图像的手部区域内寻找掌心坐标，并计算手掌半径。
参见图3，上述步骤S30中包括以下子步骤：
步骤S31，基于步骤S24确定的掌心坐标和手掌半径的基础上，利用Meanshift算法提取深度图像的手部区域的轮廓；
步骤S32，计算深度图像的手部区域的轮廓上所有点的曲率，并筛选出大于设定阈值的指尖候选点；
步骤S33，计算所有指尖候选点与掌心点的距离，并选择距离最大的指尖候选点作为最终指尖点，该最终指尖点的曲率和与掌心点的距离作为可信度。
参见图4，上述步骤S40包括以下子步骤：
步骤S41，筛选出深度图像的手部区域的自适应数量的深度最小的点；
步骤S42，选中的点根据深度值倒数加权，投影到x轴和y轴，并进行归一化处理；
步骤S43，分别计算x和y方向的投影中心，并将计算得出的结果作为指尖坐标；
步骤S44，计算选中点的数量和像素点分布的方差，并将计算结果作为可信度。
参见图5，上述步骤S50包括以下子步骤：
步骤S51，获取步骤S30和步骤S40中的指尖坐标及其可信度，并分别计算步骤S30和步骤40得到的指尖坐标的权重因子；
步骤S52，根据权重因子计算步骤S30和步骤S40中的指尖坐标的加权和，并将结算结果作为最终的指尖坐标。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于深度图像的具有旋转不变性的指尖识别方法，其特征在于，包括以下步骤：
步骤S10，获取需要进行指尖识别的深度图像，并对所述深度图像进行读取；
步骤S20，对所述深度图像进行预处理，得到仅包含手部区域的深度图像；
步骤S30，根据步骤20得到的深度图像的手部区域的轮廓信息计算指尖坐标及其可信度；
步骤S40，根据步骤20得到的深度图像的深度信息计算指尖坐标及其可信度；
步骤S50，结合步骤S30和步骤S40得到的指尖坐标及其可信度，得到最终的指尖坐标。
2.如权利要求1所述的基于深度图像的具有旋转不变性的指尖识别方法，其特征在于，所述步骤S20包括以下子步骤：
步骤S21，对步骤S10中读取的深度图像进行中值滤波去除噪声处理；
步骤S22，根据自适应深度阈值对经过中值滤波去除噪声处理的深度图像进行切割，得到深度图像的手部区域，同时将切割得到的仅含手部区域的深度图像映射成二值图像，白色前景表示手部区域，黑色表示为背景；
步骤S23，将深度图像的手部区域的细小空洞去除；
步骤S24，在深度图像的手部区域内寻找掌心坐标，并计算手掌半径。
3.如权利要求2所述的基于深度图像的具有旋转不变性的指尖识别方法，其特征在于，在所述步骤S23中，利用图形学滤波方法将深度图像的手部区域的细小空洞去除。
4.如权利要求2所述的基于深度图像的具有旋转不变性的指尖识别方法，其特征在于，在所述步骤S24中，采用Meanshift算法在仅含手部区域的深度图像内寻找掌心坐标。
5.如权利要求2所述的基于深度图像的具有旋转不变性的指尖识别方法，其特征在于，所述步骤S30中包括以下子步骤：
步骤S31，基于步骤S24确定的掌心坐标和手掌半径的基础上提取深度图像的手部区域的轮廓；
步骤S32，计算深度图像的手部区域的轮廓上所有点的曲率，并筛选出大于设定阈值的指尖候选点；
步骤S33，计算所有指尖候选点与掌心点的距离，并选择距离最大的指尖候选点作为最终指尖点，该最终指尖点的曲率和与掌心点的距离作为可信度。
6.如权利要求5所述的基于深度图像的具有旋转不变性的指尖识别方法，其特征在于，在所述步骤S31中，基于步骤S24确定的掌心坐标和手掌半径的基础上，利用Meanshift算法在提取深度图像的手部区域的轮廓。
7.如权利要求6所述的基于深度图像的具有旋转不变性的指尖识别方法，其特征在于，所述步骤S40包括以下子步骤：
步骤S41，筛选出深度图像的手部区域的自适应数量的深度最小的点；
步骤S42，选中的点根据深度值倒数加权，投影到x轴和y轴，并进行归一化处理；
步骤S43，分别计算x和y方向的投影中心，并将计算得出的结果作为指尖坐标；
步骤S44，计算选中点的数量和像素点分布的方差，并将计算结果作为可信度。
8.如权利要求7所述的基于深度图像的具有旋转不变性的指尖识别方法，其特征在于，所述步骤S50包括以下子步骤：
步骤S51，获取步骤S30和步骤S40中的指尖坐标及其可信度，并分别计算步骤S30和步骤40得到的指尖坐标的权重因子；
步骤S52，根据权重因子计算步骤S30和步骤S40中的指尖坐标的加权和，并将结算结果作为最终的指尖坐标。
CN201810085974.2A 2018-01-29 2018-01-29 一种基于深度图像的具有旋转不变性的指尖识别方法 Pending CN108509837A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810085974.2A CN108509837A (zh) 2018-01-29 2018-01-29 一种基于深度图像的具有旋转不变性的指尖识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810085974.2A CN108509837A (zh) 2018-01-29 2018-01-29 一种基于深度图像的具有旋转不变性的指尖识别方法

Publications (1)

Publication Number Publication Date
CN108509837A true CN108509837A (zh) 2018-09-07

Family

ID=63374582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810085974.2A Pending CN108509837A (zh) 2018-01-29 2018-01-29 一种基于深度图像的具有旋转不变性的指尖识别方法

Country Status (1)

Country Link
CN (1) CN108509837A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402680A (zh) * 2010-09-13 2012-04-04 株式会社理光 人机交互系统中手部、指示点定位方法和手势确定方法
CN103389799A (zh) * 2013-07-24 2013-11-13 清华大学深圳研究生院 一种对手指尖运动轨迹进行跟踪的方法
US20150244911A1 (en) * 2014-02-24 2015-08-27 Tsinghua University System and method for human computer interaction
CN105739702A (zh) * 2016-01-29 2016-07-06 电子科技大学 用于自然人机交互的多姿态指尖跟踪方法
CN107341811A (zh) * 2017-06-20 2017-11-10 上海数迹智能科技有限公司 基于深度图像的利用MeanShift算法进行手部区域分割的方法
CN107515714A (zh) * 2017-07-27 2017-12-26 歌尔股份有限公司 一种手指触控识别方法、装置和触控投影设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402680A (zh) * 2010-09-13 2012-04-04 株式会社理光 人机交互系统中手部、指示点定位方法和手势确定方法
CN103389799A (zh) * 2013-07-24 2013-11-13 清华大学深圳研究生院 一种对手指尖运动轨迹进行跟踪的方法
US20150244911A1 (en) * 2014-02-24 2015-08-27 Tsinghua University System and method for human computer interaction
CN105739702A (zh) * 2016-01-29 2016-07-06 电子科技大学 用于自然人机交互的多姿态指尖跟踪方法
CN107341811A (zh) * 2017-06-20 2017-11-10 上海数迹智能科技有限公司 基于深度图像的利用MeanShift算法进行手部区域分割的方法
CN107515714A (zh) * 2017-07-27 2017-12-26 歌尔股份有限公司 一种手指触控识别方法、装置和触控投影设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
齐苏敏等: "基于自适应活动轮廓模型的实时手势跟踪", 《计算机科学》 *

Similar Documents

Publication Publication Date Title
CN107038424B (zh) 一种手势识别方法
JP6079832B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
Zhou et al. A novel finger and hand pose estimation technique for real-time hand gesture recognition
RU2711029C2 (ru) Классификация касаний
CN110610453B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN110619628B (zh) 一种人脸图像质量评估方法
Wu et al. An adaptive self-organizing color segmentation algorithm with application to robust real-time human hand localization
Konwar et al. An American sign language detection system using HSV color model and edge detection
CN110688965B (zh) 基于双目视觉的ipt模拟训练手势识别方法
CN108564120B (zh) 基于深度神经网络的特征点提取方法
CN107341811B (zh) 基于深度图像的利用MeanShift算法进行手部区域分割的方法
CN108009529B (zh) 一种基于特征根和流体力学的森林火灾烟视频目标检测方法
Bourennane et al. Comparison of shape descriptors for hand posture recognition in video
CN107679512A (zh) 一种基于手势关键点的动态手势识别方法
CN112101108A (zh) 一种基于图形极点位置特征的左右转交通标志识别方法
CN108520264A (zh) 一种基于深度图像的手部轮廓特征优化方法
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition
Wang et al. Hand posture recognition from disparity cost map
CN109325387B (zh) 图像处理方法、装置、电子设备
Zhang et al. Mean-shift algorithm integrating with SURF for tracking
CN113379789A (zh) 一种复杂环境下运动目标跟踪方法
KR102052449B1 (ko) 가상 마우스 시스템 및 그 제어 방법
Brancati et al. Robust fingertip detection in egocentric vision under varying illumination conditions
Junxia et al. Hand detection based on depth information and color information of the Kinect
KR101614798B1 (ko) 컬러 이미지 분석을 이용한 비접촉 멀티 터치 인식 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180907