CN105138990A - 一种基于单目摄像头的手势凸包检测与掌心定位方法 - Google Patents

一种基于单目摄像头的手势凸包检测与掌心定位方法 Download PDF

Info

Publication number
CN105138990A
CN105138990A CN201510534519.2A CN201510534519A CN105138990A CN 105138990 A CN105138990 A CN 105138990A CN 201510534519 A CN201510534519 A CN 201510534519A CN 105138990 A CN105138990 A CN 105138990A
Authority
CN
China
Prior art keywords
gesture
point
circle
straight line
palm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510534519.2A
Other languages
English (en)
Inventor
韩涛
詹习生
张先鹤
吴杰
姜晓伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Normal University
Original Assignee
Hubei Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Normal University filed Critical Hubei Normal University
Priority to CN201510534519.2A priority Critical patent/CN105138990A/zh
Publication of CN105138990A publication Critical patent/CN105138990A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于单目摄像头的手势凸包检测与掌心定位方法,包括以下步骤:单目摄像头采集手势图像;采集图像的去噪预处理;手势运动、肤色检测与分割;手势轮廓跟踪检测;手势轮廓凸包检测;手势凸包的凸缺陷检测和手势掌心定位。该方法采用凸包算法和最小包围圆算法来实现手势凸包检测与掌心定位,解决了手势多变性、多样性和易受光照因素干扰的问题,能提高手势掌心定位的准确性、稳定性和实用性,在基于视觉的手势识别技术中具有较高的研究意义和广阔的应用前景。

Description

一种基于单目摄像头的手势凸包检测与掌心定位方法
技术领域
本发明涉及计算机视觉与图像处理领域,具体涉及一种基于单目摄像头的手势凸包检测与掌心定位方法。
背景技术
随着计算机技术的飞速发展,以触摸、语音、手势、体感等为主的新型交互方式已经成为近些年来研究的必然趋势之一,使得以人为中心的人机交互技术具有广泛的应用前景。众所周知,手势是一种能够直观、形象表达计算机指令的方式。由于手势的复杂性、多样性和不确定性的特点,使得手势识别成为了人机交互领域的一个富有挑战性的研究课题。目前,关于手势检测与识别相关技术的研究成为了数字图像处理、人工智能、计算机视觉、模式识别等相关领域的一个重要研究方向,对构建智能的人机交互方式发挥着重要的作用。但考虑到手势的多变性、多样性、多义性和时空差异性等特性,加之光照、温度等外界因素的干扰,基于视觉的手势识别在技术上还存在很多困难问题,主要包括:识别率、鲁棒性、实时性、稳定性、实用性等。同时,在真实环境中进行手势识别系统的调试实验,常常会遇到背景环境复杂且不确定、环境光照条件不确定、图像空间信息的变化、不精确手势的变化等问题。
目前,手势凸包检测与掌心定位技术在国内还没有进行较为深入细致的研究,因此,有关基于单目摄像头的手势凸包检测与掌心定位方法也较为欠缺。
发明内容
本发明所要解决的技术问题在于针对国内现有相关技术中的缺陷,提供一种基于单目摄像头的手势凸包检测与掌心定位方法,能够准确地实现手势掌心位置的定位,达到提高手势识别系统的稳定性、实用性和准确性的目的,为掌心实时定位跟踪与手势识别提供了一种有效的研究方法。
为解决上述技术问题,本发明采用以下技术方案:
一种基于单目摄像头的手势凸包检测与掌心定位方法,其特征在于包括如下步骤:
步骤S1:通过单目摄像头采集手势图像数据或通过导入视频文件获得手势图像数据;
步骤S2:通过图像去噪、数学形态学等方法对所述图像数据进行处理;
步骤S3:手势运动、肤色检测与分割:通过两帧帧间差法进行运动检测与分割,并实现基于HSV彩色空间模型的肤色检测与分割;
步骤S4:手势轮廓跟踪检测:先通过数学形态学处理分割出来的手势图像,获得边缘轮廓信息完整的手势图像,然后采用SquareTracing算法进行手势图像轮廓跟踪检测;
步骤S5:手势轮廓凸包检测:通过卷包裹法对手势轮廓图像进行凸包检测;
步骤S6:手势掌心定位步骤:先对手势轮廓凸包进行凸缺陷检测,得出其凸缺陷深度点作为三角形增量法的点集,然后实现基于三角形增量法的手势掌心定位。
上述技术方案中,步骤S4使用SquareTracing算法进行手势图像轮廓跟踪检测时的具体执行步骤如下:
步骤S41:寻找一个轮廓跟踪起始点,对于二值图像的像素网格图,白色像素点表示背景像素点,黑色像素点表示待提取轮廓边界的物体,为确定轮廓跟踪检测的起始点,从像素网格图的左下角或最左边的列逐行或从图像最左端到最右端的向上进行像素的扫描,直到遇到第一个黑色像素点,把它定为轮廓跟踪检测的起始点;
步骤S42:假设一只瓢虫站在黑色像素的所述起始点上,要有效地进行轮廓跟踪检测,必须遵守两个原则:一是当它发现自己所处的像素点为黑色像素,则向左转继续检测,同时标记该像素的位置;二是当它发现自己所处的像素点为白色像素,则向右转继续检测;
步骤S43:按步骤S42的轮廓跟踪检测原则对二值图像进行扫描,直到瓢虫回到起始点,检测出来的黑色像素点就是目标物体的轮廓边界,从而完成图像轮廓检测操作。
上述技术方案中,步骤S5卷包裹法的具体执行步骤如下:
步骤S51:选择点集中最下面的点,如果有多个,则选择最下面的点中最左边的一个,所选择的点就是凸包的第一个点;
步骤S52:以水平向右的方向作为初始射线方向,逆时针旋转,选择第一条在初始射线之上的射线作为当前射线,当前射线经过凸包的第二个点;
步骤S53:以当前射线为基准,继续逆时针旋转找到最靠近该射线的一条射线,从而找到凸包的另一个点。把这条射线作为当前射线,这个过程一直继续,直至回到第一个点。
上述技术方案中,步骤S6中使用三角形增量法实现手势掌心定位时的具体执行步骤为:
步骤S61:将对手势轮廓凸包进行凸缺陷检测得到的凸缺陷深度点作为三角形增量法的点集,并在这个点集中任意选择两点Pi和Pj,然后以Pi和Pj为端点,Pi和Pj的中心为圆心,构造一个圆,如果这个圆包括所有的点,那么它就是最小的圆,中点也就是最小圆的圆心;否则选择圆外的一点Pk
步骤S62:如果Pi,Pj,Pk这三个点形成的三角形是直角三角形或者钝角三角形,那么该直角或者钝角所对应的两点为Pi,Pj,然后再次重新构造一个以新PiPj为直径的圆,重复步骤S61;否则,这三个点形成一个锐角三角形,构造一个外接圆,如果这个圆包含所有的点,跳转到步骤S64,否则进入步骤S63;
步骤S63:选择一些不在圆内的点Pi,设点Q为{Pi,Pj,Pk}中离Pl最远的点,连接并延长点Pl和点Q,将平面分成两个半平面,设点R为{Pi,Pj,Pk}中与Pl不在一个半平面中的点,得到Pl,Q,R三点,返回到步骤S61,循环执行;
步骤S64:经过步骤S61、步骤S62和步骤S63得到的最小包围圆可以由两点或者三点确定,为了进一步地确定手势掌心的位置,分为以下两种情况:
1)由两点确定的最小包围圆
假设圆周上的两点A、B位于圆的一条直径的两端,设A、B两点的坐标分别为(x1,y1)、(x2,y2),由平面几何的知识得,所求的最小包围圆的方程为:
( x - x 1 + x 2 2 ) 2 + ( y - y 1 + y 2 2 ) 2 = ( x 1 - x 2 ) 2 + ( y 1 - y 2 ) 2
最小包围圆的圆心O坐标为也即手势掌心的位置坐标;
2)由三点确定的最小包围圆
假设圆周通过A、B、C三点,设A、B、C三点的坐标分别为(x1,y1)、(x2,y2),(x3,y3),由平面几何的知识可设所求的最小包围圆的方程为:
(x-a)2+(y-b)2=R2
假设直线a经过A、C两点,直线b经过C、D两点,直线c是直线a的中垂线,直线d是直线b的中垂线,直线c是直线d相交于点o,即o为最小包围圆的圆心;则有
直线a的方程为:
ya=ka(x-x1)+y1
直线b的方程为:
yb=kb(x-x2)+y2
其中, k a = y 2 - y 1 x 2 - x 1 , k b = y 3 - y 2 x 3 - x 2 .
根据直线a的方程和直线b的方程可得:
直线c的方程为:
y c = - 1 k a ( x - x 1 + x 2 2 ) + y 1 + y 2 2
直线d的方程为:
y d = - 1 k b ( x - x 2 + x 3 2 ) + y 2 + y 3 2
最后,联立直线c和直线d的方程,可以求得最小包围圆的圆心O坐标,即手势掌心的位置坐标;最终完成基于三角形增量法的手势掌心定位。
由此,本发明提供一种基于单目摄像头的手势凸包检测与掌心定位方法,该方法从手势的多变性以及易受光照因素干扰问题入手,运用凸包算法进行手势轮廓凸包检测和手势凸包的凸缺陷检测,并在此基础上,提供一种基于三角形增量法的手势掌心定位方法,准确地实现手势掌心位置的定位,达到提高手势识别系统的稳定性、实用性和准确性的目的,为掌心实时定位跟踪与手势识别提供了一种有效的研究方法。相对于现有技术,本发明产生的有益效果是:
1)本发明采用单目摄像头获取手势图像的RGB图像数据,提供一种基于SquareTracing算法的手势图像轮廓跟踪检测方法,实现手势轮廓跟踪检测与分割定位,克服传统基于视觉的手势轮廓跟踪检测与分割方法易受光照变化影响的不足。
2)本发明采用卷包裹法检测出手势轮廓凸包,得到手势凸包区域的凸缺陷深度点,并提供一种基于三角形增量法的手势掌心实时定位方法,把凸缺陷深度点作为三角形增量法中的点集,可以准确、有效地确定出手势掌心的位置,为手势识别、人机交互等相关研究奠定了良好的理论基础和技术基础。
3)本发明方法不仅可以丰富手势识别方向的学术研究成果,而且将有效地提高现有手势识别系统的稳定性、实用性和准确性,具有十分显著的学术价值和广阔的应用前景。
附图说明
图1是本发明的基于单目摄像头的手势凸包检测与掌心定位方法流程框图;
图2是本发明实施例的两帧帧间差法原理示意图;
图3是本发明实施例的SquareTracing算法示意图,其中,图(a)表示确定轮廓跟踪检测的起始点;图(b)表示检测出垂直线填充的网格后左转继续检测并用水平填充线标记该像素点的网格;图(c)表示检测出斜线填充的网格后右转继续检测;图(d)表示检测出斜线填充的网格后右转继续检测;图(e)表示检测出垂直线填充的网格后左转继续检测并用水平填充线标记该像素点的网格;图(f)表示检测出垂直线填充的网格后左转继续检测并用水平填充线标记该像素点的网格;
图4是本发明实施例的手势凸缺陷定义示意图;
图5是本发明实施例的手势凸缺陷深度定义示意图;
图6是本发明实施例的由两点确定的最小包围圆示意图;
图7是本发明实施例的由三点确定的最小包围圆示意图;
图8是本发明实施例的由三点确定的最小包围圆的圆心示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下通过具体实施例并结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以接解释本发明,并不用于限定本发明。
根据本发明实施的一种基于单目摄像头的手势凸包检测与掌心定位方法如图1-8所示。具体包括以下步骤:
步骤S1:手势图像的采集,通过单目RGB摄像头(如型号为罗技C270的单目RGB摄像头)采集手势图像数据;
步骤S2:采集图像的预处理,通过图像去噪、数学形态学等方法对采集的手势原始图像数据进行处理
通过摄像头采集手势图像数据后,对获得的图像数据进行图像去噪处理操作,采用3×3的窗口模板对图像进行中值滤波,使得经过中值滤波后的手势图像比较清晰且图像边缘信息保留较好。其中,3×3的窗口模板可表示为:
H = 1 9 1 1 1 1 1 1 1 1 1
步骤S3:手势运动、肤色检测与分割,通过两帧帧间差法进行运动检测与分割,并实现基于HSV彩色空间模型的肤色检测与分割
为实现手势运动检测与分割的目标和满足实时性以及背景可变换性的要求,采用两帧帧间差法对经图像去噪操作后的手势图像数据进行处理,即在相邻手势图像序列的两帧之间作差分运算,然后根据运算结果来提取出运动目标区域。如图2所示,两帧帧间差法的基本原理:先将连续两帧图像对应像素点的灰度值进行相减操作,得到差分图像Di(x,y),即
Di(x,y)=|fi+1(x,y)-fi(x,y)|
其中,fi+1(x,y)和fi(x,y)分别为前后两帧图像,Di(x,y)为帧间差分图像。
然后,设定合适的阈值T,对获得的差分图像进行判断,如果对应像素差分值小于设定的阈值T时,则可认为此处为背景像素,并将这些区域标记为背景像素;如果对应像素差分值大于设定的阈值T时,则可认为是由目标物体运动引起的,并将这些区域标记为前景像素:
G i ( x , y ) = 0 , D i ( x , y ) &GreaterEqual; T 1 , D i ( x , y ) < T
其中,T为设定的阈值,Gi(x,y)为图像二值化结果,Di(x,y)为帧间差分图像。
最后,根据标记的像素区域就可以准确定位运动目标物体在图像中所在的位置。
在完成手势运动检测与分割操作后,采用HSV模型对手势进行肤色检测与分割,即先把手势RGB原图像转换为HSV图,然后分离出HSV空间模型下H通道分量、S通道分量和V通道分量,最后根据H分量的值和S分量的值来进行阈值分割,完成手势的肤色检测与分割。采用几何推导法作为RGB颜色空间转换到HSV颜色空间的转换方法,转换公式为:
S = M A X - M I N M A X
V=MAX
其中,MAX表示最大分量,MIN表示最小分量,且R、G、B分量均在计算前进行归一化处理,归一化区间为[0,1]。
为了使得提取出来的手势边缘轮廓信息完整、平滑和清晰,选择0.015~0.09范围内的值作为H通道分量的阈值,选择0.1~0.9范围内的值作为S通道分量的阈值。
步骤S4:手势轮廓跟踪检测,先通过数学形态学处理分割出来的手势图像,获得边缘轮廓信息完整的手势图像,然后采用SquareTracing算法进行手势图像轮廓跟踪检测。
针对基于HSV彩色空间模型的肤色检测与分割出现的手势肤色区域存在少量细小空洞及边缘区域存在少量断点的问题,采用数学形态学方法来处理经肤色检测分割后的手势图像,消除无关区域的干扰,使得手势运动区域变得清晰、明显,以达到获得边缘轮廓信息完整的手势图像的目的。
经过图像去噪、运动检测与分割、肤色检测与分割和数学形态学处理后,可以得到手势的二值图像,其中,白色像素点代表手势肤色区域,黑色像素点代表背景区域,接下来需要进行轮廓跟踪检测处理。轮廓跟踪检测是一种通过查找边缘点来跟踪图像轮廓边界的方法,也是一种提取数字图像形状信息的图像预处理技术。为了有效地提取出手势图像的边缘轮廓信息,实现手势轮廓跟踪检测与分割定位,采用SquareTracing算法对数学形态学处理后的手势图像进行二值图像轮廓跟踪检测处理操作,然后标记出每一个轮廓像素点的坐标位置,最后根据所标记的轮廓像素坐标,跟踪检测出原RGB图像中手势的轮廓。
下面给出使用SquareTracing算法进行手势图像轮廓跟踪检测时的具体执行步骤:
步骤S41:寻找一个轮廓跟踪起始点,对于二值图像的像素网格图,白色像素点表示背景像素点,黑色像素点表示待提取轮廓边界的物体,为确定轮廓跟踪检测的起始点,一般从像素网格图的左下角(即最左边的列)逐行(即从图像最左端到最右端)向上进行像素的扫描,直到遇到第一个黑色像素点,把它定为轮廓跟踪检测的起始点;
步骤S42:为形象地描述SquareTracing算法,如图3所示,假设一只瓢虫站在黑色像素的起始点上,要有效地进行轮廓跟踪检测,必须遵守两个原则:一是当它发现自己所处的像素点为黑色像素(图中表示为垂直线填充的网格),则向左转继续检测,同时标记该像素的位置,该位置称为被标记像素点(图中表示为水平线填充的网格);二是当它发现自己所处的像素点为白色像素(图中表示为斜线填充的网格),则向右转继续检测;步骤S43:按步骤S42的轮廓跟踪检测原则对二值图像进行扫描,直到瓢虫回到起始点,检测出来的被标记像素点(即图中水平线填充的网格)就是目标物体的轮廓边界,算法结束,完成图像轮廓检测操作。
步骤S5:手势轮廓凸包检测,通过卷包裹法对手势轮廓图像进行凸包检测。
运用卷包裹法对经图像轮廓跟踪检测处理的手势图像进行凸包检测操作处理,精确地得到手势轮廓图像的凸包。卷包裹法的基本原理为:先找一个最边缘的点(一般是最下方的,如有多个点选择最左方的点),假设有一条绳子,以该点为端点向右边逆时针旋转直到碰到另一点为止,此时找出凸包的一条边;然后再用新找到的点作为端点,继续旋转绳子,找到下一个端点;重复这一步骤直至围成一个凸多边形,即可得到这个点集的凸包。
下面给出卷包裹法的具体执行步骤:
步骤S51:选择点集中最下面的点,如果有多个,则选择最下面的点中最左边的一个,所选择的点就是凸包的第一个点;
步骤S52:以水平向右的方向作为初始射线方向,逆时针旋转,选择第一条在初始射线之上的射线作为当前射线,当前射线经过凸包的第二个点;
步骤S53:以当前射线为基准,继续逆时针旋转找到最靠近该射线的一条射线,从而找到凸包的另一个点。把这条射线作为当前射线,这个过程一直继续,直至回到第一个点。
步骤S6:手势掌心定位,先对手势轮廓凸包进行凸缺陷检测,得出其凸缺陷深度点作为三角形增量法的点集,然后实现基于三角形增量法的手势掌心定位。
为达到更准确地提供手以及手状态特征表现的目标,需要在手势轮廓凸包检测的基础上再进行凸缺陷检测。图4所示为手势凸缺陷的定义示意图,图中手势凸缺陷是指手势轮廓凸包与手势边缘轮廓之间的区域,其中黑色虚线代表手势轮廓凸包,字母A~F表示的区域是手的轮廓相对于凸包的凸缺陷。手势凸缺陷深度的定义如图5所示,其中P1为凸缺陷检测的起始点,P2为凸缺陷检测的结束点,P3为B凸包区域的凸缺陷深度点(即手势边缘轮廓线上距离凸包轮廓线最远的点),线段a~f分别代表A~F凸包区域的凸缺陷深度,可以看出线段d最长,所以P4为手势凸包的最大凸缺陷深度点。
下面给出使用三角形增量法实现手势掌心定位时的具体执行步骤:
步骤S61:将对手势轮廓凸包进行凸缺陷检测得到的凸缺陷深度点作为三角形增量法的点集,并在这个点集中任意选择两点Pi和Pj,然后以Pi和Pj为端点,Pi和Pj的中心为圆心,构造一个圆。如果这个圆包括所有的点,那么它就是最小的圆,中点也就是最小圆的圆心;否则选择圆外的一点Pk
步骤S62:如果Pi,Pj,Pk这三个点形成的三角形是直角三角形或者钝角三角形,那么该直角或者钝角所对应的两点为Pi,Pj。然后再次重新构造一个以新PiPj为直径的圆,重复步骤S61;否则,这三个点形成一个锐角三角形,构造一个外接圆,如果这个圆包含所有的点,跳转到步骤S64,否则进入步骤S63;
步骤S63:选择一些不在圆内的点Pi,设点Q为{Pi,Pj,Pk}中离Pl最远的点,连接并延长点Pl和点Q,将平面分成两个半平面,设点R为{Pi,Pj,Pk}中与Pl不在一个半平面中的点,得到Pl,Q,R三点,返回到步骤S61,循环执行;
步骤S64:经过步骤S61、步骤S62和步骤S63得到的最小包围圆可以由两点或者三点确定,为了进一步地确定手势掌心的位置,分为以下两种情况讨论:
1)由两点确定的最小包围圆
如图6所示圆周上的两点位于圆的一条直径的两端,设A、B两点的坐标分别为(x1,y1)、(x2,y2),由平面几何的知识得,所求的最小包围圆的方程为:
( x - x 1 + x 2 2 ) 2 + ( y - y 1 + y 2 2 ) 2 = ( x 1 - x 2 ) 2 + ( y 1 - y 2 ) 2
最小包围圆的圆心O坐标为也即手势掌心的位置坐标。
2)由三点确定的最小包围圆
如图7所示的圆周通过A、B、C三点,设A、B、C三点的坐标分别为(x1,y1)、(x2,y2),(x3,y3),由平面几何的知识可设所求的最小包围圆的方程为:
(x-a)2+(y-b)2=R2
如图8所示,直线a经过A、C两点,直线b经过C、D两点,直线c是直线a的中垂线,直线d是直线b的中垂线,直线c是直线d相交于点o,即o为最小包围圆的圆心。则有
直线a的方程为:
ya=ka(x-x1)+y1
直线b的方程为:
yb=kb(x-x2)+y2
其中, k a = y 2 - y 1 x 2 - x 1 , k b = y 3 - y 2 x 3 - x 2 .
根据直线a的方程和直线b的方程可得:
直线c的方程为:
y c = - 1 k a ( x - x 1 + x 2 2 ) + y 1 + y 2 2
直线d的方程为:
y d = - 1 k b ( x - x 2 + x 3 2 ) + y 2 + y 3 2
最后,联立直线c和直线d的方程,可以求得最小包围圆的圆心O坐标,即手势掌心的位置坐标。最终完成基于三角形增量法的手势掌心定位。
本发明的优点在于运用凸包算法和最小包围圆算法来实现手势凸包检测与掌心定位,解决了手势多变性、多样性和易受光照因素干扰的问题,提高了手势掌心定位的准确性、稳定性和鲁棒性,具有一定的实用性,在基于视觉的手势识别技术中具有较高的研究意义和广阔的应用前景。

Claims (4)

1.一种基于单目摄像头的手势凸包检测与掌心定位方法,其特征在于包括如下步骤:
步骤S1:通过单目摄像头采集手势图像数据或通过导入视频文件获得手势图像数据;
步骤S2:通过图像去噪、数学形态学等方法对所述图像数据进行处理;
步骤S3:手势运动、肤色检测与分割:通过两帧帧间差法进行运动检测与分割,并实现基于HSV彩色空间模型的肤色检测与分割;
步骤S4:手势轮廓跟踪检测:先通过数学形态学处理分割出来的手势图像,获得边缘轮廓信息完整的手势图像,然后采用SquareTracing算法进行手势图像轮廓跟踪检测;
步骤S5:手势轮廓凸包检测:通过卷包裹法对手势轮廓图像进行凸包检测;
步骤S6:手势掌心定位步骤:先对手势轮廓凸包进行凸缺陷检测,得出其凸缺陷深度点作为三角形增量法的点集,然后实现基于三角形增量法的手势掌心定位。
2.根据权利要求1所述的基于单目摄像头的手势凸包检测与掌心定位方法,其特征在于:步骤S4使用SquareTracing算法进行手势图像轮廓跟踪检测时的具体执行步骤如下:
步骤S41:寻找一个轮廓跟踪起始点,对于二值图像的像素网格图,白色像素点表示背景像素点,黑色像素点表示待提取轮廓边界的物体,为确定轮廓跟踪检测的起始点,从像素网格图的左下角或最左边的列逐行或从图像最左端到最右端的向上进行像素的扫描,直到遇到第一个黑色像素点,把它定为轮廓跟踪检测的起始点;
步骤S42:假设一只瓢虫站在黑色像素的所述起始点上,要有效地进行轮廓跟踪检测,必须遵守两个原则:一是当它发现自己所处的像素点为黑色像素,则向左转继续检测,同时标记该像素的位置;二是当它发现自己所处的像素点为白色像素,则向右转继续检测;
步骤S43:按步骤S42的轮廓跟踪检测原则对二值图像进行扫描,直到瓢虫回到起始点,检测出来的黑色像素点就是目标物体的轮廓边界,从而完成图像轮廓检测操作。
3.根据权利要求1所述的基于单目摄像头的手势凸包检测与掌心定位方法,其特征在于:步骤S5卷包裹法的具体执行步骤如下:
步骤S51:选择点集中最下面的点,如果有多个,则选择最下面的点中最左边的一个,所选择的点就是凸包的第一个点;
步骤S52:以水平向右的方向作为初始射线方向,逆时针旋转,选择第一条在初始射线之上的射线作为当前射线,当前射线经过凸包的第二个点;
步骤S53:以当前射线为基准,继续逆时针旋转找到最靠近该射线的一条射线,从而找到凸包的另一个点。把这条射线作为当前射线,这个过程一直继续,直至回到第一个点。
4.根据权利要求1所述的基于单目摄像头的手势凸包检测与掌心定位方法,其特征在于:步骤S6中使用三角形增量法实现手势掌心定位时的具体执行步骤为:
步骤S61:将对手势轮廓凸包进行凸缺陷检测得到的凸缺陷深度点作为三角形增量法的点集,并在这个点集中任意选择两点Pi和Pj,然后以Pi和Pj为端点,Pi和Pj的中心为圆心,构造一个圆,如果这个圆包括所有的点,那么它就是最小的圆,中点也就是最小圆的圆心;否则选择圆外的一点Pk
步骤S62:如果Pi,Pj,Pk这三个点形成的三角形是直角三角形或者钝角三角形,那么该直角或者钝角所对应的两点为Pi,Pj,然后再次重新构造一个以新PiPj为直径的圆,重复步骤S61;否则,这三个点形成一个锐角三角形,构造一个外接圆,如果这个圆包含所有的点,跳转到步骤S64,否则进入步骤S63;
步骤S63:选择一些不在圆内的点Pi,设点Q为{Pi,Pj,Pk}中离Pl最远的点,连接并延长点Pl和点Q,将平面分成两个半平面,设点R为{Pi,Pj,Pk}中与Pl不在一个半平面中的点,得到Pl,Q,R三点,返回到步骤S61,循环执行;
步骤S64:经过步骤S61、步骤S62和步骤S63得到的最小包围圆可以由两点或者三点确定:
1)由两点确定的最小包围圆
假设圆周上的两点A、B位于圆的一条直径的两端,设A、B两点的坐标分别为(x1,y1)、(x2,y2),由平面几何的知识得,所求的最小包围圆的方程为:
( x - x 1 + x 2 2 ) 2 + ( y - y 1 + y 2 2 ) 2 = ( x 1 - x 2 ) 2 + ( y 1 - y 2 ) 2
最小包围圆的圆心O坐标为也即手势掌心的位置坐标;
2)由三点确定的最小包围圆
假设圆周通过A、B、C三点,设A、B、C三点的坐标分别为(x1,y1)、(x2,y2),(x3,y3),由平面几何的知识可设所求的最小包围圆的方程为:
(x-a)2+(y-b)2=R2
假设直线a经过A、C两点,直线b经过C、D两点,直线c是直线a的中垂线,直线d是直线b的中垂线,直线c是直线d相交于点o,即o为最小包围圆的圆心;则有
直线a的方程为:
ya=ka(x-x1)+y1
直线b的方程为:
yb=kb(x-x2)+y2
其中, k a = y 2 - y 1 x 2 - x 1 , k b = y 3 - y 2 x 3 - x 2 .
根据直线a的方程和直线b的方程可得:
直线c的方程为:
y c = - 1 k a ( x - x 1 + x 2 2 ) + y 1 + y 2 2
直线d的方程为:
y d = - 1 k b ( x - x 2 + x 3 2 ) + y 2 + y 3 2
最后,联立直线c和直线d的方程,可以求得最小包围圆的圆心O坐标,即手势掌心的位置坐标;最终完成基于三角形增量法的手势掌心定位。
CN201510534519.2A 2015-08-27 2015-08-27 一种基于单目摄像头的手势凸包检测与掌心定位方法 Pending CN105138990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510534519.2A CN105138990A (zh) 2015-08-27 2015-08-27 一种基于单目摄像头的手势凸包检测与掌心定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510534519.2A CN105138990A (zh) 2015-08-27 2015-08-27 一种基于单目摄像头的手势凸包检测与掌心定位方法

Publications (1)

Publication Number Publication Date
CN105138990A true CN105138990A (zh) 2015-12-09

Family

ID=54724334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510534519.2A Pending CN105138990A (zh) 2015-08-27 2015-08-27 一种基于单目摄像头的手势凸包检测与掌心定位方法

Country Status (1)

Country Link
CN (1) CN105138990A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825193A (zh) * 2016-03-25 2016-08-03 乐视控股(北京)有限公司 手掌的掌心位置定位、手势识别方法、装置及智能终端
CN106373085A (zh) * 2016-09-20 2017-02-01 福州大学 一种基于增强现实的智能终端3d手表试戴方法及系统
CN106875369A (zh) * 2017-03-28 2017-06-20 深圳市石代科技有限公司 实时动态目标跟踪方法及装置
WO2018157286A1 (zh) * 2017-02-28 2018-09-07 深圳市大疆创新科技有限公司 一种识别方法、设备以及可移动平台
CN108983980A (zh) * 2018-07-27 2018-12-11 河南科技大学 一种移动机器人基本运动手势控制方法
CN109271931A (zh) * 2018-09-14 2019-01-25 辽宁奇辉电子系统工程有限公司 一种基于轮廓分析的剑指手势实时识别系统
CN109376730A (zh) * 2018-12-29 2019-02-22 龙岩学院 一种手势识别方法和装置
CN110291537A (zh) * 2017-02-02 2019-09-27 医科达公司 用于检测脑转移的系统和方法
CN111161343A (zh) * 2019-12-30 2020-05-15 芜湖哈特机器人产业技术研究院有限公司 一种水泵口环视觉识别方法
CN112317362A (zh) * 2020-09-24 2021-02-05 赣州好朋友科技有限公司 石英伴生金矿的分选方法、装置和可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150199559A1 (en) * 2014-01-10 2015-07-16 The Eye Tribe Aps Systems and methods of light modulation in eye tracking devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150199559A1 (en) * 2014-01-10 2015-07-16 The Eye Tribe Aps Systems and methods of light modulation in eye tracking devices

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩涛: "基于单目视觉的掌心实时定位跟踪与手势识别研究", 《万方学位论文数据库》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017161778A1 (zh) * 2016-03-25 2017-09-28 乐视控股(北京)有限公司 手掌的掌心位置定位、手势识别方法、装置及智能终端
CN105825193A (zh) * 2016-03-25 2016-08-03 乐视控股(北京)有限公司 手掌的掌心位置定位、手势识别方法、装置及智能终端
CN106373085A (zh) * 2016-09-20 2017-02-01 福州大学 一种基于增强现实的智能终端3d手表试戴方法及系统
CN110291537A (zh) * 2017-02-02 2019-09-27 医科达公司 用于检测脑转移的系统和方法
US11250248B2 (en) 2017-02-28 2022-02-15 SZ DJI Technology Co., Ltd. Recognition method and apparatus and mobile platform
WO2018157286A1 (zh) * 2017-02-28 2018-09-07 深圳市大疆创新科技有限公司 一种识别方法、设备以及可移动平台
CN106875369B (zh) * 2017-03-28 2020-01-03 深圳市石代科技有限公司 实时动态目标跟踪方法及装置
CN106875369A (zh) * 2017-03-28 2017-06-20 深圳市石代科技有限公司 实时动态目标跟踪方法及装置
CN108983980A (zh) * 2018-07-27 2018-12-11 河南科技大学 一种移动机器人基本运动手势控制方法
CN109271931A (zh) * 2018-09-14 2019-01-25 辽宁奇辉电子系统工程有限公司 一种基于轮廓分析的剑指手势实时识别系统
CN109376730A (zh) * 2018-12-29 2019-02-22 龙岩学院 一种手势识别方法和装置
CN109376730B (zh) * 2018-12-29 2021-07-16 龙岩学院 一种手势识别方法和装置
CN111161343A (zh) * 2019-12-30 2020-05-15 芜湖哈特机器人产业技术研究院有限公司 一种水泵口环视觉识别方法
CN111161343B (zh) * 2019-12-30 2023-01-31 芜湖哈特机器人产业技术研究院有限公司 一种水泵口环视觉识别方法
CN112317362A (zh) * 2020-09-24 2021-02-05 赣州好朋友科技有限公司 石英伴生金矿的分选方法、装置和可读存储介质

Similar Documents

Publication Publication Date Title
CN105138990A (zh) 一种基于单目摄像头的手势凸包检测与掌心定位方法
CN105931295B (zh) 一种地质图专题信息提取方法
CN101593022B (zh) 一种基于指端跟踪的快速人机交互方法
CN102214291B (zh) 一种快速准确的基于视频序列的人脸检测跟踪方法
CN104091155B (zh) 光照鲁棒的虹膜快速定位方法
CN103218605B (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
CN104978012B (zh) 一种指向交互方法、装置及系统
CN104463914B (zh) 一种改进的Camshift目标跟踪方法
CN104850850A (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN103353935A (zh) 一种用于智能家居系统的3d动态手势识别方法
CN103984928A (zh) 基于景深图像的手指手势识别方法
CN106934351B (zh) 手势识别方法、装置及电子设备
CN102938060A (zh) 动态手势识别系统及方法
CN103295016A (zh) 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN103105924B (zh) 人机交互方法和装置
Ückermann et al. Realtime 3D segmentation for human-robot interaction
CN104102904B (zh) 一种静态手势识别方法
CN105550631A (zh) 一种虹膜图像采集方法及装置
CN103530892A (zh) 一种基于Kinect传感器的双手跟踪方法与装置
CN103440035A (zh) 一种三维空间中的手势识别系统及其识别方法
CN103106409A (zh) 一种针对头肩检测的混合特征提取方法
CN103984942A (zh) 一种物象识别的方法及移动终端
CN104463080A (zh) 人眼状态的检测方法
CN109712171A (zh) 一种基于相关滤波器的目标跟踪系统及目标跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151209