CN102402680A - 人机交互系统中手部、指示点定位方法和手势确定方法 - Google Patents

人机交互系统中手部、指示点定位方法和手势确定方法 Download PDF

Info

Publication number
CN102402680A
CN102402680A CN2010102795113A CN201010279511A CN102402680A CN 102402680 A CN102402680 A CN 102402680A CN 2010102795113 A CN2010102795113 A CN 2010102795113A CN 201010279511 A CN201010279511 A CN 201010279511A CN 102402680 A CN102402680 A CN 102402680A
Authority
CN
China
Prior art keywords
point
hand
man
interactive system
machine interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102795113A
Other languages
English (en)
Other versions
CN102402680B (zh
Inventor
熊怀欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201010279511.3A priority Critical patent/CN102402680B/zh
Priority to US13/215,385 priority patent/US8970696B2/en
Priority to JP2011198544A priority patent/JP5887775B2/ja
Publication of CN102402680A publication Critical patent/CN102402680A/zh
Application granted granted Critical
Publication of CN102402680B publication Critical patent/CN102402680B/zh
Priority to JP2015147129A priority patent/JP6079832B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本发明提供了一种用于人机交互系统中手部定位方法以及使用该方法的人机交互系统。所述方法包括：连续采集被监控区域的当前图像，得到包含前景物体的视频图像序列；从所拍摄的视频图象中分割出前景图象，并对所分割出的前景图象执行二值化处理；获取二值化前景图象的最小凸包的像素顶点集，并以前景图象最小凸包的各个像素顶点为中心点构建感兴趣区域作为包含手部的候选区域；以及从各个所构建的感兴趣区域中提取手部成像特征，应用模式识别方式从候选区域中确定包含手部的感兴趣区域。

Description

人机交互系统中手部、指示点定位方法和手势确定方法
技术领域
本发明涉及一种在人机交互系统中对操作者手部和手部指示点进行定位的方法以及操作者手势确定方法。
背景技术
随着计算机技术、图像处理技术的飞速发展，视频被越来越多的应用到社会的各个领域。对视频的分析处理，已成为当前图像处理领域的研究热点，其关键的处理技术就是对视频序列中的运动物体或目标进行检测，其结果通常用于目标跟踪、分类等更高层次的分析与处理。在各种研讨会中，采用投影仪作为辅助工具对于演讲的进行非常有帮助。但是在演讲的过程中，演讲人通常会对投影区域内的内容进行指点，以便听众能够将所听到的内容与所显示内容结合起来，或对演讲的幻灯片进行翻页划线标注等交互操作。通常上述操作的实现往往需要操作者通过操作计算机的鼠标来实现，从而让操作者不断的来回于投影区和计算机之间。很显然，这种方式对操作者而言非常不便。因此，人们希望提供一种人机交互系统，该系统能够方便人们采用自己的手或手中握有的物件直接与投影区域内的内容进行互动，或者更简单地说，是使用手指替代部分鼠标的功能。
美国专利US6594616B2披露了一种基于视觉的手势交互系统，该系统把手指当做一种直观的输入设备，通过手指在一种四边形的面板(panel)上动作而去和远程的虚拟显示设备交互。此处的面板好似一座架设在显示设备和计算机之间的桥梁。通过对面板4个角点及4条边的检测，进而能比较容易的从面板区域中实现对手的检测。但该发明只适合通过操作面板去控制远程的虚拟显示设备，而不能使用手指和虚拟显示设备直接完成交互。同时在这种非直接的方式下，指尖位置一个小小的检测误差将被放大到远程的显示设备上去，从而导致映射过来的鼠标位置发生颤抖。
在另一篇美国专利US20030178493中，披露了一种能写能画和定位的设备系统，在该系统中，操作者站立在虚拟显示区并和虚拟显示设备(即投影屏幕)直接交互。但该专利只是检测和跟踪带有标记的物体，比如能发光的笔和具有定点功能的指点手套(pointing glove)，显然这种具有定点功能的手套使用起来并不方便和灵活，并且使用者不易接受。
在文章“Real-time Hand Tracking and Finger Tracking for Interaction”(CSC2503F Project Report By：Shahzad Malik(smalikcs.toronto.edu)和“Multi-Finger Interactions with Paper Augmented Tabletops(作者Son DoLenh)”都采用了背景相减的技术来分割前景，并都在前景图象上使用肤色检测器来去掉非手的物体比如衣领等，从而实现对手的检测。因肤色的分割通常对四周光照的变化比较敏感，在一些特别的环境下是难以获得稳定的检测结果，比如会议室的演讲投影环境，因而该方法在实际应用中有很大的局限性。
另一篇文章“A Virtual 3D Blackboard：3D Finger Tracking using a SingleCamera”(University of Central Florida)首先通过肤色检测获取潜在的可能手臂区域，然后假定最快移动的质心点为当前正在作出动作的手臂，以此来实现手臂区域的最终检测判定。虽然该方法能快速的完成手臂检测，但在某些时候肤色并不可靠，而运动的假设也并不是始终成立的。
在这篇“Bare-Hand Human-Computer Interaction”(Proceedings of theACM Workshop on Perceptive User Interfaces 2001)的文章中给出了一种通过搜索两种局部特征来实现手指尖形状检测方法。其搜索的特征之一是手指尖内部通常都被一圈填充的像素即前景像素所环绕，特征之二在手指头之外的正方形内都被一条由非填充像素组成的长链和一条填充像素组成的短链所环绕。显然要正确的对上述特征进行量化是件困难的事情，而不恰当的参数却会导致许多漏检或误检的存在。
显然，实时处理是人机交互系统一项重要的评估指标。为达到这一目标许多方法或引入易于检测的特征比如四边形面板或带有标记的物体，或在整个或局部视频图象中采用肤色检测，或使用到运动信息来加速手的检测处理过程等。通常这些引入的易于检测的特征对应用而言是不够方便的，而肤色和运动信息在某些使用条件下并不可得，因此找寻一种快速的手及手指检测定位的方法上是很有价值的。同时，对于如何解决手指形状因单目摄象机视角不佳导致特征不明显的检测问题，上述的方法并不能给出有效的解决办法。
发明内容
为了克服以上现有技术的人机交互系统中的上述问题，提出了本发明。
具体而言，本发明提供了一种用于人机交互系统中手部定位方法，包括连续采集被监控区域的当前图像，得到包含前景物体的视频图像序列；从所拍摄的视频图象中分割出前景图象，并对所分割出的前景图象执行二值化处理；获取二值化前景图象的最小凸包的顶点集，并以前景图象最小凸包的各个像素顶点为中心点构建感兴趣区域作为潜在包含手部的候选区域；以及从各个所构建的感兴趣区域中提取手部成像特征，应用模式识别方式从候选区域中确定包含手部的感兴趣区域。
通常，在人机交互系统中，外部光照条件较差或过于复杂使得肤色的呈显变化大从而不可信，而摄像头需放置在距显示区较远处才能在一个大的视野范围内捕获住整个虚拟显示区图象，如此一来手部的区域在捕获到的图象中就变得相对很小且不够清楚，给手指检测带来极大的困难挑战。正是面对上述问题，本发明的提供的手部位置检测方法是从整个输入的图象中依据图象自身特点迅速的找到少量的手部侯选区域，进而运用模式识别的方式从侯选的区域内找到正确的手部区域。本发明所采用的上述技术方案的基本思想是将操作者身体外形所在的凸包属性应用在手的检测上。。一项实验统计数据结果表明，在常规操作习惯下，操作者手部出现在其身体外形凸包顶点的可能性接近于99.6％。因此本发明首先快速的完成操作者身体外形凸包顶点集的计算，并以每个顶点为中心构建手部的感兴趣区域。通常这样感兴趣区域的数量不超过20，故本发明能快速的从数量不多的候选区域里实现对手部的快速检测。
根据本发明的用于人机交互系统中手部定位的方法，所述模式识别方式包括但不局限于如下方式之一：BP神经网络方法、SVM方法、或者决策树方法。
根据本发明的用于人机交互系统中手部定位的方法，所述分割出前景图象的步骤可以采用图象差分技术通过从输入的视频图象中减去不包含操作者的背景图象、或通过从输入的视频图象中减去相邻帧的图象以检测运动区域的方式分割出前景图象。所述分割出前景图象的步骤也可以通过获得被摄位置的深度图来截取一定的深度信息从而分割出前景图象。
根据本发明的用于人机交互系统中手部定位的方法，所述对所分割出的前景图象执行二值化处理的步骤包括：计算前景图象的边缘图；计算前景图象的梯度图并二值化；以一预定的阈值二值化前景图获得二值化结果；将前面三种结果按“或”逻辑运算组合成为一幅新的二值化图象；并填充所获得二值化图象中轮廓封闭的区域。
根据本发明的用于人机交互系统中手部定位的方法，所述最小凸包特征在于，所述前景图象上的任意两点连线位于所述最小凸包构成的凸多边形的边上或者在所述凸多边形的内部。
根据本发明的用于人机交互系统中手部定位的方法，所述感兴趣区域为一矩形框或圆形状的区域，其大小刚好能覆盖住操作者的手部。所述感兴趣区域大小在检测中固定不变。
根据本发明的用于人机交互系统中手部定位的方法，其中所述特征值包括感兴趣区域内基于像素信息的面积、颜色、边缘或基于全局信息的形状、纹理、梯度方向直方图，同时特征值也包括区域外但与感兴趣区域一一关联的有助于区分手部与操作者身体其它部位的特征或其组合，如与感兴趣区域直接相连的手臂区域拟合出的椭圆长宽比的形状特征。
根据本发明的另一个方面，还提供了一种用于人机交互系统中确定手部区域内指示点的方法，包括：
从所拍摄的视频图像中检测包含手部的区域，并基于手部区域内指示点的特性，计算手部区域内指示点的侯选像素点集；获得与所检测到的包含手部的区域紧连的疑似手臂区域，并对疑似手臂区域形状进行椭圆拟合；以及在椭圆拟合结果有效的情况下，将沿着所拟合的椭圆的长轴朝手部方向的最远的一个手部区域内指示点的侯选像素点确定手部区域内的指示点。上述从手部中定位出手指尖的定位方法充分参照了人类从全局到局部的认知习惯，采用手臂椭圆拟合并沿拟合椭圆长轴方向找寻最远点的方式来获取手指尖的位置。该方法能克服手指特征因单镜头视角不理想造成不够清晰或因运动过快造成影象模糊的检测困难，比如当摄像头方向和演讲者身体平行时，手指尖的形状特在最终的成像上被大大削弱。通过结合全局和局部信息，本发明能给出一个合乎人类认知习惯的可信定位结果，避免了单一使用局部特征的不足，减少了漏检率，因而更适合人机交互系统中连续运动手指的检测及定位。
根据本发明的用于人机交互系统中定位手部区域内指示点的方法，所述指示点可以是手部的食指顶点所在位置或任何具有定位特点的手持物件的顶点。
根据本发明的用于人机交互系统中确定手部区域内指示点的方法，其中计算手部区域内指示点的侯选像素点集包括如下之一或其中几种：手部的凸包顶点、手部轮廓线上的高曲率点、或Harris角点，或基于手指形状滤波检测到的位置点。
根据本发明的用于人机交互系统中确定手部区域内指示点的方法，其中所述获得与所检测到的包含手部的区域紧连的疑似手臂区域的步骤包括：在前景图象的重心点与包含手部的区域的感兴趣区域的中心点的连线上取一个点，使得该点到包含手部的区域的感兴趣区域的中心点的距离为通常手臂长度的一半；以及以所述连线上所取点为中心，以所述通常手臂长度的一半为半径画圆，并将所获得的圆内部所在的区域作为疑似手臂区域。
根据本发明的用于人机交互系统中确定手部区域内指示点的方法，在对疑似手臂区域形状进行椭圆拟合步骤之后和确定手部区域内的指示点步骤之前还包括：判断疑似手臂区域的形状椭圆拟合是否有效来判断是否为真正的手臂区域，该步骤包括：计算所拟合的椭圆的长轴与短轴之比，将所拟合的椭圆的长轴与短轴之比与一预定的比值阈值进行比较，若长轴与短轴之比大于所述预定的比值阈值，则所拟合的椭圆为有效，否则，所拟合的椭圆为无效。根据本发明的另一个实施方式，还可以计算包含手部的区域的感兴趣区域的中心点与前景图象重心点之间的连线与所拟合的椭圆的长轴的夹角，若所计算的夹角应小于一预定的角度阈值，则所拟合的椭圆为有效，否则，所拟合的椭圆为无效。
根据本发明的用于人机交互系统中定位手部区域内指示点的方法，所述将沿着所拟合的椭圆的长轴朝手部方向的一个手部区域内指示点的最远的侯选像素点确定手部区域内的指示点的步骤包括：计算各个侯选像素点在拟合椭圆长轴上的垂直投影位置，然后沿拟合椭圆长轴朝手部的方向找到最远的一个投影位置，并将该投影位置对应的侯选像素点确定为手部区域内指示点；或者从拟合椭圆的中心点出发，沿背离手部的方向的椭圆长轴上选定一个点，依次计算该点到各个侯选像素点的距离，并将所计算的最大距离对应的那个侯选像素点确定为手部区域内指示点。
根据本发明的另一个方面，还提供了一种用于人机交互系统中识别手指手势开合的方法，包括：
从输入的视频图象中检测包含手部的区域，定位出作为指示点的手指尖所在位置；以所定位的指示点为起点沿手掌的轮廓线向两侧方向检测下一个疑似的手指尖；如果没检测到下一手指尖位置点，则识别当前的手势为“合”状态，否则继续以下操作；获取所定位的指示的位置点到所检测的下一个手指尖的位置点所经过的轮廓点，找出所获取的轮廓点组成曲线中的拐点位置；以及根据所定位的指示点、所检测的下一手指尖的位置点、以及所找出的拐点的位置点的三角关系来识别当前手势的开合状态。
本发明中的所指的手指手势是指由手指的不同张合组合形成的分类状态。两种手指手势之一是指将手掌握成拳头状只伸出食指，此状态谓之“合”，另一手指手势是指同时张开拇指和食指，此状态谓之“开”。
本发明中识别手指手势开合的方法通过检测手指位置并依据其几何关系来识别两种手势，这是一种形象直观的识别方法。在以手指张合所代表的手势表达中手指张开的个数和其张开后形成的几何位置关系是手势区分识别中最重要也是最稳定的特征。本发明紧扣这一特征，遵从人类的认知习惯，以指头检测和几何规则判断为依据，从而既简单又高效的完成了手势的识别。本发明避免了传统模式识别中使用高维特征向量训练分类器方法中存在的诸多不足，比如大样本，收敛慢，训练出模型的扩展性存在不稳定因素以及识别过程中黑盒效应等。本发明是一种主动的识别方法，且能获得较好的识别结果。
根据本发明的用于人机交互系统中识别手指手势开合的方法，当所确定的指示点，下一手指位置分别与所述拐点形成的两边的夹角大小在一个预定范围内且三条边的各边长大于一定的预定长度阈值时，则确定手指手势为打开状态，否则，确定手指手势处于闭合状态。
根据本发明的用于人机交互系统中识别手指手势开合的方法，其中，所检测的下一个疑似手指尖是指在所检测的包含手部区域的手部轮廓中其轮廓曲率的方向为正且大于一预定曲率阈值的潜在手指尖的点。
根据本发明的用于人机交互系统中识别手指手势开合的方法，其中在以所定位的手指尖所在位置点为起点沿手掌的轮廓线向两侧方向检测下一个手指尖的步骤中，其单侧检测的长度不超过手部轮廓线的一半以避免检测结果重叠。
根据本发明的用于人机交互系统中识别手指手势开合的方法，其中，所述拐点位置是指在所获取的轮廓点组成曲线中其曲率的方向为负且绝对值大于另一个一预定曲率阈值的轮廓点。
根据本发明的另一方面，还提供了一种人机交互系统，包括：
用于连续采集被监控区域的当前图像，得到包含前景物体的视频图像序列的模块；用于从所拍摄的视频图象中分割出前景图象，并对所分割出的前景图象执行二值化处理的模块；用于获取二值化前景图象的最小凸包的顶点集，并以前景图象最小凸包的各个像素顶点为中心点构建感兴趣区域作为包含手部的候选区域的模块；以及用于从各个所构建的感兴趣区域中提取手部成像特征，应用模式识别方式从候选区域中确定包含手部的感兴趣区域的模块。
根据本发明的另一方面，还提供了一种人机交互系统，包括：用于从所拍摄的视频图像中检测包含手部的区域，并基于手部区域内指示点的特性，计算手部区域内指示点的侯选像素点集的模块；用于获得与所检测到的包含手部的区域紧连的疑似手臂区域，并对疑似手臂区域的形状进行椭圆拟合的模块；用于在椭圆拟合结果有效的情况下，将沿着所拟合的椭圆的长轴朝手部方向的最远的一个手部区域内指示点的侯选像素点确定手部区域内的指示点。
根据本发明的另一方面，还提供了一种人机交互系统，包括：用于从输入的视频图象中检测包含手部的区域，定位出作为指示点的手指尖所在位置的模块；用于以所定位的指示点为起点沿手掌的轮廓线向两侧方向检测下一个手指尖的模块；如果没检测到下一手指尖位置点，则识别当前的手势为“合”状态的模块，否则继续以下模块操作；用于获取所定位的指示点到所检测的下一个手指尖的位置点所经过的轮廓点，找出所获取的轮廓点组成曲线中的拐点位置的模块；以及用于根据所定位的指示点、所检测的下一手指尖的位置点、以及所找出的拐点的位置点的三角关系来识别当前手势的开合状态的模块。
通过上面对本发明的简要的说明，可以理解到，本发明的人机交互系统的检测方法和系统存在3方面特点，其一是通过对凸包点集的使用来减少侯选感兴趣区的数量从而实现物体的快速检测；其二是根据人类从全局到局部的认知习惯特点实现对手指尖的定位，从而克服了手指特征因单镜头视角不理想造成手指特征削弱或因手臂运动过快造成手指模糊的检测困难；其三采用是手指检测及手指几何关系的规则实现了两种简单手势的识别。
附图说明
图1为实施本发明人机交互系统的示意图。
图2为根据本发明的在人机交互系统中定位手部和指示点并识别手势的总体流程图。
图3为根据本发明的在人机交互系统中定位手部流程图；
图4为图3所示流程图中前景图像分割的实例图。
图5为图3所示流程图中对所分割出的前景图像执行二值化的一个实例。
图6A和6B为图3所示流程图中执行凸包多边形计算中凸包的概念及计算的示意图。
图7为将图6A和6B所示的计算过程应用到具体前景图像中的实例。
图8为根据本发明的在人机交互系统中定位手部区域内指示点的方法的流程图。
图9为图8中进行疑似手臂区域划定的实例示意图。
图10为图8中进行手臂区域形状椭圆拟合的实例的示意图。
图11为一种图8中进行手部指示点定位的实施方式示意图。
图12A-12F为根据本发明的识别视频图像中手势的示意图。
图13为一种识别图像中手势的实例。
图14为实现本发明的发方法的系统的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。
图1为实施本发明人机交互系统的示意图。如图1所示，所示人机交互系统包括：投影仪1、摄像机2、计算机3以及投影屏幕(虚拟显示屏)4。演讲者5站在虚拟显示屏前(投影区)直接同虚拟显示设备交互操作。摄像机2捕获视频图象并传至计算机3，计算机3分析视频图象数据实现手部或指示点位置的检测和手势动作的识别。随后根据预定义的动作响应规则模拟计算机操作以更新屏幕内容，更新后的屏幕显示图象再经过投影仪1反馈到虚拟显示设备上从而实现了操作者与虚拟显示设备的互动。
图2为根据本发明的在人机交互系统中定位手部和指示点并识别手势的总体流程图。如图2所示，在步骤S21处，计算机3接收从摄像机2拍摄投影区的图像之后传送来的视频图像。之后，计算机3在步骤S22出对所接收的视频图像中的每帧图像执行手部区域检测。之后，在步骤S23中，计算机3确定是否检测到手部，如果没有检测到手部，则返回到步骤S21重新开始对下一帧图像执行步骤S21-S22。如果在步骤S23中判断检测到手部，则流程进入步骤S24执行手部指示点的检测，即检测手部伸出的手指尖或手持的指示部件的尖端。随后流程进入步骤S25，执行手势开合的识别。最后在步骤S26输出所检测的指示点的位置和手势动作。之后，计算机基于所检测到的指示点的位置所指点的对象，模拟计算机的鼠标指点和按键操作，从而更新显示内容。
图3为根据本发明的在于人机交互系统中定位手部流程图。如图3所示，在步骤S31处，从所拍摄的视频图象帧中分割出前景图象。一种具体的实现前景图象分割的方法为图象差分技术，即从输入的视频图象中减去不包含操作者的背景图象，或从输入的视频图象中减去相邻帧的图象以检测运动区域的方式得到前景图象；另一种具体实现前景图象分割的方式为采用能获取景物深度距离信息的视频采集设备获得图象的深度图，截取一定的深度信息可获得较好的前景图象分割效果。图4为图3所示流程图中前景图像分割的实例图。根据图4所给出通过背景差分来达到前景分割的具体实现方法，首先建立背景图象(背景图象不包括任何可移动物体，仅含场地背景信息)，然后从每帧输入的视频图象中减去背景图象以获得差分图象。在差分图象经过二值化处理后，背景及环境光的影响有望从输入图象中去掉而前景图象即操作者身体部分将自然地被增强。除了背景差分外，基于运动检测的技术也能达到前景图象的分割。另一个种优化的实现方案是，采用带红外滤镜的摄象头来捕获视频，该红外滤镜能过滤掉可见光的干扰从而得到稳定和干净的前景物体图象。
随后，在步骤S32处，对所分割出的前景图象执行二值化处理。对前景图象进行二值化图象处理可通过查找前景边缘并填充闭合的边缘的方法来实现。图5为图3所示流程图中对所分割出的前景图像执行二值化的一个实例。如图5所示，首先，从图5所示的从左到右的过程，对每一帧输入的前景差分图象，首先分别计算它对应的CANNY边缘图象、梯度图、及在一个高阈值下得到的相对保守的二值化图，接着，按“或”方式合并这三张图，并将其中边缘闭合的部分进行填充，最终所得之图即是前景图象的二值化结果。之所以如此，是应为该方法所得结果比较稳定，尤对光照对比度低的情况有效。当然用于对前景图象进行二值化的方法不拘于上述方式，一些通用的算法如OTSU大津法也使用。
接着，在步骤S33处，获取二值化前景图象的最小凸包的像素顶点集。
图6A给出了凸包概念的形象展示.一个点集Q的凸包是指一个最小的凸多边形P，对于点集Q中的任一点，或任意两点的连线，要么是存在于凸多边形P的边上，要么就是在凸多边形P的内部。一项统计试验数据表明，在正常的操作过程中，操作者手部出现在其身体外形凸包顶点的可能性接近于99.6％。因此从操作者凸包出发去检测手部区域是一种能快速实现手部检测的可行方案。
图6B为图3所示流程图中执行凸包多边形计算的示意图。对一个给定“n”个点的点集，首先找到最小位置的点P0(最小y坐标点)，然后扫描所有的点找到Pk+1点使得所有的点都位于PkPk+1左侧，依次找下去直到Pk+1等于P0从而获得最小凸包及图6B。
图7为将图6A和6B所示的计算过程应用到具体前景图像中的实例，示处了从视频上截取一帧图象中凸包多边形计算结果。作为本发明的具体实现，前景二值化图的轮廓点被用于外轮廓凸包多边形的计算。在该图中，小圆圈标出了最小凸包的顶点，而顶点之间的连线则构成了凸多边形。
最后，在步骤S34处，以前景图象最小凸包的各个像素顶点为中心点构建感兴趣区域作为包含手部的候选区域。图7同时也出示了所有基于凸包顶点集构建出的手部感兴趣区域。所述手部感兴趣区域为在凸包顶点集中每一点为中心点画出一个矩形框(或圈)，该矩形框(或圈)的尺寸是固定的且能正常的覆盖住手部。如果相邻的凸包顶点距离非常近(如图7所示，在手部附近的两个凸包的顶点)，它们对应着的感兴趣区域可合并为一个，所合并的感兴趣区域的中心点为两个凸包顶点连线的中心。
在获得手部区域的候选的感兴趣区后，为了从侯选的感兴趣区域中确定哪个候选区域为包含手部的区域，需要采用模式识别的方法，这些模式识别方法包括诸如机器学习的方法或基于决策的方法。机器学习的方法的典型的代表包括BP神经网络，SVM支撑向量机及Boosting方法，基于决策的方法包括决策树。无论采用何种方法，都需要先从待识别的物体中进行特征提取。因此，在步骤S35处，从各个所构建的感兴趣区域中提取手部成像特征。
在本发明中，凡能与身体其它部位能区分出手的可测量的度量及其组合均可作为特征用于手部的识别，包括感兴趣区域内基于像素信息的面积、颜色、边缘或基于全局信息的形状、纹理、梯度方向直方图，同时特征值也包括区域外但与感兴趣区域一一关联的有助于区分手部与操作者身体其它部位的特征或其组合，如与感兴趣区域直接相连的手臂区域拟合出的椭圆长宽比的形状特征。
下面给出一种表述手部特征的具体实例。本发明定义以下三个方向无关的特征来描述手部区域：
特征A＝AW/AB，此处AW是二值化图象上感兴趣区域内前景象素个数总和而AB则是感兴趣区域面积.该特征表明了手部区域在感兴趣区域中的面积比例；
特征B＝SD/AW，此处SD是感兴趣区域对应于掩膜图象(二值化图即为掩膜图象)上前景差分图象上象素点灰度值的累加和，该特征体现出了手部的平均灰度；
特征C＝SC/AW，此处SC是感兴趣区域内前景差分图象上CANNY边缘点的个数，该特征体现出手部边缘纹理的复杂度。
随后在步骤S36处，应用模式识别方式从候选区域中确定包含手部的感兴趣区域。依然以上述实例为例，基于预先在所述人机交互系统中获得的手部区域成像样本中相应特征的概率分布直方图。由此对每一个候选的感兴趣区域，计算出其各自的特征值ABC后，可根据其特征的概率分布得到各自的概率值P(A)，P(B)和P(C)。作为本发明一个简单的实现从候选区域中识别出手，我们将每个感兴趣区域中各自特征的概率进行累加得到P＝P(A)+P(B)+P(C)，同时从中挑出最大的一个“P”，如果最大的这个概率“P”大于一个预定概率阈值，则该最大累加概率值“P”所对应着的感兴趣区域被识别为包含手部的区域。如果在所有感兴趣区域所对应的累加概率值“P”都小于所述预定概率阈值，则判断在当前输入的图象上不存在操作者的手部。
在上述识别手部区域的具体实施方式中，一个改进的方法是先从所有侯选的感兴趣区域中找到最多n个(比如3)具有最大“P”值的感兴趣区域，然后分别找到与这n个感兴趣区域一一关联的疑似手臂区域进行椭圆拟合(具体方法可在感兴趣区域中心点为圆心，以手臂长度为半径的圆内找到最大的连通区域，以之作为疑似手臂)，最终以拟合出的椭圆具有最大长宽比的所对应的感兴趣区域识别为手部区域。
如果采用比上述方法复杂的识别模型或方法如SVM或决策树，识别手部的效果将会更好。鉴于上述识别模式本身是现有技术，本领域普通技术人员能够在上面所披露的技术方案的基础上采用SVM或决策树并提取相应的特征来实现识别，因此不在此对各种模式的应用过程进行赘述。
为了便于操作者直接进行人机交互，并通过操作者的伸出的手指的指点或手握物品的指点对人机系统进行操作，因此需要在对图像中的手部进行定位之后更精确地获得操作者指示点所在的位置。
因此，本发明在对手部进行的定位的基础上还能在人机交互系统中确定手部区域内指示点。图8为根据本发明的在人机交互系统中确定手部区域内指示点的方法的流程图。该流程执行的就是步骤S24所实现的指示点识别的过程。
如图8所示，在确定了手部区域之后，在步骤S81处，基于手部区域内指示点的特性，计算手部区域内指示点的侯选像素点集。
手部区域内指示点的侯选像素点集包括：手部的凸包顶点、手部轮廓线上的高曲率点、Harris角点、或如文章″Bare-Hand Human-Computer Interaction″里描述的形状检测算子检测到的点等。这些候选的点反映出了手指尖位置的局部特性，其计算方法属于本领域的现有技术，其对应的实现程序在开源项目“OpenCV”中已有提供，在此也不再赘述。所述指示点可以是手部的食指顶点所在位置或任何具有定位特点的手持物件的顶点。
接着，在步骤S82处，基于包含手部的区域的感兴趣区域的中心点以及前景图像的重心点，获得手臂区域。基于人类的认知习惯通常是从全局到局部，因此，本发明试图通过手臂和其方向信息来从侯选的点集中决定出最终的手指尖位置。为此，首先需要获得手臂的位置。图9为图8中进行手臂区域检测的具体实例示意图。图9所示的内容演示了如何从输入的二值化图象中找到与指定的手掌关联着的手臂区域。如图9所示，在前景图象的重心点与包含手部的区域的中心点的连线上取一个点，使得该点到包含手部的区域的中心点的距离为通常手臂长度的一半R。以及以所述连线上所取点为中心，以所述通常手臂长度的一半R为半径画圆，并将所获得的圆内部所在的区域作为手臂区域。
随后，在步骤S83处，基于手臂区域内的轮廓点或手臂区域内二值化图象数据对手臂形状进行椭圆拟合。图10为对图9中所确定的手臂区域进行手臂椭圆拟合的具体实例的示意图。如图10所示，为了获取手臂规则的几何形状，本发明采用现有的“OpenCV”相应椭圆拟合函数对手臂区域内的数据进行椭圆拟合。参与椭圆拟合的点可以是二值化图象上的前景点，也可是手臂区域内的轮廓点。
椭圆拟合结果可能存在不符合手臂的常规轮廓的情形，因此，有些拟合结果可能是无效的。为此，需要在步骤S84处对拟合结果的有效性进行判断，以便立刻丢弃无效的拟合结果，从而立即进入下一帧图像的操作。为了判断椭圆拟合结果的有效性，可以通过如下过程进行：计算所拟合的椭圆的长轴与短轴之比以及计算包含手部的区域的感兴趣区域的中心点与前景图象重心点之间的连线与所拟合的椭圆的长轴的夹角，若所计算的比值大于一预定的比值阈值并且所计算的夹角应小于一预定的角度阈值，则所拟合的椭圆为有效，如前述两个条件之一得不到满足，则判断所拟合的椭圆为无效。通常所述预定的比值阈值要大于1.5，例如1.5、1.8、2.0、2.8等等，而通常所述预定的角度阈值要小于30度，例如25度、20度、18度。如果根据上述特性得到的评估结果为有效则下述的手指尖定位操作可继续执行，进入步骤S85，否则，进入步骤S86，放弃当前的操作。
在步骤S85处，计算各个侯选指示点像素点在拟合椭圆长轴上的垂直投影位置。图11为一种图8中进行手部指示点定位的实施方式示意图。如图11所示，图中有4个候选点(例示性的，可以为3个、5个、6个或更多)，分别标记为“A”“B”“C”“D”(即手部的凸包顶点)，首先对每个候选的点我们计算其在椭圆长轴上的垂直投影点，如此针对各候选点得到“a”“b”“c”“d”。
之后，在步骤S87处，沿拟合椭圆长轴朝手部的方向找到最远的一个投影位置。如图11中所示，沿着椭圆长轴往手掌方向的最远一个投影点为“a”。另外一个确定最远的一个投影位置方法是，从拟合椭圆的中心点出发，沿背离手部的方向的椭圆长轴上选定一个点，依次计算该点到各个侯选像素点的距离，并将所计算的最大距离的投影点作为最远的一个投影位置。
最后，在步骤S88处，将该投影位置对应的侯选像素点确定为手部区域内指示点。实际上，如图11所示，该投影点“a”所对应着的那个候选点正是人类在全局到局部的认知习惯下最终的手指尖或指示点的位置。
本发明在实现手指尖或指示器件快速检测定位基础上，同时提出了一种对手指开合手势进行高效稳定识别的方法。本发明所述的合的手势是指将手掌握成拳头状只伸出食指的状态，本发明所述的开的手势是指同时张开拇指和食指的状态。无论是“合”是“开”，其食指总是张开着，而其指尖位置则起着类似鼠标定位功能。
图12A-12F为根据本发明的另一种识别视频图像中手势的示意图。在具体的实现中，首先根据本发明中手指尖指示点定位的方法从输入的视频图象中得到食指手指尖位置，以该位置点为中心，作出一个矩形框或圆覆盖住整个手掌或拳头(半径或边长可预设)以之作为识别两种手势的研究区域。在该研究区域内，首先根据手指的形状及出现特点，先计算出所有张开的手指的侯选点，计算的方法可先找出该感兴趣区域内手部的凸包顶点，依次考察该凸包中每个顶点是否为手指，这是因为对于手掌局部而言，其手指张开时的指尖位置必定在其手掌的凸包顶点上。如图12A中所示，该手掌存在3个凸包顶点而其中两个为手指尖位置。
接下来从手掌的凸包顶点集中进一步排除不符合手指特征的点，找出所有张开着的手指疑似位置。作为张开着的手指尖，其位置必定是个高曲率点，因而本步骤一个具体的实施方式是计算该凸包顶点所在的轮廓曲率，并判断其曲率是否大于一定的预设值且曲率方向为正(向内)。
图象边缘点曲率的计算是以该点为基准点，在该点附近的前序和后序边缘上各取一点来形成两个向量，通过向量的叉积计算可评估其曲率的大小和方向。曲率的计算是公知的技术，在此不一一详述。此外本步骤也可采用文章Bare-Hand Human-Computer Interaction”所述的基于形状检测的方式从手掌凸包顶点集中找出所有疑似手指的位置点。图12B给出了手指检测的结果。
如果手指位置的检测具有很高的正确性，可根据其检测出的手指个数对手势做一个简单识别。考虑到其检测结果通常包含一定的噪音，本发明接着结合一定的几何位置关系来提高其识别的准确性。
首先如图12C所示，以手部食指指尖点(定位点)为起始点F0，沿手掌轮廓线(即手掌二值化图边缘)向两侧方向分别找寻下一个出现的手指点，其各自方向检测所沿过轮廓线长度不超过手掌轮廓线的一半以防找寻结果重叠。假定找寻到的手指点为F1，则找寻手指的结果可记录为数据对{F0，F1，F0F1}，其中FOF1为从F0到F1所经历的手掌轮廓边缘线，如12D所示。对沿着边缘找寻到的每个手指点，均按此方式记录下来。
对每组手指头的数据记录，如{F0，F1，F0F1}，本发明将计算出F0F1所代表的轮廓点曲线中的拐点位置，该拐点可形象地被认为是手掌虎口的位置点，其特征在于该点所在的曲率大于一定的预设值并曲率方向为负(向外)。如果不存在拐点，则丢弃该组数据。经过拐点计算后如果不存在一组手指头的数据记录，则判断该手势为“合”并结束返回。图12E给出了该拐点存在的计算结果。
对于剩余的手指头的数据记录，本发明将根据其每组数据中成对手指尖及拐点构成的三角几何关系来判断其是否代表手势“开”状态。判断的具体依据为以拐点为顶点两手指的张角需在一个预设的范围内(30-150度间)，且三条边的边长均不得小于一定的预设长度。此外拐点到食指的长度不小于拐点到拇指的距离也可当作一条判断的依据。图12F演示出了“开”手势下合理的三角几何关系。
图13为一种识别图像中手势的具体实例。在720×480大小的原始图象上，采用本发明的手势检测方式的检测速度约58ms/帧，该数据是在没经任何优化情况下获取的，显然本发明的检测和识别速度完全能满足实时处理需要。
图14是实现本发明的系统的框图。其中分为四个个主要部分，即手部检测部分141、指点定位部分142、手势识别部分143以及指令操作交互模块144。其中，手部检测部分141包括：视频图像捕获模块1411，用于连续采集被监控区域的当前图像，得到包含前景物体的视频图像序；前景图像分割模块1412，用于从所拍摄的视频图象中分割出前景图象，并对所分割出的前景图象执行二值化处理；感兴趣区域构建模块1413，用于获取二值化前景图象的最小凸包的像素顶点集，并以前景图象最小凸包的各个像素顶点为中心点构建感兴趣区域作为包含手部的候选区域；手部区域识别模块1414，用于从各个所构建的感兴趣区域中提取手部成像特征，应用模式识别方式从候选区域中确定包含手部的感兴趣区域；以及手部区域输出模块1415。指点定位部分142包括：手部区域输入模块1421，用于从所拍摄的视频图像中检测包含手部的区域；手臂区域椭圆拟合模块1422，用于获得与所检测到的包含手部的区域紧连的手臂区域，并对手臂形状进行椭圆拟合；椭圆拟合结果判断模块1423，用于判断椭圆拟合结果的有效性；候选指点位置选择模块1424，用于并基于手部区域内指示点的特性，选择手部区域内指示点的侯选像素点集；指示点定位模块1425，用于在椭圆拟合结果有效的情况下，将沿着所拟合的椭圆的长轴朝手部方向的最远的一个手部区域内指示点的侯选像素点集确定手部区域内的指示点；以及指示点位置输出模块1426。手势识别部分143包括：指示点位置输入模块1431，用于从输入的视频图象中检测包含手部的区域，定位出作为指示点的手指尖所在位置的模块；下一手指尖检测模块1432，用于以所定位的手指尖所在位置点为起点沿手掌的轮廓线向两侧方向检测下一个手指尖；拐点定位模块1433，用于获取所定位的手指尖的位置点到所检测的下一个手指尖的位置点所经过的轮廓点，找出所获取的轮廓点组成曲线中的拐点位置；以及手势判断模块1434，用于根据所定位的手指尖的位置点、所检测的下一手指尖的位置点、以及所找出的拐点的位置点的三角关系来识别当前手势的开合状态；以及手势输出模块1435。最后，指令交互操作模块144基于所检测的指点位置和手势的结果，按照一定的规则转换为计算机的操作指令，实现人机交互。
在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时，可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中，使得计算机执行该计算机程序。或者，可以把计算机程序安装到能够执行各种类型的处理的通用计算机中，使得计算机执行该计算机程序。
例如，可以把计算机程序预先存储到作为记录介质的硬盘或者ROM(只读存储器)中。或者，可以临时或者永久地存储(记录)计算机程序到可移动记录介质中，诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介质作为封装软件提供。
本发明已经参考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要旨，应该考虑所附的权利要求。

Claims (20)

1.一种用于人机交互系统中手部检测方法，包括：
连续采集被监控区域的当前图像，得到包含前景物体的视频图像序列；
从所拍摄的视频图象中分割出前景图象，并对所分割出的前景图象执行二值化处理；
获取二值化前景图象的最小凸包的顶点集，并以前景图象最小凸包的各个顶点为中心点构建感兴趣区域作为潜在包含手部的候选区域；
从各个所构建的感兴趣区域中提取手部成像特征，应用模式识别方式从候选区域中确定包含手部的感兴趣区域。
2.根据权利要求1所述的用于人机交互系统中手部检测的方法，所述对所分割出的前景图象执行二值化处理的步骤包括：计算前景图象的边缘图；计算前景图象的梯度图并二值化；以一预定的阈值二值化前景图获得二值化结果；将前面三种结果按“或”方式组合成为一幅新的二值化图象；并填充所获得二值化图象中封闭的区域。
3.根据权利要求1所述的用于人机交互系统中手部检测的方法，所述感兴趣区域为一矩形框或圆形状的区域，其大小刚好能覆盖住操作者的手部。
4.根据权利要求1所述的用于人机交互系统中手部检测的方法，所述模式识别方式包括但不局限于如下方式之一：BP神经网络方法、SVM方法、或者决策树方法。
5.根据权利要求1所述的用于人机交互系统中手部检测的方法，其中所述特征值包括感兴趣区域内基于像素信息的面积、颜色、边缘或基于全局信息的形状、纹理、梯度方向直方图以及包括区域外但与感兴趣区域一一关联的有助于区分手部与操作者身体其它部位的特征或其组合。
6.一种用于人机交互系统中定位手部区域内指示点的方法，包括：
从所拍摄的视频图像中检测包含手部的区域，并基于手部区域内指示点的特性，计算手部区域内指示点的侯选像素点集；
获得与所检测到的包含手部的区域紧连的疑似手臂区域，并对疑似手臂区域的形状进行椭圆拟合；
在椭圆拟合结果有效的情况下，将沿着所拟合的椭圆的长轴朝手部方向的最远的一个手部区域内指示点的侯选像素点确定手部区域内的指示点。
7.根据权利要求6所述的用于人机交互系统中定位手部区域内指示点的方法，其中所述指示点可以是手部的食指顶点所在位置或任何具有定位特点的手持物件的顶点。
8.根据权利要求6所述的用于人机交互系统中定位手部区域内指示点的方法，其中手部区域内指示点的侯选像素点集包括如下之一或其中几种：手部轮廓的凸包顶点、手部轮廓线上的高曲率点、或Harris角点，或基于手指形状滤波检测到的位置点。
9.根据权利要求6所述的用于人机交互系统中定位手部区域内指示点的方法，其中所述获得与所检测到的包含手部的区域紧连的疑似手臂区域的步骤包括：
在前景图象的重心点与包含手部的区域的感兴趣区域的中心点的连线上取一个点，使得该点到包含手部的区域的感兴趣区域的中心点的距离为通常手臂长度的一半；
以所述连线上所取点为中心，以所述通常手臂长度的一半为半径画圆，并将所获得的圆内部所在的区域作为手臂区域。
10.根据权利要求6所述的用于人机交互系统中定位手部区域内指示点的方法，在对手臂形状进行椭圆拟合步骤之后和定位手部区域内的指示点步骤之前还包括：将所拟合的椭圆的长轴与短轴之比与一预定的比值阈值进行比较，若长轴与短轴之比大于所述预定的比值阈值，则所拟合的椭圆为有效，否则，所拟合的椭圆为无效。
11.根据权利要求10所述的用于人机交互系统中定位手部区域内指示点的方法，还包括，计算包含手部的区域的感兴趣区域的中心点与前景图象重心点之间的连线与所拟合的椭圆的长轴的夹角，若所计算的夹角应小于一预定的角度阈值，则所拟合的椭圆为有效，否则，所拟合的椭圆为无效。
12.根据权利要求6所述的用于人机交互系统中定位手部区域内指示点的方法，所述将沿着所拟合的椭圆的长轴朝手部方向的一个手部区域内指示点的最远的侯选像素点确定手部区域内的指示点的步骤包括：
计算各个侯选像素点在拟合椭圆长轴上的垂直投影位置，然后沿拟合椭圆长轴朝手部的方向找到最远的一个投影位置，并将该投影位置对应的侯选像素点确定为手部区域内指示点；或者
从拟合椭圆的中心点出发，沿背离手部的方向的椭圆长轴上选定一个点，依次计算该点到各个侯选像素点的距离，并将所计算的最大距离对应的那个侯选像素点确定为手部区域内指示点。
13.一种用于人机交互系统中识别手指手势“开”“合”的方法，包括：
从输入的视频图象中检测包含手部的区域，定位出作为指示点的手指尖所在位置；
以所定位的指示点为起点沿手掌的轮廓线向两侧方向检测下一个疑似手指尖位置；
如果没检测到下一手指尖位置点，则识别当前的手势为“合”状态，否则继续以下操作
获取所定位的指示点到所检测的下一个手指尖的位置点所经过的轮廓点，找出所获取的轮廓点组成曲线中的拐点位置；
根据所定位的指示点、所检测的下一手指尖的位置点、以及所找出的拐点的位置点的三角关系来识别当前手势的开合状态。
14.根据权利要求13所述用于人机交互系统中识别手指手势开合的方法，其中，当所确定的指示点，下一手指尖的位置点分别与所述拐点形成的两边的夹角大小在一个预定范围内且三条边的各边长大于一定的预定长度阈值时，则确定手指手势为打开状态，否则，确定手指手势处于闭合状态。
15.根据权利要求13所述用于人机交互系统中识别手指手势开合的方法，其中，所检测的下一个疑似手指尖是指在所检测的包含手部区域内有别于指示点的位置，其特征是该位置点所在的轮廓曲率大于一定的预设值且曲率方向为正(向内)。
16.根据权利要求13所述用于人机交互系统中识别手指手势开合的方法，其中在以所定位的指示点为起点沿手掌的轮廓线向两侧方向检测下一个疑似手指尖的步骤中，其单侧检测的长度不超过手部轮廓线的一半。
17.根据权利要求13所述用于人机交互系统中识别手指手势开合的方法，其中，所述拐点位置是指在所获取的轮廓点组成曲线中其曲率的方向为负且绝对值大于另一个一预定曲率阈值的轮廓点。
18.一种人机交互系统，包括：
用于连续采集被监控区域的当前图像，得到包含前景物体的视频图像序列的模块；
用于从所拍摄的视频图象中分割出前景图象，并对所分割出的前景图象执行二值化处理的模块；
用于获取二值化前景图象的最小凸包的顶点集，并以前景图象最小凸包的各个顶点为中心点构建感兴趣区域作为包含手部的候选区域的模块；
用于从各个所构建的感兴趣区域中提取手部成像特征，应用模式识别方式从候选区域中确定包含手部的感兴趣区域的模块。
19.一种人机交互系统，包括：
用于从所拍摄的视频图像中检测包含手部的区域，并基于手部区域内指示点的特性，计算手部区域内指示点的侯选像素点集的模块；
用于获得与所检测到的包含手部的区域紧连的疑似手臂区域，并对疑似手臂区域的形状进行椭圆拟合的模块；
用于在椭圆拟合结果有效的情况下，将沿着所拟合的椭圆的长轴朝手部方向的最远的一个手部区域内指示点的侯选像素确定手部区域内指示点的模块。
20.一种人机交互系统，包括：
用于从输入的视频图象中检测包含手部的区域，定位出作为指示点的手指尖所在位置的模块；
用于以所定位的指示点为起点沿手掌的轮廓线向两侧方向检测下一个手指尖的模块；
如果没检测到下一手指尖位置点，则识别当前的手势为“合”状态的模块，否则继续以下模块操作
用于获取所定位的指示点到所检测的下一个手指尖的位置点所经过的轮廓点，找出所获取的轮廓点组成曲线中的拐点位置的模块；以及
用于根据所定位的指示点、所检测的下一手指尖的位置点、以及所找出的拐点的位置点的三角关系来识别当前手势的开合状态的模块。
CN201010279511.3A 2010-09-13 2010-09-13 人机交互系统中手部、指示点定位方法和手势确定方法 Expired - Fee Related CN102402680B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201010279511.3A CN102402680B (zh) 2010-09-13 2010-09-13 人机交互系统中手部、指示点定位方法和手势确定方法
US13/215,385 US8970696B2 (en) 2010-09-13 2011-08-23 Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
JP2011198544A JP5887775B2 (ja) 2010-09-13 2011-09-12 ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
JP2015147129A JP6079832B2 (ja) 2010-09-13 2015-07-24 ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010279511.3A CN102402680B (zh) 2010-09-13 2010-09-13 人机交互系统中手部、指示点定位方法和手势确定方法

Publications (2)

Publication Number Publication Date
CN102402680A true CN102402680A (zh) 2012-04-04
CN102402680B CN102402680B (zh) 2014-07-30

Family

ID=45806338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010279511.3A Expired - Fee Related CN102402680B (zh) 2010-09-13 2010-09-13 人机交互系统中手部、指示点定位方法和手势确定方法

Country Status (3)

Country Link
US (1) US8970696B2 (zh)
JP (2) JP5887775B2 (zh)
CN (1) CN102402680B (zh)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103197761A (zh) * 2013-03-28 2013-07-10 深圳泰山在线科技有限公司 手势识别方法及装置
CN103208002A (zh) * 2013-04-10 2013-07-17 桂林电子科技大学 基于手轮廓特征的手势识别控制方法和系统
CN103226388A (zh) * 2013-04-07 2013-07-31 华南理工大学 一种基于Kinect的手写方法
CN103810488A (zh) * 2012-11-09 2014-05-21 阿里巴巴集团控股有限公司 图像特征提取方法、图像搜索方法、服务器、终端及系统
CN103970262A (zh) * 2013-02-06 2014-08-06 原相科技股份有限公司 光学式指向系统
CN104115192A (zh) * 2012-06-25 2014-10-22 索夫特克尼特科软件公司 三维近距离交互的改进或与其有关的改进
CN104299004A (zh) * 2014-10-23 2015-01-21 浙江大学 一种基于多特征融合和指尖检测的手势识别方法
CN104685450A (zh) * 2013-02-07 2015-06-03 株式会社柳韩普利真 在演示系统中利用激光指示器的影像书写方法
CN104699329A (zh) * 2013-12-10 2015-06-10 精工爱普生株式会社 图像显示装置、投影仪以及图像显示装置的控制方法
CN104766330A (zh) * 2013-01-28 2015-07-08 海信集团有限公司 一种图像处理方法及电子设备
CN105068662A (zh) * 2015-09-07 2015-11-18 哈尔滨市一舍科技有限公司 一种用于人机交互的电子设备
CN105787419A (zh) * 2014-12-23 2016-07-20 阿里巴巴集团控股有限公司 手掌图像的手掌检测方法及系统
CN105989329A (zh) * 2014-12-11 2016-10-05 由田新技股份有限公司 检测人员使用手持装置的方法及装置
CN105989365A (zh) * 2015-01-30 2016-10-05 深圳市思路飞扬信息技术有限责任公司 助视装置、助视系统及助视方法
CN106095201A (zh) * 2016-05-30 2016-11-09 安徽慧视金瞳科技有限公司 一种投影交互系统的双击检测方法
CN106326860A (zh) * 2016-08-23 2017-01-11 武汉闪图科技有限公司 基于视觉的手势识别方法
CN106599812A (zh) * 2016-12-05 2017-04-26 苏州维盟韵联网络科技有限公司 一种用于智能家居系统的3d动态手势识别方法
CN107357414A (zh) * 2016-05-09 2017-11-17 株式会社理光 一种点击动作的识别方法及点击动作识别装置
CN107743219A (zh) * 2017-09-27 2018-02-27 歌尔科技有限公司 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN107801098A (zh) * 2016-08-31 2018-03-13 南京中兴新软件有限责任公司 机顶盒的指令执行方法和装置
CN107886387A (zh) * 2016-09-30 2018-04-06 阿里巴巴集团控股有限公司 采用增强现实技术提供手掌装饰虚拟图像的实现方法及其装置
CN108089693A (zh) * 2016-11-22 2018-05-29 比亚迪股份有限公司 手势识别方法及装置、智能穿戴终端及服务器
CN108108709A (zh) * 2017-12-29 2018-06-01 纳恩博（北京）科技有限公司 一种识别方法及装置、计算机存储介质
CN108229324A (zh) * 2017-11-30 2018-06-29 北京市商汤科技开发有限公司 手势追踪方法和装置、电子设备、计算机存储介质
CN108230328A (zh) * 2016-12-22 2018-06-29 深圳光启合众科技有限公司 获取目标对象的方法、装置和机器人
CN108509837A (zh) * 2018-01-29 2018-09-07 上海数迹智能科技有限公司 一种基于深度图像的具有旋转不变性的指尖识别方法
CN108595005A (zh) * 2018-04-20 2018-09-28 深圳市天轨年华文化科技有限公司 基于增强现实的交互方法、装置及计算机可读存储介质
CN109202886A (zh) * 2017-06-30 2019-01-15 沈阳新松机器人自动化股份有限公司 基于固定背景下的手势识别方法及系统
CN109947247A (zh) * 2019-03-14 2019-06-28 海南师范大学 一种体感交互展示系统及方法
CN109960980A (zh) * 2017-12-22 2019-07-02 北京市商汤科技开发有限公司 动态手势识别方法及装置
CN110046603A (zh) * 2019-04-25 2019-07-23 合肥工业大学 一种中国普乐手语编码的手势动作识别方法
CN110298314A (zh) * 2019-06-28 2019-10-01 海尔优家智能科技（北京）有限公司 手势区域的识别方法及装置
CN110308817A (zh) * 2019-06-10 2019-10-08 青岛小鸟看看科技有限公司 一种触控动作识别方法及触控投影系统
CN110826382A (zh) * 2018-08-10 2020-02-21 纬创资通股份有限公司 手势识别方法、手势识别模块及手势识别系统
CN111062312A (zh) * 2019-12-13 2020-04-24 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备
CN111221407A (zh) * 2018-11-26 2020-06-02 财团法人实感交流人体感应研究团 用于多个手指的动作捕捉方法及装置
CN111526422A (zh) * 2019-02-01 2020-08-11 网宿科技股份有限公司 一种视频帧中目标对象的拟合方法、系统及设备
US11221681B2 (en) 2017-12-22 2022-01-11 Beijing Sensetime Technology Development Co., Ltd Methods and apparatuses for recognizing dynamic gesture, and control methods and apparatuses using gesture interaction
WO2022057118A1 (zh) * 2020-09-18 2022-03-24 歌尔股份有限公司 屏幕内容的放大方法、设备及计算机可读存储介质
CN115100747A (zh) * 2022-08-26 2022-09-23 山东宝德龙健身器材有限公司 基于视觉检测的跑步机智能辅助系统
CN115761602A (zh) * 2023-01-07 2023-03-07 深圳市蓝鲸智联科技有限公司 用于车窗控制系统的视频智能识别方法

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2769335B1 (en) * 2011-10-18 2018-04-18 Nokia Technologies Oy Methods and apparatuses for gesture recognition
JP5593339B2 (ja) * 2012-02-07 2014-09-24 日本システムウエア株式会社 自動車のステアリングハンドルを用いるジェスチャー認識装置と手の認識方法及びそのプログラム
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9460029B2 (en) 2012-03-02 2016-10-04 Microsoft Technology Licensing, Llc Pressure sensitive keys
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US9218526B2 (en) 2012-05-24 2015-12-22 HJ Laboratories, LLC Apparatus and method to detect a paper document using one or more sensors
EP2669846B1 (en) * 2012-06-01 2017-11-01 Ricoh Company, Ltd. Target recognition system and target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
WO2013190538A1 (en) * 2012-06-20 2013-12-27 Pointgrab Ltd. Method for touchless control of a device
SE1200428A1 (sv) * 2012-07-09 2012-10-22 Electrolux Ab Anordning för köket
US20140035924A1 (en) * 2012-08-01 2014-02-06 Apollo Group, Inc. Trend highlighting
US9208580B2 (en) * 2012-08-23 2015-12-08 Qualcomm Incorporated Hand detection, location, and/or tracking
CN102854983B (zh) * 2012-09-10 2015-12-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法
US8933970B2 (en) * 2012-09-11 2015-01-13 Longsand Limited Controlling an augmented reality object
US10757369B1 (en) * 2012-10-08 2020-08-25 Supratik Mukhopadhyay Computer implemented system and method for high performance visual tracking
US8786767B2 (en) * 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
US10126820B1 (en) * 2012-11-29 2018-11-13 Amazon Technologies, Inc. Open and closed hand detection
TWI471815B (zh) * 2012-12-07 2015-02-01 Chunghwa Picture Tubes Ltd 手勢辨識裝置及方法
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US20140208274A1 (en) * 2013-01-18 2014-07-24 Microsoft Corporation Controlling a computing-based device using hand gestures
JP6195893B2 (ja) * 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
JP6155786B2 (ja) * 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
US9563955B1 (en) * 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
CN104217192B (zh) * 2013-06-03 2018-04-17 株式会社理光 基于深度图像的手定位方法和设备
CN103761011B (zh) * 2013-06-04 2016-09-07 深圳先进技术研究院 一种虚拟触摸屏的方法、系统及计算设备
KR101472455B1 (ko) * 2013-07-18 2014-12-16 전자부품연구원 손동작 기반 사용자 인터페이스장치 및 그 방법
CN104375626B (zh) * 2013-08-14 2017-10-17 华为技术有限公司 显示指示标识的处理方法、装置和系统
CN104423663B (zh) * 2013-08-29 2017-11-28 联想(北京)有限公司 一种输入识别方法和电子设备
US10846942B1 (en) * 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
CN103473549B (zh) * 2013-09-23 2017-04-19 北京智诺英特科技有限公司 图像目标检测方法和装置
CN103530613B (zh) * 2013-10-15 2017-02-01 易视腾科技股份有限公司 一种基于单目视频序列的目标人手势交互方法
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
JP6221656B2 (ja) * 2013-11-08 2017-11-01 株式会社リコー 情報処理装置、情報処理方法およびプログラム
TWI522871B (zh) * 2013-12-04 2016-02-21 原相科技股份有限公司 光學觸控系統之物件影像之處理方法
CN104714701A (zh) * 2013-12-13 2015-06-17 原相科技股份有限公司 光学触控系统的物体图像的处理方法
KR20150072090A (ko) 2013-12-19 2015-06-29 삼성전자주식회사 관심 영역 검출 장치 및 그 방법
JP6349800B2 (ja) * 2014-03-12 2018-07-04 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US9300893B2 (en) * 2014-03-24 2016-03-29 Intel Corporation Image matching-based pointing techniques
US10845884B2 (en) * 2014-05-13 2020-11-24 Lenovo (Singapore) Pte. Ltd. Detecting inadvertent gesture controls
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
CN104102347A (zh) * 2014-07-09 2014-10-15 东莞万士达液晶显示器有限公司 指尖定位方法及指尖定位终端
CN104899591B (zh) * 2015-06-17 2018-01-05 吉林纪元时空动漫游戏科技集团股份有限公司 基于深度相机的手腕点和手臂点的提取方法
CN104968121B (zh) * 2015-07-15 2018-02-16 深圳市通普科技有限公司 一种自动学习的灯光控制方法和装置
CN105184216B (zh) * 2015-07-24 2019-01-11 山东大学 一种心二区掌纹的数字提取方法
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법
CN108027654B (zh) * 2015-09-28 2021-01-12 日本电气株式会社 输入设备、输入方法和程序
CN105426817B (zh) * 2015-10-30 2019-08-20 上海集成电路研发中心有限公司 基于红外成像的手势位置识别装置及识别方法
JP6728865B2 (ja) * 2016-03-25 2020-07-22 富士ゼロックス株式会社 手上げ検出装置及び手上げ検出プログラム
CN106502380A (zh) * 2016-09-18 2017-03-15 乐视控股（北京）有限公司 一种判断目标跟踪效果的方法和装置
WO2018157286A1 (zh) * 2017-02-28 2018-09-07 深圳市大疆创新科技有限公司 一种识别方法、设备以及可移动平台
CN107817898B (zh) * 2017-10-31 2022-07-22 努比亚技术有限公司 操作模式识别方法、终端及存储介质
CN107813310B (zh) * 2017-11-22 2020-10-20 浙江优迈德智能装备有限公司 一种基于双目视觉多手势机器人控制方法
KR102421856B1 (ko) 2017-12-20 2022-07-18 삼성전자주식회사 영상의 상호작용 처리 방법 및 장치
EP3731073A4 (en) * 2017-12-22 2021-02-24 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN110033476A (zh) * 2018-01-11 2019-07-19 富士通株式会社 目标速度估计方法、装置和图像处理设备
US20200012350A1 (en) * 2018-07-08 2020-01-09 Youspace, Inc. Systems and methods for refined gesture recognition
CN109190516A (zh) * 2018-08-14 2019-01-11 东北大学 一种基于手掌边缘轮廓矢量化的静态手势识别方法
CN110874179B (zh) * 2018-09-03 2021-09-14 京东方科技集团股份有限公司 指尖检测方法、指尖检测装置、指尖检测设备及介质
CN111104821A (zh) * 2018-10-25 2020-05-05 北京微播视界科技有限公司 图像生成方法和装置
US11010627B2 (en) 2019-01-25 2021-05-18 Gracenote, Inc. Methods and systems for scoreboard text region detection
US11805283B2 (en) 2019-01-25 2023-10-31 Gracenote, Inc. Methods and systems for extracting sport-related information from digital video frames
US11087161B2 (en) 2019-01-25 2021-08-10 Gracenote, Inc. Methods and systems for determining accuracy of sport-related information extracted from digital video frames
US11036995B2 (en) * 2019-01-25 2021-06-15 Gracenote, Inc. Methods and systems for scoreboard region detection
US10997424B2 (en) 2019-01-25 2021-05-04 Gracenote, Inc. Methods and systems for sport data extraction
US11106949B2 (en) * 2019-03-22 2021-08-31 Microsoft Technology Licensing, Llc Action classification based on manipulated object movement
JP7198416B2 (ja) 2019-05-29 2023-01-04 トヨタ紡織株式会社 乗物用調光システム
WO2020252008A1 (en) * 2019-06-11 2020-12-17 Synaptics Incorporated Fingertip tracking for touchless input device
CN110837326B (zh) * 2019-10-24 2021-08-10 浙江大学 一种基于物体属性递进式表达的三维目标选择方法
US20210263593A1 (en) * 2020-02-26 2021-08-26 Magic Leap, Inc. Hand gesture input for wearable system
JP2021193499A (ja) 2020-06-08 2021-12-23 セイコーエプソン株式会社 位置検出システム、位置検出装置、プロジェクター及び位置検出方法
KR102431386B1 (ko) * 2020-09-15 2022-08-09 광운대학교 산학협력단 손 제스처 인식에 기초한 인터랙션 홀로그램 디스플레이 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694694A (zh) * 2009-10-22 2010-04-14 上海交通大学 用于交互式演示系统中的手指识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
DE10039432C1 (de) * 2000-08-11 2001-12-06 Siemens Ag Bedieneinrichtung
NO311740B1 (no) 2000-09-11 2002-01-14 Tormod Njoelstad Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid
JP4590717B2 (ja) * 2000-11-17 2010-12-01 ソニー株式会社 顔識別装置及び顔識別方法
US6594616B2 (en) 2001-06-18 2003-07-15 Microsoft Corporation System and method for providing a mobile input device
US6654001B1 (en) * 2002-09-05 2003-11-25 Kye Systems Corp. Hand-movement-sensing input device
JP4355341B2 (ja) * 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
KR101539043B1 (ko) * 2008-10-31 2015-07-24 삼성전자주식회사 인물 구도 제안 영상 촬영 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694694A (zh) * 2009-10-22 2010-04-14 上海交通大学 用于交互式演示系统中的手指识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KENJI OKA，ET AL.: "Real-Time Fingertip Tracking and Gesture Recognition", 《COMPUTER GRAPHICS AND APPLICATIONS，IEEE》, vol. 22, no. 6, 31 December 2002 (2002-12-31) *
ROSS CUTLER AND MATTHEW TURK: "View-based Interpretation of Real-time Optical Flow for Gesture Recognition", 《THIRD IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE AND GESTURE RECOGNITION，1998.PROCEEDINGS.》, 16 April 1998 (1998-04-16) *
SHAHZAD MALIK: "Real-time Hand Tracking and Finger Tracking for Interaction", 《CSC2503F PROJECT REPORT》, 18 December 2003 (2003-12-18), pages 2 - 7 *
任海兵，等: "基于视觉手势识别的研究—综述", 《电子学报》, vol. 28, no. 2, 29 February 2000 (2000-02-29), pages 118 - 121 *
杨端端，等: "手指书写汉字识别系统中的指尖检测方法", 《华南理工大学学报（自然科学版）》, vol. 35, no. 1, 31 January 2007 (2007-01-31) *

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104115192A (zh) * 2012-06-25 2014-10-22 索夫特克尼特科软件公司 三维近距离交互的改进或与其有关的改进
CN104115192B (zh) * 2012-06-25 2017-06-30 索夫特克尼特科软件公司 三维近距离交互的改进或与其有关的改进
CN103810488A (zh) * 2012-11-09 2014-05-21 阿里巴巴集团控股有限公司 图像特征提取方法、图像搜索方法、服务器、终端及系统
CN104766330A (zh) * 2013-01-28 2015-07-08 海信集团有限公司 一种图像处理方法及电子设备
CN104766330B (zh) * 2013-01-28 2017-09-12 海信集团有限公司 一种图像处理方法及电子设备
CN103970262B (zh) * 2013-02-06 2018-01-16 原相科技股份有限公司 光学式指向系统
CN103970262A (zh) * 2013-02-06 2014-08-06 原相科技股份有限公司 光学式指向系统
CN104685450B (zh) * 2013-02-07 2017-09-08 株式会社柳韩普利真 在演示系统中利用激光指示器的影像书写方法
CN104685450A (zh) * 2013-02-07 2015-06-03 株式会社柳韩普利真 在演示系统中利用激光指示器的影像书写方法
CN103197761B (zh) * 2013-03-28 2016-12-28 深圳泰山在线科技有限公司 手势识别方法及装置
CN103197761A (zh) * 2013-03-28 2013-07-10 深圳泰山在线科技有限公司 手势识别方法及装置
CN103226388A (zh) * 2013-04-07 2013-07-31 华南理工大学 一种基于Kinect的手写方法
CN103226388B (zh) * 2013-04-07 2016-05-04 华南理工大学 一种基于Kinect的手写方法
CN103208002B (zh) * 2013-04-10 2016-04-27 桂林电子科技大学 基于手轮廓特征的手势识别控制方法和系统
CN103208002A (zh) * 2013-04-10 2013-07-17 桂林电子科技大学 基于手轮廓特征的手势识别控制方法和系统
CN104699329B (zh) * 2013-12-10 2018-04-17 精工爱普生株式会社 图像显示装置、投影仪以及图像显示装置的控制方法
CN104699329A (zh) * 2013-12-10 2015-06-10 精工爱普生株式会社 图像显示装置、投影仪以及图像显示装置的控制方法
CN104299004B (zh) * 2014-10-23 2018-05-01 浙江大学 一种基于多特征融合和指尖检测的手势识别方法
CN104299004A (zh) * 2014-10-23 2015-01-21 浙江大学 一种基于多特征融合和指尖检测的手势识别方法
CN105989329A (zh) * 2014-12-11 2016-10-05 由田新技股份有限公司 检测人员使用手持装置的方法及装置
CN105787419A (zh) * 2014-12-23 2016-07-20 阿里巴巴集团控股有限公司 手掌图像的手掌检测方法及系统
CN105989365A (zh) * 2015-01-30 2016-10-05 深圳市思路飞扬信息技术有限责任公司 助视装置、助视系统及助视方法
CN105068662A (zh) * 2015-09-07 2015-11-18 哈尔滨市一舍科技有限公司 一种用于人机交互的电子设备
CN107357414A (zh) * 2016-05-09 2017-11-17 株式会社理光 一种点击动作的识别方法及点击动作识别装置
CN107357414B (zh) * 2016-05-09 2020-01-14 株式会社理光 一种点击动作的识别方法及点击动作识别装置
CN106095201B (zh) * 2016-05-30 2018-10-09 安徽慧视金瞳科技有限公司 一种投影交互系统的双击检测方法
CN106095201A (zh) * 2016-05-30 2016-11-09 安徽慧视金瞳科技有限公司 一种投影交互系统的双击检测方法
CN106326860A (zh) * 2016-08-23 2017-01-11 武汉闪图科技有限公司 基于视觉的手势识别方法
CN107801098A (zh) * 2016-08-31 2018-03-13 南京中兴新软件有限责任公司 机顶盒的指令执行方法和装置
CN107886387A (zh) * 2016-09-30 2018-04-06 阿里巴巴集团控股有限公司 采用增强现实技术提供手掌装饰虚拟图像的实现方法及其装置
CN108089693A (zh) * 2016-11-22 2018-05-29 比亚迪股份有限公司 手势识别方法及装置、智能穿戴终端及服务器
CN106599812A (zh) * 2016-12-05 2017-04-26 苏州维盟韵联网络科技有限公司 一种用于智能家居系统的3d动态手势识别方法
CN108230328A (zh) * 2016-12-22 2018-06-29 深圳光启合众科技有限公司 获取目标对象的方法、装置和机器人
US11127151B2 (en) 2016-12-22 2021-09-21 Shen Zhen Kuang-Chi Hezhong Technology Ltd Method and device for acquiring target object, and robot
CN108230328B (zh) * 2016-12-22 2021-10-22 新沂阿凡达智能科技有限公司 获取目标对象的方法、装置和机器人
CN109202886A (zh) * 2017-06-30 2019-01-15 沈阳新松机器人自动化股份有限公司 基于固定背景下的手势识别方法及系统
CN107743219A (zh) * 2017-09-27 2018-02-27 歌尔科技有限公司 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN108229324B (zh) * 2017-11-30 2021-01-26 北京市商汤科技开发有限公司 手势追踪方法和装置、电子设备、计算机存储介质
CN108229324A (zh) * 2017-11-30 2018-06-29 北京市商汤科技开发有限公司 手势追踪方法和装置、电子设备、计算机存储介质
CN109960980A (zh) * 2017-12-22 2019-07-02 北京市商汤科技开发有限公司 动态手势识别方法及装置
CN109960980B (zh) * 2017-12-22 2022-03-15 北京市商汤科技开发有限公司 动态手势识别方法及装置
US11221681B2 (en) 2017-12-22 2022-01-11 Beijing Sensetime Technology Development Co., Ltd Methods and apparatuses for recognizing dynamic gesture, and control methods and apparatuses using gesture interaction
CN108108709A (zh) * 2017-12-29 2018-06-01 纳恩博（北京）科技有限公司 一种识别方法及装置、计算机存储介质
CN108509837A (zh) * 2018-01-29 2018-09-07 上海数迹智能科技有限公司 一种基于深度图像的具有旋转不变性的指尖识别方法
CN108595005A (zh) * 2018-04-20 2018-09-28 深圳市天轨年华文化科技有限公司 基于增强现实的交互方法、装置及计算机可读存储介质
CN110826382A (zh) * 2018-08-10 2020-02-21 纬创资通股份有限公司 手势识别方法、手势识别模块及手势识别系统
CN111221407A (zh) * 2018-11-26 2020-06-02 财团法人实感交流人体感应研究团 用于多个手指的动作捕捉方法及装置
CN111526422A (zh) * 2019-02-01 2020-08-11 网宿科技股份有限公司 一种视频帧中目标对象的拟合方法、系统及设备
CN109947247A (zh) * 2019-03-14 2019-06-28 海南师范大学 一种体感交互展示系统及方法
CN109947247B (zh) * 2019-03-14 2022-07-05 海南师范大学 一种体感交互展示系统及方法
CN110046603B (zh) * 2019-04-25 2020-11-27 合肥工业大学 一种中国普乐手语编码的手势动作识别方法
CN110046603A (zh) * 2019-04-25 2019-07-23 合肥工业大学 一种中国普乐手语编码的手势动作识别方法
CN110308817A (zh) * 2019-06-10 2019-10-08 青岛小鸟看看科技有限公司 一种触控动作识别方法及触控投影系统
CN110308817B (zh) * 2019-06-10 2023-04-07 青岛小鸟看看科技有限公司 一种触控动作识别方法及触控投影系统
CN110298314A (zh) * 2019-06-28 2019-10-01 海尔优家智能科技（北京）有限公司 手势区域的识别方法及装置
CN111062312A (zh) * 2019-12-13 2020-04-24 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备
CN111062312B (zh) * 2019-12-13 2023-10-27 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备
WO2022057118A1 (zh) * 2020-09-18 2022-03-24 歌尔股份有限公司 屏幕内容的放大方法、设备及计算机可读存储介质
CN115100747A (zh) * 2022-08-26 2022-09-23 山东宝德龙健身器材有限公司 基于视觉检测的跑步机智能辅助系统
CN115761602A (zh) * 2023-01-07 2023-03-07 深圳市蓝鲸智联科技有限公司 用于车窗控制系统的视频智能识别方法

Also Published As

Publication number Publication date
CN102402680B (zh) 2014-07-30
JP2012059271A (ja) 2012-03-22
US20120062736A1 (en) 2012-03-15
JP2015222591A (ja) 2015-12-10
JP5887775B2 (ja) 2016-03-16
JP6079832B2 (ja) 2017-02-15
US8970696B2 (en) 2015-03-03

Similar Documents

Publication Publication Date Title
CN102402680B (zh) 人机交互系统中手部、指示点定位方法和手势确定方法
Zhou et al. A novel finger and hand pose estimation technique for real-time hand gesture recognition
US7515734B2 (en) Device, system and method for determining compliance with a positioning instruction by a figure in an image
CN103295016B (zh) 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法
US9002054B2 (en) Device, system and method for determining compliance with an instruction by a figure in an image
Oprisescu et al. Automatic static hand gesture recognition using tof cameras
EP2339507B1 (en) Head detection and localisation method
CN103984928A (zh) 基于景深图像的手指手势识别方法
Krejov et al. Multi-touchless: Real-time fingertip detection and tracking using geodesic maxima
CN102831439A (zh) 手势跟踪方法及系统
CN106326860A (zh) 基于视觉的手势识别方法
CN107688779A (zh) 一种基于rgbd摄像头深度图像的机器人手势交互方法和装置
US9922245B2 (en) Method and system for recognizing an object
She et al. A real-time hand gesture recognition approach based on motion features of feature points
CN105335711A (zh) 一种复杂环境下指尖检测方法
Raheja et al. Hand gesture pointing location detection
CN108614988A (zh) 一种复杂背景下的运动手势自动识别系统
CN103426000B (zh) 一种静态手势指尖检测方法
Michel et al. Gesture recognition supporting the interaction of humans with socially assistive robots
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition
Holte et al. View invariant gesture recognition using the CSEM SwissRanger SR-2 camera
Vidhate et al. Virtual paint application by hand gesture recognition system
CN108108648A (zh) 一种新型的手势识别系统装置及方法
Yang et al. Early childhood education by hand gesture recognition using a smartphone based robot
Jiang et al. A dynamic gesture recognition method based on computer vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140730

Termination date: 20200913

CF01 Termination of patent right due to non-payment of annual fee