CN103946863A - 基于动态姿态的短距离人机交互 - Google Patents

基于动态姿态的短距离人机交互 Download PDF

Info

Publication number
CN103946863A
CN103946863A CN201180075255.9A CN201180075255A CN103946863A CN 103946863 A CN103946863 A CN 103946863A CN 201180075255 A CN201180075255 A CN 201180075255A CN 103946863 A CN103946863 A CN 103946863A
Authority
CN
China
Prior art keywords
hand
attitude
gesture recognition
response
recognition engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201180075255.9A
Other languages
English (en)
Inventor
X.童
D.丁
李文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN103946863A publication Critical patent/CN103946863A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

描述了系统、装置和方法，包括响应于检测启动姿态开启姿态识别引擎并且使用姿态识别引擎在各个深度图像中确定手部姿势和手部轨迹。姿态识别引擎可以接着使用手部姿势和手部轨迹来识别动态手部姿态并且提供对应的用户接口命令。

Description

基于动态姿态的短距离人机交互
背景技术
用户体验是设计计算产品（例如智能手机、媒体板、智能电视、膝上型计算机等）的重要因素，并且人们通常优先购买具有改进用户接口（UI）的装置。假定用户体验的重要性，近年来很多强制性UI被合并到个人移动装置和电子装置中，从而提供包括例如身体控制、手部/手指姿态、语音命令、面部表情等的人机交互。例如，触摸屏UI提供敲击、放大/缩小、旋转（两点触摸）、猛推、滚动等。尽管很多现有产品提供长距离无触摸姿态控制（例如采用身体控制的游戏控制台等）或者触摸屏姿态控制，但是常规的产品没有合并短距离无触摸姿态控制。
附图说明
本文所述的材料通过示例方式而不是通过限制的方式在附图中示出。为了说明的简化和清楚，图中所示的元素不一定按比例绘制。例如，为清楚起见，一些元素的尺寸可以相对其它元素被夸大。此外，考虑适当时，参考标号在图中被重复以指示对应或者类似的元素。在图中：
图1是示例姿态识别系统的示意性示图；
图2是图1的系统的部分的示意性示图；
图3示出示例手部姿势；
图4示出若干示例图像和对应的形状特征；
图5示出示例动态手部姿态；
图6、7和8是示出示例动态姿态识别过程的流程图；并且
图9是完全根据本公开的至少一些实施方式而布置的示例系统的示意性示图。
具体实施方式
现在参考附图描述一个或多个实施例或者实施方式。在论述特定配置和布置时，应该理解，这仅为了说明性目的而进行。相关领域的技术人员将领会，在不脱离说明书的精神和范围的情况下，可以采用其它的配置和布置。对相关领域的技术人员将显而易见的是，本文所述的技术和/或布置可以还用在本文所述的系统和应用以外的各种其它系统和应用中。
在以下描述提出可以在例如此类片上系统（SoC）架构的架构中得以证明的各种实施方式时，本文所述的技术和/或布置的实施方式不限于特定架构和/或计算系统，并且可以为了类似目的而由任何架构和/或计算系统实施。例如，采用例如多个集成电路（IC）芯片和/或封装的各种架构，和/或例如机顶盒、智能电话等的各种计算装置和/或消费者电子（CE）装置，可以实施本文所述的技术和/或布置。此外，在以下描述可以提出多个特定细节（例如逻辑实施方式、系统组件的类型和相互关系、逻辑划分/集成选择等）时，请求保护的主题可以在没有此类特定细节的情况下被实践。在其它实例中，例如，比如控制结构和完全软件的指令序列的一些材料可以未被详细示出以免混淆本文公开的材料。
本文公开的材料可以在硬件、固件、软件或者它们的任何组合中被实施。本文公开的材料可以还作为存储在机器可读介质上的指令来实施，指令可以被一个或多个处理器读取并执行。机器可读介质可以包括用于以机器（例如计算装置）可读的形式存储或者传送信息任何媒介和/或机构。例如，机器可读介质可以包括只读存储器（ROM）；随机存取存储器（RAM）；磁盘存储媒介；光存储媒介、闪速存储器装置；电的、光的、声的或者其它形式的传播信号（例如载波、红外信号、数字信号等），等等。
说明书中对“一个实施方式”、“实施方式”、“实例实施方式”等的引用指示，所述实施方式可以包括特定的特征、结构或者特性，但是每个实施方式可以不一定包括该特定的特征、结构或者特性。此外，此类短语不一定是指同一实施方式。此外，在结合一个实施方式描述特定的特征、结构或者特性时，要领会，无论是否在本文明确描述，结合其它实施方式实现此类特征、结构或者特性在本领域技术人员的知识内。
图1示出根据本公开的实例系统100。在各个实施方式中，系统100可以包括以通信方式耦合到显示模块104和用户应用106的姿态识别引擎102。姿态识别引擎102包括姿态识别模块108和姿态命令模块110。显示模块104包括深度相机112和显示屏114。
如将在下面更详细解释的，姿态识别引擎102可以被用于响应于已被相机112捕获的姿态116的深度图像118识别动态手部姿态106。具体而言，姿态识别模块108可以使用要在下面更详细描述的技术来识别图像118中的姿态116，并且可以提供对应的姿态命令120给姿态命令模块110。姿态命令模块110可以接着将姿态命令120转换为可被应用106识别的对应用户接口（UI）命令122。响应于UI命令122，应用106可以实现UI渲染124，使得对应于姿态116的姿态命令120动作以例如在应用106提供的UI 126上将UI项目从左移到右。
在各个实施方式中，显示屏114可以是触摸屏显示器或者非触摸屏显示屏。此外，显示屏114可以是液晶显示（LCD）显示屏、有机发光二极管（OLED）显示屏等。在显示屏114是触摸屏显示屏的实施方式中，姿态识别引擎102可以识别在相对显示屏114的各个位置，包括极靠近显示屏114（例如几乎物理触碰到显示屏114）到离显示屏114一米或更远，出现的识别姿态116。在其它实施方式中，如果显示屏114是非触摸屏显示屏，姿态识别引擎102可以识别在从极靠近显示屏114，包括物理触碰到显示屏114，到离显示屏114一米或更远，的任何位置出现的姿态116。
在各个实施方式中，相机112可以是能够捕获静止或视频深度图像的成像装置，例如但不限于结构化光相机、渡越时间相机、立体声深度相机等。在各个实施方式中，相机112可以包括一个或多个红-绿-蓝-Z（RGB-Z）图像传感器（参见名为“Single Chip Red, Blue, Distance (RGB-Z) Sensor”的美国专利申请公开号2005/0285966）。根据本公开，相机112可以配置成捕获包括一个或多个人的环境的深度图像，并且可以具有足够的清晰度以捕获由环境中一个或多个人执行的至少一个动态姿态。
图像118可以是单色或者彩色深度视频图像，并且可以具有任何纵横比和/或图像清晰度。在一些非限制性实例中，图像118可以具有640x480像素（例如4:3纵横比）的视频图形阵列（VGA）清晰度或者1280x720像素或1920x1080像素（例如16:9纵横比）的高清（HD）清晰度等。本公开不限于与图像118相关联的任何特定数据格式、图像清晰度、图像纵横比等。
如将在下面要更详细解释的，在各个实施方式中，姿态116可以是任何类型的动态手部姿态，包括姿态识别引擎102被训练来识别的与各种手部运动轨迹相结合的一个或多个手部姿势。此外，UI 126可以是由应用106提供的任何类型的UI，并且被配置使得由姿态识别引擎102识别的任何动态手部姿态可以对应于由应用106识别的UT命令122。例如，为说出一些非限制性实例的名称，UI 126可以具有包括图像浏览器、封面流、3D桶、视觉电子编程指南（EPG）的许多公知UI格式中的任何格式。在各个非限制性示例中，姿态116可以是移动姿态、放大/缩小姿态和/或旋转姿态，如将在下面更详细解释的。 
图2根据本公开更详细地示出了系统100的姿态识别模块108。在各个实施方式中，姿态识别模块108可以包括：以通信方式耦合到手部追踪模块204的手部检测模块202，以通信方式耦合到手部追踪模块204的姿态标识模块206，以及以通信方式耦合到姿态标识模块206的开始/结束模块208。
在各个实施方式中，手部检测模块202可以配置成接收来自相机112的深度图像118，并且在手部以特定范围的深度值出现在相机112的视野内时（例如在手部在相机112一米以内时），或者在手部在后续手部追踪期间失踪时，检测到至少一个手部。在各个实施方式中，供手部检测模块202检测手部的准则可以包括在显示屏114或者相机112前面手部在某个深度阈值（例如小于一米）内的出现，其中手部处于闭合姿势。例如，图3根据本公开描绘了各种示例手部姿势300，包括打开姿势301、闭合姿势302、握紧姿势304、拇指朝上姿势306、拇指朝下姿势308、拇指朝左姿势310和拇指朝右姿势312。当然，图像300仅是根据本公开的手部姿势类型的示例，并且这些示例不旨在作为可以根据本公开被使用的手部姿势类型的穷尽列表。
根据本公开，手部检测模块202可以包括手部检测代码（或者指令集合），其一般可操作成接收标准格式的深度图像（例如RGB彩色深度图像），并且标识（至少到某个程度）图像中的手部。此类已知的手部检测系统包括对象识别的计算机视觉系统、3-D重构系统、2D Haar小波响应系统（以及其派生系统）、基于肤色的方法、基于形状的检测、面部识别方案（以及其扩展和/或派生方案）等。在各个实施方式中，手部检测模块202可以采用加速鲁棒特征（SURF）识别技术（参见Bay等人的“Surf: Speed up robust features”, Computer Vision and Image Understanding (CVIU), 110(3), 第346-359页, 2008）来定义深度图像中的手部区域。
根据本公开，手部追踪模块204可以一般配置成通过深度图像序列（例如相机112以例如每秒24帧捕获的视频帧序列）追踪手部区域（由手部检测模块202定义），并且记录对应的手部轨迹。手部追踪模块204可以包括手部追踪代码（或者指令集合），其一般可操作成接收一系列图像（例如RGB彩色深度图像），并且追踪（至少到某个程度）手部区域在该系列图像中的运动。此类已知的追踪系统包括粒子滤波、光流、卡尔曼滤波等，其每一个可以采用边缘分析、平方差和分析、特征点分析等。
在各个实施方式中，在手部追踪由手部追踪模块204进行，手部图标（图1中未示出）可以被绘制在显示屏114上，以通知系统100的用户手部追踪的状态（例如图标可以消失或者被改变以指示手部追踪已经失踪）。如果手部追踪失踪，用户可以以闭合姿势302向前推动他/她的手部，以便使用手部检测模块202重新启动手部追踪从而检测用户的手部。
在各个实施方式中，手部追踪模块204可以采用色调饱和度深度（HSD）直方图作为图像特征，并且利用均值偏移分析技术来追踪移动的手部。使用这些技术，手部追踪模块204可以生成包括手部的束缚框、中心点、运动历史和/或观察状态的信息。
在各个实施方式中，手部追踪模块204采用的均值偏移分析可以使用概率密度的梯度来以迭代方式获得正被追踪的对象（例如手部）的密度中心。在每次迭代中，对象位置可以使用以下公式被更新并且可以继续直到收敛：
                 方程（1）
                方程（2）
                方程（3）
其中，p(x,y,z)代表模型的HSD直方图和图像观察HSD直方图间的在点(x,y,z)的相关。在一些实施方式中，原始图像（接收自手部检测模块202）可以被转换为另一彩色空间（例如色调饱和度值（HSV）），使得彩色直方图可以被更容易地提取。
在各个实施方式中，手部追踪模块204可以实施皮肤分割技术来标识图像的手部区域（由手部检测模块202定义）内的手部的肤色。为此，手部追踪模块204可以包括肤色标识代码（或者指令集合），其一般可操作成区分肉色或肤色和手部区域的其它区域。此类已知的皮肤标识系统包括在色调饱和度彩色分量上设阈值、HSV彩色统计、彩色纹理建模等。例如，在一些实施方式中，手部追踪模块204可以使用广义统计肤色模型，例如多变量高斯模型，来标识图像中与手部对应的部分。在其它实施方式中，手部追踪模块204可以配置成使用与深度图像中的像素相关联的深度信息来标识（分割）深度图像中的手部。
除了规定手部的束缚框、中心点、运动历史和/或观察状态的信息以外，手部追踪模块204还可以生成深度图像（或者其部分）的二进制版本，其中例如对应于手部的像素被分配二进制值1（例如白色），而余下像素被分配二进制值0（例如黑色）。例如，图4描绘了根据本公开的各种示例图像400，包括可以由手部追踪模块204生成的项目。如在图4的示例中所示，对于包括手部区域402（如可以由手部检测模块202生成的）的输入RGB图像，手部追踪模块204可以生成二进制的所分割图像404，其包括围绕所分割手部部分403的束缚框406。尽管在图4中被描绘为矩形，但是在各个实施方式中，束缚框406可以是各种形状，包括圆圈、椭圆、方形和/或其它规则或不规则形状，这取决于例如出现在图像404中的手部部分403的几何形状。
根据本公开，姿态识别模块108可以还包括姿态标识模块206，其一般配置成标识手部追踪模块204生成的二进制图像中手部的一个或多个形状特征，并且使用那些形状特征和手部追踪模块204提供的运动轨迹信息来标识动态手部姿态。
姿态标识模块206标识的形状特征可以一般包括二进制图像中的手部形状的内在属性和/或“标记”，并且可以被用于标识图像中的手部姿态。形状特征可以包括例如偏心、致密性、方位、矩形性、宽度中心、高度中心、最小框角度、最小框宽度、缺陷数量、束缚框左右部分间的差别和/或束缚框顶部和底部间的差别。结果，姿态标识模块206可以规定与手部区域403相关联的11维形状特征。
如在图4中所示并且基于束缚框406，姿态标识模块206可以配置成确定束缚框406内的手部区域403的偏心、矩形性、致密性和中心，并且还确定手部区域403的面积为束缚框406中的白色像素的计数，并且确定手部区域403的轮廓或者周长408为在手部区域403边缘的那些白色像素（例如束缚框406中直接邻接黑色像素的白色像素）的计数。偏心可以被确定为束缚框406的宽度乘以束缚框406的高度；矩形性可以确定为手部区域403的面积除以束缚框406的面积；并且致密性可以被确定为周长408的平方除以手部区域403的面积。此外，手部标识模块206还可以配置成确定手部区域403的中心410，其中中心410可以被确定为束缚框406沿水平轴线（例如x轴线）和垂直轴线（例如y轴线）的中间。
姿态标识模块206可以还配置成确定沿轮廓408出现的缺陷412的数量。缺陷412可以被定义为凸面的局部缺陷，例如凹面区域具有一个或多个凸起像素的像素位置。姿态标识模块206可以还配置成确定包围轮廓408的最小形状414。最小形状（例如在这个实施方式中的矩形或者“最小框”）可以通过图像中的最左、最右、最高和最低白色像素定义，并且如图所示，可以相对图像的轴线倾斜。最小形状414相对图像404的水平轴线的角度可以由姿态标识模块206确定，并且可以被用于确定图像404内的手部区域403的方位416。如本文中所示，方位416可以被定义为从最小形状414的中心取的并且垂直于最小形状414的宽度。此外，姿态标识模块206可以确定定义为最小形状414宽度除以最小形状414高度的最小形状414的宽高比。
姿态标识模块206可以还配置成将束缚框406分成多个实质相等的段418，如图4所示。在这个示例中，束缚框406被分成标为A、B、C和D的四个相等矩形子框。基于段418，姿态标识模块206可以还配置成确定每个段418中的白色像素的数量、图像左右段中白色像素数量之差（例如(A+C)-(B+D)）以及图像的顶部底部段中白色像素数量之差（例如(A+B)-(C+D)）。
表1提出上文所述的11个示例特征分量：
特征 获得自：
偏心 束缚框宽度/束缚框高度
矩形性 面积/（束缚框宽度*束缚框高度）
致密性 （周长*周长）/面积
方位 获得自所分割二进制图像的力矩
中心_x 中心_x/束缚框宽度
中心_y 中心_y/束缚框高度
缺陷_数量 所分割二进制图像中的缺陷的数量
最小框_角度 最小框的长轴线的角度
最小框_宽度_高度_比 最小框宽度/最小框高度
左_右_差 (A+C)-(B+D)
上_下_差 (A+B)-(C+D)
表1：示例特征分量
姿态标识模块206的操作的前述示例以及所述形状特征不旨在是穷尽列表，在确定图像中的手部姿态时上文所述的所有形状特征也不是有用或者必需的。因此，在一些实施方式中并且对于其它手部姿势，额外的形状特征可以被确定或者所述形状特征的子集可以被确定。
在各个实施方式中，响应于标识如上所述的形状特征，姿态标识模块206可以执行各种识别技术来将手部的姿势分类（例如作为图3中的打开姿势301、闭合姿势302、握紧姿势304等）。为此，姿态标识模块206可以包括姿势识别代码（或者指令集合），其一般可操作成标识图像中的手部姿势。可以根据本公开的教导被使用的已知识别技术包括例如模式识别系统、Perseus模型（及其派生模型），隐藏式马尔可夫模型（及其派生模型）、支持矢量机、线性区别分析、判决树等。
例如，在各个实施方式中，姿态标识模块206可以使用公知的人工神经多层感知（MLP）分析技术来基于上文所述的11维形状特征识别手部姿势。例如姿态标识模块206采用的MLP分析可以使用前馈神经网络以迭代方式映射一个或多个输入到一个或多个输出，前馈神经网络通过区分不是线性可分离的数据来对标准线性感知模型作出改进。在这个示例中，到MLP模型的输入可以包括姿态标识模块206生成的一个或多个形状特征，其中每个形状特征对应于神经网络的输入节点。
在各个实施方式中，在确定手部姿势之后，姿态标识模块206可以基于标识的手部姿势结合手部追踪模块204提供的手部运动轨迹信息来识别动态手部姿态。为此，姿态标识模块206可以采用运动能量技术（参见例如R. Rosales和S. Sclaroff, "3D Trajectory Recovery for Tracking Multiple Objects and Trajectory Guided Recognition of Actions", Proc. IEEE Conf. on Computer Vision and Pattern Recognition (1999年6月)）来找到时间的段点，并且接着可应用隐藏式马尔可夫模型（HMM）技术（参见例如M. Elerzain等人, "A Hidden Markov Modeling Based Continuous Gesture Recognition System for Hand Motion Trajectory", 19th International Conference on Pattern Recognition (ICRR), 第1-4页(2008)）以确定手部的轨迹。姿态标识模块206可以接着基于手部姿势和轨迹确定所标识的动态手部姿态对应于哪种类型的预先定义的动态手部姿态，若有的话。
在各个实施方式中，在执行HMM技术来识别动态姿态时，姿态标识模块206可以基于包含N个图像帧的视频序列确定运动特征，其中对于每个帧，6维运动特征可以被确定，其中t是序列中的时间戳；dxt、dyt和dzt是当前时间戳和前一时间戳间的位置差别；并且、和是当前时间戳和开始时间戳间的累积位置差别。在各个实施方式中，对于每个HMM模型，除了两个非发出状态（例如对应于初始状态和最终状态）以外还可以设置五个状态，并且除了左右连接结构外可以应用十高斯混合。在各个实施方式中，还可以应用阈值，以拒绝不属于任何预先定义的类型的所检测动态手部姿态。因此，对于具有最佳概率的最佳类标签，如果小于阈值，所检测动态手部姿态由于不是预先定义类型中之一而可以作为非法姿态被拒绝。
对于超出阈值的每个所检测动态姿态，姿态标识模块206可以将动态手部姿态的手部姿势和运动特征与预先定义的动态手部姿态的手部姿势和运动特征的数据库作比较。例如，图5根据本公开描绘了可被姿态标识模块206标识的各种预先定义的动态手部姿态500和对应的UI命令。如在图5的示例中所示，根据本公开的预先定义的动态手部姿态包括但不限于：包括在打开或闭合姿势中的手部的z/深度方向向前或向后的运动的放大/缩小姿态502，其可以被识别为对应于放大/缩小命令504；包括在打开或闭合姿势中的手部的顺时针或者逆时针运动的旋转姿态506，其可以被识别为对应于旋转命令508；以及，包括从在一个位置的打开或者闭合到紧握并且在恢复手部姿势到打开或者闭合之前在保持紧握姿势的同时接着移到另一位置的手部改变姿势的移动姿态510，其可以被识别为对应于移动命令512。
尽管没有在图5中描绘，但是姿态标识模块206识别的额外手部姿态可以包括但不限于：敲击姿态，其中在打开或者闭合姿势中的手部静止地保持位置预先定义的间隔（例如三秒）。此外，姿态标识模块206可以一般配置成识别预先定义的开始或者启动手部姿态，其可以被开始/结束模块208用于启动姿态识别引擎102的操作。例如，与敲击姿态类似，开始或者启动手部姿态可以包括在打开或者闭合姿势中的静止地保持位置预先定义的间隔（例如三秒）的手部。在各个实施方式中，在识别启动姿态时，姿态识别引擎102可以开始追踪每个连续帧中的手部，以便标识手部姿势，记录运动轨迹，识别对应的动态手部姿态，并且提供对应的UI命令112给应用106，如本文所述。在其它实施方式中，姿态识别引擎102可以以规定的时间间隔（例如三秒）而不是以每帧检测手部。
姿态识别引擎102还可以一般配置成识别预先定义的结束或者终止姿态，其可以被开始/结束模块208用于结束或者延缓姿态识别引擎102的操作。例如，预先定义的终止姿态可以包括彼此交叉放置的两个手部。在各个实施方式中，在检测和识别停止姿态之后，姿态识别引擎102可以保持在睡眠模式，直到检测到后续启动姿态。
姿态识别模块108的姿态命令输出可以包括信号或数据集合，其指示标识的动态手部姿态的类型。这又可以被姿态命令模块110用来生成可以被应用106识别的UI命令122，以实现对应的UI动作，例如放大/缩小、旋转、移动等。
图6示出了根据本公开的各个实施方式的用于动态姿态识别的示例过程600的流程图。过程600可以包括如由图6中的框602、604、606、608、610、612、614和616中之一或多个所示的一个或多个操作、功能或者动作。通过非限制性示例的方式，过程600在本文中将针对图1和2中的示例系统100来描述。
过程600可以开始于在框602检测启动姿态，其后面是在604的姿态识别引擎的启动。例如，如先前所述，姿态识别模块108可以检测在框602的启动姿态，并且开始/停止模块208可以因此启动姿态识别引擎102的操作以随后识别一个或多个动态手部姿态，如本文所述。
在框606，可以确定手部姿势。例如，如先前所述，一旦姿态识别引擎102已被启动，姿态识别模块108可以进行框606，如本文所述。例如，图7示出了根据本公开的各个实施方式的用于确定手部姿势的示例过程700的流程图。过程700可以包括如由图7的框702、704、706和708中之一或多个所示的一个或多个操作、功能或者动作。通过非限制性示例的方式，过程700在本文中将针对图1和2中的示例系统100来描述。
过程700可以开始于在框702在至少一个图像中检测手部，其后面是在框704响应于手部的检测而将那个图像分割为包括手部区域的二进制图像。例如，如先前所述，手部检测模块202可以进行框702，并且手部追踪模块204可以进行框704。在框706，可以在手部区域中确定至少一个形状特征，并且在框708，可以使用人工神经MLP分析来确定与该至少一个形状特征对应的类。例如，如先前所述，姿态识别模块206可以通过标识形状特征，如图4的示例中所示，包括偏心、致密性、方位、矩形性、宽度中心、高度中心、最小框角度、最小框宽度、缺陷数量、左右部分间的差别和/或顶部和底部间的差别，来进行框706。姿态识别模块206可以接着使用MLP分析来进行框708以分类一个或多个形状特征。
返回图6的论述，过程600可以在框608继续，其中可以确定手部轨迹。例如，如先前所述，姿态识别模块108可以进行框608。例如，图8示出了根据本公开的各个实施方式的用于确定手部轨迹的示例过程800的流程图。过程800可以包括如由图8的框802和804中之一或多个所示的一个或多个操作、功能或者动作。通过非限制性示例的方式，过程800在本文中将针对图1和2中的示例系统100来描述。
过程800可以开始于在框802的多个HSD直方图的确定。过程800可以接着在框804结束，其中可以响应于多个HSD直方图使用均值偏移分析来追踪移动的手部。例如，如先前所述，姿态标识模块206可以进行框802和804。
返回图6的论述，过程600可以在框610继续，其中可以基于分别在框606和608确定的手部姿势和手部轨迹来确定动态手部姿态。例如，如先前所述，姿态标识模块206可以使用HMM来进行框610，以标识动态手部姿态（例如移动、放大/缩小或者旋转，如图5中所示），并且生成对应的姿态命令120。在框612，可以响应于确定动态手部姿态提供用户接口命令。例如，如先前所述，姿态命令模块110可以通过提供UI命令122给应用106来进行框612，其中UI命令112对应于在框610确定的特定动态手部姿态。
过程600可以接着在框614结束，其中终止姿态可以被检测到，并且作为响应，可以在框616关闭姿态识别引擎。例如，如先前所述，姿态识别模块108可以在框614检测终止姿态，并且开始/停止模块208可以因此在框616终止或者延缓姿态识别引擎102的操作。
虽然如图6、7和8所示的示例过程600、700和800的实施方式可以包括进行按所示顺序示出的所有框，但是本公开不被限制在这点上，在各个示例中，过程600、700和800的实施方式可以包括仅进行所示框的子集和/或与所示顺序不同的顺序进行。
此外，图6、7和8中框的任何一个或多个可以响应于一个或多个计算机程序产品提供的指令来进行。此类程序产品可以包括提供指令的信号承载介质，指令在被例如处理器执行时可以提供本文所述的功能性。计算机程序产品可以以任何形式的计算机可读介质来提供。因此，例如包括一个或多个处理器核的处理器可以响应于由计算机可读介质传递给处理器的指令而进行图6、7和8中所示的一个或多个框。
既然前述示例和实施方式描述了相机112作为RGB图像而捕获的图像，那么其它彩色空间可以与本文的教导一致地被使用。例如，YUV、灰度级、红外的、xyz、uvw、Luv Lab和/或其它已知的或者以后开发的彩色空间规范可以被使用。
如本文所述的任何实施方式中所用的，术语“模块”和/或“引擎”指的是配置成提供本文所述功能性的软件、固件和/或硬件的任意组合。软件可以作为软件包、代码和/或指令集或者指令来包含，并且如本文所述的任何实施方式中所用的“硬件”可以例如包括（单独地或者任意组合地）硬连线电路、可编程电路、状态机电路和/或存储可编程电路执行的指令的固件。模块可以被共同地或者单独地作为形成更大系统的部分的电路，例如集成电路（IC）、片上系统（SoC）等，而包含。
图9示出了根据本公开的示例计算系统900。系统900可以被用于执行本文所论述的各个功能中的一些或者全部，并且可以包括能够进行本文中根据本公开的各个实施方式本文所述的过程的任何装置或者装置集合。例如，系统900可以包括计算平台或者装置，例如膝上型计算机、移动或者平板计算机、智能手机、机顶盒等，的所选组件，尽管本公开不被限制在这点上。在一些实施方式中，系统900可以包括在例如CE装置中基于架构（IA）的SoC或者计算平台。本领域技术人员将易于领会，在不脱离本公开的范围的情况下，本文所述的实施方式能够与备选的处理系统一起使用。
计算系统900可以包括主系统902、总线916、显示器918、网络接口920和成像装置922。主系统902可以包括处理器904、芯片集906、主存储器908、图形子系统910和存储装置912。处理器904可以包括一个或多个处理器核，并且可以是能够执行软件指令和/或处理数据信号的任何类型的处理器逻辑。在各个示例中，处理器904可以包括实施指令集的任何组合或者类型的复杂指令集计算机（CISC）处理器核、精减指令集计算机（RISC）微处理器核、极长指令字（VLIW）微处理器核和/或任何数量的处理器核。在一些实施方式中，处理器904可以能够进行数字信号处理和/或微控制器处理。
处理器904可以包括解码器逻辑，其可以用于将例如芯片集906和/或图形子系统910接收的指令解码为控制信号和/或微代码入口点。此外，响应于控制信号和/或微代码入口点，芯片集906和/或图形子系统910可以执行对应的操作。在各个实施方式中，处理器904可以配置成进行本文所述的任何过程，包括针对图6、7和8所述的示例过程。在各个实施方式中，代码和/或指令集或指令由处理器904的执行可以提供系统100的姿态识别引擎102。
芯片集906可以在处理器904、主存储器908、存储装置912、图形子系统910和总线916中提供相互通信。例如，芯片集906可以包括能够与存储装置912提供相互通信的存储装置适配器（未示出）。例如，存储装置适配器可以能够依照包括但不限于以下的多个协议中的任何协议与存储装置912通信：小计算机系统接口（SCSI）、纤维管路（FC）和/或串行高级技术附连（S-ATA）协议。在各个实施方式中，芯片集906可以包括如下逻辑：能够在主存储器908内，或者在网络接口920和主存储器908之间，或者一般在系统900中的任何组组件之间，传递信息。
主存储器908可以被实施为例如但不限于以下的易失性存储装置：随机存取存储器（RAM）、动态随机存取存储器（DRAM）或者静态RAM（SRAM）等。存储装置912可以被实施为例如但不限于以下的非易失性存储装置：磁盘驱动、光盘驱动、磁带驱动、内部存储装置、附连存储装置、闪速存储器、蓄电池备用的SDRAM（同步DRAM）和/或网络可存取存储装置等。
存储器908可以存储由数据信号表示的指令和/或数据，其可以被处理器904在进行本文所述的任何过程，包括针对图6、7和8所述的示例过程，时执行。例如，主存储器908可以存储与预先定义的动态姿态的形状特征、手部姿势和手部轨迹等相对应的数据。在一些实施方式中，存储装置912可以还存储此类项目。
图形子系统910可以执行例如静止或者视频图像的图像的处理以供显示。例如，在一些实施方式中，图形子系统910可以执行输入视频信号的视频编码或者解码。模拟或者数字接口可以被用于以通信方式耦合图形子系统910和显示器918。例如，接口可以是符合高清多媒体接口、显示端口、无线HDMI和/或无线HD之一的技术。在各个实施方式中，图形子系统910可以被集成到处理器904或者芯片集906。在一些别的实施方式中，图形子系统910可以是以通信方式耦合到芯片集906的独立卡。
总线916可以在至少以下之中提供相互通信：主系统902、网络接口920、成像装置922以及例如键盘、鼠标等的其它外围装置（未示出）。总线916可以支持串行或者并行通信。总线916可以支持节点到节点或者节点到多节点的通信。总线916可以至少符合：外围组件互连（PCI）规范，例如在可从PCI专门兴趣组,波特兰,俄勒冈州,美国（及其修订版）得到的外设部件互连(PCI)本地总线规范,修订版3.0,2004年2月2日所述；PCI Express，在PCI专门兴趣组的PCI Express基本规范,修订版1.0a（及其修订版）中所述；PCI-x，在从前述PCI专门兴趣组,波特兰,俄勒冈州,美国（及其修订版）可得到的PCI-X规范版本1.1,2005年3月28日中所述；和/或通用串行总线（USB）（以及相关标准）以及其它互连标准。
网络接口920可以能够在主系统902和网络（未示出）之间根据例如有线或无线技术的任何可应用协议提供相互通信。例如，网络接口920可以符合任意种类的IEEE通信标准，例如802.3、802.11或者802.16。网络接口920可以使用总线916与主系统902相互通信。在一些实施方式中，网络接口920可以被集成到芯片集906。
显示器918可以是任何类型的显示装置和/或显示板。例如，显示器918可以是液晶显示器（LCD）、等离子显示板（PDP）、有机发光二极管（OLED）显示器等。在一些实施方式中，显示器918可以是投影显示器（例如微微投影仪显示器等）、微显示器等。在各个实施方式中，显示器918可以被用于显示如由使用本文所述技术识别的动态手部姿态规定的UI执行动作。在各个实施方式中，显示器918可以对应于系统100的显示模块104。
成像装置922可以是任何类型的成像装置，例如数字相机、蜂窝电话相机、红外（IR）相机等。成像装置922可以包括一个多个图像传感器（例如电荷耦合器件（CCD）或者互补性金属氧化物半导体（CMOS）图像传感器）。成像装置922可以捕获彩色或者单色深度图像。在各个实施方式中，成像装置922可以对应于系统100的相机112，并且可以捕获深度图像并通过总线916和芯片集906提供那些深度图像给处理器904以供动态手部姿态识别处理，如本文所述。
在一些实施方式中，系统900可以通过I/O总线（未示出）与图9中未示出的各个I/O装置通信。此类I/O装置可以包括但不限于例如通用异步接收器/发送器（UART）装置、USB装置、I/O扩展接口或者其它I/O装置。在各个实施方式中，系统900可以表示用于进行移动、网络和/或无线通信的系统的至少部分。
既然已经针对各个实施方式描述了本文提出的某些特征，这个描述不旨在以限制意义进行解释。因此，对本文所述的实施方式的各种修改，以及对本公开涉及的领域的技术人员来说显而易见的其它实施方式，旨在位于本公开的精神和范围之内。

Claims (30)

1. 一种用于识别动态手部姿态的计算机实施的方法，包括：
检测启动姿态；
响应于检测所述启动姿态，开启姿态识别引擎；
使用所述姿态识别引擎，在多个图像的至少一个图像中确定手部姿势；
使用所述姿态识别引擎，在所述多个图像中确定手部轨迹；
使用所述姿态识别引擎，响应于所述手部姿势和所述手部轨迹确定动态手部姿态；和
使用所述姿态识别引擎，响应于确定所述动态手部姿态提供用户接口命令。
2. 如权利要求1所述的方法，其中，确定手部姿势包括：
在所述至少一个图像中检测手部；
响应于检测所述手部，将所述至少一个图像分割为包括手部区域的二进制图像；和
在所述手部区域中确定至少一个形状特征。
3. 如权利要求2所述的方法，还包括：
使用人工神经多层感知（MLP）分析，确定与所述至少一个形状特征相对应的类。
4. 如权利要求2所述的方法，其中，所述至少一个形状特征包括以下中至少之一：偏心、致密性、方位、矩形性、宽度中心、高度中心、最小框角度、最小框宽度、缺陷数量、左右部分间的差别或者顶部和底部形状特征间的差别。
5. 如权利要求2所述的方法，其中，所述至少一个形状特征包括包含以下的11维形状特征：偏心、致密性、方位、矩形性、宽度中心、高度中心、最小框角度、最小框宽度、缺陷数量、左右部分间的差别以及顶部和底部形状特征间的差别。
6. 如权利要求2所述的方法，其中，检测手部包括使用级联加速鲁棒特征（SURF）检测器来检测手部。
7. 如权利要求6所述的方法，其中，使用级联SURF检测器来检测手部包括使用所述级联SURF检测器来在所述手部位于显示器一米以内时检测到所述手部。
8. 如权利要求1所述的方法，其中，确定手部轨迹包括：
确定多个色调饱和度深度（HSD）直方图；和
使用均值偏移分析，响应于所述多个HSD直方图追踪移动手部。
9. 如权利要求1所述的方法，其中，确定动态手部姿态包括应用隐藏式马尔可夫模型（HMM）来标识所述动态手部姿态。
10. 如权利要求9所述的方法，其中，所述HMM包括五个状态、十高斯混合和左右连接结构。
11. 如权利要求1所述的方法，还包括：
检测终止姿态；和
响应于检测所述终止姿态关闭所述姿态识别引擎。
12. 一种包括计算机程序产品的物品，所述计算机程序产品具有存储在其内的指令，所述指令如果被执行则导致：
检测启动姿态；
响应于检测所述启动姿态，开启姿态识别引擎；
使用所述姿态识别引擎，在多个图像的至少一个图像中确定手部姿势；
使用所述姿态识别引擎，在所述多个图像中确定手部轨迹；
使用所述姿态识别引擎，响应于所述手部姿势和所述手部轨迹确定动态手部姿态；和
使用所述姿态识别引擎，响应于确定所述动态手部姿态提供用户接口命令。
13. 如权利要求12所述的物品，其中，确定手部姿势包括：
在所述至少一个图像中检测手部；
响应于检测所述手部，将所述至少一个图像分割为包括手部区域的二进制图像；和
在所述手部区域中确定至少一个形状特征。
14. 如权利要求13所述的物品，其中，所述至少一个形状特征包括以下中至少之一：偏心、致密性、方位、矩形性、宽度中心、高度中心、最小框角度、最小框宽度、缺陷数量、左右部分间的差别或者顶部和底部形状特征间的差别。
15. 如权利要求13所述的物品，其中，检测手部包括使用级联加速鲁棒特征（SURF）检测器来检测手部。
16. 如权利要求15所述的物品，其中，使用级联SURF检测器来检测手部包括使用所述级联SURF检测器来在所述手部位于显示器一米以内时检测到所述手部。
17. 如权利要求12所述的物品，其中，确定手部轨迹包括：
确定多个色调饱和度深度（HSD）直方图；和
使用均值偏移分析，响应于所述多个HSD直方图追踪移动手部。
18. 如权利要求12所述的物品，其中，确定动态手部姿态包括应用隐藏式马尔可夫模型（HMM）来标识所述动态手部姿态。
19. 一种设备，包括：
处理器，配置成：
检测启动姿态；
响应于检测所述启动姿态，开启姿态识别引擎；
使用所述姿态识别引擎，在多个图像的至少一个图像中确定手部姿势；
使用所述姿态识别引擎，在所述多个图像中确定手部轨迹；
使用所述姿态识别引擎，响应于所述手部姿势和所述手部轨迹确定动态手部姿态；和
使用所述姿态识别引擎，响应于确定所述动态手部姿态提供用户接口命令。
20. 如权利要求19所述的设备，其中，为确定所述手部姿势，所述处理器配置成：
在所述至少一个图像中检测手部；
响应于检测所述手部，将所述至少一个图像分割为包括手部区域的二进制图像；和
在所述手部区域中确定至少一个形状特征。
21. 如权利要求20所述的设备，其中，所述至少一个形状特征包括以下中至少之一：偏心、致密性、方位、矩形性、宽度中心、高度中心、最小框角度、最小框宽度、缺陷数量、左右部分间的差别或者顶部和底部形状特征间的差别。
22. 如权利要求20所述的设备，其中，为检测所述手部，所述处理器配置成使用级联加速鲁棒特征（SURF）检测器。
23. 如权利要求19所述的设备，其中，为确定所述手部轨迹，所述处理器配置成：
确定多个色调饱和度深度（HSD）直方图；和
使用均值偏移分析，响应于所述多个HSD直方图追踪移动手部。
24. 如权利要求19所述的设备，其中，为确定所述动态手部姿态，所述处理器配置成应用隐藏式马尔可夫模型（HMM）。
25. 一种系统，包括：
成像装置；和
计算系统，其中所述计算系统以通信方式耦合到所述成像装置，并且其中响应于接收自所述成像装置的深度图像，所述计算装置将：
检测启动姿态；
响应于检测所述启动姿态，开启姿态识别引擎；
使用所述姿态识别引擎，在多个图像的至少一个图像中确定手部姿势；
使用所述姿态识别引擎，在所述多个图像中确定手部轨迹；
使用所述姿态识别引擎，响应于所述手部姿势和所述手部轨迹确定动态手部姿态；和
使用所述姿态识别引擎，响应于确定所述动态手部姿态提供用户接口命令。
26. 如权利要求25所述的系统，其中，为确定所述手部姿势，所述计算系统将：
在所述至少一个图像中检测手部；
响应于检测所述手部，将所述至少一个图像分割为包括手部区域的二进制图像；和
在所述手部区域中确定至少一个形状特征。
27. 如权利要求26所述的系统，其中，所述至少一个形状特征包括以下中至少之一：偏心、致密性、方位、矩形性、宽度中心、高度中心、最小框角度、最小框宽度、缺陷数量、左右部分间的差别以及顶部和底部形状特征间的差别。
28. 如权利要求26所述的系统，其中，为检测所述手部，所述计算系统将使用级联加速鲁棒特征（SURF）。
29. 如权利要求25所述的系统，其中，为确定所述手部轨迹，所述计算系统将：
确定多个色调饱和度深度（HSD）直方图；和
使用均值偏移分析，响应于所述多个HSD直方图追踪移动手部。
30. 如权利要求26所述的系统，其中，为确定所述动态手部姿态，所述计算系统将应用隐藏式马尔可夫模型（HMM）。
CN201180075255.9A 2011-11-01 2011-11-01 基于动态姿态的短距离人机交互 Pending CN103946863A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/081656 WO2013063767A1 (en) 2011-11-01 2011-11-01 Dynamic gesture based short-range human-machine interaction

Publications (1)

Publication Number Publication Date
CN103946863A true CN103946863A (zh) 2014-07-23

Family

ID=48191198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180075255.9A Pending CN103946863A (zh) 2011-11-01 2011-11-01 基于动态姿态的短距离人机交互

Country Status (3)

Country Link
US (1) US9164589B2 (zh)
CN (1) CN103946863A (zh)
WO (1) WO2013063767A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105849673A (zh) * 2014-01-07 2016-08-10 索夫特克尼特科软件公司 基于自然三维手势的人机导览方法
CN109144369A (zh) * 2018-09-21 2019-01-04 维沃移动通信有限公司 一种图像处理方法及终端设备
CN109711389A (zh) * 2019-01-16 2019-05-03 华南农业大学 一种基于Faster R-CNN和HMM的哺乳母猪姿态转换识别方法
CN110134028A (zh) * 2018-02-09 2019-08-16 西门子公司 控制装置、设备及其方法
CN111095164A (zh) * 2017-06-20 2020-05-01 大众汽车有限公司 用于依据姿态来检测用户输入的方法和设备
CN111913574A (zh) * 2020-07-15 2020-11-10 北京字节跳动网络技术有限公司 用于控制设备的方法、装置、电子设备和计算机可读介质
CN113093909A (zh) * 2015-12-31 2021-07-09 微软技术许可有限责任公司 使用姿态语言离散值的手部姿态的检测

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5914962B2 (ja) * 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
CN103946863A (zh) 2011-11-01 2014-07-23 英特尔公司 基于动态姿态的短距离人机交互
EP2797796A4 (en) * 2011-12-29 2015-09-16 Intel Corp SYSTEMS, METHOD AND DEVICE FOR CONTROLLING GESTURE INITIATIONS AND TERMINATIONS
US9704027B1 (en) * 2012-02-27 2017-07-11 Amazon Technologies, Inc. Gesture recognition
US9536135B2 (en) 2012-06-18 2017-01-03 Microsoft Technology Licensing, Llc Dynamic hand gesture recognition using depth data
EP2872967B1 (en) 2012-07-13 2018-11-21 Sony Depthsensing Solutions SA/NV Method and system for detecting hand-related parameters for human-to-computer gesture-based interaction
EP2698686B1 (en) * 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof
TW201415291A (zh) * 2012-10-08 2014-04-16 Pixart Imaging Inc 基於物件追蹤的手勢辨識方法及系統
KR20140063272A (ko) * 2012-11-16 2014-05-27 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US10185416B2 (en) * 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US10126820B1 (en) * 2012-11-29 2018-11-13 Amazon Technologies, Inc. Open and closed hand detection
US20140181710A1 (en) * 2012-12-26 2014-06-26 Harman International Industries, Incorporated Proximity location system
USD731550S1 (en) * 2013-01-04 2015-06-09 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated icon
USD732077S1 (en) * 2013-01-04 2015-06-16 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated icon
US20140204013A1 (en) * 2013-01-18 2014-07-24 Microsoft Corporation Part and state detection for gesture recognition
US9275277B2 (en) * 2013-02-22 2016-03-01 Kaiser Foundation Hospitals Using a combination of 2D and 3D image data to determine hand features information
USD748136S1 (en) * 2013-02-23 2016-01-26 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
US9829984B2 (en) 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
WO2015001546A1 (en) * 2013-07-01 2015-01-08 Inuitive Ltd. Rotating display content responsive to a rotational gesture of a body part
US10005639B2 (en) 2013-08-15 2018-06-26 Otis Elevator Company Sensors for conveyance control
KR101641091B1 (ko) 2013-09-23 2016-07-20 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
LU92291B1 (en) * 2013-10-07 2015-04-08 Olivier Raulot User interface processing
KR20150043818A (ko) * 2013-10-15 2015-04-23 삼성전자주식회사 영상처리장치 및 그 제어방법
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
US9436277B2 (en) * 2014-04-21 2016-09-06 Xerox Corporation System and method for producing computer control signals from breath attributes
US10194163B2 (en) * 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
KR102263064B1 (ko) * 2014-08-25 2021-06-10 삼성전자주식회사 피사체의 움직임을 인식하는 장치 및 그 동작 방법
US10310675B2 (en) * 2014-08-25 2019-06-04 Canon Kabushiki Kaisha User interface apparatus and control method
WO2016099561A1 (en) * 2014-12-19 2016-06-23 Hewlett-Packard Development Company, Lp Gesture library
USD789417S1 (en) * 2014-12-22 2017-06-13 Google Inc. Portion of a display panel with a transitional graphical user interface component for a lock screen interface
US9536136B2 (en) * 2015-03-24 2017-01-03 Intel Corporation Multi-layer skin detection and fused hand pose matching
CN106155459B (zh) * 2015-04-01 2019-06-14 北京智谷睿拓技术服务有限公司 交互方法、交互装置及用户设备
US10401966B2 (en) 2015-05-15 2019-09-03 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
US9442575B1 (en) 2015-05-15 2016-09-13 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
US20160357262A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
CN107025780B (zh) 2015-06-25 2020-09-01 北京智谷睿拓技术服务有限公司 交互方法及通信设备
CN106297229B (zh) * 2015-06-25 2019-08-02 北京智谷睿拓技术服务有限公司 交互方法及通信设备
CN106297230B (zh) 2015-06-25 2019-07-26 北京智谷睿拓技术服务有限公司 交互方法及通信设备
US20170045948A1 (en) * 2015-08-12 2017-02-16 Fin Robotics, Inc. Controlling target devices
US20170199579A1 (en) * 2016-01-11 2017-07-13 Guo Chen Gesture Control Module
DE102016212234A1 (de) * 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Verfahren zur Interaktion eines Bedieners mit einem technischen Objekt
USD817993S1 (en) 2016-10-27 2018-05-15 Apple Inc. Display screen or portion thereof with graphical user interface
US10303417B2 (en) 2017-04-03 2019-05-28 Youspace, Inc. Interactive systems for depth-based input
US10303259B2 (en) 2017-04-03 2019-05-28 Youspace, Inc. Systems and methods for gesture-based interaction
WO2018106276A1 (en) * 2016-12-05 2018-06-14 Youspace, Inc. Systems and methods for gesture-based interaction
US10437342B2 (en) 2016-12-05 2019-10-08 Youspace, Inc. Calibration systems and methods for depth-based interfaces with disparate fields of view
KR102206990B1 (ko) * 2017-06-06 2021-01-22 미디어 그룹 코 엘티디 딥 뉴럴 네트워크를 사용하여 대략적에서 정밀적으로의 손 검출 방법
TWI625678B (zh) * 2017-06-21 2018-06-01 鴻海精密工業股份有限公司 電子設備及其手勢識別方法
US10671842B2 (en) * 2018-01-29 2020-06-02 Google Llc Methods of determining handedness for virtual controllers
US10241588B1 (en) 2018-01-31 2019-03-26 Piccolo Labs Inc. System for localizing devices in a room
US10296102B1 (en) * 2018-01-31 2019-05-21 Piccolo Labs Inc. Gesture and motion recognition using skeleton tracking
CN108460362B (zh) * 2018-03-23 2021-11-30 成都品果科技有限公司 一种检测人体部位的系统及方法
CN110515452B (zh) * 2018-05-22 2022-02-22 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
USD900872S1 (en) * 2018-08-31 2020-11-03 General Electric Company Display screen or portion thereof with icon
US10867441B2 (en) * 2019-02-15 2020-12-15 Microsoft Technology Licensing, Llc Method and apparatus for prefetching data items to a cache
CN111831101A (zh) * 2019-04-22 2020-10-27 四川大学 一种基于Leap Motion的多特征动态手势识别方法
SG10201912990QA (en) * 2019-12-23 2020-11-27 Sensetime Int Pte Ltd Gesture Recognition Method And Apparatus, Electronic Device, And Storage Medium
CN111158489B (zh) * 2019-12-31 2023-08-08 上海佑久健康科技有限公司 一种基于摄像头的手势交互方法及手势交互系统
CN111860346A (zh) * 2020-07-22 2020-10-30 苏州臻迪智能科技有限公司 动态手势识别方法、装置、电子设备及存储介质
WO2022095983A1 (zh) * 2020-11-06 2022-05-12 华为技术有限公司 一种防止手势误识别的方法及电子设备
CN112527107B (zh) * 2020-11-30 2023-04-07 京东方科技集团股份有限公司 手势识别方法、装置、电子设备及存储介质
CN112926454B (zh) * 2021-02-26 2023-01-06 重庆长安汽车股份有限公司 一种动态手势识别方法
CN113282164A (zh) * 2021-03-01 2021-08-20 联想(北京)有限公司 一种处理方法和装置
US11776255B2 (en) 2021-10-22 2023-10-03 Kyndryl, Inc. Dynamic input system for smart glasses based on user availability states
CN115171217B (zh) * 2022-07-27 2023-03-03 北京拙河科技有限公司 一种动态背景下的动作识别方法及系统
USD1021953S1 (en) * 2022-08-02 2024-04-09 Terumo Bct, Inc. Display panel with an icon image

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4444583B2 (ja) * 2003-05-21 2010-03-31 富士通株式会社 物体検出装置及びプログラム
US8144148B2 (en) * 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
US8270670B2 (en) * 2008-12-25 2012-09-18 Topseed Technology Corp. Method for recognizing and tracing gesture
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
CN101763515B (zh) 2009-09-23 2012-03-21 中国科学院自动化研究所 一种基于计算机视觉的实时手势交互方法
TWI438702B (zh) * 2011-05-04 2014-05-21 Univ Nat Chiao Tung 影像環境邊界之動態設定方法及人員活動內容之即時判定方法
CN103946863A (zh) 2011-11-01 2014-07-23 英特尔公司 基于动态姿态的短距离人机交互

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ADITYA RAMAMOORTHY ET AL.: ""Recognition of dynamic hand gestures"", 《PATTERN RECOGNITION》 *
包加桐，等: ""基于SURF特征跟踪的动态手势识别算法"", 《机器人 ROBOT》 *
杨阿妮: ""神经网络与马尔可夫模型的手势识别系统"", 《电子测量技术》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105849673A (zh) * 2014-01-07 2016-08-10 索夫特克尼特科软件公司 基于自然三维手势的人机导览方法
CN113093909A (zh) * 2015-12-31 2021-07-09 微软技术许可有限责任公司 使用姿态语言离散值的手部姿态的检测
CN111095164A (zh) * 2017-06-20 2020-05-01 大众汽车有限公司 用于依据姿态来检测用户输入的方法和设备
CN111095164B (zh) * 2017-06-20 2024-02-13 大众汽车有限公司 用于依据姿态来检测用户输入的方法和设备
CN110134028A (zh) * 2018-02-09 2019-08-16 西门子公司 控制装置、设备及其方法
CN109144369A (zh) * 2018-09-21 2019-01-04 维沃移动通信有限公司 一种图像处理方法及终端设备
CN109144369B (zh) * 2018-09-21 2020-10-20 维沃移动通信有限公司 一种图像处理方法及终端设备
CN109711389A (zh) * 2019-01-16 2019-05-03 华南农业大学 一种基于Faster R-CNN和HMM的哺乳母猪姿态转换识别方法
CN111913574A (zh) * 2020-07-15 2020-11-10 北京字节跳动网络技术有限公司 用于控制设备的方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
WO2013063767A1 (en) 2013-05-10
US20130278504A1 (en) 2013-10-24
US9164589B2 (en) 2015-10-20

Similar Documents

Publication Publication Date Title
CN103946863A (zh) 基于动态姿态的短距离人机交互
US10915167B2 (en) Rendering rich media content based on head position information
US9111135B2 (en) Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US11430265B2 (en) Video-based human behavior recognition method, apparatus, device and storage medium
US8934675B2 (en) Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US8792722B2 (en) Hand gesture detection
US10248854B2 (en) Hand motion identification method and apparatus
US8750573B2 (en) Hand gesture detection
CN108701376A (zh) 三维图像的基于识别的对象分割
US9841877B2 (en) Utilizing color descriptors to determine color content of images
US10922536B2 (en) Age classification of humans based on image depth and human pose
US10242294B2 (en) Target object classification using three-dimensional geometric filtering
CN110232311A (zh) 手部图像的分割方法、装置及计算机设备
US20140211991A1 (en) Systems and methods for initializing motion tracking of human hands
EP3090382B1 (en) Real-time 3d gesture recognition and tracking system for mobile devices
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
CN106255944A (zh) 移动平台中的空中和表面多点触摸检测
US9330312B2 (en) Multispectral detection of personal attributes for video surveillance
CN102831439A (zh) 手势跟踪方法及系统
CN105659200A (zh) 用于显示图形用户界面的方法、设备和系统
CN103985137A (zh) 应用于人机交互的运动物体跟踪方法及系统
JP2012003364A (ja) 人物動作判定装置およびそのプログラム
CN109461203B (zh) 手势三维图像生成方法、装置、计算机设备及存储介质
CN113538321A (zh) 基于视觉的体积测量方法及终端设备
CN117809073A (zh) 一种情感识别方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140723