CN104793733B - 姿势识别方法和设备,信息处理设备 - Google Patents
姿势识别方法和设备,信息处理设备 Download PDFInfo
- Publication number
- CN104793733B CN104793733B CN201510003773.XA CN201510003773A CN104793733B CN 104793733 B CN104793733 B CN 104793733B CN 201510003773 A CN201510003773 A CN 201510003773A CN 104793733 B CN104793733 B CN 104793733B
- Authority
- CN
- China
- Prior art keywords
- user
- posture
- input
- processor
- confidence level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Abstract
本公开提供一种姿势识别方法、姿势识别设备以及信息处理设备。该姿势识别方法包括:使用信息处理设备的姿势输入部件捕获用户姿势输入;使用处理器处理所捕获的用户姿势输入以提取一个或更多个特征;使用处理器比较所提取的用户姿势输入的一个或更多个特征与预定姿势输入;使用处理器确定基于所述比较所计算的置信水平超过较低相似度阈值但是未超过较高相似度阈值;以及执行从与用户进行通信以及调节姿势输入部件中选择的动作。还描述并且要求保护其他方面。
Description
技术领域
本发明涉及一种信息处理技术,特别涉及一种姿势识别方法、姿势识别设备以及信息处理设备。
背景技术
信息处理设备(“设备”)具有各种形式,例如便携式计算设备、平板计算设备、智能电话等。诸如被提供至设备的摄像机或其他光学传感器的用户姿势等姿势越来越多地被用于提供用户输入。
当前用于检测姿势并采取动作的算法是简单直接的:姿势被识别或者不被识别,并且如果姿势被识别,那么执行对应的预定动作。这是全有或全无(all-or-nothing)方法。因此,当姿势被识别时,姿势软件将为用户执行预定动作或结果。然而,当姿势未被识别时,系统将不会执行任何动作。
发明内容
总之,一个方面提供了一种姿势识别方法,该姿势识别方法包括:使用信息处理设备的姿势输入部件捕获用户姿势输入;使用处理器处理捕获的用户姿势输入以提取一个或更多个特征;使用处理器将所提取的用户姿势输入的一个或更多个特征与预定姿势输入进行比较;使用处理器确定基于所述比较计算的置信水平超过较低相似度阈值但是没有超过较高相似度阈值;以及执行从与用户进行通信以及调节姿势输入部件中选择的动作。
另一方面提供了一种信息处理设备,该信息处理设备包括:姿势输入部件;在操作上耦接至姿势输入部件的处理器;以及存储处理器能够访问的指令的存储器设备,所述指令能够由处理器执行以实现以下操作:使用信息处理设备的姿势输入部件捕获用户姿势输入;处理所捕获的用户姿势输入以提取一个或更多个特征;将所提取的用户姿势输入的一个或更多个特征与预定姿势输入进行比较;确定基于所述比较计算的置信水平超过较低相似度阈值但是没有超过较高相似度阈值;以及执行从与用户进行通信以及调节姿势输入部件中选择的动作。
另一方面提供了一种姿势识别设备,包括:使用信息处理设备的姿势输入部件捕获用户姿势输入的装置;使用处理器处理所捕获的用户姿势输入以提取一个或更多个特征的装置;使用处理器将所述用户姿势输入的所提取的一个或更多个特征与预定姿势输入进行比较的装置;使用处理器确定基于所述比较所计算的置信水平超过较低相似度阈值但是没有超过较高相似度阈值的装置;以及执行从如下动作中选择的动作的装置:与所述用户进行通信以及调节所述姿势输入部件。
又一方面提供了一种产品,该产品包括:存储有处理器可执行代码的存储器设备,所述代码包括:使用信息处理设备的姿势输入部件捕获用户姿势输入的代码;使用处理器处理所捕获的用户姿势输入以提取一个或更多个特征的代码;使用处理器将所提取的用户姿势输入的一个或更多个特征与预定姿势输入进行比较的代码;使用处理器确定基于所述比较计算的置信水平超过较低相似度阈值但是没有超过较高相似度阈值的代码;以及执行从与用户进行通信以及调节姿势输入部件中选择的动作的代码。
前述为发明内容,因而可能包括对细节的简化、概括和省略;因而本领域的技术人员将认识到本发明内容仅是用作说明,而并不意在以任何方式进行限制。
为了更好地理解实施方式以及其另外的和其他的特征和优点,结合附图参照以下描述。将在所附权利要求中指出本发明的范围。
附图说明
图1示出了信息处理设备电路系统的示例。
图2示出了信息处理设备电路系统的另一示例。
图3示出了用户姿势输入的示例。
图4示出了针对交互式用户姿势输入使用多个阈值的示例。
图5示出了向尝试执行用户姿势输入的用户提供指示性反馈的示例。
图6示出了与用户进行通信以基于置信水平来确认预定动作的示例。
图7示出了调节姿势输入部件的示例。
具体实施方式
将容易理解的是:如本文附图中总体描述和示出的实施方式的部件可以用除了所描述的示例性实施方式以外的各种不同的配置进行布置和设计。因而,以下对附图中所示的示例性实施方式的更详细的描述并非意在限制所要求保护的实施方式的范围,而仅仅代表示例性实施方式。
贯穿本说明书,提到“一个实施方式”或“一种实施方式”等表示结合此实施方式所描述的特定的特征、结构或特性被包括在至少一个实施方式中。因而,贯穿本说明书在各个地方出现的短语“在一个实施方式中”或“在一种实施方式中”等不一定均指代相同的实施方式。
此外,可以用任意合适的方式将所描述的特征、结构或特性组合到一个或更多个实施方式中。在以下的描述中,提供了大量具体的细节以给予对实施方式的透彻的理解。然而,相关领域的技术人员将认识到,各种实施方式可以在没有具体细节中的一个或更多个具体细节的情况下进行实施,或者用其他方法、部件和材料等进行实施。在其他情况下,未详细示出或描述公知的结构、材料或操作以避免混淆。
如本文所描述的,传统系统对姿势识别采用全有或全无方法。也就是说,当姿势未被识别时,用户将不会收到来自系统的任何反馈。该方法的缺点是姿势系统变得僵硬且更不具有交互性/指示性。因而,例如当用户姿势输入被识别但是具有较低的置信度时,需要姿势识别的“模糊区域”以解决这样的问题。例如,如果一个人从另一个人听到什么但是不确定他是否正确地领会,那么他将继而进行确认:“你的意思是…”或者“再说一遍?”。
相应地,一种实施方式提供了接受较低置信水平用户姿势输入。在一种实施方式中,姿势识别引擎采用多于一个阈值例如较高阈值和较低阈值,以用于估计分配给用户姿势输入的置信水平。一种实施方式因而确定用户姿势输入的置信水平,并且将用户姿势输入的置信水平与多于一个阈值进行比较,以便根据由姿势识别引擎分配的置信水平区别地处理用户姿势输入。作为非限制性示例,这可以包括与用户进行通信,例如以指示用户如何适当地执行姿势,以请求用户提供另外的或重复的姿势输入,以及/或者这可以包括调节姿势输入部件,例如改变用于捕获图像输入的摄像机的视场。这提供了更具交互性的体验,用户将不会由于仅因为未超过单个识别阈值导致姿势系统缺乏响应而有挫败感。
将参照附图最佳地理解所示出的示例性实施方式。以下描述意在仅作为示例,并且仅示出了某些示例性实施方式。
在信息处理设备中可以利用各种其他电路、电路系统或部件,而关于智能电话和/或平板电路系统100,图1中示出的示例包括例如在平板计算平台或其他移动计算平台中会有的片上系统设计。软件和处理器被组合在单个芯片110中。处理器包括本领域中公知的内部算术单元、寄存器、高速缓冲存储器、总线、I/O端口等。内部总线等取决于不同的厂商,但是基本上所有外围设备(120)可以附接至单个芯片110。电路系统100将处理器、存储器控制装置和I/O控制器集线器全部组合到单个芯片110中。此外,该类型的系统100通常不使用SATA或PCI或LPC。公共接口例如包括SDIO和I2C。
存在对例如经由可充电电池140提供的电力进行管理的电力管理芯片130例如电池管理单元(battery management unit,BMU),其中可充电电池140可以通过与电源(未示出)连接而被再充电。在至少一种设计中,使用单个芯片例如110来提供类似于BIOS的功能和DRAM存储器。
系统100通常包括WWAN收发器150和WLAN收发器160中的一个或更多个,以用于连接至诸如远程通信网络等各种网络和诸如接入点等的无线因特网设备。另外通常包括有设备120,例如图像传感器(例如摄像机)。系统100经常包括用于数据输入和显示/呈现的触摸屏170。系统100通常还包括各种存储器设备,例如闪速存储器180和SDRAM 190。
图2示出了信息处理设备电路、电路系统或部件的另一示例的框图。图2所示示例可以对应于计算系统例如由北卡罗来纳州(NC)莫里斯维尔(Morrisville)的联想(美国)公司销售的THINKPAD系列个人计算机,或者其他设备。根据本文中的描述明显的是,实施方式可以包括其他特征或者仅包括图2所示示例的特征中的一些。
图2的示例包括具有可以根据制造商(例如INTEL、AMD和ARM等)而不同的架构的所谓芯片集210(一起工作的一组集成电路或芯片,芯片集)。INTEL是美国和其他国家的Intel公司的注册商标。AMD是美国和其他国家的超微半导体公司(Advanced Micro Devices,Inc.)的注册商标。ARM是美国和其他国家的ARM控股公司的非注册商标。芯片集210的架构包括磁芯存储器(core)与存储器控制组220和I/O控制器集线器250,其经由直接管理接口(direct management interface,DMI)242或链路控制器244来交换信息(例如数据、信号和命令等)。在图2中,DMI 242是芯片间(chip-to-chip)接口(有时被称为“北桥”与“南桥”之间的链路)。磁芯存储器与存储器控制组220包括一个或更多个处理器222(例如单核或多核)和存储器控制器集线器226,其经由前端总线(front side bus,FSB)224来交换信息;注意,组220的部件可以被集成在代替传统“北桥”样式架构的芯片中。一个或更多个处理器222包括本领域中公知的内部算术单元、寄存器、高速缓冲存储器、总线、I/O端口等。
在图2中,存储器控制器集线器226与存储器240对接(例如,以向可以被称为“系统存储器”或“存储器”的一类RAM提供支持)。存储器控制器集线器226还包括用于显示设备292(例如CRT、平板显示器和触摸屏等)的LVDS接口232。框238包括可以经由LVDS接口232被支持的一些技术(例如串行数字视频、HDMI/DVI、显示端口)。存储器控制器集线器226还包括可以支持独立显卡236的PCI-express接口(PCI-E)234。
在图2中,I/O控制器集线器250包括:SATA接口251(例如用于HDD、SDD等,280);PCI-E接口252(例如用于无线连接282);USB接口253(例如用于诸如数字转换器、键盘、鼠标、摄像机、电话、麦克风、存储器、其他连接设备等的设备284);网络接口254(例如LAN);GPIO接口255;LPC接口270(用于ASIC 271、TPM 272、超级I/O 273、固件集线器274、BIOS支持275以及诸如ROM 277、闪存278和NVRAM279等各种类型的存储器276);电力管理接口261;时钟发生器接口262;音频接口263(例如用于扬声器294);TCO接口264;系统管理总线接口265;以及SPI Flash 266,SPI Flash 266可以包括BIOS 268和启动代码290。I/O控制器集线器250可以包括千兆以太网支持。
系统在通电时可以被配置成针对存储在SPI Flash 266中的BIOS 268执行启动代码290,并且此后在一个或更多个操作系统和应用软件(例如存储在系统存储器240中)的控制下处理数据。操作系统可以存储在各种位置中的任意位置,并且操作系统可以例如根据BIOS 268的指令而被访问。如本文中所述,设备可以包括与图2的系统中所示相比较少或较多的特征。
如例如图1或图2中所描绘的信息处理设备电路系统可以被包括在接受姿势输入的用户设备例如便携式计算机、台式计算机和平板计算机等中。因此,可以使用例如图1和图2中所描绘的设备电路系统和部件来实现一种实施方式,以便捕获、处理和操作各种用户姿势输入。
参照图3,在301处,一种实施方式例如使用摄像机捕获由用户提供的用户姿势输入,以捕获用户用手执行姿势的图像(结合图4进一步描述)。用户的图像然后可以被姿势识别引擎进行处理。对用户姿势输入的处理包括:在302处提取特征;以及在303处将特征与期望姿势输入进行比较。这使得姿势识别能够在304处对所捕获的用户姿势输入确定置信水平,例如与用户的实际输入有多接近地匹配预定的期望输入相关的分数。
可以基于在姿势识别中所使用的许多因素来建立置信水平。每个因素(n)将具有置信水平(Cn)以及权重(Wn),其中,置信水平(Cn)描述了用户提供的输入与期望值的接近程度,权重(Wn)代表该因素的重要性。
姿势识别引擎使用的因素的示例包括但不限于姿势的形状(其可以是静态的或动态的/包括运动)。姿势的形状例如可以包括对象(例如用于执行姿势的人体/手/手指)的形状,运动,执行姿势的对象的运动的速度和范围,姿势输入部件(例如摄像机)与执行姿势的对象(例如用户的手)之间的距离等。例如,当用户在所需距离的范围内时,这导致关于该因素的高置信水平,然而当用户不在该范围内时,那么结果将为低置信水平。
可以包括照明作为姿势识别引擎使用的因素,例如其中恰当/充足的照明导致较高置信水平而较弱/暗淡的照明导致较低置信水平。照明影响姿势识别引擎区分和提取姿势输入的各种特征的能力。
干扰(例如捕获的图像中的另外的人或移动对象)的存在同样可以影响置信度计算并且由姿势识别引擎用作因素。例如,干扰比如在输入图像中捕获的移动对象的存在将向针对用户姿势输入计算的总体姿势置信水平引入负的权重。
作为示例,姿势的总体置信水平可以如下进行计算:
其中,C为姿势的总体置信水平,N为因素的数量,Cn为第n个因素的置信水平,以及Wn为第n个因素的权重。姿势的总体置信水平为每个因素的加权和占权重之和的比例。C在[0,1]的范围内,其中1为最高置信度,0为最低置信度。
如本文中所述,一种实施方式限定了至少两个阈值:例如较高阈值和较低阈值,可以针对所述至少两个阈值来估计关于所接收的特定用户姿势输入的置信水平。在一种实施方式中,两个阈值被限定为C模糊和C动作,其中模糊阈值为较低阈值而动作阈值为较高阈值。
一种实施方式采用阈值来确定灰色区域或模糊区域,其中虽然一些姿势输入已经被识别,但是姿势识别引擎因为一些原因没有以高置信度识别出特定姿势。因而,一种实施方式可以提供另外的功能,使得姿势输入即使在没有以高置信度被识别出的情况下也可以被利用,而不是不执行动作。
例如,再参照图3,在305处如果针对姿势输入计算的总体置信水平被确定成甚至未超过较低阈值C模糊,那么一种实施方式可以在306处不采取动作。如果如在305处所确定的总体置信水平高于C模糊而如在307处所确定的总体置信水平未超过较高阈值C动作,那么将在309处执行本文中所描述的替代预定动作。如果如在307处所确定的姿势的总体置信水平高于C动作,那么姿势被识别并且在308处类似于传统姿势识别系统来执行相应结果。
可以有对置信水平以及确定所用阈值的恰当水平起作用的许多因素。例如,可以考虑姿势的唯一性,其中考虑进姿势与非姿势输入相似的可能性,例如在识别之前需要较高的置信度。可以考虑执行姿势的代价,例如这针对进行了难以撤销或者不方便撤销的系统动作的姿势,要求较高的置信度或置信水平。可以考虑使用时间,例如因为用户已经熟悉了姿势输入系统,较低阈值可以随着时间而增大(并且因而需要较高的姿势执行精确度)。值得注意的是,较高阈值和较低阈值可以是独立的。而且,除了随时间修改或改变阈值之外,可以采用多于两个阈值。
如将理解到的,一种实施方式解决了传统姿势系统的可用性问题。例如,在使用传统系统时,如果用户执行手指姿势并且他或她的手指不如所要求的那样严格地正确,那么该手指姿势将不会被识别。类似地,如果用户正确地执行姿势动作然而是在错误的情景下(例如当前应用不支持该姿势输入等),那么因为姿势未被识别,即使用户再三地重复相同的动作,传统姿势系统也将不会给予用户任何反馈。
一种实施方式使用多个阈值来提供更具交互性的姿势识别系统。“交互性”指的是姿势识别系统智能地适合用户的需要。例如,当摄像机姿势系统达到用户正在尝试执行姿势(但是不一定知道哪个姿势)的某一置信水平时,一种实施方式可以进行调节以适应用户的需要,例如根据各个用户的特点来使其本身个性化以及/或者基于系统已经收集的信息来与用户进行交互以提供智能提示,以提示用户进行另外的姿势输入或其他输入等。
在本文中描述并示出了一些示例性情况。例如,如果用户姿势输入中的一部分在摄像机的视场外或者摄像机与执行姿势的用户/对象之间的距离太大,那么一种实施方式可以自动调节摄像机的视场以及/或者要求用户改变他自己或她自己的位置。作为另一示例,如果照明不足,那么一种实施方式可以调节摄像机设置或者向环境提供主动照明。同样,如果用户执行姿势的移动速度太慢/太快,那么一种实施方式可以提供提示,例如指示如何适当地执行姿势的言语和/或视觉指示。类似地,如果正确执行的姿势在错误的情景下执行(例如姿势不被当前运行的应用支持),那么一种实施方式可以向用户通知该事实。同样,如果人体部位或对象的形状不正确或被不适当地定向,那么一种实施方式可以向用户提供正确的提示或指示。
因而,如本文中所述,一种实施方式提供姿势识别系统,该姿势识别系统给予用户关于如何调节和/或自动调节系统或其部件(例如摄像机设置)以帮助识别含糊姿势的建议/提示。而且,一种实施方式可以使用用户的姿势输入来作出最佳猜测或估计,并且例如要求用户确认此猜测或估计。
参照图4,用户可能想要使正在设备400中播放的视频的音量变成静音。他或她尝试使用“静音”姿势,例如将手指401向上提升至嘴唇,但是他或她的手太低并且距离面部太远,从而不能被姿势输入部件例如摄像机420识别到。从传统上来说,这会导致没有姿势被识别并且不采取动作。
然而,根据一种实施方式并且参照图5,可以基于如下所述来给出指示性反馈:尽管图4的姿势输入未超过用于采取基于特定姿势的动作的较高水平阈值,但是该姿势输入可能超过模糊阈值,使得系统确定对静音姿势尝试的最佳猜测。因而,一种实施方式可以例如以设备500的显示屏中的图像或视频的形式提供指示性反馈503,使得可以指示用户如何适当地执行姿势。在此,反馈503可以指示:因为视场未包括用户的手401的足够部分而未识别出姿势,并且针对这一情况来指示用户。
同样,参照图6,一种实施方式可以在设备600的显示窗口中提供要求用户确认关于所尝试的用户姿势输入的最佳猜测的消息604。例如,一种实施方式可以基于用户超过较低置信阈值但未超过较高置信阈值来猜测用户正在尝试静音音频姿势,并且使用消息604来要求用户确认这一点。
在例如如图5所示的这样的指示性反馈的情况下,用户可以使用适当的技术来重新执行姿势。然而,一种实施方式可以进行适应性改变和调节以适应特定用户,例如这样一位用户,尽管他或她知道他们应当将他们的手提升得较高,但是因为一些原因(例如不舒适和损伤等)而不能这样做。因而,一种实施方式可以调节姿势输入部件,例如对摄像机720的视场进行重新定向以使得摄像机720能够捕获用户的手指701以提取姿势输入的该特征。因此,设备700将主动做出调整以适应用户在执行姿势中的特定需要,使得用户可以在技术上不准确执行(mis-perform)某些姿势然而仍利用系统的整个功能。
那么将认识到各种实施方式提供了更具交互性并且更灵活的姿势识别系统。根据本文中所描述的示例性实施方式,用户能够与姿势识别系统进行交互,以便获知更多关于如何使用系统的信息,并且系统本身可以进行适应性修改以适应各个用户的个体需要。
如本领域技术人员将理解的,各个方面可以被实施为系统、方法或设备程序产品。相应地,各个方面可以采取完全硬件实施方式或包括软件的实施方式的形式,在此这些均可以被通称为“电路”、“模块”或“系统”。此外,各个方面可以采取以一个或更多个设备可读介质来实施的设备程序产品的形式,其中,一个或更多个设备可读介质具有设备可读程序代码。
应当注意的是,本文中所描述的各种功能可以使用在设备可读存储介质例如非信号存储设备上所存储的由处理器来执行的指令来实现。存储设备可以是例如电子的、磁的、光学的、电磁的、红外的或半导体型系统、装置或设备,或者前述的任意合适组合。存储介质的更具体的示例包括如下:便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备,或者前述的任意合适组合。在本文件的情景下,存储设备不是信号,以及“非暂态的”包括除了信号介质以外的所有介质。
在存储介质上实施的程序代码可以使用任意恰当的介质进行传输,恰当的介质包括但不限于无线、有线、光纤电缆、RF等,或者前述的任意合适组合。
用于执行操作的程序代码可以用一种或更多种编程语言的任意组合进行编写。程序代码可以作为独立软件包完全在单个设备上、部分地在单个设备上执行,部分地在单个设备以及部分地在另一设备上执行,或者完全在其他设备上执行。在一些情况下,设备可以通过任意类型的连接或网络进行连接,所述网络包括局域网(LAN)或广域网(WAN),或者所述连接可以通过其他设备(例如,通过使用因特网服务提供商的因特网)、通过无线连接例如近场通信、或者通过硬线连接例如经由USB连接来实现。
在本文中参照附图描述了示例性实施方式,其中,附图示出了根据各种示例性实施方式的示例性方法、设备和程序产品。将理解的是,可以至少部分地由程序指令来实现动作和功能。可以将这些程序指令提供至通用信息处理设备、专用信息处理设备或其他可编程数据处理设备的处理器以产生机器,使得经由设备的处理器所执行的指令实现详细描绘的功能/动作。
值得注意的是,虽然附图中使用了具体的块并且已经示出了块的特定排序,但是这些均是非限制性示例。在某些情形下,可以将两个或更多个块进行组合,可以将一个块分成两个或更多个块,或者可以在适当时将某些块重新排序或者重新组织,明确示出的示例仅用于描述性目的并且不应被理解为限制性的。
如本文中所使用的,除非另外清楚地指出,否则单数“a”和“an”可以被理解为包括复数“一个或更多个”。
为示例和描述的目的呈现了本公开内容,本公开内容不意在穷举或限制。对于本领域的技术人员来说,许多修改和变化将是明显的。选择并描述了示例性实施方式以便说明原理和实际应用,并且使得本领域的其他技术人员能够理解具有各种修改的、关于各种实施方式的本公开内容适于所构思的特定使用。
因而,虽然在本文中已经参照附图描述了说明性示例实施方式,但是要理解的是,本说明不是限制性的,并且本领域的技术人员可以在不偏离本公开内容的范围或精神的情况下在其中实现各种其他改变和修改。
Claims (17)
1.一种姿势识别方法,包括:
使用信息处理设备的姿势输入部件捕获用户姿势输入;
使用处理器处理所捕获的用户姿势输入以提取一个或更多个特征;
使用处理器比较所提取的所述用户姿势输入的一个或更多个特征与预定姿势输入;
使用处理器确定基于所述比较计算的置信水平超过较低相似度阈值但是没有超过较高相似度阈值;以及
执行从以下动作中选择的动作:与所述用户进行通信,以指示用户适当地执行姿势,以请求用户提供另外的或重复的姿势输入,和/或,以及调节所述姿势输入部件,以改变用于捕获图像输入的摄像机的视场。
2.根据权利要求1所述的姿势识别方法,其中,所提取的所述用户姿势输入的一个或更多个特征选自:形成用户姿势的对象的形状;形成所述用户姿势的对象与所述姿势输入部件之间的距离;所捕获的用户姿势输入的照明状况;以及所捕获的用户姿势输入中包括的干扰。
3.根据权利要求1所述的姿势识别方法,还包括:
确定基于所述比较计算的置信水平超过所述较高相似度阈值;以及
此后,基于所述用户姿势输入超过所述较高相似度阈值而自动执行预定动作。
4.根据权利要求1所述的姿势识别方法,还包括:
确定基于所述比较计算的置信水平没有超过所述较低相似度阈值;以及
此后,基于所述用户姿势输入没有超过所述较低相似度阈值而不采取动作。
5.根据权利要求1所述的姿势识别方法,其中,所述的与所述用户进行通信包括主动请求另外的用户输入。
6.根据权利要求5所述的姿势识别方法,其中,所述主动请求包括提示用户确认基于所计算的置信水平而选择的预定动作。
7.根据权利要求1所述的姿势识别方法,其中,所述的与所述用户进行通信包括向所述用户提供关于如何适当地执行一个或更多个姿势输入的提示性反馈。
8.根据权利要求1所述的姿势识别方法,其中,所述的指示 所述用户包括:指示用户先前捕获的姿势输入的所提取的一个或更多个特征导致低置信水平。
9.一种信息处理设备,包括:
姿势输入部件;
处理器,所述处理器在操作上耦接至所述姿势输入部件;
存储器设备,所述存储器设备存储所述处理器能够访问的指令,所述指令能够由所述处理器执行以实现以下操作:
使用所述信息处理设备的姿势输入部件捕获用户姿势输入;
处理所捕获的用户姿势输入以提取一个或更多个特征;
将所述用户姿势输入的所提取的一个或更多个特征与预定姿势输入进行比较;
确定基于所述比较计算的置信水平超过较低相似度阈值但是没有超过较高相似度阈值;以及
执行从以下动作中选择的动作:与所述用户进行通信,以指示用户适当地执行姿势,以请求用户提供另外的或重复的姿势输入,和/或,以及调节所述姿势输入部件,以改变用于捕获图像输入的摄像机的视场。
10.根据权利要求9所述的信息处理设备,其中,所述用户姿势输入的所提取的一个或更多个特征选自:形成用户姿势的对象的形状;形成所述用户姿势的对象与所述姿势输入部件之间的距离;所捕获的用户姿势输入的照明状况;以及所捕获的用户姿势输入中包括的干扰。
11.根据权利要求9所述的信息处理设备,其中,所述指令还能够由所述处理器执行以完成以下操作:
确定基于所述比较计算的置信水平超过所述较高相似度阈值;以及
此后,基于所述用户姿势输入超过所述较高相似度阈值而自动执行预定动作。
12.根据权利要求9所述的信息处理设备,其中,所述指令还能够由所述处理器执行以完成以下操作:
确定基于所述比较计算的置信水平没有超过所述较低相似度阈值;以及
此后,基于所述用户姿势输入没有超过所述较低相似度阈值而不采取动作。
13.根据权利要求9所述的信息处理设备,其中,与所述用户进行通信包括主动请求另外的用户输入。
14.根据权利要求13所述的信息处理设备,其中,所述主动请求包括提示用户确认基于所计算的置信水平而选择的预定动作。
15.根据权利要求9所述的信息处理设备,其中,与所述用户进行通信包括向所述用户提供关于如何适当地执行一个或更多个姿势输入的提示性反馈。
16.根据权利要求9所述的信息处理设备,其中,与所述用户进行通信包括提示所述用户提供姿势输入,并且其中,提示所述用户包括:指示用户先前捕获的姿势输入的所提取的一个或更多个特征导致低置信水平。
17.一种姿势识别设备,包括:
使用信息处理设备的姿势输入部件捕获用户姿势输入的装置;
使用处理器处理所捕获的用户姿势输入以提取一个或更多个特征的装置;
使用处理器将所述用户姿势输入的所提取的一个或更多个特征与预定姿势输入进行比较的装置;
使用处理器确定基于所述比较所计算的置信水平超过较低相似度阈值但是没有超过较高相似度阈值的装置;以及
执行从如下动作中选择的动作的装置:与所述用户进行通信,以指示用户适当地执行姿势,以请求用户提供另外的或重复的姿势输入,和/ 或,以及调节所述姿势输入部件,以改变用于捕获图像输入的摄像机的视场。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/159,089 US11226686B2 (en) | 2014-01-20 | 2014-01-20 | Interactive user gesture inputs |
US14/159,089 | 2014-01-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104793733A CN104793733A (zh) | 2015-07-22 |
CN104793733B true CN104793733B (zh) | 2019-03-29 |
Family
ID=52630835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510003773.XA Active CN104793733B (zh) | 2014-01-20 | 2015-01-05 | 姿势识别方法和设备,信息处理设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11226686B2 (zh) |
CN (1) | CN104793733B (zh) |
DE (1) | DE102015100470A1 (zh) |
GB (1) | GB2523891B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5900161B2 (ja) * | 2012-05-29 | 2016-04-06 | ソニー株式会社 | 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体 |
KR102319530B1 (ko) * | 2014-08-18 | 2021-10-29 | 삼성전자주식회사 | 사용자 입력 처리 방법 및 장치 |
US9778736B2 (en) * | 2014-09-22 | 2017-10-03 | Rovi Guides, Inc. | Methods and systems for calibrating user devices |
US9990921B2 (en) * | 2015-12-09 | 2018-06-05 | Lenovo (Singapore) Pte. Ltd. | User focus activated voice recognition |
US10218882B2 (en) * | 2015-12-31 | 2019-02-26 | Microsoft Technology Licensing, Llc | Feedback for object pose tracker |
US9965043B2 (en) * | 2016-01-27 | 2018-05-08 | Wipro Limited | Method and system for recommending one or more gestures to users interacting with computing device |
EP3674851A1 (en) * | 2016-07-07 | 2020-07-01 | David Franklin | Gesture-based user interface |
US10747860B2 (en) * | 2016-08-22 | 2020-08-18 | Lenovo (Singapore) Pte. Ltd. | Sitting posture for biometric identification |
US20190013016A1 (en) * | 2017-07-07 | 2019-01-10 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Converting speech to text and inserting a character associated with a gesture input by a user |
US11157169B2 (en) | 2018-10-08 | 2021-10-26 | Google Llc | Operating modes that designate an interface modality for interacting with an automated assistant |
US11119726B2 (en) | 2018-10-08 | 2021-09-14 | Google Llc | Operating modes that designate an interface modality for interacting with an automated assistant |
CN110968239B (zh) * | 2019-11-28 | 2022-04-05 | 北京市商汤科技开发有限公司 | 一种展示对象的控制方法、装置、设备及存储介质 |
US11726553B2 (en) | 2021-07-20 | 2023-08-15 | Sony Interactive Entertainment LLC | Movement-based navigation |
US11786816B2 (en) | 2021-07-30 | 2023-10-17 | Sony Interactive Entertainment LLC | Sharing movement data |
US20230051703A1 (en) * | 2021-08-16 | 2023-02-16 | Sony Interactive Entertainment LLC | Gesture-Based Skill Search |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102298442A (zh) * | 2010-06-24 | 2011-12-28 | 索尼公司 | 手势识别设备、手势识别方法及程序 |
CN102413886A (zh) * | 2009-05-01 | 2012-04-11 | 微软公司 | 示出身体位置 |
CN102759953A (zh) * | 2011-04-28 | 2012-10-31 | 周丽明 | 一种自动摄像头 |
CN103207668A (zh) * | 2012-01-13 | 2013-07-17 | 索尼公司 | 信息处理装置、信息处理方法及计算机程序 |
CN103338289A (zh) * | 2013-06-21 | 2013-10-02 | 广东欧珀移动通信有限公司 | 背光调节方法、调节装置及移动终端 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6903723B1 (en) * | 1995-03-27 | 2005-06-07 | Donald K. Forest | Data entry method and apparatus |
US6867790B1 (en) * | 1996-08-09 | 2005-03-15 | International Business Machines Corporation | Method and apparatus to conditionally constrain pointer movement on a computer display using visual cues, controlled pointer speed and barriers on the display which stop or restrict pointer movement |
US5963191A (en) * | 1997-03-25 | 1999-10-05 | International Business Machines Corporation | Method and system for denying graphical pointer access to a widget of a data processing system graphical user interface |
US7614008B2 (en) * | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
EP1546857A4 (en) * | 2002-09-30 | 2007-09-05 | Microsoft Corp | SYSTEM AND METHOD FOR INTERFACE AND USER TO BE INFORMED OF PRESENT INTERFACE ELEMENTS |
US7983920B2 (en) * | 2003-11-18 | 2011-07-19 | Microsoft Corporation | Adaptive computing environment |
US7554522B2 (en) * | 2004-12-23 | 2009-06-30 | Microsoft Corporation | Personalization of user accessibility options |
US8373655B2 (en) * | 2007-01-05 | 2013-02-12 | Apple Inc. | Adaptive acceleration of mouse cursor |
EP2203893A4 (en) * | 2007-10-30 | 2014-05-07 | Hewlett Packard Development Co | INTERACTIVE DISPLAY SYSTEM WITH GROUP GESTURE DETECTION |
US8619029B2 (en) * | 2009-05-22 | 2013-12-31 | Motorola Mobility Llc | Electronic device with sensing assembly and method for interpreting consecutive gestures |
GB2474536B (en) * | 2009-10-13 | 2011-11-02 | Pointgrab Ltd | Computer vision gesture based control of a device |
US20110273380A1 (en) | 2010-05-07 | 2011-11-10 | Research In Motion Limited | Portable electronic device and method of controlling same |
US9081571B2 (en) * | 2012-11-29 | 2015-07-14 | Amazon Technologies, Inc. | Gesture detection management for an electronic device |
US10331219B2 (en) * | 2013-01-04 | 2019-06-25 | Lenovo (Singaore) Pte. Ltd. | Identification and use of gestures in proximity to a sensor |
US9288471B1 (en) * | 2013-02-28 | 2016-03-15 | Amazon Technologies, Inc. | Rotatable imaging assembly for providing multiple fields of view |
US20140267004A1 (en) * | 2013-03-13 | 2014-09-18 | Lsi Corporation | User Adjustable Gesture Space |
US9383894B2 (en) * | 2014-01-08 | 2016-07-05 | Microsoft Technology Licensing, Llc | Visual feedback for level of gesture completion |
US9430046B2 (en) * | 2014-01-16 | 2016-08-30 | Denso International America, Inc. | Gesture based image capturing system for vehicle |
US10409382B2 (en) * | 2014-04-03 | 2019-09-10 | Honda Motor Co., Ltd. | Smart tutorial for gesture control system |
-
2014
- 2014-01-20 US US14/159,089 patent/US11226686B2/en active Active
-
2015
- 2015-01-05 CN CN201510003773.XA patent/CN104793733B/zh active Active
- 2015-01-14 DE DE102015100470.4A patent/DE102015100470A1/de active Pending
- 2015-01-20 GB GB1500915.2A patent/GB2523891B/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102413886A (zh) * | 2009-05-01 | 2012-04-11 | 微软公司 | 示出身体位置 |
CN102298442A (zh) * | 2010-06-24 | 2011-12-28 | 索尼公司 | 手势识别设备、手势识别方法及程序 |
CN102759953A (zh) * | 2011-04-28 | 2012-10-31 | 周丽明 | 一种自动摄像头 |
CN103207668A (zh) * | 2012-01-13 | 2013-07-17 | 索尼公司 | 信息处理装置、信息处理方法及计算机程序 |
CN103338289A (zh) * | 2013-06-21 | 2013-10-02 | 广东欧珀移动通信有限公司 | 背光调节方法、调节装置及移动终端 |
Also Published As
Publication number | Publication date |
---|---|
DE102015100470A1 (de) | 2015-07-23 |
GB2523891A8 (en) | 2015-09-16 |
CN104793733A (zh) | 2015-07-22 |
US11226686B2 (en) | 2022-01-18 |
GB2523891B (en) | 2017-05-24 |
GB2523891A (en) | 2015-09-09 |
GB201500915D0 (en) | 2015-03-04 |
US20150205359A1 (en) | 2015-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104793733B (zh) | 姿势识别方法和设备,信息处理设备 | |
US10796693B2 (en) | Modifying input based on determined characteristics | |
US10621992B2 (en) | Activating voice assistant based on at least one of user proximity and context | |
US10248189B2 (en) | Presentation of virtual reality object based on one or more conditions | |
KR102329765B1 (ko) | 홍채 기반 인증 방법 및 이를 지원하는 전자 장치 | |
US8730332B2 (en) | Systems and methods for ergonomic measurement | |
EP3073351A1 (en) | Controlling a wearable device using gestures | |
US9998665B2 (en) | Camera mode selection based on context | |
CN106797127A (zh) | 电子装置、通过电子装置控制充电的方法以及通过供电装置供电的方法 | |
CN110018714A (zh) | 数字助理设备 | |
CN107024979A (zh) | 基于背景环境的增强现实工作空间转换方法、设备和系统 | |
CN110007758A (zh) | 一种终端的控制方法及终端 | |
US10956548B2 (en) | User authentication via emotion detection | |
US9823748B2 (en) | Control input handling | |
CN108073275A (zh) | 信息处理方法、信息处理设备及程序产品 | |
US20170212590A1 (en) | User action activated voice recognition | |
US20210116960A1 (en) | Power save mode for wearable device | |
US20210050005A1 (en) | Method for operating voice recognition service and electronic device supporting same | |
US20150363011A1 (en) | Pen/stylus offset modification | |
CN110134228A (zh) | 信息处理方法、信息处理设备及用于信息处理的产品 | |
US9424732B2 (en) | Detached accessory notification | |
US10579319B2 (en) | Activating a device system without opening a device cover | |
US10861451B2 (en) | Modification of user command | |
CN110196633A (zh) | 使用增强现实系统提供实体位置的方法及设备 | |
CN109713741A (zh) | 包括电池的电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |