CN104777898B - 信息处理方法、设备和产品 - Google Patents

Abstract

公开了信息处理方法、设备和产品。该方法包括：使用图像传感器捕获用户的图像；使用处理器检测形成该图像内的边缘的用户手势；使用图像传感器捕获该用户的至少一个额外图像；使用处理器检测与该图像的边缘有关的用户手势；以及使用处理器，根据与该图像的边缘有关的用户手势，提交预定动作。也描述和要求了其它方面。

Description

信息处理方法、设备和产品

技术领域

本发明总体上涉及一种信息处理方法、信息处理设备和信息处理产品，具体地涉及用于边缘输入的图像手势。

背景技术

信息处理设备(“设备”)有各种形式，例如膝上型计算设备、平板计算设备、智能电话等。许多设备现在提供触摸输入功能。即，用户可以触摸设备的一部分，例如触摸屏，并提供代替诸如键盘、鼠标等的更常规的输入模式的输入，或除这些更常规的输入模式之外的输入。

取决于用户提供输入至触摸敏感表面的哪个部分，特定的触摸输入具有映射的或与之相关联的功能。益加常见的示例是边缘输入，例如，提供给触摸屏的边缘或外周部分的滑动或触摸输入与特定的功能或功能组相关联。

例如，WINDOWS 8操作系统已包括用于触摸接口的边缘滑动手势，该触摸接口包括触摸屏和触摸板。边缘滑动手势提供诸如关闭应用程序、在应用程序间切换、显示系统菜单或工具条等的增强用户体验的功能。边缘滑动手势被认为处于最近添加至操作系统的最有用的手势之中。WINDOWS是微软公司在美国和其它国家的已注册商标。

发明内容

概括而言，一个方面提供了一种信息处理方法，该方法包括：使用图像传感器捕获用户的图像；使用处理器检测形成图像内的边缘的用户手势；使用图像传感器捕获用户的至少一个额外图像；使用处理器检测与图像的边缘有关的用户手势；以及使用处理器，根据与图像的边缘有关的用户手势，提交(commit)预定的动作。

另一个方面提供了信息处理设备，该设备包括：图像传感器；处理器；存储器设备，其存储处理器能够访问的指令，所述指令能够被处理器执行以：使用图像传感器捕获用户的图像；检测形成图像内的边缘的用户手势；使用图像传感器捕获用户的至少一个额外图像；检测与图像的边缘有关的用户手势；以及根据与图像的边缘有关的用户手势提交预定动作。

又一方面提供了一种信息处理产品，该产品包括：用来存储代码的存储设备，该代码包括：使用图像传感器捕获用户的图像的代码；使用处理器检测形成图像内的边缘的用户手势的代码；使用图像传感器捕获用户的至少一个额外图像的代码；使用处理器检测与图像的边缘有关的用户手势的代码；以及根据与图像的边缘有关的用户手势，提交预定动作的代码。

前述内容是概述，因此可能包含简化、概括以及细节的省略；所以，本领域的技术人员将理解：该概述仅是说明性的，并且不是意在以任何方式进行限制。

为了更好地理解实施方式连同实施方式的其它和另外的特征和优点，结合附图提及以下描述。将在所附权利要求中指出本发明的范围。

附图说明

图1图示了信息处理设备电路系统的示例。

图2图示了信息处理设备电路系统的另一示例。

图3(A-B)图示了使用触摸输入的边缘手势的示例。

图4(A-B)图示了使用单指来执行边缘手势的基于图像的手势的示例。

图4(C-D)图示了使用手来执行边缘手势的基于图像的手势的示例。

图5(A-B)图示了使用单指来执行边缘手势的基于图像的手势的另一示例。

图5(C-D)图示了使用手来执行边缘手势的基于图像的手势的另一示例。

图6(A-B)图示了使用单指来执行边缘手势的垂直的基于图像的手势的示例。

图6(C-D)图示了使用手来执行边缘手势的垂直的基于图像的手势的示例。

图7图示了使用用于边缘输入的图像手势的示例。

具体实施方式

将容易理解，除了所描述的示例实施方式之外，如本文附图中一般描述和示出的实施方式的部件也可以以多种不同的配置来布置和设计。因此，如附图中所表示的示例实施方式的以下更详细的描述不是意在限制所要求保护的实施方式的范围，而是仅代表示例实施方式。

贯穿本说明书提及的“一个实施方式”(“one embodiment”)或“一种实施方式”(“an embodiment”)(等等)是指：在至少一个实施方式中包括结合实施方式描述的具体特征、结构或特性。因此，贯穿本说明书在各个地方出现的短语“在一个实施方式中”(“in oneembodiment”)或“在一种实施方式中”(“in an embodiment”)等不必全部指同一个实施方式。

此外，可以在一个或更多个实施方式中采用任何合适的方式组合所描述的特征、结构或特性。在以下描述中，提供众多具体细节以给出实施方式的彻底理解。然而，相关领域的技术人员将认识到，在没有一个或更多个具体细节的情况下，或利用其它方法、部件、材料等，能够实践各个实施方式。在其它实例中，未详细示出或描述公知的结构、材料或操作，以避免混淆。

虽然越来越常见，但是在许多情况下对用户而言边缘手势会是挑战性的，特别是因为常规的边缘手势依靠物理地触摸触摸敏感表面，例如触摸板或触摸屏显示器。例如，当用户远离系统(例如用户坐在离开系统的一定距离)时，当系统没有触摸接口(例如在非触摸系统上实现的边缘输入兼容的OS)时，当用户坐在具有触摸屏的系统前方并且在另一表面(诸如桌面)上执行或想要执行手势时，为了人体工程学益处等，在系统上做边缘滑动手势对用户而言是挑战性的。

相应地，实施方式提供了下述方法、系统和产品：其允许用户提供例如用诸如摄像机的图像传感器捕获的基于图像的手势，以及使这些基于图像的手势映射至边缘手势以由系统执行。这允许用户在没有物理上对接(interface)(即触摸)系统时，执行边缘手势。例如，一种实施方式捕获用户的图像，检测形成该图像内的边缘的用户手势，例如用手形成边缘形状，捕获该用户的至少一个额外图像，并检测与该图像的边缘有关的用户手势，例如相对于用户用他或她的手已创建的边缘移动的第二只手的手指。使用这样的手势检测，一种实施方式可以根据与该图像的边缘有关的用户手势来提交预定动作，例如执行被映射至所捕获的图像表示的由用户执行的特定手势的边缘手势。

通过参考附图将最佳地理解所图示的示例实施方式。以下描述仅意在作为示例，并且简单地图示了某些示例实施方式。

虽然在信息处理设备中可以使用各种其它电路、电路系统或部件，但是关于智能电话和/或平板电路系统100，图1所示的示例包括关于例如在平板或其它移动计算平台中得到的芯片设计的系统。在单芯片110中将软件和处理器组合。处理器包括本领域中公知的内部算术单元、寄存器、缓存存储器、总线、I/O端口等。虽然内部总线等取决于不同的供应商，但是实质上所有外围设备(120)可以附接至单芯片110。电路系统100将处理器、存储器控制和I/O控制器集线器全部组合到单芯片110中。另外，该类型的系统100通常不使用SATA或PCI或LPC。常见的接口例如包括SDIO及I2C。

存在电源管理芯片130，例如电池管理单元BMU，其管理例如经由可充电电池140所提供的电力，可充电电池140可以通过连接至电源(未示出)而被充电。在至少一种设计中，使用诸如110的单芯片来提供类似BIOS的功能和DRAM存储器。

系统100通常包括WWAN收发器150和WLAN收发器160中的一个或更多个以用于连接至各种网络，诸如电信网络和无线因特网设备，例如接入点。通常包括另外的设备120，例如像摄像机的图像传感器。系统100常常包括用于数据输入和显示/呈现(render)的触摸屏170。系统100通常还包括各种存储器设备，例如闪存180和SDRAM 190。

图2描绘了信息处理设备电路、电路系统或部件的另一示例的框图。图2中所描绘的示例可以对应于计算系统，诸如由北卡罗来纳州莫里斯维尔的联想(美国)公司出售的THINKPAD个人电脑系列或其它设备。如根据本文的描述明显的是，实施方式可以包括其它特征或仅包括图2所示的示例的一些特征。

图2的示例包括所谓的芯片组210(一起工作的芯片或集成电路的群，芯片组)，芯片组210具有可取决于制造商(例如，INTEL、AMD、ARM等)而不同的架构。INTEL是英特尔公司在美国和其它国家的已注册商标。AMD是超微半导体公司(Advanced Micro Devices,Inc.)在美国和其它国家的已注册商标。ARM是ARM控股有限公司(ARM Holdings plc)在美国和其它国家的未注册商标。芯片组210的架构包括核与存储器控制组220和I/O控制器集线器250，I/O控制器集线器250经由直接管理接口(DMI)242或链路控制器244交换信息(例如，数据、信号、命令等)。在图2中，DMI 242是芯片到芯片接口(有时被称为“北桥”和“南桥”间的链路)。核与存储器控制组220包括一个或更多个处理器222(例如，单核或多核)和存储器控制器集线器226，存储器控制器集线器226经由前端总线(FSB)224交换信息；注意，组220的部件可以被集成在取代常规的“北桥”式架构的芯片中。如本领域所公知的，一个或更多个处理器222包括内部算术单元、寄存器、缓存存储器、总线、I/O端口等。

在图2中，存储器控制器集线器226与存储器240接口连接(例如，用于为一种类型的RAM提供支持，该RAM可以被称为“系统存储器”或“存储器”)。存储器控制器集线器226还包括用于显示设备292(例如，CRT、平板、触摸屏等)的LVDS接口232。块238包括可以经由LVDS接口232(例如，串行数字视频、HDMI/DVI、显示端口)而被支持的一些技术。存储器控制器集线器226还包括可以支持独立显卡236的PCI-express接口(PCI-E)234。

在图2中，I/O控制器集线器250包括SATA接口251(例如，用于HDD、SDD等，280)、PCI-E接口252(例如，用于无线连接282)、USB接口253(例如，用于诸如数字转换器、键盘、鼠标、摄像机、电话、麦克风、存储设备、其它被连接的设备等的设备284)、网络接口254(例如，LAN)、GPIO接口255、LPC接口270(用于ASIC 271、TPM 272、超级I/O 273、固件集线器274、BIOS支持275，以及诸如ROM 277、闪存278和NVRAM 279的各种类型的存储器276)、电源管理接口261、时钟发生器接口262、音频接口263(例如，用于扬声器294)、TCO接口264、系统管理总线接口265、以及SPI闪存266，SPI闪存266能够包括BIOS 268和启动代码290。I/O控制器集线器250可以包括吉比特以太网支持。

在通电时，系统可以被配置成执行SPI闪存266内存储的用于BIOS268的启动代码290，此后在一个或更多个操作系统及(例如，系统存储器240中存储的)应用程序软件的控制下处理数据。例如，根据BIOS 268的指令，可以将操作系统存储于各个位置中的任何一个，以及可以访问操作系统。如本文所描述的，设备可以包括比图2的系统中所示的特征更少或更多的特征。

例如图1或图2中所概述的，信息处理设备电路系统可以包括在实现或允许边缘手势的用户设备中，诸如膝上型计算机、台式计算机、平板计算机等。如本文所描述的，一种实施方式允许用户执行边缘手势，而无需触摸系统，例如无需与触摸屏物理地对接。

一种实施方式允许通过使用摄像机手势/基于图像的手势来模仿边缘手势，例如触摸边缘滑动。这有助于在例如当用户不希望伸出手并触摸系统时的某些情况下使用某些操作系统的边缘手势能力，由于用户可能已经熟悉触摸边缘滑动手势。使用摄像机手势提供触摸手势也可以节省在系统中设置的触摸接口的成本。

一个挑战是需要定义摄像机手势来产生边缘手势。特别是，在触摸接口边缘或外围周围触发边缘手势。在由摄像机捕获的用户的标准图像中，没有这样的可见边缘。

因此，一种实施方式定义了用户可执行的各种基于图像的手势，该各种基于图像的手势被键合(key)至用户形成的边缘手势。例如，如图4-图6中所图示的，一种实施方式允许用户例如使用手指一起伸出且拇指从手指伸出的手创建边缘，使得由摄像机捕获的图像包含边缘。由用户形成的该边缘然后可以被用作参考点，尽管可以使用触摸敏感表面(例如，触摸屏)的物理边缘来解释边缘滑动手势，例如如图3A和3B中所图示的离开边缘、朝向边缘、向上、向下等滑动。在下面的描述中，参考附图提供了各种示例手势。

具体参考图4A，一种实施方式允许用户用左手形成边缘，从而在由例如安装在设备的显示器中的摄像机捕获的图像中创建边缘，并且用他的或她的右手朝向形成边缘的手执行滑动手势。在例如经由分析由用户的手形成的图像的结构而被检测到时，该特定手势可以映射至对应于基于触摸的边缘手势的特定动作，例如在屏幕右侧显示工具条。因而，用户可以执行基于图像的手势，该基于图像的手势由摄像机捕获且被映射至操作系统内可用的对应的边缘手势。这允许用户在没有再学习边缘手势及对操作系统修改的情况下，凭直觉执行基于图像的手势。

作为另一示例，参考图4B，一种实施方式可以以其它方式解释与图4A中所图示的手势相反的手势，例如将先前查看的或使用的应用程序引入视图中以用于显示。因而，用户可以用右手形成边缘，并且朝向边缘滑动左手的手指，从而以基于图像的手势模仿用于加载先前应用程序的边缘滑动手势。

如图4C中所图示的，用户可以以各种方式执行与边缘有关的手势。因而，用户可以朝向由右手形成的边缘旋转放平的手，从而再次打开在显示器的右侧的工具条，而不是执行关于用左手形成的边缘的单指手势。同样地，如图4D中所图示的，用户可以针对用右手的边缘手势旋转左手，以再次例如加载先前的应用程序。

可以实现许多这样的手势。例如，参考图5A，用户可以用左手形成边缘，并用他的或她的右手执行单指部分向下运动。例如，单指手势的部分性质可以被调整(gauge)或参考由用户的左手形成的边缘。该部分向下手势可以映射至不同的边缘功能，例如打开应用程序菜单。以相似的方式，如图5B中所示，再次参考由用户的左手形成的边缘，用户可以通过使用更长的向下单指手势来关闭应用程序并返回至主页屏幕。如熟悉边缘手势的那些人将理解的，这允许用户在没有触摸屏幕的情况下模仿屏幕的实际触摸，例如，在显示屏或触摸表面上方或前方的空间或平面中执行手势。

图5C中图示的，与经由单指执行的部分向下手势不同地，一种实施方式可以同样地映射放平的手(这里是右手)部分向下手势。因而，实施方式可以在单指向下手势与放平的手向下旋转手势之间进行区分，例如以执行不同的边缘功能，诸如打开上下文菜单(例如，从显示屏的顶部下拉)。类似于本文所描述的单指手势，例如参考用户形成的边缘，用放平的手执行的不同程度或范围的运动可以被映射至不同的边缘功能或与不同的边缘功能相关联。例如，如图5D中所示的，实施方式可以把放平的手的更长的向下旋转映射为关闭应用程序边缘手势。

在实施方式中，用户可以沿与至此所描述的取向不同的取向执行基于图像的手势。例如，如图6(A-D)所图示的，用户可以在以下平面或取向执行基于图像的手势：该平面或取向基本垂直于显示屏或其它设备部件，而不是基本平行于显示屏或其它设备部件。这可以对应于如下使用情况：用户的设备在桌顶上或桌面上，并且用户希望相对于桌顶或桌面执行边缘手势输入。这可以为如下某些用户提供人体工程学益处：其发现难以举起他们的手并且难以相对于与显示屏平行的平面执行手势。在这样的情况下，实施方式可以利用例如安装在显示设备等上的一个或更多个面向下的摄像机。

如图6A中所示的，使用桌顶手势，用户可以例如用他的或她的左手再次形成在图像内可检测的边缘，此后执行参考这样形成的边缘的基于图像的手势。在图6A的示例中，用户可以执行单指滑动来打开工具条，即类似于图4A所图示的手势。

同样地，用户可以在桌顶手势中用另一只手形成边缘，例如使用右手，并用左手执行单指桌顶手势，如图6B中所图示的，例如以类似于图4B中所图示的手势加载先前的应用程序。因而，用户可以实质上使用桌顶或桌面手势来执行图4-5中所概述的手势中的任何一个，如进一步在图6C及6D所图示的，分别示出与图4C及图4D中所图示的手势对应的桌顶手势。

如根据前述内容可以理解的，并且例如参考图7，一种实施方式提供了使用用于边缘输入的图像手势的方法。因而，实施方式可以在701捕获图像(注意，可以捕获多于一个图像，例如图像流)，并在702例如使用手势识别技术使用户的形成边缘的手的形状和边缘特征(signature)匹配，来发现形成在图像中的边缘。

一旦识别出边缘，实施方式可以进行相对于该边缘检测手势。例如，实施方式可以在703捕获或访问例如用户执行单指手势以关闭应用程序的另一图像。实施方式可以同样地在704使用手势识别技术来使用户的手指相对于由用户形成的边缘的运动与预定的边缘手势相匹配。如果检测到这样的已知边缘手势，则实施方式可以例如向边缘使能操作系统输出对应的命令，使得在705执行对应的(触摸边缘手势)动作。

因而，实施方式允许用户执行由诸如设备的摄像机的图像传感器可检测的图像来操作边缘手势使能设备。如根据本文的描述和图将理解的，用户不需要实际触摸设备或物理地与设备对接。这使用户解脱出来以在额外的背景和取向执行边缘手势，并且在不需要触摸使能设备部件的情况下，对额外的设备、用户和背景开放某些操作系统的边缘手势能力。

如本领域技术人员将明理解的，各个方面可以被实施为系统、方法或设备程序产品。因此，多个方面可以采取完全的硬件实施方式或包括软件的实施方式的形式，所有这些在本文通常被称作“电路”、“模块”或“系统”。而且，多个方面可以采取设备程序产品的形式，其中该产品被实施在一个或更多个设备可读介质中，用设备可读介质来实施设备可读程序代码。

应注意，使用存储在诸如由处理器执行的非信号存储设备的设备可读存储介质上的指令，可以实现本文所描述的各种功能。存储设备例如可以是电子的、磁性的、光学的、电磁的、红外的或半导体的系统、装置或设备、或任何前述的合适的组合。存储介质的更具体的示例将包括以下：便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦写可编程只读存储器(EPROM或闪存)、光纤、便携式致密盘只读存储器(CD-ROM)、光学存储设备、磁存储设备、或前述项的任何合适的组合。在本文的上下文中，存储设备不是信号，并且“非暂时”包括除信号介质以外的所有介质。

使用任何合适的介质，包括但不限于无线、有线、光纤线缆、RF等，或前述项的任何合适的组合，可以传输被实施在存储介质上的程序代码。

可以采用一种或更多种程序语言的任何组合来编写用于执行操作的程序代码。程序代码可以完全地在单个设备上执行、在部分地单个设备上执行，作为独立软件包，部分地在单个设备上以及部分地在另一设备上执行，或完全在其它设备上执行。在某些情况下，可以通过任何类型的连接或网络(包括局域网(LAN)或广域网络(WAN))连接设备，或通过其它设备(例如，通过使用因特网服务提供商的因特网)，通过无线连接(例如近场通信)，或通过硬线连接(如通过USB连接)进行连接。

在这里，参考图示了根据各个示例实施方式的示例方法、设备及程序产品的附图，描述示例实施方式。将理解，可以由程序指令至少部分地实现动作和功能。可以将这些程序指令提供给通用信息处理设备、专用信息处理设备、或其它生产机器的可编程的数据处理设备的处理器，使得经由设备的处理器执行的指令实现指定的功能/动作。

值得注意的是，虽然在图中使用了具体的块并且图示了特定的块排序，但是这些是非限制性示例。在某些背景下，两个或更多个块可以被组合，块可以分成两个或更多个块，或某些块可以适当地被重排序或重新组织，因为明确图示的示例仅用于说明性目的，并且不应被理解为是限制性的。

如本文所使用的，除非另外清楚地指明，否则，单数“一个”(“a”)和“一种”(“an”)可以被理解为包括复数“一个或更多个”。

为了说明和描述的目的已提出了本公开内容，但是本公开内容不意在是穷举的或限制性的。对本领域的技术人员而言，许多修改和变化将是明显的。选择并描述了示例实施方式，以说明原理及实际应用以及使得本领域的其它普通技术人员能够理解具有适合设想的特定用途的各种修改的各实施方式的公开内容。

因此，虽然本文已参考附图描述了说明性的示例实施方式，但是将理解该描述不是限制性的，并且在不偏离本公开内容的范围或精神的情况下，在本公开内容中，本领域技术人员可以作出各种其它变化和修改。

Claims (18)

1.一种信息处理方法，包括：

使用图像传感器捕获用户的图像；

使用处理器检测形成所述图像内的边缘的用户手势；

使用所述图像传感器捕获所述用户的至少一个额外图像；

使用所述处理器检测与所述图像的所述边缘有关的用户手势；以及

使用所述处理器，根据与所述图像的所述边缘有关的所述用户手势，提交预定的动作；

其中，所述图像内的所述边缘由所述用户的单只手来形成，由用户单只手形成的边缘被用作参考点。

2.根据权利要求1所述的方法，其中与所述图像的所述边缘有关的所述手势是使用另一只手的单指运动来形成的。

3.根据权利要求1所述的方法，其中与所述图像的所述边缘有关的所述手势是使用放平的另一只手的旋转来形成的。

4.根据权利要求1所述的方法，其中被提交的所述动作包括执行与边缘滑动手势关联的功能。

5.根据权利要求4所述的方法，其中与所述边缘滑动手势关联的所述功能选自由关闭应用程序、在应用程序间切换和显示工具条构成的组。

6.根据权利要求1所述的方法，其中所述图像内的所述边缘由被保持为基本平行于显示设备所形成的平面的所述用户的单只手来形成。

7.根据权利要求1所述的方法，其中所述图像内的所述边缘由被保持为基本平行于和显示设备垂直的平面的所述用户的单只手来形成。

8.根据权利要求1所述的方法，其中所述图像内的所述边缘由被保持为拇指从所述单只手伸出的所述用户的单只手来形成。

9.根据权利要求1所述的方法，其中所述图像传感器包括摄像机，其被集成到容纳有所述处理器的设备的显示装置中。

10.一种信息处理设备，包括：

图像传感器；

处理器；

存储器装置，其存储所述处理器能够访问的指令，所述指令能够被所述处理器执行以：

使用所述图像传感器捕获用户的图像；

检测形成所述图像内的边缘的用户手势；

使用所述图像传感器捕获所述用户的至少一个额外图像；

检测与所述图像的所述边缘有关的用户手势；以及

根据与所述图像的所述边缘有关的所述用户手势提交预定动作；

其中，所述图像内的所述边缘由所述用户的单只手来形成，由用户单只手形成的边缘被用作参考点。

11.根据权利要求10所述的信息处理设备，其中与所述图像的所述边缘有关的所述手势是使用另一只手的单指运动来形成的。

12.根据权利要求10所述的信息处理设备，其中与所述图像的所述边缘有关的所述手势是使用放平的另一只手的旋转来形成的。

13.根据权利要求10所述的信息处理设备，其中被提交的所述动作包括执行与边缘滑动手势关联的功能。

14.根据权利要求13所述的信息处理设备，其中与所述边缘滑动手势关联的所述功能选自由关闭应用程序、在应用程序间切换和显示工具条构成的组。

15.根据权利要求10所述的信息处理设备，其中所述图像内的所述边缘由被保持为基本平行于显示设备所形成的平面的所述用户的单只手来形成。

16.根据权利要求10所述的所述信息处理设备，其中所述图像内的所述边缘由被保持为基本平行于和显示设备垂直的平面的所述用户的单只手来形成。

17.根据权利要求10所述的所述信息处理设备，其中所述图像内的所述边缘由被保持为拇指从所述单只手伸出的所述用户的单只手来形成。

18.一种信息处理产品，包括：

用来存储代码的存储设备，所述代码包括：

使用图像传感器捕获用户的图像的代码；

使用处理器检测形成所述图像内的边缘的用户手势的代码；

使用所述图像传感器捕获所述用户的至少一个额外图像的代码；

使用所述处理器检测与所述图像的所述边缘有关的用户手势的代码；以及

使用所述处理器，根据与所述图像的所述边缘有关的所述用户手势，提交预定动作的代码；

其中，所述图像内的所述边缘由所述用户的单只手来形成，由用户单只手形成的边缘被用作参考点。