CN104520799A - 通过眼睛跟踪进行的用户输入处理 - Google Patents

Abstract

一种系统确定多个用户中的哪一用户通过单个输入装置提供了输入。一种机构捕获所述一或多个用户的图像。当检测到输入时，可处理所述图像以确定哪一用户使用所述输入装置提供了输入。可处理所述图像以识别每一用户的头部和眼睛，且确定每一用户的眼睛的焦点。将眼睛聚焦在输入位置的用户识别为提供所述输入。当输入机构为触摸屏时，将眼睛聚焦在被触摸的触摸屏部分上的用户识别为所述输入的来源。

Description

通过眼睛跟踪进行的用户输入处理

相关申请的交叉引用

本申请要求2012年5月4日申请的美国专利申请号13/464,703的优先权权益，所述专利申请的公开内容以引用的方式并入本文中。

发明背景

技术领域

本发明大体上涉及输入处理系统，且更明确地说，涉及经由图像处理来处理来自多个用户的输入。

习知技术

计算系统应用程序通过接收用户输入、处理所述输入以及提供结果来与用户交互。随着系统变得更先进，且更多的人欣然接受技术，应用程序已演进为同时使多个用户参与。多个用户可同时与计算系统交互，且所述用户可提供与特定用户有关的输出。举例来说，两个用户可使用游戏控制器来玩计算机游戏，其允许所述用户在游戏会话期间与每一其它用户竞争。每一用户用相应的游戏控制器来提供输入。

技术已演进为允许与计算系统的不同类型的交互。不同于例如接收来自每一用户的远程游戏控制器的输入，一些计算系统利用单个输入机构，例如触摸屏。当仅一个用户与所述计算装置啮合时，所述单个输入机构接收来自单个用户的输入。当多个用户啮合具有单个输入机构的计算系统时，确定哪一用户正在提供输入非常困难。

此项技术中需要一种系统，其允许多个用户容易且高效地使用单个输入机构与计算装置交互。

发明概要

在一实施例中，性能、功能性、内容或业务相关性。基于学习技术、高效监视和资源管理，本发明的系统可以非常低的开销捕获网络应用程序的数据，并提供网络应用程序的异常值的分析信息。

在一实施例中，在装置存在的情况下，可通过首先在物理上识别多个用户来接收输入。输入可由装置从所述多个物理存在的用户中的第一用户接收。可从所述多个用户中与所述输入相关联的一者检测物理状态。

在一实施例中，一种用户检测输入的系统可包含显示装置、相机、处理器，以及存储在存储器中且可由处理器执行的模块。所述相机可捕获色彩图像数据，且将图像数据提供给处理器。特征检测模块可执行以检测用户的物理特征。用户焦点检测模块检测用户眼睛的焦点。一种输入处理模块接收并处理来自用户的输入。

附图简述

图1是用于通过计算控制台的触摸屏接收输入的示范性系统的框图。

图2是用于通过平板计算机的触摸屏接收输入的示范性系统的框图。

图3是用于通过移动装置的触摸屏接收输入的示范性系统的框图。

图4是具有用户检测机构的示范性计算装置。

图5是示范性的一组可执行软件模块。

图6是用于识别来自多个用户中的一者的输入的示范性方法的流程图。

图7A到7B是用户眼睛的示范性图像。

图8是接收来自多个用户中的一者的输入的示范性计算装置的框图。

图9是用于实施计算装置的示范性系统的框图。

具体实施方式

本发明的实施例确定多个用户中的哪一用户通过单个输入装置提供了输入。所述计算系统可包含用于捕获所述一或多个用户的图像的机构。可处理所述图像以确定哪一用户使用所述输入装置提供了输入。举例来说，可处理所述图像以识别每一用户的头部和眼睛，且确定每一用户的眼睛的焦点。将眼睛聚焦在输入装置处的用户识别为提供所述输入。在输入机构可为触摸屏的实施例中，将眼睛聚焦在被触摸的触摸屏部分上的用户识别为提供所述输入。

本发明的实施例可结合若干类型的计算装置使用。图1是用于通过计算控制台的触摸屏接收输入的示范性系统的框图。计算控制台125将用于显示的图像数据提供给触摸屏120。触摸屏120可接收触摸输入，且将输入提供给计算控制台125。计算控制台可接收输入，处理所述输入并创建新的图像数据，且将所述图像数据提供给触摸屏120。用户105和110中的任一者可将输入提供给计算控制台125，例如通过触摸触摸屏120。本发明能够确定哪一用户触摸了触摸屏，且相应地处理所述输入。图2是用于通过平板计算机130的触摸屏接收输入的示范性系统的框图。用户105和110可各自使用平板的触摸屏将输入提供给平板计算机130。本发明的实施例可确定用户105和110中的哪一者将输入提供给了平板计算机130，且相应地处理所述输入。图3是用于通过移动装置的触摸屏接收输入的示范性系统的框图。用户105和110可各自通过触摸屏或其它输入件将输入提供给移动装置140。本发明可确定哪一用户将输入提供给了移动装置140，且为所述用户处理输入。

图4是具有用户检测机构45的示范性计算装置。用户检测机构405可结合计算控制台、平板计算机、移动装置或任何其它计算装置使用。用户检测机构包含彩色相机410和红外线(IR)相机415。彩色相机410可捕获计算装置附近的区域420的图像。可处理所述图像以识别用户、用户的物理特征，以及所述物理特征的状态。举例来说，可处理彩色相机410所捕获的两个玩家的图像，以识别区域420内的两个用户，每一用户的物理特征包含用户头部和眼睛，以及每一用户的眼睛的状态，例如每一用户将其眼睛聚焦在何处。还可使用IR成像系统415来捕获和处理图像。可在低光条件下利用IR成像系统415，以捕获区域425的IR图像。可处理IR图像以识别若干用户、用户物理特征以及特征状态，类似于彩色相机图像处理的处理。

图5是示范性的一组可执行软件模块。所述模块可由处理器执行以实施本文所述的本发明的各种方面。特征检测模块520检测用户的图像中的特征。举例来说，特征检测模块可接收图像，检测人类脸部的轮廓，且识别脸部内的眼睛。模块520可具有一或多个脸部的模板，以与接收到的图像的部分进行比较来识别人类脸部。所述模板可存储在特征库模块540中。在一些实施例中，特征检测模块540可检测两个或两个以上连续图像之间的运动，且使用像素着色的变化来检测用户。一旦检测到用户头部，特征检测模块就分析所述头部内的特征以检测用户的眼睛。可通过检测例如靠近眼睛的鼻子等特征，确定用户眼睛在用户头顶下方的某一距离，或执行此项技术中通常已知的其它算法来识别眼睛。除物理特征之外，也可确定其它特征，例如用户远离计算装置的距离。在一些实施例中，如果检测到的人大于距计算装置的某一阈值距离，那么用户将不被视为能够提供输入的用户。

用户聚焦模块510可分析用户眼睛的图像以确定用户聚焦在何处。人眼的前部包含黑瞳、瞳孔周围的彩色虹膜，以及虹膜周围的白色巩膜。计算装置可分析巩膜的面积和位置，以确定用户向上、向下、向左还是向右聚焦。举例来说，当用户的眼睛聚焦在他右边的物体上时，用户眼睛所捕获的图像将显示用户的巩膜的较多部分在图像(用户的左侧)中在眼睛的右侧而不是左侧，因为眼睛将朝左侧移动。

输入聚焦模块530接收输入并处理所述输入。所述输入可为触摸屏上的指定热点、按钮、无线信号或某一其它输入的选择。输入聚焦模块530可从识别用户已提供最近输入的其它模块接收信息。输入处理模块接着将所述输入处理为所识别的用户的动作。

特征库模块540可包含脸部和眼睛掩模、模板、模型和其它数据，其用于处理图像，且识别用户物理特征和特征状态，例如用户的眼睛聚焦在哪一方向上。

图6是用于识别来自多个用户中的一者的输入的示范性方法的流程图。图6的方法可由计算装置120和125、130和140中的任一者执行。在步骤610处，计算装置识别参与的用户。参与的用户是可将输入提供给计算装置的那些用户。可通过向系统注册或图像处理来识别参与的用户。注册可包括每一用户将某一类的识别信息或它们存在的指示提供给计算装置。图像处理可包括：捕获用户可从中提供输入的区域的一或多个图像；检测人类头部的数目；以及将值指派给每一检测到的头部。在一些实施例中，可使用注册和图像处理两者来识别参与的用户。

一种用于经由图像处理检测人类头部的方法可以分析类似人类头部的形状的图像来开始。可使用对比度检测、运动检测和其它技术来识别形状。一旦检测到潜在的头部形状，就针对大部分人类头部共有的特征来分析头部候选者。所述特征可包含呈现鼻子、嘴巴或眼睛可能所处的位置的对比度、阴影或其它特征。如果候选头部满足阈值特征等级，那么可将所述头部候选者识别为参与的用户。用于检测图像中的脸部的其它方法是此项技术中已知的。

在步骤615处，定位每一用户的眼睛区域。检测参与用户的头部的眼睛区域可涉及搜索头部内眼睛所位于的区域周围的对比度、亮度或其它图像特性等级。在步骤620处，一旦定位到用户眼睛，就可针对每一参与用户校准眼睛行为。校准可包括屏幕上对参与用户指示用户的脸部应距计算装置的距离范围的指令，看屏幕上的特定点的指令以及其它方向。所述校准可使用户看计算装置的显示器上的不同点或热点，且当已知用户眼睛的焦点时，分析用户眼睛的图像。举例来说，图7A到7C说明当用户眼睛聚焦在不同区域上时的用户头部和眼睛。图7A说明具有眼睛714和712的用户头部710。眼睛714包含虹膜和瞳孔区域716，以及巩膜区域718和720。眼睛712包含虹膜和瞳孔区域722，以及巩膜区域724和726。当虹膜和瞳孔区域的左侧和右侧的巩膜面积大约相同时，可确定用户大约聚焦在正前方。当巩膜的面积在虹膜和瞳孔区域的右侧远大于在瞳孔和虹膜左侧的巩膜面积时，用户焦点可朝向用户的右侧(图7C)。类似地，当巩膜的面积在虹膜和瞳孔区域的右侧和下面远大于在瞳孔和虹膜左侧和上方的巩膜面积时，用户焦点可朝向用户的右上侧(图7D)。可通过在校准期间取用户眼睛的一组测量结果来得出聚焦程度以及对应的焦点。可记录用户的瞳孔、虹膜和其它对象的面积和位置，以用于后续跟踪用户眼睛。

在步骤625处，用户眼睛的跟踪开始。所述跟踪涉及捕获用户的连续图像。可处理所述图像，以跟踪和维持用户眼睛位置和焦点的知识。在一些实施例中，重复地捕获并存储所述图像，但接着如果未从任何用户接收到输入，那么丢弃所述图像。

在步骤630处，在屏幕热点处检测输入。所述输入可包含用户触摸计算控制台120、平板计算机220和移动装置320中的一者的触摸屏上的热点。所述热点可为屏幕上所显示的特定图像对象，例如字母、球、虚拟项目、文本或其它对象的图像。在步骤635处，识别眼睛聚焦在输入的热点位置上的用户。如上文所论述，可相对于校准过程确定眼睛位置。可以多种方式识别对应于特定输入的用户。举例来说，可确定每一用户的眼睛焦点，且可选择眼睛焦点距热点最近的用户。或者，可确定每一用户的眼睛焦点，直到在接收到输入的热点的阈值距离内检测到眼睛焦点为止。在一些实施例中，可基于用户的输入历史、眼睛焦点、是否期望来自用户的输入等，为每一用户确定输入的可能性。一旦输入与所识别的用户相关联，就在步骤640处，为所述特定用户处理热点处的输入。

图8是接收来自多个用户中的一者的输入的示范性计算装置的框图。计算装置800包含相机系统805(用户检测系统)，其具有彩色相机810和IR相机815。用户830和835各自在彩色相机810的范围820以及IR相机815的范围825内。计算装置800包含具有热点840、845、850、855和860的触摸屏。在校准期间，所述系统可显示文本，其要求用户在系统捕获用户眼睛的图像时聚焦在特定的热点上。

当接收到输入时，计算装置800确定用户焦点，且将输入识别为来自聚焦在接收到输入的热点上的用户。举例来说，用户835已通过在热点855处按压屏幕来在热点855处提供输入。在接收到输入后，处理装置将即刻分析从彩色相机810、IR相机815或两者捕获的图像。从所述图像，将确定用户焦点。如果在处理所述图像之后，确定用户830具有焦点870，且确定用户835具有对应于热点855的焦点880，那么在热点855处接收到的输入将与用户835相关联。通过确定用户眼睛聚焦在何处，通过多个玩家所使用的装置接收到的输入可与多个玩家中的一者相关联。

图9说明可用以实施计算装置以结合现有技术使用的示范性计算系统900。图9的系统900可在类似于计算控制台120、平板计算机220和移动装置320的情境中实施。图9的计算系统900包含一或多个相机910、处理器915和存储器920。主存储器920部分地存储指令和数据，以供处理器915执行。主存储器920可在操作中时存储可执行代码。图9的系统900进一步包含大容量存储装置925、便携式存储媒体驱动器930、IR装置935、输出装置940、用户输入装置945、显示器950以及外围装置955。

相机910可包含能够捕获适合图像处理分析的一系列照片的一或多个相机。所述照片可嵌入在安装于系统外部的计算系统内。可经由总线960将相机910所捕获的图像提供给处理器915，其可执行存储在存储器920中的模块以为特征检测分析所述图像。

IR装置935可包含能够在非常低的光条件下捕获图像的IR相机。可与用于用户特征检测的彩色相机图像类似地处理IR图像。可经由总线960将从IR装置935捕获的图像发送到处理器915以供处理。

将图9中所示的组件描绘为经由单个总线990连接。然而，可经由一或多个数据输送构件来连接所述组件。举例来说，处理器单元915和主存储器920可经由本地微处理器总线连接，且大容量存储装置925、外围装置955、便携式存储装置930以及显示系统950可经由一或多个输入/输出(I/O)总线连接。

可用磁盘驱动器或光盘驱动器实施的大容量存储装置925为用于存储供处理器单元915使用的数据和指令的非易失性存储装置。大容量存储装置925可存储用于实施本发明的实施例的系统软件，以用于将所述软件加载到主存储器920中的目的。

便携式存储装置930结合便携式非易失性存储媒体(例如软盘、压缩光盘或数字视频光盘)而操作，以将数据和代码输入到图9的计算机系统900且从计算机系统900输出数据和代码。用于实施本发明的实施例的系统软件可存储在此便携式媒体上，且经由便携式存储装置930输入到计算机系统900。

输入装置945提供用户接口的一部分。输入装置945可包含字母数字小键盘，例如键盘，用于输入字母数字以及其它信息，或指点装置，例如鼠标、跟踪球、手写笔或光标方向键。另外，如图9中所示的系统900包含输出装置940。合适的输出装置的实例包含扬声器、打印机、网络接口和监视器。

显示系统950可包含液晶显示器(LCD)或其它合适显示装置。显示系统950接收纹理和图形信息，且处理所述信息以供输出到显示装置。显示系统950可包含触摸屏装置，其通过检测显示器的表面上的触摸来接收输入。经由总线960将接收所述触摸的像素传送到处理器915。

外围装置955可包含任何类型的计算机支持装置，以将额外功能性添加到计算机系统。举例来说，外围装置955可包含调制解调器或路由器。

图9的计算机系统900中所含有的组件为通常在计算机系统中找到的那些组件，其可适合结合本发明的实施例使用，且意在表示此项技术中众所周知的此些计算机组件的广泛类别。因此，图9的计算机系统900可为个人计算机、手持式计算装置、电话、移动计算装置、工作台、服务器、迷你计算机、大型计算机或任何其它计算装置。所述计算机还可包含不同总线配置、连网平台、多处理器平台等。可使用各种操作系统，包含尤尼斯(Unix)、哩纳克斯(Linux)、视窗(Windows)、麦金塔(Macintosh)OS、奔迈(Palm)OS，以及其它合适操作系统。

本文已出于说明和描述的目的呈现了所述技术的前述详细描述。所述描述无意为详尽的，或将所述技术限于所公开的精确形式。鉴于以上教示，许多修改和变化是可能的。选择所描述的实施例是为了最好地阐释所述技术的原理及其实际应用，以藉此使所属领域的技术人员能够在各种实施例中最佳利用所述技术，且具有适合所预期的特定使用的各种修改。希望所述技术的范围由所附权利要求书界定。

Claims (20)

1.一种用于通过装置接收输入的方法，其包括：

在存在所述装置的情况下，物理上识别多个用户；

通过所述装置从所述多个物理上存在的用户中的第一用户接收输入；以及

从所述多个用户中与所述输入相关联的一者检测物理状态。

2.根据权利要求1所述的方法，其中所述输入包含接收触摸屏显示器上的输入。

3.根据权利要求1所述的方法，其中检测物理状态包含检测所述第一用户的眼睛聚焦在热点上。

4.根据权利要求1所述的方法，其进一步包括在所述装置存在的情况下，物理上定位所述多个用户中的每一者的所述眼睛。

5.根据权利要求1所述的方法，其进一步包括将用户的眼睛焦点与显示器上的所述位置校准。

6.根据权利要求1所述的方法，其中在触摸屏显示器上的热点处检测所述输入，所述第一用户物理状态包含眼睛聚焦在所述热点上。

7.根据权利要求1所述的方法，其中检测物理状态包括处理所述第一用户的图像。

8.根据权利要求7所述的方法，其中处理图像包括在所述用户的图像中识别与所述第一用户的巩膜相关联的一或多个像素区域。

9.根据权利要求1所述的方法，其进一步包括为具有与所述输入相关联的物理状态的所述第一用户处理所述输入。

10.一种上面包含有程序的非暂时性计算机可读存储媒体，所述程序可由处理器执行以实施用于接收输入的方法，所述方法包括

在存在所述装置的情况下，物理上识别多个用户；

通过所述装置从所述多个物理上存在的用户中的第一用户接收输入；以及

从所述多个用户中与所述输入相关联的一者检测物理状态。

11.根据权利要求10所述的非暂时性计算机可读存储媒体，其中所述输入包含接收触摸屏显示器上的输入。

12.根据权利要求10所述的非暂时性计算机可读存储媒体，其中检测物理状态包括检测所述第一用户的眼睛聚焦在热点上。

13.根据权利要求10所述的非暂时性计算机可读存储媒体，所述方法进一步包括在所述装置存在的情况下，物理上定位所述多个用户中的每一者的所述眼睛。

14.根据权利要求10所述的非暂时性计算机可读存储媒体，所述方法进一步包括将用户的眼睛焦点与显示器上的所述位置校准。

15.根据权利要求10所述的非暂时性计算机可读存储媒体，其中在触摸屏显示器上的热点处检测所述输入，所述第一用户物理状态包含眼睛聚焦在所述热点上。

16.根据权利要求10所述的非暂时性计算机可读存储媒体，其中检测物理状态包含处理所述第一用户的图像。

17.根据权利要求16所述的非暂时性计算机可读存储媒体，其中处理图像包括在所述用户的图像中识别与所述第一用户的巩膜相关联的一或多个像素区域。

18.根据权利要求10所述的非暂时性计算机可读存储媒体，所述方法进一步包括为具有与所述输入相关联的物理状态的所述第一用户处理所述输入。

19.一种用于检测输入的系统，所述系统包括：

显示装置；

相机，其能够捕获彩色图像数据且将所述图像数据提供给处理器；

处理器，其经配置以执行一或多个模块

可执行特征检测模块，其存储在存储器中且经配置以检测用户的物理特征；

可执行用户焦点检测模块，其存储在存储器中，且经配置以检测用户眼睛的焦点；以及

可执行输入处理模块，其存储在存储器中，且经配置以从用户接收输入且处理所述输入。

20.根据权利要求19所述的系统，其进一步包括IR装置，其经配置以捕获一或多个用户的红外线图像。