CN104471511B - 识别指点手势的装置、用户接口和方法 - Google Patents

识别指点手势的装置、用户接口和方法 Download PDF

Info

Publication number
CN104471511B
CN104471511B CN201380025048.1A CN201380025048A CN104471511B CN 104471511 B CN104471511 B CN 104471511B CN 201380025048 A CN201380025048 A CN 201380025048A CN 104471511 B CN104471511 B CN 104471511B
Authority
CN
China
Prior art keywords
plane
indication
user
data
predefined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380025048.1A
Other languages
English (en)
Other versions
CN104471511A (zh
Inventor
I·卡茨
A·申弗尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EYESIGHT MOBILE TECHNOLOGIES L
Original Assignee
EYESIGHT MOBILE TECHNOLOGIES L
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201261610116P priority Critical
Priority to US61/610,116 priority
Application filed by EYESIGHT MOBILE TECHNOLOGIES L filed Critical EYESIGHT MOBILE TECHNOLOGIES L
Priority to PCT/IL2013/050230 priority patent/WO2013136333A1/en
Publication of CN104471511A publication Critical patent/CN104471511A/zh
Application granted granted Critical
Publication of CN104471511B publication Critical patent/CN104471511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Abstract

目前所公开的主题包括一种识别平面上的瞄准点的方法。处理通过一个或更多个图像传感器捕获的图像以获得指示至少一个指点元件在观察空间中的位置的数据以及指示观察空间中的至少一个预定义的用户身体部位的数据;利用获得的数据标识平面上的瞄准点。在确定满足预定义的条件的情况下,执行预定义的命令和/或消息。

Description

识别指点手势的装置、用户接口和方法
技术领域
[0001]本发明涉及用户接口以及包括用户接口的装置。
背景技术
[0002]已尝试利用光学传感器实现手势识别以用于向装置输入命令。手势识别需要在多 个成像器中的每一个中在视频流中标识诸如手的身体部位。
[0003]例如,已知基于手势的系统在视频流中标识手势。对手势进行归类以确定向相关 电子装置中的输入。接收的输入可用于控制相应系统的各个方面。
发明内容
[0004]根据目前所公开的主题的一个方面,提供一种识别平面上的瞄准点的方法,该方 法包括:获得图像传感器的观察空间的至少一个图像;
[0005]通过操作上连接到所述图像传感器的至少一个处理器处理所述至少一个图像,并 获得指示至少一个指点元件在所述观察空间中的位置的数据;获得指示所述观察空间中的 至少一个预定义的用户身体部位的数据;以及通过所述至少一个处理器利用指示所述至少 一个指点元件的位置的数据以及指示至少一个预定义的用户身体部位的位置的数据确定 所述平面上的点或区域,从而得到所述平面上的瞄准点;在获得指示至少一个指点元件在 所述观察空间中的位置的数据的同时确定满足预定义的条件;以及执行与所述瞄准点关联 的预定义的命令和/或消息。
[0006]在一些情况下,可选地,根据目前所公开的主题的这一方面的方法可包括以下特 征中的一个或更多个(按照任何期望的组合或排列)。
[0007] i •其中,所述方法还包括:在所述平面上显示至少一个图形元素;通过所述至少一 个处理器利用指示所述平面上的所述瞄准点的位置的数据从显示在所述平面上的所述至 少一个图形元素中标识给定图形元素。
[0008] ii •其中,确定所述平面上的所述瞄准点的步骤还包括:标识所述至少一个预定义 的用户身体部位,所述至少一个身体部位包括所述用户的脸部和所述用户的预定义的脸部 部位中的至少一个;标识所述至少一个指点元件;确定所述至少一个身体部位在所述观察 空间内的位置,从而得到第一位置;确定所述至少一个指点元件在所述观察空间内的位置, 从而得到第二位置;确定与所述第一位置和所述第二位置相关的至少一条观察射线;以及 将所述瞄准点确定为所述平面上与所述至少一条观察射线和所述平面的交点关联的点。
[0009] iii.其中,确定所述第一位置的步骤包括:确定所述至少一个身体部位的二维位 置;估计所述至少一个身体部位距所述平面的距离;并且其中,确定所述第二位置的步骤包 括:确定所述至少一个指点元件的二维位置;以及估计指点元件距所述第一位置的距离。
[0010] iv.其中,确定所述第一位置的步骤包括:确定所述至少一个身体部位的二维位 置;估计所述至少一个身体部位距所述平面的距离;并且其中,确定所述第二位置的步骤包 括:确定所述至少一个指点元件的二维位置;以及估计指点元件距所述平面的距离。
[0011] V.其中,所述至少一个预定义的身体部位距所述平面的距离的估计和所述指点元 件距所述第一位置的距离的估计中的至少一个利用存储在数据仓库中的数据来执行。
[0012] vi.其中,所述至少一个身体部位距所述平面的距离的估计利用指示所述用户的 两个或更多个脸部部位之间的距离的数据来执行。
[0013] vii.其中,指点元件距所述第一位置的距离的估计利用关于下列项中的至少一个 的数据来执行:所述用户的身高;估计的所述用户的身体比例;估计的所述用户距所述平面 的距离;以及多个距离值,各个距离值表示记录的在指点手势期间至少一个指点元件与相 应用户的预定义的身体部位之间的距离。
[0014] viii. 其中,所述第一位置和所述第二位置的确定中的至少一个利用通过所述图 像传感器和深度传感器获得的信息来执行。
[0015] ix.其中,所述深度传感器的分辨率小于所述图像传感器的分辨率。
[0016] x.其中,所述第二位置被确定为在所述观察空间中在指点手势期间所述指点元件 最靠近所述平面的点P’处所述指点元件的位置。
[0017] xi.其中,所述方法还包括:利用从所述指点手势期间所述指点元件的运动提取的 位置特征来确定点P’处所述指点元件的位置。
[0018] xii.其中,所述方法还包括校准处理,该校准处理包括:在所述平面上显示包括至 少一个图形元素的校准序列;针对各个给定图形元素,在所述观察空间中标识所述至少一 个指点元件;确定连接所述给定图形元素、所述至少一个指点元件和用户的所述预定义的 身体部位的至少一条观察射线;确定所述至少一个指点元件和所述预定义的用户身体部位 中的至少一个的相应位置;以及将所述相应位置与所述给定图形元素关联地存储在数据仓 库中。
[0019] xiii.其中,所述校准还包括:生成校准映射,该校准映射指示所述平面上的多个 位置与所述指点元件距所述至少一个预定义的用户身体部位的相应距离之间的关联。
[0020] xiv.其中,所述方法还包括:利用所述校准映射中的数据确定所述瞄准点。
[0021] xv.其中,所述方法还包括所述校准序列包括需要将在操作上连接到所述至少一 个图像传感器和所述至少一个处理器的装置从待机模式切换为激活模式和/或解锁所述装 置来选择的至少一个图形元素。
[0022] xvi.其中,所述方法还包括利用第一类型的特征和第二类型的特征中的至少一个 来确定所述平面上的所述瞄准点;其中,所述第一类型的特征包括关于在指点手势期间所 述指点元件的运动路径的特征,所述第二类型的特征包括关于至少一个候选平面的特征。 [0023] xvii.其中,所述第一类型的特征包括在所述指点手势期间所述指点元件的选择 的符合预定义的标准的位置数据分量的集合;该方法还包括:针对选择的位置数据的集合 中的各个给定位置数据分量,确定相应观察射线,所述相应观察射线从所述至少一个预定 义的用户身体部位的位置延伸穿过所述至少一个指点元件的位置并与所述平面相交,从而 得到相应候选平面,其中,所述至少一个指点元件的位置对应于所述给定位置数据分量;确 定各个候选平面之间的交叠区域;利用指示所述交叠区域的数据来确定所述瞄准点。
[0024] xviii.其中,所述方法还包括:在所述平面上显示指点视觉效果;检测所述指点元 件在所述观察空间中的运动路径;与所述指点元件的运动路径相关地改变显示的指点视觉 效果的至少一个特性,从而提供指示在所述指点手势期间所述平面上的瞄准点的位置的数 据。
[0025] xix.其中,改变所述指点视觉效果的所述至少一个特性包括下列项中的至少一 个:随着所述指点元件与所述平面之间的距离减小而减小所述指点视觉效果的尺寸;以及 随着所述指点元件与所述平面之间的距离增大而增大所述指点视觉效果的尺寸。
[0026] xx.其中,当满足预定义的指点视觉效果条件时显示所述指点视觉效果。
[0027] xxi.其中,所述预定义的条件是所述指点元件指向显示在所述显示器上的给定图 形元素达至少预定义的量的时间。
[0028] xxii.其中,所述预定义的条件是所述指点元件执行了预定义的手势。
[0029] xxiii.其中,所述方法还包括:标识由所述指点元件执行的预定义的第一手势;响 应于所述第一手势标识给定图形元素;标识由所述指点元件执行的预定义的第二手势;以 及响应于所述第二手势执行命令和/或消息,其中,所述命令和/或消息与所述给定图形元 素关联,并且其中,在所述第一手势之前、期间或之后标识所述第二手势。
[0030] xxiv.其中,所述至少一个预定义的用户身体部位是用户的眼睛。
[0031] xxv.其中,所述平面是显示器。
[0032] 根据目前所公开的主题的另一方面,提供一种装置,该装置包括在操作上连接到 至少一个处理器的至少一个图像传感器,所述至少一个图像传感器被配置为获得观察空间 的至少一个图像,所述至少一个处理器被配置为:处理所述至少一个图像并获得指示至少 一个指点元件在所述观察空间中的位置的数据;获得指示所述观察空间中的至少一个预定 义的用户身体部位的数据;并且通过所述至少一个处理器利用指示所述至少一个指点元件 的位置的所述数据和指示至少一个预定义的用户身体部位的位置的所述数据确定所述平 面上的点或区域,从而得到所述平面上的瞄准点;在获得指示至少一个指点元件在所述观 察空间中的位置的数据的同时确定满足预定义的条件;并且执行与所述瞄准点关联的预定 义的命令和/或消息。
[0033] 根据目前所公开的主题的另一方面,提供一种在操作上可连接到装置以允许将命 令输入至所述装置的用户接口,该用户接口包括在操作上连接到至少一个处理器的至少一 个图像传感器,所述至少一个图像传感器被配置为获得观察空间的至少一个图像,所述至 少一个处理器被配置为:处理所述至少一个图像并获得指示至少一个指点元件在所述观察 空间中的位置的数据;获得指示所述观察空间中的至少一个预定义的用户身体部位的数 据;并且通过所述至少一个处理器利用指示所述至少一个指点元件的位置的所述数据和指 示至少一个预定义的用户身体部位的位置的所述数据确定所述平面上的点或区域,从而得 到所述平面上的瞄准点;在获得指示至少一个指点元件在所述观察空间中的位置的数据的 同时确定满足预定义的条件;并且执行与所述瞄准点关联的预定义的命令和/或消息。
[0034] 根据目前所公开的主题的另一方面,提供一种可由机器读取的有形地具体实现指 令程序的程序存储装置,所述指令程序可由所述机器执行以执行一种识别平面上的瞄准点 的方法,该方法包括:获得图像传感器的观察空间的至少一个图像•,通过操作上连接到所述 图像传感器的至少一个处理器处理所述至少一个图像,并获得指示至少一个指点元件在所 述观察空间中的位置的数据;获得指示所述观察空间中的至少一个预定义的用户身体部位 的数据;以及通过所述至少一个处理器利用指示所述至少一个指点元件的位置的所述数据 以及指示至少一个预定义的用户身体部位的位置的所述数据确定所述平面上的点或区域, 从而得到所述平面上的睹准点;在获得指不至少一个指点元件在所述观察空间中的位置的 数据的同时确定满足预定义的条件;以及执行与所述瞄准点关联的预定义的命令和/或消 息。
[0035]根目前所公开的主题的另一方面,提供一种包含指令的计算机程序代码,所述指 令使得处理器执行一种识别平面上的瞄准点的方法的操作,所述操作包括:获得图像传感 器的观察空间的至少一个图像;通过操作上连接到所述图像传感器的至少一个处理器处理 所述至少一个图像,并获得指示至少一个指点元件在所述观察空间中的位置的数据;获得 指示所述观察空间中的至少一个预定义的用户身体部位的数据;以及通过所述至少一个处 理器利用指不所述至少一个指点元件的位置的所述数据以及指示至少一个预定义的用户 身体部位P位置的所述数据确定所述平面上的点或区域,从而得到所述平面上的瞄准点; 在获得指示至少一个指点元件在所述观察空间中的位置的数据的同时确定满足预定义的 条件;以及执行与所述瞄准点关联的预定义的命令和/或消息。
[0036]根据目前所公开的主题的某些实施方式,所述计算机程序代码被具体实现在计算 机可读介质上。
[0037]可选地,根据目前所公开的主题的上述不同方面的装置、用户接口、程序存储装置 和计算机程序代码可包括上述特征(i-xxv)中的一个或更多个(按照任何期望的组合或排 列,加以必要的修改)。
附图说明
[0038]为了理解本发明并且看出它在实践中可如何实现,现在将参照附图仅通过非限制 示例描述实施方式,附图中:
[0039]图1示出根据目前所公开的主题的系统;
[0040]图2a示出示意性地示出根据目前所公开的主题的处理单元的功能框图;
[0041]图2b示出示意性地示出根据目前所公开的主题的系统2的示例的功能框图;
[0042]图3是示出根据目前所公开的主题执行的操作的示例的流程图;
[0043]图4是演示根据目前所公开的主题的在用户指向屏幕时点P’的示意图;
[0044]图5是示出根据目前所公开的主题执行的确定点P’的操作的示例的流程图。
[0045]图6a是示出根据目前所公开的主题的用户指向显示器的俯视图的示意图;
[0046]图6b是示出根据目前所公开的主题的生成相似投影的指点元件的不同延伸的示 意图;
[0047] 图7是示出根据目前所公开的主题的在校准处理期间执行的操作的示例的流程 图;
[0048] 图8是演示根据目前所公开的主题执行的校准处理的示例的示意图;
[0049] 图9是示出根据目前所公开的主题执行的操作的示例的流程图;_
[0050] 图10是示出根据目前所公开的主题的三个局部交叠候选平面的示意图;
[0051] 图11是示出根据目前所公开的主题执行的操作的示例的另一流程图;以及
[0052] 图12a和图12b是根据目前所公开的主题的响应于用户的指点手势的指点视觉效 果的特性的改变的示例的示意图。 __ _
[0053] 在公开的附图和说明书中,只要看起来适当,相同的标号指示不同的实施方式或 配置所共有的那些组件。
具体实施方式
[0054]除非另外明确指出,否则从以下讨论显而易见的是,将理解,贯穿说明书的使用诸 如“获得”、“处理”、“获得”、“确定”、“执行”等的术语的讨论包括计算机操纵数据和/或将数 据变换为其它数据的动作和/或处理,所述数据被表示为物理量(例如,电子量)和/或所述 数据表示物理对象。
[0055]本文所述的系统2包括计算机或者换句话讲连接到计算机。术语“计算机”应该被 扩展地解释为覆盖具有数据处理能力的任何类型的电子装置,包括(作为非限制性示例)个 人计算机、服务器、计算系统、通信装置或处理器。例如,处理器可以是被配置为运行一个或 更多个软件程序的通用处理器、DSP (数字信号处理器)或GPU (图形处理单元)中的一个或更 多个。另选地,处理器可以是专用硬件、专用集成电路(ASIC)。作为另一替代方式,处理器可 以是专用硬件、专用集成电路(ASIC)与通用处理器、DSP傲字信号处理器)和GPU (图形处理 单元)中的任一个或更多个的组合。
[0056]依据本文中的教导的操作可由为期望的目的专门构造的计算机或者由为期望的 目的专门配置的通用计算机通过存储在计算机可读存储介质中的计算机程序来执行。
[0057]如本文所用的术语图像传感器应该从广义上解释为包括任何图像获取装置,包括 (例如)下列项中的一个或更多个:相机、光传感器、IR传感器、超声传感器、接近传感器、 CMOS图像传感器、短波红外(SWIR)图像传感器或反射传感器,“深度传感器”、生成指示传感 器的观察空间中的对象的距离的视频的任何其它模块。传感器模块可包括(但不限于)飞行 时间传感器、IR网格投影、立体技术以及电磁场的改变的分析。2维(2D)图像是由图像传感 器获得的指示传感器的观察空间(F0V)中的对象投影在二维平面上的数据的图像。3维(3D) 图像是由图像传感器获得的指示传感器的观察空间(F0V)中的对象投影在二维平面上的距 离和位置的数据的图像。
[0058]如本文所用,短语“例如”、“诸如”及其各种变型描述本文所公开的主题的非限制 性实施方式。说明书中提及的“一种情况”、“一些情况”、“其它情况”或其变型表示结合实施 方式描述的特定特征、结构或特性包括在本文所公开的主题的至少一个实施方式中。因此, 短语“一种情况”、“一些情况”、“其它情况”或其变型的出现不必指相同的实施方式。
[0059]将理解,本文所公开的主题的为了清晰起见在分开的实施方式的背景下描述的某 些特征也可在单个实施方式中组合提供。相反,本文所公开的主题的为了简明在单个实施 方式的背景下描述的各种特征也可分别提供或者按照任何合适的子组合来提供。
[0060]在本文所公开的主题的实施方式中,可执行与图3、图5、图7、图8和图11所示的那 些步骤相比更少、更多和/或不同的步骤。在本文所公开的主题的实施方式中,图3、图5、图 7、图8和图^1所示的一个或更多个步骤可按照不同的次序来执行,和/或一组或更多组步骤 可同时执行。图1、图2a和图2b示出依据本文所公开的主题的实施方式的系统架构的一般示 意图。图1、图2a和图2b中的模块/组件可集中于一个位置,或者分散在不止一个位置上。在 本文所公开的主题的其它实施方式中,所述系统可包括与图丨、图2a和图2b所示的那些模 块/组件相比更少、更多和/或不同的模块/组件。
[0061]应该注意的是,如本文所用的术语“标准”(或“条件”)应该被扩展地解释为包括任 何复合标准(或条件),包括例如多种标准(或条件)和/或其逻辑组合。
[0062]记住以上内容,现在看图1,图1示出依据本文所公开的主题的用于具有显示器的 装置的无触摸操作的系统2。系统2包括具有显示器6的装置4。如本文所用的术语“装置,,包 括(但不限于)下列项中的任一个:个人计算机(PC)、娱乐装置、机顶盒、TV和移动游戏机、移 动电话或平板、电子阅读器、便携式游戏控制台、诸如膝上型计算机或超极本的便携式计算 机、个人计算机(PC)、一体机、TV、机顶盒、连接的TV、显示装置、家用电器、通信装置、空调 机、扩展鸠、游戏机、数码相机、手表、交互平板(interactive surface)、3D显示器、娱乐装 置、扬声器、智能家居、厨房电器、媒体播放器或媒体系统、基于位置的装置;以及移动^戏 机、微型投影仪或嵌入式投影仪、医疗装置、医疗显示装置、车辆、车载/空中信息娱乐系统、 导航系统、可佩戴装置、具有增强现实功能的装置、可佩戴护目镜、基于位置的装置、机器 人、交互数字标牌、数字亭、自动贩卖机、ATM。
[0063]如本文所用的术语“显示器”应该从广义上解释为包括显示图像或其它类型的视 觉信息的任何类型的平面或表面,包括(但不限于)任何类型的显示器(例如,CRT、等离子、 11:〇、1^〇、〇1^〇、3〇显示器、电子墨水)。术语“显示器”可从广义上解释为包括投影仪以及它 在其上投影任何类型的图像或视觉信息的平面或表面。应该注意的是,在当前讨论提及“显 示器”的情况下,这应该被视为仅仅是示例,应该从广义上解释为包括任何类型的显示器, 包括如上所述的平面或表面。术语“显示器”和“平面”在本文中可互换使用。 7
[0064]图像传感器系统8与装置4相邻设置,并获得由虚线10指示的三维观察空间(或者 称作视野)的图像。用户16位于该观察空间中,因此出现在图像传感器系统8所获得的图像 中。图像传感器系统8的输出可以是(例如)2D (二维)彩色或红外(IR)视频。另选地,图像传 感器系统8可以是包括3D图像传感器或两个2D立体图像传感器的深度视频系统。图像传感 器系统8可包括上述图像传感器类型中的一些或全部的组合。
[0065]图像传感器系统8所获得的图像被输入至处理单元I2,该处理单元12可与图像传 感器系统集成或者通过有线或无线通信信道连接到图像传感器系统。图2a中示意性地示出 处理单元12。处理单元I2包括处理器15以及可用于存储图像传感器系统8所获得的图像的 存储器13。处理单元I2被配置为分析图像传感器系统8所获得的图像,并且跟踪一个或更多 个预定义的指点元件,用户使用所述指点元件来与显示器交互。例如,指点元件可以是位于 图像传感器系统8的观察空间中的用户ie的指尖14。在其它情况下,指点元件可以是(例如) 用户的一只或更多只手、手的一部分、一根或更多根手指、手指的一个或更多个部分(一个 或更多个指尖)或者手持手写笔。需要注意的是,在以下讨论中,术语“指尖”偶尔用作指点 元件的示例。这仅是作为非限制性示例,不应被解释为以任何方式限制本文所公开的主题。 [0066]根据本文所公开的主题,处理单元12还被配置为确定指尖14所指向的显示器6上 的点或区域(或者本文中称作“瞄准点”)。处理单元I2可被配置为指示处理单元所确定的指 尖14所指向的显示器6上的图标。
[0067]例如,被指向的图标的指示(反馈)可作为视觉指示、听觉指示、触感指示、超声指 示或触觉指示来提供。例如,视觉指示可以是诸如显示在显示器上的图标、显示器上的图标 的改变、显示器上的图标的颜色的改变、指示灯、在显示器上移动的指示符、定向振动指示 或空气触感指示的形式。所述指示可通过在显示器上移动的指示符来提供。所述指示符可 出现在显示器上出现的所有其它图像或视频的顶部。用户的眼睛22、指尖14以及显示器6上 选择的图标是共线的,落在共同的观察射线24上。
[0068]应该注意的是,如本文所用的术语“图标”用作显示在显示器上并且可被用户选择 的图形元素的一个非限制性示例。例如,除了图标以外,这些图形元素可包括2D和3D图形元 素、显示的图像和/或电影内示出的对象和/或对象的一部分、显示在显示器上或显示的文 件内的文本、交互游戏内的对象、像素或像素集合等。
[0069]处理单元12还被配置为在显示器6上显示一个或更多个可选择的图形元素(例如, 图标)20。图1中示出四个图标20a、20b、20c和20d。这仅是示例,任何数量的图标可在任何时 间显示在显示器6上。用户16可通过用指点元件14指向用户希望选择的特定图标来选择任 一个图标。
[007°]处理单元可被配置为基于预定义的标准标识用户对图标的选择。例如,当用户指 向图标达预定义的时段(例如,预定义的秒数)时,处理单元确定期望选择该图标。根据另一 示例,处理单元可被配置为当用户朝着选择的图标执行预定义的动作时标识用户对图标的 选择。例如,所述动作可以是由指点元件14朝着选择的图标移动,然后指尖14远离选择的图 标的移动构成的轻击动作。系统2还可被配置为在指点图标时并且在选择一个时产生视觉 和/或听觉反馈。
[0071]如图1例示的,指点元件14没有必要在指点的同时或者在轻击动作期间接触显示 器6。在参照图1所示的示例中,指尖14指向图标20b。处理单元在图像传感器系统8所获得的 视频流的图像中检测到对图标20b的选择。当处理单元确定选择了特定图标时,执行与选择 的图标关联的对应命令和/或消息。
[0072]应该注意的是,如本文所用,本文所提及的命令和/或消息可被递送至任何类型的 目的地,包括(但不限于)下列项中的一个或更多个:操作系统、一个或更多个服务、一个或 更多个应用、一个或更多个装置、一个或更多个远程应用、一个或更多个远程服务或者一个 或更多个远程装置。
[0073] 本文所公开的主题还可包括响应于图形元素的选择与外部装置或网站的通信。所 述通信可包括向外部装置上运行的应用、外部装置上运行的服务、外部装置上运行的操作 系统、外部装置上运行的进程、外部装置的处理器上运行的一个或更多个应用、在外部装置 的后台中运行的软件程序、或者向外部装置上运行的一个或更多个服务发送消息。所述方 法还可包括向装置上运行的应用、装置上运行的服务、装置上运行的操作系统、装置上运行 的进程、装置的处理器上运行的一个或更多个应用、装置的后台中运行的软件程序、或者向 装置上运行的一个或更多个服务发送消息。
[0074] 本文所公开的主题还可包括响应于图形元素的选择,发送向外部装置上运行的应 用、外部装置上运行的服务、外部装置上运行的操作系统、外部装置上运行的进程、外部装 置的处理器上运行的一个或更多个应用、外部装置的后台中运行的软件程序、或者向外部 装置上运行的一个或更多个服务,请求与图像中标识的图形元素有关的数据的消息。
[0075] 本文所公开的主题还可包括响应于图形元素的选择,发送向装置上运行的应用、 装置上运行的服务、装置上运行的操作系统、装置上运行的进程、装置的处理器上运行的一 个或更多个应用、装置的后台中运行的软件程序、或者向装置上运行的一个或更多个服务, 请求与图像中标识的图形元素有关的数据的消息。
[0076] 向外部装置或网站的消息可以是命令。例如,该命令可选自在外部装置或网站上 运行应用的命令、停止外部装置或网站上运行的应用的命令、激活外部装置或网站上运行 的服务的命令、停止外部装置或网站上运行的服务的命令、或者发送与图像中标识的图形 元素有关的数据的命令。
[0077] 向装置的消息可以是命令。例如,该命令可选自在装置上运行应用的命令、停止装 置或网站上运行的应用的命令、激活装置上运行的服务的命令、停止装置上运行的服务的 命令、或者发送与图像中标识的图形元素有关的数据的命令。
[0078] 本文所公开的主题还包括响应于图形元素的选择,从外部装置或网站接收与图像 中标识的图形元素有关的数据,并且将接收的数据呈现给用户。与外部装置或网站的通信 可经由通信网络。
[0079] 通过用两只手进行指点所执行的命令和/或消息可包括(例如)选择区域、通过使 指尖远离彼此或朝着彼此移动来放大或缩小选择的区域、通过指尖的旋转移动来使选择的 区域旋转。通过用两根手指进行指点所执行的命令和/或消息还可包括在两个对象之间形 成交互(例如,将音乐轨道与视频轨道组合)或者游戏交互(例如,通过用一根手指进行指点 来选择对象,并且通过用另一根手指指点显示器上的位置来设定其移动方向)。
[0080] 根据本文所公开的主题,可在标识瞄准点之前和/或之后响应于用户在执行指点 手势期间执行的预定义的手势来执行命令和/或消息。系统2可被配置为检测给定手势并执 行关联的命令和/或消息。其中,手势包括(但不限于):挥击(swiping)动作、两根手指的挤 捏动作、指点、左至右手势、右至左手势、向上手势、向下手势、推手势、张开握紧的拳头、张 开握紧的拳头并朝着图像传感器移动、轻击手势、挥手手势、拍手手势、逆拍手手势、将手握 成拳、挤捏手势、逆挤捏手势、张开手上的手指的手势、张开手上的手指的逆手势、指向图形 元素、将激活对象保持预定义的时间量、点击图形元素、双击图形元素、从右侧点击图形元 素、从左侧点击图形元素、从底侧点击图形元素、从顶侧点击图形元素、抓握对象的图形元 素、从右侧朝着对象的图形元素做手势、从左侧朝着图形元素做手势、从左侧穿过图形元 素、推对象、拍手、在图形元素上方挥手、执行爆破手势、执行轻击手势、在图形元素上方执 行顺时针或逆时针手势、用两根手指抓住图形元素、执行点击-拖曳-释放动作、以及滑动图 标。
[0081] 图2b是示出依据本文所公开的主题的系统2的示例的功能框图。如上所述,处理单 元12在操作上连接到图像传感器8和装置4,并且包括处理器15和计算机存储器13。
[0082] 根据参考图2b所示的示例,处理单元还包括:图像数据仓库202,其被配置用于存 储图像传感器所捕获的图像;图形元素生成器204,其被配置为生成图形元素并在显示器上 显示图形元素;命令执行模块206,其被配置为允许执行与显示在显示器上的各个图标关联 的命令;校准模块208,其被配置用于执行如下所述的校准处理;以及机器视觉单元210。例 如,机器视觉单元可包括:手势识别模块212,其被配置为在捕获的图像中标识用户所作的 手势;以及观察射线确定模块214,其被配置为标识显示器上的用户所指向的点或区域(瞄 准点)。
[0083]需要注意的是,术语“瞄准点”应该从广义上解释为包括平面(例如,显示器)上标 识的任何点或区域。例如,瞄准点可被定义为平面上的一个或更多个点(例如,像素)以及平 面上的区域的坐标。
[0084]下面参照图3至图12b更详细地描述由系统2 (更具体地讲,处理单元12)的不同功 能组件执行的操作。参照图3至图12b所描述的操作适用于配备有生成2D图像和3D图像中的 至少一个的一个或更多个图像传感器的系统。 t〇〇85]图3是示出依据本文所公开的主题执行的操作的示例的流程图。例如,参照图3所 描述的操作可由上述系统2来执行。
[0086] 在方框301,与显示器6相邻的图像传感器捕获显示器前方的观察空间的图像。可 捕获图像并将图像存储在数据仓库(例如,图像数据仓库202)中以在稍后的步骤中处理。另 选地,捕获的各个图像可在捕获之后立即被处理,而不存储图像本身。例如,捕获的图像可 包括位于图像传感器前方并(例如,通过尝试指向显示在显示器上的图标或文本)尝试与显 示在平面上的一个或更多个图形元素交互的用户。
[0087]在捕获的图像中标识用户的一个或更多个预定义的身体部位(例如,用户的脸部 的部分,诸如用户的眼睛)以及一个或更多个指点元件(方框303)。一旦标识,就获得指示一 个或更多个预定义的身体部位的位置数据以及指示一个或更多个指点元件的位置的数据。 例如,用户的身体部位和指点元件的标识以及相应位置数据的获得可借助机器视觉单元 210 (例如,借助手势识别模块212)来实现。
[0088]标识用户所指向的显示器上的点(即,瞄准点)(方框305)。例如,可借助观察射线 标识模块214来标识瞄准点。如上所述,用户的眼睛22、指点元件和瞄准点是共线的,落在公 共的观察射线24上。因此,根据本文所公开的主题,处理单元12被配置为标识从用户的预定 义的身体部位(例如,用户的眼睛)穿过指点元件延伸并在特定点(S卩,瞄准点)处与显示器 相交的观察射线。
[0089]需要注意的是,用户的一只眼睛(或多只眼睛)是可用于标识如本文所公开的观察 射线的用户的脸部部位的一个非限制性示例,其它脸部部位(例如鼻子、耳朵、嘴唇等)和身 体部位可被类似地标识并用于该目的。还应该注意的是,无论在本说明书中哪里提及用户 的眼睛,均应被仅视作示例,应从广义上解释为也包括脸部或身体的其它部位。
[0090]将显示在显示器上的相对于标识的猫准点在显示器上的位置满足某种预定义的 标准图形元素(例如,显示器上最靠近标识的瞄准点的图形元素)确定为用户选择的图形元 素(方框307)。
[0091]如下所述,根据本文所公开的主题,与方框305关联的操作还可包括指定用于增强 用户所指向的显示器上的点的标识的一个或更多个处理。
[0092] —旦确定选择的图形元素,还确定在指点元件指向选择的图形元素的同时是否满 足预定义的条件(方框309)。如上所述,例如,所述条件可以是指点元件指向确定的点的预 定义的时段和/或预定义的手势(例如,朝着显示器的轻击动作)或者任何其它合适的条件。 还如上所述,一旦满足预定义的条件,执行与选择的图形元素关联的命令和/或消息(方框 311)。根据一个示例,命令执行模块2〇6可被配置为执行与选择的图形元素关联的命令(例 如,通过与装置4中或者某一其它装置中的其它功能元件交互)。
[0093]鉴于以上内容,将理解,为了确定交互用户选择了哪一图形元素,首先需要标识用 户所指向的显示器上的点的位置。为此,系统2可被配置为从图像传感器所观察的一个或更 多个捕获的图像获得指示一个或更多个预定义的身体部位(例如,用户的眼睛)和一个或更 多个指点元件在观察空间内的位置的数据。然后,可确定与指示一个或更多个预定义的身 体部位的位置以及一个或更多个指点元件的位置的数据相关的观察射线。例如,观察射线 可穿过表示一个或更多个身体部位的位置的第一点以及表示一个或更多个指点元件的位 置的第二点延伸。瞄准点可被确定为观察射线与平面的交点。
[0094]在系统2包括3D图像传感器或一对2D立体图像传感器的情况下,处理单元12可被 配置为在3D观察空间中定位用户的眼睛22和/或用户的指尖14的(X,Y,Z)位置。然后,处理 单元确定顶点在眼睛22处并穿过指尖14的观察射线24。如图1所示,然后,在显示器6上定位 观察射线与显示器相交的点18。
[0095]在一些情况下,系统2可包括2D图像传感器(生成2D图像信息)和3D图像传感器(生 成3D图像信息)的组合,并被配置为从2D图像传感器所捕获的图像获得关于用户的眼睛22 和用户的指尖14的X,Y坐标的信息,并从3D图像传感器所捕获的图像获得关于用户的眼睛 22和用户的指尖14的Z坐标的信息。2D和3D图像传感器的组合信息可用于确定3维观察射 线。例如,3D图像传感器可由比2D图像传感器的分辨率低的分辨率来表征(例如,深度传感 器的分辨率小于2D图像传感器的分辨率的四分之一)。
[00%]当使用2D图像传感器时遇到更大挑战。站在显示器前方的用户可指向显示器上的 任何地方,并且可基于图像传感器所捕获的用户的眼睛的2D位置(例如,X, Y坐标)和指点元 件的2D位置以及用户或用户的眼睛距显示器的距离和指点元件(例如,用户的指尖)距显示 器或用户的身体的距离,来确定用户指向的特定观察射线。
[0097]根据本文所公开的主题,处理单元12可被配置为如下确定用户所指向的显示器上 的点(瞄准点)。可在图像传感器所捕获的图像中标识用户的眼睛(或者一些其它一个或更 多个预定义的身体部位)的XJ坐标,并且可估计用户距显示器的距离(R1)。基于估计的距 离R1,可获得用户的眼睛在观察空间中的z坐标。
[0098]例如,可基于在图像传感器所获得的图像中标识的用户的眼睛之间的距离确定 R1。不同个体的眼睛(例如,瞳孔)之间的距离存在相似性。相同民族的个体之间的相似性可 更高。因此,用户的眼睛之间的距离可指示眼睛距显示器的距离。
[00"]另外,可在图像传感器所捕获的图像中标识指点元件的X,Y坐标。利用估计的指点 元件距用户的身体的距离(在显示器的方向上,以下称作R2),可获得指点元件在观察空间 中的z坐标。估计指点元件距用户的身体的距离的方法在下面讨论。
[0100] —旦获得用户的眼睛的X,Y,Z坐标和指点元件的X,Y,Z坐标,确定延伸穿过这两个 点的直线(观察射线),并且标识该线与显示器相交的点。将标识的线与显示器的交点确定 为用户所指向的显示器上的点(瞄准点)。
[0101] 在显示器为3D显示器的情况下,显示的图形元素可为3D图形元素,并且可被位于 显示器前方或显示器后方的观察空间中的用户感知到。因此,瞄准点的确定可通过确定从 用户的眼睛穿过指点元件并穿过与观察射线相交的第一图形元素(例如,3D图形元素)延伸 的观察射线来执行。
[0102]如上所述,为了确定用户所指向的显示器上的点,需要标识在进行指点时指点元 件在观察空间中的位置。因此,需要标识在指点手势期间指点元件的位置,其中假设指点元 件指向显示器上的选择的点。例如,指点元件位置(本文中称作点P’)可以是指点元件最靠 近显不器点P’的点。图4是演示依据本文所公开的主题的指点手势期间的点P’的示意图。 [0103]如本文所用,术语“指点手势”是指瞄准显示器上的期望的区域或点的指点元件的 手势。例如,指点手势可以是由用户执行的手势,其中,他的指尖在显示器前方的空间中朝 着显不在显一不器上的#^图形元素移动。在指点手势期间,在指点手势的运动的至少—部 分中,指点兀件朝着显示器上的期望的点伸出。在图4中,在指点手势 路径被指示为包括最靠近显示器的点P,的线PG。 H日…兀力 _4]麵本文所公开的主题,系统2可被配置为标识在指点手势期间,指占元件最靠近 显不器的点P’。
[0105]如果使用深度图像传感器或立体图像传感器,则处理单元12可被配置为从捕获的 帧提取点^其中点P’的Z坐标被确定为指点元件最靠近显示器处。例如,如果图像传感器 位于与显示器相同的平面上,则P ’的坐标为z坐标是最小的位置处。
[0106]当使用单个2D图像传感器时,可基于在指点手势期间指点元件的一个或更多个特 征的分析来标识点P’,包括(例如):在指点手势期间指点元件的位置数据分量的全部或部 分的集合、在指点手势期间指点元件的运动路径、指点元件的运动矢量、指点元件的运动矢 量的改变、不同运动矢量之间的关系、在指点手势期间指点元件在空间中的姿态(或姿态的 改变)、指点元件的尺寸以及在指点手势期间指点元件的加速和减速。
[0107]在到达点P’之后,用户缩回他的手臂。指示手臂缩回的指点元件在观察空间中的 位置的改变(例如,如坐标所指示)可被标识并用于标识点P,的位置。
[0108]根据另一示例,可基于,指点手势期间指点元件的尺寸的改变来标识点P,的位 置。随着用户将他的手臂朝着显示器伸出,指点元件的尺寸增大(例如,在捕获的图像中用 户的指尖的尺寸增大)。处理单元I2可被配置为跟踪指点元件的尺寸并确定指点元件的尺 寸(或者更具体地讲,指点元件的尖端)为最大处的指点元件的位置。
[0109] 图5是示出根据目前所公开的主题的为标识点P,而执行的操作的示例的流程图。 例如,参照图5所描述的操作可由上述处理单元12 (例如,借助机器视觉模块210)来执行。
[0110] 图像传感器捕获在尝试与显示在显示器上的图形元素交互时的用户的图像(方框 501)。在捕获的图像中标识指点元件(方框5〇3)。处理捕获的图像,并且标识在不同的图像 中指点元件的尺寸的改变(方框505)。
[0111]例如,可计算在指点手势开始的初始位置处指尖的尺寸与沿着手臂朝着显示器的 运动的不同位置处的指尖的尺寸之比,并且可标识指尖的尺寸的增长百分比。一旦指点元 件在距显示器的最短距离处,则标识其尺寸的最大改变。当随后缩回手臂时,随着尖端的尺 寸变小,尺寸的改变反转。
[0112]标识在指点物体的尖端的初始尺寸与当前尺寸之间标识出最大改变处的指点元 件的位置(方框507)。将这一位置指定为点P’(方框508)。
[0113]如上所述,估计用户的眼睛距显示器的距离(R1)以及指点元件距用户的身体的距 离,以便标识用户所指向的显示器上的点。
[0114]图6a是示出根据目前所公开的主题的用户指向显示器的俯视图的示意图。图6a示 出与显示器6相邻设置的能够捕获由虚线10指示的三维观察空间的图像的图像传感器8。用 户距显示器的距离由从显示器延伸至用户的眼睛之间(例如,瞳孔之间)的假想线上的点的 线R1指示。如上所述,例如,可基于图像传感器所获得的图像中标识的用户的眼睛之间的距 离来确定距离R1。
[0115]另外,基于典型的人的行为,可假设当用户指向显示器时,他的手臂没有完全从他 的身体伸出,也没有完全朝着身体缩回。指点元件从用户的预定义的身体部位(例如,用户 的眼睛)朝着显示器的伸出长度在图6a中由距离R2指示。
[0116]例如,可基于用户的身高和估计的他的身体比例,并且可能还基于指示用户距显 示器的距离(R1)的信息,来估计R2。因此,在R2的估计期间还可使用关于用户的年龄和性别 的信息。
[0117]另外,可选地,可基于从多个用户获得的记录的统计信息估计R2,R2指示在指点的 同时用户的手臂朝着显示器伸出的长度(例如,考虑各个用户的身高和比例)。可选地,此信 息可基于用户的地域和/或民族来源来分类,以便在对于不同的地域和/或民族来源可能为 典型的不同指点手势之间进行区分。因此,例如,可基于针对许多用户的手臂的延伸的记录 信息来计算R2的平均长度。
[0118] 尽管R2可允许估计指点元件距用户的身体的距离,但在不同用户所作出的指点手 势中手臂的延伸之间仍可能存在一些偏差。图6a还示出Ar,Ar是表示不同指点手势之间 的手臂延伸的可能偏差的另一范围。如上所述,假设R2是在不同用户的指点手势中的测量 的手臂延伸的平均值,A r可被确定为(例如)等于上述平均值的一个或更多个标准偏差的 值(例如,在对高度因素归一化之后)。
[0119]与3D图像传感器不同,由2D图像传感器捕获的图像提供用户的图像在显示器上的 投影,而没有真实深度感。图6b是示出依据当前所公开的主题的生成相似投影的指点元件 的不同延伸的示意图。图6b示出与显示器6相邻设置的能够捕获三维观察空间的图像的图 像传感器8。通过图像传感器8捕获用户45的图像。用户45伸出他的手臂并指向显示器6。示 出两个长度不同的延伸。从延伸“a”(较长延伸)延伸的观察射线在点1处与显示器6相交,而 从延伸“b”(较短延伸)延伸的观察射线在点2处与显示器6相交。如图6b所示,尽管延伸“a” 和“b”指向显示器上的不同点,但通过图像传感器8以相同的方式来观察这两个点(会聚在 同一线R3上)。
[0120]如上所述,为了标识用户所指向的显示器上的点,确定连接用户的眼睛、指点元件 以及观察射线与显示器的相应交点的观察射线。然而,由于在观察射线的标识期间存在的 各种不确定性,所以用户确切地指向显示器上的哪里也存在不确定性。
[0121]例如,所述不确定性包括关于指点物体的尖端的标识以及位于眼睛之间能够最佳 表示观察射线的点的标识的不确定性。另外,如上所述,在使用2D图像传感器的情况下,由 于指点元件从用户身体的实际延伸以及用户距显示器的距离不明确,导致附加不确定性。 [0122]由于这些不确定性,当用户指向显示器时,代替标识用户所指向的显示器上的单 个点,可在显示器上标识较大的平面(本文中称作“候选平面”)。候选平面表示从用户的眼 睛延伸穿过指点元件的多条可能的线与显示器相交的平面。由图像传感器8获得的图像将 包括用户的眼睛和指尖14,并且因此将包括观察射线在投影平面(投影平面是由图像传感 器捕获的平面)上的投影。观察空间中的在投影平面上的投影与观察射线在投影平面上的 投影相同的所有线的集合形成平面(本文中称作“候选平面”)。从用户的眼睛延伸穿过指点 元件和公共候选平面的各条线在本文中被称作“候选观察射线”。候选平面可通过不同的特 征来表征,包括(例如)候选平面中的像素数量(候选平面可包括一个或更多个像素)、其尺 寸(例如,像素或其测量的直径)、其形状、其在屏幕上的位置等。 ^ ^
[0123]因此,将有利的是,尽管存在上述不确定性,仍更精确地标识用户所指向的显示器 上的点或区域。
[0124]本文提供的这一问题的一个可能的解决方案基于校准处理。在校准处理中,指示 用户顺序指向显不在显亦器上的一个或更多个图形元素(例如,图标)中的每一个。例如,图 形元^之一可以是需要将装置从待机模式切换为激活模式或者解锁显示器以进行选择的 图形元素。当用户指向这样的图形元素时,处理单元12确定在用户指向图形元素的同时由 图像传感器系统获得的图像中指点元件和用户的眼睛的位置。例如,如申请人的共同待审 的美国专利申请10/593,628(公开号为2008-0042981)中所公开的,可在图像传感器所获得 的图像中标识用户的指尖。标识图像中的脸部和眼睛的方法是本领域熟知的。当用户随后 指向显示器上的图标时,利用校准数据以及对用户的眼睛22与指尖14之间的距离和用户距 显示器6的距离(可从图像传感器所获得的图像中的用户的眼睛之间的距离确定)的限制, 处理单元12确定用户所指向的显示器上的点(g卩,图标)。
[0125]图7是示出根据目前所公开的主题的在校准处理期间执行的操作的流程图。参照 图7所描述的操作可由上述处理单元(例如,借助校准模块208)执行。
[0126]在校准处理期间,更精确地估计用户的一个或更多个预定义的身体部位(例如,用 户的^睛)的位置、在观察空间内指点元件的位置以及当到达点P’时指点元件距用户身体 的距离。在方框701,一个或更多个图形元素(例如,图标)显示在显示器上。图形元素按照预 f义的位置、次序或形状显示在显示器上,并且提供校准序列。校准序列通过图形元素在显 不器上的位置以及与不同图形元素交互的时间和/或顺序来表征。要求用户根据预定义的 次序与图形元素交互(例如,指点或挥击)。另选地或另外地,校准序列可包括应该根据预定 义的图案或形状挥击或移动的图形元素。
[0127]用户的一个或更多个预定义的身体部位(例如,用户的眼睛)的位置和指点元件在 观察空间内的位置的更精确的估计利用用户所指向的已知位置的信息(例如,显示在预定 义的位置中的图形元素)来执行。
[0128]在一些情况下,用户可能没有察觉到校准处理。例如,如上所述,可将校准处理作 为解锁显示器所需的交互(例如,从左至右挥击显示在显示器上的图形元素)呈现给用户。 [0129]用户按照校准序列的要求与显示器交互,图像传感器捕获在这样做时的用户的图 像(方框703)。确定在图像传感器所获得的图像中用户(例如,用户的眼睛)的2D位置(例如, X,Y坐标)(方框705)。标识指点手势并利用指点元件最靠近显示器处的指点元件的位置(例 如,X,Y坐标)确定点P’(方框707)。
[0130]由于依据预定义的校准序列来执行校准处理,所以处理单元12可获得指示用户当 前应该指向显示在显示器上的哪一图形元素的信息。因此,处理单元可更容易地在连接用 户的位置和点P’的观察射线与显示器上的用户所指向的相应图形元素之间进行相关。因 此,相应观察射线从显示器上的相关图形元素穿过位于相应点P’处的指点元件延伸到用户 的身体部位(例如,用户的眼睛)的相应位置(方框709)。
[0131]可向用户提供反馈(例如,通过改变相应图形元素的颜色、尺寸、形状和位置中的 一个或更多个或者通过听觉指示)。当用户遵循校准序列并与显示器上的各个图形元素交 互时,可重复参照方框703至709描述的操作(方框711)。
[0132]图8是演示校准处理的一个示例的示意图。图8示出与显示器e相邻设置的能够捕 获由虚线10指示的三维观察空间的图像的图像传感器8。用户指向作为校准序列(未示出) 的一部分显示在显示器上的图标Gi。用户的眼睛沿着线L1位于图像传感器前方的3D空间 中。指点元件沿着线L2位于图像传感器前方的3D空间中点P’的位置。
[0133] 用户距显示器的距离(R1)可如上所述来估计;然而,校准处理能够改进该估计。类 似地,距离R2可如上所述来估计;然而,校准处理能够改进该估计。
[0134] 如上面参照图6a所描述的,关于估计的距离R2 (上面由A r指示)存在不确定性。根 据一个示例,在校准处理期间,第一直线仏3)从显示器上的图标Gi延伸使得通过与线L2和 线L1交叉,距离R2 ’等于R2_ A r,第二直线(L4)从显示器上的图标Q延伸使得通过与线L2和 线L1交叉,距离R2”等于R2+ A r。
[0135] 线L1上的表示估计的用户的位置的点EU可被确定为位于ul和u2之间的任何点。 例如,它可以是恰好在两个点之间的中点处的点。可通过从点EL至图标G1延伸直线来确定 线L2上的相应点PLi。!?2可被估计为距离R2”’。对于任何图标Gi,可如上所述确定表示用户的 眼睛的位置的相应点ELi;以及表示指点元件的位置的点PU。
[0136] 返回图7,在方框713,确定距离R1和距离R2的校准估计。可利用针对校准序列中的 不同图标获得的所有集合的点EL (例如,位于所有标识的点的中心的点)来确定距离R1的校 准估计。可利用针对校准序列中的不同图标获得的所有集合的距离R” ’(各自与相应的ELi 有关)来确定距离R2的校准估计。
[0137] —旦系统被校准,在常规操作期间,响应于用户朝着显示器的指点手势,可利用校 准处理中估计的R1和R2的值确定用户所指向的显示器上的点(方框715)。
[0138] 根据本文所公开的主题,处理单元12可被配置为针对显示器上的各个图标确定不 同的距离R2,并创建将不同的图标及其在显示器上的相应位置与对应距离R2关联的校准映 射。可基于校准映射将显示器上的任何其它点(未被校准图标占据)与相应距离R2关联。例 如,这一关联可基于图标的位置与其相应距离R2的线性组合。
[0139]在常规操作期间,处理单元I2可被配置为响应于用户朝着显示器的指点手势,标 识指点手势的大致方向,并选择与显示器上最靠近标识的大致方向的点处的校准图标关联 的特定距离R2。
[0M0]除了上述校准处理以外或代替上述校准处理,目前所公开的主题提供能够改进用 户所指向的显示器上的点或区域的标识精度的其它技术。如上所述,由于与确定用户所指 向的显示器上的点时所使用的参数有关的不同不确定性,在显示器上标识候选平面,该候 选平面表示从用户的眼睛延伸穿过指点元件的多条可能的线与显示器相交的平面。
[0141]目前所公开的主题包括一种减小候选平面的尺寸,并更精确地标识用户所指向的 显示器上的点的技术。
[0142]通常,可从捕获的与平面交互的用户的图像获得第一类型的特征和第二类型的特 征。第一类型的特征包括关于在用户所作的指点手势期间指点元件的运动路径的特征。例 如,第一类型的特征包括在指点手势期间指点元件的位置数据分量的全部或部分的集合、 在指点手势期间指点元件的运动路径、指点元件的运动矢量、指点元件的运动矢量的改变、 不^运动矢量之间的关系、在指点手势期间指点元件在空间中的姿态(或姿态的改变)、指 点元件的尺寸以及在指点手势期间指点元件的加速和减速。
[0143]第二类型的特征包括关于平面上标识的一个或更多个候选平面的特征。例如,第 二类型的特征包括候选平面的尺寸、平面上的候选平面的位置、候选平面的形状、不同候选 平面之间的交叠。
[0144] 处理单元可被配置为利用第一类型的特征和第二类型的特征中的至少一种来确 定平面上的瞄准点。
[0145] 图9是示出依据目前所公开的主题的为减小候选平面的尺寸而执行的操作的示例 的流程图。参照图9所描述的操作可(例如)利用上述处理单元12 (例如,借助机器视觉单元 210)来执行。
[0146]在方框9〇1,图像传感器捕获尝试与显示在显示器上的图形元素交互的用户的图 像。处理捕获的图像并且在捕获的图像中标识用户的眼睛和指点元件(方框903)。跟踪指点 元件在朝着显示器伸出时的运动路径并获得包括运动路径上指点元件(例如,用户的指尖) 的不同位置的位置数据分量的序列(方框905)。
[0147]位置数据分量是与上述第一类型的特征有关的特征。更具体地讲,位置数据分量 是描述在给定帧中指点元件的位置的特征。例如,位置数据分量可包括在图像传感器所捕 获的观察平面中指点元件的尖端的X,Y坐标。根据此示例,在用户的手臂朝着显示器伸出的 同时,可获得并存储在运动期间的不同点处他的指尖相对于观察平面的二维位置(由X,Y坐 标指示)。各个存储的位置点(例如,x,y坐标)是相应的位置数据分量。
[0148]根据目前所公开的主题,跟踪指尖的运动,直至标识出指尖位于点p’处为止(方框 907)。此时,从指点元件朝着显示器的运动路径提取的位置数据分量的序列中选择两个或 更多个位置数据分量。例如,选择的位置数据分量可以是在指点元件到达点P’(最靠近显示 器的点)之前与N帧相关的位置数据分量。另选地,选择的位置数据分量可以是位于相似观 察射线上的位置。一对相似观察射线可被定义为通过在观察射线的位于用户的眼睛与显示 器之间的部分处小于预定义的值的距离表征的观察射线。
[0149]如上所述,选择的位置分量(例如,由观察平面上的X,Y坐标表示)的集合中的各个 位置数据分量与连接用户的眼睛、穿过由相应位置数据分量指示的位置处的指点元件并与 显示器相交的相应观察射线关联。由于上述不确定性,各个观察射线可与显示器上的相应 候选平面关联,而非与精确的点关联。 t〇150] 在显示器上标识与选择的位置数据分量关联的各个候选平面(方框909)。在方框 911,标识候选平面之间的交叠区域并将其指定为选择的表示瞄准点的观察平面(注意,不 同候选平面及其相应表面的相对位置是与上述第二类型的特征有关的特征)。因此,候选平 面的尺寸减小,并且显示器上的更小区域被标识为瞄准点。
[0151]图10是示出依据目前所公开的主题的三个局部交叠的候选平面的示意图。各个候 选平面被示出为覆盖显示器上的特定区域的圆。例如,各个平面与如上所述选择的位置值 的集合中的三个最后的位置数据分量(位置值:n、n-l和n-2)中的不同位置数据分量关联。 如图10所示,三个候选平面全部指向相邻区域并共用交叠部分(用短线填充的区域),该交 叠部分被指定为选择的投影平面。瞄准点可被确定为选择的投影平面的中心。
[0152]目前所公开的主题还公开了能够更精确地标识用户所指向的显示器上的点的另 一种技术。图11是示出依据目前所公开的主题执行的操作的流程图。参照图11所描述的操 作可由系统2等借助上述处理单元12来执行。
[0153]根据本文所公开的主题,系统2可被配置为向指向显示器的用户提供反馈。该反馈 帮助用户将指点元件指向显示器上的期望的点,因此使用户能够更容易地选择期望的图形 元素。如上所述,在2D显示器的背景下提供以下操作,然而,也可利用3D显示器执行相似操 作(加以必要的修改)。
[0154]如前所述,图像传感器捕获在尝试与显不在显示器上的图形元素交互时的用户的 图像(方框1101)。在由图像传感器获得的捕获的图像中标识用户的眼睛和指点元件(方框 1103)。响应于指点手势的检测,在显示器上显示指点视觉效果(方框11〇5)。
[0155]指点视觉效果可以是任何类型的静态或动画图形元素(包括例如:由任何形状或 颜色表征的一团颜色(a smudge of color)),可以是透明或不透明的,可部分地或完全地 呈现,可以在显示在显示器上的一个或更多个图形元素的上部和/或其后面或者显示在显 示器上的其它一个或更多个图形元素。
[0156]例如,指点视觉效果可具有圆形对称形状和透明颜色(透过其可以识别图形元 素),对用户而言可看起来像照亮显示器的一部分的手电光束。指点视觉效果的特性(例如, 位置、尺寸、颜色、形状、亮度、透明度)可在其显示在显示器上的时间期间改变。
[0157]在3D显示器的情况下,指点视觉效果可以是(例如)照明圆的动画,该照明圆从距 显示器的特定距离处开始并且随着指点元件移动靠近显示器而变小。指点视觉效果的其它 示例包括用户所感知的图形元素(静态或动画),其在指点手势开始时位于指点元件上,随 着指点元件移动靠近显示器而随指点元件一起移动。
[0158]在3D显不器的情况下,指点视觉效果可在一个或更多个位置中被用户感知为在距 显不器不同的距离处。
[0159]可选地,系统2可被配置为显示不同类型的指点视觉效果。系统2可被配置为允许 用户选择(配置)哪一类型或哪些类型的指点视觉效果是优选的。另选地或另外地,可通过 应用来控制期望的指点视觉效果的选择(配置)。例如,指点视觉效果可适合于显示在显示 器上的图形元素。
[0160]根据一个示例,指点视觉效果可在满足预定义的指点视觉效果条件时显示在显示 器上。所述预定义的指点视觉效果条件可与指点元件在观察空间中的位置有关,包括(例 如)估计的指点元件距用户的眼睛的距离以及指点元件的尺寸的改变。另选地或另外地,所 述预定义的指点视觉效果条件可与指点元件的运动路径有关,包括从指点手势开始起过去 的时间、运动矢量值(例如,位置数据分量)、检测到的指点手势沿着运动路径的速度的改 变、指点元件沿着运动路径的减速、估计的直至指点元件到达点P’为止的时间。
[0161]在指点手势期间,对于指点元件在观察空间中的各个位置,存在观察射线与平面 的相应交点。因此,根据另一示例,所述预定义的指点视觉效果条件可与交点在平面上的分 布有关(例如,指点视觉效果条件可以是交点之间的距离小于预定义的值)。在另一示例中, 可基于指点元件的初始指点方向来确定指点视觉效果在显示器上的初始位置。
[0162]在指点手势期间,跟踪指点元件朝着显示器的运动路径(方框11〇7)。在跟踪指点 元件的同时,可如上面参照图9中的方框905所述获得位置数据分量的相应序列。
[0163]随着指点元件朝着显示器移动,与指点元件的移动相关地改变指点视觉效果的一 个或更多个特性(方框1009)。例如,所述特性可包括指点视觉效果的位置、形状、尺寸、颜 色、亮度和透明度或者任何其它特性。例如,随着指点元件与显示器之间的距离缩短,指点 视觉效果的尺寸可减小。 W164]随着用户朝着显示器伸出他的手臂,他直观地尝试将指点视觉效果朝着显示在显 示器上的期望的图形元素的位置移动。处理单元被配置为标识尝试将指点视觉效果朝着选 择的图肜兀索移动的用户所作出的指点元件的修正移动。可选地,处理单元可被配置为基 于标i只的由用户执行的指点元件的修正移动来改变显示器上的指点视觉效果的位置。例 如,显示器上的指点视觉效果的位置可与用户所作出的修正手势的方向相关地改变。
[0165]在另一示例中,圆形指点视觉效果随着指点元件朝着显示器移动而变小。可选地, 指点3觉效果可在修正手势的方向上收缩。图12a示出响应于朝着位于左侧的图标(由正方 形指示)的修正手势,尺寸收缩并且向左迀移的指点视觉效果,图12b示出响应于朝着位于 右侧的图标(由正方形指示)的修正手势,尺寸收缩并且向右迁移的指点视觉效果。
[0166]利用指点视觉效果在显示器上的已知位置,并且可能还利用指点元件的移动方 向,可标^^目对于指点视觉效果符合预定义的标准的诸如图标的图形元素并将其确定为选 择的图标(方框1013)。例如,最靠近指点视觉效果或者相对于指点视觉效果位于修正手势 的方向上的图标可被确定为用户所选择的图标。
[0167] 还将理解,根据目前所公开的主题的系统可以是适当编程的计算机。同样,目前所 公开的主题设想出可由计算机读取以执行目前所公开的主题的方法的计算机程序。目前所 公开的主题还设想出有形地具体实现可由机器执行以执行目前所公开的主题的方法的指 令程序的机器可读存储器。
[0168] ^理解,目前所公开的主题的应用不限于本文所包含的描述中所阐述的细节或者 附图中所示出的细节。目前所公开的主题能够有其它实施方式并且按照各种方式实践和执 行。因此,将理解,本文所采用的措词和术语是为了描述的目的,而不应被视作限制。因此, 本领域技术人员将理解,可容易地使用本公开所基于的构思作为基础来设计实现目前所公 开的主题的多个目的的其它结构、方法和系统。

Claims (56)

1. 一种识别平面上的瞄准点的方法,该方法包括以下步骤: 获得图像传感器的观察空间的至少一个图像; 通过在操作上连接到所述图像传感器的至少一个处理器处理所述至少一个图像,并获 得指示至少一个指点元件在所述观察空间中的位置的数据; 获得指示所述观察空间中的至少一个预定义的用户身体部位的数据; 通过所述至少一个处理器利用指示所述至少一个指点元件的位置的数据和指示至少 一个预定义的用户身体部位的位置的数据以及第一类型的特征和第二类型的特征中的至 少一种,确定所述平面上的点或区域,从而得到所述平面上的所述瞄准点,其中,所述第一 类型的特征包括关于在指点手势期间所述指点元件的运动路径的特征,所述第二类型的特 征包括关于至少一个候选平面的特征; 在获得指示至少一个指点元件在所述观察空间中的位置的数据的同时,确定满足预定 义的条件;以及 执行与所述瞄准点关联的预定义的命令和/或消息。
2. 根据权利要求1所述的方法,该方法还包括以下步骤: 在所述平面上显示至少一个图形元素; 通过所述至少一个处理器利用指示所述平面上的所述瞄准点的位置的数据从显示在 所述平面上的所述至少一个图形元素中标识给定图形元素。
3. 根据权利要求1所述的方法,其中,确定所述平面上的所述瞄准点的步骤还包括: 标识所述至少一个预定义的用户身体部位,所述至少一个身体部位包括所述用户的脸 部和所述用户的预定义的脸部部位中的至少一个; 标识所述至少一个指点元件; 确定所述至少一个身体部位在所述观察空间内的位置,从而得到第一位置; 确定所述至少一个指点元件在所述观察空间内的位置,从而得到第二位置; 确定与所述第一位置和所述第二位置相关的至少一'条观察射线;以及 将所述瞄准点确定为所述平面上与所述至少一条观察射线和所述平面的交点关联的 点。
4. 根据权利要求3所述的方法,其中,确定所述第一位置的步骤包括: 确定所述至少一个身体部位的二维位置; 估计所述至少一个身体部位距所述平面的距离; 并且其中,确定所述第二位置的步骤包括: 确定所述至少一个指点元件的二维位置;以及 估计指点元件距所述第一位置的距离。
5. 根据权利要求3所述的方法,其中,确定所述第一位置的步骤包括: 确定所述至少一个身体部位的二维位置; 估计所述至少一个身体部位距所述平面的距离; 并且其中,确定所述第二位置的步骤包括: 确定所述至少一个指点元件的二维位置;以及 估计指点元件距所述平面的距离。 6根据权利要求4所述的方法,其中,所述至少一个预定义的身体部位距所述平面的距 离的估计和所述指点元件距所述第一位置的距离的估计中的至少一个利用存储在数据仓 库中的数据来执行。
7. 根据权利要求4所述的方法,其中,所述至少一个身体部位距所述平面的距离的估计 利用指示所述用户的两个或更多个脸部部位之间的距离的数据来执行。
8. 根据权利要求4所述的方法,其中,指点元件距所述第一位置的距离的估计利用关于 下列项中的至少一个的数据来执行: 所述用户的身高;估计的所述用户的身体比例;估计的所述用户距所述平面的距离;以 及多个距离值,各个距离值表示记录的在指点手势期间至少一个指点元件与相应用户的预 定义的身体部位之间的距离。
9. 根据权利要求4所述的方法,其中,所述第一位置和所述第二位置的确定中的至少一 个利用通过所述图像传感器和深度传感器获得的信息来执行。
10. 根据权利要求9所述的方法,其中,所述深度传感器的分辨率小于所述图像传感器 的分辨率。
11. 根据权利要求3所述的方法,其中,所述第二位置被确定为在所述观察空间中在指 点手势期间所述指点元件最靠近所述平面的点p ’处所述指点元件的位置。
12. 根据权利要求11所述的方法,该方法还包括以下步骤:利用从在所述指点手势期间 所述指点元件的运动提取的位置特征来确定点P’处所述指点元件的位置。
13. 根据权利要求1所述的方法,该方法还包括校准处理,该校准处理包括: 在所述平面上显示包括至少一个图形元素的校准序列;针对各个给定图形元素: 在所述观察空间中标识所述至少一个指点元件; 确定连接所述给定图形元素、所述至少一个指点元件和所述预定义的用户身体部位的 至少一条观察射线; 确定所述至少一个指点元件和所述预定义的用户身体部位中的至少一个的相应位置; 以及 将所述相应位置与所述给定图形元素关联地存储在数据仓库中。
14. 根据权利要求13所述的方法,其中,所述校准还包括: 生成校准映射,该校准映射指示所述平面上的多个位置与所述指点元件距所述至少一 个预定义的用户身体部位的相应距离之间的关联。
15. 根据权利要求14所述的方法,该方法还包括以下步骤:利用所述校准映射中的数据 确定所述瞄准点。
16. 根据权利要求13所述的方法,其中,所述校准序列包括需要将在操作上连接到所述 至少一个图像传感器和所述至少一个处理器的装置从待机模式切换为激活模式和/或解锁 所述装置而选择的至少一个图形元素。
17. 根据权利要求1所述的方法,其中,所述第一类型的特征包括在所述指点手势期间 所述指点元件的选择的符合预定义的标准的位置数据分量的集合;该方法还包括以下步 骤: 针对选择的位置数据分量的集合中的各个给定位置数据分量,确定相应观察射线,所 述相应观察射线从所述至少一个预定义的用户身体部位的位置延伸穿过所述至少一个指 点元件的位置并与所述平面相交,从而得到相应候选平面,其中,所述至少一个指点元件的 位置对应于所述给定位置数据分量; 确定各个候选平面之间的交叠区域; 利用指示所述交叠区域的数据来确定所述瞄准点。
18.根据权利要求1所述的方法,该方法还包括以下步骤: 在所述平面上显示指点视觉效果; 检测所述指点元件在所述观察空间中的运动路径; 与所述指点元件的运动路径相关地改变显示的指点视觉效果的至少一个特性,从而提 供指示在所述指点手势期间所述平面上的瞄准点的位置的数据。
19. 根据权利要求18所述的方法,其中,改变所述指点视觉效果的所述至少一个特性包 括下列项中的至少一个:随着所述指点元件与所述平面之间的距离减小而减小所述指点视 觉效果的尺寸;以及随着所述指点元件与所述平面之间的距离增大而增大所述指点视觉效 果的尺寸。
20. 根据权利要求18所述的方法,其中,当满足预定义的指点视觉效果条件时显示所述 指点视觉效果。
21. 根据权利要求2所述的方法,其中,所述预定义的条件是所述指点元件指向显示在 所述显示器上的给定图形元素达至少预定义的量的时间。
22. 根据权利要求2所述的方法,其中,所述预定义的条件是所述指点元件执行了预定 义的手势。
23. 根据权利要求2所述的方法,该方法还包括以下步骤: 标识由所述指点元件执行的预定义的第一手势; 响应于所述第一手势标识所述给定图形元素; 标识由所述指点元件执行的预定义的第二手势;以及 响应于所述第二手势执行命令和/或消息,其中,所述命令和/或消息与所述给定图形 元素关联,并且其中,在所述第一手势之前、期间或之后标识所述第二手势。
24. 根据权利要求1所述的方法,其中,所述至少一个预定义的用户身体部位是用户的 眼睛。
25. 根据权利要求1所述的方法,其中,所述平面是显示器。
26. —种识别平面上的瞄准点的装置,该装置包括: 至少一个图像传感器,所述至少一个图像传感器被配置为获得观察空间的至少一个图 像; 在操作上连接到至少一个图像传感器的至少一个处理器,所述至少一个处理器被配置 为: 处理所述至少一个图像并获得指示至少一个指点元件在所述观察空间中的位置的数 据; 获得指示所述观察空间中的至少一个预定义的用户身体部位的数据; 通过所述至少一个处理器利用指示所述至少一个指点元件的位置的数据和指示至少 一个预定义的用户身体部位的位置的所述数据以及第一类型的特征和第二类型的特征中 的至少一种,确定所述平面上的点或区域,从而得到所述平面上的瞄准点,其中,所述第一 类型的特征包括关于在指点手势期间所述指点元件的运动路径的特征,所述第二类型的特 征包括关于至少一个候选平面的特征; 在获得指示至少一个指点元件在所述观察空间中的位置的数据的同时确定满足预定 义的条件;并且 执行与所述瞄准点关联的预定义的命令和/或消息。
27.根据权利要求26所述的装置,其中,所述至少一个处理器还被配置为:在所述平面 上显示至少一个图形元素;并且通过所述至少一个处理器利用指示所述平面上的所述瞄准 点的位置的数据从显示在所述平面上的所述至少一个图形元素中标识给定图形元素。
28. 根据权利要求26所述的装置,其中,为了确定所述平面上的所述瞄准点,所述至少 一个处理器还被配置为:标识所述至少一个预定义的用户身体部位,所述至少一个身体部 位包括所述用户的脸部和所述用户的预定义的脸部部位中的至少一个;标识所述至少一个 指点元件;确定所述至少一个身体部位在所述观察空间内的位置,从而得到第一位置;确定 所述至少一个指点元件在所述观察空间内的位置,从而得到第二位置;确定与所述第一位 置和所述第二位置相关的至少一条观察射线;并且将所述瞄准点确定为所述平面上与所述 至少一条观察射线和所述平面的交点关联的点。
29. 根据权利要求28所述的装置,其中,为了确定所述第一位置,所述至少一个处理器 还被配置为:确定所述至少一个身体部位的二维位置;估计所述至少一个身体部位距所述 平面的距离;并且其中,确定所述第二位置包括:确定所述至少一个指点元件的二维位置; 以及估计指点元件距所述第一位置的距离。
30. 根据权利要求29所述的装置,其中,所述至少一个处理器被配置为利用存储在数据 仓库中的数据来执行以下中的至少一个:所述至少一个预定义的身体部位距所述平面的距 离的估计;以及所述指点元件距所述第一位置的距离的估计。
31. 根据权利要求29所述的装置,其中,所述至少一个处理器被配置为利用指示所述用 户的两个或更多个脸部部位之间的距离的数据来估计所述至少一个身体部位距所述平面 的距离。
32. 根据权利要求29所述的装置,其中,所述至少一个处理器被配置为利用关于下列项 中的至少一个的数据来估计指点元件距所述第一位置的距离: 所述用户的身高;估计的所述用户的身体比例;估计的所述用户距所述平面的距离;以 及多个距离值,各个距离值表示记录的在指点手势期间至少一个指点元件与相应用户的预 定义的身体部位之间的距离。
33. 根据权利要求29所述的装置,其中,所述至少一个图像传感器包括图像传感器和深 度传感器,并且其中,所述至少一个处理器被配置为使用通过所述图像传感器和所述深度 传感器获得的信息来执行所述第一位置的确定和所述第二位置的确定中的至少一个。
34. 根据权利要求33所述的装置,其中,所述深度传感器的分辨率小于所述图像传感器 的分辨率。
35. 根据权利要求28所述的装置,其中,所述至少一个处理器被配置为将所述第二位置 确定为在所述观察空间中的在指点手势期间所述指点元件最靠近所述平面的点P’处的所 述指点元件的位置。
36. 根据权利要求35所述的装置,其中,所述至少一个处理器被配置为利用从所述指点 手势期间所述指点元件的运动提取的位置特征来确定在点P’处的所述指点元件的位置。
37. 根据权利要求26所述的装置,其中,所述至少一个处理器还被配置力执彳丁校准处 理,该校准处理包括: 一 在所述平面上显示包括至少一个图形元素的校准序列;针对各个给定图形元素: 所述观察空间中标识所述至少一个指点兀件; 确定连接所述给定图形元素、所述至少一个指点元件和所述预定义的用户身体部位的 至少一条观察射线; 确定所述至少一个指点元件和所述预定义的用户身体部位中的至少一个的相应位置; 并且 将所述相应位置与所述给定图形元素关联地存储在数据仓库中。
38. 根据权利要求37所述的装置,其中,所述处理器还被配置为:生成校准映射,该校准 映射指示所述平面上的多个位置与所述指点元件距所述至少一个预定义的用户身体部位 的相应距离之间的关联。
39. 根据权利要求38所述的装置,其中,所述处理器还被配置为利用所述校准映射中的 数据确定所述瞄准点。
40. 根据权利要求37所述的装置,其中,所述至少一个处理器被配置为在所述校准序列 中显示需要将在操作上连接到所述至少一个图像传感器和所述至少一个处理器的装置从 待机模式切换为激活模式和/或解锁所述装置而选择的至少一个图形元素。
41. 根据权利要求26所述的装置,其中,所述第一类型的特征包括在所述指点手势期间 所述指点元件的选择的符合预定义的标准的位置数据分量的集合;所述至少一个处理器还 被配置为: 针对选择的位置数据分量的集合中的各个给定位置数据分量,确定相应观察射线;所 述相应观察射线从所述至少一个预定义的用户身体部位的位置延伸穿过所述至少一个指 点元件的位置并与所述平面相交,从而得到相应候选平面;其中,所述至少一个指点元件的 位置对应于所述给定位置数据分量; 确定各个候选平面之间的交叠区域;并且 利用指示所述交叠区域的数据来确定所述瞄准点。
42. 根据权利要求26所述的装置,其中,所述至少一个处理器还被配置为:在所述平面 上显示指点视觉效果;检测所述指点元件在所述观察空间中的运动路径;并且与所述指点 元件的运动路径相关地改变显示的指点视觉效果的至少一个特性,从而提供指示在所述指 点手势期间所述平面上的瞄准点的位置的数据。
43.根据权利要求42所述的装置,其中,改变所述指点视觉效果的所述至少一个特性包 括下列项中的至少一个:随着所述指点元件与所述平面之间的距离减小而减小所述指点视 觉效果的尺寸;以及随着所述指点元件与所述平面之间的距离增大而增大所述指点视觉效 果的尺寸。
44.根据权利要求42所述的装置,其中,所述至少一个处理器被配置为当满足预定义的 指点视觉效果条件时显示所述指点视觉效果。
45.根据权利要求27所述的装置,其中,所述预定义的条件是所述指点元件指向显示在 所述显示器上的给定图形元素达至少预定义的量的时间。
46.根据权利要求27所述的装置,其中,所述预定义的条件是所述指点元件执行了预定 乂的手势。
47. 根据权利要求27所述的装置,其中,所述至少一个处理器还被配置为:标识由所述 指点元件执行的预定义的第一手势;响应于所述第一手势标识给定图形元素;标识由所述 指点元件执行的预定义的第二手势;并且响应于所述第二手势执行命令和/或消息,其中, 所述命令和/或消息与所述给定图形元素关联,并且其中,在所述第一手势之前、期间或之 后标识所述第二手势。
48. 根据权利要求26所述的装置,其中,所述至少一个预定义的用户身体部位是用户的 眼睛。
49. 根据权利要求26所述的装置,其中,所述平面是所述装置中的显示器。
50. 根据权利要求26所述的装置,其中,所述至少一个处理器在操作上连接到计算机存 储器,该计算机存储器至少包括机器视觉单元和命令执行模块。
51. —种在操作上连接到识别平面上的瞄准点的装置以允许将命令输入至所述装置的 用户接口,该用户接口包括: 被配置为从至少一个图像传感器接收观察空间的至少一个图像的至少一个处理器,所 述至少一个处理器还被配置为: 处理所述至少一个图像并获得指示至少一个指点元件在所述观察空间中的位置的数 据; 获得指示所述观察空间中的至少一个预定义的用户身体部位的数据; 通过所述至少一个处理器利用指示所述至少一个指点元件的位置的数据和指示至少 一个预定义的用户身体部位的位置的数据以及第一类型的特征和第二类型的特征中的至 少一种,确定所述平面上的点或区域,从而得到所述平面上的瞄准点,其中,所述第一类型 的特征包括关于在指点手势期间所述指点元件的运动路径的特征,所述第二类型的特征包 括关于至少一个候选平面的特征; 在获得指示至少一个指点元件在所述观察空间中的位置的数据的同时确定满足预定 义的条件;并且 执行与所述瞄准点关联的预定义的命令和/或消息。
52. 根据权利要求51所述的用户接口,其中,所述至少一个处理器还被配置为:在所述 平面上显示至少一个图形元素;并且通过所述至少一个处理器利用指示所述平面上的所述 瞄准点的位置的数据从显示在所述平面上的所述至少一个图形元素中标识给定图形元素。
53. 根据权利要求51所述的用户接口,其中,为了确定所述平面上的所述瞄准点,所述 至少一个处理器还被配置为:标识所述用户的所述至少一个预定义的身体部位;所述至少 一个身体部位包括所述用户的脸部和所述用户的预定义的脸部部位中的至少一个;标识所 述至少一个指点元件;确定所述至少一个身体部位在所述观察空间内的位置,从而得到第 一位置;确定所述至少一个指点元件在所述观察空间内的位置,从而得到第二位置;确定与 所述第一位置和所述第二位置相关的至少一条观察射线;并且将所述瞄准点确定为所述平 面上与所述至少一条观察射线和所述平面的交点关联的点。
54. 根据权利要求51所述的用户接口,其中,所述至少一个处理器还被配置为执行校准 处理,该校准处理包括: 在所述平面上显示包括至少一个图形元素的校准序列;针对各个给定图形元素: 在所述观察空间中标识所述至少一个指点元件; 确定连接所述给定图形元素、所述至少一个指点元件和所述预定义的用户身体部位的 至少一条观察射线; 确定所述至少一个指点元件和所述预定义的用户身体部位中的至少一个的相应位置; 并且 将所述相应位置与所述给定图形元素关联地存储在数据仓库中。
55.根据权利要求51所述的用户接口,其中,所述至少一个处理器被配置为:获得在所 述指点手势期间所述指点元件的选择的符合预定义的标准的位置数据分量的集合;针对选 择的位置数据的集合中的各个给定位置数据分量,确定相应观察射线,所述相应观察射线 从所述至少一个预定义的用户身体部位的位置延伸穿过所述至少一个指点元件的位置并 与所述平面相交,从而得到相应候选平面,其中,所述至少一个指点元件的位置对应于所述 给定位置数据分量; 确定各个候选平面之间的交叠区域;并且 利用指示所述交叠区域的数据来确定所述瞄准点。
56.根据权利要求51所述的用户接口,其中,所述至少一个处理器还被配置为:在所述 平面上显示指点视觉效果;检测所述指点元件在所述观察空间中的运动路径;并且与所述 指点兀件的运动路径相关地改变显不的指点视觉效果的至少~个特性,从而提件指示在所 述指点手势期间所述平面上的瞄准点的位置的数据。 ^ "
CN201380025048.1A 2012-03-13 2013-03-12 识别指点手势的装置、用户接口和方法 Active CN104471511B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US201261610116P true 2012-03-13 2012-03-13
US61/610,116 2012-03-13
PCT/IL2013/050230 WO2013136333A1 (en) 2012-03-13 2013-03-12 Touch free user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810224201.8A CN108469899A (zh) 2012-03-13 2013-03-12 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810224201.8A Division CN108469899A (zh) 2012-03-13 2013-03-12 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法

Publications (2)

Publication Number Publication Date
CN104471511A CN104471511A (zh) 2015-03-25
CN104471511B true CN104471511B (zh) 2018-04-20

Family

ID=49160334

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380025048.1A Active CN104471511B (zh) 2012-03-13 2013-03-12 识别指点手势的装置、用户接口和方法
CN201810224201.8A Pending CN108469899A (zh) 2012-03-13 2013-03-12 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810224201.8A Pending CN108469899A (zh) 2012-03-13 2013-03-12 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法

Country Status (3)

Country Link
US (3) US9671869B2 (zh)
CN (2) CN104471511B (zh)
WO (1) WO2013136333A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9414051B2 (en) 2010-07-20 2016-08-09 Memory Engine, Incorporated Extensible authoring and playback platform for complex virtual reality interactions and immersive applications
KR20190133080A (ko) 2011-09-19 2019-11-29 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
CN104471511B (zh) * 2012-03-13 2018-04-20 视力移动技术有限公司 识别指点手势的装置、用户接口和方法
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
WO2014129683A1 (ko) * 2013-02-21 2014-08-28 엘지전자 주식회사 원격 포인팅 방법
US9122916B2 (en) * 2013-03-14 2015-09-01 Honda Motor Co., Ltd. Three dimensional fingertip tracking
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US10620775B2 (en) * 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9622322B2 (en) 2013-12-23 2017-04-11 Sharp Laboratories Of America, Inc. Task light based system and gesture control
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
EP3239818A4 (en) * 2014-12-26 2018-07-11 Nikon Corporation Control device, electronic instrument, control method, and program
EP3239816A4 (en) 2014-12-26 2018-07-25 Nikon Corporation Detection device, electronic instrument, detection method, and program
PL411339A1 (pl) * 2015-02-23 2016-08-29 Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością A way to control the device using gestures and a system to control the device using gestures
CN104717365B (zh) * 2015-03-30 2017-05-10 京东方科技集团股份有限公司 亮度调节系统及方法、移动终端
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
CN105159539B (zh) * 2015-09-10 2018-06-01 京东方科技集团股份有限公司 可穿戴设备的触控响应方法、装置及可穿戴设备
CN105843054A (zh) * 2016-03-22 2016-08-10 美的集团股份有限公司 控制家居设备的方法、智能家居系统及移动设备
CN108008811A (zh) * 2016-10-27 2018-05-08 中兴通讯股份有限公司 一种利用非触屏方式操作终端的方法和终端
CN106682468A (zh) * 2016-12-30 2017-05-17 百度在线网络技术(北京)有限公司 解锁电子设备的方法以及电子设备
IT201800003723A1 (it) * 2018-03-19 2019-09-19 Candy Spa Elettrodomestico con interfaccia utente
TW202009653A (zh) 2018-08-28 2020-03-01 財團法人工業技術研究院 指向判斷系統以及指向判斷方法
JP2020052681A (ja) * 2018-09-26 2020-04-02 シュナイダーエレクトリックホールディングス株式会社 操作処理装置
US20200125175A1 (en) * 2018-10-17 2020-04-23 WiSilica Inc. System using location, video-processing, and voice as user interface for controlling devices
US10894198B1 (en) * 2019-10-01 2021-01-19 Strikezone Technologies, LLC Systems and methods for dynamic and accurate pitch detection
US20210174479A1 (en) * 2019-12-04 2021-06-10 Samsung Electronics Co., Ltd. Apparatus and method for dynamic multi-camera rectification using depth camera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
CN1423796A (zh) * 2000-07-13 2003-06-11 皇家菲利浦电子有限公司 在电视会议及其它基于摄像机的系统应用中的指向方向校准
CN1904806A (zh) * 2006-07-28 2007-01-31 上海大学 手、眼关系引导的非接触式位置输入系统和方法
CN101960409A (zh) * 2007-12-31 2011-01-26 微软国际控股私有有限公司 3d指点系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
US8073198B2 (en) * 2007-10-26 2011-12-06 Samsung Electronics Co., Ltd. System and method for selection of an object of interest during physical browsing by finger framing
DE102008010990A1 (de) * 2008-02-25 2009-09-03 Siemens Aktiengesellschaft Einrichtung umfassend ein im Raum bewegbares, zu betrachtendes Objekt, insbesondere medizinische Untersuchungs- oder Behandlungseinrichtung mit einer im Raum bewegbaren Anzeigevorrichtung
US7991896B2 (en) * 2008-04-21 2011-08-02 Microsoft Corporation Gesturing to select and configure device communication
US20100088637A1 (en) * 2008-10-07 2010-04-08 Himax Media Solutions, Inc. Display Control Device and Display Control Method
US8970669B2 (en) * 2009-09-30 2015-03-03 Rovi Guides, Inc. Systems and methods for generating a three-dimensional media guidance application
US20110137727A1 (en) * 2009-12-07 2011-06-09 Rovi Technologies Corporation Systems and methods for determining proximity of media objects in a 3d media environment
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8522308B2 (en) * 2010-02-11 2013-08-27 Verizon Patent And Licensing Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
US9715275B2 (en) 2010-04-26 2017-07-25 Nokia Technologies Oy Apparatus, method, computer program and user interface
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
US20110304649A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Character selection
EP2455841A3 (en) * 2010-11-22 2015-07-15 Samsung Electronics Co., Ltd. Apparatus and method for selecting item using movement of object
JP2012141930A (ja) * 2011-01-06 2012-07-26 Sony Corp 情報処理装置、情報処理システム及び情報処理方法
CN201926822U (zh) * 2011-01-18 2011-08-10 上海麦启数码科技有限公司 可识别空间位置的3d眼镜系统
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
US9104239B2 (en) * 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
US9218063B2 (en) * 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US8947351B1 (en) * 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
CN104471511B (zh) * 2012-03-13 2018-04-20 视力移动技术有限公司 识别指点手势的装置、用户接口和方法
CN105593787B (zh) * 2013-06-27 2019-07-05 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
CN1423796A (zh) * 2000-07-13 2003-06-11 皇家菲利浦电子有限公司 在电视会议及其它基于摄像机的系统应用中的指向方向校准
CN1904806A (zh) * 2006-07-28 2007-01-31 上海大学 手、眼关系引导的非接触式位置输入系统和方法
CN101960409A (zh) * 2007-12-31 2011-01-26 微软国际控股私有有限公司 3d指点系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Direct interaction with large displays through monocular computer vision;Kelvin Cheng;《University of Sydney School of Information Technologies》;20081001;正文第41、99-107、139、146-153、161页 *

Also Published As

Publication number Publication date
CN104471511A (zh) 2015-03-25
CN108469899A (zh) 2018-08-31
US10248218B2 (en) 2019-04-02
WO2013136333A1 (en) 2013-09-19
US9671869B2 (en) 2017-06-06
US20190324552A1 (en) 2019-10-24
US20140375547A1 (en) 2014-12-25
US20170235376A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
CN104471511B (zh) 识别指点手势的装置、用户接口和方法
CN105593787B (zh) 用于与数字设备交互的直接指向检测的系统和方法
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
CN103793060B (zh) 一种用户交互系统和方法
CN106125921B (zh) 3d映射环境中的凝视检测
US20140240225A1 (en) Method for touchless control of a device
CN107004279A (zh) 自然用户界面相机校准
JP2011022984A (ja) 立体映像インタラクティブシステム
US10001844B2 (en) Information processing apparatus information processing method and storage medium
US20100259610A1 (en) Two-Dimensional Display Synced with Real World Object Movement
US20110164032A1 (en) Three-Dimensional User Interface
JP2004246578A (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
TW201214266A (en) Three dimensional user interface effects on a display by using properties of motion
EP3106963B1 (en) Mediated reality
Shim et al. Gesture-based interactive augmented reality content authoring system using HMD
US20130249864A1 (en) Methods for input-output calibration and image rendering
Molyneaux et al. Cooperative augmentation of mobile smart objects with projected displays
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
Haubner et al. Recognition of dynamic hand gestures with time-of-flight cameras
Hsu et al. HoloTabletop: an anamorphic illusion interactive holographic-like tabletop system
Bai Mobile Augmented Reality: Free-hand Gesture-based Interaction
Jiménez Physical Interaction in augmented environments
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
US11003307B1 (en) Artificial reality systems with drawer simulation gesture for gating user interface elements

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant