CN114930272A - 基于头部和眼部的姿势识别 - Google Patents

Abstract

本技术的方面涉及使用可穿戴计算设备100来确定和利用头部和眼部姿势。可穿戴计算设备可以包括被配置为向一个或多个处理器220提供第一反馈的眼电图电极250，以及被配置为向一个或多个处理器提供第二反馈的惯性测量单元260。第一反馈可对应于眼部运动，第二反馈可对应于头部运动。可穿戴计算设备还可包括一个或多个处理器，其可被配置为使用第一反馈和这些第二反馈来判断头部运动和眼部运动是否对应于动作的触发项，以及基于该判断使可穿戴计算设备执行动作。

Description

基于头部和眼部的姿势识别

相关申请交叉引用

本申请要求2019年10月8日提交的美国申请号16/595,634的权益，其通过引用整体并入本文。

背景技术

在现代生活的许多方面，例如个人电脑，笔记本电脑，平板电脑，手机，和数不清的可联网设备之类计算设备越来越普遍。随着计算设备越来越普遍，无论是在身体上还是在环境中，控制这些设备都要求更自然的交互方式。常见的人类姿势通常被认为是自然的交互，但很容易出现假阳性。例如，使用“微笑姿势”触发打开灯，会由于人在情境中自然微笑导致不想要的触发。另一方面，例如以不同的运动模式移动手指之类的更复杂的姿势可能具有更好的识别表现，但由于它们不是自然的运动，使人们很难记住，甚至无法正确执行。事实上，许多在实验室环境下运作良好的姿势并不适合于一般使用。换句话说，姿势需要足够独特，以便于计算机设备识别以及便于人们记忆和执行。

发明内容

本技术的一个方面提供了一种用于确定和利用头部和眼部姿势的系统。所述系统包括可穿戴计算设备，该可穿戴计算设备具有眼电图电极，其被配置为向一个或多个处理器提供第一反馈。所述第一反馈对应于眼部运动。所述系统还包括惯性测量单元，其被配置为向所述一个或多个处理器提供第二反馈。所述第二反馈对应于头部运动。所述系统还包括一个或多个处理器，其被配置为使用所述第一反馈和所述第二反馈来判断所述头部运动和眼部运动是否对应于动作的触发项，和使所述可穿戴计算设备基于所述判断执行所述动作。

在一个示例中，其中所述可穿戴计算设备包括鼻垫，并且其中所述眼电图电极被布置在所述鼻垫处。在另一个示例中，所述可穿戴计算设备包括一个或多个侧支撑臂，并且所述惯性测量单元被布置在所述一个或多个侧支撑臂中的一个处。在另一个示例中，所述惯性测量单元是陀螺仪在另一个示例中，所述触发项对应于前庭眼反射。在另一个示例中，所述系统还包括存储第一分类器的存储器，该第一分类器被配置为用于判断所述头部运动和眼部运动是否对应于所述触发项。在这个示例中，判断所述头部运动和眼部运动是否对应于所述触发项包括使用所述第一反馈来生成值，并且所述一个或多个处理器还被配置为将所述值输入到所述第一分类器，以判断所述头部运动和眼部运动是否对应于所述触发项。附加地或替代地，所述存储器还存储第二分类器，该第二分类器被配置为用于确定与所述动作相关联的姿势类型。在这个示例中，所述一个或多个处理器还被配置为基于所述判断，将所述值输入到所述第二分类器以确定所述姿势类型。

本技术的另一方面提供了一种用于确定和利用头部和眼部姿势的方法。所述方法包括由可穿戴计算设备的一个或多个处理器从眼电图电极接收与眼部运动相对应的第一反馈，所述眼电图电极是所述可穿戴计算设备的一部分；由所述一个或多个处理器从惯性测量单元接收与头部运动相对应的第二反馈，所述惯性测量单元是所述可穿戴计算设备的一部分；由所述一个或多个处理器使用所述第一反馈和所述第二反馈来判断所述头部运动和眼部运动是否对应于动作的触发项；和由所述一个或多个处理器使所述可穿戴计算设备基于所述判断执行所述动作。

在一个示例中，所述触发项对应于前庭眼反射。在另一个示例中，判断所述头部运动和眼部运动是否对应于所述触发项包括使用所述第一反馈来生成值，并将所述值输入到分类器，该分类器输出所述头部运动和眼部运动是否对应于所述触发项的表示。在这个示例中，所述值包括所述第一反馈和所述第二反馈之间的皮尔逊相关。附加地或替代地，生成所述值包括对所述第一反馈使用滑动窗口方法。附加地或替代地，所述方法还包括，基于所述判断，将所述值输入到第二分类器中以确定姿势类型，其中所述姿势类型与所述动作相关联。在另一个示例中，判断所述头部运动和眼部运动是否对应于所述触发项包括使用所述第二反馈来生成第二值，并将所述第二值输入到分类器，该分类器输出所述头部运动和眼部运动是否对应于所述触发项的表示。在这个示例中，所述值包括所述第一反馈和所述第二反馈之间的皮尔逊相关。附加地或替代地，生成所述值包括对所述第二反馈使用滑动窗口方法。附加地或替代地，所述方法还包括，基于所述判断，将所述值输入到第二分类器中以确定姿势类型，并且其中所述姿势类型与所述动作相关联。在另一个示例中，所述惯性测量单元是陀螺仪。

附图说明

图1是根据本技术方面的可穿戴计算设备的示例。

图2是根据本技术方面的可穿戴计算设备的示例框图。

图3是根据本技术方面对数据进行比较的示例。

图4是根据本技术方面对数据进行比较的示例。

图5是根据本技术方面确定和利用头部和眼部姿势的示例框图。

图6是根据本技术方面确定和利用头部和眼部姿势的示例流程图。

具体实施方式

概述

本技术一般涉及确定和利用头部和眼部姿势。人眼有四种运动方式：扫视，平稳追踪，眼转向，和前庭眼反射(VOR)。这个VOR可作为视觉注意力的表示器，以发起和确定姿势和相关命令。在这种反射状态下，人眼通过以互补的方式旋转来自然地补偿头部的运动。例如，当人在移动他的或她的头部时将注意力聚焦于一个点上时，头部旋转和眼部位置之间存在强负相关。这种相关可以因此用作许多基于头部姿势的平台。

一种实现方案可包括可穿戴计算设备，例如可佩戴在脸上的设备。可穿戴计算设备可包括一副带有镜框的眼镜，一个或多个前述显示器，中心框支撑件，镜片，和侧支撑臂。可穿戴计算设备还可以包括电池，存储器，处理硬件，以及多个传感器。传感器中的一个可包括眼电图(EOG)电极，其测量眼部运动并向处理硬件提供反馈。传感器中的另一个可包括惯性测量单元(IMU)，例如陀螺仪，其跟踪头部旋转并向处理硬件提供反馈。

EOG和IMU反馈可用作确定可能姿势的触发项。第一分类器可用于判断来自EOG和IMU的反馈是否对应于姿势的触发项。如上所述，如果一个人在向不同方向移动头部时用他的或她的眼睛聚焦在一个点上，则反馈会反相。这可对应于姿势的触发项。如果第一分类器表示反馈表示触发项，则第二分类器可用于判断正在执行的姿势类型。同样，包括皮尔逊相关的值随后可输入到第二分类器中以确定特定姿势。姿势可与相应的命令或动作相关联，并且一旦该动作被确定，可穿戴计算设备可执行该动作。

本文描述的功能可以提供在使用很少计算资源的情况下识别姿势和命令的方式。此外，与例如可能具有高电池成本的需要朝向内部的摄像头来识别眼电图的方法之类的基于摄像头识别姿势的方法相比，本文描述的特征可以显著降低假阳性概率，降低功耗，并且更快地识别姿势。研究基于凝视的姿势的其他尝试，聚焦在使眼部运动与移动刺激同步的想法上。在这种情况下，眼部以平稳追踪方式移动。然而，对于典型的人来说，由于VOR的反射性，利用VOR需要的精神负荷比平稳追踪要少。

示例设备

一种实现方案可包括可穿戴计算设备，例如可被佩戴在脸上的设备。例如，图1描绘了示例可穿戴计算设备100，这里被描绘为一副“智能”眼镜。可穿戴计算设备可包括一副眼镜，其具有镜框110，112，中心框支撑件120，镜片130，132，和可被放置在佩戴者耳朵上方的侧支撑臂140，142。尽管未在示例中描绘，可穿戴计算设备还可包括近眼显示器，头戴式显示器(HMD)，或平视显示器(HUD)。或者，可穿戴计算设备可包括其他类型的头戴式设备而不是一副眼镜，例如耳塞，或者包括前框架支撑件，一个或多个前述显示器，和不带镜片的侧支撑臂的设备。

图2描绘了可穿戴计算设备100的框图。在这个示例中，可穿戴计算设备100包括处理硬件210，该处理硬件210包括一个或多个处理器220，存储指令230和数据232的存储器230，电池240，多个传感器(包括EOG 250和IMU 260)，以及相机270。传感器中的一个可以包括眼电图(EOG)电极或EOG 250，其测量眼部运动并向处理硬件210提供反馈。作为示例，这些电极可被附接到或安装在从可穿戴计算设备的中心框架支撑件120延伸的鼻垫122内。传感器中的另一个可以包括惯性测量单元(IMU)或IMU 260，例如陀螺仪，其跟踪头部旋转并向处理硬件210提供反馈。作为示例，如图所示，IMU可以被附接到或安装在侧支撑臂140内，或者替代地，在侧支撑臂142内。在耳塞的示例中，EOG和IMU可各自位于耳塞的多个部分上，由于EOG检测到的电信号可在整个头部传播因而仍可在人的耳朵处或周围检测到眼部运动。例如，EOG可以自人耳道测量电信号。

存储器230存储处理器220可访问的信息，包括可由处理器220执行或以其他方式使用的指令232和数据234。存储器230可以是能够存储一个或多个处理器可访问信息的任何类型，包括计算设备可读介质，或存储可借助电子设备读取的数据的其他介质，例如硬盘驱动器，存储卡，ROM，RAM，DVD或其他光盘，以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，其中指令和数据的不同部分存储在不同类型的介质上。

指令232可以是处理器直接执行(例如机器代码)或间接执行(例如脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”可在本文中互换使用。指令可以以目标代码格式存储，以供处理器直接处理，或者以任何其他计算设备语言存储，包括按要求解释或提前编译的脚本或独立源代码模块集合。下面将更详细地解释这些指令的功能，方法和例程。

可由一个或多个处理器930根据指令234检索，存储或修改数据234。例如，尽管所要求保护的主题不受限于任何特定数据结构，但数据可以在计算设备寄存器中，在关系数据库中被存储为具有多个不同字段和记录的表，XML文档或平面文件。数据还可以被格式化为任何计算设备可读的格式。例如，数据可以存储关于太阳在任何给定时间点相对于地球的预期位置的信息，以及关于网络目标位置的信息。

处理器220可以是任何常规处理器，例如商用CPU或GPU。或者，一个或多个处理器可以是专用设备，例如ASIC或其他基于硬件的处理器。尽管图2在同一方框内功能上示出了处理器220，存储器230，和处理硬件210的其他元件，但应当理解，处理器或存储器实际上可包括多个处理器或存储器，这些处理器或存储器可以或可以不存储在同一物理壳体内。例如，存储器可以是位于不同于处理硬件210壳体的壳体中的硬盘驱动器或其他存储介质。

处理硬件还可以包括一个或多个有线连接240和无线连接242(例如发射器/接收器)，以便于与传感器和/或远程计算设备的通信。

示例方法

图3提供了当人在移动他的或她的头部环顾四周时，扫视眼部运动下EOG和IMU(这里是陀螺仪)反馈的示例比较。例如，人可以看向一边，同时把他的或她的头转向同一方向并回来。在这个示例中，眼部运动是用电压电位测量的，头部运动是用角速度测量的。可以看出，与EOG检测到的眼部运动相比，陀螺仪检测到的头部运动有一些小的延迟，因为眼部会稍微先于头部移动。换句话说，眼部运动和头部运动的方向大致相同。因此，来自反馈的信号(或者更确切地说，电压电位和角速度)是相关且同相的。

图4提供了当人在移动他的或她的头部环顾四周时，VOR眼部运动下EOG和IMU(这里是陀螺仪)反馈的示例比较。例如，人可以聚焦在一个点上，同时他或她把他的或她的头转向特定方向(左或右)并回来。换句话说，眼部运动和头部运动的方向大致相反。因此，来自反馈的信号(或者更确切地说，电压电位和角速度)是不相关且反相的。

EOG和IMU反馈之间的这种反相关系可用作确定可能姿势的触发项。图5呈现了确定和利用头部和眼部姿势的示例框图。例如，可以将来自EOG 250和IMU 260的反馈发送到处理硬件210。然后，处理器220可以使用滑动窗口方法来处理反馈，以判断多个值。作为示例，窗口大小可以包括100个数据点，并且可以“滑动”5个数据点。可以对窗口内的反馈进行处理以确定多个值，例如，包括窗口的最大值，窗口的最小值，窗口的范围，和该窗口的平均值。此外，还可以对每个窗口的反馈进行比较，以判断每个窗口的皮尔逊相关。还可以判断例如互相关(作为相移的表示符)以及EOG和IMU反馈的δ-峰值时间的其他值。可通过在窗口内找到反馈的最大值和/或最小值(例如，反馈的峰值)来判断δ-峰值时间。如果峰值不在窗口的开始或起始处，则可以从EOG反馈中的峰值和IMU反馈中的峰值的时间戳之间的差来判断δ-峰值时间。

然后，可以将包括皮尔逊相关以及其他值的多个值输入第一分类器410，以判断来自EOG 250和IMU 260的反馈是否对应于姿势的触发项。如上所述，如果人在向不同方向移动他的或她的头部的同时用眼睛聚焦在一个点，则EOG 250和IMU 260之间的反馈将反相。这种反相判断可对应于姿势的触发项。在这方面，分类器410可以确定反馈(或者更确切地说，该多个值)是否表示运动对应于VOR或不对应于VOR。作为示例，分类器420可以输出与VOR或非VOR中的一个或另一个相对应的表示，例如二进制值，例如0或1。换句话说，输出可以表示眼部和头部的运动是否对应于姿势的触发项。如果分类器410判断这些值不对应于VOR，则处理器220可以继续处理来自另外的窗口的另外的值。此外，分类器410可以是决策树，随机森林分类器，或其他模型，其可用于基于眼部和头部运动的幅度以及反馈的不相关程度来确定反馈是否表示触发项。

如果第一分类器表示该反馈表示触发项，则第二分类器420可用于判断正在执行的姿势类型。同样，包括皮尔逊相关的多个值随后可输入分类器420以确定特定姿势。分类器420可以是决策树，随机森林分类器，或可用于确定特定姿势的其他模型。作为示例，分类器420可以输出与特定姿势的标识符相对应的表示。在一些实例中，分类器410可用于对数据进行“分段”或查找存在姿势的数据窗口。此后，分类器420可以是更复杂的分类器，可以用于识别多个姿势。例如，分类器420可以利用动态时间扭曲(DTW)或结构性经验累积分布函数(sECDF)特征，来高精度识别多个姿势。

这些姿势标识符中的每一个都可以与存储在存储器230中的查找表，数据库，或其他存储结构中的相应命令或动作相关联。动作的示例可包括控制设备，捕获图像或控制可穿戴计算设备的方面或特征，请求在线(例如，通过互联网)搜索视觉上相似的图像或出现在视野中的对象或对象类型，在视野中感兴趣的对象上生成标志或书签，在视野中的对象上建立社交互动等。一旦确定出动作，可穿戴计算设备就可以执行该动作。示例姿势可包括先向左再向右(例如，回到中心)转动头部，先向右再向左(例如，回到中心)转动头部，先向上再向下移动头部，先向下再向上移动头部，顺时针移动头部，逆时针移动头部等。

作为上述特征的示例实现，人可以看到一张感兴趣的海报，并想在上面做笔记。佩戴可穿戴计算设备100时，他或她不需要拿出他的或她的智能手机，找到笔记应用程序，输入相关细节，而是可以视觉上聚焦到海报上，然后将他的或她的头向左倾斜并回到中心。来自EOG 250和IMU260的反馈将是不相关的，或者说完全反相的。因此，可穿戴计算设备100可以使用分类器410来判断该人的VOR被配合，并且眼部和头部的运动对应于姿势的触发项。然后，可穿戴计算设备100可以使用第二分类器来判断在反射期间执行了“向左倾斜”姿势。可穿戴计算设备100随后可基于姿势确定例如“打开”或“关闭”的动作，并可自动向远程设备发送指令，以在感兴趣点位置处或附近打开或关闭灯(例如，灯泡)或其他IoT(物联网)设备。因此，这简化了控制设备的过程，并使人能够更高效地完成其他复杂任务(例如，打开或关闭灯)。

在一些情况下，传感器，例如EOG 250和IMU 260，在满足某种条件之前，不需要实际打开并记录传感器数据或反馈。例如，IMU 260不需要记录任何数据，直到检测到最小加速度，或者换句话说，已经用一定的力摇动设备。这些检测特征可以被合并到IMU 260本身的硬件中，以最小化功耗。响应于满足最小加速度，IMU 260可向处理器发送信号以表示IMU处于活动状态(即“开启”)。处理器220随后可以开始接收和处理来自IMU 260的反馈。在其他示例中，分类器410，420中的一个或两个可以在IMU和/或EOG的硬件中执行。在这方面，在识别到触发项之后，IMU260和/或EOG 250可以向主处理器输出确定触发项已被满足和/或姿势类型的信号。此后，处理器可以确定并执行与姿势类型相关联的动作。

图6提供了用于确定和利用头部和眼部姿势的示例流程图，其可由可穿戴计算设备100的一个或多个处理器执行，例如可穿戴计算设备100的一个或多个处理器220。在该示例中，在方框610，从与眼部运动相对应的眼电图电极接收第二反馈。眼电图电极是可穿戴计算设备的一部分。在方框620，从与头部运动相对应的惯性测量单元接收第二反馈。惯性测量单元是可穿戴计算设备的一部分，并且可以包括陀螺仪。在方框630，使用第一反馈和第二反馈来判断头部运动和眼部运动是否对应于动作的触发项。在方框640，使可穿戴计算设备基于该判断执行动作。

本文描述的特征可以提供在使用很少计算资源的情况下识别姿势和命令的方式。此外，与例如可能具有高电池成本的需要朝向内部的摄像头来识别眼电图的方法之类的基于摄像头识别姿势的方法相比，本文描述的特征可以显著降低假阳性概率，降低功耗，并且更快地识别姿势。研究基于凝视的姿势的其他尝试，聚焦于使眼部运动与移动刺激同步的想法上。在这种情况下，眼部以平稳追踪的方式移动。然而，对于典型的人来说，由于VOR的反射性，利用VOR需要的精神负荷比平稳追踪要少。

上述大多数替代示例并不相互排斥，但可以以多种组合实现，以获得独特的优势。由于可以在不脱离权利要求所定义的主题的情况下利用上述特征的这些和其他变化及组合，因此实施例的前述描述应当通过说明而不是通过限制权利要求所定义的主题来进行。作为示例，前面的操作不必按照上述精确顺序执行。而是，可以以不同的顺序或同时处理多种步骤。除非另有说明，否则也可以省略步骤。此外，本文所描述的示例的规定，以及措辞为“例如”，“包括”等的分句，不应被解释为将权利要求的主题限定于具体示例；而是，这些示例旨在说明许多可能的实施例中的一个。此外，不同附图中的相同参考标记可以标识相同或类似的元件。

Claims (20)

1.一种用于确定和利用头部和眼部姿势的系统，所述系统包括可穿戴计算设备，该可穿戴计算设备具有：

眼电图电极，其被配置为向一个或多个处理器提供第一反馈，所述第一反馈对应于眼部运动；

惯性测量单元，其被配置为向所述一个或多个处理器提供第二反馈，所述第二反馈对应于头部运动；

一个或多个处理器，其被配置为：

使用所述第一反馈和所述第二反馈来判断所述头部运动和眼部运动是否对应于动作的触发项；和

使所述可穿戴计算设备基于所述判断执行所述动作。

2.根据权利要求1所述的系统，其中所述可穿戴计算设备包括鼻垫，并且其中所述眼电图电极被布置在所述鼻垫处。

3.根据权利要求1所述的系统，其中所述可穿戴计算设备包括一个或多个侧支撑臂，并且其中所述惯性测量单元被布置在所述一个或多个侧支撑臂中的一个处。

4.根据权利要求1所述的系统，其中所述惯性测量单元是陀螺仪。

5.根据权利要求1所述的系统，其中所述触发项对应于前庭眼反射。

6.根据权利要求1所述的系统，还包括存储第一分类器的存储器，该第一分类器被配置为用于判断所述头部运动和眼部运动是否对应于所述触发项。

7.根据权利要求6所述的系统，其中判断所述头部运动和眼部运动是否对应于所述触发项包括使用所述第一反馈来生成值，并且所述一个或多个处理器还被配置为将所述值输入到所述第一分类器，以判断所述头部运动和眼部运动是否对应于所述触发项。

8.根据权利要求6所述的系统，其中所述存储器还存储第二分类器，该第二分类器被配置为用于确定与所述动作相关联的姿势类型。

9.根据权利要求8所述的方法，其中所述一个或多个处理器还被配置为基于所述判断，将所述值输入到所述第二分类器以确定所述姿势类型。

10.一种用于确定和利用头部和眼部姿势的方法，所述方法包括：

由可穿戴计算设备的一个或多个处理器从眼电图电极接收与眼部运动相对应的第一反馈，所述眼电图电极是所述可穿戴计算设备的一部分；

由所述一个或多个处理器从惯性测量单元接收与头部运动相对应的第二反馈，所述惯性测量单元是所述可穿戴计算设备的一部分；

由所述一个或多个处理器使用所述第一反馈和所述第二反馈来判断所述头部运动和眼部运动是否对应于动作的触发项；和

由所述一个或多个处理器使所述可穿戴计算设备基于所述判断执行所述动作。

11.根据权利要求10所述的方法，其中所述触发项对应于前庭眼反射。

12.根据权利要求10所述的方法，其中判断所述头部运动和眼部运动是否对应于所述触发项包括使用所述第一反馈来生成值，并将所述值输入到分类器，该分类器输出所述头部运动和眼部运动是否对应于所述触发项的表示。

13.根据权利要求12所述的方法，其中所述值包括所述第一反馈和所述第二反馈之间的皮尔逊相关。

14.根据权利要求12所述的方法，其中生成所述值包括对所述第一反馈使用滑动窗口方法。

15.根据权利要求12所述的方法，还包括，基于所述判断，将所述值输入到第二分类器中以确定姿势类型，其中所述姿势类型与所述动作相关联。

16.根据权利要求10所述的方法，其中判断所述头部运动和眼部运动是否对应于所述触发项包括使用所述第二反馈来生成第二值，并将所述第二值输入到分类器，该分类器输出所述头部运动和眼部运动是否对应于所述触发项的表示。

17.根据权利要求16所述的方法，其中所述值包括所述第一反馈和所述第二反馈之间的皮尔逊相关。

18.根据权利要求16所述的方法，其中生成所述值包括对所述第二反馈使用滑动窗口方法。

19.根据权利要求16所述的方法，还包括，基于所述判断，将所述值输入到第二分类器中以确定姿势类型，并且其中所述姿势类型与所述动作相关联。

20.根据权利要求10所述的方法，其中所述惯性测量单元是陀螺仪。

Images