CN112424790A - 混合式眼睛跟踪器的系统和方法 - Google Patents

混合式眼睛跟踪器的系统和方法 Download PDF

Info

Publication number
CN112424790A
CN112424790A CN201980046850.6A CN201980046850A CN112424790A CN 112424790 A CN112424790 A CN 112424790A CN 201980046850 A CN201980046850 A CN 201980046850A CN 112424790 A CN112424790 A CN 112424790A
Authority
CN
China
Prior art keywords
eye
dvs
electronic device
camera
subsequent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980046850.6A
Other languages
English (en)
Other versions
CN112424790B (zh
Inventor
范尼·丰塔内尔
赛义德·萨迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112424790A publication Critical patent/CN112424790A/zh
Application granted granted Critical
Publication of CN112424790B publication Critical patent/CN112424790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种系统和方法使电子设备执行注视跟踪操作。所述电子设备包括一个或多个相机和至少一个处理器。一个或多个相机包括动态视觉传感器(DVS)相机。一个或多个相机被配置为捕获电子设备的佩戴者的眼睛的特征。处理器被配置为从一个或多个相机接收与眼睛相关联的图像或像素流，以基于图像或像素流确定眼睛的初始姿势，从DVS相机接收DVS数据，基于DVS数据跟踪眼睛的初始姿势的一个或多个变化，以及基于眼睛的初始姿势的一个或多个变化确定佩戴者的注视。

Description

混合式眼睛跟踪器的系统和方法
技术领域
本公开总体上涉及光学系统。更具体地，本公开涉及使用动态视觉传感器(DVS)相机的眼睛跟踪。
背景技术
增强现实(AR)眼镜是一个成长中的市场。当前使用常规相机和照明系统的眼睛跟踪技术要求照明系统连续打开以实现用于物体识别的最佳动态范围。虽然已经实现了使用常规相机和红外照明的眼睛跟踪技术，但是这些常规眼睛跟踪方法需要大量的处理能力，这对电池寿命造成了压力。反过来，当前的AR眼镜具有很高的购买价格。即使可以使用不带照明系统的常规相机来实现眼睛跟踪以降低成本，但是常规相机的动态范围也使得在黑暗中识别物体变得困难。此外，常规相机需要高帧频才能准确跟踪眼睛的移动。
发明内容
【技术方案】
提供了一种用于解决上述问题的技术方案的电子设备。所述电子设备包括一个或多个相机和处理器。一个或多个相机包括动态视觉传感器(DVS)相机，并且被配置为捕获像素信息，例如从电子设备的佩戴者的眼睛或由其引起的像素变化。处理器被配置为从一个或多个相机接收与眼睛相关联的信息，基于所述信息初始化眼睛的初始姿势(例如，确定、计算或估计初始姿势)，接收DVS数据，基于DVS数据跟踪眼睛的初始姿势的一个或多个变化，并基于眼睛的初始姿势的一个或多个变化，确定佩戴者的注视。
【有益效果】
本公开提供了一种使用相机的眼睛跟踪系统，该相机可以有效地识别黑暗中的物体。此外，本公开提供了一种准确跟踪眼睛移动的方法。
附图说明
为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中：
图1示出根据本公开的实施例的网络配置的示例；
图2是根据本公开的实施例的电子设备的示例配置的框图。
图3是示出根据本公开的实施例的程序模块的框图。
图4A、图4B、图4C和图4D示出根据本公开的实施例的用于增强现实、混合现实或虚拟现实中的头戴式显示器(HMD)的示例；
图5A、图5B和图5C示出根据本公开的实施例的动态视觉传感器(DVS)相机和互补金属氧化物半导体(CMOS)相机在用于增强现实、混合现实或虚拟现实中的各种HMD中的放置示例；
图6示出根据本公开实施例的互补金属氧化物半导体(CMOS)相机和事件相机之间的比较；
图7A示出根据本公开实施例的DVS相机的操作的各方面；
图7B示出根据本公开实施例的在10ms的时间段内的DVS像素的640×480缓冲器；
图8A和图8B示出根据本公开的实施例的由一个或多个DVS相机实现的基于簇的移位的示例；
图9示出根据本公开的实施例的在表示眨眼的10ms的时间段期间的DVS像素的640×480缓冲器。
图10是示出根据本公开的实施例的使用一组两个DVS相机和一个CMOS相机以及可选的红外LED的混合式眼睛跟踪器的注视跟踪电路的框图；
图11是示出根据本公开的实施例的使用一个DVS相机和一个CMOS相机，由混合式眼睛跟踪器在两只眼睛中的一只上执行的初始化过程的框图；
图12示出根据本公开的实施例的用于注视跟踪的过程。
具体实施方式
本公开提供一种用于眼睛跟踪或注视跟踪或两者的系统和方法，例如与头戴式显示系统一起使用。
在第一实施例中，提供了一种电子设备。所述电子设备包括一个或多个相机和处理器。一个或多个相机包括动态视觉传感器(DVS)相机，并且被配置为捕获像素信息，例如从电子设备的佩戴者的眼睛或由其引起的像素变化。处理器被配置为从一个或多个相机接收与眼睛相关联的信息，基于所述信息初始化眼睛的初始姿势(例如，确定、计算或估计初始姿势)、接收DVS数据、基于DVS数据跟踪眼睛的初始姿势的一个或多个变化，以及基于眼睛的初始姿势的一个或多个变化，确定佩戴者的注视。
在第二实施例中，提供了一种方法。所述方法包括从佩戴者的眼睛捕获像素变化。所述方法还包括初始化眼睛的初始姿势。所述方法还包括从至少一个DVS相机接收DVS数据。所述方法还包括基于DVS数据跟踪眼睛的初始姿势的一个或多个变化。所述方法还包括基于眼睛的初始姿势的一个或多个变化来确定佩戴者的注视。
在第三实施例中，提供了一种被配置为存储多个指令的非暂时性计算机可读介质。所述多个指令在由至少一个处理器执行时被配置为使所述至少一个处理器从一个或多个相机接收与眼睛相关联的信息。基于所述信息初始化眼睛的初始姿势；从至少一个DVS相机接收动态视觉传感器(DVS)数据；基于DVS数据跟踪眼睛的初始姿势的一个或多个变化；以及基于眼睛的初始姿势的一个或多个变化来确定佩戴者的注视。
【发明方式】
在进行下面的详细描述之前，阐明整个专利文件中使用的某些单词和短语的定义可能是有利的。术语“发送”、“接收”和“通信”及其派生词涵盖直接和间接通信。术语“包括”和“包含”及其派生词是指包括但不限于。术语“或”是包含性的，意味着和/或。短语“与...关联”及其派生词意指包括、被包括在其中、与之互连、包含、被包含在其中、连接到或与之连接、耦合到或与之耦合、与之通信、与之协作、交错、并置、与之邻近、绑定到或与之绑定、具有、具有其性质、关系到与之有关系。
此外，以下描述的各种功能可以由一个或多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指适于在合适的计算机可读程序代码中实施的一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，例如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括可永久存储数据的介质以及可存储数据并稍后覆盖的介质，例如可重写光盘或可擦除存储设备。
如本文所使用的，术语“具有”、“可以具有”、“包括”、“可以包括”、“可以具有”或“可以包括”特征(例如，数字、功能、操作或诸如部件之类的组件)表示所述特征的存在，并且不排除其他特征的存在。
如本文所用，术语“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”可以包括A和B的所有可能的组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以表示以下全部：(1)包括至少一个A，(2)包括至少一个B，或(3)包括至少一个A和至少一个B。
如本文中所使用的，术语“第一”和“第二”可以修改各种组件，而不管其重要性如何，并且不限制这些组件。这些术语仅用于区分一个组件和另一个组件。例如，第一用户设备和第二用户设备可以指示彼此不同的用户设备，而与设备的顺序或重要性无关。例如，在不脱离本公开的范围的情况下，第一组件可以表示为第二组件，反之亦然。
将理解的是，当元件(例如，第一元件)被称为(操作地或通信地)与另一元件(例如，第二元件)“耦合”或“连接”时，它可以直接或经由第三元件与另一元件耦合或连接。相反，将理解的是，当元件(例如，第一元件)被称为与另一元件(例如，第二元件)“直接耦合”或“直接连接”时，没有其他元件(例如，第三元件)介于所述元件和另一元件之间。
如本文所使用的，术语“被配置(或被设置为)”可以视情况而定与术语“适合”，“具有能力”，“设计成”，“适于”，“制造成”或“有能力”互换使用。术语“被配置(或被设置为)”实际上并不意味着“在硬件中专门设计为”。而是，术语“被配置为”可以意味着设备可以与另一设备或部件一起执行操作。
例如，术语“被配置(或被设置)为执行A、B和C的处理器”可以表示可以通过执行存储在存储设备中的一个或多个软件程序来执行操作的通用处理器(例如，CPU或应用处理器)或用于执行操作的专用处理器(例如，嵌入式处理器)。
提供本文所使用的术语仅是为了描述其一些实施例，而不是限制本公开的其他实施例的范围。应当理解，单数形式的“一”、“一个”和“所述”包括复数形式，除非上下文另外明确指出。本文所使用的包括技术和科学术语的所有术语具有与本公开的实施例所属的本领域的普通技术人员通常所理解的相同的含义。还将理解的是，诸如在常用词典中定义的那些术语应被解释为具有与其在相关技术的上下文中的含义一致的含义，并且除非本文明确定义，否则将不会以理想化或过于正式的意义进行解释。在某些情况下，本文定义的术语可以解释为排除本公开的实施例。
例如，根据本公开的实施例的电子设备的示例可以包括智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型计算机、上网本计算机、工作站、PDA(个人数字助理)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、相机或可穿戴设备(例如、智能眼镜、头戴式设备(HMD)、电子衣服、电子手镯、电子项链、电子配件、电子纹身、智能镜子或智能手表)。
贯穿本专利文件提供了其他某些单词和短语的定义。本领域普通技术人员应该理解，在很多情况下，即使不是大多数情况，这种定义也适用于这种定义的单词和短语的先前以及将来的使用。
根据本公开的实施例，电子设备可以是智能家用电器。智能家电的示例可以包括电视、数字视频磁盘(DVD)播放器、音频播放器、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、干燥机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，三星HomeSyncTM Apple TVTM或Google TVTM)、游戏机(XboxTM、PlayStationTM)、电子词典、电子键、便携式相机或电子相框中的至少一个。
根据本公开的某些实施例，电子设备的示例可以包括各种医疗设备(例如，各种便携式医疗测量设备(血糖测量设备、心跳测量设备或体温测量设备)、磁资源血管造影(MRA)设备、磁资源成像(MRI)设备，计算机断层扫描(CT)设备，成像设备或超声设备)、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐设备、航行电子设备(例如航行导航设备或陀螺罗盘)、航空电子设备、安全设备、车载主机、工业或家庭机器人、自动柜员机(ATM)、销售点(POS)设备或物联网设备(例如灯泡、各种传感器、电表或煤气表、洒水器、火警、恒温器、路灯、烤面包机、健身器材、热水箱、加热器或锅炉)中的至少一个)。
根据本公开的某些实施例，电子设备可以是家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量设备(例如，用于测量水、电、气或电磁波的设备)中的至少一个。
根据本公开的实施例，电子设备是以上列出的设备中的一个或组合。根据本公开的实施例，电子设备是柔性电子设备。本文公开的电子设备不限于上面列出的设备，并且取决于技术的发展，可以包括新的电子设备。
如本文所使用的，术语“用户”可以表示使用电子设备的人或另一设备(例如，人工智能电子设备)。
贯穿本专利文件提供了其他某些单词和短语的定义。本领域普通技术人员应该理解，在许多(如果不是大多数)情况下，这样的定义适用于这样定义的词和短语的先前以及将来的使用。
下面讨论的图1至图12以及用于描述本专利文件中的本公开的原理的各种实施例仅是示例性的，并且不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的无线通信系统中实现。
图1示出根据本公开的各种实施例的示例网络环境100。图1所示的网络环境100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用网络环境100的其他实施例。
根据本公开的实施例，电子设备101被包括在网络环境100中。电子设备101可以包括总线110、处理器120、存储器130、输入/输出(IO)接口150、显示器160、通信接口170或传感器180中的至少一个。在一些实施例中，电子设备101可以排除这些组件中的至少一个或可以添加另一组件。
总线110包括用于将组件120至170彼此连接并且在组件之间传输通信(例如，控制消息和/或数据)的电路。
处理器120包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或多个。处理器120能够对电子设备101的其他组件中的至少一个组件执行控制，和/或执行与通信相关的操作或数据处理。
例如，处理器120可以在捕获事件期间接收由相机捕获的多个帧。处理器120可以识别多个帧中的每个帧中的显著区域。处理器120可以基于所识别的显著区域从多个帧中确定参考帧。处理器120可以将非参考帧与确定的参考帧融合为完成的帧。处理器120可以操作显示器以显示完成的帧。在捕获事件期间处理器120可从一个或多个DVS传感器接收像素的数据流或接收由一个或多个CMOS相机捕获的帧。在具有至少一个CMOS相机的实施例中，处理器120可以识别一个或多个帧中的显著区域，并基于所识别的显著区域从一个或多个帧中确定参考帧。
存储器130可以包括易失性和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其他组件相关的命令或数据。在各种实施例中，存储器130可以存储空间地图数据，所述空间地图数据可以包括真实环境(例如办公楼、购物中心、房屋、游乐园、邻里或任何其他现实世界的内部)的地图信息，或者由电子设备101上的应用147利用的虚拟世界地图信息。根据本公开的实施例，存储器130存储软件和/或程序140。程序140包括例如内核141、中间件143、应用程序接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145的至少一部分可以被表示为操作系统(OS)。
例如，内核141可以控制或管理用于执行以其他程序(例如，中间件143、API 145或应用程序147)实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130)。内核141提供接口，该接口允许中间件143、API 145或应用147访问电子设备101的各个组件以控制或管理系统资源。
中间件143可以用作例如中继器，以允许API 145或应用147与内核141通信数据。可以提供多个应用147。中间件143例如能够通过将使用电子设备101的系统资源(例如，总线110、处理器120或存储器130)的优先级分配给多个应用147中的至少一个来控制从应用147接收的工作请求。
API 145是允许应用147控制从内核141或中间件143提供的功能的接口。例如，API145包括用于归档控制、窗口控制、图像处理或文字控制的至少一个接口或功能(例如，命令)。
IO接口150用作例如可以将从用户或其他外部设备输入的命令或数据输入到电子设备101的其他组件的接口。此外，IO接口150可以将从电子设备101的其他组件接收的命令或数据输出给用户或其他外部设备。
显示器160包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或微机电系统(MEMS)显示器或电子纸显示器。显示器160能够向用户显示例如各种内容(例如，文本、图像、视频、图标或符号)。显示器160可以包括触摸屏，并且可以使用电子笔或用户的身体部位来接收例如触摸、手势、接近或悬停输入。
例如，通信接口170能够在电子设备101和外部电子设备(例如，第一电子设备102、第二外部电子设备104或服务器106)之间建立通信。例如，通信接口170可以通过无线或有线通信与网络162或164连接以与外部电子设备通信。通信接口170可以是有线或无线收发器或用于发送和接收诸如视频馈送或视频流的信号的任何其他组件。
电子设备101还包括一个或多个传感器180，其可以计量物理量或检测电子设备101的激活状态并将计量或检测到的信息转换成电信号。例如，传感器180可以包括用于触摸输入的一个或多个按钮、相机、手势传感器、陀螺仪或陀螺仪传感器、气压传感器、磁传感器或磁力计、加速度传感器或加速度计、深度或距离传感器、握持传感器、接近传感器、颜色传感器(例如，红绿蓝(RGB)传感器)、生物物理传感器、温度传感器、湿度传感器、照度传感器、紫外线(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、IR传感器、超声传感器、虹膜传感器、指纹传感器等。传感器180还可包括用于控制包括在其中的传感器中的至少一个的控制电路。这些传感器180中的任何一个都可以位于电子设备101内。在一些实施例中，相机传感器180可以捕获单个图像的多个帧，以由处理器120进行组合。在一些实施例中，相机传感器180(例如，DVS相机)可以捕获要由处理器120处理的DVS像素流。
第一外部电子设备102或第二外部电子设备104可以是可穿戴设备(例如，智能眼镜、智能手表等)或可安装电子设备101的可穿戴设备(例如，光学头戴式显示器(HMD)，安装或包括电子设备101的HMD等)。当将电子设备101安装在HMD中时(例如，电子设备102)，电子设备101能够检测在HMD中的安装并以增强现实模式(或虚拟现实模式、跨现实模式、扩展现实模式等操作)。在某些实施例中，电子设备101能够检测在HMD中的安装并以增强现实模式操作。当将电子设备101安装在电子设备102(例如，HMD)中时，电子设备101可以通过通信接口170与电子设备102进行通信。电子设备101可以与电子设备102直接连接，以在不涉及单独网络的情况下与电子设备102进行通信。
无线通信能够使用例如长期演进(LTE)、高级长期演进(LTE-A)、第五代无线系统(5G)、毫米波或60GHz无线通信、无线USB，码分多址(CDMA)，宽带码分多址(WCDMA)，通用移动电信系统(UMTS)，无线宽带(WiBro)或全球移动通信系统(GSM)中的至少一种，作为蜂窝通信协议。有线连接可以包括通用串行总线(USB)、高清多媒体接口(HDMI)、推荐的标准232(RS-232)或普通老式电话服务(POTS)中的至少一种。
网络162包括通信网络中的至少一个。通信的示例包括计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网络。
第一外部电子设备102和第二外部电子设备104以及服务器106可以是与电子设备101相同或不同类型的设备。根据本公开的某些实施例，服务器106包括一个或多个服务器的组。根据本公开的某些实施例，在电子设备101上执行的所有或一些操作可以在另一个或多个其他电子设备(例如，电子设备102和104或服务器106)上执行。根据本公开的某些实施例，当电子设备101应自动或应请求执行某些功能或服务时，电子设备101可以代替自己执行该功能或服务，或作为自己执行该功能或服务的附加请求另一设备(例如，电子设备102和104或服务器106)，以执行与之相关的至少一些功能。另一电子设备(例如，电子设备102和104或服务器106)能够执行所请求的功能或附加功能，并将执行结果传送给电子设备101。电子设备101可以通过按原样或另外处理接收到的结果提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
尽管图1示出了电子设备101包括通信接口170以经由网络162与外部电子设备104或服务器106进行通信，但是根据本公开的实施例，电子设备101可以独立操作而无需单独的通信功能。
服务器106可以通过执行在电子设备101上实现的操作(或功能)中的至少一个来支持驱动电子设备101。例如，服务器106可以包括可以支持在电子设备101上实现的处理器120的处理模块或处理器。
例如，电子设备101可以包括诸如在处理器120内的事件处理模块。事件处理模块可以处理从其他元件(例如，处理器120、存储器130、输入/输出接口150或通信接口170)获得的信息的至少一部分，并可以各种方式将其提供给用户。服务器事件处理模块可以包括事件处理模块的组件中的至少一个，并且执行(或者替代地执行)由事件处理模块执行的操作(或功能)中的至少一个。
例如，根据本公开的实施例，事件处理模块处理在将电子设备101安装在可穿戴设备(例如，电子设备102)中以用作显示器装置并以增强现实模式操作期间生成的与事件相关的信息，以适合增强现实模式并显示处理后的信息。当在以增强现实模式操作期间生成的事件是与运行应用相关的事件时，事件处理模块可以阻止应用的运行或将应用处理为后台应用或进程。可以通过下面描述的图2来提供关于事件处理模块185的附加信息。
事件处理模块可以与处理器120分离，或者事件处理模块的至少一部分可以被包括或实现在处理器120或至少一个其他模块中，或者事件处理模块的整体功能可以被包括或实现在所示的处理器120或另一处理器中。事件处理模块可以与存储在存储器130中的至少一个程序140互操作地执行根据本公开的实施例的操作。
图2示出根据本公开的各种实施例的示例电子设备220。图2所示的电子设备220的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用电子设备220的其他实施例。在图2所示的示例中，尽管描绘了增强现实(AR)系统，但是本公开的至少一些实施例同样适用于虚拟现实(VR)和增强现实(AR)。各种现实场景在本文中可以统称为扩展现实(XR)。图2中描绘的电子设备220可以被配置为与电子设备101、102或104中的任何一个相同或相似。
图2是示出根据本公开的实施例的电子设备的示例配置的框图。参考图2，根据本公开的实施例的电子设备220可以是具有至少一个显示器的电子设备220。在下面的描述中，电子设备220可以是主要执行显示功能的设备，或者可以表示包括至少一个显示器的普通电子设备。例如，电子设备220可以是具有触摸屏230的电子设备(例如，智能电话)。
根据某些实施例，电子设备220可以包括触摸屏230、控制器240、存储单元250或通信单元260中的至少一个。触摸屏230可以包括显示面板231和/或触摸面板232。控制器240可以包括增强现实模式处理单元241(例如，XR模式处理单元)、事件确定单元242、事件信息处理单元243或应用控制器244中的至少一个。
例如，当电子设备220安装在可穿戴设备210中时，电子设备220可以例如作为HMD进行操作，并且运行增强现实模式。此外，根据本公开的实施例，即使当电子设备220未安装在可穿戴设备210中时，电子设备220也可以根据用户的设置来运行增强现实模式或运行与增强现实模式相关的应用。在以下实施例中，尽管将电子设备220设置为安装在可穿戴设备210中以运行增强现实模式，但是本公开的实施例不限于此。
根据某些实施例，当电子设备220以增强现实模式操作(例如，电子设备220被安装在可穿戴设备210中以在头戴式影院(HMT)模式中操作)时，对应于用户眼睛的两个屏幕(左眼和右眼)可以通过显示面板231显示。
根据某些实施例，当电子设备220以增强现实模式操作时，控制器240可以控制与在以增强现实模式操作期间生成的事件相关的信息的处理以适合于增强现实模式并显示处理后的信息。根据某些实施例，当在以增强现实模式操作期间生成的事件是与运行应用相关的事件时，控制器240可以阻止应用的运行或将应用处理为后台进程或应用程序。
更具体地，根据本公开的实施例，控制器240可以包括增强现实模式处理单元241、事件确定单元242、事件信息处理单元243或应用控制器244中的至少一个以执行功能。可以使用电子设备220的至少一个组件(例如，触摸屏230、控制器240或存储单元250)来实现本公开的实施例以执行如下所述的各种操作或功能。
根据某些实施例，当电子设备220被安装在可穿戴设备210中或根据用户的设置运行增强现实模式时，或者当与增强现实模式相关的应用运行时，增强现实模式处理单元241可以处理各种与增强现实模式的操作相关的功能。增强现实模式处理单元241可以加载存储在存储单元250中的至少一个增强现实程序251以执行各种功能。
事件检测单元242确定或检测到在由增强现实模式处理单元241以增强现实模式操作期间生成了事件。此外，事件检测单元242可以确定是否存在要在显示屏幕上显示与在以增强现实模式操作期间生成的事件相关的信息。此外，事件检测单元242可以确定将与在以增强现实模式操作期间生成的事件相关地运行应用。下面描述与事件的类型相关的应用的各种实施例。
事件信息处理单元243可以取决于事件检测单元242的确定结果，当存在与在以增强现实模式操作期间发生的事件相关的要显示的信息时，处理要在显示屏上显示的事件相关信息以适合增强现实模式。可以应用用于处理事件相关信息的各种方法。例如，当在增强现实模式中实现三维(3D)图像时，电子设备220将事件相关信息转换为适合3D图像。例如，可以将以二维(2D)显示的事件相关信息转换为与3D图像相对应的左眼和右眼信息，然后可以将转换后的信息合成并显示在当前运行的增强现实模式的显示屏上。
当事件检测单元242确定存在与在以增强现实模式操作期间发生的事件相关的待运行应用时，应用控制器244执行控制以阻止与事件相关的应用的运行。根据某些实施例，当事件检测单元242确定存在与在以增强现实模式操作期间发生的事件相关的待运行应用时，应用控制器244可以执行控制使得应用在后台运行，以便在与事件相关的应用运行时不影响与增强现实模式相对应的应用的运行或屏幕显示。
存储单元250可以存储增强现实程序251。增强现实程序251可以是与电子设备220的增强现实模式操作相关的应用。存储单元250还可以存储事件相关信息252。事件检测单元242可以参考存储在存储单元250中的事件相关信息252，以便确定是否要在屏幕上显示发生的事件，或者识别与发生的事件相关的待运行应用的信息。
可穿戴设备210可以是包括图1所示的电子设备101的至少一种功能的电子设备，并且可穿戴设备210可以是可以安装电子设备220的可穿戴支架。在可穿戴设备210是电子设备的情况下，当将电子设备220安装在可穿戴设备210上时，可以通过电子设备220的通信单元260提供各种功能。例如，当电子设备220安装在可穿戴设备210上时，电子设备220可以检测是否要安装在可穿戴设备210上以与可穿戴设备210通信，并且可以确定是否以增强现实模式(或HMT模式)进行操作。
根据某些实施例，当在将通信单元260安装在可穿戴设备210上时未能自动确定是否安装了电子设备220时，用户可以通过运行增强现实程序251或选择增强现实程序(或HMT模式)来应用本公开的各种实施例。根据本公开的实施例，当可穿戴设备210与电子设备101一起工作或作为其一部分时，可穿戴设备可以被实现为自动确定电子设备220是否安装在可穿戴设备210上并启用电子设备220的运行模式，以自动切换到增强现实模式(或HMT模式)。
图2所示的控制器240的至少一些功能可以包括在图1所示的电子设备101的事件处理模块185或处理器120中。图2所示的触摸屏230或显示面板231可以对应于图1的显示器160。图2所示的存储单元250可以对应于图1的存储单元130。
尽管在图2中，触摸屏230包括显示面板231和触摸面板232，但是根据本公开的实施例，显示面板231或触摸面板232也可以被提供为单独的面板，而不是被组合在单个触摸屏230中。此外，根据本公开的实施例，电子设备220可以包括显示面板231，但是不包括触摸面板232。
根据某些实施例，为了便于描述，电子设备220可以被表示为第一设备(或第一电子设备)，并且可穿戴设备210可以被表示为第二设备(或第二电子设备)。
根据某些实施例，一种电子设备可以包括：显示单元，在与增强现实模式相对应的屏幕上显示；以及控制器，执行控制以根据至少一个事件的发生来检测中断，所述事件以与增强现实模式相对应的形式来改变与事件相关的事件相关信息，并且在与增强现实模式相对应的显示屏上显示改变后的事件相关信息。
根据某些实施例，事件可以包括从呼叫接收事件、消息接收事件、警报通知、调度程序通知、无线保真(Wi-Fi)连接、WiFi断开、低电池通知、数据许可或使用限制通知、无应用响应通知或异常的应用终止通知。
根据某些实施例，电子设备还包括存储单元，所述存储单元被配置为当事件不是要在增强现实模式中显示的事件时，存储事件相关信息，其中当电子设备从虚拟现实模式切换到增强现实模式或透视(非增强现实)模式时，控制器可以执行控制以显示存储在存储单元中的事件相关信息。根据某些实施例，电子设备还可以包括存储单元，所述存储单元存储关于要在增强现实模式中显示的至少一个事件的信息。根据某些实施例，事件可以包括即时消息接收通知事件。根据某些实施例，当事件是与运行至少一个应用相关的事件时，控制器可以根据事件的发生来执行阻止应用运行的控制。根据某些实施例，当电子设备的屏幕模式从虚拟现实模式切换到增强现实模式或透视(非增强现实)模式时，控制器可以执行控制以运行被阻止的应用。根据某些实施例，当事件是与运行至少一个应用相关的事件时，控制器可以执行控制使得能够根据事件的发生在增强现实模式的屏幕的后台上运行该应用。根据某些实施例，当电子设备与可穿戴设备连接时，控制器可以执行控制以运行增强现实模式。根据某些实施例，控制器可以使事件相关信息能够被布置和处理以在当前显示屏幕上显示的增强现实模式屏幕的三维(3D)空间中显示。根据某些实施例，电子设备220可以包括附加传感器，诸如一个或多个互补金属氧化物半导体(CMOS)相机、动态视觉传感器(DVS)相机、360度相机或其组合。在某些实施例中，CMOS相机可以是红色、绿色、蓝色(RGB)相机。
图3是示出根据本公开的实施例的程序模块的框图。图3所示的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。在图3所示的示例中，尽管描绘了增强现实(AR)系统，但是本公开的至少一些实施例同样适用于虚拟现实(VR)和增强现实(AR)。各种现实场景在本文中可以统称为扩展现实(XR)。参考图3，程序模块可以包括系统操作系统(例如，OS)310、框架320和应用330。
系统操作系统310可以包括至少一个系统资源管理器或至少一个设备驱动器。系统资源管理器可以执行例如系统资源的控制、分配或恢复。系统资源管理器可以包括至少一个管理器，例如过程管理器、存储器管理器或文件系统管理器。设备驱动器可以包括至少一个驱动器，例如，显示驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、小键盘驱动器、Wi-Fi驱动器、音频驱动器、或进程间通信(IPC)驱动程序。
根据某些实施例，框架320(例如，中间件)可以提供例如应用通常需要的功能，或者通过应用编程接口(API)为应用提供各种功能，以允许应用有效地使用电子设备内部有限的系统资源。
框架320中包括的AR框架可以控制与电子设备上的增强现实模式操作相关的功能。例如，当运行增强现实模式操作时，AR框架320可以控制应用330中的与增强现实相关的至少一个AR应用351，以便在电子设备上提供增强现实模式。
应用330可以包括多个应用，并且可以包括以增强现实模式运行的至少一个AR应用351和以非增强现实模式运行的至少一个正常应用352。
应用330还可以包括AR控制应用340。至少一个AR应用351和/或至少一个正常应用352的操作可以由AR控制应用340控制。
再次，尽管以上讨论了AR框架、至少一个AR应用、AR模式和AR控制应用，但是可以预期，本公开的至少一些实施例同样适用于虚拟现实(VR)、混合现实(MR)或其他跨/扩展现实(XR)环境。
当电子设备在以增强现实模式操作期间发生至少一个事件时，系统操作系统310可以将事件的发生通知给框架320(例如AR框架)。
然后，框架320可以控制正常应用352的运行，使得可以为在非增强现实模式中而不是在增强现实模式中发生的事件将事件相关信息显示在屏幕上。当存在与在正常模式中发生的事件相关的待运行应用时，框架320可以执行或提供控制以运行至少一个正常应用352。
根据某些实施例，当在以增强现实模式操作期间发生事件时，框架320，例如AR框架，可以阻止至少一个正常应用352的操作以显示与发生的事件相关的信息。框架320可以将在以增强现实模式操作期间发生的事件提供给AR控制应用340。
AR控制应用340可以处理与在以增强现实模式操作期间发生的事件相关的信息以适合于增强现实模式的操作。例如，可以将与平面事件相关的2D信息处理为3D信息。
AR控制应用340可以控制当前正在运行的至少一个AR应用351，并且可以执行控制以合成处理后的事件相关信息以在由AR应用351正在运行的屏幕上显示并在其上显示事件相关信息的结果。
根据某些实施例，当在以增强现实模式操作期间发生事件时，框架320可以执行控制以阻止与发生的事件相关的至少一个正常应用352的运行。
根据某些实施例，当在以增强现实模式操作期间发生事件时，框架320可以执行控制以暂时阻止与发生的事件相关的至少一个正常应用352的运行，然后当增强现实模式终止时，框架320可以执行控制以运行被阻止的正常应用352。
根据某些实施例，当在以增强现实模式操作期间发生事件时，框架320可以控制与发生的事件相关的至少一个正常应用352的运行，使得与事件相关的至少一个正常应用352在后台操作，以避免影响当前正在运行的AR应用351所使用的屏幕。
结合图3描述的实施例是用于以程序的形式实现本公开的实施例的示例，并且本公开的实施例不限于此，而是可以以其他各种形式来实现。此外，尽管结合图3描述的实施例参考了AR，但是其可以应用于诸如混合现实或虚拟现实等的其他场景。各种现实场景在本文中可以统称为扩展现实(XR)。
XR场景的用户界面(UI)的各个方面的各种示例。应当注意，本文公开的XR UI的各方面仅是XR UI的示例，而无意于进行限制。
XR场景中可以使用不同类型的显示元素。例如，显示的元素要么直接绑定到现实世界，要么宽松地绑定到XR显示空间。真实世界元素是相对于真实或虚拟环境本身移动的元素(即，相对于环境自身移动的元素)。取决于对象，佩戴头戴式显示器(HMD)时，虚拟元素可能不一定会相对于用户的头部移动。
抬头显示(HUD)元素是用户可以进行较小的头部移动以注视或直接查看各种应用(app)元素，而无需在显示视图中移动HUD元素容器或UI面板的元素。HUD元素可以是状态信息可以作为显示的一部分可视地显示给用户的状态栏或UI。
图4A、4B、4C和4D示出根据本公开实施例的用于增强现实、混合现实或虚拟现实中的头戴式显示器(HMD)的示例。图4A-4D中所示的HMD的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他配置。
HMD可以生成可以使用增强信息来呈现现实世界环境的增强现实环境。HMD可以是单目或双目的，并且可以是不透明、透明、半透明或反射的设备。例如，HMD可以是具有透明屏幕410的单目电子设备405。用户能够透视屏幕410以及能够看到在屏幕410上呈现、投影或显示的图像。图像可以被投影在屏幕410上，由屏幕410生成或呈现或反射到屏幕410上。在某些实施例中，HMD是具有不透明或非透视的显示器420的单目电子设备415。非透视显示器420可以可以是液晶显示器(LCD)、发光二极管(LED)、有源矩阵有机发光二极管(AMOLED)等。非透视显示器420可以被配置为呈现图像以供用户观看。在某些实施例中，HMD可以是具有透明屏幕430的双目电子设备425。透明屏幕430可以是单个连续屏幕，诸如适于被用户的双眼观看或横扫。透明屏幕430也可以是两个透明屏幕，其中一个屏幕被设置为对应于用户的相应眼睛。用户能够透视屏幕430，并且能够看到在屏幕430上呈现、投影或显示的图像。图像可以被投影到屏幕430上，由屏幕430生成或呈现或反射到屏幕430上。在某些实施例中，HMD是具有不透明或非透视显示器440的双目电子设备435。HMD可以包括相机或相机输入，所述相机或相机输入被配置为经捕获现实世界的信息并由非透视显示器440显示真实世界的信息。非透视显示器440可以是LCD、LED、AMOLED等。非透视显示器440可以被配置为呈现图像以供用户观看。相机捕获的真实世界信息可以与增强信息一起在显示器上呈现为视频图像。
本公开的实施例涉及在增强现实(AR)、虚拟现实(VR)、混合现实(MR)或另一交叉/扩展现实(XR)系统中使用的注视跟踪。近年来，人们对增强现实(AR)眼镜(以及VR头戴式耳机、MR头戴式显示器等)的兴趣大大增加。在某些情况下，可以使用常规相机和红外照明实现眼睛跟踪，但是这种方法需要大量的处理能力。反过来，常规HMD的一个重要问题是由于需要大量处理能力而导致非常高的成本。尽管可以使用不带照明系统的常规相机，但动态范围通常不适合在黑暗中识别物体(例如，眼睛移动)。常规相机还需要较高的帧频才能准确跟踪眼睛的移动。
本公开的实施例提供一种系统和方法，包括一个或多个动态视觉传感器(DVS)相机，以基于像素强度的变化来检测眼睛的移动，以实现眼睛跟踪和眨眼检测。DVS相机的优点是可靠、低成本、低功耗，并且具有宽动态范围(例如，约120dB)，这使得在黑暗环境中进行跟踪成为可能，而无需使用其他光源(例如，红外照明、外部照明等)。某些实施例通过利用具有非常低的等待时间(例如，大约1000赫兹(Hz))的DVS相机提供了额外的好处，这可以减少或消除移动模糊。在某些实施例中，DVS相机非常适合于检测移动中的物体，尤其是物体的一个或多个边界/边缘，因为强度变化主要发生在移动物体的边界上。
本公开的实施例还提供一种系统和方法，结合一个或多个CMOS相机使用一个或多个DVS相机来跟踪眼睛移动。本公开的某些实施例提供了一种系统和方法，利用一个或多个CMOS相机在眼睛跟踪系统的初始化阶段期间被开启。本公开的某些实施例还可以包括将与CMOS相机结合使用的一个或多个照明源，以执行眼睛/虹膜/瞳孔检测、用户识别和注视姿势估计(例如，初始眼睛跟踪)。某些实施例可以将一个或多个照明源与DVS相机结合使用以执行注视姿势估计(例如，初始化后的眼睛跟踪)。
图5A、5B和5C示出根据本公开实施例的用于各种头戴式耳机中的相机位置。图5A-5C所示的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他配置。图5A-5C中描绘的HMD 500可以被配置为分别与图4A-4D中示出的HMD 405、415、425或435相同或相似。HMD 500包括CMOS相机505和DVS相机510两者。但也可以使用具有一个相机或一个相机系统的实施例，而不脱离本公开的范围。
在某些实施例中，CMOS相机505和DVS相机510中的每个都是“内置的”或永久地附接到HMD 500。在图5A所示的示例中，HMD 500包括CMOS相机505和DVS相机510作为HMD 500的集成组件，CMOS相机505设置在HMD 500的第一向内侧，而DVS相机510设置在HMD 500的第二向内侧。CMOS相机505和DVS相机510可以设置在HMD 500的显示屏上或附近，或者设置在HMD 500的镜头表面上或附近。CMOS相机505和DVS相机510中的每个被定位成当HMD 500被佩戴时朝向HMD 500的佩戴者的相应眼睛直“视”(并且在一些实施例中，捕获代表佩戴者的相应眼睛的至少一部分的图像或一个或多个像素)。尽管CMOS相机505被示为对应于佩戴者的左眼，并且DVS相机510被示为对应于佩戴者的右眼，但是也可以使用DVS相机510被设置为对应于左眼或CMOS相机505被设置为对应于右眼的实施例。在某些实施例中，CMOS相机505和DVS相机510中的每个被设置为捕获不同眼睛的特征。例如，CMOS相机505可以被设置为捕获佩戴者的左眼的光变化(例如，表示佩戴者的左眼的图像或像素信息)，而DVS相机510可以被设置为捕获佩戴者的右眼的光变化(例如，表示佩戴者的右眼的图像或像素信息)。
在某些实施例中，CMOS相机505和DVS相机510中的一者或两者被“附加”到HMD 500或可移除地耦合到HMD 500。在图5B所示的示例中，CMOS相机505和DVS相机510被可移除附接到HMD 500。CMOS相机505和DVS相机510可以例如经由HMD 500上的现有耦合附接到预定位置。在某些实施例中，CMOS相机505和DVS相机510中的一个或多个包括耦合装置，例如粘合剂或磁性接口，所述耦合装置也能够使相应的CMOS相机505或DVS相机510附接到HMD500，即使HMD 500不包括耦合装置。在某些实施例中，CMOS相机505和DVS相机510中的一个或多个包括被配置为接合HMD 500的结构的一方面的物理附件。例如，物理附件可以是被配置为“卡扣”或夹持HMD 500的一个或多个边缘表面的弹性带或装配边缘。在某些实施例中，耦合装置包括电接口或数据接口，所述电接口或数据接口被配置为使得CMOS相机505和DVS相机510中一个或多个中的处理电路与HMD 500中的处理电路之间能够通信。在某些实施例中，CMOS相机505和DVS相机510中的一个或多个包括近场通信收发器和/或另一收发器(例如蓝牙收发器)，所述近场通信收发器和/或另一收发器被配置为在CMOS相机505和DVS相机510中的一个或多个中的处理电路与HMD 500中的处理电路之间通信数据。
在某些实施例中，CMOS相机505和DVS相机510中的一个或两者被包括在或适于“附加”到可穿戴设备520或可去除地耦合到可穿戴设备520。图5C所示的示例示出了包括CMOS相机505和DVS相机510的可穿戴设备520。可穿戴设备520可以是例如智能眼镜。在某些实施例中，可穿戴设备520包括作为“内置”组件的CMOS相机505和DVS相机510。例如，CMOS相机505和DVS相机510可以永久地附接为可穿戴设备520的一部分。在某些实施例中，CMOS相机505和DVS相机510可移除地耦合到可穿戴设备520。例如，CMOS相机505和DVS相机510可以例如经由可穿戴设备520上的现有耦合器而附接到预定位置。在某些实施例中，CMOS相机505和DVS相机510中的一个或多个包括耦合装置，例如作为粘合剂或磁性接口，所述耦合装置也能够使相应的CMOS相机505或DVS相机510附接到可穿戴设备520，即使可穿戴设备520不包括耦合装置。在某些实施例中，CMOS相机505和DVS相机510中的一个或多个包括被配置为接合可穿戴设备520的结构的一方面的物理附件。例如，物理附件可以是被配置为“卡扣”或夹持可穿戴设备520的一个或多个边缘表面或一个或多个臂的弹性带或装配边缘。在某些实施例中，耦合装置包括电接口或数据接口，所述电接口或数据接口被配置为使得能够CMOS相机505和DVS相机510中一个或多个中的处理电路与可穿戴设备520中的处理电路之间能够通信。在某些实施例中，CMOS相机505和DVS相机510中的一个或多个包括近场通信收发器和/或另一个收发器(例如蓝牙收发器)，所述近场通信收发器和/或另一收发器被配置为在CMOS相机505和DVS相机510中的一个或多个中的处理电路与可穿戴设备520中的处理电路之间通信数据。
可穿戴设备520可以通过突出显示用户正在看的一个或多个区域来加强或增强现实。例如，当用户在超市中查看产品时，可穿戴设备520的实施例可以提供数字/虚拟优惠券或信息。另外，指向用户正在看的场景或视图的另一相机可以执行智能识别，例如对对象(例如产品或障碍物)的识别。在某些实施例中，可穿戴设备520被配置为使镜头与用户的眼睛适当/正确对准。
在本公开的某些实施例中，具有CMOS相机505和DVS相机510中的一个或多个耦合到其上的AR头戴式耳机/HMD可以通过使用中心化呈现(foveated rendering)在智能电话/移动设备上提供低成本呈现。本公开的实施例还使镜头与佩戴者的眼睛适当/正确对准。与传统技术相比，本公开的附加实施例因为可以更有效地确定佩戴者的注视位置二可以提供更身临其境的游戏体验。
图6示出根据本公开实施例的互补金属氧化物半导体(CMOS)相机输出605和事件相机输出610之间的比较。CMOS相机输出605和事件相机输出610的图表仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他示例和说明。在图6所示的示例中，沿着x、y、t(时间)坐标系跟踪具有旋转移动615的圆。
如在x、y、t坐标系上所描绘的，CMOS输出605是圆移动615的逐帧捕获。评估连续帧615-615n可能是低效率的，因为每个帧包含大量的冗余信息，所以由于等待不必要的帧而可能会浪费存储器访问和存储、能量计算能力以及时间。另外，由于每一帧还在每个像素上施加相同的曝光时间，所以几乎不可能处理包含非常暗和非常亮的区域的场景。如在x、y、t坐标系上所描绘的，事件相机输出610捕获并发送像素数据流620。在某些实施例中，DVS相机仅捕获像素强度的变化，例如由圆移动615引起的变化。通过捕获像素强度的变化，DVS相机能够以微秒的时间分辨率产生异步像素开启事件(或DVS开启像素事件)流。
图7A示出根据本公开的实施例的动态视觉传感器(“DVS”)相机700的操作的各方面。图7A中所示的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。DVS相机700可以被配置为与DVS相机505相同或相似，并且可以包括被配置为捕获一个或多个图像的一个或多个处理器和传感器，如本文所示。
根据各种实施例，DVS相机700包括镜头组件705和光强度传感器(例如光强度传感器715)的像素化阵列710。在一些实施例中，镜头组件705包括光学镜头，其焦距对应于在镜头组件705和像素化阵列710之间的距离。在根据本公开的各种实施例中，镜头组件705包括用于调节光(例如通过步进向下调节f挡)的总强度的光圈。
如图7A的非限制性示例所示，光强度传感器的像素化阵列710包括基本上覆盖镜头组件705中的镜头的聚焦平面中的区域的光强度传感器(例如，光强度传感器715)的阵列。此外，将像素化阵列710的每个光强度传感器的输出映射到空间坐标值。
在一些实施例中，光强度传感器715包括光电传感器，所述光电传感器被配置为输出与在光强度传感器715处接收的光的测量强度的变化方向相对应的信号。根据某些实施例，光强度传感器的输出是二进制信号，例如“1”表示测量的光强度的增加，“0”表示测量的光强度的减少。当在光强度传感器715处测得的光强度没有变化时，不输出信号。根据某些实施例，由光强度传感器715输出的信号被像素化阵列710或另一下游组件或模块(例如下面本文中的图10中的眼睛跟踪处理器/组件/模块1010)时间编码或时间映射到时间值。
参考图7A的非限制性示例，在较高水平上，DVS相机700通过以下方式操作：通过镜头组件705接收光720，并且通过使用像素化阵列710的组成光强度传感器的输出将接收到的光转换成一个或多个时间编码事件流730。每个像素传感器异步工作。每个像素包括不同的时间戳。时间戳对应于像素传感器检测到强度变化的时间(基于阈值)。在发生相应的像素变化时，仅传输局部像素变化。
根据各种实施例，事件流730包括由像素化阵列710的光强度传感器输出的光强度变化事件的时间编码流。单独的光强度变化事件735包括指示在像素化阵列710的特定光强度传感器(例如，像素)处测量的光的测量强度的变化(例如，增加或减少)的数据。例如，在该说明性示例中，光强度变化事件735对应于在光强度传感器715处测量的光强度的变化。此外，每个单独的光强度变化事件735是时间编码的并且是异步的。在某些实施例中，此后将像素存储在缓冲器中(例如用于眨眼检测)，即不存储在传感器本身中。在一些实施例中，每个单独的光强度变化事件735也被映射到空间坐标系(例如，基于像素化阵列710的行和列的坐标系)中的值。在某些实施例中，像素化阵列710是与传感器的分辨率相对应的FYI像素阵列，诸如640x480。可以在指定的时间段(例如10毫秒(ms))内缓冲或收集映射的单独的光强度变化事件，以生成DVS图像(例如DVS图像帧)740，如图7B所示。在某些实施例中，仅收集用于眨眼检测的DVS像素并用于显示(即，调试)，如图7B和9所示(如下)。在这样的实施例中，不收集缓冲器中的DVS像素用于跟踪。在某些实施例中，在从传感器接收异步DVS像素之后执行该操作。
图7B示出根据本公开的实施例的DVS图像740。图7B中示出的DVS图像的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。
参考图7B中的非限制性示例，DVS相机700被配置为聚焦或以其他方式捕获佩戴者的眼睛750周围的区域745。此外，DVS相机700可以识别眼睛的某些标志性特征，例如眼睑770、虹膜755和瞳孔760。在一段时间内捕获的每个单独的光强度变化事件735在DVS图像740的黑暗背景中呈现白色765。也就是说，随着虹膜755和瞳孔760移动(例如，与眼睛的先前图像或缓冲图像相比)，白色765出现在DVS图像740上。
图8A和图8B示出根据本公开的实施例的由一个或多个DVS相机实现的基于簇的移位过程的示例。图8A和8B所示的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他实施例。根据本公开的实施例，在AR(或VR)体验期间，眼睛跟踪组件、模块或处理器(例如图10的眼睛跟踪处理器1010)会连续重复进行基于簇的移位过程。
图8A示出了用户眼睛800的初始映射850的示例。初始映射850包括瞳孔椭圆805和虹膜椭圆810。在某些实施例中，诸如眼睛跟踪处理器1010的眼睛跟踪处理器(例如，软件、硬件或其组合)执行初始化过程并基于在初始时间t0由CMOS相机捕获的CMOS图像创建用户眼睛800的初始映射850。例如，可以相对于CMOS图像利用对象检测/识别技术来确定瞳孔和虹膜的圆周/边缘，并因此分别确定瞳孔椭圆805和虹膜椭圆810。在其他实施例中，诸如眼睛跟踪处理器1010的眼睛跟踪处理器(例如，硬件和/或软件)基于在初始时间t0由DVS 700相机捕获的DVS图像740来创建用户眼睛800的初始映射850。例如，可以相对于DVS图像利用对象检测/识别技术来确定瞳孔和虹膜的圆周/边缘，并因此分别确定瞳孔椭圆805和虹膜椭圆810。初始映射850还包括瞳孔簇815和虹膜簇820。在一些实施方式中，可以由眼睛跟踪处理器基于各个椭圆生成簇。瞳孔簇815包括围绕瞳孔椭圆805的预定边界。类似地，虹膜簇820包括围绕虹膜椭圆810的预定边界。在某些实施例中，与瞳孔椭圆805和虹膜椭圆810相对应的簇(clusters)的厚度为(+/-像素)。基于用于初始映射850的同心瞳孔椭圆805和虹膜椭圆810，计算用户眼睛800的眼睛中心830。
图8B示出了用户眼睛800的第二或随后的映射860的示例，其示出了基于至少一个DVS-开启(DVS-on)像素825(即，来自图7A的光强度变化事件635)的椭圆和眼睛中心的移位。第二(或随后的)映射860示出了在初始映射850之后的时间tn捕获的眼睛的映射。如果DVS像素检测到场景中的强度变化(基于阈值)，则该DVS像素为开启(on)。如果至少一个DVS-on像素825落在瞳孔簇815或虹膜簇820内，则眼睛跟踪处理器1010将瞳孔椭圆805和/或虹膜椭圆810的位置移向DVS-on像素。因此，瞳孔簇815、虹膜簇820和眼睛中心830也移位。眼睛跟踪处理器1010以非常高的速率对每个DVS-on(或DVS-on)像素执行该操作。这样，眼睛位置总是在移动。也就是说，在时间tn，在生成用户眼睛800的初始映射850之后，诸如眼睛跟踪处理器1010的眼睛跟踪处理器创建用户眼睛800的第二映射860。眼睛跟踪处理器基于多个DVS-on(即，DVS-触发，DVS-发射，DVS-事件，光强度变化事件等)像素825和初始映射850生成第二映射860。当在一段时间t1-t2(例如10ms)内收集每个单独的光强度变化事件635时，将创建DVS-on像素825。在处理出现在瞳孔簇815和虹膜簇820中的DVS-on像素825之后，眼睛跟踪处理器移位(识别并移位)第二瞳孔椭圆865、第二虹膜椭圆870和第二眼睛中心885。眼睛跟踪处理器基于空间坐标系中的眼睛中心830与第二眼睛中心875之间的变化，即增量，来计算眼睛移动的方向。眼睛跟踪处理器还在第二映射860中移位(识别和移位)第二瞳孔簇875。第二瞳孔簇875是围绕第二瞳孔椭圆865的预定边界。类似地，眼睛跟踪处理器确定虹膜簇880，其是围绕虹膜椭圆870的预定边界。在某些实施例中，在使用电子设备即HMD或可穿戴设备的同时，眼睛跟踪处理器连续重复基于簇的跟踪。
图9示出根据本公开的实施例的由DVS相机捕获的眨眼900的图像。图9中所示的眨眼900的示例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他说明。
在某些实施例中，诸如HMD 500或可穿戴设备520之类的电子设备可以检测眨眼900。眨眼检测模块、组件或处理器1015将DVS-on像素825收集在缓冲器中。当用户眼睛800内的DVS-on像素825的数量在固定时间段内大于指定阈值时，诸如检测例如1ms的眨眼900。在图9所示的示例中，DVS-on像素825被描绘为图像的白色部分。如果检测到眨眼900，则电子设备中的眨眼检测模块、组件或处理器1015(例如，硬件和/或软件)向电子设备中的眼睛跟踪处理器发送指令，以在眨眼900期间冻结跟踪。
图10示出根据本公开的实施例的具有注视跟踪电路的电子设备1000。图10中所示的电子设备的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他示例。电子设备1000可以被配置为HMD 400、HMD 500或可穿戴设备520，并且可以与电子设备101、102、104、210或220之一相同或相似。
根据某些实施例，电子设备1000包括至少一个DVS相机1005、眼睛跟踪处理器1010和眨眼检测处理器1015。眼睛跟踪处理器1010被配置为通过使用DVS相机1005生成的输出来检测用户眼睛的位置，以使用基于簇的移位来跟踪眼睛的移动(如上所述以及图8A和8B中所示)。眨眼检测处理器1015耦合到眼睛跟踪处理器1010以辅助跟踪眼睛移动。眨眼检测处理器1015能够在用户眼睛800内的每个光强度变化事件635的数量在固定时间段内(诸如例如1ms)大于指定阈值时检测眨眼900。当眨眼检测处理器1015检测到眨眼时，眨眼检测处理器1015生成信号并将信号传输到眼睛跟踪处理器1010，以在指定的持续时间(时间段)内暂停对眼睛的跟踪(如以上图9B中所公开)。
在某些实施例中，电子设备1000包括第二DVS相机1020、第二眼睛跟踪处理器1025和第二眨眼检测处理器1030。第二DVS相机1020、第二跟踪处理器1025和第二眨眼检测处理器1030可以在佩戴者的第二只眼睛上执行眼睛跟踪和眨眼检测。在某些实施例中，电子设备1000包括耦合到眼睛跟踪处理器1010或第二眼睛跟踪处理器1025中的一个或两者的立体融合处理器(或组件或模块)1035，以确定用户眼睛姿势1040，诸如用于AR(或VR)应用1045中。立体融合处理器1035从眼睛跟踪处理器1010或第二眼睛跟踪处理器1025中的一个或两者收集眼睛中心、椭圆和/或椭圆簇。立体融合处理器1035合并两个眼睛姿势(例如，每只眼睛的一只眼睛姿势)以例如针对AR(或VR)应用1045确定并提供用户注视姿势1040。立体融合处理器1035利用任何适当的算法来合并眼睛姿势。
在某些实施例中，电子设备1000包括耦合至DVS相机1005或第二DVS相机1020或两者的一个或多个照明源1055、1060。照明源1055、1060可以是任何合适的光源，例如红外发光二极管(IR LED)。在某些实施例中，电子设备1000包括利用一个或多个CMOS相机1065以及一个或多个照明源1055、1060实现初始化过程1050的电路。
图11示出根据本公开的实施例的电子设备1100，电子设备1100具有诸如在初始化1050期间用于用户识别1125和眼睛姿势估计1115的附加电路。图11中所示的电子设备1100的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他图示。电子设备1100可以被配置为HMD 400、HMD 500或可穿戴设备520，并且可以与电子设备101、102、104、210、220或1000之一相同或相似。
在某些实施例中，电子设备1100包括CMOS相机1065。CMOS相机1065是数字相机，包括用于接收光的镜头和在其上聚焦接收到的光的像素化传感器。根据各种实施例，互补金属氧化物半导体(CMOS)相机1065是红绿蓝(RGB)相机，其周期性地输出来自其像素化传感器的每个像素的原始接收光数据的帧。在某些实施例中，CMOS相机1065可以与一个或多个照明源1055、1060结合使用。CMOS相机1065的输出被传送(即，传输、发送或提供)到眼睛/虹膜/瞳孔检测处理器(或组件或模块)1110。眼睛/虹膜/瞳孔检测处理器1110(例如，软件和/或硬件)适于辅助用户眼睛800的初始映射850，并创建眼睛姿势估计1115。眼睛姿势估计1115被传送到眼睛跟踪处理器1010和第二眼睛跟踪处理器1025。眼睛跟踪处理器1010和第二眼睛跟踪处理器1025使用眼睛姿势估计1115来创建每只用户眼睛800的初始映射850。根据本公开的实施例，在初始化1050完成之后，CMOS相机1065被关闭(即，断电)。根据本公开的实施例，以与仅存在DVS相机1005和眼睛跟踪处理器1010时类似的方式发生初始化1050。
在某些实施例中，电子设备1000包括耦合至眼睛/虹膜/瞳孔检测处理器1110的CMOS相机1065。眼睛/虹膜/瞳孔检测处理器1110还耦合至虹膜识别处理器(或组件或模块)1120。处理器1120可以被配置为识别用户1125。例如，虹膜识别处理器1120可以基于虹膜识别来分析来自CMOS相机1065的数据以识别佩戴者。
图12示出根据本公开的实施例的用于注视跟踪的过程。尽管该流程图描绘了一系列顺序的步骤，除非明确说明，否则不应从该顺序中得出相关执行的特定顺序、顺序执行而不是同时或以重叠的方式执行步骤或其部分，或仅执行描绘的步骤而不出现插入步骤或中间步骤的推论。描绘的示例中描绘的过程由例如头戴式电子设备或可穿戴电子设备中的处理器实现。
在框1205中，电子设备检测电子设备的佩戴者的至少一只眼睛。例如，电子设备可以被配置为HMD 400、HMD 500或可穿戴设备520。在某些实施例中，电子设备包括一个或多个相机，例如DVS相机510、CMOS相机505或其组合。在一些实施例中，基于从一个或多个相机接收的像素信息，可以利用物体检测或识别技术来检测或识别佩戴者的至少一只眼睛。
在框1210中，如果相机是CMOS相机或包括CMOS相机505，则在框1215中，相机捕获佩戴者的眼睛的初始图像。例如，相机可以“看到”或直接朝向眼睛并向电子设备中的一个或多个处理器传输包括关于眼睛的信息(例如多个像素)的信号。在某些实施例中，CMOS相机505可以捕获眼睛的图像并且将与眼睛相关联的数据传输到电子设备中的一个或多个处理器。可以包括眼睛跟踪处理器/组件/模块1010或眨眼检测处理器/组件/模块1015的一个或多个处理器识别眼睛内的特征。
在框1220中，一个或多个处理器基于在框1215中从CMOS相机505接收的关于眼睛的信息来确定佩戴者的眼睛的初始姿势。例如，一个或多个处理器可以基于捕获的图像确定佩戴者的眼睛的初始姿势。
如果在框1210中相机不包括CMOS相机505，则一个或多个处理器将佩戴者的眼睛的初始姿势默认设置为居中。例如，当仅存在一个或多个DVS相机时，在框1225中，佩戴者的眼睛的初始姿势默认为居中。
在方框1230中，跟踪眼睛的姿势的变化。例如，眼睛跟踪处理器1010或第二眼睛跟踪处理器1025中的一个或两者收集眼睛中心、椭圆和/或椭圆簇，以计算、确定或识别佩戴者的眼睛姿势的变化。在一些实施例中，一个或多个处理器从DVS相机510接收DVS-on像素数据流，并跟踪佩戴者的眼睛的初始姿势的一个或多个变化。在某些情况下，例如当功率(例如，电池寿命)、耐用性(例如，动态范围，移动模糊)或其他因素较少引起关注时，CMOS相机505也可用于促进跟踪或确定眼睛姿势改变。
如果在框1235中电子设备包括第二眼睛跟踪能力，则可以使用第二眼睛跟踪器执行立体融合。例如，如果存在第二眼动跟踪器，则电子设备在框1240中执行立体融合。立体融合处理器1035合并两个眼睛姿势(例如，每只眼睛的一只眼睛姿势)以确定并提供用户注视姿势1040到AR(或VR或XR)应用1045。立体融合处理器1035利用任何适当的算法来合并眼睛姿势。此后，过程进行到框1245以计算佩戴者的注视。如果在框1235中电子设备不包括第二眼睛跟踪器，则处理进行到框1245以计算佩戴者的注视。
在框1245中，基于针对两只眼睛的立体融合或基于单目姿势信息来计算用户注视姿势1040。虽然立体融合处理器提高了用户注视姿势估计的准确性，但是在一些实施例中，立体融合处理器是可选的。在一些情况下，用户注视姿势估计可以基于来自单只眼睛的单目姿势，因为用户的眼睛通常注视相同的方向。
DVS相机510将与眼睛相关联的数据连续地传输到电子设备中的一个或多个处理器。跟踪器直接使用来自DVS传感器的数据流。在某些实施例中，仅将数据流收集到缓冲器中用于眨眼检测。在某些实施例中，系统不显示DVS图像(可以在一段时间内从DVS数据流生成DVS图像)，但可以将DVS图像用于调试。所述一个或多个处理器，例如眼睛跟踪处理器1010或眨眼检测处理器1015，识别眼睛的像素开启事件的连续流(在初始之后)内的特征。
尽管已经在附图中示出并在上面描述了各种特征，但是可以对附图进行各种改变。例如，图1至图10所示的组件的尺寸、形状、布置和布局仅用于说明。每个组件可以具有任何合适的尺寸、形状和尺寸，并且多个组件可以具有任何合适的布置和布局。而且，图1至图11中的各种组件可以被组合、进一步细分或省略，并且可以根据特定需要添加附加组件。此外，可以使用用于执行所描述的功能的任何适当的结构来实现设备或系统中的每个组件。另外，尽管图12示出了一系列步骤，但是图12中的各个步骤可以重叠、并行发生、多次发生或以不同顺序发生。
本申请中的任何描述均不应理解为暗示任何特定元素、步骤或功能是必须包括在权利要求范围内的必要元素。专利主题的范围仅由权利要求书限定。

Claims (15)

1.一种电子设备，包括：
一个或多个相机，被配置为从所述电子设备的佩戴者的眼睛捕获像素变化，所述一个或多个相机包括至少一个动态视觉传感器DVS相机；以及
一个或多个处理器，被配置为：
从所述一个或多个相机接收与所述眼睛相关联的信息，
基于所述信息初始化所述眼睛的初始姿势，
从所述至少一个DVS相机接收DVS数据，
基于所述DVS数据跟踪所述眼睛的初始姿势的一个或多个变化，以及
基于所述眼睛的初始姿势的一个或多个变化确定所述佩戴者的注视。
2.根据权利要求1所述的电子设备，其中为了跟踪所述眼睛的初始姿势的一个或多个变化，所述处理器还被配置为：
基于所述初始姿势，确定瞳孔椭圆和瞳孔簇；
基于所述初始姿势，确定虹膜椭圆和虹膜簇；
基于所述瞳孔椭圆和所述虹膜椭圆中的至少一个确定眼睛中心；
基于所述DVS数据，检测所述瞳孔簇和所述虹膜簇中的至少之一中的一个或多个DVS开启DVS-on像素；
确定与所述DVS-on像素相对应的随后的瞳孔椭圆和随后的瞳孔簇；
确定与所述DVS-on像素相对应的随后的虹膜椭圆和随后的虹膜簇；
基于随后的瞳孔椭圆和随后的虹膜椭圆中的至少一个确定随后的眼睛中心；
基于随后的瞳孔椭圆、随后的虹膜椭圆和随后的眼睛中心中的至少一个来确定眼睛的随后的姿势；以及
基于从所述眼睛的初始姿势到所述眼睛的随后的姿势的变化，跟踪眼睛的移动。
3.根据权利要求1所述的电子设备，其中所述处理器还被配置为：
基于所述DVS数据，检测与所述佩戴者的眼睛相关联的眨眼；以及
在眨眼期间停止跟踪所述眼睛的初始姿势的一个或多个变化。
4.根据权利要求1所述的电子设备，其中所述一个或多个相机包括至少两个DVS相机，其中所述DVS数据包括与所述佩戴者的所述眼睛和所述佩戴者的第二只眼睛相关联的立体DVS数据，并且其中所述处理器被配置为：
基于从所述至少两个DVS相机接收的立体DVS数据执行立体融合，以使所述眼睛的中心和与第二只眼睛相关联的第二中心对齐；以及
基于立体融合确定所述佩戴者的注视。
5.根据权利要求1所述的电子设备，其中所述处理器被配置为根据所述佩戴者的注视来改变应用和外部设备中的至少一个的操作。
6.根据权利要求1所述的电子设备，其中一个或多个相机包括至少一个互补金属氧化物传感器(CMOS)相机，并且其中所述处理器还被配置为：
从所述至少一个CMOS相机接收CMOS图像，所述CMOS图像用于生成与所述佩戴者的所述眼睛相关联的图像；以及
基于从所述CMOS图像数据生成的图像确定所述眼睛的初始姿势。
7.根据权利要求6所述的电子设备，其中所述处理器还被配置为基于针对从所述CMOS图像数据生成的图像执行的虹膜识别来识别所述佩戴者。
8.根据权利要求1所述的电子设备，还包括耦合到所述一个或多个相机的一个或多个照明源。
9.根据权利要求6所述的电子设备，其中在确定所述初始姿势之后，所述处理器使所述至少一个CMOS相机断电。
10.根据权利要求1所述的电子设备，其中所述电子设备包括以下至少之一：可穿戴设备，头戴式显示器HMD或头戴式耳机，或能够与所述HMD或头戴式耳机的可穿戴设备一起操作的附加组件。
11.一种方法，包括：
通过一个或多个相机从电子设备的佩戴者的眼睛捕获像素变化，所述一个或多个相机被配置为从所述电子设备的佩戴者的眼睛捕获像素变化，所述一个或多个相机包括至少一个动态视觉传感器DVS相机；
从一个或多个相机接收与所述眼睛相关联的信息；
基于所述信息初始化所述眼睛的初
始姿势；
从所述至少一个DVS相机接收DVS数据；
基于所述DVS数据跟踪所述眼睛的初始姿势的一个或多个变化；以及
基于所述眼睛的初始姿势的一个或多个变化确定所述佩戴者的注视。
12.根据权利要求11所述的方法，其中跟踪所述眼睛的姿势的变化还包括：
基于所述初始姿势，确定瞳孔椭圆和瞳孔簇；
基于所述初始姿势，确定虹膜椭圆和虹膜簇；
基于所述瞳孔椭圆和所述虹膜椭圆中的至少一个确定眼睛中心；
基于所述DVS数据，检测所述瞳孔簇和所述虹膜簇中的至少之一中的一个或多个DVS开启DVS-on像素；
确定与所述DVS-on像素相对应的随后的瞳孔椭圆和随后的瞳孔簇；
确定与所述DVS-on像素相对应的随后的虹膜椭圆和随后的虹膜簇；
基于随后的瞳孔椭圆和随后的虹膜椭圆中的至少一个确定随后的眼睛中心；
基于随后的瞳孔椭圆、随后的虹膜椭圆和随后的眼睛中的至少一个来确定眼睛的随后的姿势；以及
基于从所述眼睛的初始姿势到随后的姿势的变化，跟踪眼睛的移动。
13.根据权利要求11所述的方法，还包括：
基于所述DVS数据，检测与所述佩戴者的眼睛相关联的眨眼；以及
在眨眼期间停止跟踪所述眼睛的初始姿势的一个或多个变化。
14.根据权利要求11所述的方法，还包括基于所述眼睛的初始图像来识别所述佩戴者。
15.一种非暂时性计算机可读介质，被配置为存储多个指令，所述指令在由至少一个处理器执行时被配置为使所述至少一个处理器执行以下操作：
从一个或多个相机接收与眼睛相关联的信息，所述一个或多个相机被配置为从电子设备的佩戴者的眼睛捕获像素变化，所述一个或多个相机包括至少一个DVS相机；
基于所述信息初始化所述眼睛的初始姿势；
从所述至少一个DVS相机接收DVS数据；
基于所述DVS数据跟踪所述眼睛的初始姿势的一个或多个变化；以及
基于所述眼睛的初始姿势的一个或多个变化确定所述佩戴者的注视。
CN201980046850.6A 2018-07-19 2019-07-19 混合式眼睛跟踪器的系统和方法 Active CN112424790B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862700748P 2018-07-19 2018-07-19
US62/700,748 2018-07-19
US16/216,849 US10795435B2 (en) 2018-07-19 2018-12-11 System and method for hybrid eye tracker
US16/216,849 2018-12-11
PCT/KR2019/008955 WO2020017927A1 (en) 2018-07-19 2019-07-19 System and method for hybrid eye tracker

Publications (2)

Publication Number Publication Date
CN112424790A true CN112424790A (zh) 2021-02-26
CN112424790B CN112424790B (zh) 2024-08-06

Family

ID=67438143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980046850.6A Active CN112424790B (zh) 2018-07-19 2019-07-19 混合式眼睛跟踪器的系统和方法

Country Status (4)

Country Link
US (1) US10795435B2 (zh)
EP (1) EP3598274B1 (zh)
CN (1) CN112424790B (zh)
WO (1) WO2020017927A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688733A (zh) * 2021-08-25 2021-11-23 深圳龙岗智能视听研究院 基于事件相机的眼部检测和追踪方法、系统、设备及应用

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
WO2019145954A1 (en) * 2018-01-25 2019-08-01 Sharon Ehrlich Device, method, and system of high-speed eye tracking
WO2020197961A1 (en) * 2019-03-27 2020-10-01 Ocelot Laboratories Llc Processing of signals using a recurrent state estimator
US11431038B2 (en) 2019-06-21 2022-08-30 Realwear, Inc. Battery system for a head-mounted display
US11668944B2 (en) * 2019-06-21 2023-06-06 Realwear, Inc. Modular head-mounted peripheral platform
US11506905B2 (en) * 2019-06-21 2022-11-22 Realwear, Inc. Hinged head-mounted display
WO2021174106A1 (en) * 2020-02-28 2021-09-02 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for event-based gaze tracking
US20210311307A1 (en) * 2020-04-07 2021-10-07 Samsung Electronics Co., Ltd. System and method for reduced communication load through lossless data reduction
CN111685724B (zh) * 2020-06-09 2023-06-23 广东小天才科技有限公司 眼动检测方法、装置、设备及存储介质
WO2021263050A1 (en) 2020-06-26 2021-12-30 Limonox Projects Llc Devices, methods and graphical user interfaces for content applications
EP3933550A1 (en) 2020-07-03 2022-01-05 IniVation AG Eye tracking device, eye tracking method, and computer-readable medium
CN111831119A (zh) * 2020-07-10 2020-10-27 Oppo广东移动通信有限公司 眼球追踪方法、装置、存储介质及头戴式显示设备
US11720171B2 (en) * 2020-09-25 2023-08-08 Apple Inc. Methods for navigating user interfaces
US20230367393A1 (en) * 2020-10-13 2023-11-16 Sony Group Corporation Line-of-sight detection device, display device, and method for sensing eyeball
US11803237B2 (en) 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
EP4264551A4 (en) 2020-12-17 2024-07-24 Zinn Labs Inc EVENT CAMERA SYSTEM FOR PUPIL DETECTION AND GAZE TRACKING
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
JPWO2022215371A1 (zh) 2021-04-09 2022-10-13
CN117377933A (zh) * 2021-06-02 2024-01-09 索尼集团公司 视线检测装置、显示装置、视线检测系统和视线检测方法
EP4113252A1 (en) 2021-07-02 2023-01-04 IniVation AG Eye tracking device, eye tracking method, and computer-readable medium
CN117980962A (zh) 2021-09-23 2024-05-03 苹果公司 用于内容应用的设备、方法和图形用户界面
CN116225209A (zh) * 2022-11-03 2023-06-06 溥畅(杭州)智能科技有限公司 一种基于眼动追踪的人机交互方法及系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130950A1 (en) * 2006-12-01 2008-06-05 The Boeing Company Eye gaze tracker system and method
CN102802502A (zh) * 2010-03-22 2012-11-28 皇家飞利浦电子股份有限公司 用于跟踪观察者的注视点的系统和方法
CN103067662A (zh) * 2013-01-21 2013-04-24 天津师范大学 一种自适应视线跟踪系统
CN103383596A (zh) * 2012-05-02 2013-11-06 Lg电子株式会社 移动终端及其控制方法
CN103748599A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于测量头部、眼睛、眼睑和瞳孔的反应的系统和方法
US20140197922A1 (en) * 2013-01-16 2014-07-17 Cygnus Broadband, Inc. System and method for positive identification on a mobile device
CN104345801A (zh) * 2013-08-09 2015-02-11 三星电子株式会社 混合视觉通信
CN105051490A (zh) * 2012-08-06 2015-11-11 株式会社理光 定位设备、计算机程序和装置控制系统
US20160063303A1 (en) * 2014-09-02 2016-03-03 Hong Kong Baptist University Method and apparatus for eye gaze tracking
CN106662917A (zh) * 2014-04-11 2017-05-10 眼球控制技术有限公司 眼睛跟踪校准系统和方法
CN107111753A (zh) * 2015-01-09 2017-08-29 微软技术许可有限责任公司 用于注视跟踪模型的注视检测偏移
CN107209849A (zh) * 2015-01-07 2017-09-26 微软技术许可有限责任公司 眼睛跟踪
CN107548557A (zh) * 2015-04-22 2018-01-05 三星电子株式会社 用于发送和接收用于虚拟现实流传输服务的图像数据的方法和装置
US20180008141A1 (en) * 2014-07-08 2018-01-11 Krueger Wesley W O Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US9898082B1 (en) * 2016-11-01 2018-02-20 Massachusetts Institute Of Technology Methods and apparatus for eye tracking
US20180137673A1 (en) * 2016-11-14 2018-05-17 Samsung Electronics Co., Ltd. Method and device for processing dvs events
CN108139806A (zh) * 2015-10-28 2018-06-08 微软技术许可有限责任公司 相对于可穿戴设备跟踪穿戴者的眼睛
CN108171728A (zh) * 2017-12-25 2018-06-15 清华大学 基于混合相机系统的无标记运动物体姿态恢复方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410376A (en) 1994-02-04 1995-04-25 Pulse Medical Instruments Eye tracking method and apparatus
US6256019B1 (en) 1999-03-30 2001-07-03 Eremote, Inc. Methods of using a controller for controlling multi-user access to the functionality of consumer devices
US20120105486A1 (en) 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
KR101090695B1 (ko) 2009-05-21 2011-12-08 크루셜텍 (주) 리모컨의 지문인식 제어방법
KR20110051734A (ko) 2009-11-11 2011-05-18 한국전자통신연구원 지문스캐너를 갖춘 셋탑박스를 이용한 인터넷 ｔｖ의 시청제한, 개인 맞춤형 광고 및 개인 맞춤형 프로그램 가이드 제공 방법 및 시스템
WO2012055444A1 (en) * 2010-10-29 2012-05-03 IT-Universitetet i København Method of determining reflections of light
KR101887988B1 (ko) 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
KR20150049243A (ko) 2013-10-29 2015-05-08 엘지전자 주식회사 지문 인식을 이용한 영상표시기기 및 그 제어 방법
AU2015255652B2 (en) 2014-05-09 2018-03-29 Google Llc Systems and methods for using eye signals with secure mobile communications
KR101548195B1 (ko) 2014-06-30 2015-09-03 송유빈 지문 인식을 이용한 디스플레이 제어 장치 제어 시스템 및 방법
WO2016158000A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
KR102216505B1 (ko) 2015-10-14 2021-02-17 삼성전기주식회사 안면 추적 카메라 모듈 및 방법
US10198660B2 (en) 2016-01-27 2019-02-05 Samsung Electronics Co. Ltd. Method and apparatus for event sampling of dynamic vision sensor on image formation
JP2017182739A (ja) 2016-03-31 2017-10-05 富士通株式会社 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
US10638124B2 (en) * 2017-04-10 2020-04-28 Intel Corporation Using dynamic vision sensors for motion detection in head mounted displays
EP3714350B1 (en) 2017-09-28 2023-11-01 Apple Inc. Method and device for eye tracking using event camera data

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130950A1 (en) * 2006-12-01 2008-06-05 The Boeing Company Eye gaze tracker system and method
CN102802502A (zh) * 2010-03-22 2012-11-28 皇家飞利浦电子股份有限公司 用于跟踪观察者的注视点的系统和方法
CN103748599A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于测量头部、眼睛、眼睑和瞳孔的反应的系统和方法
CN103383596A (zh) * 2012-05-02 2013-11-06 Lg电子株式会社 移动终端及其控制方法
CN105051490A (zh) * 2012-08-06 2015-11-11 株式会社理光 定位设备、计算机程序和装置控制系统
US20140197922A1 (en) * 2013-01-16 2014-07-17 Cygnus Broadband, Inc. System and method for positive identification on a mobile device
CN103067662A (zh) * 2013-01-21 2013-04-24 天津师范大学 一种自适应视线跟踪系统
CN104345801A (zh) * 2013-08-09 2015-02-11 三星电子株式会社 混合视觉通信
CN106662917A (zh) * 2014-04-11 2017-05-10 眼球控制技术有限公司 眼睛跟踪校准系统和方法
US20180008141A1 (en) * 2014-07-08 2018-01-11 Krueger Wesley W O Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US20160063303A1 (en) * 2014-09-02 2016-03-03 Hong Kong Baptist University Method and apparatus for eye gaze tracking
CN107209849A (zh) * 2015-01-07 2017-09-26 微软技术许可有限责任公司 眼睛跟踪
CN107111753A (zh) * 2015-01-09 2017-08-29 微软技术许可有限责任公司 用于注视跟踪模型的注视检测偏移
CN107548557A (zh) * 2015-04-22 2018-01-05 三星电子株式会社 用于发送和接收用于虚拟现实流传输服务的图像数据的方法和装置
CN108139806A (zh) * 2015-10-28 2018-06-08 微软技术许可有限责任公司 相对于可穿戴设备跟踪穿戴者的眼睛
US9898082B1 (en) * 2016-11-01 2018-02-20 Massachusetts Institute Of Technology Methods and apparatus for eye tracking
US20180137673A1 (en) * 2016-11-14 2018-05-17 Samsung Electronics Co., Ltd. Method and device for processing dvs events
CN108171728A (zh) * 2017-12-25 2018-06-15 清华大学 基于混合相机系统的无标记运动物体姿态恢复方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
C ZHENG等: "Dynamic Analysis of Iris Movements in Response to Change in Illumination Using Anterior Segment Optic Coherence Tomography", 《IOVS》, vol. 50, no. 13, 31 December 2009 (2009-12-31), pages 1 - 7 *
GISLER DAMIAN等: "Eye Tracking using Event-Based Silicon Retina", pages 1 - 29, Retrieved from the Internet <URL:http://www.ini.uzh.ch/~tobi/studentProjectReports/gislerEyeTracking2007.pdf> *
ZXUCVER: "眼球中心定位跟踪算法—eyelike", pages 1 - 4, Retrieved from the Internet <URL:https://blog.csdn.net/chaipp0607/article/details/79935302> *
张健 等: "嵌入式智能视频检测与行为识别监控系统研究", 《中国公共安全(综合版)》, vol. 2012, no. 17, 1 November 2012 (2012-11-01), pages 208 - 211 *
谭旺曦: "国防仓库安全监控系统的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 5, 15 May 2011 (2011-05-15), pages 140 - 564 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688733A (zh) * 2021-08-25 2021-11-23 深圳龙岗智能视听研究院 基于事件相机的眼部检测和追踪方法、系统、设备及应用

Also Published As

Publication number Publication date
US20200026349A1 (en) 2020-01-23
EP3598274B1 (en) 2022-09-28
EP3598274A1 (en) 2020-01-22
WO2020017927A1 (en) 2020-01-23
US10795435B2 (en) 2020-10-06
CN112424790B (zh) 2024-08-06

Similar Documents

Publication Publication Date Title
CN112424790B (zh) 混合式眼睛跟踪器的系统和方法
US10948983B2 (en) System and method for utilizing gaze tracking and focal point tracking
US10663738B2 (en) System and method for HMD configurable for various mobile device sizes
EP3571673B1 (en) Method for displaying virtual image, storage medium and electronic device therefor
EP3673345B1 (en) System and method for distributed device tracking
US20180077409A1 (en) Method, storage medium, and electronic device for displaying images
US20160063767A1 (en) Method for providing visual reality service and apparatus for the same
US10482672B2 (en) Electronic device and method for transmitting and receiving image data in electronic device
EP3521978B1 (en) Apparatus and method for tracking a focal point in a head mounted display system
US8736692B1 (en) Using involuntary orbital movements to stabilize a video
US20160140887A1 (en) Wearable electronic device
US11503266B2 (en) Super-resolution depth map generation for multi-camera or other environments
US11006048B2 (en) Method and apparatus for acquiring omnidirectional video
CN105892572B (zh) 用于显示内容的方法和装置
CN114531951A (zh) 自动视频捕捉和合成系统
US9265415B1 (en) Input detection
KR102544779B1 (ko) 움직임 정보 생성 방법 및 이를 지원하는 전자 장치
EP3591514A1 (en) Electronic device and screen image display method for electronic device
EP3383037A1 (en) Content display method and electronic device for performing same
KR102719606B1 (ko) 이미지 표시 방법, 저장 매체 및 전자 장치
US20240121370A1 (en) System and method for parallax correction for video see-through augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant