CN110178102A - 显示器内的估计 - Google Patents

显示器内的估计 Download PDF

Info

Publication number
CN110178102A
CN110178102A CN201780081727.9A CN201780081727A CN110178102A CN 110178102 A CN110178102 A CN 110178102A CN 201780081727 A CN201780081727 A CN 201780081727A CN 110178102 A CN110178102 A CN 110178102A
Authority
CN
China
Prior art keywords
user
signal
eyes
eeg
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780081727.9A
Other languages
English (en)
Inventor
B·J·L·海斯特
A·W·克拉克
R·T·伯克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN110178102A publication Critical patent/CN110178102A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

示例实现方式涉及虚拟现实/增强现实信号。例如，一种非暂时性计算机可读介质，其存储指令，所述指令可由处理资源执行以从被装配在显示器上的相机接收眼睛追踪信号。所述指令可以使得处理资源通过使用眼睛追踪信号来估计显示器上的位置。所述指令可以使得处理资源接收脑电图仪(EEG)信号。所述指令可以使得处理资源基于眼睛追踪信号和EEG信号来确认所估计的位置。

Description

显示器内的估计
背景技术
头戴式耳机(headset)可以被使用在虚拟现实(VR)和/或增强现实(AR)系统中。VR和/或AR头戴式耳机可以由用户佩戴并且可以包括显示器以通过经由显示器向用户提供图像、屏幕和/或其它视觉激励来向用户提供“虚拟”和/或“增强”现实。
附图说明
图1图示了与本公开内容一致的用于显示器内的估计的装置的示例。
图2图示了与本公开内容一致的用于显示器内的估计的装置的示例。
图3图示了与本公开内容一致的用于显示器内的估计的非暂时性计算机可读介质和处理资源的示例的图解。
图4图示了与本公开内容一致的用于显示器内的估计的处理资源和存储器资源的示例的图解。
图5图示了与本公开内容一致的用于显示器内的估计的方法的示例的流程图。
具体实施方式
头戴式显示器可以被使用在虚拟现实(VR)和/或增强现实(AR)系统中。在一些示例中，VR系统可以覆盖用户的眼睛，并且经由显示器向用户提供视觉激励，从而用“虚拟现实”来代替实际现实。VR系统可以允许用户通过游戏、教育活动、群组活动等等来与“虚拟”现实世界交互。
AR系统可以在用户的眼睛前方并且面向用户的眼睛而提供叠覆的透明或半透明屏幕，使得现实被“增强”有附加信息，所述附加信息诸如图形表示和/或补充数据。例如，AR系统可以将透明或半透明的天气信息、方向和/或其它信息叠覆在AR显示器上以供用户检查。
VR/AR头戴式耳机可以被使用在许多不同领域中和/或用于许多不同的应用。例如，除其它领域外，VR/AR头戴式耳机尤其可以被使用在游戏、航空、工程、医学、地理定位、训练、军事、政府(例如火情、警察等等)以及运动中。
VR/AR设备的示例可以包括显示器以及耦合到显示屏的带条和/或头部部分。显示器可以包括外壳，所述外壳包括显示屏(例如LCD显示屏)。带条可以便于将显示器保持在用户头上的特定定位中，使得用户能够在显示器上看到视觉激励。在一些示例中，头部部分可以像是用户头上的帽子，其将显示器保持在适当的位置。显示器可以包括相机和/或传感器。传感器可以接收指示眼睛移动的信号(例如感觉输入)。眼睛移动可以包括瞳孔移动，所述瞳孔移动指示在用户正观看的事物中的改变和/或用户的凝视中的改变。用于监视眼睛移动的传感器可以接收指示用户眼睛的凝视的信号。用户眼睛的凝视可以指示用户想要选择的在显示器上所显示的图像上的位置。然而，在检测眼睛凝视中的误差和/或在检测用户想要选择的事物中的误差可导致对用户不希望选择的VR系统中的项目的选择。
带条和/或显示器可以包括传感器。例如，带条和/或显示器传感器可以包括脑电图仪(EEG)传感器。在一些示例中，EEG信号可以包括由用户的脑部所发送的并且由EEG传感器所接收的刺激信号。与眼睛移动监视相互关联的刺激信号可以确认对特定项目的选择是正确的。例如，用户的凝视可以指示用户想要在VR/AR系统中选择特定项目。EEG信号可以确认：用户确实想要选择该特定项目。虽然在该示例中EEG信号用来指示确认，但是示例不这样被限制。例如，任何数目的附加传感器信号可以确认用户确实选择了特定项目。附加传感器信号可以包括语音、姿态等等，其附加于眼睛追踪监视。另外，其它传感器信号可以指示用户想要选择特定项目。其它传感器信号可以包括由用户通过鼠标、键盘、手机、控制器、语音激活等等的输入。
本公开内容的示例包括用于虚拟现实/增强现实信号的装置、系统和方法。在一些示例中，一种装置可以包括具有传感器的显示器以及包括传感器的带条。在一些示例中，所述装置可以在显示器中包括红外(IR)相机。在一些示例中，所述装置可以在带条上包括EEG感觉探测器(probe)。
图1图示了与本公开内容一致的用于显示器内的估计的装置101的示例。如图1中所图示的，装置101可以包括显示器110。显示器110可以包括形如护目镜的一部分，其包括显示屏。显示器110可以包括相机112-1、112-2。相机112-1、112-2可以是红外(IR)相机，其用于检测佩戴装置101的用户的眼睛移动。相机112-1、112-2可以被装配在显示器中、自用户特定距离，以便于监视用户眼睛的凝视。
装置101可以包括传感器114-1、114-2以接触用户的头部。传感器114-1、114-2可以包括EEG传感器，其接收EEG信号。传感器114-1、114-2可以与用户头部的前部分接触。EEG传感器可以是EEG探测器，其用于检测来自用户的脑部的EEG信号和/或读数。EEG读数可以是指对脑部的电活动的电生理学监视。EEG传感器可以沿着用户的头皮被定位。EEG测量由脑部的神经元内的离子电流所产生的电压波动。EEG的应用可以聚焦在EEG的频谱内容上，诸如可以在EEG信号中观察到的一种类型的神经振荡(有时被称为“脑波”)。
EEG信号可以指示来自用户的刺激信号，其可以指示用户已经观看到用户感兴趣的某事物。例如，用户的刺激信号可以与用户眼睛的凝视的聚焦相互关联，使得眼睛聚焦在用户想要选择的某事物上，并且刺激信号确认该选择。
装置101可以包括被嵌入在装置101的显示器110内的处理资源116和存储器资源118。然而，示例不这样被限制。处理资源116和存储器资源118可以位于任何数目的不同位置中。例如，处理资源116和存储器资源118可以位于装置101的带条和/或头部部分上。处理资源116和存储器资源118可以位于外部处理设备上，所述外部处理设备诸如装置101被耦合到的计算机。处理资源116和存储器资源118可以与收集眼睛移动追踪信号和/或其它感觉信号结合使用，以确定要选择的项目，如将进一步与图3-5相关联地描述的。
图2图示了与本公开内容一致的用于显示器内的估计的装置101的示例。如图2中所图示的，装置202可以包括显示器210。显示器210可以包括外壳213和显示屏211。显示器210可以包括相机212-1、212-2。相机212-1、212-2可以是红外(IR)相机，其用于检测佩戴装置202的用户的眼睛移动。相机212-1、212-2可以被装配在显示器中、自用户特定距离，以便于监视用户眼睛的凝视。也就是说，在一些示例中，相机212-1、212-2可以被装配在显示器210的外壳213的顶部并且在显示屏211的前方。
装置202可以包括传感器214-1、214-2，所述传感器位于上部头部部分226(例如上部带条)上，以用于与用户的头部接触。装置202可以包括下部头部部分224(例如下部带条)。传感器214-1、214-2可以包括EEG传感器。传感器214-1、214-2可以与用户头部的前部分接触。EEG传感器可以是EEG探测器，其用于检测来自用户的脑部的EEG读数。
EEG信号可以指示来自用户的刺激信号，其可以指示用户已经观看到用户感兴趣的某事物。例如，用户的刺激信号可以与用户眼睛的凝视的聚焦相互关联，使得眼睛聚焦在用户想要选择的某事物上，并且刺激信号确认该选择。
装置202可以包括被嵌入在装置202的显示器210内的处理资源216和存储器资源218。处理资源216和存储器资源118可以结合收集眼睛移动追踪信号和/或其它感觉信号来使用，以确定要选择的项目，如将进一步与图3-5相关联地描述的。例如，处理资源216和存储器资源218可以用于收集附加信号，所述附加信号包括来自鼠标、键盘、手机控制器、姿态等等的选择。
装置202的显示器210可以包括相机220。相机220可以是被装配到显示器210的侧边的IR相机。相机220可以面向下，并且可以查看在相机下方的移动，其通过虚线222来指示。相机220可以用于检测用户的移动、诸如姿态移动，以确定附加确认感觉信号。例如，响应于由用户所做出的指示要选择的项目的眼睛移动，EEG信号连同姿态移动一起可以用于确认项目选择。包括刺激信号的EEG信号可以指示用户意图选择该项目。在相机220下方的姿态移动可以包括手臂和/或手部移动和/或指向用户正观看的事物的方向能指示用户想要与正在显示器210中显示的事物交互。这些姿态移动可以连同眼睛追踪和EEG刺激信号一起指示用户意图选择该项目。
图3图示了与本公开内容一致的用于显示器内的估计的非暂时性计算机可读介质330和处理资源316的示例的图解303。在一些示例中，(多个)处理资源316可以处理和/或控制从装置(例如分别在图1和图2中的装置101和202)的输入所接收的数据。存储器资源可以用于存储指令，所述指令由处理资源316执行以施行如本文中所述的操作。处理资源316可以执行被存储在非暂时性机器可读介质330上的指令。非暂时性机器可读介质330可以是任何类型的易失性或非易失性存储器或存储装置，诸如随机存取存储器(RAM)、闪速存储器、只读存储器(ROM)、存储卷、硬盘或其组合。
示例介质330可以存储指令332，所述指令可由处理资源316执行以从被装配在显示器(诸如图1中所图示的显示器110)上的相机(例如图1中的相机112-1、112-2)接收眼睛追踪信号。眼睛追踪信号可以包括用户眼睛的移动。眼睛追踪信号可以指示由相机捕获的用户瞳孔的移动。眼睛的移动可以指示用户正凝视被显示在虚拟现实(VR)/增强现实(AR)系统中的不同项目。眼睛的移动可以指示用户正寻找要选择的项目，但是尚未停留在要选择的特定项目上。眼睛移动的停止可指示用户可能已停在要选择的特定项目上并且想要选择该项目。在一段时间内对特定项目的凝视可指示用户想要选择该项目。该时间段可以是延长的时间段和/或达到特定时间阈值的时间段。例如，3秒可以被指示为用户凝视项目以指示用户想要选择该项目的时间阈值。然而，任何时间段可以被用作阈值时间段。另外，先前指定的凝视行为可以用于指示对项目的选择。例如，眼睛凝视，其在改变并且突然停下以停留在对特定项目的凝视上。
示例介质330可以存储指令，所述指令可由处理资源316执行以分析所接收的眼睛追踪信号以估计显示屏上的位置。所估计的位置可以是对显示屏上用户正查看的地方的估计。所述位置可以与VR/AR体验内的特定项目和/或按钮相互关联，所述特定项目和/或按钮可以在体验中选择和/或选定要操纵的某事物，诸如菜单选择、决策选择等等。所接收的眼睛追踪信号可以被分析以确定眼睛移动中的特定模式。所述分析可以基于用户的先前的眼睛移动。例如，先前的眼睛移动可能已经指示图像中要选择的项目，并且VR/AR系统可能已选择该项目。响应于用户指示了选择是正确的，眼睛移动可以被记录为指示选择。响应于用户指示了选择是不正确的，眼睛移动可以被记录为指示假阳性或假选择的眼睛移动。以此方式，用户的行为、在该示例中用户的眼睛移动可以被学习并且被用于稍后确定用户可能想要在AR/VR环境中做的事。
示例介质330可以存储指令，所述指令可由处理资源316执行以基于对先前接收的眼睛追踪信号的分析以及相应分析的估计成功来分析所接收的眼睛追踪信号。也就是说，估计成功可以是相应的估计在选择位置中所实现的成功的量。当每个估计被用户确认为成功的时，估计成功率可增大，并且与成功估计相互关联的特定眼睛移动的置信水平可增大。估计成功率可以是针对检测到的特定眼睛移动的成功的百分比。估计成功率可以是在计数尺度上用户对于选择有多么成功等等的指示。
示例介质330可以存储指令334，所述指令334可由处理资源316执行以通过使用眼睛追踪信号来估计显示屏上的位置。显示屏可以在VR/AR系统中显示图像。图像可以是整个图像，其与用户周围的现实分离，诸如在虚拟现实中，其中周围的现实不被使用在虚拟现实世界中。相反，图像可以包括在周围现实之上叠加的图像，使得周围现实被用作对于图像的背景幕。以此方式，图像增强周围现实，和/或增加该现实。所估计的位置可以是与或者VR或者AR环境的图像相互关联的显示屏上的位置。所估计的位置可以基于用户的凝视可发生的先前提及的阈值时间段而被确定。
示例介质330可以存储指令336，所述指令336可由处理资源316执行以接收EEG信号。EEG信号(其从图1中的传感器114-1、114-2以及图2中的214-1、214-2被接收)可以从被定位在用户头上的EEG探测器接收。EEG信号可以指示对用户是否选择了显示屏上的位置进行指示的脑活动。
示例介质330可以存储指令338，所述指令338可由处理资源316执行以基于眼睛追踪信号和EEG信号来确认所估计的位置。所述确认可以包括检测与眼睛追踪信号相对应的EEG信号中的刺激响应。确认可以基于刺激响应中的刺激的特定阈值量。例如，脑波可以达到刺激水平，其指示已经达到阈值刺激。响应于达到刺激水平，可以确认对项目的选择。响应于没有达到刺激水平，对项目的选择可以被解除确认和/或被确认为处于错误中。
图4图示了与本公开内容一致的用于显示器内的估计的装置404的示例的图解。装置404可以包括处理资源416和存储器资源418。处理资源416可以执行被存储在存储器资源418中的指令。作为示例，存储器资源418可以是任何类型的易失性和/或非易失性存储器或存储装置，诸如随机存取存储器(RAM)、闪速存储器、只读存储器(ROM)、存储卷、硬盘或其组合。存储器资源418可以用于存储数据和/或指令。存储器资源可以存储机器可读指令442、444、446、448，所述机器可读指令当由处理资源416执行的时候使得处理资源416施行特定的操作。
存储器资源418可以存储指令442，所述指令可由处理资源416执行以通过使用IR相机(诸如图1中的相机112-1、112-2和图2中的相机212-1、212-2)来追踪眼睛移动。相机可以包括多于一个IR相机。IR相机的数目可以包括被定位在用户眼睛前方的两个IR相机。IR相机可以被定位在自用户眼睛的特定距离处，以监视眼睛的凝视和/或凝视中的改变。
存储器资源418可以存储指令444，所述指令444可由处理资源416执行以基于所追踪的眼睛移动来估计显示器的显示屏上要选择的项目。对所估计的项目的选择可以被延迟直到执行了意图选择该项目的进一步确认为止。响应于用户的凝视停留和/或停止在所估计的项目上，该项目可以被估计为被用户选择。
存储器资源418可以存储指令446，所述指令446可由处理资源416执行以通过使用EEG感觉探测器来检测EEG信号。EEG信号可以包括用户的脑部的脑波活动。EEG信号可以包括指示用户的脑活动的电活动的图形和/或图表。电活动可以包括电活动的峰值和/或谷值。刺激信号可以由电活动中的峰值来指示。刺激信号可以由在脑部中检测到的电活动的特定波形来指示。
存储器资源418可以存储指令448，所述指令448可由处理资源416执行以基于检测到的EEG信号来确认要选择的所估计的项目。可以通过将刺激信号与眼睛追踪移动相互关联来确定对所估计的项目的确认。相互关联可以包括将刺激信号出现的时间与眼睛追踪移动表现出特定行为的时间相互关联。例如，电活动中的峰值可能已经在眼睛移动停止以凝视于特定项目的相同时间出现。特定项目应该被估计为要选择的项目，并且峰值的EEG刺激可以确认应当选择该项目。虽然这作为示例被给出，但是示例不被这样限制。可以执行任何数目的相互关联，诸如峰值与先前成功的选择，其指示特定EEG活动指示当前成功的选择。
存储器资源418可以存储指令，所述指令可由处理资源416执行以检测用户的姿态移动，其中机器可读指令使得处理资源检测来自用户的姿态。存储器资源可以存储指令，所述指令可由处理资源416执行以基于检测到的姿态来确认所估计的项目。可以通过检测到的姿态和EEG信号二者来确认所估计的项目。在一些示例中，单独EEG信号可能不足以指示确认，但是所添加的姿态移动可允许对确认的指示。作为示例，EEG信号可能尚未达到阈值刺激水平，但是可以接近于阈值水平。姿态移动可以提供足够的数据来指示姿态移动顶部的EEG信号指示确认。
图5图示了与本公开内容一致的用于显示器内的估计的方法505的示例的流程图。在550处，方法505包括通过使用被装配在显示器上的相机来追踪用户的眼睛移动。相机可以被装配在显示器上。相机可以被装配在自用户眼睛的特定距离处，以允许监视眼睛。眼睛的凝视可以被监视以便确定眼睛在凝视图像上的哪里。
在552处，方法505可以包括分析眼睛移动来估计在被显示给用户的显示屏上将被选择的位置。眼睛移动可以被分析来确定眼睛在凝视哪里。基于眼睛的凝视，可以确定眼睛在凝视的显示屏上的位置。显示屏上的位置可以被指示为对用户想要选择哪里的估计。在选择图像上的位置之前，可以执行用户意图选择该位置的确认(例如验证)。
在554处，方法505可以包括通过使用EEG探测器来记录用户的EEG信号。EEG探测器可以被安置在用户头部的前部分上以检测来自用户脑部的前部分的信号。EEG探测器可以检测脑部的特定电活动。
在556处，方法505可以包括将所追踪的眼睛移动与所记录的EEG信号相互关联以确认所估计的位置。例如，所追踪的眼睛移动可以指示特定时间点处图像上的位置。在特定时间点处记录的EEG信号可以与特定时间点处所追踪的眼睛移动相互关联，其指示在特定时间点处用户意图选择该位置。所追踪的眼睛移动和EEG感觉信号可以在特定的时间窗口内相互关联，所述特定的时间窗口诸如5秒、10秒等等的范围。也就是说，EEG信号可以从所述位置被眼睛凝视的时刻延迟。此外，在提供被估计要选择的位置和/或项目是正确的一个的指示中，EEG信号可被延迟。
在558处，方法505可以包括基于所述相互关联来选择显示屏上的所估计的位置。也就是说，所估计的位置可以被确定为是要选择的正确位置，并且所述系统可以选择该位置。显示屏的所估计的位置可以包括用户想要选择的按钮、选择项目、字符选择等等。在确认了所估计的位置是要选择的正确位置之后，所估计的位置可以被选择。
在一些示例中，方法505包括通过在虚拟现实或增强现实系统中选择菜单项目来选择所估计的位置。也就是说，所述位置可以是要选择的菜单项目的位置。所述位置可以是要选择的字符的图像等等。在一些示例中，方法505可以包括检测来自用户的输入，其指示要选择的位置，其中所述输入包括在键盘、鼠标、手机、控制器、用户话音、姿态、或其组合上的选择。可以通过使用被装配到显示器的麦克风来记录用户的话音。输入可以与眼睛移动以及EEG信号相互关联以提供在所估计的位置中的更大置信度。
在一些示例中，方法505包括检测来自用户的姿态，其指示要选择的位置。所述姿态可以包括手部移动、手指移动、腿部移动等等。方法505可以包括将姿态与所追踪的眼睛移动和所记录的EEG信号相互关联以确认所估计的位置。在一些示例中，当所追踪的眼睛移动和所记录的EEG信号不相互关联时，可以提供如下指示：即所估计的位置不被确认。
在本公开内容的前述详细描述中，对行程其一部分的附图做出参考，并且其中作为图示而示出了可以如何实践本公开内容的示例。这些示例被充分详细地描述以使得本领域普通技术人员能够实践本公开内容的示例，并且要理解的是，可以利用其它示例，并且可以做出过程、电气和/或结构改变，而不偏离本公开内容的范围。

Claims (15)

1.一种非暂时性计算机可读介质，其存储可由处理资源执行以进行以下的指令：
从被装配在显示器上的相机接收眼睛追踪信号；
通过使用眼睛追踪信号来估计显示屏上的位置；
接收脑电图仪(EEG)信号；以及
基于眼睛追踪信号和EEG信号来确认所估计的位置。
2.根据权利要求1所述的介质，还包括可由处理资源执行以基于对先前接收的眼睛追踪信号的分析来估计位置的指令。
3.根据权利要求2所述的介质，还包括可由处理资源执行以基于以下来估计位置的指令：
对先前接收的眼睛追踪信号的分析；以及
对先前接收的眼睛追踪信号的分析的估计成功。
4.根据权利要求1所述的介质，其中所述眼睛追踪信号包括由相机捕获的用户瞳孔的移动。
5.根据权利要求1所述的介质，还包括可由处理资源执行以进行如下的指令：响应于在EEG信号中检测到与眼睛追踪信号对应的刺激响应而确认所估计的位置。
6.一种方法，包括：
通过使用被装配在显示器上的相机来追踪用户的眼睛移动；
分析眼睛移动来估计在被显示给用户的显示屏上将被选择的位置；
通过使用脑电图仪(EEG)探测器来记录用户的EEG信号；
将所追踪的眼睛移动与所记录的EEG信号相互关联以确认所估计的位置；以及
基于所述相互关联来选择显示屏上的所估计的位置。
7.根据权利要求6所述的方法，其中选择所估计的位置包括在虚拟现实系统中选择菜单项目。
8.根据权利要求6所述的方法，包括检测来自用户的输入，所述输入指示要选择的位置，其中所述输入包括键盘输入、鼠标输入、手机输入、控制器输入、姿态及其组合。
9.根据权利要求6所述的方法，包括：
检测来自用户的姿态，所述姿态指示要选择的位置；以及
将姿态与所追踪的眼睛移动和所记录的EEG信号相互关联以确认所估计的位置。
10.根据权利要求6所述的方法，其中当所追踪的眼睛移动和所记录的EEG信号不相互关联时，指示所估计的位置不被确认。
11.一种装置，包括：
被装配在显示器上的红外(IR)相机；
脑电图仪(EEG)感觉探测器；
处理资源；以及
存储器资源，其存储机器可读指令以使得所述处理资源：
通过使用IR相机来追踪眼睛移动；
基于所追踪的眼睛移动来估计显示器的显示屏上要选择的项目；
通过使用EEG感觉探测器来检测EEG信号；以及
基于检测到的EEG信号来确认要选择的所估计的项目。
12.根据权利要求11所述的装置，其中所述IR相机还包括被定位在所述装置的用户的前方并且面向用户的眼睛的两个IR相机。
13.根据权利要求11所述的装置，还包括被定位成检测用户的姿态移动的相机。
14.根据权利要求13所述的装置，还包括可由处理资源执行以基于检测到的姿态来确认所估计的项目的指令。
15.根据权利要求11所述的装置，其中所述IR相机被定位在自用户眼睛的特定距离处以监视眼睛的凝视。
CN201780081727.9A 2017-03-21 2017-03-21 显示器内的估计 Pending CN110178102A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/023315 WO2018174854A1 (en) 2017-03-21 2017-03-21 Estimations within displays

Publications (1)

Publication Number Publication Date
CN110178102A true CN110178102A (zh) 2019-08-27

Family

ID=63586092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081727.9A Pending CN110178102A (zh) 2017-03-21 2017-03-21 显示器内的估计

Country Status (4)

Country Link
US (1) US10877647B2 (zh)
EP (1) EP3545388A4 (zh)
CN (1) CN110178102A (zh)
WO (1) WO2018174854A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108733203A (zh) * 2017-04-20 2018-11-02 上海耕岩智能科技有限公司 一种眼球追踪操作的方法和装置
WO2019001360A1 (zh) * 2017-06-29 2019-01-03 华南理工大学 一种基于视觉刺激的人机交互方法
US11237691B2 (en) 2017-07-26 2022-02-01 Microsoft Technology Licensing, Llc Intelligent response using eye gaze
CN110262673A (zh) * 2019-06-26 2019-09-20 广东技术师范大学 一种眼睛控制键盘打字的方法
US11157081B1 (en) * 2020-07-28 2021-10-26 Shenzhen Yunyinggu Technology Co., Ltd. Apparatus and method for user interfacing in display glasses

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119680A (zh) * 2005-02-18 2008-02-06 皇家飞利浦电子股份有限公司 医疗设备的自动控制
CN202533867U (zh) * 2012-04-17 2012-11-14 北京七鑫易维信息技术有限公司 一种头戴式眼控显示终端
CN103475893A (zh) * 2013-09-13 2013-12-25 北京智谷睿拓技术服务有限公司 三维显示中对象的拾取装置及三维显示中对象的拾取方法
CN105528084A (zh) * 2016-01-21 2016-04-27 京东方科技集团股份有限公司 一种显示控制装置及其控制方法、显示控制系统
CN105578954A (zh) * 2013-09-25 2016-05-11 迈恩德玛泽股份有限公司 生理参数测量和反馈系统
CN205485920U (zh) * 2016-01-21 2016-08-17 京东方科技集团股份有限公司 一种显示控制装置及显示控制系统
CN106104423A (zh) * 2014-03-12 2016-11-09 微软技术许可有限责任公司 姿势参数调节

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
ES2568506T3 (es) * 2004-06-18 2016-04-29 Tobii Ab Control ocular de aparato computador
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
US20070255127A1 (en) * 2006-03-20 2007-11-01 Frederick Mintz Mobile electroencephalograph data collection and diagnosis system
US10223710B2 (en) * 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
CA3187490A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
US9354702B2 (en) 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought
US20140368442A1 (en) 2013-06-13 2014-12-18 Nokia Corporation Apparatus and associated methods for touch user input
WO2015054562A1 (en) * 2013-10-11 2015-04-16 Interdigital Patent Holdings, Inc. Gaze-driven augmented reality
KR101571848B1 (ko) * 2014-03-06 2015-11-25 국방과학연구소 뇌전도 및 눈동자 움직임 기반 하이브리드형 인터페이스 장치 및 이의 제어 방법
US20160187976A1 (en) 2014-12-29 2016-06-30 Immersion Corporation Systems and methods for generating haptic effects based on eye tracking
WO2016138178A1 (en) 2015-02-25 2016-09-01 Brian Mullins Visual gestures for a head mounted device
EP3064130A1 (en) * 2015-03-02 2016-09-07 MindMaze SA Brain activity measurement and feedback system
CN108700931A (zh) * 2015-12-17 2018-10-23 Looxid实验室公司 眼睛-大脑接口(ebi)系统及其控制方法
US10986992B2 (en) * 2016-08-17 2021-04-27 Massachusetts Institute Of Technology Dynamic display system and method for customizing a controller in a display system
US20180081430A1 (en) * 2016-09-17 2018-03-22 Sean William Konz Hybrid computer interface system
US11701046B2 (en) * 2016-11-02 2023-07-18 Northeastern University Portable brain and vision diagnostic and therapeutic system
US10564720B2 (en) * 2016-12-31 2020-02-18 Daqri, Llc User input validation and verification for augmented and mixed reality experiences

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119680A (zh) * 2005-02-18 2008-02-06 皇家飞利浦电子股份有限公司 医疗设备的自动控制
CN202533867U (zh) * 2012-04-17 2012-11-14 北京七鑫易维信息技术有限公司 一种头戴式眼控显示终端
CN103475893A (zh) * 2013-09-13 2013-12-25 北京智谷睿拓技术服务有限公司 三维显示中对象的拾取装置及三维显示中对象的拾取方法
CN105578954A (zh) * 2013-09-25 2016-05-11 迈恩德玛泽股份有限公司 生理参数测量和反馈系统
CN106104423A (zh) * 2014-03-12 2016-11-09 微软技术许可有限责任公司 姿势参数调节
CN105528084A (zh) * 2016-01-21 2016-04-27 京东方科技集团股份有限公司 一种显示控制装置及其控制方法、显示控制系统
CN205485920U (zh) * 2016-01-21 2016-08-17 京东方科技集团股份有限公司 一种显示控制装置及显示控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓铸，吴欣.: "《实验心理学导论》", 31 July 2012 *

Also Published As

Publication number Publication date
EP3545388A1 (en) 2019-10-02
US20190377477A1 (en) 2019-12-12
WO2018174854A1 (en) 2018-09-27
EP3545388A4 (en) 2020-07-08
US10877647B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
CN110178102A (zh) 显示器内的估计
CN112034977B (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
US20230200641A1 (en) System and method for using microsaccade dynamics to measure attentional response to a stimulus
US11017257B2 (en) Information processing device, information processing method, and program
Koo et al. Immersive BCI with SSVEP in VR head-mounted display
CN104023802B (zh) 使用神经分析的电子装置的控制
US10832483B2 (en) Apparatus and method of monitoring VR sickness prediction model for virtual reality content
CN110430802B (zh) 利用虚拟现实的神经疾病诊断装置及方法
Deravi et al. Gaze trajectory as a biometric modality
JP7107302B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101638095B1 (ko) 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
WO2018140942A1 (en) Biometric control system
CN108388338B (zh) 一种基于vr设备的控制方法及系统
WO2017016941A1 (en) Wearable device, method and computer program product
Valeriani et al. Towards a wearable device for controlling a smartphone with eye winks
US11328187B2 (en) Information processing apparatus and information processing method
US20240164672A1 (en) Stress detection
CN113906368A (zh) 基于生理观察修改音频
CN108495584B (zh) 用于通过触觉界面确定眼球运动的装置和方法
EP4161387B1 (en) Sound-based attentive state assessment
US20210074389A1 (en) System and method for collecting, analyzing, and utilizing cognitive, behavioral, neuropsychological, and biometric data from a user's interaction with a smart device with either physically invasive or physically non-invasive means
Suchalova et al. The Research on Controlling Virtual Reality by EEG Sensor
US20240122469A1 (en) Virtual reality techniques for characterizing visual capabilities
CN115762772B (zh) 目标对象的情绪特征确定方法、装置、设备及存储介质
Matsuno Detection of Voluntary Eye Movement for Analysis About Eye Gaze Behaviour in Virtual Communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination