CN110096140A - 依据眼睛注视的触觉感觉 - Google Patents

依据眼睛注视的触觉感觉 Download PDF

Info

Publication number
CN110096140A
CN110096140A CN201910219464.4A CN201910219464A CN110096140A CN 110096140 A CN110096140 A CN 110096140A CN 201910219464 A CN201910219464 A CN 201910219464A CN 110096140 A CN110096140 A CN 110096140A
Authority
CN
China
Prior art keywords
user
eyes
equipment
gaze
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910219464.4A
Other languages
English (en)
Inventor
D·A·格兰特
V·利沃斯克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN110096140A publication Critical patent/CN110096140A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

本公开涉及依据眼睛注视的触觉感觉。系统、电子设备和方法提供了依据眼睛注视的触觉感觉。一种系统包括配置为确定系统的用户的眼睛注视方向的检测器、配置为基于眼睛注视方向生成代表触觉效果的信号的处理器以及配置为从处理器接收信号以及向用户输出触觉效果的触觉输出设备。一种用于向系统的用户提供触觉效果的方法可以包括确定系统的用户的眼睛注视方向,基于眼睛注视方向生成触觉效果以及向用户输出触觉效果。

Description

依据眼睛注视的触觉感觉
本申请是申请日为2014年3月11日、申请号为201410086638.1、名称为“依据眼睛注视的触觉感觉”的发明专利申请的分案申请。
技术领域
本发明涉及用于提供依据眼睛注视的触觉感觉的系统、电子设备与方法。
背景技术
为了确定电子设备用户的眼睛注视方向的检测方法在人机交互中变得越来越流行。例如,在使用供计算机游戏控制台使用的微软游戏系统或者索尼PLAYSTATION 照相机时,眼睛注视检测可以用于更好地确定用户指向显示器何处。一般地,用户的眼睛注视可以用作到计算机设备的输入。例如,用户界面的当前焦点可以指向用户在看的地方,其类似于使用鼠标作为计算机屏幕上的指针。随着像的系统变得更加复杂,眼睛注视检测会变成向软件应用提供输入的一种标准方式。
发明内容
期望使用眼睛注视方向信息作为输入以在电子设备中创建触觉效果,使得根据用户当前在看什么,触觉效果可以更好地匹配用户的整体体验。这可以为用户提供更身临其境的体验。
根据本发明的一方面,提供了一种系统,该系统包括配置为确定系统的用户的眼睛注视方向的检测器、配置为基于眼睛注视方向生成代表触觉效果的信号的处理器以及配置为从处理器接收信号并且向用户输出触觉效果的触觉输出设备。
根据本发明的一方面,提供了用于向系统的用户提供触觉效果的方法。该方法包括确定系统的用户的眼睛注视方向,基于眼睛注视方向生成触觉效果以及向用户输出触觉效果。
根据本发明的一方面,提供了一种电子设备,该电子设备包括外罩、由外罩支撑的检测器、由外罩支撑的触觉输出设备以及由外罩支撑的处理器,其中检测器配置为确定电子设备的用户的眼睛注视方向,触觉输出设备配置为向用户生成触觉效果。处理器配置为基于对应于用户看电子设备的用户的眼睛注视,生成代表第一触觉效果的第一触觉驱动信号,以及基于对应于用户将视线从电子设备离开的用户的眼睛注视,生成代表第二触觉效果的第二触觉驱动信号。处理器配置为向触觉输出设备输出第一触觉驱动信号或者第二触觉驱动信号,以便基于由检测器确定的眼睛注视方向生成触觉效果。
附图说明
以下附图中组件的说明是为了强调本发明的一般原理而不一定按比例绘制。为了一致性和清晰,指示对应组件的标号根据需要贯穿所有附图重复。
图1是根据本发明一种实施例、用于向系统的用户提供依据用户的眼睛注视的触觉感觉的系统的示意性说明;
图1A是图1系统的检测器的一种实施例的示意性说明;
图1B是图1系统的检测器的一种实施例的示意性说明;
图2是图1系统的处理器的一种实施例的示意性说明;
图3是图1系统的一种实施例的示意性说明;
图4是根据本发明一种实施例、用于向设备的用户提供依据用户的眼睛注视的触觉感觉的电子设备的示意性说明;
图5是根据本发明一种实施例的图5电子设备的示意性说明;
图6是根据本发明一种实施例的图5电子设备的示意性说明;
图7A和图7B是根据本发明一种实施例的图5电子设备的示意性说明;
图8是根据本发明一种实施例的图1系统的示意性说明;以及
图9是根据本发明一种实施例、用于向图1系统或者向图4电子设备的用户提供依据用户的眼睛注视的触觉感觉的方法的流程图。
具体实施方式
图1说明了根据本发明一种实施例的系统100。如所说明的,系统100包括检测器110、处理器120、触觉输出设备130和显示器140。检测器110配置为确定系统100的用户的眼睛注视方向,处理器120配置为基于眼睛注视方向生成代表触觉效果的信号,触觉输出设备130配置为从处理器接收信号并且向用户输出触觉效果,以及显示器140配置为向用户显示内容。
检测器110可以包括用于检测眼睛注视的任何检测装置。例如,图1A说明了检测器的一种实施例110’,它可以包括配置为捕捉系统100的用户眼睛图像的照相机112和配置为基于该图像确定眼睛注视方向的处理器114。在一种实施例中,处理器114可以是图1处理器120的一部分。确定眼睛注视方向的图像处理技术在文献中是众所周知的,因此在这里不进行描述。图1B说明了检测器的一种实施例110”,它可以包括配置为监视用户眼睛附近肌肉运动的传感器116和配置为基于所监视到的运动确定眼睛注视方向的处理器118。在一种实施例中,传感器116可以配置为测量移动眼睛的肌肉的电活性。在一种实施例中,处理器118可以是图1处理器120的一部分。
根据本发明的实施例,所说明的检测器的实施例不应当以任何方式认为是限制,而且提供用户的眼睛注视方向确定的其它检测装置也可以使用。例如,在一种实施例中,用户的眼睛注视方向可以通过分析用户的身体或头的姿态来估计。
在一种实施例中,检测器110还可以配置为确定用户当前的眼睛注视方向聚焦在何处。这可以通过,结合虹膜的模型或所存储的参考图像,使用图像处理技术确定用户眼睛虹膜的位置和形状来实现。在一种实施例中,用户的眼睛注视方向可以存储为每只眼睛的俯仰(pitch)角和偏转(yaw)角。利用这种信息,用户当前注视的景深也可以确定。在一种实施例中,除检测器110之外,还可以使用其它传感器,以便更好地确定用户的意图或意志,诸如通常与功能性磁共振成像(“fMRI”)或者脑电图(“EEG”)关联的传感器。触觉效果可以依据这些组合的传感器与检测器输出来呈现。
图2更具体地说明了处理器120的一种实施例。处理器120可以配置为执行一个或多个计算机程序模块。该一个或多个计算机程序模块可以包括内容提供模块122、眼睛注视确定模块124、触觉效果确定模块126、触觉输出设备控制模块128和/或其它模块中的一个或多个。处理器120可以配置为通过软件、硬件、固件、软件、硬件和/或固件的某种组合和/或用于配置处理器120上的处理能力的其它机制来执行。
应当认识到,虽然模块122、124、126和128在图3中说明为共存于单个处理单元中,但是在其中处理器120包括多个处理单元的实施例中,模块122、124、126和/或128中的一个或多个可以远离其它模块定位。例如,眼睛注视确定模块124可以驻留在上述处理器114、118中。下述由不同模块122、124、126和/或128提供的功能性的描述是为了说明,而不是要限制,因为模块122、124、126和/或128中任何一个都可以提供比所述更多或更少的功能性。例如,模块122、124、126和/或128中的一个或多个可以被消除,其一些或全部功能性可以由模块122、124、126和/或128中的其它模块提供。作为另一个例子,处理器120可以配置为执行一个或多个附加模块,这些附加模块可以执行以下属于模块122、124、126和/或128中一个的一些或全部功能性。
内容提供模块122配置为控制内容经显示器140向系统100的用户的提供。如果内容包括计算机生成的图像(例如,在视频游戏、虚拟世界、增强现实的虚拟世界、仿真等当中),则内容提供模块122配置为生成要通过显示器140向用户显示的图像和/或视图。如果内容包括视频和/或静止图像,则内容提供模块122配置为访问该视频和/或静止图像并生成该视频和/或静止图像的视图,用于在显示器140上显示。如果内容包括音频内容,则内容提供模块122配置为生成将驱动扬声器的电子设备,以输出对应的声音,其中扬声器可以是显示器140的一部分。内容,或者从其得出内容的信息,可以由内容提供模块122从电子储存器129获得,电子储存器129可以是处理器120的一部分,如图2中所说明的,或者可以与处理器120分离。
眼睛注视确定模块124配置为基于来自由检测器110生成的输出信号的信息确定用户的眼睛注视方向。与由眼睛注视确定模块124确定的用户的眼睛注视方向相关的信息可以关于其它对象把方向描述为绝对坐标系统中和/或在其它背景下的向量。这种信息可以包括但不限于坐标和/或角度关系,诸如俯仰角和偏转角,如上所述。
触觉效果确定模块126配置为,基于从检测器110接收到的信息和配置为确定用户意图或意志的任何其它传感器,确定要由触觉输出设备130为用户生成的触觉效果或感觉,如上所述。由眼睛注视确定模块124确定的注视参数可以单独地或者与其它输入(诸如内容事件、系统100的任何部分的运动等)结合使用。确定触觉效果可以包括确定包括触觉感觉的振幅、频率、持续时间等在内的一个或多个参数。触觉效果是由触觉效果确定模块126确定的,以增强由内容提供给用户的体验的一个或多个方面。例如,可以确定触觉效果,以增强内容的现实感、内容的愉悦感、用户对内容的察觉和/或由经显示器140传送给用户的内容所提供的体验的其它方面中的一个或多个。
触觉输出设备控制模块128配置为控制触觉输出设备130生成由触觉效果确定模块126确定的触觉效果。这包括传送要由处理器120生成并且传送到触觉输出设备130的触觉输出信号。要生成的触觉效果可以经处理器120和触觉输出设备130之间的有线通信链路、无线通信链路和/或其它通信链路传送。在一种实施例中,属于触觉输出设备控制模块128的至少一部分功能性可以在处理器中部署成由触觉输出设备130执行。
触觉效果或感觉可以利用产生触觉的任何方法创建,诸如振动、变形、动觉感觉、静电或超声摩擦等。在一种实施例中,触觉输出设备130可以包括致动器,例如,诸如其中偏心质块被电动机移动的偏心旋转质块(“ERM”)的电磁致动器、其中附连到弹簧的质块被前后驱动的线性共振致动器(“LRA”),或者诸如压电材料、电活性聚合物或形状记忆合金的“智能材料”、宏观复合纤维致动器、静电致动器、电触感致动器,和/或提供诸如触觉(例如,振动触感)反馈的物理反馈的其它类型致动器。触觉输出设备130可以包括非机械或者非振动设备,诸如使用静电摩擦(ESF)、超声表面摩擦(USF)的设备,或者利用超声触觉换能器感应出声辐射压力的设备,或者使用触觉衬底和弹性或可变形表面的设备,或者提供喷射(project)的触觉输出的设备,诸如利用空气喷嘴的一股空气,等等。在一种实施例中,多个触觉输出设备可以用于生成不同的触觉效果。触觉输出设备130可以位于游戏板、移动电话、可佩戴设备或者可用于向用户产生触觉效果或感觉的任何其它设备中。
图3说明了根据本发明实施例的系统300。如所说明的,系统300包括基于照相机的游戏系统302,诸如微软的游戏系统或者索尼的配备了PLAYSTATION照相机的游戏系统。在所说明的实施例中,游戏系统302包括检测器110,这可以包括上述检测器110’和/或检测器110”,以及上述处理器120。系统300还包括配置为从用户接收输入以便向游戏系统302提供命令的用户输入设备304,诸如游戏板。用户输入设备304还可以包括上述触觉输出设备130。系统300还包括配置为显示由游戏系统302的内容提供模块122输出的图像的显示器140,诸如电视机或者监视器。
如图3中所说明的,用户输入设备304通过在游戏系统302的通信端口306和用户输入设备304的通信端口308之间建立的有线或无线通信通道350与游戏系统302通信。触觉输出设备130配置为从处理器120,诸如从触觉输出设备控制模块128,接收信号,并且通过用户输入设备304向用户输出触觉效果。用户感觉到的触觉感觉可以依赖于显示器140上用户当前在看的位置。例如,用户可以看显示器140上的当前场景,这不一定是当前游戏板焦点所处的位置。
例如,如果用户在玩第一人称射击游戏并且进入一个新的房间,则用户使用他/她的眼睛注视快速地四周看一下显示器140上的场景。当由EG1表示的用户的眼睛注视落到显示器140左侧由区域“A”表示的房间的第一部分时,可以在用户输入设备304中感觉到指示可以与之交互的对象存在的第一触觉效果或感觉。当由EG2表示的用户的眼睛注视落到显示器140右侧由区域“B”表示的房间的第二部分时,该部分不包含可以与之交互的对象,用户会感觉到与第一感觉触觉效果不同的第二感觉触觉效果。该第二触觉效果可以配置为告知用户房间的第二部分不包含可以与之交互的对象,因此用户不需要继续看房间的第二部分。
在一种实施例中,用户输入设备304可以包括具有触摸屏或触控板输入的游戏板。用户可以利用显示器140作为主显示器以及用户输入设备304上的触摸屏玩游戏。检测器110可以检测用户的眼睛注视并且确定用户是否在看显示器140或者用户是否在看用户输入设备304上的触摸屏。基于检测到的用户的眼睛注视方向,处理器120可以向触觉输出设备130输出信号,使得由触觉输出设备130生成的触觉效果可以告知用户该用户应当看哪个屏幕。在一种实施例中,触觉效果可以告知用户在用户当前不看的显示器或屏幕上发生了什么事情,以指引用户去看另一个显示器或屏幕。
在一种实施例中,用户输入设备304可以包括可佩戴的设备,诸如Google公司的增强现实显示器。在这种实施例中,检测到的眼睛注视可以用于指示用户想在增强现实的虚拟显示器上选择什么。例如,用户可以看一个菜单项或者图标,然后口头上说“选择”或者甚至是眨眼,来选择该菜单项或图标。触觉输出设备130可以在用户的注视跨菜单元素或图标移动时输出触觉效果。
在一种实施例中,由内容提供模块122提供的增强现实虚拟世界可以与由眼睛注视方向确定模块124确定的眼睛注视方向信息结合,来确定用户在看增强现实虚拟世界中处于视场内某个深度的某个对象。触觉效果确定模块126可以识别对象的类型并且确定要由触觉输出设备130输出的触觉效果类型。例如,在一种实施例中,用户可以玩游戏,其中他/她必须找出增强现实类型显示器中的实际或虚拟对象。可以确定用户的眼睛注视方向并且,如果用户在看对象X,则可以由触觉输出设备130在用户输入设备304上生成与对象X关联的触觉效果,即,对象X的触觉签名。
在一种实施例中,显示器140可以是个人计算机的一部分。检测器110可以在用户利用他/她的眼睛导航显示器140的时候跟踪用户的眼睛注视,以便以类似于用户用鼠标导航显示器的方式控制显示器140上的指针位置。在检测器110检测到用户在看显示器140上的每个项或者当用户在看显示器140上某些突出显示(highlighted)的项时,触觉输出设备130可以输出触觉效果。
在一种实施例中,图1的系统100可以是单个电子设备的一部分。图4是根据本发明一种实施例的电子设备400的说明。如所说明的,设备400包括经总线440互连的处理器410、存储器设备420、输入/输出设备430。在一种实施例中,输入/输出设备430可以包括触摸屏设备450或者其它人机接口设备。
触摸屏设备450可以配置为任何合适的人机接口或触摸/接触表面组件。触摸屏设备450可以是任何触摸屏、触控板、触摸敏感结构、计算机监视器、笔记本电脑的显示设备、工作薄显示设备、信息亭屏幕、便携式电子设备屏幕,或者其它合适的触摸敏感设备。触摸屏设备450可以配置为用于与用户控制的设备,诸如触控笔、手指等,进行物理接触。在有些实施例中,触摸屏设备450可以包括至少一个输出设备和至少一个输入设备。例如,触摸屏设备450可以包括可视显示器和叠加在其上以便从用户的手指接收输入的触摸敏感屏幕。可视显示器可以包括高清晰度显示屏。
在各种实施例中,触摸屏设备450配置为向电子设备400的至少一部分提供触觉反馈,这种反馈可以传送到与电子设备400接触的用户。特别地,触摸屏设备450可以向触摸屏自身提供触觉反馈,以便在用户与屏幕接触的时候强加触觉效果。触觉效果可以用于增强用户的体验,并且尤其是可以向用户提供用户已经与屏幕进行了被触摸屏设备450检测的充分接触的确认。
电子设备400可以是任何设备,诸如台式计算机、笔记本电脑、电子工作薄、电子手持式设备(诸如移动电话、游戏设备、个人数字助理(“PDA”)、便携式电子邮件设备、便携式互联网接入设备、计数器,等等)、信息亭(诸如自动取款机、滴答购物机(tickingpurchasing machine),等等)、打印机、销售点设备、游戏控制器,或者其它电子设备。
处理器410可以是用于管理或控制电子设备400的操作与功能的通用或专用处理器或微控制器。例如,处理器410可以具体地设计成作为专用集成电路(“ASIC”),以控制到输入/输出设备430的驱动器的、提供触觉效果的输出信号。在一种实施例中,处理器410包括上述处理器120。处理器410可以配置为基于预定义的因素决定要生成什么触觉效果、以什么次序生成触觉效果,以及触觉效果的量级、频率、持续时间和/或其它参数。处理器410还可以配置为提供可以用于驱动触觉输出设备提供特定触觉效果的流化命令。在有些实施例中,处理设备410实际上可以包括多个处理器,每个处理器配置为在电子设备400中执行某些功能。
存储器设备420可以包括一个或多个内部固定的存储单元、可拆卸存储单元,和/或可远程访问的存储单元。各种存储单元可以包括易失性存储器与非易失性存储器的任意组合。存储单元可以配置为存储信息、数据、指令、软件代码等的任意组合。更具体地,存储设备可以包括触觉效果简档、输入/输出设备430的触觉输出设备如何被驱动的指令,或者用于生成触觉效果的其它信息。
除了触摸屏设备450之外,输入/输出设备430还可以包括特殊的输入机制和输出机制。例如,输入机制可以包括诸如键盘、键区、光标控制设备(例如,计算机鼠标)的设备或者其它数据输入设备。输入/输出设备430可以包括检测器110,诸如上述包括照相机112和处理器114的检测器110’。在一种实施例中,由检测器110检测到的用户的眼睛注视可以用于控制触摸屏设备450上的指针位置,如上所述。
输出机制可以包括计算机监视器、虚拟现实显示设备、音频输出设备、打印机,或者其它外围设备,诸如以上关于图3用户接口设备304描述的游戏板。输入/输出设备430可以包括设计成不仅从用户接收输入并且还向用户提供反馈的机制,诸如触摸屏设备的许多例子。
触摸屏设备450和其它输入/输出设备430可以包括按钮、键区、光标控制设备、触摸屏组件、触控笔接收组件或者其它数据输入组件的任意合适组合与配置。触摸屏设备450还可以包括计算机监视器、显示屏、触摸屏显示器、诸如上述触觉输出设备130的触觉输出设备、或者用于向用户提供输出的其它通知设备的任意合适组合。
在一种实施例中,触摸屏设备450包括显示表面460,该表面可以是刚性的,配置为通过包括,但不限于,静电摩擦和超声表面振动来调制其摩擦属性,以便在跨显示器移动手指或触控笔的时候给予用户对应于显示图像的表面起伏(例如,丘陵和山谷)的感觉。
图5说明了电子设备500的一种实施例,诸如上述电子设备400。如所说明的,可以是移动电话的电子设备500包括具有第一侧504和第二侧506的外罩502、位于外罩502第一侧504上并且配置为在正常操作期间面向用户的第一照相机510,以及位于外罩502第二侧506上并且配置为在正常操作期间背向用户的第二照相机512。第一照相机510可以是上述检测器110’的一部分并且可以配置为跟踪用户的眼睛注视EG的方向。第二照相机512可以用于捕捉包括实际物理对象RO的图像514。设备500还可以包括由外罩502支撑并且配置为投影来自外罩502第一侧504的图像516的显示器540。显示器所显示的图像516可以是由第二照相机512捕捉到的图像514。
如图5中所说明的,处理器520可以位于外罩502中并被其支撑,并且可以是上述处理器120的一种实施例。处理器520可以配置为增强由第二照相机512捕捉到的具有虚拟对象VO的图像514,使得显示器540所显示的图像516包括实际对象RO的虚拟对象VO的表示。触觉输出设备530,诸如上述触觉输出设备130,可以位于外罩502中和/或被其支撑。在一种实施例中,如果处理器520确定用户的眼睛注视EG在实际对象RO的方向,则第一触觉效果可以由触觉输出设备530生成,并且如果处理器520确定用户的眼睛注视EG在虚拟对象VO的方向,则与第一触觉效果不同的第二触觉效果可以由触觉输出设备530生成。在一种实施例中,为了导航的目的,设备500的照相机510、520可以类似的方式用于确定用户的眼睛注视。
在一种实施例中,由触觉输出设备530生成的触觉效果可以依赖于用户的眼睛注视是否指向或者离开设备500的显示器540,如由照相机510检测并且由处理器520确定的。例如,在一种实施例中,当处理器520确定用户的眼睛注视从屏幕540离开时,如由图6的EGA指示的,与和设备500上窗口小部件或按钮560接触关联的触觉效果的强度可以被触觉输出设备530增加。这在用户不看设备500的情况下尝试操作窗口小部件或按钮560时会帮助电子设备500的用户。当处理器520确定用户的眼睛注视指向屏幕540时,如由图6中的EGT所指示的,触觉效果的强度可以减小,因为它假设用户可以看到窗口小部件或按钮560。图6中周期性信号的振幅代表与两个不同眼睛注视EGA、EGT关联的触觉效果的不同强度。
在一种实施例中,触觉效果还可以用于吸引对通知或其它屏幕事件(诸如新电子邮件到达)的注意力。用户关于设备500显示器540的视觉注意可以利用照相机510来监视并且处理器520可以确定由触觉输出设备530生成的触觉感觉形式的触觉通知是否必要或者用户是否已经看到显示器540以检查其它屏幕事件的通知。例如,如图7A中所说明的,如果确定用户具有离开显示器540的眼睛注视EGA,则触觉效果可以被触觉输出设备530生成,以通知用户已经收到新电子邮件。触觉效果一开始可以非常强,如图7A中所指示的,但是,通过朝着通知图标570或显示器540的眼睛注视EGT的检测,一旦照相机510和处理器520确定用户已经知道看通知图标570或显示器540,强度就可以逐步减小并逐渐消失,如图7B中所说明的,因为视觉反馈就足以提供通知了。
图8说明了一种实施例,其中电子设备800以车辆的车载计算机形式提供。设备800可以包括检测器,诸如上述检测器110’,它包括照相机810和处理器820,诸如上述处理器120。在这种实施例中,照相机810和处理器820还配置为监视在预定时间量期间用户扫视显示器840的次数。由触觉输出设备830,诸如以上讨论的触觉输出设备130,提供的触觉效果可以被微调,以减少用户扫视显示器840的次数。如果显示器840包括触摸屏,则触觉输出设备830可以位于显示器840,和/或位于车辆中司机与其接触的另一个位置,诸如方向盘、SW或者仪表板DB的表面或者司机坐在上面的座位。在一种实施例中,基于由于设备800提供的触觉反馈没有强到足以提供满意确认而用户仍然需要依赖视觉确认的假定,如果确定用户在一分钟内扫视显示器840例如多于十次,则触觉输出设备830提供的触觉效果的强度可以增强。类似地,如果确定用户在每分钟内扫视显示器840例如少于两次,则触觉效果的强度可以减小。
图9说明了根据在此所述的本发明实施例的方法900。如所说明的,方法在902开始。在904,确定设备或系统的用户的眼睛注视方向。在906,基于眼睛注视方向生成触觉效果。在908,触觉效果输出到用户。该方法在912结束。
所说明的和上述实施例不应当以任何方式认为是限制,而且本发明的实施例可以用于在各种电子设备中启用触觉反馈,诸如触摸屏手持设备(移动设备、PDA及导航系统)、汽车应用、游戏控制台等。
虽然这里所述的许多例子涉及触摸屏设备,但是应当理解,本公开内容还涵盖涉及触摸敏感结构的其它类型的人机接口。此外,在阅读并理解本公开内容的一般原理之后,其它特征与优点将对本领域普通技术人员明显。这些其它特征与优点也要包括在本公开内容中。
这里所述的实施例代表多种可能的实现与例子,而不是要把本公开内容限定到任何具体的实施例。相反,如本领域普通技术人员将理解的,可以对这些实施例进行各种修改。任何这种修改都要包括在本公开内容的主旨与范围内并且受以下权利要求的保护。

Claims (20)

1.一种系统,包括:
传感器;
处理器,通信地耦合到所述传感器并且被配置为:
从所述传感器接收传感器信号;
基于来自所述传感器的传感器信号确定相对于与所述系统相关联的显示设备上的对象的用户眼睛注视方向;
基于相对于所述显示设备上的对象的用户眼睛注视方向和所述对象的类型确定第一触觉效果的第一参数;
基于用户眼睛注视方向和所述对象的类型确定第二触觉效果的第二参数,其中第二参数不同于第一参数,第一参数或第二参数包括触觉效果的振幅、频率或持续时间;
当用户眼睛注视方向被确定为指向所述显示设备上的所述对象时,生成代表第一触觉效果的第一触觉输出信号;以及
当用户眼睛注视方向被确定为远离所述显示设备上的所述对象时,生成代表第二触觉效果的第二触觉输出信号;以及
触觉输出设备,被配置为从处理器接收第一触觉输出信号和第二触觉输出信号,并基于相对于所述显示设备上的所述对象的用户眼睛注视方向来向用户输出第一触觉效果或第二触觉效果。
2.如权利要求1所述的系统,其中所述触觉输出设备包括配置为输出第一触觉效果或第二触觉效果的致动器。
3.如权利要求1所述的系统,其中所述触觉输出设备包括配置为输出第一触觉效果或第二触觉效果的非机械设备。
4.如权利要求1所述的系统,其中所述传感器包括配置为捕捉图像的照相机以及配置为基于该图像确定用户眼睛注视方向的图像处理器。
5.如权利要求1所述的系统,其中所述传感器能操作以用于感测用户眼睛附近肌肉的运动,并且第二传感器被配置为基于用户眼睛附近肌肉的运动来确定用户眼睛注视方向。
6.如权利要求1所述的系统,其中传感器和处理器是第一设备的一部分,而触觉输出设备是与第一设备分开的第二设备的一部分。
7.如权利要求6所述的系统,还包括配置为在第一设备和第二设备之间建立有线或无线通信通道的通信端口。
8.如权利要求1所述的系统,其中所述传感器是第一设备的一部分,而处理器和触觉输出设备是与第一设备分开的第二设备的一部分。
9.如权利要求8所述的系统,还包括配置为在第一设备和第二设备之间建立有线或无线通信通道的通信端口。
10.如权利要求1所述的系统,其中所述处理器进一步配置为生成所述显示设备上的增强现实空间,并且使用用户眼睛注视方向来确定何时用户正在看的对象是增强现实空间中的对象。
11.如权利要求1所述的系统,其中所述显示设备包括被配置为接收来自用户的输入的触摸屏。
12.如权利要求1所述的系统,其中所述系统是游戏系统。
13.如权利要求1所述的系统,其中所述系统是车辆的一部分。
14.一种用于向系统的用户提供触觉效果的方法,该方法包括:
由处理器从传感器接收传感器信号;
由所述处理器基于来自所述传感器的传感器信号确定相对于显示设备上的对象的用户眼睛注视方向;
由所述处理器基于相对于所述显示设备上的对象的用户眼睛注视方向和所述对象的类型确定第一触觉效果的第一参数;
由所述处理器基于用户眼睛注视方向和所述对象的类型确定第二触觉效果的第二参数,其中第二参数不同于第一参数,第一参数或第二参数包括触觉效果的振幅、频率或持续时间;
当用户眼睛注视方向被确定为指向所述显示设备上的所述对象时,由所述处理器生成代表第一触觉效果的第一触觉输出信号;
当用户眼睛注视方向被确定为远离所述显示设备上的所述对象时,由所述处理器生成代表第二触觉效果的第二触觉输出信号;
当用户眼睛注视方向被确定为指向所述显示设备上的所述对象时,由所述处理器发送第一触觉信号;
当用户眼睛注视方向被确定为远离所述显示设备上的所述对象时,由所述处理器发送第二触觉信号;以及
由触觉输出设备基于相对于所述显示设备上的所述对象的用户眼睛注视方向来向用户输出第一触觉效果或第二触觉效果。
15.如权利要求14所述的方法,其中确定用户眼睛注视方向包括:
由传感器捕捉图像;以及
由处理器基于所述图像确定用户眼睛注视方向。
16.如权利要求14所述的方法,其中确定用户眼睛注视方向包括:
由传感器监视用户眼睛附近肌肉的运动;以及
借助处理器基于用户眼睛附近肌肉的运动来确定用户眼睛注视方向。
17.如权利要求14所述的方法,还包括:
由处理器生成包括所述对象的增强现实空间;
在所述显示设备上显示所述增强现实空间;以及
当用户眼睛注视方向被确定为指向所述增强现实空间中的所述对象时,生成第一触觉输出信号。
18.一种系统,包括:
处理设备;以及
通信地耦合到所述处理设备的非暂态计算机可读介质,所述非暂态计算机可读介质包括处理器可执行指令,其中所述处理设备被配置为执行存储在所述非暂态计算机可读介质中的所述处理器可执行指令以:
从传感器接收传感器信号;
基于来自所述传感器的传感器信号确定相对于显示设备上的对象的用户眼睛注视方向;
基于相对于所述显示设备上的对象的用户眼睛注视方向和所述对象的类型确定第一触觉效果的第一参数;
基于用户眼睛注视方向和所述对象的类型确定第二触觉效果的第二参数,其中第二参数不同于第一参数,第一参数或第二参数包括触觉效果的振幅、频率或持续时间;
当用户眼睛注视方向被确定为指向所述显示设备上的所述对象时,生成代表第一触觉效果的第一触觉输出信号;
当用户眼睛注视方向被确定为远离所述显示设备上的所述对象时,生成代表第二触觉效果的第二触觉输出信号;以及
向触觉输出设备输出第一触觉输出信号或第二触觉输出信号,所述触觉输出设备被配置为从所述处理设备接收第一触觉输出信号和第二触觉输出信号,以及基于相对于所述显示设备上的所述对象的用户眼睛注视方向来向用户输出第一触觉效果或第二触觉效果。
19.如权利要求18所述的系统,其中传感器包括配置为捕捉图像的照相机,并且其中所述处理设备还被配置为执行存储在所述非暂态计算机可读介质中的所述处理器可执行指令以基于所述图像确定用户眼睛注视方向。
20.如权利要求18所述的系统,其中所述传感器能操作以用于感测用户眼睛附近肌肉的运动,并且其中所述处理设备被配置为执行存储在所述非暂态计算机可读介质中的所述处理器可执行指令以基于用户眼睛附近肌肉的运动来确定用户眼睛注视方向。
CN201910219464.4A 2013-03-11 2014-03-11 依据眼睛注视的触觉感觉 Pending CN110096140A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/793,966 US9833697B2 (en) 2013-03-11 2013-03-11 Haptic sensations as a function of eye gaze
US13/793,966 2013-03-11
CN201410086638.1A CN104049731B (zh) 2013-03-11 2014-03-11 依据眼睛注视的触觉感觉

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410086638.1A Division CN104049731B (zh) 2013-03-11 2014-03-11 依据眼睛注视的触觉感觉

Publications (1)

Publication Number Publication Date
CN110096140A true CN110096140A (zh) 2019-08-06

Family

ID=50513658

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910219464.4A Pending CN110096140A (zh) 2013-03-11 2014-03-11 依据眼睛注视的触觉感觉
CN201410086638.1A Active CN104049731B (zh) 2013-03-11 2014-03-11 依据眼睛注视的触觉感觉

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410086638.1A Active CN104049731B (zh) 2013-03-11 2014-03-11 依据眼睛注视的触觉感觉

Country Status (5)

Country Link
US (3) US9833697B2 (zh)
EP (1) EP2778848B1 (zh)
JP (2) JP2014197388A (zh)
KR (1) KR20140111605A (zh)
CN (2) CN110096140A (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202352B2 (en) * 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
KR20140141916A (ko) * 2013-06-03 2014-12-11 삼성전자주식회사 사용자 기기의 알림 기능 운용 방법 및 장치
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
KR102254169B1 (ko) * 2014-01-16 2021-05-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10802582B1 (en) * 2014-04-22 2020-10-13 sigmund lindsay clements Eye tracker in an augmented reality glasses for eye gaze to input displayed input icons
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US10001837B2 (en) * 2014-12-23 2018-06-19 Intel Corporation Technologies for interacting with computing devices using haptic manipulation
US20160187976A1 (en) * 2014-12-29 2016-06-30 Immersion Corporation Systems and methods for generating haptic effects based on eye tracking
US9744853B2 (en) 2014-12-30 2017-08-29 Visteon Global Technologies, Inc. System and method of tracking with associated sensory feedback
CN105824400A (zh) * 2015-01-06 2016-08-03 索尼公司 电子设备的控制方法、控制装置以及电子设备
CN105005728A (zh) * 2015-07-29 2015-10-28 南京大学 基于眼动输入带振动反馈的密码输入装置
US9740508B2 (en) * 2015-08-21 2017-08-22 International Business Machines Corporation Alerting a user of an indicated impact of a command
CN107016270A (zh) * 2015-12-01 2017-08-04 由田新技股份有限公司 结合脸部认证或手部认证的动态图形眼动认证系统、方法
EP3179336A1 (en) * 2015-12-07 2017-06-14 Thomson Licensing Method and device for rendering haptic effects in an immersive content
DE102015016152A1 (de) * 2015-12-12 2017-06-14 Daimler Ag Haptische Rückmeldung bei einer Nutzerschnittstelle
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
US10198072B2 (en) * 2016-06-08 2019-02-05 Immersion Corporation Haptic feedback for opportunistic displays
US9990524B2 (en) * 2016-06-16 2018-06-05 Hand Held Products, Inc. Eye gaze detection controlled indicia scanning system and method
US10324531B2 (en) * 2016-12-27 2019-06-18 Immersion Corporation Haptic feedback using a field of view
WO2018187748A1 (en) * 2017-04-07 2018-10-11 Unveil, LLC Systems and methods for mixed reality medical training
US20180373325A1 (en) * 2017-06-22 2018-12-27 Immersion Corporation Haptic dimensions in a variable gaze orientation virtual environment
US20180373327A1 (en) * 2017-06-26 2018-12-27 Hand Held Products, Inc. System and method for selective scanning on a binocular augmented reality device
US10916105B2 (en) 2018-09-06 2021-02-09 Bank Of America Corporation Processing system for providing enhanced reality interfaces at an automated teller machine (ATM) terminal platform
US10755250B2 (en) 2018-09-07 2020-08-25 Bank Of America Corporation Processing system for providing a teller assistant experience using enhanced reality interfaces
US10462425B1 (en) 2018-09-07 2019-10-29 Bank Of America Corporation Processing system for providing a teller assistant experience using enhanced reality interfaces
US10775894B2 (en) * 2018-11-02 2020-09-15 Immersion Corporation Systems and methods for providing customizable haptic playback
CN113228153A (zh) * 2018-12-21 2021-08-06 镭亚股份有限公司 具有视图终点指示器的多视图显示系统、多视图显示器和方法
US20200201437A1 (en) * 2018-12-21 2020-06-25 Immersion Corporation Haptically-enabled media
JP7079225B2 (ja) * 2019-07-08 2022-06-01 グリー株式会社 位置情報提示システム、位置情報提示装置、位置情報提示プログラムおよび位置情報提示方法
KR20190106926A (ko) * 2019-08-30 2019-09-18 엘지전자 주식회사 전자 기기
US11429155B2 (en) * 2019-10-01 2022-08-30 Dell Products L.P. Information handling system including dynamic configuration of piezoelectric transducers for multi-functionality
JP2021103414A (ja) * 2019-12-25 2021-07-15 株式会社東海理化電機製作所 触覚呈示装置
WO2021157804A1 (ko) * 2020-02-09 2021-08-12 모션퀸㈜ 증강 현실 구현 방법 및 이를 수행하는 장치
US11695758B2 (en) * 2020-02-24 2023-07-04 International Business Machines Corporation Second factor authentication of electronic devices
US20230082732A1 (en) * 2021-09-12 2023-03-16 Sony Interactive Entertainment Inc. Using data from a game metadata system to create actionable in-game decisions
WO2023174538A1 (en) * 2022-03-17 2023-09-21 Telefonaktiebolaget Lm Ericsson (Publ) Controlling a haptic touchscreen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10153946A (ja) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp 感覚情報提示装置
WO2006100645A2 (en) * 2005-03-24 2006-09-28 Koninklijke Philips Electronics, N.V. Immersive reading experience using eye tracking
CN101998081A (zh) * 2010-10-18 2011-03-30 冠捷显示科技(厦门)有限公司 利用眼睛进行电视屏幕菜单选择的实现方法
US20110227824A1 (en) * 2008-12-09 2011-09-22 Koninklijke Philips Electronics N.V. Method and system for providing immersive effects

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0490244U (zh) * 1990-12-13 1992-08-06
JP3408263B2 (ja) * 1992-03-30 2003-05-19 株式会社東芝 情報提示装置及び情報提示方法
JPH0869449A (ja) * 1994-08-26 1996-03-12 Matsushita Electric Works Ltd 3次元物体の体感シミュレーション装置
EP0864145A4 (en) 1995-11-30 1998-12-16 Virtual Technologies Inc TACTILE FEEDBACK FOR HUMAN / MACHINE INTERFACE
JP3844874B2 (ja) * 1998-02-27 2006-11-15 株式会社東芝 マルチモーダルインタフェース装置およびマルチモーダルインタフェース方法
US6906619B2 (en) * 2003-02-27 2005-06-14 Motorola, Inc. Visual attention influenced condition indicia apparatus and method
JP4221469B2 (ja) 2004-03-30 2009-02-12 フォースワンホールディングス株式会社 ドアの緩衝装置およびドア構造
BRPI0712837B8 (pt) * 2006-06-11 2021-06-22 Volvo Tech Corporation método para determinação e análise de uma localização de interesse visual
ATE544548T1 (de) 2006-07-14 2012-02-15 Avioprop S R L Verfahren zum massenherstellen dreidimensionale gegenstände aus intermetallische verbindungen
JP4777182B2 (ja) * 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
US7792328B2 (en) * 2007-01-12 2010-09-07 International Business Machines Corporation Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
US20090088659A1 (en) * 2007-09-27 2009-04-02 Immersion Corporation Biological Sensing With Haptic Feedback
JP4577586B2 (ja) * 2008-03-26 2010-11-10 株式会社デンソー 車両用操作装置
US20100128112A1 (en) * 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
US9492344B2 (en) * 2009-08-03 2016-11-15 Nike, Inc. Unified vision testing and/or training
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
CN102248746B (zh) 2010-05-21 2014-04-30 鸿富锦精密工业(深圳)有限公司 位置保持装置
US20120075122A1 (en) * 2010-09-24 2012-03-29 Honeywell International Inc. Alert generation and related aircraft operating methods
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP2012123513A (ja) * 2010-12-07 2012-06-28 Sony Corp 情報処理装置、および情報処理システム
JP2012120798A (ja) 2010-12-10 2012-06-28 Univ Of Tsukuba 装着型入力装置及び人支援装置及び人支援装置の制御方法
TWI530818B (zh) * 2011-01-20 2016-04-21 宏達國際電子股份有限公司 具有觸覺回饋之電子裝置及提供觸覺回饋之方法
EP2693311A4 (en) 2011-03-30 2014-09-17 Honda Motor Co Ltd OPERATIVE DEVICE
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5785015B2 (ja) * 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
WO2013018267A1 (ja) 2011-07-29 2013-02-07 パナソニック株式会社 提示制御装置、及び提示制御方法
US20130169545A1 (en) * 2011-12-29 2013-07-04 Research In Motion Corporation Cooperative displays
US20130187845A1 (en) * 2012-01-20 2013-07-25 Visteon Global Technologies, Inc. Adaptive interface system
US20140015773A1 (en) * 2012-02-24 2014-01-16 Thomson Licensing Haptic sensation for touch-screen interfaces
US20130300759A1 (en) * 2012-05-08 2013-11-14 Nokia Corporation Method and apparatus for modifying the presentation of information based on the attentiveness level of a user

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10153946A (ja) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp 感覚情報提示装置
WO2006100645A2 (en) * 2005-03-24 2006-09-28 Koninklijke Philips Electronics, N.V. Immersive reading experience using eye tracking
US20110227824A1 (en) * 2008-12-09 2011-09-22 Koninklijke Philips Electronics N.V. Method and system for providing immersive effects
CN101998081A (zh) * 2010-10-18 2011-03-30 冠捷显示科技(厦门)有限公司 利用眼睛进行电视屏幕菜单选择的实现方法

Also Published As

Publication number Publication date
CN104049731B (zh) 2019-04-16
JP2014197388A (ja) 2014-10-16
EP2778848B1 (en) 2020-09-09
JP6703044B2 (ja) 2020-06-03
US9833697B2 (en) 2017-12-05
EP2778848A3 (en) 2016-08-31
US20140256438A1 (en) 2014-09-11
KR20140111605A (ko) 2014-09-19
US20180111050A1 (en) 2018-04-26
JP2018173983A (ja) 2018-11-08
CN104049731A (zh) 2014-09-17
US10220317B2 (en) 2019-03-05
US20190217196A1 (en) 2019-07-18
EP2778848A2 (en) 2014-09-17

Similar Documents

Publication Publication Date Title
CN104049731B (zh) 依据眼睛注视的触觉感觉
US10564730B2 (en) Non-collocated haptic cues in immersive environments
US10466791B2 (en) Interactivity model for shared feedback on mobile devices
CN104423591B (zh) 用于光谱图的视觉处理以生成触觉效果的系统和方法
EP2778847B1 (en) Contactor-based haptic feedback generation
US8711118B2 (en) Interactivity model for shared feedback on mobile devices
EP1927916A1 (en) Apparatus, method, and medium for outputting tactile feedback on display device
EP3418863A1 (en) Haptic dimensions in a variable gaze orientation virtual environment
KR20180066865A (ko) 햅틱들을 가지는 컴플라이언스 착시들을 위한 시스템들 및 방법
EP4085319A1 (en) Human interface system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190806

WD01 Invention patent application deemed withdrawn after publication