CN101449228B - 基于眼睛信息的显示 - Google Patents

基于眼睛信息的显示 Download PDF

Info

Publication number
CN101449228B
CN101449228B CN2006800547816A CN200680054781A CN101449228B CN 101449228 B CN101449228 B CN 101449228B CN 2006800547816 A CN2006800547816 A CN 2006800547816A CN 200680054781 A CN200680054781 A CN 200680054781A CN 101449228 B CN101449228 B CN 101449228B
Authority
CN
China
Prior art keywords
content
size
distance
focus
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800547816A
Other languages
English (en)
Other versions
CN101449228A (zh
Inventor
M·M·R·韦佐夫斯基
P·N·F·贾伦斯科格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN101449228A publication Critical patent/CN101449228A/zh
Application granted granted Critical
Publication of CN101449228B publication Critical patent/CN101449228B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04805Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种方法包括确定在眼睛与设备之间的距离,以及根据所述距离调节在设备上显示的内容的标度。

Description

基于眼睛信息的显示
背景
发明领域
这里描述的实现总的涉及设备,更具体地,涉及根据眼睛信息调节的显示器。
相关技术的描述
当移动通信设备上的小型显示器试图在它们的边界内传达大量信息时它们呈现出问题。例如,移动通信设备可以显示电话号码列表来帮助用户找出电话号码。然而,取决于在显示器上的内容(例如,电话号码列表)的尺寸和显示器离用户眼睛的距离,用户可能必须把设备移动到更接近于他/她的眼睛,以便清楚地观看内容。同样地,用户可能希望增大在显示器上的一部分内容(例如,在列表上的特定的电话号码),但在不把该内容部分移动到更接近于他/她的眼睛的情况下可能不能执行这样的任务。最后,与没有视觉障碍的用户相比,有视觉障碍的用户因而可能需要把显示器上显示的内容增大得更多。
概要
按照一个方面,一种方法可包括确定眼睛与设备之间的距离和根据所述距离调节在设备上显示的内容的标度(scale)。
另外,该方法可包括通过被包括在设备中的距离传感器确定距离。
另外,该方法可包括随距离减小而减小在设备上显示的内容的标度。
另外,该方法可包括随距离增加而增加在设备上显示的内容的标度。
另外,增加内容的标度可包括以下之一:随距离增加而连续地增加内容的标度,随距离增加而以离散的步级增加内容的标度,随距离增加而对数地增加内容的标度,或随距离增加而指数地增加内容的标度。
另外,该方法可包括根据用户控制的内容缩放来调节内容的标度。
另外,该方法可包括根据眼睛信息确定内容的焦点,和根据距离调节对应于焦点的该内容的一部分的标度。
另外,该方法可包括把调节的内容部分显示在设备上。
另外,该方法可包括随距离增加而增加对应于焦点的内容部分的标度。
另外,该方法可包括通过被包括在设备中的眼睛跟踪传感器确定焦点。
另外,该方法可包括根据用户输入的位置把焦点调节到内容中的一个点。
另外,该方法可包括根据所述距离调节对应于所调节的焦点的内容部分的标度。
按照另一个方面,一种方法可包括得到与设备相关联的眼睛信息,根据眼睛信息确定在设备上显示的内容的焦点,以及根据焦点调节该内容的一部分的标度。
另外,该方法可包括在设备上显示所调节的内容部分。
另外,该方法可包括随着在眼睛与设备之间的距离增加而增加内容部分的标度。
按照再一个方面,一种设备可包括用于得到与设备相关联的眼睛信息的装置,用于根据眼睛信息确定对于内容的焦点的装置,用于显示内容的装置,以及用于随着在眼睛与设备之间的距离增加而增加内容的标度的装置。
按照又一个方面,一种设备可包括用来得到与设备相关联的眼睛信息的眼睛信息收集器和处理逻辑。处理逻辑可以根据眼睛信息确定在眼睛与设备之间的距离,根据眼睛信息确定对于内容的焦点,显示内容,显示内容中的焦点,以及根据距离调节对应于焦点的该内容的一部分的标度。
另外,眼睛信息收集器可包括距离传感器或眼睛跟踪传感器的至少一个。
另外,当确定在眼睛与设备之间的距离时,处理逻辑可被配置成根据从距离传感器接收的信息确定距离。
另外,当确定对于内容的焦点时,处理逻辑可被配置成根据从眼睛跟踪传感器接收的信息确定焦点。
另外,当显示在内容中的焦点时,处理逻辑可被配置成根据用户输入的位置把焦点调节到内容中的一个点。
另外,当确定对于内容的焦点时,处理逻辑可被配置成根据用户输入的位置确定焦点。
另外,当根据距离调节内容部分的标度时,处理逻辑可被配置成以下之一,即:随距离增加而连续地、离散地、对数地、或指数地增加内容部分的标度。
按照另一方面,一种设备可包括用来存储指令的存储器、和用来执行指令的处理器。处理器可以执行指令以:根据眼睛信息确定对于内容的焦点;显示内容;和随着在眼睛与设备之间的距离增加而增加对应于焦点的该内容的一部分的标度。
按照又一个方面,一种方法可包括呈现内容以在设备上显示,以及随着眼睛与设备之间的距离增加而增加内容的至少一部分的标度。
按照再一个方面,一种方法可包括把焦点显示在设备上,增加对应于焦点的内容的标度直至所述内容能看见为止,以及根据所确定的能看见的内容来更新内容标度调节设置值。
附图简述
在本说明书中并入且构成本说明书的一部分的附图图解显示本发明的实施例,并连同说明书一起来解释本发明。在图上:
图1是说明与本发明的原理相一致的构思的示例性图;
图2是其中可以实施与本发明的原理相一致的系统和方法的示例性设备的图;
图3是图2的示例性设备的示例性部件的图;
图4A-6C是根据与本发明的原理相一致的实现的示例性显示方法的图;以及
图7-9是根据与本发明的原理相一致的实现的示例性处理过程的流程图。
详细说明
以下的本发明的详细说明参考附图。在不同的图上相同的参考数字可以标识相同的或类似的单元。另外,以下的详细说明不限制本发明。
与本发明的原理相一致的实现可以涉及到根据眼睛信息的内容显示。通过使用用户的眼睛信息(例如,设备可能离用户的眼睛的距离和由用户聚焦到的设备显示器的部分),具有可变标度的内容可被显示在设备上。例如,设备离用户的眼睛的距离可以通过在设备中提供的距离传感器被确定。内容的标度可以根据由距离传感器所测量的距离进行调节。可能由眼睛聚焦到的设备显示器的部分(例如,焦点)可以通过在设备中提供的眼睛跟踪传感器被确定。内容的一个部分的标度可以根据由距离传感器测量的距离和/或根据眼睛的焦点进行调节。例如,内容的标度可以在焦点附近处增加。也就是,在焦点附近的内容的标度可以大于离焦点更远的内容的标度。
“标度”,当该术语在这里使用时,要被广义地解译为包括正常在显示器上提供的内容的尺寸与在显示器上提供的内容的基于眼睛距离的尺寸的关系。标度可以被做为分数或比值(例如,10:1)给出。代表性分数标度(例如,10:1)可以意味着:内容的基于眼睛距离的尺寸可以是正常在显示器上提供的内容的尺寸的十倍。第一个数(例如,基于眼睛距离的内容尺寸)对于每个标度可以是不同的。第二个数(例如,正常内容尺寸)可以是一。第一个数(基于眼睛距离的内容尺寸)越大,内容的尺寸也越大。大的标度(例如,100:1标度)可以显示大尺寸的内容。小的标度(例如,2:1标度)可以显示较小尺寸的内容。
“内容”,当该术语在这里使用时,要被广义地解译为包括任何机器可读的和机器可存储的工作产品。内容可包括,例如,应用、程序、电子邮件、网址、文件、文件的组合、具有嵌入的到其它文件的链接的一个或多个文件,任何的上述的组合、到任何上述的链接或捷径等等。内容可包括文本信息、图形信息(例如,图标、图像、视频等等)、嵌入的信息(诸如,元信息、图像、超级链接等等)、和/或嵌入的指令(诸如,Javasript等等)。
“链接”,当该术语在这里使用时,要被广义地解译为包括从内容到其它内容或到相同内容的另一部分或者从其它内容或相同内容的另一部分到此内容的任何引用,。
“设备”,当该术语在这里使用时,要被广义地解译为包括无线电话;可以组合蜂窝无线电话与数据处理、传真和数据通信能力的个人通信系统(PCS)终端;可以包括无线电话、寻呼机、互联网/内联网接入、web浏览器、组织器、日历、距离传感器、眼睛跟踪传感器、多普勒接收机、和/或全球定位系统(GPS)接收机的个人数字助理(PDA);膝上型计算机;GPS设备;和能够显示内容的任何其它计算或通信设备,诸如个人计算机。
“距离传感器”,当该术语在这里使用时,要被广义地解译为包括近程传感器、激光距离传感器、使用通过高频声波的回波定位的距离传感器、红外距离传感器、能够测量到用户的眼睛和/或头部的距离的任何其它距离传感器等等。
“眼睛跟踪传感器”,当该术语在这里使用时,要被广义地解译为眼睛注视传感器、红外照相机与红外照明器(例如,激光发射二极管)组合、被使用来传感、定位、和追随眼睛的运动的设备、能够跟踪眼睛运动的任何其它传感器等等。例如,在一个实现中,照相机可以在用户聚焦到设备时聚焦到一个或两个眼睛并记录运动。对比度可被使用来找出瞳孔的中心,红外波束可被使用来创建角膜反射,以及二者的三角测量可被使用来确定用户的焦点。
虽然距离传感器和眼睛跟踪传感器可被描述为两个分开的传感器,但距离传感器可被合并到眼睛跟踪传感器。例如,在与本发明的原理一致的一个实现中,红外距离传感器可被合并到眼睛跟踪传感器的红外照明器。如果光源被使用于距离传感器和/或眼睛跟踪传感器,则光可以是不可见的以及是具有对于用户的连续使用安全的低强度的。
图1是说明与本发明的原理一致的概念的示例性图。如图1所示,设备的显示器100可以被用户的眼睛110观看。眼睛110可以定位为离开显示器100一个距离120,并且可以聚焦到显示器100的一部分,即,焦点130。显示器100可以显示具有正常尺寸内容的一部分150的内容140。在内容140中可以提供焦点130的表示(例如,点,十字叉等等)。例如焦点130的表示可以被提供在由眼睛110聚焦到的内容140的一部分上。内容140的标度可以在与焦点130邻近或对应于焦点130的内容140的一部分160处增加。例如,如图1所示,更靠近焦点130的部分160的标度可能比远离焦点130的部分150的标度大。
示例性设备结构
图2是根据与本发明的原理一致的实现的示例性设备200的图。如图2所示,设备200可包括外壳210、扬声器220、显示器230、控制按钮240、小键盘250、话筒260、距离传感器270、和眼睛跟踪传感器280。外壳210可以相对外部元件来保护设备200的部件。扬声器220可以把可听见的信息提供给设备200的用户。显示器230可以把可视的信息提供给用户。例如,显示器230可以提供有关进入的或外出的呼叫的信息、游戏、电话簿、当前的时间等等。在与本发明的原理一致的实现中,显示器230可以以具有可调节标度的内容的形式给用户提供信息。控制按钮240可以许可用户与设备200交互作用,以使得设备200执行一个或多个操作。小键盘250可包括标准电话小键盘。话筒260可以接收来自用户的可听见的信息。距离传感器270可以确定在设备200与眼睛(例如,眼睛110)之间的距离。眼睛跟踪传感器280可以传感、定位和追随眼睛的运动。
图3是设备200的示例性部件的图。如图3所示,设备200可包括处理逻辑310、存储体320、用户接口330、通信接口340、天线组件350、和眼睛信息收集器360。处理逻辑310可包括处理器、微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等等。处理逻辑310可包括数据结构或软件程序,用来控制设备200和它的部件的操作。存储体320可包括随机存取存储器(RAM)、只读存储器(ROM)、和/或另外类型的存储器,用来存储可以由处理逻辑310使用的数据和指令。
用户接口330可包括用于输入信息到设备200和/或用于从设备200输出信息的机构。输入和输出机构的例子可包括扬声器(例如,扬声器220),用来接收电信号并输出音频信号;话筒(例如,话筒260),用来接收音频信号并输出电信号;按钮(例如,操纵杆、控制按键240和/或小键盘250的按键),用来许可数据和控制命令被输入到设备200;显示器(例如,显示器230),用来输出可视的信息;和/或振动器,用来使得设备200振动。
通信接口340例如可包括发射机,可以用来把来自处理逻辑310的基带信号变换为射频(RF)信号;和/或接收机,可以用来把RF信号变换为基带信号。替换地,通信接口340可包括收发信机,用来执行发射机和接收机两者的功能。通信接口340可以连接到用于发射和接收RF信号的天线组件350。天线组件350可包括一个或多个天线,以通过空中发送和接收RF信号。天线组件350可以接收来自通信接口340的RF信号并通过空中发射它们,以及通过空中接收RF信号并把它们提供到通信接口340。
眼睛信息收集器360可以从设备200得到眼睛信息。在一个实现中,眼睛信息可以对应于在设备200与眼睛(例如,眼睛110)之间的距离。在这种情形下,眼睛信息收集器360可包括距离传感器(例如,距离传感器270),其可以用来确定在设备200与眼睛之间的距离。在另一个实现中,眼睛信息可以对应于眼睛的运动和/或在设备显示器(例如,显示器230)上由眼睛所聚焦到的位置(例如,焦点130)。在这种情形下,眼睛信息收集器360可包括眼睛跟踪传感器(例如,眼睛跟踪传感器280),其可以传感、定位、和追随眼睛的运动。在再一个实现中,眼睛信息可以对应于用户输入的焦点。在这种情形下,眼睛信息收集器360可包括键盘或另外类型的输入按钮(例如,控制按钮240和/或小键盘250的按键),用来许可用户输入关于焦点的信息。
正如下面将详细地描述的,与本发明的原理一致的设备200可以根据眼睛信息执行有关可变尺寸内容的显示的某些操作。设备200可以响应于处理逻辑310执行被包含在计算机可读介质-诸如存储体320-中的应用的软件指令,而执行这些操作。计算机可读介质可被规定为物理的或逻辑的存储器件和/或载波。
软件指令可以经由通信接口340从另一个计算机可读介质或从另一个设备被读到存储体320中。被包含在存储体320中的软件指令可以使得处理逻辑310执行处理过程,这将在后面描述。替换地,可以使用硬连线的电路来替代软件指令或与软件指令相组合,以便实施与本发明的原理一致的处理过程。因此,与本发明的原理一致的实现不限于硬件电路和软件的任何特定的组合。
示例的显示方法
图4A-6C是根据与本发明的原理一致的实现的示例性显示方法的图。图4A-6C的显示方法可以在设备200上(例如,在设备200的显示器230上)被表达。
根据眼睛距离的统一(uniform)内容标度调节
如图4A所示,设备的显示器400(例如设备200的显示器230)可以显示可包括具有正常尺寸内容的部分150的内容140。显示器400可以被眼睛110观看,眼睛可以定位为离开显示器400一个距离410,并可以聚焦到显示器400的一部分,例如焦点130。距离410可以由在设备200中提供的距离传感器(例如,距离传感器270)计算。在一个实现中,如图4A所示,在内容140中可以提供焦点130的表示(例如,点,十字叉等等)。例如焦点130的表示可以被提供在显示器400上由眼睛110所聚焦到的内容140的一部分上。在另一个实现中,焦点130可能没有提供在内容140中。
在与本发明的原理一致的一个实现中,如果眼睛已足够靠近设备显示器,则内容的标度可能不能被调节。例如,在内容的标度可被调节之前,对于内容调节的预定阈值可以由用户对于眼睛可能离开设备的距离进行设置。如图4A的示例性图所示,距离410可以小于预定阈值。因此,显示器400的内容140可以不被调节,以及可以保持它的正常尺寸(例如,正常尺寸的内容部分150)。
在与本发明的原理一致的另一个实现中,内容的标度可以根据眼睛定位离开设备显示器的距离而被调节。例如,如图4B所示,显示器400可以被定位为离开显示器400一个距离410的眼睛110观看。距离420可以大于对于内容调节的预定阈值。因此,显示器400的内容140可以根据距离420被统一地调节。例如,当眼睛110与显示器400之间的距离420增加时内容140的尺寸(例如,标度)可以增加。内容140可以统一地增大,以便显示具有较大尺寸430的内容,如图4B所示。这可以使得用户能够从不同于紧邻眼睛的距离观看内容(例如,较大尺寸的内容430)。
根据眼睛距离与跟踪的局部内容标度调节
如图5A所示,设备的显示器500(例如,设备200的显示器230)可以显示可包括具有正常尺寸内容的部分150的内容140。显示器500可以被眼睛110观看,眼睛110可以定位为离开显示器500一个距离510,并可以聚焦到显示器500的一部分,例如焦点130。距离510可以由在设备中提供的距离传感器(例如,距离传感器270)计算。焦点130可以由眼睛跟踪传感器(例如,眼睛跟踪传感器280)计算。在一个实现中,如图5A所示,在内容140中可以提供焦点130的表示(例如,点、十字叉等等)。例如,焦点130的表示可以被提供在显示器500上由眼睛110聚焦到的内容140的一部分上。在另一个实现中,焦点130可以不提供在内容140中。
在一个实现中,如果眼睛足够靠近设备显示器,则内容的标度可能不被调节。例如,如图5A的示例性图所示,距离510可能小于对于内容调节的预定阈值。因此,由眼睛110所聚焦到的内容140的部分(例如,焦点130)可以不被调节,以及可以保持它的正常尺寸(例如,正常尺寸的内容部分150)。
在与本发明的原理一致的另一个实现中,被聚焦到的内容的部分(例如,焦点130)的标度可以根据眼睛与设备显示器之间的距离以及根据焦点而被调节。例如,如图5B所示,显示器500可以被可能定位为离开显示器500一个距离520的眼睛110观看。距离520可以大于对于内容调节的预定的阈值。因此,可以确定与焦点130邻近的或对应的内容140的部分530,并且可以根据距离520进行调节。例如,当眼睛110与显示器500之间的距离520增加时内容部分530的标度可以增加。这可以使得用户能够从不同于紧邻眼睛110的距离观看可能由用户所聚焦到的内容部分530。
虽然图1,4A,4B,5A和5B的焦点130可以根据-如由眼睛跟踪传感器确定的-由眼睛所聚焦到的显示器的部分而被自动确定,但在替换的实现中,焦点130可以由设备200的用户输入。例如,用户可以通过键盘或另外类型的输入按钮(例如,控制按钮240和/或小键盘250的按键)输入焦点(例如,要被突显的内容的部分)。
内容标度调节设置值
在设备显示器(例如,显示器100,400,500)上提供的内容的标度可被调节的方式有许多种。例如,在一个实现中,当眼睛与设备显示器之间的距离增加时,内容(或内容的一部分)的标度可以连续地增加。在另一个实现中,当眼睛与设备显示器之间的距离增加时,内容(或内容的一部分)的标度可以以离散的步级增加。在再一个实现中,当眼睛与设备显示器之间的距离增加时,内容(或内容的一部分)的标度可以对数地增加。在又一个实现中,当眼睛与设备显示器之间的距离增加时,内容(或内容的一部分)的标度可以指数地增加。
在与本发明的原理一致的实现中,任何上述的增加方法可以由设备200设置为缺省值。设备200的用户可以选择缺省值,或可以按想要地改变缺省值。例如,在一个实现中,如图6A-6C所示,设备的显示器600(例如,设备200的显示器230)可以显示可包括具有正常尺寸内容的部分150的内容140。焦点610可以与内容140的一部分相关联。
如图6B所示,可以提供与焦点610(未示出)相邻的、或对应于焦点610的、内容140的部分620,它可包括用户可能被要求观看的可变尺寸的内容630。可变尺寸的内容630可以在尺寸上增加,直至它是用户能观看的(例如,可读的)。例如,在一个实现中,用户可能被要求把设备200保持为离开眼睛一个距离,以及当可变尺寸的内容630能看见时,可能被要求通过键盘或另一种类型的输入按钮(例如,控制按钮240和/或小键盘250的按键)选择进入(enter)。如图6B进一步显示的,可变尺寸的内容630可能太小而不能由用户读出。
如图6C所示,可变尺寸的内容630可能最终在尺寸上足够增加使得该内容可以是用户能看见的。在这一点,用户可以通过键盘或另一种类型的输入按钮选择进入。在选择进入后,设备200可以更新要适应于用户选择的能看见的内容尺寸的内容标度调节。这样的安排可以使得用户能够定制设备200以满足他/她的视觉能力。例如,具有视觉障碍的个人比起具有完美视力的个人可能需要更多地增大内容的标度。
虽然图1和4A-6C仅仅示出了在显示器上焦点的单个表示,但在显示器上可以提供焦点的一个以上的表示。多焦点表示可以根据由眼睛跟踪传感器(例如,眼睛跟踪传感器280)接收的信息被自动地生成和/或由用户人工地生成。与多焦点表示邻近的或对应的内容的标度可以根据由距离传感器(例如,距离传感器270)测量的距离而增加。
在一个实现中,设备200的用户可以控制内容在显示器200上如何被显示。例如,设备200可包括用户控制的内容缩放机构(例如,控制按钮240和/或小键盘250的按键),它可以许可用户放大和缩小内容的任何部分。用户控制的内容缩放机构可以替换地或附加地基于用户聚焦到一部分内容有多长时间。例如,用户可以注视一部分内容达一段时间,以及当用户连续凝视该内容部分时该部分的标度可以连续增加。用户控制的缩放功能可以通过以上结合图4A-6C讨论的任何的显示方法被利用。
虽然图1和图4A-6C示出了基于眼睛距离的统一内容标度调节(例如,图4B显示整个内容140的统一标度增大)或基于眼睛距离与跟踪的局部内容标度调节(例如,图5B显示内容部分530的局部标度增大),但统一内容标度调节与局部内容标度调节可以组合。例如,与焦点邻近的或对应于焦点的内容部分的标度可被增大,以及相同内容的剩余部分的标度也可以增大,但可能没有像与焦点邻近的或对应于焦点的内容部分增大的那样多。这样的安排可以保证所有的内容是用户能看见的,而仍旧突显内容的焦点部分。
示例性处理过程
图7-9是根据与本发明的原理一致的实现的示例性处理过程的流程图。图7的处理过程通常可被描述为基于眼睛距离的统一内容标度调节。图8的处理过程通常可被描述为基于眼睛距离与焦点的局部内容标度调节。图9的处理过程通常可被描述为提供内容标度调节设置值。
基于眼睛距离的统一内容标度调节的显示处理过程
如图7所示,显示处理过程700可以得到眼睛信息(方块710)。例如,在以上结合图3描述的一个实现中,眼睛信息可以对应于在设备200与眼睛之间的距离。在这种情形下,眼睛信息收集器360可包括距离传感器(例如,距离传感器270),它可以确定在设备200与眼睛之间的距离。在以上结合图3描述的另一个实现中,眼睛信息可以对应于眼睛的运动和/或在设备显示器上由眼睛聚焦到的位置(例如,焦点130)。在这种情形下,眼睛信息收集器360可包括眼睛跟踪传感器(例如,眼睛跟踪传感器280),它可以传感、定位、和追随眼睛的运动。在以上结合图3描述的再一个实现中,眼睛信息可以对应于用户输入的焦点。在这种情形下,眼睛信息收集器360可包括键盘或另一种类型的输入按钮(例如,控制按钮240和/或小键盘250的按键),用来许可用户输入关于焦点的信息。
正如图7进一步显示的,处理过程700可以根据眼睛信息调节在显示器上所提供的内容的标度(方块720)。例如,在以上结合图4B描述的一个实现中,显示器400的内容140可以根据在眼睛110与显示器400之间的距离被调节。也就是,当在眼睛110与显示器400之间的距离增加时,内容140的标度可以增加。在一个实现中,当在眼睛与设备显示器之间的距离增加时,内容的标度可以连续地增加。在另一个实现中,当在眼睛与设备显示器之间的距离增加时,内容的标度可以以离散的步级增加。在再一个实现中,当在眼睛与设备显示器之间的距离增加时,内容的标度可以对数地增加。在又一个实现中,当在眼睛与设备显示器之间的距离增加时,内容的标度可以指数地增加。
处理过程700可以在设备显示器上显示所调节的内容(方块730)。例如,在以上结合图4B描述的一个实现中,可能是根据在眼睛110与显示器400之间的距离420而增大的、较大尺寸的内容430可以被提供在设备200的显示器400上。
对于基于眼睛距离与跟踪的局部内容标度调节的显示处理过程
如图8所示,显示处理过程800可以得到眼睛信息(方块810)。例如,在以上结合图3描述的一个实现中,眼睛信息可以对应于在设备200与眼睛之间的距离。在这种情形下,眼睛信息收集器360可包括距离传感器(例如,距离传感器270),它可以确定在设备200与眼睛之间的距离。在以上结合图3描述的另一个实现中,眼睛信息可以对应于眼睛的运动和/或在设备显示器上由眼睛所聚焦到的位置(例如,焦点130)。在这种情形下,眼睛信息收集器360可包括眼睛跟踪传感器(例如,眼睛跟踪传感器280),它可以传感、定位、和追随眼睛的运动。在以上结合图3描述的再一个实现中,眼睛信息可以对应于用户输入的焦点。在这种情形下,眼睛信息收集器360可包括键盘或另一种类型的输入按钮(例如,控制按钮240和/或小键盘250的按键),用来许可用户输入关于焦点的信息。
正如图8进一步显示的,处理过程800可以根据眼睛信息确定焦点(方块820)。例如,在以上结合图5A描述的一个实现中,显示器500可以被眼睛110观看,眼睛110可以聚焦到显示器500的一部分,例如焦点130。焦点130可以由眼睛跟踪传感器(例如,眼睛跟踪传感器280)计算,以及可能被提供或者不被提供在眼睛110所聚焦到的内容140的部分处。
处理过程800可以确定用户是否希望调节焦点(方块830)。如果焦点要被调节(方块830-‘是’),则处理过程800可以把焦点调节到不同于根据眼睛信息所确定的位置的另一个位置处(方块840)。例如,在一个实现中,焦点130可以由设备200的用户输入。用户可以用键盘或另一种类型的输入按钮(例如,控制按钮240和/或小键盘250的按键)输入焦点(例如,要被突显的内容的部分)。在另一个实现中,多个焦点可以替换地和/或附加于自动确定的焦点,由设备200的用户输入。
如果焦点不要被调节(方块830-‘否’),或如果焦点已被调节(方块840),则处理过程800可以根据眼睛信息,例如眼睛距离和/或焦点,调节内容的一部分的标度(方块850)。例如,在以上结合图5B描述的一个实现中,显示器500可以被眼睛110观看,眼睛110可以定位为离开显示器500一个距离520。与焦点130邻近的或对应于焦点130的内容140的部分530可以根据距离520被调节。也就是,当在眼睛110与显示器500之间的距离增加时,内容部分530的标度可以增加。在一个实现中,当在眼睛与设备显示器之间的距离增加时,内容的标度可以连续地增加。在另一个实现中,当在眼睛与设备显示器之间的距离增加时,内容的标度可以以离散的步级增加。在再一个实现中,当在眼睛与设备显示器之间的距离增加时,内容的标度可以对数地增加。在又一个实现中,当在眼睛与设备显示器之间的距离增加时,内容的标度可以指数地增加。
正如在图8上进一步显示的,处理过程800可以在设备显示器上显示所调节的内容部分(方块860)。例如,在以上结合图5B描述的一个实现中,可能是根据在眼睛110与显示器500之间的距离520而被增大的、增大的内容部分530可以被提供在设备200的显示器500上。
提供内容标度调节设置值的处理过程
如图9所示,处理过程900可以在设备显示器上显示焦点(方块910)。例如,在以上结合图6A描述的一个实现中,设备的显示器600(例如,设备200的显示器230)可以显示可包括具有正常尺寸内容的部分150的内容140。焦点610可以被提供在内容140的一部分处。处理过程900可以增加与焦点邻近的或对应于焦点的内容的标度(方块920)。例如,在以上结合图6B描述的一个实现中,可以确定与焦点610邻近的或对应于焦点610的内容140的部分620,它可包括用户可能被要求观看的可变尺寸内容630。可变尺寸内容630可以在尺寸上增加,直至它是用户能看见的(例如,可读的)为止。例如,用户可能被要求把设备200保持为离开眼睛一个距离,以及当可变尺寸的内容630能看见时,可能被要求通过键盘或另一种类型的输入按钮(例如,控制按钮240和/或小键盘250的按键)选择进入。
如图9进一步显示的,处理过程900可以确定与焦点邻近的或对应于焦点的内容是否能看见的(方块930)。如果该内容是不能看见的(方块930-‘否’),则处理过程900可以继续增加与焦点邻近的或对应于焦点的内容的标度(方块920)。如果该内容能看见(方块930-‘是’),则处理过程900可以根据能看见的内容的选择,更新内容标度调节(方块940)。例如,在以上结合图6C描述的一个实现中,可变尺寸的内容630可以最终在尺寸上足够地增加到该内容是用户能看见的。在这一点,用户可以通过键盘或另一种类型的输入按钮选择进入。在选择进入后,设备200可以更新要适应于用户选择的能看见的内容尺寸的内容标度调节。这样的安排可以使得用户能够定制设备200以满足他/她的视觉能力。例如,具有视觉障碍的个人比起具有完美视力的个人可能需要更多地增加内容的标度。
结论
与本发明的原理一致的系统和方法可以根据眼睛信息(例如,设备可能离眼睛的距离和正由眼睛聚焦到的设备显示器的部分),在设备上显示具有可变标度的内容。内容的标度可以根据由在设备中提供的距离传感器所测量的距离来调节。正由眼睛聚焦到的设备显示器的部分(例如,焦点)可以通过在设备中提供的眼睛跟踪传感器来确定。内容(或内容的部分)的标度可以根据由距离传感器测量的距离和/或根据眼睛的焦点被调节。
以上的本发明的优选实施例的描述提供说明和解释,但不打算是穷举的,或把本发明限于所公开的精确的形式。鉴于以上的教导,修改和变化是可能的,或这些修改和变化可以从本发明的实践得到。
例如,虽然动作系列是参照图7-9描述的,但在与本发明的原理一致的其它实现中动作的次序可以修改。而且,非依从的动作可以并行地执行。
应当强调指出,术语“包括”当被使用于本说明书中时,用来规定所阐述的特征、整体、步骤或部件的存在,但不排除一个或多个其它特征、整体、步骤、部件或它们的组的存在或添加。
本领域技术人员将会清楚,如上所述,本发明的方面可以以在附图上图示的实现中的软件、固件、和硬件的许多不同的形式被实施。被使用来实施与本发明的原理一致的方面的实际软件代码或专门化的控制硬件不是对本发明的限制。因此,这些方面的操作和行为没有参照特定的软件代码描述--应当理解,本领域技术人员将能够根据这里的描述来设计用来实施这些方面的软件和控制硬件。
在本申请中使用的单元、动作或指令不应当看作为对本发明是关键的或必须的,除非这样明显地描述。另外,正如这里使用的,冠词“a”打算包括一个或多个项。在打算是仅一个项的场合下,使用术语“one(一个)”或类似的语言。而且,词组“基于”打算是指“至少部分地基于”,除非另外明显地阐述。

Claims (8)

1.一种在移动通信设备上操作的方法,包括:
以第一尺寸显示内容;
确定在眼睛与显示该内容的设备之间的距离;
确定该内容由眼睛聚焦到的部分;
根据所述距离以及响应于确定该内容由眼睛聚焦到的部分,自动地把该内容的所述部分的尺寸调节到不同于第一尺寸的第二尺寸,其中该内容的所述部分的尺寸随着距离增加而增加;
把除该内容的所述部分之外的、该内容的剩余部分保持在第一尺寸;以及
与以第一尺寸显示该内容的剩余部分同时地以第二尺寸显示该内容的所述部分。
2.权利要求1的方法,其中自动地调节该内容的所述部分的尺寸包括:
随距离减小而把该内容的所述部分的尺寸减小到第二尺寸。
3.权利要求1的方法,其中增加该内容的所述部分的尺寸包括以下之一:
随距离增加而把该内容的所述部分的尺寸连续地增加到第二尺寸;
随距离增加而把该内容的所述部分的尺寸以离散的步级增加到第二尺寸;
随距离增加而把该内容的所述部分的尺寸对数地增加到第二尺寸;
随距离增加而把该内容的所述部分的尺寸指数地增加到第二尺寸;或
增加该内容的所述部分的尺寸,直至该内容的所述部分的尺寸是能由眼睛看见的。
4.权利要求1的方法,还包括:
根据用户控制的内容缩放来调节该内容的所述部分的尺寸。
5.权利要求1的方法,还包括:
把由眼睛聚焦到的该内容的所述部分确定为焦点;
根据用户输入的位置把焦点调节到内容中的一个点;以及
根据所述距离把对应于调节的焦点的、该内容的部分的尺寸调节到第二尺寸。
6.一种移动通信设备,包括:
显示器,以第一标度显示内容;
眼睛信息收集器,其得到与该设备相关联的眼睛信息,该眼睛信息包括对应于以下项的信息:
在眼睛与设备之间的距离,和
由眼睛所聚焦到的内容的部分;以及
处理单元,用来:
根据眼睛信息确定在眼睛与设备之间的距离,
根据眼睛信息确定所述内容的焦点,
经由显示器以第一标度显示所述内容,
在显示器上所显示的内容中显示该焦点,
根据所述距离,把对应于焦点的、该内容的所述部分的标度调节到不同于第一标度的第二标度,其中该内容的所述部分的标度随距离增加而增加,
把除对应于焦点的该内容的所述部分之外的、该内容的剩余部分的标度保持在第一标度,以及
经由显示器,与以第一标度显示该内容的剩余部分同时地以第二标度显示该内容的所述部分。
7.权利要求6的移动通信设备,其中眼睛信息收集器包括:
距离传感器;和
眼睛跟踪传感器。
8.权利要求7的移动通信设备,其中:
当确定在眼睛与设备之间的距离时,处理单元被配置成根据从距离传感器接收的信息来确定距离,
当确定内容的焦点时,处理单元被配置成根据从眼睛跟踪传感器接收的信息来确定焦点,以及
当显示内容中的焦点时,处理单元被配置成根据用户输入的位置把焦点调节到内容中的一个点。
CN2006800547816A 2006-05-31 2006-11-30 基于眼睛信息的显示 Expired - Fee Related CN101449228B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/421,188 US7591558B2 (en) 2006-05-31 2006-05-31 Display based on eye information
US11/421,188 2006-05-31
PCT/IB2006/054538 WO2007138394A1 (en) 2006-05-31 2006-11-30 Display based on eye information

Publications (2)

Publication Number Publication Date
CN101449228A CN101449228A (zh) 2009-06-03
CN101449228B true CN101449228B (zh) 2011-01-26

Family

ID=37959903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800547816A Expired - Fee Related CN101449228B (zh) 2006-05-31 2006-11-30 基于眼睛信息的显示

Country Status (4)

Country Link
US (1) US7591558B2 (zh)
EP (1) EP2021899A1 (zh)
CN (1) CN101449228B (zh)
WO (1) WO2007138394A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070152076A1 (en) * 2004-12-13 2007-07-05 Chiang Kuo C Monitoring system with a wireless transmitting/receiving module
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
US8762846B2 (en) * 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
US8482562B2 (en) * 2009-12-03 2013-07-09 International Business Machines Corporation Vision-based computer control
KR101651430B1 (ko) * 2009-12-18 2016-08-26 삼성전자주식회사 휴대용 단말기에서 출력 데이터의 사이즈를 조절하기 위한 장치 및 방법
WO2011100436A1 (en) * 2010-02-10 2011-08-18 Lead Technology Capital Management, Llc System and method of determining an area of concentrated focus and controlling an image displayed in response
EP2539797B1 (en) * 2010-02-25 2019-04-03 Hewlett Packard Development Company, L.P. Representative image
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
US8849845B2 (en) 2010-11-03 2014-09-30 Blackberry Limited System and method for displaying search results on electronic devices
US8717393B2 (en) 2010-11-03 2014-05-06 Blackberry Limited System and method for controlling a display of a mobile device
GB2490865A (en) * 2011-05-09 2012-11-21 Nds Ltd User device with gaze tracing to effect control
GB2490864A (en) * 2011-05-09 2012-11-21 Nds Ltd A device with gaze tracking and zoom
US20120293552A1 (en) * 2011-05-17 2012-11-22 Mcgowan James William Method And Apparatus For Display Zoom Control Using Object Detection
US20130002722A1 (en) * 2011-07-01 2013-01-03 Krimon Yuri I Adaptive text font and image adjustments in smart handheld devices for improved usability
CN102298500B (zh) * 2011-09-22 2012-12-19 重庆大学 一种自适应屏幕缩放调整方法
CN103176584A (zh) * 2011-12-26 2013-06-26 联想(北京)有限公司 电源管理系统和电源管理方法
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
TWI498829B (zh) * 2012-04-18 2015-09-01 Hon Hai Prec Ind Co Ltd 電子顯示設備及其選擇用戶介面的方法
US9046917B2 (en) * 2012-05-17 2015-06-02 Sri International Device, method and system for monitoring, predicting, and accelerating interactions with a computing device
CN102842301B (zh) 2012-08-21 2015-05-20 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
US9245497B2 (en) 2012-11-01 2016-01-26 Google Technology Holdings LLC Systems and methods for configuring the display resolution of an electronic device based on distance and user presbyopia
US9423939B2 (en) * 2012-11-12 2016-08-23 Microsoft Technology Licensing, Llc Dynamic adjustment of user interface
US20140137054A1 (en) * 2012-11-14 2014-05-15 Ebay Inc. Automatic adjustment of font on a visual display
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9842511B2 (en) * 2012-12-20 2017-12-12 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for facilitating attention to a task
CN103064519A (zh) * 2012-12-26 2013-04-24 珠海市魅族科技有限公司 一种信息内容的显示控制方法及终端
CN103902179A (zh) * 2012-12-28 2014-07-02 华为技术有限公司 一种交互方法及装置
WO2014115387A1 (ja) * 2013-01-28 2014-07-31 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
KR20160005013A (ko) * 2013-03-01 2016-01-13 토비 에이비 지연 워프 시선 상호작용
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9096129B2 (en) 2013-07-29 2015-08-04 Freescale Semiconductor, Inc. Method and system for facilitating viewing of information in a machine
US10379610B2 (en) * 2013-09-02 2019-08-13 Sony Corporation Information processing device and information processing method
JP2014041642A (ja) * 2013-10-16 2014-03-06 Nec Corp 携帯端末、表示動作制御方法、及び表示制御プログラム
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
CN104433109A (zh) * 2014-12-25 2015-03-25 贵阳康祥浩科技有限公司 一种保护套
CN104811532A (zh) * 2015-03-23 2015-07-29 努比亚技术有限公司 终端屏显参数的调整方法及装置
CN104808789B (zh) * 2015-04-03 2018-05-11 孙建康 一种移动终端的非接触式控制装置
CN105320264B (zh) * 2015-05-25 2019-10-15 维沃移动通信有限公司 一种移动终端的显示方法及移动终端
US10303341B2 (en) * 2016-05-25 2019-05-28 International Business Machines Corporation Modifying screen content based on gaze tracking and user distance from the screen
KR102193036B1 (ko) * 2016-07-05 2020-12-18 삼성전자주식회사 디스플레이장치, 디스플레이장치의 구동방법 및 컴퓨터 판독가능 기록매체
CN106775303B (zh) * 2016-11-29 2020-05-05 珠海格力电器股份有限公司 一种终端显示内容的调节方法和系统
US11106274B2 (en) * 2017-04-10 2021-08-31 Intel Corporation Adjusting graphics rendering based on facial expression
US11681415B2 (en) * 2018-10-31 2023-06-20 Apple Inc. Near-viewing notification techniques
US11614797B2 (en) * 2019-11-05 2023-03-28 Micron Technology, Inc. Rendering enhancement based in part on eye tracking
CN112714254B (zh) * 2020-12-29 2022-06-14 广州太平洋电脑信息咨询有限公司 一种视频台词显示方法、装置、电子设备及存储介质
EP4290870A4 (en) * 2021-08-16 2024-07-17 Boe Technology Group Co Ltd METHOD FOR CONTROLLING A DISPLAY DEVICE, DISPLAY DEVICE, DEVICE AND COMPUTER STORAGE MEDIUM

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0816982A2 (en) * 1996-06-25 1998-01-07 Sun Microsystems, Inc. Method and apparatus for eyetrack-mediated downloading

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5500671A (en) * 1994-10-25 1996-03-19 At&T Corp. Video conference system and method of providing parallax correction and a sense of presence
DE19827590C2 (de) * 1998-06-20 2001-05-03 Christoph Grosmann Verfahren und Vorrichtung zur Autostereoskopie
US20020060692A1 (en) * 1999-11-16 2002-05-23 Pixel Kinetix, Inc. Method for increasing multimedia data accessibility
GB0027143D0 (en) 2000-10-31 2000-12-20 Malvern Scient Solutions Ltd Optical tracking method and apparatus
US20020180733A1 (en) * 2001-05-15 2002-12-05 Koninklijke Philips Electronics N.V. Method and apparatus for adjusting an image to compensate for an offset position of a user
US7714880B2 (en) * 2001-11-16 2010-05-11 Honeywell International Inc. Method and apparatus for displaying images on a display
DE10160524A1 (de) * 2001-12-05 2003-06-26 Dyomics Gmbh Neue Fluoreszenzmarker mit großem Stokes-Shift
US7563907B2 (en) * 2002-12-05 2009-07-21 Dyomics Gmbh Compounds based on polymethines
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
WO2005010739A1 (en) 2003-07-29 2005-02-03 Philips Intellectual Property & Standards Gmbh System and method for controlling the display of an image
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0816982A2 (en) * 1996-06-25 1998-01-07 Sun Microsystems, Inc. Method and apparatus for eyetrack-mediated downloading

Also Published As

Publication number Publication date
CN101449228A (zh) 2009-06-03
WO2007138394A1 (en) 2007-12-06
US7591558B2 (en) 2009-09-22
EP2021899A1 (en) 2009-02-11
US20070279591A1 (en) 2007-12-06

Similar Documents

Publication Publication Date Title
CN101449228B (zh) 基于眼睛信息的显示
US8339376B2 (en) Zooming techniques for touch screens
US7768536B2 (en) Methods of displaying information at different zoom settings and related devices and computer program products
KR100787977B1 (ko) 이동 단말기에서 사용자 데이터 크기 조절 장치 및 방법
CN107533360B (zh) 一种显示、处理的方法及相关装置
KR101788046B1 (ko) 이동 단말기 및 그 제어방법
CN107817939B (zh) 一种图像处理方法及移动终端
US8284201B2 (en) Automatic zoom for a display
US20100305843A1 (en) Navigation indicator
US20110148931A1 (en) Apparatus and method for controlling size of display data in portable terminal
EP3046068B1 (en) Method and device for adjusting page display
EP2264627A2 (en) Mobile terminal and method of performing functions using the same
US8515760B2 (en) Mobile terminal and text-to-speech method of same
KR20090077927A (ko) 이동 단말기의 그룹을 트래킹
CN105306815A (zh) 一种拍摄模式切换装置、方法及移动终端
CN104915139A (zh) 显示界面亮度自动调节方法及装置
CN106791135B (zh) 一种自动局部缩放显示方法及移动终端
CN105100428A (zh) 一种联系人显示方法和系统
CN108304078B (zh) 一种输入方法、装置及电子设备
CN109917988B (zh) 选中内容显示方法、装置、终端及计算机可读存储介质
US20110115819A1 (en) Mobile wireless communications device displaying textual content by varying fonts using rapid serial visual presentation and associated methods
CN113452834B (zh) 一种显示方法、装置、存储介质及电子设备
US20090303257A1 (en) Mobile terminal device and display control method
CN114063786A (zh) 操作执行方法和装置、电子设备和可读存储介质
CN110955482B (zh) 弹窗显示的方法、装置、电子设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110126