CN103995580A - 信息处理设备和存储介质 - Google Patents

信息处理设备和存储介质 Download PDF

Info

Publication number
CN103995580A
CN103995580A CN201410044842.7A CN201410044842A CN103995580A CN 103995580 A CN103995580 A CN 103995580A CN 201410044842 A CN201410044842 A CN 201410044842A CN 103995580 A CN103995580 A CN 103995580A
Authority
CN
China
Prior art keywords
image
user
window
modified
fixation point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410044842.7A
Other languages
English (en)
Inventor
林和则
佐古曜一郎
今孝安
镰田恭则
中村隆俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103995580A publication Critical patent/CN103995580A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种信息处理设备和存储介质,该信息处理设备包括:检测单元,配置成检测在显示单元上所显示的显示图像中的用户的凝视点;估计单元,配置成基于由检测单元所检测到的凝视点来估计用户的意图;图像生成单元,配置成根据由估计单元所估计出的意图生成从显示图像细微地变化成最终显示图像的变化图像;以及显示控制单元,配置成按照显示由图像生成单元所生成的变化图像的方式来控制显示单元。

Description

信息处理设备和存储介质
相关申请的交叉引用
本申请要求2013年2月15日提交的日本优先权专利申请JP2013-027673的权益,该日本优先权专利申请的全部内容通过引用并入本文。
背景技术
本公开涉及一种信息处理设备和存储介质。
当用户将信息输入到信息处理设备中时,用户通常使用诸如由用户用他/她的手所操作的鼠标、键盘以及触摸面板的装置。同时,还开发了不是通过手而是通过声音或视线来输入信息的方式。
例如,JP H9-297651A公开了用于基于屏幕上视线的位置或视线移动的方向来显式地滚动或切换页面的技术。该技术能够使得如同使用鼠标和键盘一样滚动或切换页面。
JP2009-54101A公开了用于基于视线移动的方向和眨眼来显式地移动光标并且输入字母的技术。该技术被考虑由身体障碍的用户所使用。
发明内容
用户通常无意识地看着屏幕,并且很少带有对信息处理设备进行操作的意图看着屏幕。然而,在H9-297651A和JP2009-54101A的每个中所公开的技术接受基于想要对信息处理设备进行操作的眼睛运动的输入,并且基于所接受的输入显式地使屏幕显示发生变化。因此,即使当用户如同往常一样无意识地看着屏幕时,也接受了用户不想要的输入并且遗憾地执行了不想要的屏幕显示。
因此,本公开提出了一种新颖的并且改进的信息处理设备和存储介质,该信息处理设备和存储介质可以基于用户的凝视点来估计用户的意图并且基于所估计出的意图隐式地使屏幕显示发生变化。
根据本公开的实施例,提供了一种信息处理设备,该信息处理设备包括:检测单元,配置成检测在显示单元上所显示的显示图像中的用户的凝视点;估计单元,配置成基于由检测单元所检测到的凝视点来估计用户的意图;图像生成单元,配置成根据由估计单元所估计出的意图生成从显示图像起细微地变化成最终显示图像的变化图像;以及显示控制单元,配置成按照显示由图像生成单元所生成的变化图像的方式来控制显示单元。
根据本公开的另一实施例,提供了一种其中存储有程序的永久计算机可读存储介质,该程序使得计算机执行:检测在显示单元上所显示的显示图像中的用户的凝视点;基于所检测到的凝视点来估计用户的意图;根据所估计出的意图生成从显示图像起细微地变化成最终显示图像的变化图像;以及按照显示所生成的变化图像的方式来控制显示单元。
根据本公开的一个或更多个实施例,可以基于用户的凝视点来估计用户的意图,并且可以基于所估计出的意图隐式地使屏幕显示发生变化。
附图说明
图1是用于描述根据本公开的实施例的信息处理设备的概述的图;
图2是示出了根据本公开的实施例的智能电话的结构的框图;
图3是示出了根据本公开的实施例的智能电话的操作的流程图;
图4是用于描述根据本公开的实施例的智能电话的屏幕显示的图;
图5是用于描述根据修改例1的智能电话的屏幕显示的图;
图6是用于描述根据修改例2的智能电话的屏幕显示的图;
图7是用于描述根据修改例3的智能电话的屏幕显示的图;以及
图8是用于描述根据修改例4的智能电话的屏幕显示的图。
具体实施方式
在下文中,将参照附图详细地描述本公开的优选实施例。注意,在本说明书和附图中,采用相同的附图标记来表示基本上具有相同的功能和结构的结构性元件,并且省略对这些结构性元件的重复说明。
将按照下面的顺序进行描述。
1.根据本公开的实施例的信息处理设备的概述
2.本公开的实施例
2-1.智能电话的结构
2-2.操作处理
2-3.修改例
3.结论
<1.根据本公开的实施例的信息处理设备的概述>
将参照图1描述根据本公开的实施例的信息处理设备的概述。图1是用于描述根据本公开的实施例的信息处理设备的概述的图。如图1所示,作为示例,根据本实施例的信息处理设备由智能电话1实现。
智能电话1包括显示单元2和成像单元3,并且智能电话1采用显示单元2来为用户显示图像。如图1所示,显示单元2正显示图像20-1并且用户看着凝视点30,图像20-1包括具有多行字母串的文本部分。凝视点是在显示单元2上所显示的图像中的位置,不过用户是有意识地看着还是无意识地看着该位置并不重要。智能电话1基于由成像单元3对看着显示单元2的用户进行成像所获得的捕获图像、根据用户的眼睛运动的方向或角度来检测凝视点30。
针对在显示单元2上所显示的图像,用户通过用他/她的手对具有触摸面板功能的显示单元2以及各种按钮进行操作来滚动在显示单元2上所显示的屏幕或对太小而不能阅读的字母进行放大。即,智能电话1依照由用户用他/她的手所执行的操作使要显示在显示单元2上的图像发生变化。
在此,将考虑到智能电话1除了基于用手所执行的操作以外还基于凝视点30来使要显示在显示单元2上的图像发生变化。
如上所述,H9-297651A和JP2009-54101A各自公开了下述技术:该技术用于接受基于想要对信息处理设备进行操作的眼睛运动的输入,而不是接受用手所执行的操作。然而,因为用户通常无意识地看着屏幕,所以即使在用户如同往常一样无意识地看着屏幕的情况下,也遗憾地接受了用户不想要的输入。
关于这样的情形,如果信息处理设备可以不基于用户故意的眼睛运动而是基于用户的凝视点来估计用户的意图,则即使在用户如同往常一样无意识地看着屏幕的情况下也可以防止接受用户不想要的输入。
在H9-297651A和JP2009-54101A的每个中所公开的技术依照基于视线所接受的输入来显式地使屏幕显示发生变化。然而,即使信息处理设备估计出用户的意图,屏幕显示的显式的变化仍会使得用户不舒适地感觉到信息处理设备在没有用户任何指令的情况下进行操作。
如果信息处理设备可以基于所估计出的意图细微地使屏幕显示发生变化,即意味着信息处理设备可以隐式地使屏幕显示发生变化,以使得用户注意不到屏幕显示的变化,则可以防止用户有不舒适的感觉。
因此,鉴于这种情形,提供了根据本公开的实施例的信息处理设备。根据本公开的实施例的信息处理设备可以基于用户的凝视点来估计用户的意图,并且基于所估计出的意图隐式地使屏幕显示发生变化。
此外,将参照图1描述下述示例:在该示例中,智能电话1基于由用户无意识地移动的凝视点来估计用户的隐藏意图为字母难以阅读,并且隐式地使显示发生变化以使得字母变得易于阅读。
一般而言,当字母太小而不能阅读时,用户无意识地执行诸如盯着字母并且反复地阅读该字母之前和之后的部分的动作。因此,当检测到凝视点30停留在某个字母的位置处预定时间或更长时间,或检测到凝视点在某个字母之前和之后反复地来回时,智能电话1估计意图为用户难以阅读字母并且用户想要使字母更易于阅读。智能电话1依照所估计出的意图逐渐地显示图像20-2至图像20-5,在图像20-2至图像20-5中,对在图像20-1中所包括的文本部分的字母尺寸细微地放大以使得用户注意不到屏幕的变化。
以这种方式,即使在用户如同往常一样无意识地看着屏幕的情况下,智能电话1也可以基于凝视点来估计用户的意图,并且可以依照所估计出的意图使屏幕显示发生变化。此外,因为屏幕显示的变化如此细微以使得用户注意不到该变化,所以可以防止用户有不舒适的感觉。
根据本实施例的智能电话1不需要用户用他/她的手执行任何操作,并且可以如用户无意识地想要的那样放大字母尺寸。即,在减少由用户用他/她的手所执行的操作的负担的同时,智能电话1可以通过根据用户的意图执行屏幕显示来协助由用户用手所执行的操作。
如上所述,描述了根据本公开的实施例的信息处理设备的概述。
此外,智能电话1被用作为图1示出的示例中的信息处理设备的示例。然而,根据本公开的实施例的信息处理设备不限于此。例如,信息处理设备还可以是头戴式显示器(HMD)、数码摄像装置、数码视频摄像装置、个人数字助理(PDA)、个人计算机(PC)、笔记本型个人计算机、平板式终端、移动电话终端、便携式音乐播放器、便携式视频处理设备或便携式游戏控制器。
因为智能电话1具有比个人计算机等的屏幕更小的屏幕,所以智能电话1会比个人计算机等更频繁地需要诸如滚动和用于字母尺寸的放大设置的操作。因此,如果如上所述,在智能电话1中视线可以协助用手所执行的操作,则更加改进了智能电话1的可操作性。因此,在此将描述下述示例:在该示例中,根据本实施例的信息处理设备由智能电话1实现。
<2.本公开的实施例>
[2-1.智能电话的结构]
首先,将参照图2描述根据本实施例的智能电话1的结构。图2是示出了根据本公开的实施例的智能电话1的结构的框图。如图2所示,智能电话1包括显示单元2、成像单元3、操作单元4以及控制单元10。以下将详细地描述智能电话1的每个结构性元件。
(显示单元)
显示单元2显示从控制单元10所输出的图像数据(静态图像数据/运动图像数据)。显示单元2基于以下将描述的显示控制单元14的控制来使要显示的图像发生变化。另外,显示单元2依照由也是以下将描述的操作单元4所接受的用户输入来使要显示的图像发生变化。显示单元2例如由液晶显示器(LCD)或有机发光二极管(OLED)实现。
(成像单元)
成像单元3包括图像传感器、包括成像透镜的成像光学装置、以及拍摄图像信号处理单元,并且成像单元3以数字信号的形式输出拍摄图像的数据。此外,图像传感器例如由电荷耦合器件(CCD)成像器或互补金属氧化半导体(CMOS)成像器实现。根据本实施例的成像单元3对看着显示单元2的用户进行成像,并且将捕获图像传送到检测单元11。
(操作单元)
操作单元4具有接受来自用户的输入的功能。例如,操作单元4由与显示单元2集成的触摸面板、按钮以及用于音频输入的麦克风实现。操作单元4接受用于对活动窗口输入字母、滚动、放大/缩小字母尺寸的指令的输入。另外,如果智能电话1采用多窗口系统,则操作单元4可以接受指示哪个窗口被激活为可编辑区域的选择指令。
在此,多窗口系统是同时显示多个被称做窗口的工作区域的系统,并且针对每个窗口中的应用程序执行不同的显示。显示单元2可以显示包括多个窗口的屏幕作为在多窗口系统的屏幕中所包括的显示图像。由用户从在显示单元2上所显示的多个窗口中选择以便被激活的窗口被称为活动窗口,并且该窗口被设置为通过从用户到操作单元4的输入可进行编辑的区域。因此,当操作单元4接受用于滚动或放大/缩小字母尺寸的指令的输入时,滚动活动窗口的显示并且放大/缩小活动窗口中的文本部分的字母尺寸。当显示单元2上正显示多个窗口时,活动窗口在前景(最前部)显示,并且因为在窗口顶部被称做标题栏的条形部分以更深的颜色等显示,所以活动窗口可以区别于另一个非活动的窗口。
(控制单元)
控制单元10作用为处理装置和控制装置,并且依照各种程序来控制智能电话1的全部操作。控制单元10例如由中央处理单元(CPU)或微处理器实现。此外,控制单元10还可以包括配置成存储所使用的程序和运行参数的只读存储器(ROM),以及配置成根据需要临时地存储发生改变的参数的随机存取存储器(RAM)。
根据本实施例的控制单元10根据由成像单元3所成像的用户的捕获图像来检测凝视点,基于所检测到的凝视点来估计用户的意图,以及依照所估计出的意图使要显示在显示单元2上的图像发生变化。控制单元10还用作检测单元11、估计单元12、图像生成单元13、显示控制单元14以及编辑控制单元15。
-检测单元
检测单元11检测在显示单元2上所显示的显示图像中的用户的凝视点。更具体地,检测单元11对于从成像单元3所输出的捕获图像执行图像识别,并且基于在捕获图像中所包括的用户的眼睛运动的方向或角度来检测凝视点。检测单元11将指示所检测到的凝视点的信息输出到估计单元12。
-估计单元
估计单元12基于由检测单元11所检测到的用户的凝视点来估计用户的意图。例如,如以上参照图1所描述地,当凝视点停留在显示单元2上所显示的某个字母的位置处预定时间或更长时间时,或当凝视点在某个字母之前和之后反复地来回时,估计单元12估计用户的意图为用户想要使字母更易于阅读。
此外,估计单元12可以基于凝视点的位置的改变速度和改变方向来估计用户想要的滚动量和滚动方向。更具体地,当凝视点的位置沿着在显示单元2上所显示的字母串快速地改变时,估计单元12估计意图为用户快速地阅读字母并且用户想要沿着句子继续的方向大范围地滚动屏幕。相反地,当凝视点的位置沿着在显示单元2上所显示的字母串缓慢地改变时,估计单元12估计意图为用户缓慢地阅读字母并且用户想要沿着句子继续的方向小范围地滚动屏幕。
此外,当凝视点的位置沿着在显示单元2上所显示的字母串快速地改变时,估计单元12可以估计用户的意图为在单个屏幕中所显示的字母的数量太少,即意味着用户想要缩小字母尺寸并且增加单个屏幕中所显示的字母的数量。
如果显示单元2显示在多窗口系统的屏幕中所包括的显示图像,则估计单元12还可以基于在该显示图像中所包括的窗口的位置和凝视点来估计用户的意图。例如,当多个窗口显示在显示单元2上并且凝视点停留在非活动窗口上预定时间或更长时间时,估计单元12估计意图为用户想要激活凝视点位于其上的窗口。
估计单元12将指示所估计出的用户的意图的信息输出到图像生成单元13和编辑控制单元15。
-图像生成单元
图像生成单元13根据由估计单元12所估计出的用户的意图生成从当前正显示在显示单元2上的显示图像起细微地变化成最终显示图像的变化图像。最终显示图像是满足针对当前正显示在显示单元2上的显示图像的用户的意图的图像。例如,如果估计单元12估计用户的意图为用户想要使字母更易于阅读,则最终显示图像是下述图像:在该图像中在显示图像中所包括的文本部分的可读性增强到使得用户不具有阅读困难的程度。此外,最终显示图像还可以是下述图像:在该图像中视觉可识别性增强到使得用户不具有阅读困难的程度。首先,图像生成单元13设置最终显示图像,并且然后图像生成单元13生成下述变化图像:在该变化图像中在显示图像中所包括的文本部分的可读性增强到所设置的最终显示图像。例如,图像生成单元13通过放大字母尺寸、增强分辨率、增强与背景图像的对比度以及边缘增强中至少之一来生成其中增强了文本部分的可读性的变化图像。另外,图像生成单元13可以通过改变字体、使字母成粗体、增强亮度等来增强文本部分的可读性。作为示例,以下假定最终显示图像是其中字母尺寸被放大到使得用户不具有阅读困难的程度的图像,并且将描述由图像生成单元13所执行的处理。
首先,图像生成单元13计算用于将当前正显示在显示单元2上的显示图像放大至最终显示图像的字母尺寸的放大比例。放大比例可以具有预定值,或具有通过执行反向计算以使得字母尺寸被放大至预定字母尺寸所获得的值。另外,图像生成单元13可以基于用户的眼睛与显示单元2之间的距离来计算放大比例。当用户的脸接近显示单元2时,图像生成单元13还可以基于用户的眼睛与显示单元2之间的距离的改变程度、改变速度等来计算放大比例。因为近视的人需要对象靠近双眼而远视的人或老花眼需要对象远离双眼,所以图像生成单元13可以当用户的脸接近显示单元2时缩小显示图像,而图像生成单元13可以当用户的脸从显示单元2移开时放大显示图像。
图像生成单元13生成从当前正显示在显示单元2上的显示图像起细微地放大至最终显示图像的变化图像,即放大至所计算出的放大比例。如果显示图像与最终显示图像之间的差异细微(即意味着放大比例很小),则图像生成单元13可以生成单个变化图像。相反地,如果放大比例不小,则图像生成单元13可以生成彼此以预定比例不同的多个变化图像。例如,如果放大比例是200%,则图像生成单元13生成放大为101%、放大为102%、……、放大为199%以及放大为200%的图像,其意味着彼此有1%的差异的多个图像。
以这种方式,当估计单元12估计用户的意图为用户想要使字母更易于阅读时,图像生成单元13生成用于将显示图像与最终显示图像相链接的一个或更多个下述变化图像:在该变化图像中以细微的变化来增强在显示图像中所包括的文本部分的可读性。变化如此细微以使得当变化图像显示在显示单元2上时,智能电话1可以防止用户有不舒适的感觉。
除了以上所述的用户想要使字母更易于阅读的意图之外,例如估计单元12还可以估用户想要的滚动量和滚动方向。在这种情况下,最终显示图像是下述图像:在该图像中在显示图像中所包括的文本部分沿着用户想要的方向滚动了用户想要的量。图像生成单元13生成从当前正显示在显示单元2上的显示图像起以细微地变化逐渐地滚动到最终显示图像的一个或更多个变化图像,即滚动了所估计出的滚动量。
另外,估计单元12可以估计用户的意图为用户想要激活凝视点位于其上的窗口。在这种情况下,最终显示图像是下述图像:在该图像中,凝视点位于其上的窗口被激活为活动窗口。图像生成单元13生成一个或更多个下述变化图像:在该变化图像中,从当前正显示在显示单元2上的显示图像起到最终显示图像(即到其中凝视点位于其上的窗口被激活的图像)以细微的变化逐渐地激活窗口。例如,图像生成单元13生成一个或更多个下述变化图像:在该变化图像中,窗口的交叠部分细微地变化使得当前活动窗口以较浅的颜色显示并且使得凝视点位于其上的窗口在前景显示。另外,变化图像还可以随着以上所述的变化缓和地变化,以使得当前活动窗口的标题栏以较浅的颜色显示并且凝视点位于其上的窗口的标题栏以较深的颜色显示。
图像生成单元13还可以生成其中在显示图像中在凝视点处或在凝视点附近的区域发生变化的变化图像。例如,当用户盯着某个字母时,图像生成单元13生成下述变化图像:在该变化图像中,增强了作为在字母处或在字母附近的区域的该字母之前和之后的部分、包括该字母的字母串、或该字母之前和之后几行的可读性。以这种方式,图像生成单元13通过精确地增强用户难以阅读的部分的可读性来允许用户舒适地阅读。
相反地,图像生成单元13还可以生成其中在显示图像中远离凝视点的区域发生变化的变化图像。例如,当用户盯着某个字母时,图像生成单元13生成下述变化图像:在该变化图像中,在作为远离字母的区域的在该字母之后几行或在包括该字母的字母串之后几行的部分中增强了字母的可读性。以这种方式,因为远离凝视点的区域发生变化,所以图像生成单元13可以防止用户识别出屏幕显示的变化并且可以防止用户有不舒适的感觉。
图像生成单元13将以这种方式所生成的变化图像输出到显示控制单元14。
-显示控制单元
显示控制单元14控制显示单元2,以使得显示由图像生成单元13所生成的变化图像。如果由图像生成单元13生成了多个变化图像,则显示控制单元14控制显示单元2,以使得以预定时间间隔逐渐切换并且显示多个变化图像。例如,在图1示出的示例中,显示控制单元14控制显示单元2,以使得以至少0.1秒或更长的时间间隔切换并且显示由图像生成单元13所生成的图像20-2至图像20-5。
当在多窗口系统中激活窗口时,有必要执行诸如在前景显示活动窗口的显示控制,以及诸如将窗口激活为可编辑区域的编辑控制。显示控制单元14执行显示控制,而编辑控制单元15执行以下将描述的编辑控制。
-编辑控制单元
当显示单元2显示在多窗口系统的屏幕中所包括的显示图像时,编辑控制单元15控制是否将在显示图像中所包括的窗口激活为可编辑区域。例如,当估计单元12估计用户的意图为用户想要激活凝视点位于其上的窗口时,编辑控制单元15激活该窗口。即,编辑控制单元15将可编辑区域从当前活动窗口切换至凝视点位于其上的窗口。编辑控制单元15还可以在显示控制单元14的控制下、在前景显示凝视点位于其上的窗口时将可编辑区域切换至该窗口。另外,编辑控制单元15可以在凝视点位于其上的窗口的标题栏比作为上一个活动窗口的窗口以更深的颜色显示时切换可编辑区域。
(补充说明)
以上描述了图像生成单元13生成彼此以预定比例不同的变化图像,并且显示控制单元14以预定时间的时间间隔切换并且显示变化图像。然而,各种值可构想为诸如变化比例和切换时间间隔的参数。作为示例,在作为关于隐藏图形的学习经验的文献的《认知神经动力学(CognitiveNeurodynamics)》2011年9月第5卷第3期第231页至239页TetsuoIshikawa和Ken Mogi的“Visual one-shot learning as an‘anti-camouflagedevice’:a Novel morphing paradigm”中所公开的参数可以应用于本实施例。在该文献中,进行了下述实验:在该实验中人们观察初始图像缓和地变化成最终图像的变化情形,并且测量直到可以识别出最终图像是什么为止所经过的时间。该文献公开了,如果初始图像以每0.2秒1%地变化成最终图像,则会难以识别出最终图像是什么。即,提出如果初始图像以每0.2秒1%地变化成最终图像,则用户不太可能注意到变化。因此,在本实施例中,图像生成单元13生成彼此有1%的差异的变化图像,并且显示控制单元14控制显示单元2,以使得当前正显示的显示图像以至少0.2秒或更长的时间间隔切换到从当前正显示的显示图像起变化了1%的变化图像。此外,该文献未将0.2秒限定为最小值。0.2秒只是其中被试有意识地尝试识别隐藏图形的实验中所采用的值。因此,在用户无意识地看着屏幕的本实施例中也可以采用比0.2秒的时间间隔更短的0.1秒的时间间隔。如果图像生成单元13生成其中在显示图像中远离凝视点的区域发生变化的变化图像,则也可以更大胆地使该区域发生变化,这是因为用户不太可能注意屏幕显示的变化。例如,智能电话1也可以使变化图像每0.01秒1%地发生变化。
智能电话1也可以对于在由成像单元3所成像的捕获图像中所包括的面部区域执行面部识别,识别用户是否已经登记,以及基于识别结果改变要显示的变化图像。例如,智能电话1可以针对未登记为智能电话1的拥有者的用户的另一用户使显示发生变化,以使得变化后的显示违背该另一用户的意图。
具体地,检测单元11检测在显示图像中的另一用户的凝视点,并且估计单元12基于由检测单元11所检测的该另一用户的凝视点来估计该另一用户的意图。例如,当另一用户的凝视点沿着在显示单元2上所显示的字母串移动时,估计单元12估计该另一用户的意图为该另一用户想要阅读在显示单元2上所显示的字母串。图像生成单元13生成细微地变化成与由估计单元12所估计的该另一用户的意图相违背的最终显示图像的变化图像,并且显示控制单元14在显示单元2上显示所生成的变化图像。例如,图像生成单元13与该另一用户想要阅读该字母串的该另一用户的意图相违背地生成其中缓和地降低显示单元2上所显示的字母串的可读性以使得字母串变得难以阅读的变化图像,并且显示控制单元14显示所生成的变化图像。以这种方式,智能电话1可以防止该另一用户不正当地查看所显示的内容。
如上所述,描述了根据本实施例的智能电话1的结构。
[2-2.操作处理]
接下来,将参照图3至图4描述根据本实施例的智能电话1的操作处理。图3是示出了根据本公开的实施例的智能电话1的操作的流程图。
如图3所示,首先,在步骤S104中,检测单元11对于从成像单元3所输出的捕获图像执行图像识别,并且基于在捕获图像中所包括的用户的眼睛运动的方向或角度来检测凝视点。在此,将参照图4描述由检测单元11所检测到的用户的凝视点的具体示例。图4是用于描述根据本公开的实施例的智能电话1的屏幕显示的图。如图4所示,显示单元2当前正显示包括具有多行字母串的文本部分的显示图像21,并且用户的凝视点31位于显示图像21上。
接下来,在步骤S108中,估计单元12基于由检测单元11所检测到的用户的凝视点来估计用户的意图。例如,在图4示出的示例中,当凝视点31停留在某个字母的位置处预定时间或更长时间时,估计单元12估计意图为用户难以阅读该字母并且用户想要使该字母更易于阅读。
随后,在步骤S112中,图像生成单元13设置根据由估计单元12所估计出的用户的意图的最终显示图像。可变的图像可构想为由图像生成单元13所设置的最终显示图像。例如,在图4示出的示例中,图像生成单元13可以将其中可读性增强到使得用户不具有阅读困难的程度的图像21A、图像21B、图像21C或图像21D设置为最终显示图像。
按照与以上参照图1所描述的示例相同的方式,图像21A是其中在显示图像21中所包括的整个文本部分的字母尺寸被放大的图像。图像21B是其中在显示图像21中所包括的文本部分中在凝视点31的位置处的字母串为粗体的图像。图像21C是其中在显示图像21中所包括的文本部分中在凝视点31的位置处的字母串的字母尺寸被放大的图像。图像21D是其中在显示图像21中所包括的文本部分中在凝视点31的位置处的字母之后的字母尺寸随着距在凝视点31处的字母的距离的增加而被缓和地放大的图像。
在随后的步骤中,显示控制单元14控制显示单元2,以使得以预定时间间隔逐渐地切换并且显示由生成单元13所生成的多个变化图像。更具体地,显示控制单元14控制显示单元2,以使得将当前正显示在显示单元2上的图像切换到从当前正显示在显示单元2上的图像起变化了1%以便更接近于最终显示图像的变化图像,并且以至少0.2秒或更长的时间间隔来显示该变化图像。
首先,在步骤S116中,图像生成单元13生成下述变化图像:在该变化图像中细微地增强在显示图像21中所包括的文本部分的可读性以便更接近于所设置的最终显示图像。例如,在图4示出的示例中,图像生成单元13生成将显示图像21与被设置为最终显示图像的图像21A、图像21B、图像21C或图像21D相链接并且从显示图像21起变化了1%以更接近于最终显示图像的变化图像。
另外,在图像21A中,增强了在凝视点31处或在凝视点31附近的字母和远离凝视点31的字母两者的可读性。因此,当图像21A被设置为最终显示图像时,图像生成单元13生成其中在凝视点31处或在凝视点31附近的区域和远离凝视点31的区域两者发生变化的变化图像。同时,在图像21B和图像21C中,增强了在凝视点31的位置处的字母串的可读性。因此,当图像21B或图像21C被设置为最终显示图像时,图像生成单元13生成其中在凝视点31处或在凝视点31附近的区域发生变化的变化图像。此外,在图像21D中,增强了远离在凝视点31的位置处的字母的字母的可读性。因此,当图像21D被设置为最终显示图像时,图像生成单元13生成其中远离凝视点31的区域发生变化的变化图像。
接下来,在步骤S120中,显示控制单元14控制显示单元2,以使得将要显示在显示单元2上的图像从显示图像21切换到由图像生成单元13所生成的变化图像,该变化图像从显示图像21变化了1%以便更接近于最终显示图像。
接下来,在步骤S124中,显示控制单元14确定在显示单元2上所显示的变化图像是否与由图像生成单元13所设置的最终显示图像相匹配。
如果当前正显示在显示单元2上的变化图像与最终显示图像相匹配(在步骤S124中为是),则处理结束。相反地,如果当前正显示在显示单元2上的变化图像与最终显示图像不匹配(在步骤S124中为否),则图像生成单元13在步骤S128中确定由估计单元12所估计的用户的意图是否存在改变。即,在步骤S128中,执行针对步骤S104和步骤S108所描述的相同的处理,并且图像生成单元13确定之前时间所估计的用户的意图与当前时间所估计的用户的意图之间是否存在改变。
如果用户的意图存在改变(在步骤S128中为是),则处理再次返回步骤S112并且图像生成单元13根据用户的改变的意图再次设置最终显示图像。以这种方式,智能电话1根据需要在步骤S128中确定用户的意图。如果用户的意图存在改变,则智能电话1可以通过依照改变的意图更新最终显示图像来依照用户的改变的意图灵活地使显示发生变化。
例如,当估计单元12估计用户的意图为用户想要使字母更易于阅读,并且显示控制单元14在显示单元2上显示其中字母尺寸缓和地放大的变化图像时,可以在变化图像变化成最终显示图像之前获得对于用户易于阅读的字母尺寸。在这种情况下,因为用户停止盯着字母并且开始阅读接下来的句子,所以估计单元12可以估计意图为用户想要沿着句子继续的方向上滚动屏幕。图像生成单元13再次设置其中在用户想要的方向上滚动屏幕的最终显示图像,同时显示控制单元14停止显示其中字母尺寸被放大的变化图像,并且相反可以在显示单元2上显示缓和地滚动的变化图像。
相反地,如果用户的意图不存在改变(在步骤S128中为否),则在步骤S132中,显示控制单元14等待预定时间(至少0.2秒或更长),然后重复步骤S116至步骤S124。
在步骤S116中,图像生成单元13生成从当前正显示在显示单元2上的变化图像起以1%更接近于最终显示图像的变化图像。随后,在步骤S120中,显示控制单元14控制显示单元2,以使得要显示在显示单元2上的图像从以前时间所显示的变化图像切换成以1%更接近于最终显示图像的变化图像。
如上所述,根据本实施例的智能电话1可以基于用户的凝视点缓和地增强在显示图像中所包括的文本部分的可读性。用于增强可读性的屏幕显示的变化如此细微以使得用户注意不到变化。因此,可以防止用户有不舒适的感觉。
如上所述,描述了根据本公开的实施例的智能电话1的操作。
[2-3.修改例]
如上所述,根据本公开的实施例的智能电话1不仅可以增强文本部分的可读性,而且还可以显示各种变化图像。接下来,将参照图5至图8描述由智能电话1所显示的变化图像的示例。
(修改例1:滚动)
根据本修改例的智能电话1可以显示缓和地滚动的变化图像。以下将参照图5描述根据本修改例的智能电话1。
图5是用于描述根据修改例1的智能电话1的屏幕显示的图。如图5所示,显示单元2当前正显示包括具有多行字母串的文本部分的显示图像22-1,并且用户的凝视点32位于显示图像22-1上。以下将沿着图3所示的流程图来描述智能电话1显示缓和地滚动的变化图像的操作处理。
首先,如图3所示,在步骤S104中,检测单元11监测图5所示的凝视点32。
接下来,在步骤S108中,估计单元12基于凝视点32估计用户想要的滚动量和滚动方向。例如,估计单元12基于之前时间的凝视点的位置与当前时间的凝视点32的位置之间的差异来估计用户想要的滚动量和滚动方向。
随后,在步骤S112中,图像生成单元13将其中在显示图像22-1中所包括的文本部分沿着用户想要的方向滚动了用户想要的量的图像设置为最终显示图像。例如,图像生成单元13将其中在显示图像22-1中所包括的文本部分沿着屏幕的向下方向滚动了一行的量的图像22-3设置为最终显示图像。
在随后的步骤中,显示控制单元14控制显示单元2,以使得以预定时间间隔显示从当前正显示在显示单元2上的显示图像22-1起经过每个变化图像就沿着屏幕的向下方向滚动1%以便更接近于最终显示图像22-3的变化图像。图5所示的变化图像22-2表示在显示图像22-1变化成最终显示图像22-3时在显示单元2上所显示的变化图像的示例。
因为在执行滚动时,文本部分的上端从屏幕消失并且新的字母串从底部出现,所以可以说在变化图像中远离凝视点32的区域发生变化。
如上所述,描述了根据修改例1的智能电话1。
(修改例2:切换活动窗口)
根据本修改例的智能电话1可以缓和地切换活动窗口。接下来,将参照图6描述根据本修改例的智能电话1。
图6是用于描述根据修改例2的智能电话1的屏幕显示的图。如图6所示,显示单元2当前正显示包括窗口43A和窗口43B并且被包括在多窗口系统的屏幕中的显示图像23-1。用户的凝视点33位于显示图像23-1上。在此,活动窗口是窗口43B,并且凝视点33在非活动窗口43A的位置处。以下将沿着图3所示的流程图描述智能电话1缓和地切换活动窗口的操作处理。
首先,如图3所示,在步骤S104中,检测单元11监测图6所示的凝视点33。
接下来,在步骤S108中,估计单元12基于凝视点33估计用户的意图为用户想要激活凝视点33位于其上的窗口43A。例如,当凝视点停留在非活动窗口43A的位置处预定时间或更长时间时,估计单元12估计用户的意图为用户想要激活窗口43A。
随后,在步骤S112中,图像生成单元13图像23-2设置为最终显示图像,在图像23-2中,将显示图像23-1中凝视点33位于其上的窗口43A激活为活动窗口。因为在当前正显示在显示单元2上的显示图像23-1中的活动窗口是窗口43B,所以窗口43B在前景显示并且其标题栏以深色显示。同时,因为在最终显示图像23-2中活动窗口是窗口43A,所以窗口43A在前景显示并且其标题栏以深色显示。
在下一步骤中,显示控制单元14控制显示单元2,以使得以预定时间间隔显示从当前正显示在显示单元2上的显示图像23-1起经过每个变化图像就以1%激活窗口43A以便更接近于最终显示图像23-2的变化图像。编辑控制单元15可以在显示图像23-1变化成最终显示图像23-2时,例如在窗口43A在前景显示时将可编辑区域从窗口43B切换至窗口43A。
当切换活动窗口时,凝视点33位于窗口不交叠的部分上并且只有窗口交叠的部分发生变化。因此,可以说在变化图像中远离凝视点33的区域发生变化。
如上所述,描述了根据修改例2的智能电话1。
(修改例3:对于非活动窗口的显示控制)
根据本修改例的智能电话1可以在不切换活动窗口的情况下控制非活动窗口的显示。在本修改例中将描述下述示例:在该示例中,智能电话1基于凝视点增强了非活动窗口中的文本部分的可读性。然而,也可以执行诸如滚动的其他显示控制。接下来,将参照图7描述根据修改例的智能电话1。
图7是用于描述根据修改例3的智能电话1的屏幕显示的图。如图7所示,显示单元2当前正显示包括窗口44A和窗口44B并且被包括在多窗口系统的屏幕中的显示图像24-1。用户的凝视点34位于显示图像24-1上。在此,活动窗口是窗口44B,并且凝视点34在非活动窗口44A的位置处。下面将沿着图3所示的流程图描述智能电话1缓和地使非活动窗口的显示发生变化的操作处理。
首先,如图3所示,在步骤S104中,检测单元11监测图7所示的凝视点33。
接下来,在步骤S108中,估计单元12基于凝视点34估计用户的意图。例如,当凝视点34停留在某个字母的位置处预定时间或更长时间时,估计单元12估计意图为用户难以阅读字母并且用户想要使字母更易于阅读。
随后,在步骤S112中,图像生成单元13依照用户想要使字母更易于阅读的意图将图像24-2设置为最终显示图像,在图像24-2中凝视点34位于其上的被包括在窗口44A中的文本部分中的字母串的字母尺寸被放大。
在下一步骤中,显示控制单元14控制显示单元2,以使得显示变换图像,在变化图像中从当前正显示在显示单元2上的显示图像24-1起经过每个变化图像就使得被包括在窗口44A中的文本部分的字母尺寸被放大1%以便更接近于最终显示图像24-2。图像生成单元13不生成其中将窗口44A作为活动窗口在前景显示的变化图像。编辑控制单元15也不执行使得可编辑区域从窗口44B切换至窗口44A的控制。因此,智能电话1可以在不切换活动窗口的情况下增强非活动窗口中的文本部分的可读性。
另外,可以说在示例中因为在凝视点34的位置处的字母串的字母尺寸被放大了,所以变化图像中在凝视点34处或在凝视点34附近的区域发生变化。
如上所述,描述了根据修改例3的智能电话1。
(补充说明)
根据修改例2的处理和根据修改例3的处理彼此不同之处在于:当用户看着非活动窗口时,切换活动窗口或只执行显示控制而不切换活动窗口。在此,智能电话1可以基于用户的凝视点、通过切换根据修改例2的处理和根据修改例3的处理来使用两个处理。
例如,假设智能电话1通常执行根据修改例2的处理,在该处理中,在用户看着非活动窗口时切换活动窗口。在估计意图为将处理切换至根据修改例3的处理时,智能电话1将根据修改例2的处理切换至根据修改例3的处理。即,智能电话1持续地激活当前活动窗口。
具体地,当凝视点位于当前活动窗口的预定区域中预定时间时,估计单元12将持续地激活该窗口估计为用户的意图。例如,当用户盯着活动窗口的标题栏若干秒时,估计单元12将使该活动窗口持续为活动窗口估计为用户的意图。
编辑控制单元15持续地激活窗口直到预定指令被发出为止。例如,编辑控制单元15持续地将该活动窗口保持为活动窗口,直到用户再次盯着活动窗口的标题栏若干秒为止,或直到操作单元4接受活动窗口的选择指令为止。
因此,即使用户看着非活动窗口预定时间或更长时间,活动窗口也未被切换。智能电话1可以执行根据修改例3的处理,在该处理中仅对非活动窗口执行显示控制。
同时,如果用户再次盯着活动窗口的标题栏若干秒,或如果操作单元4接受活动窗口的选择指令,则取消对活动窗口的持续激活。即,智能电话1执行根据修改例2的处理,在该处理中当用户看着非活动窗口时切换活动窗口。
以这种方式,智能电话1可以使用根据修改例2的处理和根据修改例3的处理两者。
(修改例4:对窗口进行搜索)
当窗口与另一窗口交叠并且被隐藏时,根据本修改例的智能电话1可以通过移动被隐藏的窗口的位置来可区分地显示每个窗口的一部分。接下来,将参照图8描述根据本修改例的智能电话1。
图8是用于描述根据修改例4的智能电话1的屏幕显示的图。如图8所示,显示单元2当前正显示包括窗口45A、窗口45B以及窗口45C并且被包括在多窗口系统的屏幕中的显示图像25-1。在此,窗口45A是活动窗口并且在前景显示,同时窗口45B和窗口45C与窗口45A交叠并且被隐藏。因此,用户不能视觉地识别出窗口45B和窗口45C。窗口45C的一部分不与窗口45A交叠。然而,用户仅识别到某个窗口的一部分是可见的。因此,难以识别可见部分是窗口45B的一部分还是窗口45C的一部分。
因此,当用户想要将活动窗口从窗口45A切换至另一窗口时,用户需要采用操作单元4移动窗口45A的位置并且使得显示单元2显示被隐藏的窗口45B和窗口45C。根据本修改例的智能电话1可以基于凝视点可区分地显示被隐藏的窗口而不进行这种处理。更具体地,当凝视点不停留在固定的位置时,估计单元12将用户在显示图像中所包括的多个窗口中搜索预定窗口估计为用户的意图。显示控制单元14控制显示单元2,以使得显示在显示图像中与另一窗口交叠并且被隐藏在另一窗口后面的窗口的一部分,以便由用户进行区分。以下将沿着图3所示的流程图描述智能电话1通过移动被隐藏的窗口的位置来可区分地显示每个窗口的一部分的操作处理。
首先,如图3所示,在步骤S104中,检测单元11检测图8所示的凝视点35。在此,如图8所示,凝视点35围绕显示图像25-1移动。
接下来,在步骤S108中,估计单元12基于凝视点35来估计用户的意图。例如,估计单元12基于凝视点35围绕显示图像25-1移动(即意味着凝视点不停留在固定的位置),来将用户在显示图像中所包括的多个窗口中搜索想要的窗口估计为用户的意图。
随后,在步骤S112中,图像生成单元13依照用户搜索期望的窗口的意图将图像25-2设置为最终显示图像,在图像25-2中可区分地显示窗口45B的一部分和窗口45C的一部分。在此,如图8所示,用户可以根据标题栏识别出每个窗口的内容,这是因为在图像25-2中可区分地显示了窗口45B和窗口45C的标题栏。
在下一步骤中,显示控制单元14控制显示单元2,以使得显示下述变化图像:在该变化图像中从当前正显示在显示单元2上的显示图像25-1起经过每个变化图像就使得窗口45B和窗口45C的位置移动1%,以便更接近于最终显示图像25-2。
如上所述,描述了根据修改例4的智能电话1。
<3.结论>
如上所述,根据本公开的实施例的智能电话1可以基于用户的凝视点来估计用户的意图,并且基于所估计出的意图隐式地使屏幕显示发生变化。具体地,智能电话1可以基于凝视点的位置或移动如用户无意识地想要的那样增强文本部分的可读性、执行滚动、切换活动窗口等。此外,不需要用手执行操作。因此,在减轻由用户用他/她的手所执行的操作的负担的同时,智能电话1可以通过根据用户的意图执行屏幕显示来协助由用户用手所执行的操作。
本领域内技术人员应当理解的是,依赖于设计要求和其他因素,可以出现各种修改、组合、子组合以及变更,只要其在所附的权利要求或权利要求的等同方案的范围内即可。
例如,在以上所述的实施例中增强了在显示图像中所包括的文本部分的可读性。然而,本公开的实施例不限于此。例如,也可以增强在显示图像中所包括的图像部分的视觉可识别性。图像生成单元13还可以通过放大在显示图像中所包括的图像部分而不是文本部分、增强亮度等来增强视觉可识别性。
此外,在以上所述的实施例中基于凝视点估计了用户的意图。然而,本公开的实施例不限于此。例如,估计单元12还可以依照用户的眨眼、用户的瞳孔的扩张和收缩等来估计用户的意图。
可以建立以下计算机程序:该计算机程序用于使得信息处理设备中内置的硬件(诸如CPU、ROM以及RAM)实现与智能电话1中的每个结构性元件的功能相同的功能。还提供了其中存储有计算机程序的存储介质。
另外,本技术也可以如下配置。
(1)一种信息处理设备,包括:
检测单元,配置成检测在显示单元上所显示的显示图像中的用户的凝视点;
估计单元,配置成基于由所述检测单元所检测的所述凝视点来估计所述用户的意图;
图像生成单元,配置成根据由所述估计单元所估计出的所述意图生成从所述显示图像细微地变化成最终显示图像的变化图像;以及
显示控制单元,配置成按照显示由所述图像生成单元所生成的所述变化图像的方式来控制所述显示单元。
(2)根据(1)所述的信息处理设备,
其中,所述变化图像是其中在所述显示图像中远离所述凝视点的区域发生变化的图像。
(3)根据(1)或(2)所述的信息处理设备,
其中,所述变化图像是其中在所述显示图像中在所述凝视点处或在所述凝视点附近的区域发生变化的图像。
(4)根据(1)至(3)中任一项所述的信息处理设备,
其中,所述图像生成单元生成多个所述变化图像;并且
其中,所述显示控制单元按照以预定时间间隔逐渐切换并且显示由所述图像生成单元所生成的所述变化图像的方式来控制所述显示单元。
(5)根据(1)至(4)中任一项所述的信息处理设备,
其中,所述变化图像是其中增强了在所述显示图像中所包括的文本部分的可读性的图像。
(6)根据(5)所述的信息处理设备,
其中,所述图像生成单元通过增强分辨率、增强与背景图像的对比度、放大字母尺寸以及边缘增强中至少之一来生成其中增强了在所述显示图像中所包括的所述文本部分的可读性的所述变化图像。
(7)根据(1)至(6)中任一项所述的信息处理设备,
其中,所述估计单元基于所述凝视点的位置的改变速度和改变方向来估计所述用户想要的滚动量和滚动方向。
(8)根据(1)至(7)中任一项所述的信息处理设备,
其中,所述检测单元检测在所述显示图像中的另一用户的凝视点,
其中,所述估计单元基于由所述检测单元所检测到的所述另一用户的所述凝视点来估计所述另一用户的意图,以及
其中,所述图像生成单元生成细微地变化成与由所述估计单元所估计出的所述另一用户的意图相违背的最终显示图像的变化图像。
(9)根据(1)至(8)中任一项所述的信息处理设备,
其中,所述显示图像是在多窗口系统的屏幕中所包括的图像,
其中,所述信息处理设备还包括编辑控制单元,所述编辑控制单元配置成控制是否将在所述显示图像中所包括的窗口激活为可编辑区域,
其中,所述估计单元基于在所述显示图像中所包括的所述窗口的位置和所述凝视点来估计所述意图,以及
其中,所述编辑控制单元依照由所述估计单元所估计出的所述意图来控制是否激活所述窗口。
(10)根据(9)所述的信息处理设备,
其中,当所述凝视点位于所述窗口上时,所述估计单元将激活所述窗口估计为所述用户的意图,以及
其中,所述编辑控制单元激活所述窗口。
(11)根据(9)或(10)所述的信息处理设备,
其中,当所述凝视点位于所述窗口的预定区域中预定时间时,所述估计单元将持续地激活所述窗口估计为所述用户的意图,以及
其中,所述编辑控制单元持续地激活所述窗口直到预定指令被发出为止。
(12)根据(9)至(11)中任一项所述的信息处理设备,
其中,当所述凝视点不停留在固定的位置时,所述估计单元将所述用户在所述显示图像中所包括的多个窗口中搜索期望的窗口估计为所述用户的意图,以及
其中,所述显示控制单元按照为所述用户可区分地显示所述窗口的一部分的方式来控制所述显示单元,在所述显示图像中所述窗口与另一窗口交叠并且被隐藏在所述另一窗口后面。
(13)根据(4)所述的信息处理设备,
其中,所述预定时间间隔为至少0.1秒或更长。
(14)根据(4)所述的信息处理设备,
其中,由所述图像生成单元所生成的所述变化图像彼此有1%的差异,以及
其中,所述显示控制单元按照下述方式来控制所述显示单元:以所述预定时间间隔,将所述变化图像中的变化图像切换至从所述变化图像中当前正显示的所述变化图像起变化了1%的变化图像。
(15)根据(1)至(14)中任一项所述的信息处理设备,
其中,所述信息处理设备是智能电话。
(16)一种其中存储有程序的永久计算机可读存储介质,所述程序使得计算机执行:
检测在显示单元上所显示的显示图像中的用户的凝视点;
基于所述检测的凝视点来估计所述用户的意图;
根据所估计出的意图生成从所述显示图像起细微地变化成最终显示图像的变化图像;以及
按照显示所生成的变化图像的方式来控制所述显示单元。

Claims (16)

1.一种信息处理设备,包括:
检测单元,配置成检测在显示单元上所显示的显示图像中的用户的凝视点;
估计单元,配置成基于由所述检测单元所检测的所述凝视点来估计所述用户的意图;
图像生成单元,配置成根据由所述估计单元所估计出的所述意图生成从所述显示图像细微地变化成最终显示图像的变化图像;以及
显示控制单元,配置成按照显示由所述图像生成单元所生成的所述变化图像的方式来控制所述显示单元。
2.根据权利要求1所述的信息处理设备,
其中,所述变化图像是其中在所述显示图像中远离所述凝视点的区域发生变化的图像。
3.根据权利要求1所述的信息处理设备,
其中,所述变化图像是其中在所述显示图像中在所述凝视点处或在所述凝视点附近的区域发生变化的图像。
4.根据权利要求1所述的信息处理设备,
其中,所述图像生成单元生成多个所述变化图像;并且
其中,所述显示控制单元按照以预定时间间隔逐渐切换并且显示由所述图像生成单元所生成的所述变化图像的方式来控制所述显示单元。
5.根据权利要求1所述的信息处理设备,
其中,所述变化图像是其中增强了在所述显示图像中所包括的文本部分的可读性的图像。
6.根据权利要求5所述的信息处理设备,
其中,所述图像生成单元通过增强分辨率、增强与背景图像的对比度、放大字母尺寸以及边缘增强中至少之一来生成其中增强了在所述显示图像中所包括的所述文本部分的可读性的所述变化图像。
7.根据权利要求1所述的信息处理设备,
其中,所述估计单元基于所述凝视点的位置的改变速度和改变方向来估计所述用户想要的滚动量和滚动方向。
8.根据权利要求1所述的信息处理设备,
其中,所述检测单元检测在所述显示图像中的另一用户的凝视点,
其中,所述估计单元基于由所述检测单元所检测到的所述另一用户的所述凝视点来估计所述另一用户的意图,以及
其中,所述图像生成单元生成细微地变化成与由所述估计单元所估计出的所述另一用户的意图相违背的最终显示图像的变化图像。
9.根据权利要求1所述的信息处理设备,
其中,所述显示图像是在多窗口系统的屏幕中所包括的图像,
其中,所述信息处理设备还包括编辑控制单元,所述编辑控制单元配置成控制是否将在所述显示图像中所包括的窗口激活为可编辑区域,
其中,所述估计单元基于在所述显示图像中所包括的所述窗口的位置和所述凝视点来估计所述意图,以及
其中,所述编辑控制单元依照由所述估计单元所估计出的所述意图来控制是否激活所述窗口。
10.根据权利要求9所述的信息处理设备,
其中,当所述凝视点位于所述窗口上时,所述估计单元将激活所述窗口估计为所述用户的意图,以及
其中,所述编辑控制单元激活所述窗口。
11.根据权利要求9所述的信息处理设备,
其中,当所述凝视点位于所述窗口的预定区域中预定时间时,所述估计单元将持续地激活所述窗口估计为所述用户的意图,以及
其中,所述编辑控制单元持续地激活所述窗口直到预定指令被发出为止。
12.根据权利要求9所述的信息处理设备,
其中,当所述凝视点不停留在固定的位置时,所述估计单元将所述用户在所述显示图像中所包括的多个窗口中搜索期望的窗口估计为所述用户的意图,以及
其中,所述显示控制单元按照为所述用户可区分地显示所述窗口的一部分的方式来控制所述显示单元,在所述显示图像中所述窗口与另一窗口交叠并且被隐藏在所述另一窗口后面。
13.根据权利要求4所述的信息处理设备,
其中,所述预定时间间隔为至少0.1秒或更长。
14.根据权利要求4所述的信息处理设备,
其中,由所述图像生成单元所生成的所述变化图像彼此有1%的差异,以及
其中,所述显示控制单元按照下述方式来控制所述显示单元:以所述预定时间间隔,将所述变化图像中的变化图像切换至从所述变化图像中当前正显示的所述变化图像起变化了1%的变化图像。
15.根据权利要求1所述的信息处理设备,
其中,所述信息处理设备是智能电话。
16.一种其中存储有程序的永久计算机可读存储介质,所述程序使得计算机执行:
检测在显示单元上所显示的显示图像中的用户的凝视点;
基于所述检测到的凝视点来估计所述用户的意图;
根据所估计出的意图生成从所述显示图像起细微地变化成最终显示图像的变化图像;以及
按照显示所生成的变化图像的方式来控制所述显示单元。
CN201410044842.7A 2013-02-15 2014-02-07 信息处理设备和存储介质 Pending CN103995580A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013027673A JP2014157466A (ja) 2013-02-15 2013-02-15 情報処理装置及び記憶媒体
JP2013-027673 2013-02-15

Publications (1)

Publication Number Publication Date
CN103995580A true CN103995580A (zh) 2014-08-20

Family

ID=51309768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410044842.7A Pending CN103995580A (zh) 2013-02-15 2014-02-07 信息处理设备和存储介质

Country Status (3)

Country Link
US (1) US9946338B2 (zh)
JP (1) JP2014157466A (zh)
CN (1) CN103995580A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238751A (zh) * 2014-09-17 2014-12-24 联想(北京)有限公司 一种显示方法及电子设备
CN106873774A (zh) * 2017-01-12 2017-06-20 北京奇虎科技有限公司 基于视线跟踪的交互控制方法、装置及智能终端
CN107291346A (zh) * 2016-04-12 2017-10-24 北京三星通信技术研究有限公司 终端设备的绘制内容处理方法、装置及终端设备
CN107770561A (zh) * 2017-10-30 2018-03-06 河海大学 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法
CN109324686A (zh) * 2018-08-13 2019-02-12 中国航天员科研训练中心 一种基于视线追踪的滑块操作方法
CN109765994A (zh) * 2017-11-09 2019-05-17 托比股份公司 对计算设备上的数据的保护和访问的改进
CN110832575A (zh) * 2017-07-12 2020-02-21 英特尔公司 自适应显示系统
US20230311652A1 (en) * 2022-04-01 2023-10-05 Ford Global Technologies, Llc Guided driver positioning systems and methods

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013013698A1 (de) * 2013-08-16 2015-02-19 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille
JP6237544B2 (ja) * 2014-09-03 2017-11-29 京セラドキュメントソリューションズ株式会社 表示処理装置、画像形成システム、表示処理方法、及び表示処理プログラム
US9985918B2 (en) * 2014-09-16 2018-05-29 Lenovo (Singapore) Pte. Ltd. Message recipient indicator
CN104834446B (zh) * 2015-05-04 2018-10-26 惠州Tcl移动通信有限公司 一种基于眼球追踪技术的显示屏多屏控制方法及系统
EP3392752A4 (en) * 2015-12-14 2018-12-12 Sony Corporation Information processing device, information processing method, and program
JP6231585B2 (ja) 2016-01-05 2017-11-15 株式会社Qdレーザ 画像投影装置
US20180072226A1 (en) * 2016-03-16 2018-03-15 Jesse Clement Bunch Extended perception system
US10678063B2 (en) * 2016-06-20 2020-06-09 Sharp Kabushiki Kaisha Image processing device, display device, control method for image processing device, and control program
JPWO2018042811A1 (ja) * 2016-08-31 2019-06-24 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP6772777B2 (ja) * 2016-11-21 2020-10-21 コニカミノルタ株式会社 情報処理装置及びプログラム
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
JP6776924B2 (ja) * 2017-02-07 2020-10-28 大日本印刷株式会社 文章表示装置、文章表示方法、及びプログラム
KR20230108352A (ko) 2017-05-01 2023-07-18 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
EP3729382A4 (en) 2017-12-22 2021-01-20 Magic Leap, Inc. PROCESS AND SYSTEM FOR MANAGING AND DISPLAYING VIRTUAL CONTENT IN A MIXED REALITY SYSTEM
KR20200122362A (ko) 2018-02-22 2020-10-27 매직 립, 인코포레이티드 혼합 현실 시스템들을 위한 브라우저
CA3091026A1 (en) 2018-02-22 2019-08-29 Magic Leap, Inc. Object creation with physical manipulation
US10852816B2 (en) * 2018-04-20 2020-12-01 Microsoft Technology Licensing, Llc Gaze-informed zoom and pan with manual speed control
JP2020080046A (ja) * 2018-11-13 2020-05-28 シャープ株式会社 電子機器、制御装置および電子機器の制御方法
WO2020170461A1 (ja) 2019-02-22 2020-08-27 ソニー株式会社 情報処理装置及び情報処理方法
CN113711174A (zh) 2019-04-03 2021-11-26 奇跃公司 用混合现实系统在虚拟三维空间中管理和显示网页
JP7001718B2 (ja) * 2020-01-17 2022-02-04 ヤフー株式会社 情報表示プログラム、情報表示方法および情報表示装置
WO2021166270A1 (ja) 2020-02-21 2021-08-26 ソニーグループ株式会社 情報処理装置、プログラム、および方法
JP7518631B2 (ja) * 2020-02-25 2024-07-18 シャープ株式会社 生体情報処理装置、および、生体情報処理方法
US20220121325A1 (en) * 2020-10-21 2022-04-21 Lenovo (Singapore) Pte. Ltd. User interface customization per application
US11775060B2 (en) 2021-02-16 2023-10-03 Athena Accessible Technology, Inc. Systems and methods for hands-free scrolling

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
JPH09297651A (ja) 1996-05-07 1997-11-18 Canon Inc パソコン及びファクシミリ装置
US5850211A (en) * 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
US7865841B2 (en) * 2005-11-29 2011-01-04 Panasonic Corporation Input/output device, input/output method, and program
JP5077879B2 (ja) 2007-08-29 2012-11-21 国立大学法人佐賀大学 視線入力装置、視線入力方法、及び、視線入力プログラム
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US8830164B2 (en) * 2009-12-14 2014-09-09 Panasonic Intellectual Property Corporation Of America User interface device and input method
US20110273466A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha View-dependent rendering system with intuitive mixed reality
US20130227472A1 (en) * 2012-02-29 2013-08-29 Joseph W. Sosinski Device, Method, and Graphical User Interface for Managing Windows
US9355612B1 (en) * 2013-01-22 2016-05-31 Amazon Technologies, Inc. Display security using gaze tracking

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238751A (zh) * 2014-09-17 2014-12-24 联想(北京)有限公司 一种显示方法及电子设备
CN104238751B (zh) * 2014-09-17 2017-06-27 联想(北京)有限公司 一种显示方法及电子设备
US9740283B2 (en) 2014-09-17 2017-08-22 Lenovo (Beijing) Co., Ltd. Display method and electronic device
CN107291346A (zh) * 2016-04-12 2017-10-24 北京三星通信技术研究有限公司 终端设备的绘制内容处理方法、装置及终端设备
CN106873774A (zh) * 2017-01-12 2017-06-20 北京奇虎科技有限公司 基于视线跟踪的交互控制方法、装置及智能终端
CN110832575A (zh) * 2017-07-12 2020-02-21 英特尔公司 自适应显示系统
CN107770561A (zh) * 2017-10-30 2018-03-06 河海大学 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法
CN109765994A (zh) * 2017-11-09 2019-05-17 托比股份公司 对计算设备上的数据的保护和访问的改进
CN109765994B (zh) * 2017-11-09 2022-09-09 托比股份公司 对计算设备上的数据的保护和访问的改进
CN109324686A (zh) * 2018-08-13 2019-02-12 中国航天员科研训练中心 一种基于视线追踪的滑块操作方法
CN109324686B (zh) * 2018-08-13 2022-02-11 中国航天员科研训练中心 一种基于视线追踪的滑块操作方法
US20230311652A1 (en) * 2022-04-01 2023-10-05 Ford Global Technologies, Llc Guided driver positioning systems and methods

Also Published As

Publication number Publication date
JP2014157466A (ja) 2014-08-28
US9946338B2 (en) 2018-04-17
US20140232639A1 (en) 2014-08-21

Similar Documents

Publication Publication Date Title
CN103995580A (zh) 信息处理设备和存储介质
CN112565515B (zh) 配对外围设备的方法、电子设备和计算机存储介质
CN106843711B (zh) 用于基于触摸输入的强度来处理触摸输入的设备和方法
Wobbrock et al. Ability-based design: Concept, principles and examples
JP6058626B2 (ja) 注視に基づくコンテンツディスプレイ
JP5885835B2 (ja) ユーザの眼球の動きによって操作可能なコンピュータ装置、およびそのコンピュータ装置を操作する方法
US9257114B2 (en) Electronic device, information processing apparatus,and method for controlling the same
CN116578211A (zh) 用于在电子设备上下载应用程序的用户界面
JP2006023953A (ja) 情報表示システム
CN102854979A (zh) 信息处理设备和方法
JP2006345529A (ja) ユーザが調整可能な閾値を用いる赤目補正方法及び装置
CN111857484B (zh) 屏幕亮度调节方法、装置、电子设备及可读存储介质
WO2020242882A1 (en) Device, method, and graphical user interface for updating a background for home and wake screen user interfaces
KR20110040199A (ko) 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말
US20210278932A1 (en) Self-learning digital interface
US11625754B2 (en) Method for providing text-reading based reward-type advertisement service and user terminal for executing same
CN101626449B (zh) 图像处理装置及图像处理方法
JP2011243108A (ja) 電子ブック装置及び電子ブック操作方法
CN114063845A (zh) 显示方法、显示装置和电子设备
US9148537B1 (en) Facial cues as commands
JP2009514119A (ja) ディスプレイ機能を有するボタンを具備した端末機及びこのためのディスプレイ方法
US11250242B2 (en) Eye tracking method and user terminal performing same
Sawicki et al. Head movement based interaction in mobility
US20230409177A1 (en) Interaction method using eye tracking data
CN115291791B (zh) 文本识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140820