CN113597594A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN113597594A
CN113597594A CN202080021918.8A CN202080021918A CN113597594A CN 113597594 A CN113597594 A CN 113597594A CN 202080021918 A CN202080021918 A CN 202080021918A CN 113597594 A CN113597594 A CN 113597594A
Authority
CN
China
Prior art keywords
input candidate
input
user
hmd
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202080021918.8A
Other languages
English (en)
Inventor
安田亮平
野田卓郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113597594A publication Critical patent/CN113597594A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0236Character input methods using selection techniques to select from displayed items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0237Character input methods using prediction or retrieval techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

该信息处理装置设置有:检测单元(12),其基于指示用户的视觉线的视觉线信息,检测用户在用于输入由显示单元(11)显示的信息的多个键对象上的注视点;以及控制单元(15),其参考检测到的注视点的位置,控制显示单元(11)以显示与基于注视点选择的多个键对象中的至少一个键对象相对应的输入候选信息。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。
背景技术
专利文献1公开了输入方法,该输入方法用于在第一显示区域中检测用户的视线,在第一显示区域中选择与用户的视线的位置相对应的字符或符号,并且在第二显示区域中显示用户的视线的位置处的符字符或符号。
引用列表
专利文献
专利文献1:JP 11-249804 A
发明内容
技术问题
在上述传统技术中,当用户检查输入结果时,用户需要将视线的位置移动到显示输入结果的显示区域。因此,在用于检查输入结果的技术中,期望减轻用户的身体负担。
因此,在本公开内容中,提出了一种能够减轻用户的身体负担并检查输入结果的信息处理设备、信息处理方法和程序。
问题的解决方案
为了解决上述问题,一种信息处理设备包括:检测单元,其基于指示用户的视线的视线信息,检测用户在用于输入信息并通过显示单元进行显示的多个键对象上的注视点;以及控制单元,其通过使用检测到的注视点的位置作为参考,控制显示单元以显示与多个键对象中的至少一个键对象相关联并且基于注视点进行选择的输入候选信息。
此外,一种使计算机执行处理的信息处理方法包括:基于指示用户的视线的视线信息,检测用户在用于输入信息并通过显示单元进行显示的多个键对象上的注视点;以及通过使用检测到的注视点的位置作为参考,控制显示单元以显示与多个键对象中的至少一个键对象相关联并且基于注视点进行选择的输入候选信息。
此外,一种使计算机执行处理的程序包括:基于指示用户的视线的视线信息,检测用户在用于输入信息并通过显示单元进行显示的多个键对象上的注视点;以及通过使用检测到的注视点的位置作为参考,控制显示单元以显示与多个键对象中的至少一个键对象相关联并且基于注视点进行选择的输入候选信息。
附图说明
[图1]图1是示出根据第一实施方式的信息处理方法的示例的图。
[图2]图2是示出根据第一实施方式的头戴式显示器的显示控制的示例的图。
[图3]图3是示出根据第一实施方式的头戴式显示器的配置示例的图。
[图4]图4是示出由根据第一实施方式的头戴式显示器执行的处理的流程的示例的流程图。
[图5]图5是示出根据第一实施方式的第一修改的信息处理方法的示例的图。
[图6]图6是示出根据第一实施方式的第二修改的信息处理方法的示例的图。
[图7]图7是示出根据第一实施方式的第二修改的输入候选数据的显示模式的示例的图。
[图8]图8是示出根据第一实施方式的第三修改的输入候选数据的显示示例的图。
[图9]图9是示出根据第一实施方式的第三修改的输入候选数据的显示示例的图。
[图10]图10是示出根据第一实施方式的第三修改的输入候选数据的显示示例的图。
[图11]图11是示出根据第一实施方式的第三修改的输入候选数据的显示示例的图。
[图12]图12是示出根据第一实施方式的第三修改的输入候选数据的显示示例的图。
[图13]图13是示出根据第一实施方式的第三修改的输入候选数据的显示示例的图。
[图14]图14是示出根据第一实施方式的第三修改的输入候选数据的显示示例的图。
[图15]图15是示出根据第二实施方式的信息处理方法的示例的图。
[图16]图16是示出根据第三实施方式的信息处理方法的示例的图。
[图17]图17是示出实现信息处理设备的功能的计算机的硬件配置的示例的图。
具体实施方式
下面将参照附图详细说明本公开内容的优选实施方式。此外,在每个实施方式中,具有相同功能的部件被分配相同的附图标记并且将省略对重复部分的描述。
(第一实施方式)
[根据第一实施方式的信息处理设备的配置]
图1是示出根据第一实施方式的信息处理方法的示例的图。如图1所示,头戴式显示器(HMD)10是安装在用户U的头部并且其中生成的图像显示在用户U前面的显示器上的信息处理设备的示例。将描述HMD 10是覆盖用户U的整个视野的屏蔽类型的情况;然而,HMD10也可以是不覆盖用户U的整个视野的开放类型。这里,在图1中,X轴指示水平方向,Y轴指示竖直方向,并且Z轴指示用户U的前后方向。
HMD 10具有能够与操作输入单元50执行无线通信的配置。操作输入单元50具有用于例如输入由用户U执行的操作的功能。操作输入单元50包括输入装置,例如游戏机的控制器、硬件按钮或触摸面板。操作输入单元50向HMD 10发送指示由用户U获得的操作结果的信息。此外,操作输入单元50还可以经由例如游戏机向HMD 10发送该信息。操作输入单元50也可以与HMD 10集成为单个单元。
HMD 10具有用于在虚拟空间中立体地显示输入屏幕100的功能。更具体地,HMD 10具有用于调整左眼的图像和右眼的图像的显示位置并提示用户调整会聚的功能。即,HMD10具有向用户U立体地示出输入屏幕100的功能。HMD 10具有用于结合用户U的视线在输入屏幕100上的移动和相对于操作输入单元50执行的操作来输入字符、符号等的输入功能。例如,HMD 10在用户U的辨别视野中显示输入屏幕100。辨别视野是在人能够识别某种类型的显示对象的形状或内容的范围内的视野。例如,HMD 10在用户U的前面显示输入屏幕100,并且基于用户U的视线信息检测输入屏幕100上的输入候选点P。在本公开内容中,可以假设,输入候选点P对应于用户的注视点。此外,在实施方式中,将描述HMD 10在输入屏幕100上显示输入候选点P的情况;然而,输入候选点P不必总是显示在输入屏幕100上。
在图1所示的示例中,输入屏幕100包括键盘110和输入栏120。键盘110包括多个键对象111(多条输入候选信息)。多条键对象111包括用于输入信息的软件键。如图1所示,输入屏幕100是设置在虚拟空间中并且包括多个键对象111的虚拟平面。在实施方式中,将描述键盘110为QWERTY布局键盘的情况;然而,键盘110不限于此。输入栏120显示在与输入屏幕100上的键盘110的显示区域不同的显示区域中。更具体地,输入栏120显示在多个键对象111的显示范围之外。在输入栏120中,显示由键盘110选择的输入候选。此外,所选择的键对象111也可以同时显示在输入栏120中和输入候选点P附近。输入候选包括诸如字符串、字符、符号、图形或图画符号的数据。此外,本公开内容中的多个键对象不限于典型的软件键盘。多个键对象也可以是用户连续选择的多个选择对象,并且也可以离散且任意地被布置。
HMD 10具有基于指示用户U的视线的视线信息来检测输入候选点P的功能。即,HMD10包括视线输入接口。视线信息是指示用户U的视线L的数据。根据实施方式的视线信息的示例包括“指示用户U的视线L的位置的数据”或“可以用于指定用户U的视线L的位置的数据(或可以用于估计用户的视线的位置的数据)”。
指示用户U的视线L的位置的数据的示例包括“指示用户U的视线L在输入屏幕100上的位置的坐标数据”。用户U的视线L在输入屏幕100上的位置由以例如输入屏幕100上的参考位置为原点的坐标系中的坐标表示。根据实施方式的输入屏幕100上的参考位置还可以是例如预先设置的固定位置或能够基于用户执行的操作等设置的位置。
在实施方式中,如果与用户U的视线L相关的信息是指示用户U的视线L在输入屏幕100上的位置的坐标数据,则HMD 10通过使用例如用于检测视线的技术来估计用户U的视线L的位置,并且然后,计算指示用户U的视线L在输入屏幕100上的位置的坐标数据。然后,HMD10将计算出的坐标数据设置为输入屏幕100上的输入候选点P。
根据实施方式的用于检测视线的技术的示例包括基于眼睛的移动点(例如,与眼睛移动部分相对应的点,例如虹膜或瞳孔)相对于眼睛的参考点(例如,与眼睛不移动的部分相对应的点,例如内眼角或角膜反射)的位置来检测视线L的方法。此外,根据实施方式的用于检测视线的技术不限于上述方法。例如,根据实施方式的HMD 10还能够通过使用利用“角膜反射技术”的用于检测视线的任意技术(例如“瞳孔角膜反射技术”、“巩膜反射技术”、“在检测到面部之后从眼睛、鼻子、嘴巴等获得特征点的主动外观模型(AAM)”)来检测用户U的视线。
此外,根据实施方式的指示用户U的视线L的位置的数据不限于上述的“指示用户U的视线L在输入屏幕100上的位置的坐标数据”。
例如,在用户U佩戴透明型眼镜装置的情况下,根据实施方式的指示用户U的视线L的位置的数据也可以是“指示存在于用户U观看的真实空间中的真实对象的位置的坐标数据”。
用户U所观看的真实空间中存在的真实对象的位置例如基于真实对象的三维图像和通过使用用于检测视线的技术所指定(估计)的视线矢量来指定(估计)。此外,用于指定用户U观看的真实空间中存在的真实对象的位置的方法不限于上述方法,并且可以使用能够指定用户U观看的真实空间中存在的真实对象的位置的任意技术。
如果根据本实施方式的与用户U的视线L的位置相关的信息是指示用户U观看的真实空间中存在的真实对象的位置的坐标数据,那么HMD 10(信息处理设备)从外部装置获取坐标数据,该坐标数据指示例如用户U所观看的真实空间中存在的真实对象的位置。真实对象包括例如键盘的照片、真实键盘等。此外,信息处理设备还能够通过使用例如用于检测视线的技术,通过指定(或估计)用户U观看的真实空间中存在的真实对象的位置来获取指示用户观看的真实空间中存在的真实对象的位置的坐标数据。
此外,根据实施方式的可以用于指定用户U的视线L的位置的数据的示例包括例如通过捕获要在输入屏幕100上显示的图像的方向而获得的捕获图像数据(通过从显示屏幕侧的位置捕获与显示屏幕相反的方向而获得的捕获图像数据)。此外,根据实施方式的能够用于指定用户U的视线L的位置的数据还可以进一步包括由获得检测值的任意传感器检测到的检测数据(例如由红外传感器检测到的检测数据,该红外传感器检测图像在输入屏幕100上显示的方向上的红外光),该检测值能够用于提高用户的视线的位置的估计准确性。
此外,根据实施方式的可以用于指定用户U的视线L的位置的数据也可以是与例如真实对象的三维图像和用户U的视线矢量相关的数据。例如,在使用可以用于指定用户U的视线L的位置的数据的情况下,根据实施方式的HMD 10根据用于指定例如根据上述实施方式的用户U的视线L的位置的方法执行处理,并且然后指定(或估计)用户U的视线L的位置。
在图1所示的示例中,当用户U输入字符串“myspace”时,用户U已经完成了到“myspa”的字符输入,并且将通过移动视线L来选择字符“c”。在这种情况下,当HMD 10在输入屏幕100上检测到输入候选点P时,HMD 10通过使用大于其他键对象111的尺寸的尺寸在由输入候选点P指示的输入屏幕100上显示“c”的键对象111。此外,HMD 10还可以改变由输入候选点P指示的键对象111的显示颜色、显示模式等。然后,HMD 10在输入屏幕100上显示输入候选数据130,该输入候选数据130指示到现在为止已经通过使用输入候选点P作为参考来选择的输入候选。此外,在本公开内容中,输入候选数据有时被称为输入候选信息。在这种情况下,输入候选数据130对应于指示已经输入(选择)的“myspa”的数据。然后,HMD 10显示输入候选数据130,该输入候选数据130指示具有五个字符的字符串“myspa”,使得能够与键对象111区分开。例如,HMD 10通过使用与键对象111的颜色不同的颜色以与字符串和键对象111可区分的方式显示输入候选数据130。例如,HMD 10还可以通过使用与键对象111的字体、字体尺寸等不同的字体、字体尺寸等来显示输入候选数据130。
在实施方式中,HMD 10在从用户U观看的深度方向上将输入候选数据130布置在比键盘110(即键对象111)更靠近用户U的位置。因此,用户U能够通过在调整会聚的同时在竖直方向或水平方向上稍微移动注视点来将注视点从键盘110移向输入候选数据130。
在实施方式中,HMD 10显示输入候选数据130以跟随输入候选点P。例如,HMD 10也可以沿着输入候选点P在输入屏幕100上的移动路线来移动显示的输入候选数据130。替选地,HMD 10也可以在对输入候选点P的移动给予延迟的同时实际地和线性地将输入候选数据130从输入候选点P的起点移动到终点。通过以这种方式显示输入候选数据130,在输入候选点P被移动之后的预定延迟时间段内,输入候选数据130不会临时显示在输入候选点P附近。因此,由于输入候选点P的移动,用户U能够适当地确保视野。
HMD 10在停止的输入候选点P附近显示输入候选数据130,使得能够叠加在键盘110上。输入候选数据130是基于人的已知视野特性来设置的。在本公开内容中,输入候选点P的附近也可以被认为是基于人的视野特性设置的范围。例如,输入候选数据130能够基于作为人可读字符的限制范围的单词识别限制来设置。例如,基于从用户U的眼球EY的位置到输入候选点P的距离来设置单词识别限制。此外,还可以假设,单词识别限制所指示的范围对应于输入候选点P的附近。输入候选数据130以与注视输入候选点P的用户U能够读取字符的范围相对应的字符数显示在输入候选点P附近。此外,输入候选点P的附近包括例如输入屏幕100上的在距离用于人的输入候选点P的字符可读限制内的范围内的显示区域。
用户U参考位于输入屏幕100上的键对象111“c”上并且显示在输入候选点P附近的“myspa”的输入候选数据130。此外,用户U在操作输入单元50上执行选择操作以选择键对象111“c”作为输入候选。选择操作例如包括确定按钮的按下、用户U的手势等。在这种情况下,如果HMD 10经由操作输入单元50检测到键对象111“c”的选择操作,则HMD 10接收字符“c”作为输入候选。然后,HMD 10使得所选择的“myspac”的输入候选数据130能够跟随输入屏幕100上的输入候选点P。HMD 10将由输入候选数据130指示的输入候选显示到输入屏幕100上的输入栏120中。
在实施方式中,如果HMD 10在输入屏幕100上的键盘110上显示输入候选数据130,则HMD 10还将所选择的输入候选显示在输入屏幕100上的输入栏120中;然而,实施方式不限于此。例如,如果HMD 10显示输入候选数据130,则HMD 10不需要在输入栏120中显示与输入候选数据130相同的输入候选。然后,当已经定义输入候选数据130的输入时,HMD 10还可以将定义的输入数据显示到输入栏120中。在本公开内容中,输入候选点P的附近也可以被视为第二输入栏,该第二输入栏暂时仅指示已被选择但尚未定义的输入候选信息。
图2是示出根据第一实施方式的头戴式显示器10的显示控制的示例的图。在图2所示的步骤S11处,当用户U输入字符串“myspace”时,用户U已经完成了到“mysp”的字符输入。以选择字符的顺序布置“mysp”。在图2中,以水平方向布置“mysp”。此外,也可以根据输入语言适当地决定所选择的输入候选数据130的布置方向。例如,如果输入语言是英语,则HMD10将输入候选数据130设置在注视点的左侧。输入候选数据130的布置方向可以对应于本公开内容中的预定方向。在图2中,HMD 10显示(多条)选择的输入候选数据130以跟随输入屏幕100的输入候选点P。然后,HMD 10将由输入候选数据130指示的输入候选显示到输入屏幕100上的输入栏120中。因此,用户U能够通过参考位于输入候选点P附近的输入候选数据130来查看当前选择的输入候选,使得用户U不需要将视线L从输入候选点P移动到输入栏120。
在步骤S11处,用户U根据路线R1移动视线L以选择键对象111“a”作为下一输入候选。路线R1是将视线L从例如键对象111“a”依次移动到键对象111“s”、“d”和“f”,并且然后移动到键对象111“c”的路线。此处,从“mysp”中,指示最新输入候选数据130的“p”被显示为和与输入候选点P的当前位置相关联的键对象相邻。因此,用户U能够容易且视觉上识别指示用户U将要选择的“a”的输入候选数据130。此外,请注意,本公开内容所称的“相邻”包括“以一定间隔设置在附近”和“在没有间隔的情况下设置在附近”。
在步骤S12处,HMD 10在输入屏幕100上显示输入候选数据130,该输入候选数据130指示正被选择的“myspa”的输入候选以跟随输入候选点P。更具体地,HMD 10将包括“myspa”的端部的所显示的“myspa”的至少一部分叠加到键对象111“s”、“d”和“f”上,这些键对象与键对象111“c”相邻。然后,HMD 10将由输入候选数据130指示的“myspa”的输入候选显示到输入屏幕100上的输入栏120中。然后,如果输入候选点P正在移动路线R1,则HMD10显示输入候选数据130以根据输入候选点P在其上移动的路线R1跟随输入候选点P。在步骤S12所指示的示例中,从输入候选点P作为参考来看,HMD 10沿着键对象111“f”和键对象111“c”之间的路线R1显示输入候选数据130。HMD 10在以路线R1为起点的输入候选点P附近显示输入候选数据130。
在步骤S13处,用户U参考在位于输入屏幕100上的键对象111“c”处的输入候选点P附近显示的“myspa”的输入候选数据130。然后,用户U在操作输入单元50上执行选择操作以选择键对象111“c”作为输入候选。然后,当用户U完成选择操作时,用户U根据路线R2移动视线L以选择键对象111“e”作为下一输入候选。
在这种情况下,当HMD 10经由操作输入单元50检测到键对象111“c”的选择操作时,HMD 10接收字符“c”作为输入候选。然后,HMD 10通过使用输入候选点P作为参考在输入屏幕100上显示输入候选数据130,该输入候选数据130指示正在选择的“myspac”的输入候选。
在实施方式中,HMD 10将输入候选数据130所指示的字符数(数据条数或数据量)限制为五个字符,并且简写(或删除)不能从用作参考的输入候选点P的位置识别的输入候选数据130。与要显示的输入候选数据130的限制相关的数据条数或数据量是与本公开内容中的视线信息相关的预定条件的示例。然后,在步骤S14处,输入候选数据130的字符数为“myspac”的六个字符,并且超过了要显示的设置字符数,使得HMD 10通过使用简写符号来简写并显示输入候选数据130。例如,如步骤S14处所示,HMD 10显示“…yspac”的输入候选数据130,其指示除了五个字符之外的多余字符的部分以跟随输入候选点P。从较旧的输入候选数据130开始依次应用输入候选数据130的简写。相比之下,在没有简写的情况下,HMD10在输入屏幕100上的输入栏120上显示由输入候选数据130指示的“myspac”的输入候选。因此,用户U能够通过参考输入候选点P附近的输入候选数据130来检查紧接在当前选择的输入候选之前的输入候选,使得用户U不需要将视线L从输入候选点P移动到输入栏120。
例如,在步骤S14处,假设用户U没有通过使用操作输入单元50执行输入候选的选择操作。在这种情况下,如果在显示输入候选数据130之后未选择下一输入候选的状态持续预定时间,则HMD 10从输入屏幕100自动删除所显示的输入候选数据130的至少一部分。与要显示的输入候选数据130的限制相关的预定时间是与本公开内容中的视线信息相关的预定条件的示例。预定时间包括例如几秒钟、几分钟等。可以根据用户U操作的单个单词输入时的平均时间间隔来设置预定时间。在实施方式中,预定时间例如是基于用户U执行输入的平均时间的两秒。因此,如果未选择状态持续两秒,则HMD 10使输入候选数据130从输入屏幕100淡出。然后,即使在HMD 10从输入屏幕100中删除输入候选数据130之后,HMD 10仍保持输入栏120中输入候选的显示。
此外,在实施方式中,将描述HMD 10基于用户U执行的选择操作的存在或不存在来控制输入候选数据130的删除的情况;然而,实施方式不限于此。例如,HMD 10还可以基于用户U的视线L的存在或不存在、基于视线L是否正朝着输入屏幕100移动等来控制输入候选数据130的删除。例如,如果从用户U的视线L注视的键对象111的移动量、移动速度和移动加速度中的至少一个大于或等于阈值,则HMD 10至少暂时删除输入的候选数据130。
如上所述,根据第一实施方式的HMD 10通过使用输入候选点P作为参考来显示指示基于用户U的输入候选点P选择的输入候选的输入候选数据130。更具体地,HMD 10在用户U的输入候选点P附近显示输入候选数据130并且使得用户U能够容易地意识到错误输入。通过使得用户U能够简单地参考输入候选数据130,与将视线L移动到输入栏120的情况相比,HMD 10能够减少用户U的视线L的移动量。例如,即使HMD 10增加输入屏幕100上的显示尺寸或者单独设置键盘110和输入栏120,HMD 10也能够减少用户U的视线L的移动量。因此,通过减少用户U对输入候选数据130的视线L的量,HMD 10能够通过减少施加到用户U的身体负荷来使得用户U能够检查输入结果。
此外,HMD 10显示输入候选数据130以跟随输入候选点P。因此,即使用户U的输入候选点P移动,HMD 10也能够在输入候选点P附近显示输入候选数据130。因此,通过根据用户U的视线L的移动来移动输入候选数据130的显示位置,HMD 10能够减少为了检查输入结果而执行的视线L的移动量。
此外,HMD 10限制使得能够跟随输入候选点P的输入候选数据130的数据条数。因此,HMD 10能够限制显示在输入候选点P附近的输入候选数据130的数据条数,使得HMD 10能够减少输入候选数据130叠加在其上的其他键对象111的数目。因此,即使HMD 10操作输入候选数据130的后续显示,HMD 10也能够适当地确保用户U的视野。
此外,如果输入候选数据130的数据条数达到上限,则HMD 10简写输入候选数据130的使得能够跟随输入候选点P的部分。即,如果所选择的输入候选数据130的条数大于上限,则HMD 10将实际要显示的输入候选数据130的条数限制为小于或等于上限。因此,HMD10能够在用户U上次选择的输入候选的相反方向上部分地显示输入候选数据130。因此,HMD10能够适当地确保用户U的视野并且使得用户U能够检查输入候选,使得HMD 10能够提高便利性。
此外,如果在显示输入候选数据130之后未选择下一输入候选的状态持续预定时间,则HMD 10从输入屏幕100自动地删除输入候选数据130。因此,HMD 10能够防止用户U当前视觉识别的键对象111和显示在键对象111附近的对象由于输入候选数据130而被视觉识别。因此,HMD 10能够防止用户U的视野被输入候选数据130遮挡,并且因此能够提高使用视线L的可操作性。
此外,HMD 10至少根据用户U的视线L的移动临时删除输入候选数据130。因此,在假设用户U试图观看除键对象111和输入候选数据130之外的显示对象的情况下,可以防止用户U的视野被遮挡。因此,HMD 10能够防止用户U的视野被输入候选数据130遮挡,并且因此能够提高使用视线L的可操作性。
此外,HMD 10显示基于输入候选点P选择的输入候选数据130,使得选择的输入候选数据130和与检测到的输入候选点P(注视点)的当前位置相关联的多个键对象111之一相邻。更具体地,HMD 10在输入屏幕100上显示要由用户U选择的多个键对象111并且将选择的输入候选数据130叠加在键对象111上。键对象111的这种显示状态有时简称为叠加显示。因此,HMD 10能够显示键对象111以与输入候选数据130相关联。因此,当用户U在视觉上识别出输入候选数据130和键对象111的叠加显示时,HMD 10能够使用户U直观地理解与过去选择的输入候选的关系。因此,可以提高与视线输入相关的虚拟对象(例如输入候选数据130或键对象111)的可见性。
此外,HMD 10在输入屏幕100的与多个键对象111的位置不同的显示位置处显示输入栏120,并且将基于输入候选点P选择的输入候选显示到输入栏120中。因此,HMD 10能够分别显示多个键对象111和输入栏120,使得HMD 10能够给予输入屏幕100的设计自由度,并且因此能够增加输入屏幕100的尺寸。因此,HMD 10能够减少用户U的身体负荷并且因此能够改进设计。
此外,即使HMD 10删除叠加在输入屏幕100的键对象111上的输入候选数据130,HMD 10也保持输入栏120的输入候选的显示。因此,这使得HMD 10能够简单且暂时地在键对象111上显示输入候选数据130,使得HMD 10能够减少输入候选数据130叠加在键对象111上所需的时间。因此,HMD 10能够防止输入候选点P周围存在的虚拟对象的可见度由于输入候选数据130而降低。
此外,HMD 10基于用户U操作的操作输入单元50的操作结果检测由输入候选点P指示的输入候选已经被选择。因此,通过将用户U的视线所执行的操作与操作输入单元50所执行的输入候选的选择操作区分开,HMD 10不需要检测视线L所执行的选择操作。因此,HMD10能够减少用户U的视线L的移动量,并且因此提高结合用户U的视线L和操作输入单元50的操作使用的输入技术的可操作性。
[根据第一实施方式的头戴式显示器的配置示例]
在下文中,作为根据第一实施方式的信息处理设备的示例,将描述头戴式显示器(HMD)10的配置。图3是示出根据第一实施方式的头戴式显示器10的配置示例的图。如图3所示,HMD 10包括显示单元11、检测单元12、通信单元13、存储单元14和控制单元15。
显示单元11包括一个或多个显示装置。显示装置包括例如液晶显示器(LCD)、有机电致发光(EL)显示器(OELD)等。显示单元11显示由控制单元15控制的各种信息。各种信息包括例如显示在上述输入屏幕100上的信息。显示单元11通过显示例如在佩戴头戴式显示器(HMD)时与用户U的每个眼球EY相关联的图像来使用双眼的视差来实现三维表示。然后,显示单元11以三维显示输入屏幕100。
检测单元12基于指示用户U的视线的视线信息来检测多个键对象111的输入候选点P。检测单元12通过使用用于估计视线的已知方法来估计用户U的视线L。例如,当检测单元12通过使用瞳孔角膜反射技术估计视线L时,检测单元12使用光源和摄像机。然后,检测单元12分析摄像机捕获的用户U的眼球EY的图像,检测亮点或瞳孔,并且生成包括与亮点的位置相关的信息的亮点相关信息以及包括与瞳孔的位置相关的信息的瞳孔相关信息。然后,检测单元12基于亮点相关信息、瞳孔相关信息等来检测(估计)用户U的视线L(光轴)。然后,检测单元12基于显示单元11与用户U的眼球在三维空间中的位置关系,检测用户U的视线L与显示单元11相交的坐标作为输入候选点P。检测单元12检测从输入屏幕100到用户U的视点位置(眼球)的距离。检测单元12将检测结果输出至控制单元15。
通信单元13以无线方式执行通信。通信单元13支持近场无线通信系统。通信单元13具有用于通过发送和接收信息来与操作输入单元50、外部装置等进行无线通信的功能。通信单元13将从控制单元15接收到的信息发送至操作输入单元50、外部装置等。通信单元13将从操作输入单元50、外部装置等接收的信息输出到控制单元15。
存储单元14在其中存储各种数据和程序。例如,存储单元14能够存储由检测单元12获得的检测结果。存储单元14例如电连接至检测单元12、控制单元15等。存储单元14在其中存储例如与输入屏幕100相关的数据、上述输入候选数据130、已被定义为输入的输入数据等。存储单元14例如是半导体存储装置(例如RAM或闪速存储器)、硬盘、光盘等。此外,存储单元14还可以设置在经由网络连接至HMD 10的云服务器中。
控制单元15执行对诸如显示单元11的HMD 10的控制。控制单元15由中央处理单元(CPU)、微处理单元(MPU)等实现。控制单元15也可以由诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)等的集成电路实现。
控制单元15包括功能单元,例如选择单元15a、编辑单元15b和显示控制单元15c。控制单元15通过执行程序而用作选择单元15a、编辑单元15b和显示控制单元15c。
当选择单元15a经由操作输入单元50检测由用户U执行的选择操作时,选择单元15a选择由检测单元12检测到的输入候选点P指示的键对象111的输入候选。选择单元15a将选择的结果输出到编辑单元15b、显示控制单元15c等。选择结果包括例如指示所选择的输入候选、键对象111等的信息。
编辑单元15b基于由选择单元15a选择的输入候选来编辑输入候选数据130。如果输入候选数据130不存在,则编辑单元15b新生成指示所选择的输入候选的输入候选数据130并且将所生成的输入候选数据130存储在存储单元14中。如果输入候选数据130已经存在,即如果输入候选数据130显示在输入屏幕100上,则编辑单元15b通过将选择的输入候选添加到存储在存储单元14中的输入候选数据130来编辑选择的输入候选。
显示控制单元15c具有用于显示输入候选数据130的功能,该输入候选数据130指示基于由检测单元12检测到的输入候选点P使用输入候选点P为参考选择的输入候选。例如,显示控制单元15c以设置的显示模式在输入候选点P附近显示输入候选数据130。显示模式例如包括通过使用输入候选点P为参考的显示位置、显示尺寸、显示颜色等。显示位置例如包括输入候选点P的左侧、上侧或周边的位置。显示模式例如包括输入候选点P正在移动的状态或输入候选点P停止移动的状态。
显示模式能够根据用户U的视点位置(眼球的位置)到输入屏幕100的距离来改变字符尺寸,以保证使用叠加显示的输入候选数据130的可见性。显示模式是通过设置字符尺寸来确定的,例如,从视点位置观看的字符所形成的角度是预定度数。形成的角度指示例如在从视点位置观看的字符的一端与其另一端之间形成的角度。例如,日语汉字的字符所形成的角度是25弧分,当距离是300mm时,字符尺寸被设置为2.2mm,而当距离是400mm时,字符尺寸被设置为2.9mm。例如,如果由字母表的字符形成的角度是16弧分,则当距离是300mm时,字符尺寸被设置为1.3mm,而当距离是400mm时,字符尺寸被设置为1.8mm。这样,HMD 10以确保输入候选数据130的可见性的字符尺寸将输入候选数据130叠加在输入屏幕100上。此外,HMD 10还可以存储用于基于距视点位置的距离来获得字符尺寸的计算公式、表等,并且如果距离改变,则HMD 10还可以根据该距离将输入候选数据130的尺寸改变为字符尺寸。
显示控制单元15c具有用于使得输入候选数据130能够跟随输入候选点P的功能。显示控制单元15c具有用于控制使得能够跟随输入候选点P的输入候选数据130的数据条数的功能。显示控制单元15c具有用于在输入候选数据130的数据条数达到上限的情况下简写使得能够跟随输入候选点P的输入候选数据130的一部分的功能。显示控制单元15c具有用于在显示控制单元15c显示输入候选数据130之后未选择下一输入候选的状态持续了预定时间的情况下从输入屏幕100删除输入候选数据130的功能。可以针对预定时间设置任意时间。
显示控制单元15c具有用于在输入屏幕100上显示将由用户U选择的多个键对象111的功能。例如,显示控制单元15c在输入屏幕100上显示QWERTY布局键盘、轻敲输入布局键盘、Godan键盘等。QWERTY布局键盘是其中通过使用QWERTY布局来布置键的软件键盘。轻敲输入布局键盘是如下软件键盘,其中,日语列“a”列、“ka”列、“sa”列、“ta”列、“na”列、“ha”列、“ma”列、“ya”列、“ra”列和“wa”列被分配给相关联的键。Godan键盘是在左侧布置元音音键并且在右侧布置辅音音键的软件键盘。显示控制单元15c使得显示单元11能够显示具有由用户U等设置的键盘的输入屏幕100。
显示控制单元15c具有用于在输入屏幕100的与多个键对象111的位置不同的显示位置处显示输入栏120的功能。显示控制单元15c具有在输入屏幕100的输入栏120上显示由用户U选择的输入候选的功能。例如,显示控制单元15c将由用户U选择的输入候选、定义了输入的字符串等显示在输入栏120中。
在上文中,已经描述了根据实施方式的HMD 10的功能配置的示例。此外,以上参照图3描述的配置仅是示例,并且根据实施方式的HMD 10的功能配置不限于上述示例。可以根据规范或操作而灵活地修改根据实施方式的HMD 10的功能配置。
在实施方式中,将描述HMD 10与操作输入单元50分离的情况;然而,实施方式不限于此。例如,HMD 10还可以包括操作输入单元50。例如,HMD 10还可以与操作输入单元50集成为单个单元。
[根据第一实施方式的头戴式显示器10的处理过程]
在下文中,将描述根据第一实施方式的头戴式显示器10的处理过程的示例。图4是示出根据第一实施方式的头戴式显示器10所执行的处理过程的示例的流程图。图4中所示的处理过程由包括在HMD 10中的控制单元15执行程序来实现。图4中所示的处理过程由HMD10中的控制单元15重复地执行。
如图4所示,HMD 10中的控制单元15开始显示输入屏幕100(步骤S100)。例如,控制单元15请求显示单元11显示输入屏幕100。因此,显示单元11开始显示输入屏幕100,使得用户U视觉地识别包括键盘110和输入栏120的输入屏幕100。当控制单元15开始显示输入屏幕100时,控制单元15使处理进行至步骤S101。
控制单元15通过使用检测单元12来检测输入候选点P(步骤S101)。控制单元15判断输入候选点P是否存在于输入屏幕100上的键盘110上(步骤S102)。例如,如果输入候选点P的坐标在其中在输入屏幕100上显示键盘110的显示区域内,则HMD 10判断输入候选点P存在于键盘110上。然后,如果控制单元15判断输入候选点P不存在于键盘110上(步骤S102,“否”),则控制单元15将处理进行至稍后将描述的步骤S112。此外,如果控制单元15判断输入候选点P存在于键盘110上(步骤S102,“是”),则控制单元15将处理进行至步骤S103。
控制单元15执行键选择处理(步骤S103)。例如,通过执行键选择处理,HMD 10通过使用检测单元12检测输入候选点P并且选择由输入候选点P指示的键对象111。在实施方式中,控制单元15将所选择的键对象111的显示模式改变为与其他键对象111的显示模式不同的显示模式,并且然后在输入屏幕100上显示键对象111。通过执行步骤S103处的处理,控制单元15用作选择单元15a。然后,当控制单元15选择键对象111时,控制单元15将处理进行至步骤S104。
控制单元15判断是否已检测到键对象111的选择操作(步骤S104)。例如,如果控制单元15经由通信单元13接收到与从操作输入单元50接收的选择操作相关联的信息,则控制单元15判断已检测到键对象111的选择操作。如果控制单元15判断已检测到键对象111的选择操作(步骤S104,“是”),则控制单元15将处理进行至步骤S105。
控制单元15对选择的字符执行编辑处理(步骤S105)。例如,通过执行编辑处理,控制单元15将由输入候选点P指示的键对象111的字符定义为输入候选。如果不存在输入候选数据130,则控制单元15新生成指示输入候选的输入候选数据130,并且将生成的输入候选数据130存储在存储单元14中。如果存在输入候选数据130,则控制单元15将这次获得的输入候选添加到输入候选数据130。然后,当控制单元15完成编辑处理时,控制单元15使处理进行至步骤S106。
控制单元15更新输入屏幕100上的输入栏120的显示(步骤S106)。例如,控制单元15基于编辑的输入候选数据130更新输入栏120中的显示内容。然后,控制单元15更新输入候选数据130的显示内容和显示位置(步骤S107)。例如,控制单元15基于输入候选点P的数据条数和上限来决定输入候选数据130的显示模式。详细地,如果数据条数小于上限,则控制单元15确定显示所有输入候选的第一显示模式。此外,当数据的条数大于或等于上限时,控制单元15决定使用第二显示模式,在该第二显示模式中,仅显示多个输入候选中的定位在最后部分的与上限相对应的量的输入候选。然后,控制单元15基于输入候选点P指定输入候选数据130在输入屏幕100上的显示位置,并且然后,请求显示单元11更新正在输入屏幕100上显示的输入候选数据130。因此,显示单元11在输入屏幕100上更新输入栏120和键盘110中的输入候选数据130的显示。
控制单元15开始对预定时间进行计时(步骤S108)。例如,当经过了预定时间时,控制单元15启动指示超时的计时器。例如,控制单元15检测开始计时的时间,并且然后将检测到的时间存储在存储单元14中。然后,如果控制单元15结束步骤S108处的处理,则控制单元15将处理进行至稍后将描述的步骤S112。
此外,如果HMD 10判断没有检测到键对象111的选择操作(步骤S104,“否”),则控制单元15将处理进行至步骤S109。控制单元15判断未检测到选择操作的状态是否持续了预定时间(步骤S109)。例如,如果计时器指示超时,则控制单元15判断该状态持续预定时间。例如,控制单元15计算开始计时后的时间段,并且如果时间达到预定时间,则判断该状态持续了预定时间。然后,如果控制单元15判断该状态没有持续预定时间(步骤S109,“否”),则控制单元15将处理进行至稍后将描述的步骤S112。此外,如果控制单元15判断该状态持续了预定时间(步骤S109,“是”),则控制单元15将处理进行至步骤S110。
控制单元15从输入屏幕100中删除输入候选数据130(步骤S110)。例如,控制单元15请求显示单元11删除输入候选数据130。因此,显示单元11从输入屏幕100中删除输入候选数据130。然后,控制单元15结束预定时间的计时(步骤S111)。如果控制单元15结束步骤S111处的处理,则控制单元15将处理进行至步骤S112。
控制单元15判断是否接收到结束请求(步骤S112)。例如,如果控制单元15接收到输入操作的使用结束、用户U执行的结束操作等,则控制单元15判断接收到结束请求。然后,如果控制单元15判断没有接收到结束请求(步骤S112,“否”),则控制单元15返回至步骤S101的处理并且重复步骤S101和后续处理的一系列处理。此外,如果控制单元15判断接收到结束请求(步骤S112,“是”),则控制单元15将处理进行至步骤S113。
控制单元15结束输入屏幕100的显示(步骤S113)。例如,控制单元15请求显示单元11删除输入屏幕100。因此,显示单元11结束输入屏幕100的显示。然后,如果控制单元15结束步骤S113处的处理,则控制单元15结束图4所示的处理过程。
在图4所示的处理过程中,已经描述了通过执行步骤S100、步骤S106、步骤S107、步骤S110和步骤S113处的处理,控制单元15用作显示控制单元15c的情况;然而,实施方式不限于此。
上述第一实施方式是示例并且可以进行各种修改和应用。
[第一实施方式的第一修改]
例如,根据第一实施方式的HMD 100能够改变输入屏幕100的显示模式。
图5是示出根据第一实施方式的第一修改的信息处理方法的示例的图。如图5所示,HMD 10还可以通过使用输入屏幕100A和操作输入单元50来输入字符或字符串。在这种情况下,操作输入单元50包括触摸板51并且使得用户U能够使用手势执行选择操作。然后,操作输入单元50经由触摸板51检测诸如敲击或轻敲的手势并且将检测结果输出至HMD 10。
HMD 10具有用于在虚拟空间中立体地显示输入屏幕100A的功能。HMD 10具有用于结合用户U的视线在输入屏幕100A上的移动和操作输入单元50的操作来输入字符、符号等的输入功能。输入屏幕100A包括具有用于轻敲输入的键布局的键盘110A并且还包括输入栏120。键盘110A包括多个键对象111。日语列“a”列、“ka”列、“sa”列、“ta”列、“na”列、“ha”列、“ma”列、“ya”列、“ra”列和“wa”列的字符被分配给相关联的键对象111。例如,“a”、“i”、“u”、“e”和“o”的字符被分配给日语“a”列的键对象111。
在图5所示的示例中,在用户U输入日语字符串“ko n ni chi ha”的情况下,用户U完成到“ko n ni”的输入并且尝试通过移动视线L来选择“ta”列中的字符“chi”。在这种情况下,如果HMD 10检测到指示输入屏幕100A上“ta”列的键对象111,则HMD 10在键对象111的“ta”列上叠加五个键对象112,其指示“ta”、“chi”、“tsu”、“te”和“to”的字符。然后,HMD10通过使用输入候选点P作为参考将指示“ko n ni”的输入候选数据130叠加在键对象112上。
用户U在参考输入候选数据130的同时使视线L向左方向移动,并且在用户U视觉地识别键对象112“chi”的状态下,在包括在操作输入单元50中的触摸板51上执行选择操作。在这种情况下,如果HMD 10在检测到输入候选点P指示键对象112“chi”的状态下,经由操作输入单元50检测键对象112“chi”的选择操作,则HMD 10接收字符“chi”作为输入候选。然后,HMD 10使得选择的“ko n ni chi”的输入候选数据130能够跟随输入屏幕100A上的输入候选点P。HMD 10在输入屏幕100A上的输入栏120上显示由输入候选数据130指示的输入候选。
如上所述,根据第一实施方式的第一修改的HMD 10在输入屏幕100A上显示基于输入候选点P选择的输入候选数据130以及通过使用输入候选点P作为参考由用户U在输入屏幕100A上执行的手势。更具体地,HMD 10在输入屏幕100A上显示输入候选点P附近的输入候选数据130并且使得用户U能够容易地意识到错误输入。通过使得用户U能够简单地参考输入候选数据130,与将视线移动到输入栏120的情况相比,HMD 10能够减少用户U的视线L的移动量。因此,通过减少用户U对输入候选数据130的视线L的量,HMD 10能够通过减少施加到用户U的身体负荷来使得用户U能够检查输入结果。
[第一实施方式的第二修改]
例如,根据第一实施方式的HMD 10能够改变输入候选数据130的显示模式。
图6是示出根据第一实施方式的第二修改的信息处理方法的示例的图。如图6所示,HMD 10在输入屏幕100上显示键盘110和输入栏120。HMD 10中的控制单元15具有用于以用户U可选择的方式将输入候选数据130的输入候选字符串叠加在键对象111上的功能。如果控制单元15显示一个或多个输入候选字符串,则控制单元15将所选择的输入候选字符串视为输入候选数据130。
在图6所示的步骤S21处,如果用户U输入字符串“Applaud”,则用户U完成到“Appl”的字符输入并且视线L指示在键对象111“k”附近。在这种情况下,HMD 10在转换数据库中搜索包括输入候选数据130的“Appl”的预测输入候选。转换数据库存储在例如HMD 10中的存储单元14、信息处理服务器中的存储装置等中。HMD 10提取了“Apple”、“Application”和“Applaud”三个预测输入候选。即,HMD 10还在输入候选点P附近显示输入候选数据131并且跟随输入候选数据131到输入候选点P。在实施方式中,HMD 10显示其中向“Appl”添加下划线和向下箭头的输入候选数据131,HMD 10使得用户U能够识别存在预测输入候选。然后,用户U通过使用操作输入单元50对向下箭头进行参考操作。参考操作不同于例如选择操作。
在步骤S22处,HMD 10检测到用户U的参考操作,使得HMD 10在“Appl”的输入候选下方执行输入候选数据131的叠加显示。HMD 10通过在竖直方向上布置数据来显示指示输入候选数据131的“Apple”、“Application”和“Applaud”。此外,指示输入候选数据131的“Apple”、“Application”和“Applaud”中的每一个可以对应于根据本公开内容的预测输入候选信息。在实施方式中,HMD 10显示所有多个预测输入候选以位于键盘110上;然而,也可以显示预测输入候选,使得预测输入候选的一部分从键盘110伸出。然后,用户U将视线L移动到输入候选数据131的“Applaud”。在这种情况下,如果HMD 10执行输入候选数据131的固定显示,则即使输入候选点P移动,HMD 10也固定显示位置而不会使得输入候选数据131跟随输入候选点P。因此,用户U能够根据视线L的移动将输入候选点P移动到预测输入候选。
在步骤S22处,用户U在输入候选点P位于预测输入候选“Applaud”的状态下,通过使用操作输入单元50执行选择操作。在这种情况下,如果HMD 10在输入候选点P指示“Applaud”的预测输入候选的状态下经由操作输入单元50检测到选择操作,则HMD 10将“Applaud”定义为输入候选数据131。在实施方式中,HMD 10显示将“Applaud”的输入候选(字符串)从输入候选数据131移向输入栏120的动画。
在步骤S23处,HMD 10将由输入候选数据131指示的“Applaud”的输入候选显示到输入栏120中。HMD 10使得“Applaud”的输入候选数据131能够跟随输入候选点P。因此,用户U参考输入候选点P附近的输入候选数据131,使得用户U能够在不将视线L移动到输入栏120的情况下在检查位于紧接在选择输入候选之前的输入候选的同时通过使用视线L继续输入操作。
例如,在步骤S22处,假设用户U不通过使用操作输入单元50执行输入候选的选择操作。在这种情况下,如果在显示输入候选数据131之后未选择下一输入候选的状态持续预定时间,则HMD 10从输入屏幕100中删除输入候选数据131。例如,预定时间可以是根据要显示的预测输入候选的数目的时间段。在实施方式中,如果预定时间是例如基于用户U的输入平均时间的两秒,则使用通过将输入平均时间乘以预测输入候选的数目获得的时间。然后,如果未选择状态持续预定时间,则HMD 10使输入候选数据131从输入屏幕100淡出。此外,HMD 10根据预测输入候选的数目改变预定时间,使得HMD 10能够避免在用户U执行的检查期间删除输入候选数据131。
此外,在实施方式中,将描述在用户U选择预测输入候选之后,HMD 10使得作为输入候选数据131的预测输入候选跟随输入候选点P的情况;然而,实施方式不限于此。例如,如果用户U选择了预测输入候选,则HMD 10也可以决定输入候选的输入并且结束输入候选数据131的后续显示。
在实施方式中,HMD 10还可以使得用户U能够通过操作输入单元50的操作来选择预测输入候选。例如,如果操作输入单元50是游戏机的控制器,则HMD 10还可以使得用户U能够使用箭头键按钮(即向上、向下、向右和向左键按钮)来关注预测输入候选,并且使用决定按钮选择预测输入候选,或者也可以使得用户U能够使用带按钮关注预测输入候选并使用带按钮选择预测输入候选。
如上所述,根据第一实施方式的第二修改的HMD 10以用户U可选择的方式将包括输入候选数据131的输入候选的预测输入候选叠加在键对象111上,并且将所选择的预测输入候选决定为输入候选数据131。因此,HMD 10在输入候选点P附近显示预测输入候选并且能够使用户U选择预测输入候选。因此,HMD 10能够减少用户U的视线L的移动量,使得HMD10能够提高使用视线L的输入效率。
图7是示出根据第一实施方式的第二修改的输入候选数据131的显示模式的示例的图。在图7所示的转换T1的示例中,HMD 10能够将位于输入候选数据131处的向下箭头131a转换为符号131b。符号131b用“*”指示;然而,实施方式不限于此,并且还可以是例如“+”、“~”等。在转换T2的示例中,HMD 10能够将位于输入候选数据131处的向下箭头131a改变为框131c。框131c是包围输入候选数据131所指示的“Appl”的输入候选的框。在转换T3的示例中,HMD 10能够将位于输入候选数据131处的向下箭头131a改变为指示预测输入候选的一部分的简写数据131d。简写数据131d指示在输入候选的下方显示时作为预测输入候选之一的“Apple”的上半部分并且是其中“Apple”的下半部分被简写的数据。如果简写数据131d显示在输入候选上方,则该数据还可以指示作为预测输入候选之一的“Apple”的下半部分并且还可以简写“Apple”的上半部分。
此外,第一实施方式的第二修改也可以与修改中描述的其他实施方式、输入候选数据130、131等组合使用。
[第一实施方式的第三修改]
例如,根据第一实施方式的HMD 10能够改变输入候选数据130的布局。
图8至图14分别是示出根据第一实施方式的第三修改的输入候选数据130的显示示例的图。在根据第一实施方式的第三修改中,HMD 10将输入候选数据130与输入候选点P所指示的键对象111相关联,并且执行输入候选数据130的叠加显示。
在图8所示的示例中,HMD 10检测到,在由小写字符指示的字母表的键盘110显示在输入屏幕100上的状态下,输入候选点P指示键对象111“e”。在这种情况下,HMD 10执行叠加显示,其中指示“nic”的输入候选数据130与键对象111“e”相关联。HMD 10在键对象111的左侧显示输入候选数据130,使得由输入候选数据130指示的“nic”和键对象111的“e”字符视觉地被识别为单个连续字符串。因此,HMD 10使得用户U能够通过输入候选数据130和键对象111的字符在键盘110上视觉地识别字符串“nice”。
在图9所示的示例中,HMD 10检测到,在日语平假名的键盘110显示在输入屏幕100上的状态下,输入候选点P指示键对象111“ne”。与图2不同,如果输入语言是竖直书写语言,例如日语或中文,则输入候选数据130也可以布置在输入候选点P上方。在这种情况下,HMD10执行其中指示“i i”的输入候选数据130与键对象111“ne”相关联的叠加显示。HMD 10显示输入候选数据130以从键对象111向上延伸,使得输入候选数据130所指示的“i i”字符与键对象111所指示的字符“ne”为单个连续字符串。因此,HMD 10能够使用户U在键盘110上通过输入候选数据130所指示的字符和键对象111所指示的字符识别字符串“i i ne”。
在图10所示的示例中,HMD 10检测到,在由小写字符指示的字母表的键盘110显示在输入屏幕100上的状态下,输入候选点P指示键对象111“e”。在这种情况下,HMD 10执行叠加显示,其中指示“very nic”的输入候选数据130与键对象111“e”相关联。HMD 10在键对象111的弯曲轨迹111R上显示输入候选数据130,使得输入候选数据130指示的“very nic”位于键对象111指示的字符“e”周围。弯曲轨迹111R例如包围键对象111并且在单词识别范围内。更具体地,HMD 10以输入候选数据130在圆周方向上被选择的顺序顺时针布置输入候选数据130,该圆周方向围绕与输入候选点P的当前位置相关联的键对象111。因此,HMD 10能够使得用户U通过简单且视觉地识别键对象111的字符来检查迄今为止选择的多个输入候选。在图10所示的示例中,HMD 10在键对象111周围显示“very”和“nic”两个单词。
在图11所示的示例中,HMD 10检测到,在执行上述图8所示的显示的状态下,用户U选择了输入候选点P所指示的键对象111“e”。在这种情况下,HMD 10显示作为最后字符的“e”的输入候选数据130以叠加在键对象111的字符上。因此,HMD 10能够使用户U在不参考输入栏120的情况下识别出键对象111“e”已经被选择并且输入候选数据130变成“nice”的输入候选。
在图12所示的示例中,HMD 10检测到,在由小写字符指示的字母表的键盘110显示在输入屏幕100上的状态下,输入候选点P指示键对象111“e”。在这种情况下,HMD 10执行叠加显示,其中在单独的新行上显示的指示“very”和“nic”的输入候选数据130与键对象111“e”相关联。HMD 10在键对象111的字符“e”的左侧显示输入候选数据130和键对象111两者,以位于单词识别范围内。因此,HMD 10能够使用户U通过简单且视觉地识别键对象111的字符来检查迄今为止选择的输入候选。
在图13所示的示例中,如上面参照图8所描述的,HMD 10执行其中指示“nic”的输入候选数据130与键对象111“e”相关联的叠加显示。HMD 10在键对象111的左侧显示输入候选数据130,使得输入候选数据130指示的“nic”和键对象111指示的字符“e”是单个连续字符串。然后,HMD 10增加输入候选数据130的字体尺寸以大于键对象111的字符尺寸。HMD 10用框132包围输入候选数据130的输入候选并且填充输入候选的背景133。因此,当输入候选数据130被显示以叠加在键对象111上时,HMD 10能够保证存在于输入候选点P周围的虚拟对象的可见性。
在图14所示的示例中,如上面参照图8所描述的,HMD 10执行其中指示“nic”的输入候选数据130与键对象111“e”相关联的叠加显示。HMD 10在键对象111的左侧显示输入候选数据130,使得输入候选数据130指示的“nic”和键对象111指示的字符“e”是单个连续字符串。此处,为了增强键对象111“e”的可见性,HMD 10将由输入候选数据130指示的“c”的可见性设置为低于由输入候选数据130指示的“ni”的可见性。更具体地,HMD 10在从用户U观看的键对象111的远侧(后侧)上布置叠加在键对象111(在该示例中,“c”)上的输入候选数据130的部分,并且以半透明的方式显示键对象111。即,HMD 10在保持输入候选数据130所指示的“c”被视觉识别的状态的同时将键对象111叠加在输入候选数据130上。在这种状态下,HMD 10能够根据用户U的偏好以显示模式显示输入候选数据130。因此,可以防止与输入候选点P相关联的键对象111的可见性降低。
此外,根据上述第一实施方式的HMD 10还可以动态地改变输入候选数据130的字符颜色。例如,HMD 10还可以通过考虑可访问性等来改变输入候选数据130的字符颜色,以不与背景颜色同化。例如,HMD 10还可以根据诸如外部光的环境条件来改变输入候选数据130的字符颜色。
如上所述,根据第一实施方式的第三修改的HMD 10通过将输入候选数据130与由输入候选点P指示的键对象111相关联来在输入候选数据130上执行叠加显示。因此,HMD 10能够向用户U提供各种显示模式。因此,HMD 10提高了使用视线L的输入效率并且提高了用户U的便利性。
此外,第一实施方式的第三修改也可以与修改中描述的其他实施方式、输入候选数据130、131等组合使用。
在上述第一实施方式中,描述了HMD 10在输入屏幕100上显示键盘110的情况;然而,实施方式不限于此。例如,HMD 10还可以使得用户U能够视觉地识别物理键盘并且将输入候选数据130叠加在物理键盘上。
(第二实施方式)
[根据第二实施方式的信息处理设备的概述]
在下文中,将描述第二实施方式。与第一实施方式类似,根据第二实施方式的信息处理设备是头戴式显示器(HMD)10。HMD 10包括显示单元11、检测单元12、通信单元13、存储单元14和控制单元15。此外,将省略与根据第一实施方式的HMD 10的配置相同的配置的描述。此外,可以假设,根据实施方式的输入栏120显示已经被选择和决定的输入候选数据130和已经被选择但未被决定的输入候选数据130。
图15是示出根据第二实施方式的信息处理方法的示例的图。如图15所示,HMD 10具有用于在虚拟空间中立体地显示输入屏幕100B的功能。HMD 10具有用于结合用户U的视线在输入屏幕100B上的移动和操作输入单元50的操作来输入字符、符号等的输入功能。例如,HMD 10在用户U的辨别视野中显示输入屏幕100B。例如,HMD 10在用户U前面显示输入屏幕100B,并且基于与用户U相关的视线信息检测输入屏幕100B上的输入候选点P。
在图15所示的示例中,输入屏幕100B包括键盘110和输入栏120。键盘110包括多个键对象111。在实施方式中,将描述键盘110是QWERTY布局键盘的情况;然而,键盘110不限于此。键盘110根据用户U的视线L的移动而移动和显示。输入栏120显示在虚拟空间中的预定位置处。即,在输入栏120的显示位置固定的状态下,HMD 10在输入屏幕100B上显示键盘110,其中输入栏120的背面是可移动的。在实施方式中,HMD 10根据用户U的视线L将键盘110移动到输入栏120后面。换句话说,HMD 10通过使用输入栏120作为参考来竖直和水平地滚动键盘110。此外,HMD 10还可以显示输入栏120以从键盘110伸出到外部,或者也可以显示输入栏120以不从键盘110伸出到外部。然后,HMD 10将输入候选数据130显示到输入栏120上。
在图15所示的步骤S31处,当用户U输入字符串“Goodmorning”时,已经完成到“Goodmorni”的输入。在这种情况下,HMD 10显示指示“Goodmorni”的输入候选数据130以叠加在键盘110上的输入栏120上。然后,用户U将视线L移动到键对象111“n”的附近。在这种情况下,当HMD 10检测到输入候选点P位于键对象111“n”附近时,HMD 10改变键盘110的显示位置使得输入候选点P所指示的键对象111“n”位于输入栏120中。即,HMD 10改变键对象111与输入栏120之间的相对位置关系,使得输入候选点P所指示的键对象111“n”位于输入栏120中。更具体地,HMD 10使键对象111靠近输入栏120并显示键对象111以放置在输入栏120中。在实施方式中,HMD 10通过滚动键盘110将输入候选点P定位到输入栏120中。然后,HMD10滚动键盘110,使得由键对象111指示的字符“n”视觉地被识别为输入候选数据130的最后一个字符。因此,HMD 10能够使用户U将输入栏120中的“Goodmorni”和由键对象111指示的“n”视觉地识别为单个连续字符串。
在步骤S32处,HMD 10显示指示“Goodmornin”的输入候选数据130以叠加在键盘110上的输入栏120上。然后,用户U将视线L移动到键对象111“g”附近。在这种情况下,当HMD10检测到输入候选点P位于键对象111“g”附近时,HMD 10改变键盘110的显示位置,使得输入候选点P所指示的键对象111“g”位于输入栏120中。在实施方式中,HMD 10滚动键盘110,使得由键对象111指示的字符“g”视觉地被识别为输入候选数据130的最后一个字符。因此,HMD 10能够使用户U将输入栏120中的“Goodmorni”和由键对象111指示的“n”视觉地识别为单个连续字符串。
此外,在实施方式中,将描述HMD 10以固定方式显示输入栏120的情况;然而,实施方式不限于此。例如,HMD 10还可以基于用户U的视线L的移动量、视觉识别位置等来相对移动键盘110和输入栏120。
如上所述,根据第二实施方式的HMD 10将输入栏120叠加在多个键对象111上,并且改变多个键对象111的显示位置,使得输入候选点P所指示的键对象111位于输入栏120中。因此,HMD 10能够减少用户U的视线L要移动到输入栏120的移动量。因此,HMD 10减少用户U的视线L相对于输入候选数据130的移动量,使得HMD 10能够通过减少施加到用户U的身体负荷来使得用户U能够检查输入结果。
此外,在不改变输入栏120的显示位置的情况下,HMD 10改变多个键对象111的显示位置,使得输入候选点P所选择的键对象111位于输入栏120处。因此,HMD 10固定输入栏120的显示位置并移动键对象111,使得HMD 10能够改进使用视线L的输入操作。因此,HMD10能够通过减少施加到用户U的身体负荷来实现新的输入。
此外,第二实施方式也可以与修改中描述的其他实施方式、输入候选数据130、131等组合使用。
(第三实施方式)
[根据第三实施方式的信息处理设备的概述]
在下文中,将描述第二实施方式。图16是示出根据第三实施方式的信息处理方法的示例的图。如图16所示,根据第二实施方式的信息处理设备是平板终端10A。平板终端10A包括显示单元11、检测单元12、通信单元13、存储单元14和控制单元15。此外,将省略对与根据第一实施方式的HMD 10的配置相同的配置的描述。
平板终端10A具有用于在显示单元11上显示输入平面100的功能。平板终端10A具有用于结合用户U的视线L在输入屏幕100上的移动和操作输入单元50的操作来输入字符、符号等的输入功能。例如,平板终端10A将输入屏幕100显示在用户U的前面并且基于用户U的视线信息由检测单元12检测输入屏幕100上的输入候选点P。
在图16所示的示例中,输入屏幕100包括键盘110和输入栏120。键盘110包括多个键对象111。输入栏120显示在与输入屏幕100上的键盘110的显示区域不同的显示区域中。输入栏120显示在输入屏幕100的远离键盘110的上部。
平板终端10A具有用于在显示单元11上显示输入屏幕100的功能。平板终端10A具有用于结合用户U的视线在输入屏幕100上的移动和操作输入单元50的操作来输入字符、符号等的输入功能。平板终端10A基于与视觉地识别平板终端10A的用户U相关的视线信息,由检测单元12检测输入屏幕100上的输入候选点P。检测单元12检测从输入屏幕100到用户U的视点位置E的距离。在实施方式中,检测单元12在人能够从视点位置E识别字符的视角范围R中检测距离D。范围R是通过连接视点位置E和输入屏幕100上的一对点获得的区域,每个点是视线L与穿过可以从视线L识别字符的视角θ的直线的交点。此外,人能够识别字符的视角范围R是根据本公开内容的输入候选点P附近的示例。
平板终端10A中的显示控制单元15c具有用于使得输入候选数据130能够跟随输入候选点P的功能。显示控制单元15c具有用于控制输入候选数据130的应用跟踪显示的数据的条数的功能。显示控制单元15c具有用于在输入候选数据130的数据条数达到上限的情况下,将输入候选数据130的显示为能够跟随输入候选点P的一部分进行简写的功能。显示控制单元15c具有用于基于从输入屏幕100到由检测单元12检测到的视点位置E的距离D来改变输入候选数据130的数据条数的功能。例如,显示控制单元15c基于从输入屏幕100到视点位置E的距离D并基于视角θ计算输入屏幕100上与输入候选点P相关联的长度X,并且然后基于长度X改变输入候选数据130的数据条数。具体地,显示控制单元15c通过使用计算表达式(1)来计算输入屏幕100上的长度X。
X=D*tanθ…(1)
例如,如果视点位置E与输入屏幕100之间的距离是60cm并且视角θ是5度,则显示控制单元15c计算输入屏幕100上的长度X约为5.2cm。在这种情况下,显示控制单元15c决定输入候选数据130的数据条数以在长度X内。在图16所示的示例中,显示控制单元15c决定数据条数为三个字符,并且基于包括在“very nic”的输入候选中的最后三个字符,使得指示“…nic”的输入候选数据130能够跟随输入候选点P。此外,决定输入候选数据130的数据条数的方法也可以用于上述第一和第二数据实施方式中。
平板终端10A也可以根据视觉地识别输入屏幕100的用户U的视点位置E远离或靠近键盘110的情况,改变输入候选数据130的数据条数以叠加在键盘110上。此外,平板终端10A还可以基于从输入屏幕100到视点位置E的距离D来改变要叠加的输入候选数据130的字体尺寸。此外,平板终端10A还可以通过始终监视从输入屏幕100到视点位置E的距离D,根据距离D的变化,改变输入候选数据130的数据条数、字体尺寸等。
如上所述,基于从输入屏幕100到检测单元12检测到的视点位置E的距离D,根据第三实施方式的平板终端10A改变应用叠加显示的输入候选数据130的数据条数。因此,平板终端10A能够执行适合于用户U的视点位置E的输入候选数据130的叠加显示。因此,平板终端10A能够减少用户U的视线L相对于输入候选数据130的移动量,并且提高经过叠加显示的输入候选数据130的可见性。
此外,另一实施方式或修改的技术思想也可以与第三实施方式组合使用。
[硬件配置]
根据上述实施方式的信息处理设备由具有例如图17所示的配置的计算机1000实现。在下文中,将通过使用根据实施方式的信息处理设备作为示例进行描述。图17是示出实现信息处理设备的功能的计算机1000的示例的硬件配置图。计算机1000包括CPU 1100、RAM1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000中包括的每个单元通过总线1050连接。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作并且控制每个单元。例如,CPU 1100将存储在ROM 1300或HDD 1400中的程序加载到RAM 1200中并且执行与各种程序相关联的处理。
ROM 1300在其中存储在启动计算机1000时由CPU 1100执行的基本输入输出系统(BIOS)等的引导程序或取决于计算机1000的硬件的程序等。
HDD 1400是计算机可读记录介质,其以非暂态方式在其中记录由CPU 1100执行的程序、由这些程序使用的数据等。具体地,HDD 1400是在其中记录根据本公开内容的信息处理程序(即,程序数据1450的示例)的介质。
通信接口1500是用于通过计算机1000连接至外部网络1550(例如,因特网)的接口。例如,CPU 1100经由通信接口1500从另一装置接收数据并且将CPU 1100生成的数据发送至其他装置。
输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如,CPU 1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。此外,CPU 1100经由输入/输出接口1600将数据发送至输出装置,例如显示器、扬声器、打印机。此外,输入/输出接口1600还可以用作读取记录在预定记录介质(介质)中的程序等的介质接口。此处提及的介质之一的示例包括光学记录介质例如数字多功能盘(DVD)和相变可重写盘(PD)、磁光记录介质例如磁光盘(MO)、磁带介质、磁记录介质、半导体存储器等。
例如,当计算机1000用作根据实施方式的信息处理设备时,计算机1000中的CPU1100通过执行加载在RAM 1200上的程序实现包括选择单元15a、编辑单元15b、显示控制单元15c等功能的控制单元15。此外,HDD 1400在其中存储与本公开内容相关的程序或存储在存储单元14中的数据。此外,CPU 1100从HDD 1400读取程序数据1450;然而,作为另一示例,CPU 1100也可以经由外部网络1550从其他装置获取这些程序。
在上文中,尽管上面已经参照附图详细描述了本公开内容的优选实施方式,但是本公开内容的技术范围不限于这些示例。明显的是,本公开内容的技术领域的普通知识人员可以在权利要求中描述的技术思想的范围内推导出修改示例或改进示例,并且应当理解,它们当然属于本公开内容的技术范围。
此外,本文描述的效果仅是说明性或示例性的,并且因此不是决定性的。换句话说,根据本公开内容的技术可以与上述效果一起或代替上述效果,根据本文的描述实现对本领域技术人员明显的其他效果。
此外,还可以创建程序,以使得包括CPU、ROM和RAM的计算机的硬件能够实现与信息处理设备20所具有的功能等效的功能,并且还可以提供记录程序的非暂态计算机可读记录介质。
此外,与由本说明书中描述的信息处理设备执行的处理相关的每个步骤并不总是需要根据流程图中描述的顺序按时间序列进行处理。例如,与信息处理设备执行的处理相关的每个步骤也可以按照与流程图中描述的顺序不同的顺序进行处理,或者也可以并行处理。
此外,以下配置也在本公开内容的技术范围内。
(1)
一种信息处理装置,包括:
检测单元,其基于指示用户的视线的视线信息,检测所述用户在用于输入信息并通过显示单元进行显示的多个键对象上的注视点;以及
控制单元,其控制所述显示单元,以通过使用检测到的注视点的位置作为参考,来显示与所述多个键对象中的至少一个键对象相关联并且基于所述注视点进行选择的输入候选信息。
(2)
根据(1)所述的信息处理装置,其中,所述控制单元控制所述显示单元,以使得所显示的输入候选信息的位置能够跟随所述注视点的位置。
(3)
根据(1)或(2)所述的信息处理装置,其中,所述控制单元限制跟随所述注视点的位置的要显示的所选择的输入候选信息的数目。
(4)
根据(1)至(3)中任一项所述的信息处理装置,其中,当所选择的输入候选信息的数目大于上限时,所述控制单元将要显示的所选择的输入候选信息的数目限制为小于或等于所述上限的数目。
(5)
根据(4)所述的信息处理装置,其中,当在显示所述输入候选信息之后未选择所述多个键对象中的任何一个键对象的状态持续预定时间时,所述控制单元控制所述显示单元以删除所显示的输入候选信息的至少一部分。
(6)
根据(2)所述的信息处理装置,其中,所述控制单元控制所述显示单元,以使得所选择的输入候选信息和与所述注视点的当前位置相关联的所述多个键对象之一相邻。
(7)
根据(6)所述的信息处理装置,其中,
所选择的输入候选信息包括基于所述注视点依次选择的多条输入候选信息,并且
所述控制单元控制所述显示单元,以使得所述多条输入候选信息中的最新的输入候选信息和与所述注视点的当前位置相关联的所述多个键对象之一相邻。
(8)
根据(7)所述的信息处理装置,其中,所述控制单元控制所述显示单元,以使得以已选择所述多条输入候选信息的顺序在预定方向上布置所述多条输入候选信息。
(9)
根据权利要求(8)所述的信息处理装置,其中,
所述预定方向是水平方向,并且
所述控制单元控制所述显示单元,以使得所述多条输入候选信息和与所述注视点的当前位置相关联的所述多个键对象之一的左侧相邻。
(10)
根据(8)所述的信息处理装置,其中,
所述预定方向是竖直方向,并且
所述控制单元控制所述显示单元,使得所述多条输入候选信息和与所述注视点的当前位置相关联的所述多个键对象之一的上方相邻。
(11)
根据(8)所述的信息处理装置,其中,
所述预定方向是围绕与所述注视点的当前位置相关联的所述多个键对象之一的圆周方向,并且
所述控制单元控制所述显示单元,以使得所述多条输入候选信息沿着以已选择所述多条输入候选信息的顺序的圆周方向顺时针布置。
(12)
根据(8)所述的信息处理装置,其中,
所述控制单元控制所述显示单元,使得所述多条输入候选信息的端部叠加在和与所述注视点的当前位置相关联的所述多个键对象之一相邻的另一键对象上。
(13)
根据(6)所述的信息处理装置,其中,
所述控制单元
将所选择的输入候选信息显示在输入栏中,
将所述输入栏叠加在所述多个键对象中的至少一个键对象上,以及
改变所述多个键对象与所述输入栏之间的相对位置关系,使得与所述注视点的当前位置相关联的所述多个键对象之一位于所述输入栏内。
(14)
根据(13)所述的信息处理装置,其中,所述控制单元在不改变所述输入栏的显示位置的情况下改变所述多个键对象的显示位置。
(15)
根据(1)至(14)中任一项所述的信息处理装置,其中,所述控制单元控制所述显示单元,以使得当从所述用户观看时,在深度方向上,所述输入候选信息立体地设置在所述键对象的前面。
(16)
根据(1)至(15)中任一项所述的信息处理装置,其中,
所述控制单元控制所述显示单元,以使得
在所述多个键对象的显示范围之外显示输入栏,并且
将基于所述注视点选择的所述输入候选信息显示在所述输入栏中。
(17)
根据(16)所述的信息处理装置,其中,当满足与视线信息有关的预定条件时,所述控制单元在简写或删除所述注视点附近存在的所述输入候选信息的至少一部分的显示的同时,维持所述输入栏中存在的所述输入候选信息的至少一部分的显示。
(18)
根据(1)至(17)中任一项所述的信息处理装置,其中,所述控制单元控制所述显示单元以在所述注视点附近显示预测输入候选信息,所述预测输入候选信息基于所选择的输入候选信息来预测并且能够基于所述注视点来选择。
(19)
根据(1)至(18)中任一项所述的信息处理装置,其中
所述检测单元检测从设置在虚拟空间中的并且包括所述多个键对象的虚拟平面到所述用户在所述虚拟空间中的视点位置的距离,并且
所述控制单元基于由所述检测单元检测到的到所述视点位置的距离来改变所述输入候选信息的数据数目。
(20)
一种使计算机执行处理的信息处理方法,所述处理包括:
基于指示用户的视线的视线信息,检测所述用户在用于输入信息并通过显示单元进行显示的多个键对象上的注视点;以及
控制所述显示单元,以通过使用检测到的注视点的位置作为参考,来显示与所述多个键对象中的至少一个键对象相关联并且基于所述注视点进行选择的输入候选信息。
(21)
一种使计算机执行处理的程序,所述处理包括:
基于指示用户的视线的视线信息,检测所述用户在用于输入信息并通过显示单元进行显示的多个键对象上的注视点;以及
控制所述显示单元,以通过使用检测到的注视点的位置作为参考,来显示与所述多个键对象中的至少一个键对象相关联并且基于所述注视点进行选择的输入候选信息。
附图标记列表
10 头戴式显示器(HMD)
11 显示单元
12 检测单元
13 通信单元
14 存储单元
15 控制单元
15a 选择单元
15b 编辑单元
15c 显示控制单元
50 操作输入单元
100 输入屏
110 键盘
111 键对象
120 输入栏
130 输入候选数据
L 视线
P 输入候选点
U 用户

Claims (21)

1.一种信息处理装置,包括:
检测单元,其基于指示用户的视线的视线信息,检测所述用户在用于输入信息并通过显示单元进行显示的多个键对象上的注视点;以及
控制单元,其控制所述显示单元,以通过使用检测到的注视点的位置作为参考,来显示与所述多个键对象中的至少一个键对象相关联并且基于所述注视点进行选择的输入候选信息。
2.根据权利要求1所述的信息处理装置,其中,所述控制单元控制所述显示单元,以使得所显示的输入候选信息的位置能够跟随所述注视点的位置。
3.根据权利要求2所述的信息处理装置,其中,所述控制单元限制跟随所述注视点的位置的要显示的所选择的输入候选信息的数目。
4.根据权利要求3所述的信息处理装置,其中,当所选择的输入候选信息的数目大于上限时,所述控制单元将要显示的所选择的输入候选信息的数目限制为小于或等于所述上限的数目。
5.根据权利要求4所述的信息处理装置,其中,当在显示所述输入候选信息之后未选择所述多个键对象中的任何一个键对象的状态持续预定时间时,所述控制单元控制所述显示单元以删除所显示的输入候选信息的至少一部分。
6.根据权利要求2所述的信息处理装置,其中,所述控制单元控制所述显示单元,以使得所选择的输入候选信息和与所述注视点的当前位置相关联的所述多个键对象之一相邻。
7.根据权利要求6所述的信息处理装置,其中,
所选择的输入候选信息包括基于所述注视点依次选择的多条输入候选信息,并且
所述控制单元控制所述显示单元,以使得所述多条输入候选信息中的最新的输入候选信息和与所述注视点的当前位置相关联的所述多个键对象之一相邻。
8.根据权利要求7所述的信息处理装置,其中,所述控制单元控制所述显示单元,以使得以已选择所述多条输入候选信息的顺序在预定方向上布置所述多条输入候选信息。
9.根据权利要求8所述的信息处理装置,其中,
所述预定方向是水平方向,并且
所述控制单元控制所述显示单元,以使得所述多条输入候选信息和与所述注视点的当前位置相关联的所述多个键对象之一的左侧相邻。
10.根据权利要求8所述的信息处理装置,其中,
所述预定方向是竖直方向,并且
所述控制单元控制所述显示单元,使得所述多条输入候选信息和与所述注视点的当前位置相关联的所述多个键对象之一的上方相邻。
11.根据权利要求8所述的信息处理装置,其中,
所述预定方向是围绕与所述注视点的当前位置相关联的所述多个键对象之一的圆周方向,并且
所述控制单元控制所述显示单元,以使得所述多条输入候选信息沿着以已选择所述多条输入候选信息的顺序的圆周方向顺时针布置。
12.根据权利要求8所述的信息处理装置,其中,
所述控制单元控制所述显示单元,使得所述多条输入候选信息的端部叠加在和与所述注视点的当前位置相关联的所述多个键对象之一相邻的另一键对象上。
13.根据权利要求6所述的信息处理装置,其中,
所述控制单元
将所选择的输入候选信息显示在输入栏中,
将所述输入栏叠加在所述多个键对象中的至少一个键对象上,以及
改变所述多个键对象与所述输入栏之间的相对位置关系,使得与所述注视点的当前位置相关联的所述多个键对象之一位于所述输入栏内。
14.根据权利要求13所述的信息处理装置,其中,所述控制单元在不改变所述输入栏的显示位置的情况下改变所述多个键对象的显示位置。
15.根据权利要求1所述的信息处理装置,其中,所述控制单元控制所述显示单元,以使得当从所述用户观看时,在深度方向上,所述输入候选信息立体地设置在所述键对象的前面。
16.根据权利要求1所述的信息处理装置,其中,
所述控制单元控制所述显示单元,以使得
在所述多个键对象的显示范围之外显示输入栏,并且
将基于所述注视点选择的所述输入候选信息显示在所述输入栏中。
17.根据权利要求16所述的信息处理装置,其中,当满足与视线信息有关的预定条件时,所述控制单元在简写或删除所述注视点附近存在的所述输入候选信息的至少一部分的显示的同时,维持所述输入栏中存在的所述输入候选信息的至少一部分的显示。
18.根据权利要求1所述的信息处理装置,其中,所述控制单元控制所述显示单元以在所述注视点附近显示预测输入候选信息,所述预测输入候选信息基于所选择的输入候选信息来预测并且能够基于所述注视点来选择。
19.根据权利要求1所述的信息处理装置,其中
所述检测单元检测从设置在虚拟空间中的并且包括所述多个键对象的虚拟平面到所述用户在所述虚拟空间中的视点位置的距离,并且
所述控制单元基于由所述检测单元检测到的到所述视点位置的距离来改变所述输入候选信息的数据数目。
20.一种使计算机执行处理的信息处理方法,所述处理包括:
基于指示用户的视线的视线信息,检测所述用户在用于输入信息并通过显示单元进行显示的多个键对象上的注视点;以及
控制所述显示单元,以通过使用检测到的注视点的位置作为参考,来显示与所述多个键对象中的至少一个键对象相关联并且基于所述注视点进行选择的输入候选信息。
21.一种使计算机执行处理的程序,所述处理包括:
基于指示用户的视线的视线信息,检测所述用户在用于输入信息并通过显示单元进行显示的多个键对象上的注视点;以及
控制所述显示单元,以通过使用检测到的注视点的位置作为参考,来显示与所述多个键对象中的至少一个键对象相关联并且基于所述注视点进行选择的输入候选信息。
CN202080021918.8A 2019-03-28 2020-03-06 信息处理装置、信息处理方法和程序 Withdrawn CN113597594A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019063898 2019-03-28
JP2019-063898 2019-03-28
PCT/JP2020/009681 WO2020195709A1 (ja) 2019-03-28 2020-03-06 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN113597594A true CN113597594A (zh) 2021-11-02

Family

ID=72610087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080021918.8A Withdrawn CN113597594A (zh) 2019-03-28 2020-03-06 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US20220129069A1 (zh)
EP (1) EP3951560A4 (zh)
JP (1) JPWO2020195709A1 (zh)
CN (1) CN113597594A (zh)
WO (1) WO2020195709A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112371917A (zh) * 2020-11-02 2021-02-19 丹东大王精铸有限公司 一种砂铸产品快速确认ut检测点的工具及制作方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182465A (ja) * 1993-12-22 1995-07-21 Hitachi Ltd 文字認識方法
JPH11249804A (ja) 1998-12-11 1999-09-17 Canon Inc 視線検出を用いた文字,符号等の入力方法および装置
US7895518B2 (en) * 2007-04-27 2011-02-22 Shapewriter Inc. System and method for preview and selection of words
US8917238B2 (en) * 2012-06-28 2014-12-23 Microsoft Corporation Eye-typing term recognition
KR102313353B1 (ko) * 2013-07-29 2021-10-18 삼성전자주식회사 캐릭터 입력 방법 및 디스플레이 장치
US20150160855A1 (en) * 2013-12-10 2015-06-11 Google Inc. Multiple character input with a single selection
KR101671837B1 (ko) * 2014-05-20 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
US10275023B2 (en) * 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
JP2018101019A (ja) * 2016-12-19 2018-06-28 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
JP7149289B2 (ja) * 2017-04-19 2022-10-06 マジック リープ, インコーポレイテッド ウェアラブルシステムのためのマルチモード実行およびテキスト編集
JP6779840B2 (ja) * 2017-07-07 2020-11-04 株式会社コロプラ 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム

Also Published As

Publication number Publication date
US20220129069A1 (en) 2022-04-28
WO2020195709A1 (ja) 2020-10-01
EP3951560A4 (en) 2022-05-04
JPWO2020195709A1 (zh) 2020-10-01
EP3951560A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
US10082940B2 (en) Text functions in augmented reality
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
CN112507799B (zh) 基于眼动注视点引导的图像识别方法、mr眼镜及介质
US10495878B2 (en) Mobile terminal and controlling method thereof
US9996308B2 (en) Tethering type head mounted display and method for controlling the same
CN106687889B (zh) 显示器便捷式文本输入和编辑
US20180164589A1 (en) Wearable device
US20140198048A1 (en) Reducing error rates for touch based keyboards
US10642348B2 (en) Display device and image display method
WO2015008164A2 (en) Systems and methods of direct pointing detection for interaction with a digital device
US11282481B2 (en) Information processing device
US10241571B2 (en) Input device using gaze tracking
KR101671837B1 (ko) 시선 추적형 입력 장치
JP2015090569A (ja) 情報処理装置及び情報処理方法
JP2023520345A (ja) 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース
CN113597594A (zh) 信息处理装置、信息处理方法和程序
US20230259265A1 (en) Devices, methods, and graphical user interfaces for navigating and inputting or revising content
KR20200081529A (ko) 사회적 수용성을 고려한 hmd 기반 사용자 인터페이스 방법 및 장치
KR20140053801A (ko) 가상 키보드
KR20140053524A (ko) 가상 키보드

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211102