CN110446995A - 信息处理装置、信息处理方法及程序 - Google Patents

信息处理装置、信息处理方法及程序 Download PDF

Info

Publication number
CN110446995A
CN110446995A CN201780088701.7A CN201780088701A CN110446995A CN 110446995 A CN110446995 A CN 110446995A CN 201780088701 A CN201780088701 A CN 201780088701A CN 110446995 A CN110446995 A CN 110446995A
Authority
CN
China
Prior art keywords
sight
calibration
user
information processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780088701.7A
Other languages
English (en)
Other versions
CN110446995B (zh
Inventor
齐藤真里
杉原贤次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110446995A publication Critical patent/CN110446995A/zh
Application granted granted Critical
Publication of CN110446995B publication Critical patent/CN110446995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/287—Systems for automatic generation of focusing signals including a sight line detecting device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/003—Alignment of optical elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

期望提供一种能够使更自然地执行视线校准成为可能的技术。本公开提供了一种信息处理装置，包括：视线信息获取单元，被配置成获取用户的视线信息；校准执行单元，被配置成在从用户的视野中已经检测到目标对象的情况下，根据视野中目标对象的位置以及视线信息来执行校准，目标对象具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸。

Description

信息处理装置、信息处理方法及程序
技术领域
本公开涉及一种信息处理装置、信息处理方法及程序。
背景技术
近年来，已经开发出根据用户的视线执行处理的技术。然而，用户之间眼睛结构通常是不同的。例如，用户通常具有不同尺寸的眼球。此外，用户的眼睛与设备之间的位置关系可以根据由用户使用的设备的差异而变化。因此，在检测用户的视线时可能发生错误，并且也已经开发出用于提高用户的视线的检测精度的技术。
例如，已经开发出在检测用户的视线之前执行视线校准的技术。例如，在下面专利文献1中描述的技术中，根据用户的视线以及用于判定是否解锁的图像的设定位置来执行校准。此外，在下面专利文献2中描述的技术中，根据由用户可操纵的对象的位置以及操纵对象时用户的视线来执行校准。
引文列表
专利文献
专利文献1：日本专利申请特许公开号2015-153302
专利文献2：国际公开号2016/139850
发明内容
技术问题
然而，期望可以执行视线校准的情况不是很有限。因此，期望提供一种能够使更自然地执行视线校准成为可能的技术。
技术方案
根据本公开，提供了一种信息处理装置，包括：视线信息获取单元，被配置成获取用户的视线信息；校准执行单元，被配置成在从用户的视野中已经检测到目标对象的情况下，根据视野中目标对象的位置以及视线信息来执行校准，目标对象具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸。
根据本公开，提供了一种信息处理方法，包括：获取用户的视线信息；在从用户的视野中已经检测到目标对象的情况下，由处理器根据视野中目标对象的位置以及视线信息来执行校准，目标对象具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸。
根据本公开，提供了一种用于使计算机当作信息处理装置的程序，该信息处理装置包括：视线信息获取单元，被配置成获取用户的视线信息；校准执行单元，被配置成在从用户的视野中已经检测到目标对象的情况下，根据视野中目标对象的位置以及视线信息来执行校准，目标对象具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸。
本发明的有益效果如下：
如上所述，根据本公开，提供了一种能够使更自然地执行视线校准成为可能的技术。请注意，上述效果不一定受到限制，本说明书中所示的效果中的任何一种效果或从本说明书中掌握的其他效果可以与上述效果一起发挥作用或代替上述效果。
附图说明
图1是示出根据第一实施例的信息处理系统的配置示例的图；
图2是示出信息处理装置的功能配置示例的图；
图3是示出控制单元的详细配置示例的图；
图4是示出用户的视野的示例的图；
图5是用于描述根据视线移动预测信息判定不执行校准的情况的图；
图6是用于描述根据视线移动预测信息判定执行校准的情况的图；
图7是示出指示校准执行完成的显示信息的示例的图；
图8是示出校准的操作示例的流程图；
图9是示出再校准执行的第一示例的图；
图10是示出再校准执行的第二示例的图；
图11是用于描述使校准无效的示例的图；
图12是示出再校准执行的第三示例的图；
图13是示出再校准的操作示例的流程图；
图14是用于描述根据变型例的技术的第一示例的图；
图15是用于描述根据变型例的技术的第二示例的图；
图16是用于描述根据变型例的技术的第三示例的图；
图17是示出信息处理装置的硬件配置示例的方块图。
具体实施方式
下文中，将参考附图对本公开的优选实施例进行详细描述。请注意，在本说明书和附图中，具有基本相同的功能配置的构成要素用相同附图标记表示以省略冗余描述。
此外，在本说明书和附图中，可能存在通过在相同附图标记后面添加不同数字来区分具有基本相同或相似的功能配置的多个构成要素的情况。然而，在不必特别区分具有基本相同或相似的功能配置的多个构成要素中的每个构成要素的情况下，只使用相同附图标记。此外，可能存在通过在相同附图标记后面添加不同字母来区分不同实施例中的相似构成要素的情况。然而，在不必特别区分相似构成要素中的每个相似构成要素的情况下，只使用相同附图标记。
请注意，将按以下顺序进行描述。
0.概要
1.实施例的细节
1.1.系统配置示例
1.2.信息处理装置的功能配置示例
1.3.信息处理系统的功能细节
1.3.1.校准的细节
1.3.2.再校准
1.3.3.各种变型例
2.硬件配置示例
3.结论
<0.概要>
首先，将对本公开的实施例的概要进行描述。近年来，已经开发出根据用户的视线执行处理的技术。然而，用户之间眼睛结构通常是不同的。例如，用户通常具有不同尺寸的眼球。此外，用户的眼睛与设备之间的位置关系可以根据由用户使用的设备的差异而变化。因此，在检测用户的视线时可能发生错误，并且也已经开发出用于提高用户的视线的检测精度的技术。
例如，已经开发出在检测用户的视线之前执行视线校准的技术。例如，存在根据用户的视线以及用于判定是否解锁的图像的设定位置来执行校准的技术。此外，存在根据由用户可操纵的对象的位置以及操纵对象时用户的视线来执行校准的技术。
然而，期望可以执行视线校准的情况不是很有限。例如，如果除非显示特定图像(或除非在用户的视野中存在可操纵对象)，否则不能执行视线校准，那么可以执行视线校准的情况是有限的。因此，在本说明书中，将主要对能够使更自然地执行视线校准成为可能的技术进行描述。
上面已经对本公开的实施例的概要进行描述。
<1.实施例的细节>
首先，将对本公开的实施例的细节进行描述。
[1.1.系统配置示例]
首先，将参考附图对根据本公开的实施例的信息处理系统的配置示例进行描述。图1是示出根据本公开的实施例的信息处理系统的配置示例的图。如图1所示，根据本公开的实施例的信息处理系统包括信息处理装置10。信息处理装置10由用户U1使用。
请注意，在本实施例中将主要对信息处理装置10是戴在用户U1的头上的头戴式显示器(HMD)的情况进行描述。特定地，在本实施例中，将主要对信息处理装置10是透视式HMD的情况进行描述。然而，信息处理装置10并不限于HMD。例如，信息处理装置10可以是智能手机或可以是平板终端。
在图1所示的示例中，头上戴着信息处理装置10的用户U1从房间向窗M1外看。在窗M1外部存在真实空间R1，用户U1可以通过信息处理装置10在视觉上识别真实空间R1(用户U1的视野包括真实空间R1)。这里，真实空间R1中可能存在任何对象。在本实施例中，用户U1至存在于真实空间R1中的对象的视线被用于校准。下文中，主要假设建筑物B1至B3作为真实空间R1中的一个或多个对象的示例而存在的情况。
上面已经对根据本公开的实施例的信息处理系统的配置示例进行描述。
[1.2.信息处理装置的功能配置示例]
接着，将对信息处理装置10的功能配置示例进行描述。图2是示出信息处理装置10的功能配置示例的图。如图2所示，信息处理装置10具有视野分析成像单元111、视线检测成像单元112、传感器单元113、控制单元120、存储单元130、通信单元140和显示单元150。此外，信息处理装置10可经由通信网络连接到服务器装置(未示出)。通信网络例如包括因特网。
视野分析成像单元111具有通过对用户U1的视野进行成像来获得图像(视野分析图像)的功能。例如，视野分析成像单元111包括摄像机(包括图像传感器)并获得被摄像机捕获到的视野分析图像。只要视野分析成像单元111中包括的摄像机数量为一个或更多个，摄像机数量就没有特别限制。那么，设置视野分析成像单元111的位置也没有特别限制。例如，视野分析成像单元111可以与信息处理装置10集成在一起或可以作为与信息处理装置10分离的实体而存在。
视线检测成像单元112具有通过对用户U1的眼睛进行成像来获得图像(视线检测图像)的功能。例如，视线检测成像单元112包括摄像机(包括图像传感器)并获得被摄像机捕获到的视线检测图像。只要视线检测成像单元112中包括的摄像机数量为一个或更多个，摄像机数量就没有特别限制。那么，设置视线检测成像单元112的位置也没有特别限制。例如，视线检测成像单元112可以与信息处理装置10集成在一起或可以作为与信息处理装置10分离的实体而存在。
传感器单元113由传感器构成并具有检测用户U1的视野移动的功能。例如，传感器单元113可由加速度传感器构成并通过被加速度传感器检测到的加速度来检测用户U1的视野移动。可替换地，传感器单元113可由陀螺仪传感器构成并通过被陀螺仪传感器检测到的角速度来检测用户U1的视野移动。请注意，在根据被视野分析成像单元111捕获到的视野分析图像来检测用户U1的视野移动的情况下，不必设置传感器单元113。
通信单元140由通信电路构成并具有从连接到通信网络的服务器装置(未示出)获取数据以及将数据经由通信网络提供给服务器装置(未示出)的功能。例如，通信单元140由通信接口构成。请注意，连接到通信网络的服务器装置(未示出)的数量可以是一个或可以是多个。
存储单元130由存储器构成且是存储由控制单元120执行的程序以及存储执行程序所需的数据的记录介质。此外，存储单元130通过控制单元120暂时存储用于算术运算的数据。存储单元130由磁性存储单元器件、半导体存储器件、光学存储器件、磁光存储器件等构成。
显示单元150具有显示各种屏幕的功能。显示单元150的类型没有限制。例如，显示单元150只需是能够向用户执行在视觉上可识别的显示的显示器，且可以是液晶显示器或可以是有机电致发光(EL)显示器。
控制单元120对信息处理装置10的每个单元执行控制。图3是示出控制单元120的详细配置示例的图。如图3所示，控制单元120包括移动获取单元121、对象识别单元122、视觉吸引度计算单元123、目标对象检测单元124、预测信息生成单元125、手势识别单元126、视线信息获取单元127、校准执行单元128和显示控制单元129。稍后将对这些方块图中的每个方块图的细节进行描述。请注意，控制单元120可由例如一个或多个中央处理单元(CPU)构成。在控制单元120由诸如CPU的处理单元构成的情况下，该处理装置可由电子电路构成。
上面已经对根据本实施例的信息处理装置10的功能配置示例进行描述。
[1.3.信息处理系统的功能细节]
接着，将对根据本实施例的信息处理系统的功能细节进行描述。
(1.3.1.校准的细节)
图4是示出用户的视野的示例的图。请注意，图4中省略了用户头上戴着的信息处理装置10。如图4所示，在用户的视野中，建筑物B1至B3作为存在于真实空间R1中的一个或多个对象的示例而存在。
这里，在存在于用户U1的视野中的一个或多个对象中，可以认为，用户U1的视线很可能遇见具有比特定阈值(第一阈值)更高的视觉吸引度的对象。在本实施例中，通过利用用户U1的视线很可能遇见具有比第一阈值更高的视觉吸引度的对象的事实来执行校准。在图4所示的示例中，假设建筑物B1至B3的视觉吸引度高于第一阈值。
此外，在具有比第一阈值更高的视觉吸引度的对象中，与视线遇见具有在预定方向上比预定尺寸更大的尺寸的对象的情况相比，可以认为，在视线遇见具有在预定方向上比预定尺寸更小的尺寸的对象的情况下，在预定方向上视线遇见的位置的误差更小且校准精度得到提高。因此，在本实施例中，通过利用用户U1的视线朝向具有在预定方向上比预定尺寸更小的尺寸的对象来执行校准。
请注意，预定方向可以是水平方向，可以是垂直方向，或可以是另一个方向。参考图4，在水平方向上建筑物B1至B3的尺寸分别由W1至W3表示。例如，在图4所示的示例中，假设在水平方向上建筑物B1的尺寸W1大于预定尺寸。另一方面，假设在水平方向上建筑物B2的尺寸W2小于预定尺寸，在水平方向上建筑物B3的尺寸W3小于预定尺寸。
下文中，将对根据本实施例的校准的细节进行描述。这里，执行校准的时间没有限制。例如，校准可以在信息处理装置10被激活时执行，可以以预定时间间隔执行，或可以在用户对于执行校准的指令已经操纵的情况下执行。然而，可以认为，如果在用户的视野移动较小的情况下执行校准，那么校准的精度较高。
因此，在本实施例中，移动获取单元121获取用户的视野移动。例如，如上所述，移动获取单元121获取被传感器单元113检测到的移动。然后，对象识别单元122判定由移动获取单元121获取到的用户的视野移动是否小于预定移动。在由移动获取单元121获取到的用户的视野移动小于预定移动的情况下，对象识别单元122从用户的视野中识别出一个或多个对象。
具体地，在由移动获取单元121获取到的用户的视野移动小于预定移动的情况下，对象识别单元122从被视野分析成像单元111捕获到的视野分析图像中识别出一个或多个对象。请注意，移动获取单元121不必获取用户的视野移动，对象识别单元122不必判定用户的视野移动是否小于预定移动。这里，假设对象识别单元122识别出存在于用户的视野中的一组对象(包括建筑物B1至B3)的情况。
根据被视野分析成像单元111捕获到的视野分析图像，视觉吸引度计算单元123计算被对象识别单元122识别出的一组对象(包括建筑物B1至B3)的视觉吸引度。这里，视觉吸引度可以是指示用户U1有多少视觉注意力的数值。如何具体地计算视觉吸引度没有限制。例如，在日本专利申请特许公开号2014-170396中公开的计算视觉吸引度的技术可以应用于根据本实施例由视觉吸引度计算单元123计算视觉吸引度的技术。
目标对象检测单元124从用户的视野中检测具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸的目标对象。更具体地，目标对象检测单元124从被对象识别单元122识别出的一组对象(包括建筑物B1至B3)中检测具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸的目标对象。此时，具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸的所有对象可以作为目标对象被检测。然而，具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸的对象中的一些对象不必作为目标对象被检测。
例如，还假设在被对象识别单元122识别出的一组对象中，具有比第二阈值更高的视觉吸引度的另一个对象位于与一个对象相距比预定距离更短的距离之处的情况。在这种情况下，可以认为，很难判定用户的视线遇见的对象是该一个对象还是另一个对象，且校准的精度没有提高。因此，在具有比第二阈值更高的视觉吸引度的另一个对象位于与该一个对象相距比预定距离更短的距离之处的情况下，目标对象检测单元124只需不将该一个对象作为目标对象进行检测。
在图4所示的示例中，目标对象检测单元124将建筑物B1至B3作为具有比第一阈值更高的视觉吸引度的对象进行检测。此外，在图4所示的示例中，假设的情况是预定方向是水平方向，且目标对象检测单元124从具有比第一阈值更高的视觉吸引度的建筑物B1至B3中将建筑物B2和建筑物B3作为具有在水平方向上比预定尺寸更小的尺寸的对象进行检测。
然而，在图4所示的示例中，假设的情况是目标对象检测单元124判定建筑物B1具有比第二阈值更高的视觉吸引度且建筑物B1位于与建筑物B2相距比预定距离更短的距离之处，并且不将建筑物B2作为目标对象进行检测(假设的情况是建筑物B3被检测为目标对象)。
视线信息获取单元127获取用户视线信息。更具体地，视线信息获取单元127通过分析被视线检测成像单元112检测到的视线检测图像来获取指示用户的视线的视线信息。在目标对象检测单元124已经检测到目标对象的情况下，校准执行单元128根据用户的视野中目标对象的位置以及由视线信息获取单元127获取到的视线信息来执行校准。这使得可以使更自然地执行视线校准成为可能。
此时，在已经检测到具有在预定方向上比预定尺寸更小的尺寸的目标对象的情况下，在预定方向上视线遇见的位置的误差被认为是小的，且在预定方向上校准的精度被认为是得到提高。因此，在这种情况下，校准执行单元128只需对与预定方向实质上平行的方向(例如，对预定方向)执行校准。
例如，在已经检测到具有在水平方向上比预定尺寸更小的尺寸的目标对象的情况下，校准执行单元128可对与水平方向实质上平行的方向(例如，对水平方向)执行校准。可替换地，在已经检测到具有在垂直方向上比预定尺寸更小的尺寸的目标对象的情况下，校准执行单元128可对与垂直方向实质上平行的方向(例如，对垂直方向)执行校准。然而，不管预定方向，校准执行单元128都可执行校准。
请注意，在已经检测到具有在水平方向上比预定尺寸更小的尺寸的目标对象的情况下，校准执行单元128可以在无任何特定条件的情况下执行校准，但也可以在满足预定条件的情况下执行校准。例如，在已经检测到具有在水平方向上比预定尺寸更小的尺寸的目标对象的情况下，校准执行单元128可以根据由预测信息生成单元125生成的用户的视线移动预测信息来控制是否执行校准。将参考图5和图6对这种示例进行描述。
图5是用于描述根据视线移动预测信息判定不执行校准的情况的图。在判定是否执行校准之前，预测信息生成单元125根据由视觉吸引度计算单元123计算出的一组对象的视觉吸引度来生成用户的视线移动预测信息。用户的视线移动预测信息是指示根据视觉吸引度预测用户的视线移动的顺序的结果的信息。
首先，预测信息生成单元125从用户的视野中检测具有比第三阈值更高的视觉吸引度的多个对象。具体地，根据由视觉吸引度计算单元123计算出的一组对象的视觉吸引度，预测信息生成单元125检测具有比第三阈值更高的视觉吸引度的多个对象。然后，预测信息生成单元125生成多个检测到的对象的各自位置按视觉吸引度降序排列的信息作为视线移动预测信息。
在图5所示的示例中，假设建筑物B1至B3具有比第三阈值更高的视觉吸引度，且在建筑物B1至B3中，建筑物B1的视觉吸引度最高，建筑物B2的视觉吸引度次高，建筑物B3的视觉吸引度最低。此时，预测信息生成单元125判定建筑物B1至B3具有比第三阈值更高的视觉吸引度且建筑物B1、建筑物B2和建筑物B3是按视觉吸引度降序，并生成建筑物B1的位置P1、建筑物B2的位置P2和建筑物B3的位置P3按降序排列的信息作为视线移动预测信息。
然后，校准执行单元128获取用户U1的视线实际遇见的位置按时间顺序排列的信息作为实际视线移动测量信息。更具体地，校准执行单元128获取由视线信息获取单元127按时间顺序获取到的视线信息并获取这些条视线信息按获取顺序排列的信息作为实际视线移动测量信息。请注意，在预定时间段内视线一直遇见同一位置的情况下，视线已经遇见的位置可能是同一位置。
在图5所示的示例中，用户U1的视线遇见的位置不是按视觉吸引度降序，用户U1的视线按时间顺序遇见位置Q11、位置Q12和位置Q13。换言之，指示位置Q11、位置Q12和位置Q13各者的视线信息由视线信息获取单元127按时间顺序获取，且校准执行单元128获取这些条视线信息按获取顺序排列的信息作为实际视线移动测量信息。
然后，在视线移动预测信息和实际视线移动测量信息之间的匹配度不超过预定参考值的情况下，可以认为，用户U1根据与视觉吸引度不同的标准来移动视线。因此，校准执行单元128在这种情况下不必执行校准。这里，可以以任何方式计算匹配度。作为一个示例，校准执行单元128可以将视线移动预测信息和实际视线移动测量信息之间的匹配度计算为更小，因为在视线移动预测信息和实际视线移动测量信息中具有相应顺序的位置之间的距离(或距离的平方)的和(或平均值)更大。
例如，在图5所示的示例中，在视线移动预测信息和实际视线移动测量信息中，位置P1和Q11的顺序彼此对应，位置P2和Q12的顺序彼此对应，位置P3和Q13的顺序彼此对应。因此，校准执行单元128可以根据位置P1和Q11之间的距离、位置P2和Q12之间的距离以及位置P3和Q13之间的距离的平方的平均值来计算视线移动预测信息和实际视线移动测量信息之间的匹配度。在图5所示的示例中，假设因为匹配度不超过预定参考值，所以校准执行单元128不执行校准的情况。
图6是用于描述根据视线移动预测信息判定执行校准的情况的图。而且在图6所示的示例中，类似于图5所示的示例，预测信息生成单元125判定建筑物B1至B3具有比第三阈值更高的视觉吸引度且建筑物B1、建筑物B2和建筑物B3是按视觉吸引度降序，并生成建筑物B1的位置P1、建筑物B2的位置P2和建筑物B3的位置P3按降序排列的信息作为视线移动预测信息。
另一方面，在图6所示的示例中，用户U1的视线遇见的位置不是按视觉吸引度降序，用户U1的视线按时间顺序遇见位置Q21、位置Q22和位置Q23。换言之，指示位置Q21、位置Q22和位置Q23各者的视线信息由视线信息获取单元127按时间顺序获取，且校准执行单元128获取这些条视线信息按获取顺序排列的信息作为实际视线移动测量信息。
此时，在视线移动预测信息和实际视线移动测量信息之间的匹配度超过预定参考值的情况下，可以认为，用户U1按视觉吸引度降序来移动视线。因此，校准执行单元128只需在这种情况下执行校准。
例如，在图6所示的示例中，在视线移动预测信息和实际视线移动测量信息中，位置P1和Q21的顺序彼此对应，位置P2和Q22的顺序彼此对应，位置P3和Q23的顺序彼此对应。因此，校准执行单元128可以根据位置P1和Q21之间的距离、位置P2和Q22之间的距离以及位置P3和Q23之间的距离的平方的平均值来计算视线移动预测信息和实际视线移动测量信息之间的匹配度。在图6所示的示例中，假设因为匹配度超过预定参考值，所以校准执行单元128执行校准的情况。请注意，这里，可以通过其他技术来计算视线移动预测信息和实际视线移动测量信息之间的匹配度。例如，可以通过视线移动预测信息和实际视线移动测量信息的各自方向(矢量)之间的匹配度来计算视线移动预测信息和实际视线移动测量信息之间的匹配度。
在已经以此方式执行校准且校准执行已经完成的情况下，用户U1应当知道校准执行完成。因此，在校准执行单元128已经完成校准执行的情况下，显示控制单元129应当控制显示单元150，使得通过显示单元150显示指示校准执行完成的信息。
图7是示出指示校准执行完成的显示信息的示例的图。如图7所示，在校准执行单元128已经完成校准执行的情况下，显示控制单元129可以控制文本数据N1“校准完成”以及指示校准执行完成的图像N2的显示作为指示校准执行完成的信息的示例。请注意，虽然在图7所示的示例中控制文本数据N1和图像N2两者的显示，但是可以控制文本数据N1或图像N2中任何一者的显示。
接着，将对根据本实施例的校准的操作示例进行描述。图8是示出根据本实施例的校准的操作示例的流程图。如图8所示，移动获取单元121获取用户的视野移动，对象识别单元122判定由移动获取单元121获取到的用户的视野移动是否小于预定移动(S11)。
在由移动获取单元121获取到的用户的视野移动不小于预定移动的情况下(S11中“否”)，对象识别单元122将操作转移到S11。另一方面，在由移动获取单元121获取到的用户的视野移动小于预定移动的情况下(S11中“是”)，对象识别单元122从用户的视野中识别出一个或多个对象(S12)。
随后，视觉吸引度计算单元123计算被对象识别单元122识别出的一组对象的视觉吸引度。然后，目标对象检测单元124尝试从用户的视野中检测具有比第一阈值更高的视觉吸引度和在预定方向上比预定尺寸更小的尺寸的目标对象。在未检测到目标对象的情况下(S13中“否”)，目标对象检测单元124将操作转移到S13。另一方面，在已经检测到目标对象的情况下(S13中“是”)，目标对象检测单元124将操作转移到S14。
随后，预测信息生成单元125根据由视觉吸引度计算单元123计算出的一组对象的视觉吸引度来生成用户的视线移动预测信息(S14)。然后，视线信息获取单元127获取用户视线信息，校准执行单元128获取由视线信息获取单元127按时间顺序获取到的视线信息并获取这些条视线信息按获取顺序排列的信息作为实际视线移动测量信息(S15)。
然后，在视线移动预测信息和实际视线移动测量信息之间的匹配度不超过预定参考值的情况下(S16中“否”)，可以认为，用户根据与视觉吸引度不同的标准来移动视线。因此，校准执行单元128在这种情况下不执行校准并结束操作。另一方面，在视线移动预测信息和实际视线移动测量信息之间的匹配度超过预定参考值的情况下(S16中“是”)，可以认为，用户按视觉吸引度降序来移动视线。因此，校准执行单元128在这种情况下执行校准(S17)并结束操作。
上面已经对根据本实施例的校准的操作示例进行描述。
(1.3.2.再校准)
如上所述，执行根据本实施例的校准。然而，即使在如上所述执行校准的情况下，随着时间流逝，在视线遇见的位置的检测结果与视线遇见的实际位置之间也有可能出现差距。例如，由于信息处理装置10戴在用户头上的方式、戴着信息处理装置10的用户的物理移动等，有可能出现这种差距。
因此，即使在如上所述执行一次校准的情况下，也应当在特定时间执行再校准。下文将对这种再校准进行描述。请注意，在以下描述中，描述为再校准的校准不必作为第二次校准以及后续校准而执行，且可以作为第一次校准而执行。
图9是示出再校准执行的第一示例的图。参考图9，类似于图5所示的示例，在用户U1的视野中存在真实空间R1，且在真实空间R1中存在一组对象(包括建筑物B1至B3)。这里，类似于图5所示的示例，视觉吸引度计算单元123根据被视野分析成像单元111捕获到的视野分析图像来计算被对象识别单元122识别出的一组对象的视觉吸引度。这里，可以认为，不存在建筑物的区域(空白区域)的视觉吸引度被计算为低。例如，假设视觉吸引度计算单元123将不存在建筑物的区域的视觉吸引度计算为比第四阈值更低的情况。
参考图9，用户U1的视线在预定时间段内遇见不存在建筑物的区域。更具体地，用户U1在预定时间段内在不存在建筑物的区域中移动视线(视线遇见的位置按此顺序改变为位置Q31、位置Q32和位置Q33)。在视线在预定时间段内以此方式到达具有比第四阈值更低的视觉吸引度的区域的情况下，可以认为，在视线遇见的位置的检测结果与视线遇见的实际位置之间很可能出现差距。
因此，在视线在预定时间段内到达具有比第四阈值更低的视觉吸引度的区域的情况下，校准执行单元128应当执行再校准。请注意，图9已经示出在用户U1在预定时间段内在具有比第四阈值更低的视觉吸引度的区域中已经移动视线的情况下执行再校准的示例。然而，在用户U1在预定时间段内在具有比第四阈值更低的视觉吸引度的区域中保持视线不变的情况下也可以执行再校准。
上面已经对在视线在预定时间段内到达具有比第四阈值更低的视觉吸引度的区域的情况下执行再校准的示例进行描述。执行再校准的时间并不限于该示例。例如，校准执行单元128可以在通过用户的视线的操纵的状态是预定状态的情况下执行校准(例如，在假设不根据用户的意愿执行通过用户的视线的操纵的情况下)。
这里，通过用户的视线的操纵没有特别限制。下文中，主要假设显示控制单元129控制由用户可操纵的操纵目标对象的显示的情况。操纵目标对象也没有特别限制。下文中，主要假设操纵目标对象是按钮的情况，但操纵目标对象可以是图标或可以是文本数据。在这种情况下，假设在用户的视线在预定时间段内遇见操纵目标对象的情况下执行操纵目标对象的选择的情况。
图10是示出再校准执行的第二示例的图。参考图10，类似于图5所示的示例，在用户U1的视野中存在真实空间R1，且在真实空间R1中存在一组对象(包括建筑物B1至B3)。此外，参考图10，显示控制单元129控制操纵目标对象J1的显示。在图10所示的示例中，操纵目标对象J1是设定按钮，但操纵目标对象J1并不限于设定按钮。
这里，参考图10，用户U1的视线实际上遇见操纵目标对象J1以选择操纵目标对象J1。然而，视线遇见的位置的检测结果是位置Q41，该位置Q41与视线遇见的实际位置(操纵目标对象J1的位置)不同。在这种情况下，校准执行单元128应当执行再校准。
更具体地，在虽然由视线信息获取单元127获取到的用户的视线超过预定时间段在预定范围内遇见，但是在不执行以操纵目标对象J1的视线为基础的选择操作的情况下，校准执行单元128应当执行再校准。这里，预定范围没有特别限制。图10示出范围C1作为预定范围。例如，范围C1可以是圆的内部区域，该圆具有以视线遇见的位置的检测结果的轨迹的中心为中心的预定半径。
此外，在满足特定条件的情况下，可以使执行一次的校准无效。例如，在用户已经完成取消操作的情况下，可以认为，在视线遇见的位置的检测结果与视线遇见的实际位置之间很可能出现差距。因此，在用户已经完成取消操作的情况下，校准执行单元128可以使对紧接取消操作前视线正遇见的目标对象的校准无效。请注意，使无效的校准并不限于对紧接取消操作前视线正遇见的目标对象的校准。例如，在用户已经完成取消操作的情况下，校准执行单元128可以使已经执行的校准无效，直到取消操作。
图11是用于描述使校准无效的示例的图。参考图11，类似于图10所示的示例，在用户U1的视野中存在真实空间R1，且在真实空间R1中存在一组对象(包括建筑物B1至B3)。此外，参考图11，类似于图10所示的示例，显示控制单元129控制操纵目标对象J1的显示。
另外，在图11所示的示例中，显示控制单元129控制操纵目标对象J2的显示。虽然操纵目标对象J2是帮助按钮，但是操纵目标对象J2并不限于帮助按钮。
这里，假设用户U1的视线实际上遇见操纵目标对象J1以选择操纵目标对象J1。然而，假设视线遇见的位置的检测结果是操纵目标对象J2的位置的情况，该位置与视线遇见的实际位置(操纵目标对象J1的位置)不同。
在这种情况下，错误地选择操纵目标对象J2，且显示控制单元129控制帮助屏幕的显示。帮助屏幕包括操纵目标对象J3。在图11所示的示例中，操纵目标对象J3是取消按钮，但操纵目标对象J3并不限于取消按钮。
随后，作为取消操作的示例，用户U1注意到已经错误地选择了操纵目标对象J2，且视线遇见操纵目标对象J3。请注意，这里主要假设取消操作是视线遇见操纵目标对象J3的操纵的情况，但取消操作并不限于视线遇见操纵目标对象J3的操纵。例如，取消操作可以是通过预定语音的指令，可以是按下取消按钮的操纵，或可以是通过预定手势的指令。
在图11中，用户U1的视线遇见的位置表示为位置Q51。此时，显示控制单元129取消帮助屏幕的显示，且校准执行单元128使对紧接取消操作前视线正遇见的目标对象的校准无效。例如，在紧接取消操作前视线正遇见目标对象(建筑物B3)的情况下，校准执行单元128可以使根据目标对象(建筑物B3)的位置以及遇见目标对象(建筑物B3)的视线执行的校准无效。
图12是示出再校准执行的第三示例的图。参考图12，类似于图11所示的示例，在用户U1的视野中存在真实空间R1，且在真实空间R1中存在一组对象(包括建筑物B1至B3)。此外，参考图12，类似于图11所示的示例，显示控制单元129控制操纵目标对象J1和操纵目标对象J2的显示。
这里，假设用户U1的视线实际上遇见操纵目标对象J1以选择操纵目标对象J1。然而，假设视线遇见的位置的检测结果是操纵目标对象J2的位置的情况，该位置与视线遇见的实际位置(操纵目标对象J1的位置)不同。
在这种情况下，错误地选择操纵目标对象J2，且显示控制单元129控制帮助屏幕的显示。帮助屏幕包括操纵目标对象J3。在图12所示的示例中，操纵目标对象J3是取消按钮，但操纵目标对象J3并不限于取消按钮。
随后，作为取消操作的示例，用户U1注意到已经错误地选择了操纵目标对象J2，且视线遇见操纵目标对象J3。请注意，这里主要假设取消操作是视线遇见操纵目标对象J3的操纵的情况，但取消操作并不限于视线遇见操纵目标对象J3的操纵。
在图12中，用户U1的视线遇见的位置表示为位置Q52。此时，显示控制单元129取消帮助屏幕的显示。之后，用户U1的视线尝试遇见操纵目标对象J1以选择操纵目标对象J1。然而，视线遇见的位置的检测结果是操纵目标对象J2的位置的情况可能会再次发生，该位置与视线遇见的实际位置(操纵目标对象J1的位置)不同。
因此，在同一操纵在预定时间段内已经执行超过预定次数的情况下，校准执行单元128应当执行再校准。具体地，在以视线为基础对操纵目标对象J2的选择操作在预定时间段内已经执行超过预定次数的情况下，校准执行单元128可以执行再校准。请注意，预定次数没有特别限制。例如，预定次数可以是任何次数，只要次数是两次或更多次。
接着，将对根据本实施例的再校准的操作示例进行描述。图13是示出根据本实施例的再校准的操作示例的流程图。如图13所示，在用户已经完成取消操作的情况下(S21中“是”)，校准执行单元128使对紧接取消操作前视线正遇见的目标对象的校准无效(S22)并将操作转移到S23。另一方面，在用户未完成取消操作的情况下(S21中“否”)，校准执行单元128将操作转移到S23。
随后，根据由视觉吸引度计算单元123计算出的一组对象的视觉吸引度，校准执行单元128将具有比第四阈值更低的视觉吸引度的区域检测为低视觉吸引度区域。在视线遇见该低视觉吸引度区域的情况下(S23中“是”)，校准执行单元128将操作转移到S26。另一方面，在视线未遇见该低视觉吸引度区域的情况下(S23中“否”)，校准执行单元128将操作转移到S24。
随后，校准执行单元128判定是否不执行以用户的视线为基础的选择操作(S24)。更具体地，虽然由视线信息获取单元127获取到的用户的视线在预定时间段内在预定范围内遇见，但是校准执行单元128判定是否不执行以视线为基础对操纵目标对象的选择操作。在不执行以用户的视线为基础的选择操作的情况下(S24中“是”)，校准执行单元128将操作转移到S26。另一方面，在执行以用户的视线为基础的选择操作的情况下(S24中“否”)，校准执行单元128将操作转移到S25。
随后，校准执行单元128判定是否重复同一操纵(S25)。更具体地，校准执行单元128判定同一操纵在预定时间段内是否已经执行超过预定次数。在重复同一操纵的情况下(S25中“是”)，校准执行单元128执行再校准(S26)并结束操作。另一方面，在不重复同一操纵的情况下(S25中“否”)，校准执行单元128结束操作。
上面已经对根据本实施例的再校准的操作示例进行描述。
(1.3.3.各种变型例)
如上所述，执行根据本实施例的校准。此外，如上所述，可以执行根据本实施例的再校准。这里，已经对检测用于校准的目标对象(例如，建筑物B3)的技术(下文中，也称为“已经描述的技术”)进行描述。然而，根据变型例的技术可以用于检测用于校准的目标对象。下文中，将对根据本变型例的技术进行描述。
请注意，可以在任何时候执行通过根据变型例的技术的目标对象的检测。作为一个示例，可以在通过已经描述的技术未检测到目标对象的情况下执行通过根据变型例的技术的目标对象的检测。可替换地，作为另一个示例，可以在尝试通过已经描述的技术检测目标对象之前执行通过根据变型例的技术的目标对象的检测。
图14是用于描述根据变型例的技术的第一示例的图。如图14所示，在用户U1的视野中，桌子B4和书写工具B5作为存在于真实空间R2中的一个或多个对象的示例而存在。然后，用户U1试图去拿放置在桌子B4上的书写工具B5。因此，在书写工具B5处存在用户U1的视线遇见的位置Q61。因此，用户U1很可能正在看用户U1试图去拿的书写工具B5。
类似地，在用户U1的手势是预定手势的情况下，可以认为，用户U1的视线很可能遇见存在于与已经作出手势的位置相对应的位置处的对象。具体地，对象识别单元122从被视野分析成像单元111捕获到的视野分析图像中识别出用户U1的手势。然后，目标对象检测单元124判定被对象识别单元122识别出的手势是否是预定手势。
然后，在被对象识别单元122识别出的手势是预定手势的情况下，目标对象检测单元124将存在于与已经作出手势的位置相对应的位置处的对象作为目标对象检测。更具体地，在被对象识别单元122识别出的手势是预定手势的情况下，目标对象检测单元124确认已经作出手势的位置与用于手势的对象的位置之间的对应关系。这种对应关系可以预先登记或可以由目标对象检测单元124根据预定算法来估计。然后，目标对象检测单元124根据对应关系将用于手势的对象作为目标对象检测。
请注意，预定手势可包括握持对象的手势或指向对象的手势中的至少一个手势。图14示出用户U1的手势是握持对象的手势的情况。在这种情况下，目标对象检测单元124只需确认用户U1的多个手指的位置与由多个手指握持的书写工具B5的位置之间的对应关系并根据对应关系将由多个手指握持的书写工具B5作为目标对象检测。校准执行单元128根据目标对象的位置以及用户U1的视线来执行校准。
图15是用于描述根据变型例的技术的第二示例的图。如图15所示，在用户U1的视野中，桌子B4作为存在于真实空间R2中的一个或多个对象的示例而存在。此外，显示控制单元129控制显示单元150，使得显示显示对象D1。这里，假设显示对象D1的位置正在移动以增大用户U1的视线遇见显示对象D1的可能性，但显示对象D1的位置不必改变的情况。
当以此方式显示显示对象D1时，可以认为，用户U1很可能看到显示对象D1。因此，在显示对象D1中存在用户U1的视线遇见的位置Q71。因此，目标对象检测单元124只需将显示对象D1作为目标对象检测。校准执行单元128根据目标对象的位置以及用户U1的用户视线信息来执行校准。
图16是用于描述根据变型例的技术的第三示例的图。如图16所示，在用户U1的视野中，桌子B4作为存在于真实空间R2中的一个或多个对象而存在。此外，显示控制单元129控制显示单元150，使得显示操纵目标对象J1。而且在图16所示的示例中，类似于图10所示的示例，操纵目标对象J1是设定按钮，但操纵目标对象J1并不限于设定按钮。
当以此方式显示操纵目标对象J1时，可以认为，用户U1很可能看到操纵目标对象J1。因此，在操纵目标对象J1中存在用户U1的视线遇见的位置Q81。因此，目标对象检测单元124只需将操纵目标对象J1作为目标对象检测。校准执行单元128根据目标对象的位置以及用户U1的视线来执行校准。
<2.硬件配置示例>
接着，将参考图17对根据本公开的实施例的信息处理装置10的硬件配置示例进行描述。图17是示出根据本公开的实施例的信息处理装置10的硬件配置示例的方块图。
如图17所示，信息处理装置10包括中央处理单元(CPU)901、只读存储器(ROM)903和随机存取存储器(RAM)905。此外，信息处理装置10可包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。此外，信息处理装置10可根据需要包括成像装置933和传感器935。代替CPU901或除CPU 901外，信息处理装置10还可包括称为数字信号处理器(DSP)的处理电路或专用集成电路(ASIC)。
CPU 901当作算术处理单元和控制单元，并根据记录在ROM 903、RAM905、存储装置919或可移动记录介质927上的各种程序来控制信息处理装置10中的全部或部分操作。ROM903存储由CPU 901使用的程序、算术运算参数等。RAM 905暂时存储在CPU 901执行时使用的程序、在执行时适当改变的参数等。CPU 901、ROM 903和RAM 905通过由诸如CPU总线的内部总线构成的主机总线907彼此连接。此外，主机总线907经由桥接器909连接到诸如外围组件互连/接口(PCI)总线的外部总线911。
输入装置915是由用户操纵的装置，诸如例如鼠标、键盘、触摸板、按钮、开关和控制杆。输入装置915可包括检测用户语音的麦克风。输入装置915可以是例如利用红外线或其他电波的远程控制装置，或可以是支持信息处理装置10的操纵的外部连接设备929，诸如移动电话。输入装置915包括输入控制电路，该输入控制电路根据由用户输入的信息生成输入信号并将输入信号输出到CPU 901。用户操纵该输入装置915以将各种数据输入到信息处理装置10中并指示信息处理装置10执行处理操作。此外，通过对用户的手、用户的手指等的移动进行成像，稍后描述的成像装置933也可当作输入装置。此时，可以根据手的移动或手指的方向来决定指向位置。
输出装置917由能够在视觉上或在听觉上向用户通知获取到的信息的装置构成。例如，输出装置917可以是诸如液晶显示器(LCD)、等离子体显示面板(PDP)、有机电致发光(EL)显示器或投影仪、全息图显示装置的显示装置、诸如扬声器或头戴式受话器的音频输出装置以及打印机装置等。输出装置917将通过信息处理装置10的处理而获得的结果输出为诸如文本或图像的图片，或将结果输出为诸如语音或音频的声音。此外，输出装置917可包括用于使周围环境变亮的灯。
存储装置919是构成为信息处理装置10的存储单元的一个示例的数据存储装置。存储装置919由例如诸如硬盘驱动器(HDD)的磁性存储单元器件、半导体存储器件、光学存储器件、磁光存储器件等构成。该存储装置919存储由CPU 901执行的程序和各种数据以及从外部获取到的各种数据等。
驱动器921是用于诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质927的读取器/写入器，且内置在信息处理装置10中或外部附接到信息处理装置10。驱动器921读出记录在附接的可移动记录介质927上的信息并将信息输出到RAM 905。此外，驱动器921将记录写入附接的可移动记录介质927中。
连接端口923是用于将设备直接连接到信息处理装置10的端口。连接端口923可以是例如通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)端口等。此外，连接端口923可以是RS-232C端口、光学音频端子、高清晰度多媒体接口(HDMI(注册商标))端口等。通过将外部连接设备929连接到连接端口923，可以在信息处理装置10和外部连接设备929之间交换各种数据。
通信装置925是例如由用于连接到通信网络931的通信设备等构成的通信接口。通信装置925可以是例如用于有线或无线局域网(LAN)的通信卡、蓝牙(注册商标)或无线USB(WUSB)。此外，通信装置925可以是用于光学通信的路由器、用于非对称数字用户线(ADSL)的路由器或用于各种通信的调制解调器。例如，通信装置925通过使用诸如TCP/IP的预定协议向因特网和其他通信设备发射信号等以及从因特网和其他通信设备接收信号等。此外，连接到通信装置925的通信网络931是通过有线或无线连接的网络，并且是例如因特网、家庭LAN、红外通信、无线电波通信、卫星通信等。
成像装置933是通过使用诸如成像元件(例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))的各种构件以及用于控制成像元件上被摄体图像的形成的透镜来对真实空间进行成像的装置，并生成捕获到的图像。成像装置933可以捕获静止图像或可以捕获移动图像。
传感器935例如是诸如测距传感器、加速度传感器、陀螺仪传感器、地磁传感器、光学传感器和声音传感器的各种传感器。传感器935例如获取关于信息处理装置10自身的状态的信息(诸如信息处理装置10的壳体的姿势)以及关于信息处理装置10的周围环境的信息(诸如信息处理装置10周围的亮度和噪声)。此外，传感器935可包括GPS传感器，该GPS传感器接收全球定位系统(GPS)信号并测量该装置的纬度、经度和高度。
<3.结论>
如上所述，根据本公开的实施例，提供了一种信息处理装置10，包括：视线信息获取单元127，被配置成获取用户视线信息；校准执行单元128，被配置成在从用户的视野中已经检测到具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸的目标对象的情况下，根据视野中目标对象的位置以及视线信息来执行校准。根据这种配置，可以使更自然地执行视线校准成为可能。
虽然已经参考附图对本公开的优选实施例进行详细描述，但是本公开的技术范围并不限于这些示例。很明显，本领域普通技术人员在权利要求中描述的技术构思的范围内可以得到各种变更例或变型例，且应当明白，这些变更例或变型例当然也在本公开的技术范围内。
例如，上面已经对当目标对象检测单元124根据一组对象的视觉吸引度检测用于校准的目标对象时，视觉吸引度计算单元123计算该组对象的视觉吸引度的示例进行描述。然而，在例如可以预先获取包含用于校准的目标对象的图像的情况下，视觉吸引度计算单元123可以预先计算该组对象的视觉吸引度。
此外，被目标对象检测单元124检测到的目标对象可能因用户而异。例如，可以根据用户偏好信息来检测被目标对象检测单元124检测到的目标对象。此外，可以根据另一个用户的视线来检测被目标对象检测单元124检测到的目标对象。此时，另一个用户可以是偏好信息与该用户的偏好信息相似的用户。
此外，指示用户的视线遇见的对象的信息可被累积为过去历史。因此，在由用户的过去历史指示的对象再次进入用户的视野的情况下，目标对象检测单元124可以判定该对象很可能被用户看到，因此，优先将该对象作为目标对象检测。
此外，为了使目标对象检测单元124将用户的更多视觉注意力吸引到目标对象，显示控制单元129可以通过目标对象检测单元124控制预定对象显示在目标对象的位置处。例如，显示由显示控制单元129控制的对象可以是围绕目标对象外围的框架，可以是目标对象自身或目标对象外围的着色，或目标对象自身或目标对象外围的闪烁。
此外，还可以创建用于使诸如内置在计算机中的CPU、ROM和RAM的硬件表现出与上述控制单元120的功能等同的功能的程序。此外，还可以提供计算机可读记录介质，程序记录在计算机可读记录介质上。
例如，只要实现上述信息处理装置10的操作，每个构成要素的位置就没有特别限制。信息处理装置10中的每个单元的处理的一部分可以由服务器装置(未示出)执行。作为一个具体示例，信息处理装置10中的控制单元120的每个部分或整个方块可以存在于服务器装置(未示出)等中。例如，信息处理装置10中的对象识别单元122、视觉吸引度计算单元123、目标对象检测单元124、预测信息生成单元125和手势识别单元126的部分或全部功能可以存在于服务器装置(未示出)等中。
此外，本说明书中描述的效果仅仅是说明性的或示例性的，而不是限制性的。即，根据本说明书的描述，根据本公开的技术可以使对于本领域技术人员显而易见的其他效果与上述效果一起发挥作用或代替上述效果。
请注意，以下配置也在本公开的技术范围内。
(1)一种信息处理装置，包括：
视线信息获取单元，被配置成获取用户的视线信息；
校准执行单元，被配置成在从所述用户的视野中已经检测到目标对象的情况下，根据视野中所述目标对象的位置以及所述视线信息来执行校准，所述目标对象具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸。
(2)根据(1)所述的信息处理装置，还包括：
目标对象检测单元，被配置成检测所述目标对象。
(3)根据(2)所述的信息处理装置，其中
所述目标对象检测单元被配置成在所述视野的移动小于预定移动的情况下检测所述目标对象。
(4)根据(2)或(3)所述的信息处理装置，其中
所述目标对象检测单元被配置成在另一个对象位于与一个对象相距比预定距离更短的距离之处的情况下，不将所述一个对象作为所述目标对象进行检测，所述另一个对象具有比第二阈值更高的视觉吸引度。
(5)根据(2)至(4)中任一项所述的信息处理装置，其中
所述目标对象检测单元被配置成在所述用户的手势是预定手势的情况下，将存在于与已经作出手势的位置相对应的位置处的对象作为所述目标对象进行检测。
(6)根据(5)所述的信息处理装置，其中
所述预定手势包括握持所述对象的手势或指向所述对象的手势中的至少一个手势。
(7)根据(1)至(6)中任一项所述的信息处理装置，其中
所述校准执行单元被配置成根据关于视线移动的预测信息来控制是否执行校准。
(8)根据(7)所述的信息处理装置，还包括：
预测信息生成单元，被配置成在从所述用户的视野中已经检测到多个对象的情况下，生成所述多个对象的各自位置按视觉吸引度降序排列的信息作为关于视线移动的预测信息，所述多个对象具有比第三阈值更高的视觉吸引度。
(9)根据(7)或(8)所述的信息处理装置，其中
所述校准执行单元被配置成在关于视线移动的预测信息与关于视线移动的实际测量信息之间的匹配度不超过预定参考值的情况下不执行校准。
(10)根据(9)所述的信息处理装置，其中
所述校准执行单元被配置成在所述匹配度超过所述参考值的情况下执行校准。
(11)根据(1)至(10)中任一项所述的信息处理装置，其中
所述校准执行单元被配置成在已经检测到所述目标对象的情况下，对与所述预定方向实质上平行的方向执行校准。
(12)根据(1)至(11)中任一项所述的信息处理装置，其中
所述校准执行单元被配置成在视觉吸引度比第四阈值更低的区域中视线存在超过预定时间段的情况下执行所述校准。
(13)根据(1)至(12)中任一项所述的信息处理装置，其中
所述校准执行单元被配置成在通过所述用户的视线的操纵的状态是预定状态的情况下执行校准。
(14)根据(13)所述的信息处理装置，其中
所述校准执行单元被配置成在虽然视线超过预定时间段在预定范围内遇见但是在不执行以所述视线为基础的选择操作的情况下执行所述校准。
(15)根据(13)所述的信息处理装置，其中
所述校准执行单元被配置成在同一操纵在预定时间段内已经执行超过预定次数的情况下执行校准。
(16)根据(1)至(15)中任一项所述的信息处理装置，其中
所述校准执行单元被配置成在从所述用户的视野中未检测到所述目标对象的情况下，根据预定显示对象的位置以及所述视线信息来执行校准。
(17)根据(1)至(15)中任一项所述的信息处理装置，其中
所述校准执行单元被配置成在从所述用户的视野中未检测到所述目标对象的情况下，根据由所述用户可操纵的操纵目标对象的位置以及所述视线信息来执行校准。
(18)根据(1)至(17)中任一项所述的信息处理装置，其中
所述校准执行单元被配置成在所述用户已经完成取消操作的情况下，使对紧接取消操作前视线正遇见的目标对象的校准无效。
(19)一种信息处理方法，包括：
获取用户的视线信息；
在从所述用户的视野中已经检测到目标对象的情况下，由处理器根据视野中所述目标对象的位置以及所述视线信息来执行校准，所述目标对象具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸。
(20)一种用于使计算机当作信息处理装置的程序，所述信息处理装置包括：
视线信息获取单元，被配置成获取用户的视线信息；
校准执行单元，被配置成在从所述用户的视野中已经检测到目标对象的情况下，根据视野中所述目标对象的位置以及所述视线信息来执行校准，所述目标对象具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸。
附图标记列表
10 信息处理装置
111 视野分析成像单元
112 视线检测成像单元
113 传感器单元
120 控制单元
121 获取单元
122 对象识别单元
123 视觉吸引度计算单元
124 目标对象检测单元
125 预测信息生成单元
126 手势识别单元
127 视线信息获取单元
128 校准执行单元
129 显示控制单元
130 存储单元
140 通信单元
150 显示单元。

Claims (20)

1.一种信息处理装置，包括：
视线信息获取单元，被配置成获取用户的视线信息；
校准执行单元，被配置成在从所述用户的视野中已经检测到目标对象的情况下，根据所述视野中所述目标对象的位置以及所述视线信息来执行校准，所述目标对象具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸。
2.根据权利要求1所述的信息处理装置，还包括：
目标对象检测单元，被配置成检测所述目标对象。
3.根据权利要求2所述的信息处理装置，其中
所述目标对象检测单元被配置成在所述视野的移动小于预定移动的情况下检测所述目标对象。
4.根据权利要求2所述的信息处理装置，其中
所述目标对象检测单元被配置成在另一个对象位于与一个对象相距比预定距离更短的距离之处的情况下，不将所述一个对象作为所述目标对象进行检测，所述另一个对象具有比第二阈值更高的视觉吸引度。
5.根据权利要求2所述的信息处理装置，其中
所述目标对象检测单元被配置成在所述用户的手势是预定手势的情况下，将存在于与已经做出所述手势的位置相对应的位置处的对象作为所述目标对象进行检测。
6.根据权利要求5所述的信息处理装置，其中
所述预定手势包括握持所述对象的手势或指向所述对象的手势中的至少一个手势。
7.根据权利要求1所述的信息处理装置，其中
所述校准执行单元被配置成根据关于视线移动的预测信息来控制是否执行所述校准。
8.根据权利要求7所述的信息处理装置，还包括：
预测信息生成单元，被配置成在从所述用户的视野中已经检测到多个对象的情况下，生成所述多个对象的各自位置按视觉吸引度降序排列的信息作为关于所述视线移动的预测信息，所述多个对象具有比第三阈值更高的视觉吸引度。
9.根据权利要求7所述的信息处理装置，其中
所述校准执行单元被配置成在关于所述视线移动的预测信息与关于所述视线移动的实际测量信息之间的匹配度不超过预定参考值的情况下不执行所述校准。
10.根据权利要求9所述的信息处理装置，其中
所述校准执行单元被配置成在所述匹配度超过所述参考值的情况下执行所述校准。
11.根据权利要求1所述的信息处理装置，其中
所述校准执行单元被配置成在已经检测到所述目标对象的情况下，对与所述预定方向实质上平行的方向执行校准。
12.根据权利要求1所述的信息处理装置，其中
所述校准执行单元被配置成在所述视觉吸引度比第四阈值更低的区域中视线存在超过预定时间段的情况下执行所述校准。
13.根据权利要求1所述的信息处理装置，其中
所述校准执行单元被配置成在通过所述用户的视线的操纵的状态是预定状态的情况下执行所述校准。
14.根据权利要求13所述的信息处理装置，其中
所述校准执行单元被配置成在虽然所述视线超过预定时间段在预定范围内遇见但是在不执行以所述视线为基础的选择操作的情况下执行所述校准。
15.根据权利要求13所述的信息处理装置，其中
所述校准执行单元被配置成在同一操纵在预定时间段内已经执行超过预定次数的情况下执行所述校准。
16.根据权利要求1所述的信息处理装置，其中
所述校准执行单元被配置成在从所述用户的视野中未检测到所述目标对象的情况下，根据预定显示对象的位置以及所述视线信息来执行所述校准。
17.根据权利要求1所述的信息处理装置，其中
所述校准执行单元被配置成在从所述用户的视野中未检测到所述目标对象的情况下，根据由所述用户可操纵的操纵目标对象的位置以及所述视线信息来执行所述校准。
18.根据权利要求1所述的信息处理装置，其中
所述校准执行单元被配置成在所述用户已经完成取消操作的情况下，使对紧接所述取消操作前视线正遇见的目标对象的校准无效。
19.一种信息处理方法，包括：
获取用户的视线信息；
在从所述用户的视野中已经检测到目标对象的情况下，由处理器根据所述视野中所述目标对象的位置以及所述视线信息来执行校准，所述目标对象具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸。
20.一种程序，用于使计算机作为信息处理装置，所述信息处理装置包括：
视线信息获取单元，被配置成获取用户的视线信息；
校准执行单元，被配置成在从所述用户的视野中已经检测到目标对象的情况下，根据所述视野中所述目标对象的位置以及所述视线信息来执行校准，所述目标对象具有比第一阈值更高的视觉吸引度和比预定尺寸更小的、预定方向上的尺寸。
CN201780088701.7A 2017-03-27 2017-12-28 信息处理装置、信息处理方法及程序 Active CN110446995B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017060995A JP2018163558A (ja) 2017-03-27 2017-03-27 情報処理装置、情報処理方法およびプログラム
JP2017-060995 2017-03-27
PCT/JP2017/047366 WO2018179661A1 (ja) 2017-03-27 2017-12-28 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN110446995A true CN110446995A (zh) 2019-11-12
CN110446995B CN110446995B (zh) 2021-12-24

Family

ID=63677400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780088701.7A Active CN110446995B (zh) 2017-03-27 2017-12-28 信息处理装置、信息处理方法及程序

Country Status (4)

Country Link
US (1) US10962738B2 (zh)
JP (1) JP2018163558A (zh)
CN (1) CN110446995B (zh)
WO (1) WO2018179661A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306271A (zh) * 2020-10-30 2021-02-02 歌尔光学科技有限公司 一种手柄控制器的焦点校准方法、装置及相关设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6892017B2 (ja) 2018-08-31 2021-06-18 株式会社Ihi 流体供給システム
US10824247B1 (en) * 2019-04-03 2020-11-03 Facebook Technologies, Llc Head-coupled kinematic template matching for predicting 3D ray cursors
US11256342B2 (en) * 2019-04-03 2022-02-22 Facebook Technologies, Llc Multimodal kinematic template matching and regression modeling for ray pointing prediction in virtual reality

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005261728A (ja) * 2004-03-19 2005-09-29 Fuji Xerox Co Ltd 視線方向認識装置及び視線方向認識プログラム
JP2007213469A (ja) * 2006-02-13 2007-08-23 Saitama Univ 視線制御表示装置と表示方法
WO2009107371A1 (ja) * 2008-02-28 2009-09-03 パナソニック株式会社 視線検出装置及び視線検出方法
CN103033145A (zh) * 2013-01-08 2013-04-10 天津锋时互动科技有限公司 用于识别多个物体的形状的方法与系统
US20140267208A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Image display device and image display method
WO2014172151A1 (en) * 2013-04-17 2014-10-23 Valve Corporation High-fidelity image stability with near-eye displays - dynamically changing duty cycle to reduce judder effect
US20150277555A1 (en) * 2012-07-27 2015-10-01 Nec Solution Innovators, Ltd. Three-dimensional user interface apparatus and three-dimensional operation method
US20150317518A1 (en) * 2014-05-01 2015-11-05 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
US20160342205A1 (en) * 2014-02-19 2016-11-24 Mitsubishi Electric Corporation Display control apparatus, display control method of display control apparatus, and eye gaze direction detection system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832031B2 (en) * 2016-08-15 2020-11-10 Apple Inc. Command processing using multimodal signal analysis

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005261728A (ja) * 2004-03-19 2005-09-29 Fuji Xerox Co Ltd 視線方向認識装置及び視線方向認識プログラム
JP2007213469A (ja) * 2006-02-13 2007-08-23 Saitama Univ 視線制御表示装置と表示方法
WO2009107371A1 (ja) * 2008-02-28 2009-09-03 パナソニック株式会社 視線検出装置及び視線検出方法
US20150277555A1 (en) * 2012-07-27 2015-10-01 Nec Solution Innovators, Ltd. Three-dimensional user interface apparatus and three-dimensional operation method
CN103033145A (zh) * 2013-01-08 2013-04-10 天津锋时互动科技有限公司 用于识别多个物体的形状的方法与系统
US20140267208A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Image display device and image display method
WO2014172151A1 (en) * 2013-04-17 2014-10-23 Valve Corporation High-fidelity image stability with near-eye displays - dynamically changing duty cycle to reduce judder effect
US20160342205A1 (en) * 2014-02-19 2016-11-24 Mitsubishi Electric Corporation Display control apparatus, display control method of display control apparatus, and eye gaze direction detection system
US20150317518A1 (en) * 2014-05-01 2015-11-05 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306271A (zh) * 2020-10-30 2021-02-02 歌尔光学科技有限公司 一种手柄控制器的焦点校准方法、装置及相关设备
CN112306271B (zh) * 2020-10-30 2022-11-25 歌尔光学科技有限公司 一种手柄控制器的焦点校准方法、装置及相关设备

Also Published As

Publication number Publication date
JP2018163558A (ja) 2018-10-18
WO2018179661A1 (ja) 2018-10-04
US10962738B2 (en) 2021-03-30
US20200018926A1 (en) 2020-01-16
CN110446995B (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
CN108615248B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN104025158B (zh) 信息处理设备、信息处理方法和程序
CN110446995A (zh) 信息处理装置、信息处理方法及程序
JP7092028B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110647865A (zh) 人脸姿态的识别方法、装置、设备及存储介质
US20130077831A1 (en) Motion recognition apparatus, motion recognition method, operation apparatus, electronic apparatus, and program
CN106255943A (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
JP6958570B2 (ja) 表示制御装置、表示制御方法およびプログラム
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
CN109844600B (zh) 信息处理设备、信息处理方法和程序
US11593635B2 (en) Information processing device, method of processing information, and method of providing information
CN111095364A (zh) 信息处理装置、信息处理方法和程序
CN107102804A (zh) 控制设备、控制方法和程序
CN113168221B (zh) 信息处理设备、信息处理方法和程序
TW201830205A (zh) 顯示裝置及其控制方法
US20210406542A1 (en) Augmented reality eyewear with mood sharing
CN107148614A (zh) 信息处理设备、信息处理方法和程序
JP6690637B2 (ja) 医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置
JPWO2018025825A1 (ja) 撮像システム
WO2017033544A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210232219A1 (en) Information processing apparatus, information processing method, and program
US20170155892A1 (en) Wearable stereoscopic camera system for 3d virtual reality imaging and networked area learning
CN110612552A (zh) 信息处理装置、信息处理方法和程序
JP7427937B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant