CN111819521A

CN111819521A - 信息处理装置、信息处理方法和程序

Info

Publication number: CN111819521A
Application number: CN201980017391.9A
Authority: CN
Inventors: 木村淳; 武田佳寿美; 石井智裕
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-03-12
Filing date: 2019-01-23
Publication date: 2020-10-23
Anticipated expiration: 2039-01-23
Also published as: JP2021081757A; US20210041702A1; CN111819521B; WO2019176308A1; US11372249B2

Abstract

[问题]为了提出一种信息处理装置、信息处理方法和程序，其能够利用较容易的操作来校正与虚拟对象的显示有关的用户的眼间参数值。[解决方案]该信息处理装置设置有：识别单元，其基于与用户的视点位置对应的传感器单元的感测结果来识别使第二对象接近第一对象，使得第一对象与第二对象之间的位置关系成为第一位置关系的用户手势；以及校正单元，当确定满足规定的终止条件时，该校正单元基于手势的识别结果来校正与显示单元进行的虚拟对象显示有关的用户的眼间参数，其中，第一对象和第二对象中的至少一者是虚拟对象。

Description

信息处理装置、信息处理方法和程序

技术领域

本公开内容涉及信息处理装置、信息处理方法和计算机程序。

背景技术

常规地，已经开发有与增强现实(AR)有关的各种技术。此外，已经开发有使得用户能够感知叠加在真实空间的图像上的虚拟图像的各种光学装置(例如，头戴式显示器(HMD))。

例如，以下专利文献1公开了戴有HMD的用户在观察显示在左右显示单元上的信号图案的同时通过操作瞳间距调整机构来调整其瞳间距。

引用列表

专利文献

专利文献1：日本专利申请特开第2012-138654号

发明内容

技术问题

期望能够对与虚拟对象显示有关的用户眼间参数的值进行校正。然而，如果假设在这种情境下应用专利文献1中公开的技术，在使用专利文献1所公开的技术的情况下用户的工作负荷较大。

因此，本公开内容提供了新颖且经修改的信息处理装置、信息处理方法和计算机程序，其使得能够通过较容易的操作来校正与虚拟对象显示有关的用户眼间参数的值。

问题的解决方案

根据本公开内容，提供了一种信息处理装置，该信息处理装置包括：识别单元，其基于与用户的视点位置对应的传感器单元的感测结果来识别用户的手势，该手势使第二对象移动靠近第一对象以使得第一对象与第二对象之间的位置关系成为第一位置关系；以及校正单元，在确定满足预定结束条件的情况下，该校正单元基于对手势的识别结果来校正与显示单元上的虚拟对象显示有关的用户的眼间参数，其中，第一对象和第二对象中的至少一者是虚拟对象。

此外，根据本公开内容，提供了一种信息处理方法，包括：基于与用户的视点位置对应的传感器单元的感测结果来识别用户的手势，该手势使第二对象移动靠近第一对象以使得第一对象与第二对象之间的位置关系成为第一位置关系；以及在确定满足预定结束条件的情况下，由处理器基于对手势的识别结果来校正与显示单元上的虚拟对象显示有关的用户的眼间参数，其中，第一对象和第二对象中的至少一者是虚拟对象。

此外，根据本公开内容，提供了一种计算机程序，该计算机程序使计算机用作：识别单元，其基于与用户的视点位置对应的传感器单元的感测结果来识别用户的手势，该手势使第二对象移动靠近第一对象以使得第一对象与第二对象之间的位置关系成为第一位置关系；以及校正单元，在确定满足预定结束条件的情况下，该校正单元基于对手势的识别结果来校正与显示单元上的虚拟对象显示有关的用户的眼间参数，其中，第一对象和第二对象中的至少一者是虚拟对象。

本发明的有益效果

根据如上所述的本公开内容，能够通过较容易的操作来校正与虚拟对象显示有关的用户眼间参数的值。注意，如此描述的效果不一定是限制性的，而可以是本公开内容中描述的任何效果。

附图说明

图1是示出根据本公开内容的实施方式的信息处理系统的示例性配置的说明图。

图2是示出根据本实施方式的眼部佩戴设备10的示例性功能配置的框图。

图3是示出示例性眼间参数校正操作的图。

图4是示出供进行眼间参数值校正的第一对象与第二对象之间的示例性位置关系的图。

图5是示出供进行眼间参数值校正的第一对象与第二对象之间的另一示例性位置关系的图。

图6是示出供进行眼间参数值校正的第一对象与第二对象之间的另一示例性位置关系的图。

图7是示出供进行眼间参数值校正的第一对象与第二对象之间的另一示例性位置关系的图。

图8A是示出根据本实施方式的参考标记和操作标记的示例性布置的图。

图8B是示出使虚拟对象以叠加方式显示在参考标记上的示例的图。

图8C是示出为了校正眼间参数的值由用户相对于与参考标记对应的虚拟对象进行的对操作标记的示例性操作的图。

图8D是用于描述眼间参数校正方法的图。

图9A是示出根据本公开内容的示例性执行的在校正模式下显示的示例性画面的图。

图9B是示出根据示例性执行的在校正模式下显示的另一示例性画面的图。

图9C是示出根据示例性执行的在校正模式下显示的另一示例性画面的图。

图9D是示出根据示例性执行的在校正模式下显示的另一示例性画面的图。

图9E是示出根据示例性执行的在校正模式下显示的另一示例性画面的图。

图9F是示出根据示例性执行的在校正模式下显示的另一示例性画面的图。

图9G是示出根据示例性执行的在校正模式下显示的另一示例性画面的图。

图9H是示出根据示例性执行的在校正模式下显示的另一示例性画面的图。

图9I是示出根据示例性执行的在校正模式下显示的另一示例性画面的图。

图10是示出根据本实施方式的处理的示例性过程的图。

图11A是示出根据本实施方式的示例性应用的眼间参数校正操作的一部分的图。

图11B是示出根据本实施方式的示例性应用的眼间参数校正操作的另一部分的图。

图12是示出根据本实施方式的眼部佩戴设备10的示例性硬件配置的图。

具体实施方式

以下将参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，彼此具有基本相同的功能配置的部件由相同的附图标记表示，并且省略其重复描述。

此外，在本说明书和附图中，可以用接有不同字母的同一附图标记来表示彼此具有基本相同的功能配置的多个部件以将这些部件彼此区分开。例如，根据需要将彼此具有基本相同的功能配置的多个部件例如眼部佩戴设备10a与眼部佩戴设备10b区分开。然而，在不需要区分彼此的情况下，彼此具有基本相同的功能配置的多个部件仅由同一附图标记来表示。例如，在不需要区分彼此时，眼部佩戴设备10a和眼部佩戴设备10b被简单地指代为眼部佩戴设备10。

根据下述内容顺序进行“具体实施方式”的描述。

1.信息处理系统的配置

2.实施方式的详细描述

3.示例性应用

4.硬件配置

5.修改例

<<1.信息处理系统的配置>>

以下首先参照图1描述根据本公开内容的实施方式的信息处理系统的示例性配置。如图1所示，根据本实施方式的信息处理系统包括眼部佩戴设备10、服务器20和通信网络22。

<1-1.眼部佩戴设备10>

眼部佩戴设备10是根据本公开内容的示例性信息处理装置。眼部佩戴设备10能够控制各种内容的输出。内容可以包括虚拟对象等的图像(静止图像或运动图像)和/或诸如音乐和语音的声音。虚拟对象可以是2D对象或3D对象。注意，眼部佩戴设备10可以接收来自外部装置(例如稍后要描述的服务器20)的预定内容或者可以将预定内容预先存储在眼部佩戴设备10中。

如图1所示，眼部佩戴设备10可以是头戴式装置。例如，眼部佩戴设备10可以是眼镜型(glass)或护目镜型可穿戴装置(例如，AR眼镜或HMD)。

{1-1-1.显示单元124}

如图1所示，眼部佩戴设备10可以包括右显示单元124a和左显示单元124b(下文中在一些情况下统称为显示单元124)。显示单元124可以被配置为透射型显示装置。在这种情况下，右显示单元124a可以将视频投影到眼部佩戴设备10中包括的右眼透镜(或护目镜透镜)的作为投影表面的至少一部分区域上。此外，左显示单元124b可以将视频投影到眼部佩戴设备10中包括的左眼透镜(或护目镜透镜)的作为投影表面的至少一部分区域上。

替选地，显示单元124可以被配置为非透射型显示装置。例如，显示单元124可以包括液晶显示器(LCD)或有机发光二极管(OLED)。此外，眼部佩戴设备10可以包括摄像装置。在这种情况下，由摄像装置捕获的用户前方的视频可以依次显示在显示单元124上。因此，用户可以通过显示单元124上显示的视频看到该用户前方的风景。

<1-2.服务器20>

服务器20可以是被配置成存储至少一个内容(例如，虚拟对象)的装置。例如，对于每个内容，服务器20彼此关联地存储该内容以及与该内容相关联的真实空间中的位置信息。

在已经从另一装置例如眼部佩戴设备10接收到获取内容的请求时，服务器20可以将与该获取请求对应的内容发送至所述另一装置。

<1-3.通信网络22>

通信网络22是从与通信网络22连接的装置发送的信息的有线或无线传输路径。例如，通信网络22可以包括公用网络例如电话网络、因特网和卫星通信网络、以及包括以太网(Ethernet，注册商标)的各种局域网(LAN)和广域网(WAN)。此外，通信网络22可以包括专用网络，例如互联网协议虚拟专用网络(IP-VPN)。

<1-4.问题>

以上描述了根据本实施方式的信息处理系统的配置。当不适当的值被设置为眼间参数值的情况下，在显示虚拟对象时，在与开发者预期的显示位置不同的显示位置处向用户呈现虚拟对象。因此，期望在这种情况下能够适当地校正眼间参数值。然而，利用现有技术，调整眼间参数值的准确度低，或者用户对眼间参数值进行调整的负担大。

因此，鉴于上述情况创造了根据本实施方式的眼部佩戴设备10。眼部佩戴设备10基于传感器单元122的感测结果来识别用户的手势，该手势使第二对象移动靠近第一对象以使得第一对象与第二对象之间的位置关系成为预定位置关系，并且然后，在确定满足预定结束条件的情况下，眼部佩戴设备10基于手势的识别结果来校正与显示单元124上的虚拟对象显示有关的眼间参数。因此，用户能够适当且容易地校正与虚拟对象显示有关的眼间参数的值。

第一对象可以是真实对象或者可以是虚拟对象。第二对象可以是真实对象或者可以是虚拟对象。例如，第一对象和第二对象中的至少一者可以是虚拟对象。在下文中，依次详细描述本实施方式的内容。

<<2.实施方式的详细描述>>

<2-1.配置>

以下描述根据本实施方式的眼部佩戴设备10-1的功能配置。图2是示出眼部佩戴设备10的示例性功能配置的框图。如图2所示，眼部佩戴设备10包括控制单元100、通信单元120、传感器单元122、显示单元124、输入单元126以及存储单元128。

{2-1-1.传感器单元122}

传感器单元122可以包括例如向外摄像装置(图像传感器)、向内摄像装置、深度传感器(例如，采用飞行时间方案的传感器、采用结构光方案的传感器、或者立体摄像装置)、麦克风、加速度传感器、陀螺仪、方位传感器、位置测量单元和/或生命体传感器。

在用户佩戴有眼部佩戴设备10时，向外摄像装置可以捕获该用户前方的视频。向内摄像装置可以捕获用户眼睛的图像。因此，可以感测用户视线方向。

位置测量单元可以包括接收器，该接收器被配置成从全球定位系统(GPS)、全球导航卫星系统(GLONASS)等的定位卫星接收定位信号。注意，位置测量单元可以从一种卫星接收定位信号或者可以从多种卫星接收定位信号，并且可以通过组合接收到的信号来实现对当前位置的定位。

此外，传感器单元122可以通过使用诸如即时定位与地图构建(SLAM)的技术来估计眼部佩戴设备10的位置(位置信息和高度信息)。例如，传感器单元122首先基于由(传感器单元122的)向外摄像装置捕获的图像、深度传感器的感测结果等来识别被定位在眼部佩戴设备10周围的特定对象，并且感测到该对象的距离。随后，传感器单元122从例如预定装置获取对象的位置信息，并且然后基于所获取的位置信息和对于到对象的距离的感测结果来估计眼部佩戴设备10的位置。替选地，传感器单元122可以通过将位置估计的结果与由位置测量单元进行的上述定位的结果进行组合来感测眼部佩戴设备10的位置信息。

此外，传感器单元122可以例如基于陀螺仪的感测结果和加速度传感器的感测结果的组合来感测指示眼部佩戴设备10指向的方向的方向信息。

{2-1-2.控制单元100}

控制单元100可以包括处理电路，例如稍后要描述的中央处理单元(CPU)150或图形处理单元(GPU)。控制单元100可以共同地控制眼部佩戴设备10。此外，如图2所示，控制单元100包括识别单元102、位置信息获取单元104、模式改变单元106、校正单元108和显示控制单元110。

{2-1-3.识别单元102}

识别单元102基于传感器单元122的感测结果来执行各种识别处理。例如，识别单元102基于传感器单元122的感测结果来识别用户的手势，该手势使第二对象移动靠近第一对象以使得第一对象与第二对象之间的位置关系成为预定位置关系(下文中也称为“校准手势”)。尽管稍后会详细描述，但是手势可以是以下手势：例如如图3所示那样将与操作标记32相关联地显示的虚拟对象42移动靠近与参考标记30(在图3所示的示例中为桌子30)相关联地显示的第一虚拟对象40，以使得虚拟对象42被放置在第一虚拟对象40上。替选地，手势可以是移动操作标记32使得与操作标记32相关联地显示的虚拟对象42被放置在参考标记30上的手势。注意，参考标记是根据本公开内容的示例性第一标记。操作标记是根据本公开内容的示例性第二标记。

第一对象和第二对象可以是三维对象。此外，第二对象的形状可以是其旋转和方向被唯一确定的非对称形状(例如，动物或人物的形状)，例如像图6所示的对象40。因此，用户可以唯一地调整第二对象的取向和位置。

注意，在第一对象是如图3所示的虚拟对象时，可以在稍后要描述的显示控制单元110的控制下将第一对象与对应该第一对象的参考标记相关联地显示在显示单元124上。在第二对象是虚拟对象时，可以在显示控制单元110的控制下将第二对象与对应该第二对象的操作标记相关联地显示在显示单元124上。

(2-1-3-1.预定位置关系的具体示例)

下面描述上述预定位置关系的具体示例。例如，预定位置关系可以是基本上第一对象的全体和基本上第二对象的全体彼此交叠的位置关系。

替选地，预定位置关系可以是例如图4和图5所示的第一对象与第二对象彼此邻接的位置关系。例如，第一对象可以包括具有凹凸的第一面，并且第二对象可以包括具有与第一面的凹凸对应的凹凸的第二面。在这种情况下，预定位置关系可以是以下位置关系：第一对象与第二对象彼此邻接，使得第一面的凹凸的至少一部分与第二面的凹凸的至少一部分彼此配合。例如，如图4所示，第一对象40的形状和第二对象42的形状可以彼此不同，并且第一对象40的一部分的形状和第二对象42的一部分的形状可以具有凹凸对应关系。替选地，如图5所示，第一对象和第二对象可以均为拼图块的形状。在图4和图5所示的示例中，预定位置关系可以是第一对象的表面的凹凸与第二对象的表面的凹凸相配合的位置关系。

替选地，预定位置关系例如可以是如图6所示第一对象和第二对象中的任一者具有开口部并且第一对象和第二对象中的另一者被包围在该开口部中的位置关系。在图6所示的示例中，第一对象40具有开口部，该开口部的形状与第二对象42的形状对应，并且第二对象42可以被包围在该开口部中。在这种情况下，预定位置关系可以是当第二对象42被设置成使得第二对象42被包围在开口部中时的位置关系。

替选地，第一对象可以具有包括第一图像的第一面，并且第二对象可以具有包括与第一图像对应的第二图像的第二面。在这种情况下，预定位置关系可以是以下位置关系：第一对象和第二对象彼此邻接同时第一图像与第二图像之间的位置关系成为预定特定位置关系。换言之，预定位置关系可以是其中第一对象和第二对象被布置成使得第一图像和第二图像形成特定图像图案的位置关系。在图7所示的示例中，在第一对象的表面上绘制(或显示)有右眼的图像，并且在第二对象的表面上绘制(或显示)有左眼的图像。在这种情况下，预定位置关系可以是第一对象和第二对象彼此邻接使得右眼的图像和左眼的图像并排布置的位置关系。

{2-1-4.位置信息获取单元104}

位置信息获取单元104是根据本公开内容的示例性获取单元。当检测到参考标记时，位置信息获取单元104通过例如读出处理或接收来获取与参考标记对应的位置信息。例如，位置信息获取单元104首先基于对参考标记的感测结果(例如，捕获图像)来指定参考标记的标识信息，并且然后使通信单元120向服务器20发送针对与所指定的标识信息对应的位置信息的查询。然后，位置信息获取单元104通过从服务器20进行接收来获取与参考标记对应的位置信息。

替选地，稍后要描述的存储单元128可以彼此关联地存储各个参考标记的标识信息和该参考标记的位置信息。在这种情况下，位置信息获取单元104可以首先基于对参考标记的感测结果来指定参考标记的标识信息。然后，可以通过从存储单元128提取与所指定的标识信息对应的位置信息来获取与参考标记对应的位置信息。

参考标记的标识信息可以是记录在参考标记中的条形码，或者可以是印刷或显示在参考标记上的自然图像。

(2-1-4-1.修改例)

位置信息获取单元104进行位置信息获取的方法不限于上述示例。例如，可以在真实空间中的参考标记处或与该参考标记有关的位置处设置发光二极管(LED)。在这种情况下，位置信息获取单元104可以基于LED的闪烁模式来获取与参考标记对应的位置信息。

替选地，可以通过使用反射红外光的涂料将预定的标识信息记录在参考标记中。在这种情况下，当眼部佩戴设备10向参考标记发射红外光时，传感器单元122可以感测到被参考标记反射的红外光，并且然后可以向外部装置(例如，服务器20)查询与感测到的标识信息对应的位置信息，从而获取与参考标记对应的位置信息。

替选地，眼部佩戴设备10可以基于传感器单元122(例如，摄像装置或深度传感器)的感测结果来执行对参考标记的三维对象识别，并且然后可以向外部装置(例如，服务器20)查询与识别结果对应的位置信息，从而获取与参考标记对应的位置信息。

{2-1-5.模式改变单元106}

模式改变单元106基于预定条件来改变当前模式(执行模式)。

例如，可以预先准备两种模式，即校正模式和正常模式。在这种情况下，模式改变单元106基于预定条件在正常模式与校正模式之间改变当前模式。校正模式可以是由校正单元108执行上述眼间参数校正处理的模式。

(2-1-5-1.开始条件)

例如，当确定满足预定开始条件时，模式改变单元106将当前模式设置为校正模式。预定开始条件可以是基于由稍后要描述的传感器单元122进行的感测(例如，由摄像装置进行的图像捕获)而检测到参考标记。替选地，预定开始条件可以是检测到用户已经接近距参考标记的预定距离内。替选地，预定开始条件可以是检测到用户已经移动到参考标记所在的预定空间(例如，房间)中。替选地，预定开始条件可以是执行了用户携带的预定电子设备(例如，IC卡或智能电话)与参考标记之间的预定无线通信并且建立了认证。预定电子设备可以是操作标记。

(2-1-5-2.结束条件)

当确定满足预定结束条件时，模式改变单元106将当前模式从校正模式改变为正常模式。因此，此后可以使用在校正模式下经稍后要描述的校正单元108校正的眼间参数值。

预定结束条件可以是检测到手与操作标记分离。替选地，预定结束条件可以是例如从校准开始起经过了预定时间(超时)。替选地，预定结束条件可以是输入了专用语音命令。

替选地，预定结束条件可以是确定校准手势已结束。例如，当检测到手的形状已经改变为与校准手势的形状不同的形状时，模式改变单元106可以确定校准手势已经结束。

替选地，预定结束条件可以是在校正模式下检测到用于结束校正模式(或校准)的预定手势(例如，捏合)。替选地，预定结束条件可以是在校正模式下检测到用于结束校正模式(或校准)的预定头部姿势(例如，点头)。替选地，预定结束条件可以是检测到参考标记与用户之间的距离已经变得等于或大于预定距离。

替选地，在操作标记是存储预定信息的电子设备(例如，IC卡)的情况下，预定结束条件可以是执行了操作标记与参考标记或该参考标记所关联的电子设备之间的预定无线通信并且建立了预定认证。替选地，预定结束条件可以是执行了用户携带的预定电子设备(例如，智能电话或平板终端)与参考标记或该参考标记所关联的电子设备之间的预定无线通信。

{2-1-6.校正单元108}

校正单元108基于识别单元102的识别结果来校正与显示单元124上的虚拟对象显示有关的用户的眼间参数。例如，当在校正模式下确定满足上述预定结束条件时，校正单元108基于对校准手势的识别结果来校正眼间参数。例如，当满足上述预定结束条件时，校正单元108基于对第一对象与第二对象之间的距离的测量结果来校正眼间参数。

下面参照图8A至图8D更详细地描述上述功能。在图8A所示的示例中，参考标记30和操作标记32被设置在桌子4上。

假设基于由眼部佩戴设备10的传感器单元122中包括的摄像装置进行的图像捕获已检测到参考标记30。在这种情况下，如图8B所示，通过使用当前的眼间参数值(例如，初始值)，稍后要描述的显示控制单元110使显示单元124在参考标记30周围(例如，在参考标记30上)显示与参考标记30对应的虚拟对象40(在图8B所示的示例中为立方体40)。注意，通过使用借助传感器单元122的感测结果实时估计的眼部佩戴设备10的位置信息，显示控制单元110可以控制虚拟对象40的显示，使得虚拟对象40的叠加位置不会偏离参考标记30。因此，用户可以在视觉上识别参考标记30和虚拟对象40，使得当用户移动时(换言之，当眼部佩戴设备10的位置改变时)，参考标记30与虚拟对象40之间的位置关系也不改变。虚拟对象40是示例性第一对象。

此后，如图8C所示，用户移动操作标记32(换言之，执行校准手势)，使得操作标记32被放置在立方体40上。注意，虚拟对象42可以以叠加方式显示在操作标记32上，并且在这种情况下，用户执行诸如移动操作标记32使得虚拟对象42被放置在立方体40上的操作。

此后，校正单元108基于由位置信息获取单元104获取的参考标记30的位置信息、用户的视点位置与由传感器单元122中包括的深度传感器感测的参考标记30之间的距离、以及虚拟对象40与操作标记32之间的距离(差异量)来校正与虚拟对象显示有关的用户眼间参数的值。注意，在虚拟对象42以叠加方式显示在操作标记32上的情况下，校正单元108可以通过使用虚拟对象42与操作标记32之间的距离代替虚拟对象40与操作标记32之间的距离来校正眼间参数值。

例如，用户的视点位置与参考标记30之间的距离的感测结果(＝d)、虚拟对象40与操作标记32之间的距离(＝DIFF)、尚待校正的眼间参数值(＝defaultIPD)、以及经校正单元108校正的眼间参数值(＝userIPD)之间的关系由以下表达式(1)给出。注意，例如，可以使用人类两眼间距离的平均值作为defaultIPD的初始值。两眼间距离的平均值可以通过使用可公开获得的典型人体模型信息等来确定。

default_IPD：d＝User_IPD：(d+DIFF) (1)

具体地，校正单元108通过使用例如以下表达式(2)来计算经校正的眼间参数值。

{2-1-7.显示控制单元110}

显示控制单元110控制各种信息在显示单元124上的显示。例如，在第一对象是虚拟对象的情况下，显示控制单元110使显示单元124将第一对象与参考标记相关联地显示。在第二对象是虚拟对象的情况下，显示控制单元110使显示单元124将第二对象与操作标记相关联地显示。

例如，在当前模式从正常模式改变为校正模式时，显示控制单元110使显示单元124将第一对象与参考标记相关联地显示，并且使显示单元124将第二对象与操作标记相关联地显示。

{2-1-8.通信单元120}

通信单元120可以包括稍后要描述的通信装置166。例如，通信单元120通过通信网络22向另一装置发送信息和从另一装置接收信息。例如，通信单元120可以从服务器20接收至少一个虚拟对象。此外，通信单元120可以根据控制单元100的控制向服务器20发送获取至少一个虚拟对象的请求。

{2-1-9.输入单元126}

输入单元126可以包括稍后要描述的输入装置160。例如，输入单元126包括触摸面板、按钮、开关、操纵杆、麦克风(语音输入单元)等。输入单元126接收来自用户的输入。

{2-1-10.存储单元128}

存储单元128可以包括稍后要描述的存储装置164。存储单元128存储各种数据(例如，至少一个虚拟对象和眼间参数的初始值)和各种软件应用。

<2-2.示例性执行>

以上描述了本实施方式的配置。下面参照图9A至图9I描述本实施方式的示例性执行。在本示例性执行中，设置与左眼、右眼和双眼中每一项有关的眼间参数值以校正最终的眼间参数值。

例如，当确定满足上述预定开始条件时，眼部佩戴设备10的模式改变单元106将当前模式设置为校正模式。然后，显示控制单元110在显示器(显示单元124)等的显示框上显示例如图9A所示的框等的画面，以防止出现眼部佩戴设备10的佩戴错误。

此后，调整眼部佩戴设备10的佩戴位置，然后用户例如按下输入单元126中包括的“设定”键作为确定操作。注意，除了按下“设定”键，确定操作可以是例如超时、输入预定语音命令、输入预定手势或者输入预定头部姿势(例如点头)。

此后，显示控制单元110使显示单元124显示如图9B所示的画面。然后，用户遵照画面上显示的指令信息看向设置在例如桌子上的参考标记。

此后，例如，控制单元100基于传感器单元122的感测结果来检测参考标记。在这种情况下，显示控制单元110使显示单元124显示如图9C所示的指示开始对与左眼有关的眼间参数进行校准的画面。

此后，显示控制单元110使显示单元124显示如图9D所示的指示开始对眼间参数进行校准的画面。然后，显示控制单元110使显示单元124显示与参考标记相关联的第一对象(其是虚拟对象)。

此后，用户遵照画面上显示的指令信息在视觉上检查显示单元124上显示的第一对象，然后例如按下输入单元126中包括的“设定”键。

此后，当确认“设定”键被按下，显示控制单元110使显示单元124显示如图9E所示的提示用户执行校准手势的画面。

此后，用户将操作标记握在手中，然后移动操作标记，使得以叠加方式显示在操作标记上的第二对象被放置在第一对象上。

此后，校正单元108确定是否满足预定设定条件。预定设定条件可以与上述预定结束条件中的任何一个相同。

然后，当确定满足预定设定条件时，显示控制单元110使显示单元124显示如图9F所示的等待画面。同时，校正单元108基于参考标记的位置信息、传感器单元122对用户的视点位置与参考标记之间的距离的感测结果、以及第一对象与第二对象之间的距离(差异量)来设定(校正)与左眼有关的眼间参数值。

此后，显示控制单元110使显示单元124显示如图9G所示的用于确认校准手势(用于校正与左眼有关的眼间参数值的校准手势)结束的确认画面。当用户期望再次执行校准手势时，控制单元100使显示单元124再次显示如图9E所示的画面并且再次执行上述对(与左眼有关的)眼间参数的校准。

当用户不期望再次执行校准手势时，用户例如根据如图9G所示的确认画面按下输入单元126中包括的“设定”键。因此，校正单元108固定该经校正的与左眼有关的眼间参数值。

此后，显示控制单元110使显示单元124显示如图9H所示的指示开始对与右眼有关的眼间参数进行校准的画面。此后，控制单元100使显示单元124再次依次显示如图9D至图9G所示的画面，从而设定(校正)与右眼有关的眼间参数值。

此后，显示控制单元110使显示单元124显示如图9I所示的指示开始对与双眼有关的眼间参数进行校准的画面。此后，控制单元100使显示单元124再次依次显示如图9D至图9G所示的画面，从而设定(校正)与双眼有关的眼间参数值。

此后，校正单元108通过使用针对左眼设定的眼间参数值(LeftEye)、针对右眼设定的眼间参数值(RightEye)、针对双眼设定的眼间参数值(BothEye)、以及以下表达式(3)来校正最终的眼间参数值。

User_IPD＝α·BothEye+β·RightEye+γ·LeftEye (3)

在该表达式中，系数(α、β和γ)是0到1的任意值，并且可以将这些系数的值设定成使得系数的总和等于1.0。

<2-3.处理过程>

以上描述了本实施方式的示例性执行。下面参照图10描述根据本实施方式的处理过程。图10是示出根据本实施方式的示例性处理过程的流程图。注意，在该示例中，第一对象和第二对象是虚拟对象。

如图10所示，首先，眼部佩戴设备10的控制单元100基于例如用户对输入单元126的输入而启动预定应用(S101)。

随后，识别单元102基于传感器单元122的感测结果(例如，捕获的图像)来识别位于眼部佩戴设备10周围的参考标记(S103)。

随后，显示控制单元110使显示单元124在参考标记周围显示与在S103处识别的参考标记对应的第一虚拟对象(S105)。

此后，用户将与参考标记对应的操作标记握在手中，并且将操作标记移动到眼睛的前方。然后，识别单元102基于传感器单元122的感测结果(例如，捕获的图像)来识别操作标记(S107)。

随后，显示控制单元110使显示单元124在操作标记周围显示与在S107处识别的操作标记对应的第二虚拟对象(S109)。

此后，显示控制单元110使显示单元124显示例如如图9A至图9E所示的提示用户执行校准手势的画面。此后，用户根据该画面执行校准手势。例如，用户移动操作标记以移动第二虚拟对象，使得第二虚拟对象与第一虚拟对象交叠。

然后，识别单元102基于传感器单元122的感测结果(例如，捕获的图像)来识别校准手势(S111)。

此后，校正单元108等待直到满足上述预定结束条件(在S113处为否)。

当满足预定结束条件时(在S113处为是)，校正单元108基于根据传感器单元122的感测得到的对第一虚拟对象与第二虚拟对象之间的距离的测量结果以及当前的眼间参数值来校正眼间参数值(S115)。

<2-4.效果>

如上所述，根据本实施方式的眼部佩戴设备10基于传感器单元122的感测结果来识别用户的手势，该手势使第二对象移动靠近第一对象以使得第二对象与第二对象之间的位置关系成为预定位置关系，然后当确定满足预定结束条件时，基于对所述手势的识别结果来校正与显示单元124上的虚拟对象显示有关的眼间参数。因此，用户能够适当且容易地校正与虚拟对象显示有关的眼间参数值。

例如，根据本实施方式，与现有技术相比，用户的负担较小并且能够高度准确地校正眼间参数值。例如，因为可以将其绝对位置可以被获取的二维标记等用作参考标记，因此可以高度准确地校正眼间参数值。此外，不需要专用的测量仪器(例如，眼间测量仪器)来校正眼间参数值。

此外，根据本实施方式，由于能够在预定应用启动期间执行校正处理，因此用户几乎不会感觉到过程感或工作感。因此，用户能够舒适地执行校正操作。

<<3.示例性应用>>

本实施方式不限于上述示例。下文描述本实施方式的示例性应用。注意，根据本示例性应用的眼部佩戴设备10中包括的每个部件与图2所示的示例中的部件相同。在下文中，仅描述与上述实施方式不同的内容并且省略对相同内容的描述。

<3-1.模式改变单元106>

{3-1-1.示例性改变1}

根据本示例性应用的模式改变单元106根据用户正在使用的预定内容的进度状态在正常模式与校正模式之间切换当前模式。例如，当在预定内容正在进行并且当前模式是正常模式的情况下基于传感器单元122的感测结果检测到预定真实对象时，模式改变单元106将当前模式从正常模式切换到校正模式。例如，每当在预定内容正在进行并且当前模式是正常模式的情况下检测到预定真实对象，模式改变单元106可以将当前模式从正常模式切换到校正模式。注意，预定真实对象的种类可以针对每个内容来确定。

下面参照图11A和图11B更详细地描述上述功能。例如，预定内容可以是预定游戏应用。在这种情况下，可以在预定游戏应用中预先准备用户将道具设置在真实空间的预定区域中的场景。然后，当识别到将预定卡(或叠加在预定卡上的虚拟对象)放置到叠加在道具上的虚拟对象上的用户操作时，校正单元108可以基于对该操作的识别结果来校正上述眼间参数。因此，能够在确保游戏特性的同时适当地调整眼间参数。

例如，首先，用户将诸如图11A所示的陷阱盒的道具30放置在真实空间中显示的框中。然后，如图11B所示，用户执行将预定卡32放置在由此设置的道具30的表面(例如，顶表面)上的操作。该操作是示例性校准手势。

当识别到该操作并且满足上述结束条件时，校正单元108可以基于对道具30的表面与预定卡32之间的距离的感测结果来校正上述眼间参数值。

(3-1-1-1.修改例)

作为修改例，当在图11A所示的示例中将道具30设置在框中时，显示控制单元110可以例如在道具30的顶表面上显示虚拟对象(例如，立方体)。在这种情况下，用户可以执行将预定卡32移动靠近虚拟对象以使得该虚拟对象与预定卡32(或以叠加方式显示在预定卡32上的另一虚拟对象)彼此交叠的手势。然后，当识别出该手势并且满足上述结束条件时，眼部佩戴设备10的校正单元108可以基于对虚拟对象与预定卡32之间的距离的测量结果来校正上述眼间参数值。

{3-1-2.示例性改变2}

替选地，预定内容可以包括用户在真实空间中的预定区域中设置预定对象的场景(例如，定位场景)，并且眼部佩戴设备10可以确定预定对象在场景中的设置是否成功。预定对象可以是真实对象(例如，盒或道具)或可以是虚拟对象。

然后，当检测到在场景中用户已经连续预定次数未能将预定对象设置在预定区域中时，模式改变单元106可以将当前模式从正常模式切换到校正模式。例如，在这种情况下，眼部佩戴设备10使显示单元124显示如图9A至图9I所示的提示眼间参数值校正的画面，从而执行上述眼间参数值校正处理。

附加地或替选地，例如，在场景等期间，校正单元108可以基于用户对预定输入装置(例如，按钮或脚踏板)进行的操作来适当地校正当前设定的眼间参数值。

<3-2.效果>

如上所述，根据本示例性应用，可以在预定内容正在进行时校正眼间参数值。例如，在游戏的世界视图中提示用户执行校准操作(例如，手势)。因此，能够在不给用户引起过程感的情况下适当地校正眼间参数值。

<<4.硬件配置>>

下面参照图12描述根据本实施方式的眼部佩戴设备10的示例性硬件配置。如图12所示，眼部佩戴设备10包括CPU 150、只读存储器(ROM)152、随机存取存储器(RAM)154、总线156、接口158、输入装置160、输出装置162、存储装置164和通信装置166。

CPU 150用作算术处理装置和控制装置，并且根据各种计算机程序来控制眼部佩戴设备10中的整体操作。此外，CPU 150实现例如眼部佩戴设备10中的控制单元100的功能。注意，CPU 150包括诸如微处理器的处理器。

ROM 152存储例如由CPU 150使用的计算机程序和控制数据例如计算参数。

RAM 154临时存储例如由CPU 150执行的计算机程序和使用中的数据。

总线156包括CPU总线。总线156将CPU 150、ROM 152和RAM 154相互连接。

接口158将输入装置160、输出装置162、存储装置164和通信装置166连接至总线156。

输入装置160包括供用户使用以输入信息的输入单元，例如触摸面板、按钮、开关、操纵杆或麦克风，以及基于用户的输入生成输入信号并且将输入信号输出至CPU 150的输入控制电路。输入装置160可以用作输入单元126。

输出装置162包括诸如LCD或OLED的显示器或者诸如投影仪的显示装置。此外，输出装置162可以包括诸如扬声器的声音输出装置。输出装置162可以用作显示单元124。

存储装置164是用作例如存储单元128的数据存储装置。存储装置164包括例如存储介质、被配置成在存储介质中记录数据的记录装置、被配置成从存储介质读取数据的读出装置或者被配置成删除记录在存储介质中的数据的删除装置。

通信装置166是通信接口，该通信接口包括用于连接至通信网络22等的通信装置(例如，网卡)。通信装置166可以是无线LAN兼容通信装置、长期演进(LTE)兼容通信装置、或被配置成执行有线通信的有线通信装置。通信装置166用作通信单元120。

<<5.修改>>

以上已经参照附图详细描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于这样的示例。在权利要求书中记载的技术构思的范围内，具备本公开内容的技术领域中的典型知识的人员可以想到各种改变和修改，并且应当理解，这些改变和修改属于本公开内容的技术范围。

<5-1.修改例1>

例如，根据本公开内容的信息处理装置不限于眼部佩戴设备10，而可以是包括上述控制单元100中包括的部件的另一种装置。例如，这些部件可以被包括在代替眼部佩戴设备10的服务器20中。在这种情况下，根据本公开内容的信息处理装置可以是服务器20。

在该修改例中，例如，当执行上述校准手势时，服务器20可以首先基于从眼部佩戴设备10接收的传感器单元122的感测结果来识别校准手势。然后，当确定满足预定结束条件时，服务器20可以基于对手势的识别结果来校正与眼部佩戴设备10的显示单元124上的虚拟对象显示有关的眼间参数。

<5-2.修改例2>

替选地，根据本公开内容的信息处理装置可以是例如通用个人计算机(PC)、平板终端、游戏机、蜂窝电话(例如，智能电话)、便携式音乐播放器、扬声器、投影仪、可穿戴装置(例如，头戴式显示器(HMD)或智能手表)、车载装置(例如，汽车导航装置)或机器人(例如，人形机器人、自动驾驶车辆或无人机)。

<5-3.修改例3>

实施方式中的每个上述处理过程的步骤不一定需要以所记载的顺序进行。例如，可以适当地以不同顺序进行这些步骤。代替以时间顺序方式进行处理，可以部分地并行或单独进行这些步骤。此外，可以省略所记载的步骤中的一部分，或者可以向这些步骤中添加另外的步骤。

根据上述实施方式，可以提供一种计算机程序，其用于使诸如CPU 150、ROM 152和RAM 154的硬件实现与根据本实施方式的眼部佩戴设备10的部件的功能等效的功能。此外，提供了记录有该计算机程序的存储介质。

本说明书中陈述的效果是说明性或示例性的，而不是限制性的。因此，根据本公开内容的技术实现了对于本领域技术人员而言根据本说明书的描述明显可知的与上述效果一起或代替上述效果的任何其他效果。

注意，如下所述的配置属于本公开内容的技术范围。

(1)

一种信息处理装置，包括：

识别单元，其基于与用户的视点位置对应的传感器单元的感测结果来识别所述用户的手势，所述手势使第二对象移动靠近第一对象以使得所述第一对象与所述第二对象之间的位置关系成为第一位置关系；以及

校正单元，在确定满足预定结束条件的情况下，所述校正单元基于对所述手势的识别结果来校正与显示单元上的虚拟对象显示有关的所述用户的眼间参数，其中，

所述第一对象和所述第二对象中的至少一者是虚拟对象。

(2)

根据(1)所述的信息处理装置，其中，所述第一对象和所述第二对象是三维对象。

(3)

根据(2)所述的信息处理装置，其中，所述第一位置关系是所述第一对象的大致全体与所述第二对象的大致全体彼此交叠的位置关系。

(4)

根据(2)所述的信息处理装置，其中，所述第一位置关系是所述第一对象与所述第二对象彼此邻接的位置关系。

(5)

根据(4)所述的信息处理装置，其中，

所述第一对象包括具有凹凸的第一面，

所述第二对象包括第二面，所述第二面具有与所述第一面的凹凸对应的凹凸，并且

所述第一位置关系是下述位置关系：所述第一对象与所述第二对象彼此邻接，使得所述第一面的凹凸的至少一部分与所述第二面的凹凸的至少一部分彼此配合。

(6)

根据(4)所述的信息处理装置，其中，所述第一位置关系是下述位置关系：所述第一对象和所述第二对象中的任一者被包围在所述第一对象和所述第二对象中另一者的开口部中。

(7)

根据(4)所述的信息处理装置，其中，

所述第一对象具有第一面，所述第一面包括第一图像，

所述第二对象具有第二面，所述第二面包括与所述第一图像对应的第二图像，并且

所述第一位置关系是下述位置关系：所述第一对象与所述第二对象彼此邻接，同时所述第一图像与所述第二图像之间的位置关系成第二位置关系。

(8)

根据(2)至(7)中任一项所述的信息处理装置，其中，当确定满足所述预定结束条件时，所述校正单元基于对所述第一对象与所述第二对象之间的距离的测量结果来校正与所述虚拟对象显示有关的所述用户的眼间参数。

(9)

根据(8)所述的信息处理装置，还包括显示控制单元，所述显示控制单元被配置成：

在所述第一对象是虚拟对象的情况下，使所述显示单元将所述第一对象与对应于所述第一对象的第一标记相关联地显示；并且

在所述第二对象是虚拟对象的情况下，使所述显示单元将所述第二对象与对应于所述第二对象的第二标记相关联地显示。

(10)

根据(9)所述的信息处理装置，其中，

所述第一对象是虚拟对象，并且

当确定满足所述预定结束条件时，所述校正单元基于对所述用户的视点位置与所述第一标记之间的距离的感测结果以及对所述第一对象与所述第二对象之间的距离的测量结果来校正与所述虚拟对象显示有关的所述用户的眼间参数。

(11)

根据(9)或(10)所述的信息处理装置，其中，所述第一对象和所述第二对象是虚拟对象。

(12)

根据(9)至(11)中任一项所述的信息处理装置，其中，

所述第一对象是设置在真实空间中的真实对象，

所述第二对象是虚拟对象，并且

所述手势是移动所述第二标记以使所述第二对象移动靠近所述第一对象的手势。

(13)

根据(9)至(12)中任一项所述的信息处理装置，其中，

至少定义有校正模式和不同于所述校正模式的预定模式，

在所述校正模式下，所述识别单元基于所述传感器单元的感测结果来识别所述手势，并且

当在所述校正模式下确定所述手势结束时，所述校正单元校正与所述虚拟对象显示有关的所述用户的眼间参数。

(14)

根据(13)所述的信息处理装置，还包括模式改变单元，所述模式改变单元根据所述用户正在使用的预定内容的进度状态，将当前模式从所述预定模式切换到所述校正模式。

(15)

根据(14)所述的信息处理装置，其中，当在所述预定模式下所述预定内容正在进行的情况下基于所述传感器单元的感测结果检测到预定真实对象时，所述模式改变单元将当前模式从所述预定模式切换到所述校正模式。

(16)

根据(14)所述的信息处理装置，其中，

所述预定内容包括预定虚拟对象被设置在真实空间中的预定区域中的场景，并且

当在预定模式下检测到在所述场景中所述用户多次未能设置所述预定虚拟对象时，所述模式改变单元将当前模式从所述预定模式切换到所述校正模式。

(17)

根据(9)至(16)中任一项所述的信息处理装置，其中，确定满足所述预定结束条件的情况包括确定所述手势结束的情况。

(18)

根据(9)至(17)中任一项所述的信息处理装置，还包括传感器单元，其中，所述信息处理装置是头戴式装置。

(19)

一种信息处理方法，包括：

基于与用户的视点位置对应的传感器单元的感测结果来识别所述用户的手势，所述手势使第二对象移动靠近第一对象以使得所述第一对象与所述第二对象之间的位置关系成为第一位置关系；以及

在确定满足预定结束条件的情况下，由处理器基于对所述手势的识别结果来校正与显示单元上的虚拟对象显示有关的所述用户的眼间参数，其中，

所述第一对象和所述第二对象中的至少一者是虚拟对象。

(20)

一种计算机程序，其被配置成使计算机用作：

所述第一对象和所述第二对象中的至少一者是虚拟对象。

附图标记列表

10 眼部佩戴设备

20 服务器

22 通信网络

30 参考标记

32 操作标记

100 控制单元

102 识别单元

104 位置信息获取单元

106 模式改变单元

108 校正单元

110 显示控制单元

120 通信单元

122 传感器单元

124 显示单元

126 输入单元

128 存储单元

Claims

1.一种信息处理装置，包括：

所述第一对象和所述第二对象中的至少一者是虚拟对象。

2.根据权利要求1所述的信息处理装置，其中，所述第一对象和所述第二对象是三维对象。

3.根据权利要求2所述的信息处理装置，其中，所述第一位置关系是所述第一对象的大致全体与所述第二对象的大致全体彼此交叠的位置关系。

4.根据权利要求2所述的信息处理装置，其中，所述第一位置关系是所述第一对象与所述第二对象彼此邻接的位置关系。

5.根据权利要求4所述的信息处理装置，其中，

所述第一对象包括具有凹凸的第一面，

6.根据权利要求4所述的信息处理装置，其中，所述第一位置关系是下述位置关系：所述第一对象和所述第二对象中的任一者被包围在所述第一对象和所述第二对象中另一者的开口部中。

7.根据权利要求4所述的信息处理装置，其中，

所述第一对象具有第一面，所述第一面包括第一图像，

8.根据权利要求2所述的信息处理装置，其中，当确定满足所述预定结束条件时，所述校正单元基于对所述第一对象与所述第二对象之间的距离的测量结果来校正与所述虚拟对象显示有关的所述用户的眼间参数。

9.根据权利要求8所述的信息处理装置，还包括显示控制单元，所述显示控制单元被配置成：

10.根据权利要求9所述的信息处理装置，其中，

所述第一对象是虚拟对象，并且

11.根据权利要求9所述的信息处理装置，其中，所述第一对象和所述第二对象是虚拟对象。

12.根据权利要求9所述的信息处理装置，其中，

所述第一对象是设置在真实空间中的真实对象，

所述第二对象是虚拟对象，并且

13.根据权利要求9所述的信息处理装置，其中，

至少定义有校正模式和不同于所述校正模式的预定模式，

14.根据权利要求13所述的信息处理装置，还包括模式改变单元，所述模式改变单元根据所述用户正在使用的预定内容的进度状态，将当前模式从所述预定模式切换到所述校正模式。

15.根据权利要求14所述的信息处理装置，其中，当在所述预定模式下所述预定内容正在进行的情况下基于所述传感器单元的感测结果检测到预定真实对象时，所述模式改变单元将当前模式从所述预定模式切换到所述校正模式。

16.根据权利要求14所述的信息处理装置，其中，

17.根据权利要求9所述的信息处理装置，其中，确定满足所述预定结束条件的情况包括确定所述手势结束的情况。

18.根据权利要求9所述的信息处理装置，还包括传感器单元，其中，所述信息处理装置是头戴式装置。

19.一种信息处理方法，包括：

所述第一对象和所述第二对象中的至少一者是虚拟对象。

20.一种计算机程序，其被配置成使计算机用作：

所述第一对象和所述第二对象中的至少一者是虚拟对象。