CN110506249A - 信息处理设备、信息处理方法和记录介质 - Google Patents

信息处理设备、信息处理方法和记录介质 Download PDF

Info

Publication number
CN110506249A
CN110506249A CN201880011754.3A CN201880011754A CN110506249A CN 110506249 A CN110506249 A CN 110506249A CN 201880011754 A CN201880011754 A CN 201880011754A CN 110506249 A CN110506249 A CN 110506249A
Authority
CN
China
Prior art keywords
user
picture
information processing
display device
processing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880011754.3A
Other languages
English (en)
Other versions
CN110506249B (zh
Inventor
野野山阳
沃龙.艾米丽雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110506249A publication Critical patent/CN110506249A/zh
Application granted granted Critical
Publication of CN110506249B publication Critical patent/CN110506249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Abstract

[问题]提出一种系统从而其可以顺畅地控制在虚拟空间中到目标的距离感。[解决方案]提供了一种信息处理设备，包括：识别单元，识别佩戴显示装置的用户的操作；以及输出控制单元，其在允许显示装置显示包括观察目标的拍摄图像的画面的同时基于用户操作的识别目标与参考位置之间的距离控制画面中观察目标的尺寸。

Description

信息处理设备、信息处理方法和记录介质
技术领域
本公开涉及信息处理设备、信息处理方法和记录介质。
背景技术
在最近的技术发展中，鉴于存在提供更丰富的用户体验的趋势，存在在性能上改进硬件或软件的趋势。提供丰富用户体验的技术的示例包括向用户呈现叠加在真实空间上的附加信息的技术(称为增强现实(AR))和向用户提供建造的虚拟空间的技术(称为虚拟现实(VR))。在这些技术中，已经进行了技术开发以从各种方面提供更丰富的用户体验，诸如改善用户的沉浸感和提高虚拟空间中的可用性。
例如，专利文献1公开了改变缩放和虚拟空间中的视点的位置的技术。
引文列表
专利文献
专利文献1：国际公开第2014/162852号
发明内容
本发明要解决的问题
然而，很难说例如在专利文献1中提出的技术足以作为提供丰富的用户体验的技术，因为它没有发展很长时间。例如，类似地，顺畅地控制在虚拟空间中距目标的距离感的技术作为该技术是不够的。
因此，本公开的目的是提出能够在虚拟空间中顺畅地控制距目标的距离感的机制。
解决问题的方案
根据本公开，提供了一种信息处理设备，包括：识别单元，配置为识别佩戴显示装置的用户的操作；以及输出控制单元，配置为在使显示装置显示包括观察目标的拍摄图像的画面的同时基于用户操作的识别目标与标准位置之间的距离控制画面中观察目标的尺寸。
此外，根据本公开，提供了一种由处理器执行的信息处理方法，该信息处理方法包括：识别佩戴显示装置的用户的操作；以及在使显示装置显示包括观察目标的拍摄图像的画面的同时，基于用户操作的识别目标与标准位置之间的距离控制画面中的观察目标的尺寸。
此外，根据本公开，提供了一种存储程序的记录介质，用于使计算机用作：识别单元，配置为识别佩戴显示装置的用户的操作；以及输出控制单元，配置为在使显示装置显示包括观察目标的拍摄图像的画面的同时基于用户操作的识别目标与标准位置之间的距离来控制画面中的观察目标的尺寸。
根据本公开，在显示装置中显示包括观察目标的实时拍摄图像的画面。然后，基于佩戴显示装置的用户操作的识别目标与标准位置之间的距离来控制画面中的观察目标的尺寸。用户操作识别目标并改变距标准位置的距离，从而能容易地改变画面中观察目标的尺寸。以这种方式，实现了在虚拟空间中距目标的距离感的顺畅控制。
本发明的效果
根据如上所述的本公开，提供了一种在虚拟空间中能够顺畅地控制距目标的距离感的机制。注意，效果不一定是限制性的，因此除了所述效果之外或者代替所述效果，可以提供本说明书中描述的任何效果或者能从本说明书中理解的其它效果。
附图说明
图1是根据本实施方式的系统的整体配置的图示。
图2是根据本实施方式的显示装置的示例性外部配置的图示。
图3是根据本实施方式的显示装置的示例性逻辑配置的框图。
图4是根据本实施方式的输出装置的示例性逻辑配置的框图。
图5是根据本实施方式的观察装置的示例性外部配置的图示。
图6是根据本实施方式的观察装置的示例性逻辑配置的框图。
图7是观察装置的示例性安装的图示，每个观察装置以侧角观察观察目标。
图8是观察装置的示例性安装的图示，每个观察装置以侧角观察观察目标。
图9是观察装置的示例性安装的图示，每个观察装置以底角观察观察目标。
图10是在根据本实施方式的系统中执行的用户体验提供处理的示例性流程的图示。
图11是根据本实施方式的示例性初始画面的图示。
图12是根据本实施方式的相机地图模式中的示例性选择画面的图示。
图13是根据本实施方式的相机地图模式中的示例性选择画面的图示。
图14是根据本实施方式的列表显示模式中的示例性选择画面的图示。
图15是根据本实施方式的列表显示模式中的示例性选择画面的图示。
图16是根据本实施方式的示例性观察画面的图示。
图17是根据本实施方式的示例性观察画面的图示。
图18是根据本实施方式的示例性观察画面的图示。
图19是根据本实施方式的坐标轴的示例性设定的图示。
图20是用于描述根据本实施方式的示例性缩放操作的图示。
图21是用于描述根据本实施方式的示例性缩放操作的图示。
图22是用于描述根据本实施方式的示例性缩放操作的图示。
图23是用于描述根据本实施方式的示例性缩放操作的图示。
图24是根据本实施方式的缩放操作中的示例性观察画面的图示。
图25是根据本实施方式的示例性接触操作的图示。
图26是根据本实施方式的示例性观察画面的图示。
图27是根据本实施方式的示例性取消操作的图示。
图28是根据本实施方式的信息处理设备的示例性硬件配置的框图。
具体实施方式
下面将参照附图详细描述本公开的优选实施方式。注意，在本说明书和附图中，具有基本相同的功能配置的组成元件用相同的附图标记表示，因此将省略其重复描述。
注意，描述将按以下顺序给出：
1.概述
2.每个装置的示例性配置
2.1 显示装置的示例性配置
2.2 输出装置的示例性配置
2.3 观察装置的示例性配置
3.处理流程
4.每条处理的细节
4.1 显示初始画面
4.2 显示选择画面
4.3 显示观察画面
4.4 用户操作
4.5 用户间互动
5.示例性硬件配置
6.总结
<<1.概述>>
首先，将参照图1描述根据本公开的实施方式的系统的概述。
图1是根据本实施方式的系统的整体配置的图示。如图1所示，根据本实施方式的系统1包括显示装置100、输出装置200和多个观察装置300。
观察装置300均是观察观察目标的装置。例如，观察装置300均获取观察信息，诸如观察目标的拍摄的图像(运动图像/静止图像)和声音。每个观察装置300能够执行例如利用缩放的拍摄以及利用麦克风的方向性形成的声音拾取、能获取观察信息，就像观察目标已经在附近被观察一样。注意，缩放被定义为放大和缩小的通用术语。
显示装置100和输出装置200均基于每个观察装置的观察结果输出信息。例如，佩戴在用户上的显示装置100显示由观察装置300拍摄的图像。显示装置100还可以输出由观察装置300拾取的声音。例如，输出装置200虚拟地生成并输出感觉，诸如在触摸观察目标时获取的心跳、体温和毛发的错觉。该布置使用户能够以逼真的感觉享受用户体验，就像用户已经接近并触摸观察目标，即使在远离观察目标时。注意，用户表示佩戴显示装置100的人。
在本说明书中，如图1所示，将描述在动物园中管理的系统1。如图1所示，数量大的观察装置300沿着围绕作为观察目标的动物的围栏10安装。未示出地，每个观察装置300可以安装在围栏10内的地面上，可以安装在围栏10内的半空中，或者可以安装在在动物周围飞行的无人机上。在图1所示的示例中，显示装置100实时显示由安装在动物前方的观察装置300拍摄的图像。用户能享受就像其已经从前面在动物附近观看一样的用户体验，而没有在动物前面移动并且没有靠近围栏10。
在动物园中，由于例如动物与用户分开或隐藏在障碍物(诸如岩石)后面，因此用户难以观看令人印象深刻的景象。此外，用户需要沿着围栏10移动从而以各种角度观看动物，或者由于围栏10周围的人群的阻碍而难以令人满意地观看动物。
在这方面，系统1使用户能够即使在动物分开或者躲在障碍物后面的情况下也享受例如由安装在动物附近的观察装置300获取的令人印象深刻的图像、声音和感觉。此外，用户能从各种视点向上、向下、向左和向右多方向地观看动物，而不用走来走去或者没有人群的阻碍。
上面已经描述了系统1的概述。
<<2.每个装置的示例性配置>>
下面将参照图1至图9描述系统1中包括的每个装置的示例性配置。
<2.1显示装置的示例性配置>>
(1)示例性外部配置
图2是根据本实施方式的显示装置100的示例性外部配置的图示。图2中示出的显示装置100也被称为头戴式显示器(HMD)。
显示装置100包括例如具有框结构的可穿戴单元，该框结构从头部的任一侧半环绕到头部的后侧，被放置在两个耳被囊上以便戴在用户上，如图2所示。然后，如图2所示佩戴的显示装置100具有设置在用户双眼正前方的显示单元121。显示单元121包括例如液晶面板，并且显示装置100控制液晶面板的透射率，使得能获取透射状态(即透明或半透明状态)或非透射状态。
此外，处于透射状态的显示单元121显示诸如文本或图形的图像，使得AR信息(即注释)能叠加显示在真实空间中的场景上。此外，处于非透射状态的显示单元121能显示由向外相机112拍摄的真实空间中的拍摄图像，并且能在真实空间中拍摄的图像上叠加显示注释。
另一方面，处于非透射状态的显示单元121能够显示VR信息。例如，处于非透射状态的显示单元121能再现和显示由显示装置100从外部设备接收的内容或者存储在显示装置100的存储介质(即存储单元140)中的内容，或者能在再现和显示的内容上叠加显示注释。注意，外部设备的示例包括服务器；数码相机；数码摄像机；信息处理设备，诸如移动电话终端、智能电话或个人计算机；等等。根据本实施方式，观察装置300被提供为外部设备。
注意，显示单元121显示的整个图像在下面也被称为画面。这里，画面属于包括在非透射状态下显示的图像和透视出现的景象以及在透射状态下叠加显示的注释的概念。此外，画面中包括的每个元素也被称为显示对象，并且显示对象属于包括例如注释的概念。
此外，显示装置100包括朝向用户设置的一对向内相机111，从而在佩戴显示装置100的用户的近距离处拍摄用户。向内相机111用作拍摄用户眼睛的第一图像传感器。向内相机111可以是能够获取深度信息的立体相机，或者可以提供有深度传感器。
此外，显示装置100包括向前设置的向外相机112，从而在用户佩戴显示装置100的情况下在用户面向的方向(例如用户利用处于透射状态的显示单元121进行视觉识别的方向)(其作为拍摄方向)上执行拍摄。向外相机112用作拍摄识别目标(诸如用户的手)的第二图像传感器。向外相机112可以是能够获取深度信息的立体摄像机，或者可以提供有深度传感器。
此外，在图2中未示出，耳机扬声器可以被设置成在用户佩戴显示装置100的情况下插入用户的两个耳被囊中。此外，在图2中未示出，麦克风可以被设置从而拾取外部声音。
注意，根据本实施方式的显示装置100可以是图2中所示的HMD，或者可以是例如智能电话固定在眼睛前方的简化HMD。在这种情况下，智能电话的显示器、提供在智能电话的显示侧的内置摄像头以及提供在智能电话的后侧的外置摄像头用作以上描述的显示单元121、向内相机111和向外相机112。然后，固定智能电话的固定架包括例如稍后将描述的控制单元150、存储单元140和通信单元130，并且与智能电话通信，获取拍摄图像并控制画面显示。
作为另一示例，显示装置100能被实现为智能电话、平板终端、PC、数字标牌等，代替HMD。
上面已经描述了显示装置100的外部配置。接着，将描述显示装置100的内部配置。
(2)示例性内部配置
图3是根据本实施方式的显示装置100的示例性逻辑配置的框图。如图3所示，根据本实施方式的显示装置100包括传感器单元110、输出单元120、通信单元130、存储单元140和控制单元150。
·传感器单元110
传感器单元110获取关于用户的动作和状态的感测信息。例如，在用户佩戴显示装置100的情况下，传感器单元110能包括向内相机111和向外相机112，向内相机111使用户的眼睛作为要拍摄的对象，向外相机112在用户面对的方向(其作为拍摄方向)上执行拍摄。此外，传感器单元110能包括在用户佩戴显示装置100的情况下与用户面部的一侧接触的压力传感器。此外，传感器单元110能包括以非接触式方式获取目标温度的红外传感器或者获取关于目标的深度信息的深度传感器。此外，传感器单元110能包括获取用户姿势的传感器，诸如陀螺仪传感器或加速度传感器。此外，传感器单元110能括获取关于用户的生物信息的传感器，诸如肌电传感器、脉冲传感器或体温传感器。此外，传感器单元110能包括拾取用户声音的麦克风。此外，传感器单元110能包括获取关于用户的位置信息的传感器，诸如全球定位系统(GPS)。
·输出单元120
输出单元120将信息输出给用户。例如，输出单元120能包括显示图像的显示单元121。此外，输出单元120能包括输出声音的扬声器。此外，输出单元120能包括输出气味的装置，诸如香味扩散器。
·通信单元130
通信单元130与不同的设备通信。
例如，通信单元130从观察装置300接收观察信息。此外，通信单元130将触觉信息发送到输出装置200。
·存储单元140
存储单元140临时或永久地存储用于显示装置100的操作的信息。
例如，存储单元140存储各种类型的触觉信息。触觉信息是模仿在触摸观察目标时获取的触感的信息。观察目标可以是动物。在那种情况下，触觉信息可以包括观察目标的心跳、体温或体表感觉中的至少任何一种。注意，这里的动物属于包括任何生物的概念，诸如哺乳动物、两栖动物、鸟类和鱼类。
例如，触觉信息包括每个动物的搏动数据作为关于心跳的信息。搏动数据能包括例如搏动的周期和幅度以及心脏的位置。
例如，触觉信息包括每个动物的温度数据作为关于体温的信息。优选地，温度数据包括每个区域(诸如躯干和腿)的数据。
例如，触觉信息包括毛发数据，诸如毛发的数量、毛发的质量、以及每个动物体表的毛发方向，作为关于体表感觉的信息。优选地，毛发数据包括每个区域(诸如躯干和腿)的数据。
·控制单元150
控制单元150提供显示装置100的各种功能。控制单元150包括识别单元151和输出控制单元153。注意，控制单元150还能包括除组成元件之外的其它组成元件。换言之，控制单元150能执行除了组成元件的操作之外的操作。
-识别单元151
识别单元151执行识别佩戴显示装置100的用户的操作的处理。
例如，识别单元151能基于由向内相机111拍摄的图像或深度信息识别用户视线的方向，并且能基于该视线方向来识别用户操作。例如，在存在用户注视的显示对象的情况下，详细地，在用户视线保持在距显示对象一定范围内预定时间的情况下，识别单元151识别出用户已选择了显示对象，作为用户操作。注意，一定范围表示显示对象的内部区域或者在显示对象的区域的顶部、底部、左侧和右侧中的每个处具有大约几个像素的余量的区域。
此外，识别单元151能识别用户视线的焦距，并且能基于焦距识别用户操作。例如，参照晶状体的厚度与眼睛的焦距之间的关系，识别单元151基于晶状体的厚度识别焦距。注意，用光照射眼睛并观察其散射光使得能够识别晶状体的厚度。美国专利第9131839号详细描述了基于晶状体的厚度识别焦距的技术。
另一方面，识别单元151能基于由外向相机112拍摄的图像或深度信息识别由识别目标(诸如用户的手)做出的手势，并且能基于手势识别用户操作。例如，基于用户在眼睛前方抬起的手的拍摄图像和深度信息，即，在向外相机112的拍摄范围中，识别单元151识别手势，诸如由用户的手形成的形状或者手臂的伸展和移动(即，弯曲和伸展)，并识别对应于该手势的用户操作。注意，在本说明书中，手指的是从手腕到指尖的范围，并且手臂指的是从肩部到手腕的范围。
此外，识别单元151可以基于由输出装置200感测的感测信息来识别用户操作。例如，基于关于用户的手的姿势信息，识别单元151识别手势，诸如由用户的手形成的形状或者手臂的伸展和移动，并且识别对应于该手势的用户操作。
另外，识别单元151可以鉴于例如生物信息、用户的声音或用户的姿势来识别用户操作。
-输出控制单元153
输出控制单元153执行控制显示装置100或输出装置200输出到用户的处理。
(观察信息的显示)
输出控制单元153基于观察信息生成画面，并控制显示单元121显示生成的画面。
具体地，输出控制单元153构造虚拟空间并且使指示从任何视点观看的虚拟空间的状态的画面被显示。这里的虚拟空间由每个观察装置300实时拍摄的拍摄图像构成，并且包括从任何观察装置300的视点观看的空间。
输出控制单元153能使各种显示对象叠加显示在指示从任何视点观看的虚拟空间的画面上。稍后将详细描述要显示的画面的具体示例。
输出控制单元153控制由显示单元121显示的画面中的观察目标的尺寸。两种类型的方法被认为是实现控制画面中的观察目标的尺寸的方法。例如，显示装置100可以通过控制拍摄图像的成像倍率来控制画面中观察目标的尺寸。也就是，通过发送放大指令或缩小指令，即，用于光学缩放的观察装置300的缩放比的指令，显示装置100可以控制出现在画面上的观察目标的尺寸。此外，通过利用按比例缩放控制拍摄图像的显示倍率，显示装置100可以控制画面中观察目标的尺寸。换言之，通过对从观察装置300获取的拍摄图像的数字缩放，显示装置100可以控制观察目标的尺寸。显示装置100可以组合使用光学缩放和数字缩放。在任何情况下，控制画面中观察目标的尺寸也被称为控制缩放比。
(触觉信息的输出)
输出控制单元153提供存储在存储单元140中的触觉信息。详细地，输出控制单元153将对应于观察目标的触摸区域的触觉信息发送到输出装置200用于输出，用户已对该观察目标的触摸区域执行了在由输出单元120显示的虚拟空间中触摸的操作。
在存在多个观察目标的环境下，如动物园中，输出控制单元153首先指定观察目标，该观察目标是用户已经对其执行了触摸操作的对象。例如，利用包括在由显示单元121显示的画面中的动物的图像识别或包括在作为画面的源的观察信息中的声音的声音识别，输出控制单元153可以指定对象的动物。此外，输出控制单元153可以参照包括虚拟空间中的视点的位置和相关动物的类型的地图(即，包括观察装置300安装的位置和相关动物的类型的地图)来指定对象的动物。此外，在每个动物安装有GPS的情况下，输出控制单元153可以基于关于观察装置300的位置信息、观察装置300的拍摄方向和关于动物的位置信息来指定对象的动物。
输出控制单元153使得输出与用户触摸的区域相对应的触觉信息。例如，输出控制单元153计算用户在虚拟空间中触摸的区域与对象动物的心脏的位置之间的距离，并且使得输出具有根据该距离添加衰减的幅度的搏动。此外，输出控制单元153使得输出与虚拟空间中用户触摸的区域对应的温度。此外，输出控制单元153使得输出与虚拟空间中用户触摸的区域对应的体表的感觉。注意，输出控制单元153可以使得输出根据用户抚摸动物的方向而变化的感觉，从而实现动物毛发的错觉。
此外，输出控制单元153可以使输出单元120输出与动物以及用户触摸的区域对应的声音和气味。
<2.2输出装置的示例性配置>
图4是根据本实施方式的输出装置200的示例性逻辑配置的框图。如图4所示，根据本实施方式的输出装置200包括传感器单元210、输出单元220、通信单元230、存储单元240和控制单元250。在下文中，输出装置200实现为如图1所示戴在用户手上的手套类型。
·传感器单元210
传感器单元210获取关于佩戴输出装置200的用户的动作和状态的感测信息。例如，传感器单元210能包括获取佩戴输出装置200的用户的手的姿势的传感器，诸如陀螺仪传感器或加速度传感器。此外，传感器单元210能包括检测手指之间的接触的接触传感器，并且能准确地检测稍后将描述的用户的缩放操作。
·输出单元220
输出单元220将触觉信息输出给用户。
例如，输出单元220包括振动产生装置、热产生装置或感觉产生装置中的至少任一种。
例如，振动产生装置以由触觉信息指示的周期、幅度和衰减振动，从而以伪方式(pseudo manner)实现观察目标的搏动。振动产生装置可以包括例如多个振动器，并且可以由于从设置在显示装置100或输出装置200中的超声波元件发出的声波而振动。
例如，热产生装置以由触觉信息指示的温度产生热，从而以伪方式实现观察目标的体温。
例如，感觉产生装置产生由触觉信息指示的感觉，从而以伪方式实现观察目标的体表的感觉。例如，类似于配置中的振动产生装置，感觉产生装置可以以伪方式实现具有振动的感觉。此外，感觉产生装置可以实现为提供在外部的超声波输出机构，并且可以利用超声波辐射压力给用户的手造成感觉。在这种情况下，超声波输出机构能例如在动物园中的围栏周围或在显示装置100的外表面上提供。具有超声辐射压力的感觉产生技术例如在以下中被详细描述，T.Iwamoto、T.Maeda和H.Shinoda：“用于触感显示的聚焦超声波”Proc.2001ICAT,pp.121-126,2001。另外，如在以下中描述地，Yasutoshi Makino和Hiroyuki Shinoda：“使用吸力产生触感的方法”，Transactions of the Virtual RealitySociety of Japan,Vol.11,No.1,pp.123-132,2006.，有各种感觉产生技术，诸如使用电刺激、具有气动压力的薄膜的向上和向下移动、以及使用吸入压力。因此，感觉产生装置能采用任何技术。
·通讯单元230
通信单元230与不同的设备通信。
例如，通信单元230从显示装置100接收触觉信息。此外，通信单元230将感测信息发送到显示装置100。
·存储单元240
存储单元240临时或永久地存储用于输出装置200的操作的信息。
·控制单元250
控制单元250提供输出装置200的各种功能。例如，控制单元250控制输出单元220输出从显示装置100接收的触觉信息。
<2.3观察装置的示例性配置>
(1)示例性外部配置
图5是根据本实施方式的观察装置300的示例性外部配置的图示。如图5所示，观察装置300能包括多个摄像头311A至311C和312。包括变焦镜头的摄像头312能够通过变焦执行拍摄。注意，摄像头311A至311C可以与摄像头312不同地使用。例如，由摄像头311A至311C拍摄的拍摄图像可以用于生成稍后将描述的选择画面，并且由摄像头312拍摄的拍摄图像可以用于生成稍后描述的观察画面。
(2)示例性内部配置
图6是根据本实施方式的观察装置300的示例性逻辑配置的框图。如图6所示，根据本实施方式的观察装置300包括传感器单元310、通信单元320、存储单元330和控制单元340。
·传感器单元310
传感器单元310获取关于观察目标的感测信息(即观察信息)。传感器单元310获取观察信息，诸如观察目标的拍摄图像(运动图像/静止图像)和声音。例如，传感器单元310能包括图像传感器，诸如摄像头311A至311C和312、深度传感器、麦克风等。传感器单元310可以执行例如利用缩放的拍摄以及利用麦克风方向性的形成的声音拾取。
·通信单元320
通信单元320与不同的设备通信。
例如，通信单元320从显示装置100接收用于图像传感器的缩放指令、用于麦克风方向性的形成指令等。此外，通信单元320将观察信息发送到显示装置100。
·存储单元330
存储单元330临时或永久地存储用于观察装置300的操作的信息。
·控制单元340
控制单元340提供观察装置300的各种功能。例如，控制单元340基于来自显示装置100的指令控制传感器单元310以执行缩放或麦克风方向性的形成。
(3)示例性安装
下面将参照图7至图9描述观察装置300的示例性安装。
图7和图8每个是观察装置300的示例性安装的图示，每个观察装置300以侧角(即从侧面)观察观察目标。如图7所示，观察装置300能安装在动物园中的围栏10周围。观察装置300可以每个安装在距围栏10内的地面与动物的头部、背部或身体中心的高度相对应的高度处。如图7所示，在围栏10内的动物是长颈鹿的情况下，观察装置300能被安装成在1米的高度处沿八个方向拍摄动物。此外，如图8所示，在围栏10内的地形处存在超过动物身高的高度差的情况下，观察装置300能被安装成在多个阶段(图8中所示的示例中的三个阶段)的高度处拍摄动物。
图9是观察装置300的示例性安装的图示，每个观察装置300以底角(即从底部)观察观察目标。观察装置300可以全部摊开安装在地面上。例如，假设围栏10内的动物是长颈鹿，从尾巴到长颈鹿脸的前端的距离在俯视图中是X，并且长颈鹿的身体的宽度在俯视图中是Y。在这种情况下，如图9所示，当地面被分割成每个都具有横向距离X和纵向距离Y的矩形区域时，观察装置300可以分别安装在这些区域中。
作为另一示例，观察装置300可以被安装成以顶角(即从顶部)观察观察目标。此外，例如，观察装置300可以佩戴在动物的头上，使得动物的视线方向与拍摄方向相同。
<<3.处理流程>>
下面将参照图10描述动物园中的用户体验提供处理的示例性流程。
图10是在根据本实施方式的系统1中执行的用户体验提供处理的示例性流程的图示。如图10所示，显示装置100、输出装置200和多个观察装置300包含在本序列中。
首先，显示装置100生成并显示初始画面(步骤S102)。因为稍后将描述初始画面，所以这里将省略其详细描述。
接着，显示装置100搜索观察装置300(步骤S104)。例如，基于例如关于用户的位置信息和用户的朝向，显示装置100在用户的眼睛之前搜索在围栏10内使动物作为观察目标的观察装置300。
接着，显示装置100向搜索到的观察装置300发送请求(步骤S106)，并且已接收到该请求的观察装置300发送观察信息作为回复(步骤S108)。
接着，显示装置100基于从观察装置300接收的观察信息生成并显示选择画面(步骤S110)。显示装置100在显示选择画面的同时识别用户的选择操作(S112)。详细地，显示装置100识别从多个观察装置300中选择一个观察装置300的操作。由于选择画面稍后将被描述，因此这里将省略其详细描述。注意，这里，基于从所选观察装置300接收的观察信息，生成稍后将描述的观察画面。
接着，显示装置100向所选观察装置300发送请求(步骤S114)，并且已接收到该请求的观察装置300发送观察信息作为回复(步骤S116)。注意，观察装置300可以在接收到上述步骤S106的请求之后将观察信息连续发送到显示装置100。在那种情况下，已接收到上述步骤S114的请求的观察装置300在接收之后将观察信息连续发送到显示装置100，并且未接收到上述步骤S114的请求的观察装置300每个停止发送观察信息。
接着，显示装置100基于从观察装置300接收的观察信息生成并显示观察画面(步骤S118)。因为观察画面稍后将被描述，所以这里将省略其详细描述。
接着，当识别用户的缩放操作时(步骤S120)，显示装置100将缩放指令发送到观察装置300(步骤S122)。已接收到缩放指令的观察装置300基于缩放指令发送包括放大或缩小的拍摄图像的观察信息作为答复(步骤S124)。该布置使得由显示装置100显示的观察画面被放大或缩小。
接着，当识别用户的接触操作时(步骤S126)，显示装置100将与识别的接触操作对应的触觉信息发送到输出装置200(步骤S128)。
然后，输出装置200输出所接收的触觉信息(步骤S130)。
<<4.每条处理的细节>>
下面将描述上述用户体验提供处理中的每条处理的细节。
<4.1显示初始画面>
初始画面是在用户体验提供处理中首先显示的画面。将参照图11描述示例性初始画面。
图11是根据本实施方式的示例性初始画面的图示。如图11所示，初始画面400可以包括与用户直接在当前位置观看动物时的景象相同的景象。例如，初始画面400可以包括由向外相机112实时拍摄的拍摄图像。此外，初始画面400可以包括利用在透射状态下的显示单元121透射出现的景象。
作为另一示例，初始画面400可以包括由默认选择的观察装置300实时拍摄的拍摄图像。
<4.2显示选择画面>
显示装置100显示选择画面。选择画面是允许选择观察装置300的画面，该观察装置300执行观察处理，该观察处理是要在稍后将描述的观察画面中提供的用户体验的源。
详细地，显示装置100(例如输出控制单元153)显示一选择画面，该选择画面包括与可能是提供要由显示装置100显示的拍摄图像(即要在观察画面上提供的拍摄图像)的源的多个候选图像拍摄装置(即观察装置300)对应的多个显示对象。然后，显示装置100(例如识别单元151)将用户的预定操作识别到已显示的多个显示对象中的一个显示对象，作为观察装置300的选择操作。在选择画面上，用户能选择观察装置300作为用于观察画面生成的拍摄图像的提供源，即，用于观察画面生成的视点。
选择画面能具有各种模式。下面将描述相机地图模式中的示例性选择画面和列表显示模式中的示例性选择画面。
·相机地图模式
在相机地图模式中，显示装置100在与画面中的候选观察装置300的安装位置对应的位置处显示与候选观察装置300对应的显示对象。下面将参照图12和图13描述相机地图模式中的具体示例性选择画面。
图12是根据本实施方式的相机地图模式中的示例性选择画面的图示。如图12所示，相机地图模式中的选择画面500的背景可以包括与用户直接在当前位置观看动物时的景象相同的景象，类似于初始画面400，或者可以包括由观察装置300拍摄的拍摄图像。然后，相机地图模式中的选择画面500包括与观察装置300对应的相机图标501A至501H，位于与画面中的观察装置300的安装位置对应的位置处。相机图标501A至501D对应于安装的观察装置300，从而以侧角拍摄动物。相机图标501E至501G对应于安装的观察装置300，从而以底角拍摄动物。相机图标501H对应于安装的观察装置300，从而以顶角拍摄动物。用户从相机图标501A至501H选择一个相机图标，基于由与所选相机图标对应的观察装置300拍摄的拍摄图像生成观察画面。
注意，在选择画面500的标题上显示指示当前模式是相机地图模式的显示对象502以及允许模式切换到稍后将描述的列表显示模式的显示对象503。用户的显示对象503的选择使切换到列表显示模式中的选择画面被显示。
图13是根据本实施方式的相机地图模式中的示例性选择画面的图示。如图13所示，相机地图模式中的选择画面510包括与观察装置300对应的缩略图511A至511D，位于与画面中的观察装置300的安装位置对应的位置处。缩略图511A至511D每个缩小并显示由对应观察装置300实时拍摄的拍摄图像。缩略图511A和511B对应于安装的观察装置300，从而以侧角拍摄动物。缩略图511C对应于安装的观察装置300，从而以底角拍摄动物。缩略图511D对应于安装的观察装置300，从而以顶角拍摄动物。用户从缩略图511A至511D中选择一个缩略图使得基于由与所选缩略图对应的观察装置300拍摄的拍摄图像生成观察画面。
注意，在选择画面510的标题上显示指示当前模式是相机地图模式的显示对象512和用于允许模式切换到稍后将描述的列表显示模式的显示对象513。用户的显示对象513的选择使切换到列表显示模式中的选择画面被显示。
因此，因为在相机地图模式中在每个选择画面上与对应观察装置300的安装位置相应的位置处显示相机图标或缩略图，所以用户能容易地选择用于观察画面生成的视点。具体地，缩略图的显示使用户能够在选择之前预测生成什么类型的观察画面，从而导致便利性的提高。
·列表显示模式
在列表显示模式中，显示装置100显示包括由候选观察装置300拍摄的拍摄图像的显示对象，该候选观察装置300布置在与候选观察装置300的拍摄方向相对于垂直方向的角度对应的高度处。下面将参照图14和图15描述列表显示模式中的特定示例性选择画面。
图14是根据本实施方式的列表显示模式中的示例性选择画面的图示。如图14所示，列表显示模式中的选择画面520具有显示于其上的由观察装置300拍摄的拍摄图像的缩略图521A至521G，该观察装置300布置在与观察装置300的拍摄方向相对于垂直方向的角度对应的高度处。对应于被安装从而以侧角(即拍摄方向相对于垂直方向的角度约为90°)拍摄动物的观察装置300的缩略图521A至521E被布置在画面的中间部分处。当用户实际上在水平方向上对于用户水平地观看动物时，该布置显示预期被观看的景象。与被安装以底角拍摄动物(即拍摄方向相对于垂直方向的角度约为180°)的观察装置300对应的缩略图521F被布置在画面的上部。当用户实际以底角向上看动物时，该布置显示在用户向上看的位置处预期被观看的景象。与被安装从而以顶角(即拍摄方向相对于垂直方向的角度约为0°)拍摄动物的观察装置300对应的缩略图521G被布置在画面中的下部处。当用户实际以顶角向下看该动物时，该布置显示在用户向下看的位置处要被观看的景象。注意，在观察装置300被安装成使得动物的视线方向与拍摄方向相同的情况下，如图14所示，由观察装置300拍摄的拍摄图像的缩略图521H可以显示在选择画面520上。用户从缩略图521A至521H中选择一个缩略图，基于由与所选缩略图对应的观察装置300拍摄的拍摄图像生成观察画面。
这里，缩略图的一部分可以显示在选择画面520上，并且用户可以用未显示的缩略图替换正在显示的缩略图。例如，如图14所示，布置在画面中间部分的缩略图521A至521E虚拟地围绕用户设置。因此，用户可以操作以旋转周围环境并且可以引起由被安装从而以侧角拍摄动物的另一观察装置300拍摄的拍摄图像的缩略图的新显示。在这方面，对于缩略图521A至521E，基于在水平方向上沿拍摄方向彼此远离的观察装置300拍摄的拍摄图像的缩略图被显示。因此，即使没有替换缩略图，也能在选择画面520上提供用于观察画面生成的广泛视点候选。
注意，指示当前模式是列表显示模式的显示对象522以及用于允许模式切换到相机地图模式的显示对象523显示在选择画面520的标题上。用户对显示对象523的选择使切换到相机地图模式中的选择画面被显示。
图15是根据本实施方式的列表显示模式中的一示例性选择画面的图示。如图15所示，类似于图14，列表显示模式中的选择画面530具有在其上显示的由观察装置300拍摄的拍摄图像的缩略图531A至531G，该观察装置300布置在与显示装置300的拍摄方向相对于垂直方向的角度对应的高度处。此外，如图15所示，类似于图14，由安装为使得观察装置300的拍摄方向与动物的视线方向相同的观察装置300拍摄的拍摄图像的缩略图531H显示在选择画面530上。
这里，对于缩略图531A至531E，基于在水平方向上沿拍摄方向彼此接近(例如相邻安装)的观察装置300拍摄的拍摄图像的缩略图显示在选择画面530上。因此，用于观察画面生成的类似视点候选能提供在选择画面530上。
注意，指示当前模式是列表显示模式的显示对象532以及用于允许模式切换到相机地图模式的显示对象533在选择画面530的标题上显示。用户对显示对象533的选择使切换到相机地图模式中的选择画面被显示。
因此，由于在列表显示模式中的每个选择画面上在与观察装置300的拍摄方向相对于垂直方向的角度对应的高度处布置缩略图，所以观察装置300的拍摄方向能与用户的向上和向下视线方向一致。
注意，在图14和图15中，列表显示模式中的每个选择画面的背景是纯黑色，但是可以类似于相机地图模式中的每个选择画面的背景。
这里，能在上述每个选择画面上不同地实现选择操作，诸如观察装置300的选择。例如，在存在用户注视的显示对象的情况下，显示装置100可以识别出用户已选择了显示对象。
<4.3显示观察画面>
观察画面是由基于选择画面上的所选观察装置300的观察信息的输出产生的画面。具体地，观察画面是包括由所选观察装置300实时拍摄的拍摄图像的画面。具体地，在用户在观察画面上执行接触操作的情况下，输出对应触觉信息。
详细地，在观察画面上识别出对观察目标的预定区域的预定操作的情况下，显示装置100使输出装置200输出模仿在触摸观察目标时获取的触感的触觉信息。预定操作是接触操作。该布置使用户能够以逼真的感觉享受用户体验，就像用户已经接近并触摸观察目标一样，即使在用户远离观察目标时。
此外，显示装置100在观察画面上显示与预定区域(即允许接触操作的区域)相关联的指示允许接触操作的信息。允许接触操作的区域能根据例如动物的类型或动物的当前情绪在例如颈部、面部或下巴之间变化。该布置使得用户能够直接对允许享受触觉信息的输出的区域执行接触操作。
下面将参照图16至图18描述观察画面的具体示例。
图16是根据本实施方式的一示例性观察画面的图示。如图16所示，观察画面600具有在其上显示的指示允许接触操作的注释601A至601C以及指示当前缩放比的信息602。用户执行缩放操作使缩放比能够在观察画面中任意改变。由用户执行的放大操作导致的观察画面在图17中示出。
图17是根据本实施方式的一示例性观察画面的图示。如图17所示，具有在其上显示的其中观察目标被放大的画面的观察画面610拥有在其上显示的指示允许接触操作的注释611A和611B以及指示当前缩放比的信息612。这里，注释611A具有在其中显示的指示接触操作的执行使观察目标做出积极反应(例如愉悦)的图标。此外，注释611B具有在其中显示的指示观察目标做出负面反应(例如愤怒)的图标。不用说，用户实际上并未触摸观察目标，因此这些反应是虚拟的。
这里，如图16和图17所示，显示装置100可以基于观察画面中的观察目标的尺寸来控制指示允许接触操作的信息的细节程度。例如，在缩放比低的情况下，显示装置100显示指示允许接触操作的注释。该布置使用户能够直接对例如显示注释的区域执行缩放操作。另一方面，在缩放比高的情况下，除了允许接触操作之外，显示装置100还显示指示观察目标的预期反应的注释。该布置使用户能够例如通过选择使观察目标产生积极反应的区域而执行接触操作。
显示装置100可以根据观察目标的情绪产生观察目标的反应。换言之，显示装置100能根据观察目标的情绪动态地改变注释的内容或形状。此外，显示装置100可以根据观察目标的情绪来确定是否允许接触操作。换言之，显示装置100能根据观察目标的情绪动态地改变是否显示注释。此外，显示装置100可以将注释设置在不太可能在触摸时引起负面反应的区域。换言之，显示装置100能根据观察目标的情绪动态地改变注释的显示位置。
这里，观察目标的情绪能通过机器学习来估计，例如基于关于观察目标的观察信息的神经网络。例如，通过基于拍摄图像的学习来估计对应于例如动物的类型、行为和摇动的情绪。此外，通过基于声音的学习来估计对应于哭声的频谱和长度的情绪。
作为上述观察目标的情绪的替代或补充，可以根据行为(诸如观察目标的睡眠/行走、是否存在特殊触感等)来显示注释。例如，注释的显示位置可以响应于行为的差异而变化，或者注释可以优先显示在能够强烈地感测心跳的位置处，诸如心脏附近。
包括在观察信息中的除了拍摄图像之外的信息可以结合观察画面中的缩放输出。例如，显示装置100可以结合缩放控制观察装置300的麦克风的方向性以面对包括在观察画面中的观察目标，并且可以输出例如观察目标的哭声。此外，显示装置100可以结合缩放输出包括在观察画面中的观察目标的气味。
用户在观察画面上执行取消操作使显示装置100再次显示选择画面。该布置使用户能够重新选择用于观察画面生成的视点。另外，显示装置100可以在观察画面上显示推荐另一视点的显示对象。将参照图18描述该情况的示例。
图18是根据本实施方式的示例性观察画面的图示。如图18所示，具有在其上显示的其中观察目标的画面被放大的观察画面620拥有推荐另一视点的显示对象621以及在其上显示的指示当前缩放比的信息622。显示对象621是由另一观察装置300拍摄的拍摄图像的缩略图。用户对显示对象621的选择使显示装置100基于由另一观察装置300拍摄的拍摄图像来生成观察画面，导致显示的切换。
<4.4用户操作>
(1)缩放操作
下面将参照图19至图24描述缩放操作。
首先，将参照图19描述用于描述缩放操作的坐标轴的设定。
图19是根据本实施方式的坐标轴的示例性设定的图示。如图19所示，戴在用户上的显示装置100的位置作为原点，相对于用户的向前方向、水平方向(即画面的横向方向)和上下方向(zenith direction)(即画面的纵向方向)分别被定义为Z轴、X轴和Y轴，构成坐标轴的设定。
·控制与Z轴方向上的距离对应的缩放比
在显示包括观察目标的拍摄图像的画面(例如观察画面)的同时，显示装置100基于佩戴显示装置100的用户操作的识别目标与标准位置之间的距离控制画面中观察目标的尺寸。为了更简化，显示装置100根据用户操作的识别目标与标准位置之间的距离来控制观察画面中的缩放比。
这里，作为戴在用户上的显示装置100的位置的标准位置可以是图19中的原点。更具体地，标准位置可以是形成为立体相机的向外相机112的位置或者深度传感器的位置。此外，识别目标与标准位置之间的距离可以是标准位置与识别目标之间在标准方向上的距离，并且标准方向可以是例如图19中的Z轴方向。为了更简化，显示装置100可以根据识别目标与显示装置100之间在用户的向前方向上的距离来控制观察画面中的缩放比。
具体地，随着识别目标与标准位置之间的距离变长，显示装置100放大观察画面中的观察目标。换言之，随着识别目标与标准位置之间在标准方向上的距离变长，显示装置100增加观察画面中的缩放比。同时，随着识别目标与标准位置之间的距离缩短，显示装置100减小观察画面中的观察目标。换言之，随着识别目标与标准位置之间在标准方向上的距离变短，显示装置100减小观察画面中的缩放比。
识别目标被不同地考虑。例如，识别目标可以是预定形状的用户的手。作为另一示例，识别目标可以是用户的腿、工具等，或者可以是用户在虚拟空间中操作的虚拟对象。
预定形状被不同地考虑。例如，识别目标可以是手指形成环的用户的手。环可以用一只手形成，或者可以用双手形成。作为另一示例，识别目标可以是形成拳头的用户的手等。
可以预先设定识别目标与标准位置之间的距离的上限和下限。例如，在识别目标是手指形成环的用户的手的情况下，考虑到用户的手臂长度，上限可以是大约一米。此外，当变化是识别目标与标准位置之间的距离的阈值或更大时，显示装置100可以改变观察画面中的缩放比。该布置防止了手臂的颤振运动影响缩放比，从而防止了例如画面抖动。注意，阈值可以是例如大约15厘米。
下面将参照图20至图22描述示例性缩放操作。图20至图22是用于描述根据本实施方式的示例性缩放操作的图示。
图20示出了示例性识别目标。图20中所示的识别目标700是每只手的手指形成环的用户的双手。这样的形状使用户能够利用通过一副双筒望远镜看远处的图像来执行缩放操作。
图21示出了示例性放大操作。如图21所示，显示装置100识别用户伸出手臂以使识别目标700在Z轴方向上远离显示装置100的操作，作为放大操作。然后，显示装置100增加观察画面中的缩放比。
图22示出了示例性缩小操作。如图22所示，显示装置100识别用户收回手臂以使识别目标700在Z轴方向上靠近显示装置100的操作，作为缩小操作。然后，显示装置100减小观察画面中的缩放比。
·控制与其它信息对应的缩放比
显示装置100还可以基于其它信息控制缩放比。该布置使得能够提高识别缩放操作的精度。
例如，在识别目标是手指形成环的用户的手的情况下，显示装置100还可以基于环的姿势控制观察画面中的观察目标的尺寸。将参照图23描述这方面。
图23是用于描述根据本实施方式的示例性缩放操作的图示。如图23的上侧所示，在执行放大操作的情况下，其中用户伸出手臂以使环(即识别目标)700在Z轴方向上远离显示装置100，环700相对于Z轴方向的角度通常在手腕的可移动范围方面减小。另一方面，如图23的下侧所示，在执行缩小操作的情况下，其中用户收回手臂以使识别目标700在Z轴方向上靠近显示装置100，环700相对于Z轴方向的角度通常增大。因此，显示装置100可以根据环700相对于Z轴方向的角度来控制缩放比。例如，显示装置100可以在环700相对于Z轴方向的角度减小的情况下识别出正在执行放大操作，并且在环700相对于Z轴方向的角度增大的情况下可以识别出正在执行缩小操作。此外，显示装置100可以在环700相对于Z轴方向的角度超过或低于阈值的情况下确定错误识别，并且可以停止对缩放比的控制。
作为另一示例，显示装置100还可以基于由输出装置200获取的感测信息来控制观察画面中的观察目标的尺寸。例如，在通过输出装置200获取的感测信息指示预定图案的情况下，显示装置100可以识别缩放操作。具体地，例如，显示装置100基于由输出装置200的加速度传感器或陀螺仪传感器的感测信息识别手指是否已形成环、环的角度或环的移动。此外，显示装置100基于由输出装置200中检测手指之间的接触的接触传感器获取的感测信息来识别手指是否已形成环。注意，除了在手套型输出装置200处提供的传感器之外，还可以考虑由提供在例如手镯、手表、戒指或衣服处的传感器获取的感测信息。
·控制缩放的中心位置
显示装置100控制观察画面中观察目标的尺寸的控制的中心位置，即，缩放比的控制的中心位置。中心位置下面也称为缩放的中心位置。
例如，基于诸如观察目标的眼睛、耳朵或鼻子的特征点，显示装置100可以识别面部，并且可以将识别的面部作为缩放的中心位置。此外，在多个观察目标显示在观察画面中的情况下，显示装置100可以使更靠近用户的视野中心显示的观察目标作为缩放的中心位置。
此外，显示装置100可以基于识别目标在与标准方向正交的方向上的位置来控制观察画面中观察目标的尺寸控制的中心位置。例如，显示装置100使从观察画面的中心位置观察的缩放的中心位置的坐标对应于从与Z轴方向(即Z轴)正交的XY平面上的原点观察的识别目标的坐标。为了更简化，在识别目标是手指形成环的用户的手的情况下，显示装置100根据用户的手在向上、向下、向左和向右方向上的移动而向上、向下、向左和向右移动缩放的中心位置。此后，显示装置100根据用户的手在向前方向(即Z轴方向)上的移动以该中心位置为中心放大或缩小。
显示装置100可以显示指示中心位置的信息。该布置使用户能够在放大操作之前，例如在向上、向下、向左和向右移动手的同时瞄准缩放的中心位置的移动。注意，指示缩放的中心位置的信息可以是指示中心点的信息或指示距中心位置的预定范围的信息。后面的信息下面也称为焦点范围。
下面将参照图24描述缩放操作中的示例性观察画面。
图24是根据本实施方式的缩放操作中的示例性观察画面的图示。如图24的左图所示，用户在保持手臂收回的同时向上、向下、向左和向右移动识别目标700。如图24的右图所示，观察画面630具有在其上显示的聚焦范围631。该布置使用户能够向上、向下、向左和向右移动缩放的中心位置，使得在放大之前观察目标的期望区域被包括在聚焦范围631中。然后，用户在瞄准之后在伸展手臂的同时执行放大操作，使得已经放大的焦点范围631中包括的区域能显示在观察画面上。
·缩放倍率的设定
显示装置100可以设定缩放倍率的最大值或最小值。例如，缩放倍率的最大值能被设定为一倍率，该倍率允许显示在尺寸上与在用户存在于如果在真实空间中伸展手臂则允许用户触摸观察目标的位置处的情况下预期被观看的观察目标相同的观察目标。此外，例如，缩放倍率的最小值能被设定为一倍率，该倍率允许显示在尺寸上与在真实空间中用户从当前位置观看观察目标的情况下预期被观看的观察目标相同的观察目标。
·设定缩放速度
缩放速度能根据识别目标的标准方向上的速度或加速度来设定。缩放速度可以考虑在识别目标的标准方向上的可移动距离来设定。例如，在识别目标是手指形成环的用户的手的情况下，缩放速度可以考虑手臂的长度来设定。具体地，通过将手臂的伸展和移动的速度或加速度除以手臂的长度而获取的值能被设定为缩放速度。即使当手臂的长度以及伸展和移动的速度存在差异时，该布置也允许实现儿童和成人之间的等效缩放速度。在没有提供关于手臂长度的信息的情况下，可以代之以提供关于身高的信息。关于身高的信息可以由用户输入，或者可以是关于通过图像识别获取的外部相机112距地面的高度的信息。
(2)接触操作
显示装置100识别用户触摸观察画面上显示的虚拟空间中的观察目标的操作，作为接触操作。
例如，显示装置100识别用户使手的手掌面对虚拟空间中的观察目标的动作，作为接触操作。具体地，在缩放操作中的识别目标是手指形成环的用户的手的情况下，显示装置100可以识别用户通过手伸展而使手的手掌面向观察目标的运动，作为接触操作。在这种情况下，用户能在伸展手的同时在执行放大操作之后无缝地执行接触操作。
将参照图25描述示例性接触操作，并且将在下面参照图26描述接触操作期间的示例性观察画面。
图25是根据本实施方式的示例性接触操作的图示。如图25所示，用户在伸展手的同时打开手掌。用户以与在真实空间中接近并触摸观察目标的情况类似的动作执行接触操作，使得用户能从输出装置200接收触觉信息的输出。
图26是根据本实施方式的示例性观察画面的图示。如图26所示，具有在其上显示的其中观察目标被放大的画面的观察画面640拥有在其上显示的指示允许接触操作的注释641A和641B以及指示当前缩放比的信息642。然后，显示装置100在观察画面640上在观察目标上叠加显示图像644，该图像644指示对观察目标执行接触操作的用户的手。该布置使得能够进一步改善用户体验的逼真感觉。注意，为了在距观察目标的距离感接近的情况下允许接触，当观察目标以预定倍率或更大倍率显示时，可以允许接触操作。
(3)取消操作
显示装置100识别取消操作。例如，当在观察画面中识别取消操作时，显示装置100将缩放比返回到默认值，或者将画面返回到选择画面或初始画面。
取消操作能被不同地识别。例如，显示装置100识别例如预定手势、预定声音命令或按下预定按钮，作为取消操作。下面将参照图27描述示例性取消操作。
图27是根据本实施方式的示例性取消操作的图示。如图27所示，显示装置100可以识别用户左右转动颈部的动作，作为取消操作。例如，利用向外相机112的帧间差异、拍摄图像的横向光流等的图像识别，显示装置100可以识别用户左右转动颈部的动作。此外，显示装置100可以基于由加速度传感器获取的加速度来识别用户左右转动颈部的动作。此外，通过识别由压力传感器与面部侧面接触所获取的连续压力模式，显示装置100可以识别用户左右转动颈部的动作。注意，优选地，上述识别方法由于优点和缺点(诸如图像识别在暗处精确度劣化)而适当地组合使用。
<4.5用户间交互>
在存在每个佩戴显示装置100的多个用户的情况下，显示装置100可以基于用户间关系执行显示。
例如，以预定关系(诸如友谊或亲子关系)戴在多个用户上的多个显示装置100，每个都能以单独模式或以组模式操作，在该单独模式下单个画面被显示，在该组模式下一个用户的画面显示给另一用户。单独模式下的每个显示装置100显示与佩戴显示装置100的用户的操作对应的画面。该布置使每个用户能够自由地观看喜爱的画面。同时，在组模式下的每个显示装置100显示与多个用户中的一个用户的操作对应的画面。该布置使多个用户能够在观看共同画面的同时享受相同的用户体验。可以通过在单独模式与组模式之间的用户操作来适当地进行切换。
可以通过任何用户操作或者可以预先设定对组模式中的一个用户的选择。对于前者，组中的用户能在交换用户选择的各个视点的同时享受用户体验。对于后者，例如，可以选择父母作为一个用户，并且可以将孩子设定为另一用户。在这种情况下，父母能为孩子提供丰富的用户体验。作为另一示例，可以预先选择动物园中的导游作为一个用户，并且可以将游客设定为另一用户。
<<5.示例性硬件配置>>
最后，将参照图28描述根据本实施方式的信息处理设备的硬件配置。图28是根据本实施方式的信息处理设备的示例性硬件配置的框图。注意，图28所示的信息处理设备900能实现例如图3所示的显示装置100、图4所示的输出装置200或图6所示的观察装置300。根据本实施方式的显示装置100、输出装置200或观察装置300的信息处理利用下面将描述的软件和硬件的协作来实现。
如图28所示，信息处理设备900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外，信息处理设备900包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储器件908、驱动器909、连接端口911和通信装置913。代替CPU 901之外或者除了CPU 901之外，信息处理设备900可以包括诸如DSP或ASIC的电路和处理电路。
CPU 901用作算术处理装置和控制装置，并根据各种程序控制信息处理设备900中的整个操作。此外，CPU 901可以是微处理器。ROM 902存储例如CPU 901要使用的程序和算术参数。RAM 903临时存储例如在执行CPU 901时使用的程序以及在执行中适当变化的参数。例如，CPU 901能形成图3所示的控制单元150、图4所示的控制单元250或图6所示的控制单元340。
CPU 901、ROM 902、RAM 903通过包括例如CPU总线的主机总线904a相互连接。主机总线904a通过桥接器904连接到外部总线904b，诸如外围部件互连/接口(PCI)总线。注意，主机总线904a、桥接器904和外部总线904b不一定需要分离，因此这些功能可以在一个总线中实现。
输入装置906通过例如用户输入信息的装置(诸如鼠标、键盘、触摸板、按钮、麦克风、开关或控制杆)来实现。此外，例如，输入装置906可以是利用红外光或其它无线电波的遥控装置，或者可以是与信息处理设备900的操作兼容的外部连接设备，诸如移动电话或PDA。此外，例如，输入装置906可以包括输入控制电路等，其基于用户利用输入装置输入的信息产生输入信号，以将输入信号输出到CPU 901。信息处理设备900的用户操作输入装置906，使得用户能向信息处理设备900输入各种类型的数据或发出用于处理操作的指令。
作为另一示例，输入装置906能包括检测关于用户的信息的装置。例如，输入装置906能包括各种传感器，诸如图像传感器(例如，相机)、深度传感器(例如，立体相机)、加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、声学传感器、范围传感器、压力传感器和力传感器。此外，输入装置906可以获取关于信息处理设备900自身的状态的信息，诸如信息处理设备900的姿态或行进速度，以及关于信息处理设备900的周围环境的信息，诸如信息处理设备900的环境亮度或噪声。此外，输入装置906可以包括全球导航卫星系统(GNSS)模块，其接收来自GNSS卫星的GNSS信号(例如，来自GPS卫星的全球定位系统(GPS)信号)，并测量包括设备的纬度、经度和高度的位置信息。此外，关于位置信息，例如，输入装置906可以通过Wi-Fi(注册商标)、利用例如移动电话、PHS或智能电话的发送和接收、或者近场通信检测位置。例如，输入装置906能形成图3中所示的传感器单元110、图4中所示的传感器单元210、或图6中所示的传感器单元310。
输出装置907包括能够在视觉上或听觉上向用户通知所获取的信息的设备。该装置的示例包括显示装置(例如CRT显示装置、液晶显示装置、等离子体显示装置、EL显示装置、激光投影仪、LED投影仪或灯)、声音输出装置(诸如扬声器或耳机)以及打印机设备。例如，输出装置907输出从信息处理设备900执行的各种类型的处理获取的结果。具体地，显示装置以各种形式(诸如文本、图像、表格和图形)可视地显示从信息处理设备900执行的各种类型处理获取的结果。另一方面，声音输出装置将包括例如再现声音数据或声学数据的音频信号转换为模拟信号，并在听觉上输出模拟信号。例如，输出装置907能形成图3中所示的输出单元120或图4中所示的输出单元220。
存储器件908是用于数据存储的装置，形成为信息处理设备900的示例性存储单元。存储器件908通过例如磁存储单元装置(诸如HDD)、半导体存储器件、光学存储器件、磁光存储器件等实现。存储器件908可以包括例如存储介质、在存储介质上记录数据的记录器件、从存储介质读取数据的读取器件、以及删除记录在存储介质上的数据的删除器件。存储器件908存储例如要由CPU 901执行的程序和各种类型的数据以及从外部获取的各种类型的数据。例如，存储器件908能形成图3中所示的存储单元140、图4中所示的存储单元240、或图6中所示的存储单元330。
作为存储介质的读写器的驱动器909内置在信息处理设备900中或者从外部附接到信息处理设备900。驱动器909读取记录在其中装载的可移动存储介质(诸如磁盘、光盘、磁光盘或半导体存储器)上的信息，并将该信息输出到RAM 903。此外，驱动器909能在可移动存储介质上写入信息。
作为连接到外部设备的接口的连接端口911用作与能够通过例如通用串行总线(USB)等执行数据传输的外部设备的连接插座。
通信装置913是通信接口，包括例如用于连接到网络920的通信装置等。通信装置913例如是用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。此外，通信装置913可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种类型的通信的调制解调器等。例如，通信装置913能够依照预定协议(诸如TCP/IP等)与因特网或其它通信装置发送和接收信号等。例如，通信装置913能形成图3所示的通信单元130、图4所示的通信单元230或图6所示的通信单元320。
注意，网络920包括有线或无线传输线，用于从连接到网络920的设备发送信息。例如，网络920可以包括公共线路，诸如因特网、电话线网络和卫星通信网络，包括以太网(注册商标)的各种局域网(LAN)、广域网(WAN)等。此外，网络920可以包括专用线网络，诸如互联网协议-虚拟专用网络(IP-VPN)。
上面已经给出了能够实现根据本实施方式的信息处理设备900的功能的示例性硬件配置。每个组成元件可以用通用构件实现，或者可以通过专用于组成元件的功能的硬件来实现。因此，根据执行本实施方式的技术水平，能适当地改变硬件配置以供使用。
注意，能准备用于实现如上所述的根据本实施方式的信息处理设备900中的每个功能的计算机程序，以便在例如PC中实现。此外，能提供存储计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘、闪存等。此外，计算机程序可以例如通过网络而不是记录介质来分发。
<<6.总结>>
上面已经参照图1至图28详细描述了本公开的实施方式。如上所述，根据本实施方式的显示装置100在显示包括观察目标的拍摄图像的画面的同时识别佩戴显示装置100的用户的操作。具体地，显示装置100基于用户操作的识别目标与标准位置之间的距离来控制画面中的观察目标的尺寸。用户操作识别目标并改变到标准位置的距离，从而能容易地改变画面中观察目标的尺寸。以这种方式，实现了对虚拟空间中的目标的距离感的顺畅控制。
具体地，随着识别目标与标准位置之间的距离变长，显示装置100可以放大画面中的观察目标，并且随着识别目标与标准位置之间的距离缩短，可以减小画面中的观察目标。因此，识别目标与标准位置之间的距离与画面中的观察目标的尺寸之间的结合使用户能够直观地控制到虚拟空间中的目标的距离感。
此外，识别目标可以是手指形成环的用户的手。该布置使用户能够利用简单的手势来控制到虚拟空间中的目标的距离感。
此外，在对观察目标的预定区域的预定操作被识别情况下，输出装置200能输出模仿在触摸观察目标时获取的触感的触觉信息。该布置使用户能够以逼真的感觉享受用户体验，就像用户已经接近并触摸观察目标一样，即使在远离观察目标时。
以上参照附图详细描述了本公开的优选实施方式，但是本公开的技术范围不限于这些示例。明显的是，本公开的技术领域的技术人员能想到权利要求中描述的技术构思的范围内的各种变更或修改，因此应理解，这些合法地属于本公开的技术范围。
例如，根据本实施方式，观察目标是动物园中的动物，但是本技术不限于该示例。例如，观察目标可以是音乐会场地中的艺术家，或者可以是戏剧舞台中的演员。
例如，根据本实施方式，已经描述了显示包括由观察装置300实时拍摄的拍摄图像的画面的显示装置100，但是本技术不限于该示例。例如，显示装置100可以显示诸如电影或游戏的内容，并且用户可以利用上述手势控制内容的显示倍率。
注意，本说明书中描述的每个装置可以作为独立装置来实现，或者部分或全部可以每个实现为单独的装置。例如，在图3所示的显示装置100的示例性功能配置中，存储单元140和控制单元150可以包括在通过例如网络连接到传感器单元110和输出单元120的信息处理设备(例如服务器)中。在这种情况下，服务器根据收到的信息从观察装置300接收观察信息，从输出装置200和显示装置中的每个接收感测信息，并生成用于生成画面(诸如观察画面)的显示控制信息以及触觉信息。然后，服务器将显示控制信息发送到显示装置以使输出单元120输出显示控制信息，并将触觉信息发送到输出装置200用于输出。对输出装置200和观察装置300进行类似的方式。
此外，在本说明书中利用序列图描述的处理不一定以所示顺序执行。一些处理步骤可以并行执行。此外，可以采用附加处理步骤，并且可以省略部分处理步骤。
此外，本说明书中描述的效果仅是解释性或示例性的，因此不是限制性的。也就是，除了所述效果之外或者代替所述效果，根据本公开的技术具有从本说明书中的描述对本领域技术人员明显的其它效果。
注意，以下配置属于本公开的技术范围。
(1)
一种信息处理设备，包括：
识别单元，配置为识别佩戴显示装置的用户的操作；以及
输出控制单元，配置为在使显示装置显示包括观察目标的拍摄图像的画面的同时基于用户操作的识别目标与标准位置之间的距离控制画面中观察目标的尺寸。
(2)
上述(1)中描述的信息处理设备，
其中随着识别目标与标准位置之间的距离变长，输出控制单元放大画面中的观察目标，并且随着识别目标与标准位置之间的距离缩短，减小画面中的观察目标。
(3)
上述(1)或(2)中描述的信息处理设备，
其中识别目标与标准位置之间的距离是标准位置与识别目标之间在标准方向上的距离，以及
输出控制单元基于识别目标在与标准方向正交的方向上的位置控制画面中观察目标的尺寸的控制的中心位置。
(4)
上述(3)中描述的信息处理设备，
其中输出控制单元显示指示中心位置的信息。
(5)
上述(1)至(4)中任一项所述的信息处理设备，
其中标准位置是佩戴在用户身上的显示装置的位置。
(6)
上述(1)至(5)中任一项所述的信息处理设备，
其中识别目标是预定形状的用户的手。
(7)
上述(6)中描述的信息处理设备，
其中识别目标是手指形成环的用户的手，以及
输出控制单元还基于环的姿势控制画面中观察目标的尺寸。
(8)
上述(1)至(7)中任一项所述的信息处理设备，
其中输出控制单元控制拍摄图像的成像倍率，从而控制画面中观察目标的尺寸。
(9)
(1)至(8)中任一项所述的信息处理设备，
其中在识别出对观察目标的预定区域的预定操作的情况下，输出控制单元使输出装置输出模仿在触摸观察目标时获取的触感的触觉信息。
(10)
上述(9)中描述的信息处理设备，
其中输出控制单元使指示对观察目标执行预定操作的用户的手的图像被叠加显示在观察目标上。
(11)
上述(9)或(10)中描述的信息处理设备，
其中观察目标是动物，以及
触觉信息包括观察目标的心跳、体温或体表感觉中的至少任一种。
(12)
上述(9)至(11)中任一项所述的信息处理设备，
其中输出控制单元使指示允许预定操作的信息与预定区域相关联地显示。
(13)
上述(12)中描述的信息处理设备，
其中输出控制单元基于画面中的观察目标的尺寸来控制指示允许预定操作的信息的细节程度。
(14)
上述(9)至(13)中任一项所述的信息处理设备，
其中输出装置佩戴在用户的手上，并且包括振动产生装置、热产生装置或感觉产生装置中的至少任一种。
(15)
上述(1)至(14)中任一项所述的信息处理设备，
输出控制单元使包括与多个候选图像拍摄装置对应的多个显示对象的画面被显示，所述多个候选图像拍摄装置可能成为由显示装置显示的拍摄图像的提供源，以及
识别单元将用户的预定操作识别为所显示的所述多个显示对象中的一个显示对象，作为对候选图像拍摄装置的选择操作。
(16)
上述(15)中描述的信息处理设备，
其中输出控制单元使与候选图像拍摄装置对应的显示对象显示在与画面中的候选图像拍摄装置的安装位置对应的位置处。
(17)
上述(15)中描述的信息处理设备，
其中所述输出控制单元使包括由所述候选图像拍摄装置拍摄的拍摄图像在内的所述显示对象以与如下角度相对应的高度而并列显示，所述角度为所述候选的拍摄装置的拍摄方向与垂直方向的角度。
(18)
上述(1)至(17)中任一项所述的信息处理设备，
其中显示装置包括：第一图像传感器，配置为拍摄用户的眼睛；以及第二图像传感器，配置为拍摄识别目标。
(19)
一种由处理器执行的信息处理方法，该信息处理方法包括：
识别佩戴显示装置的用户的操作；以及
在使显示装置显示包括观察目标的拍摄图像的画面的同时，基于用户操作的识别目标与标准位置之间的距离来控制画面中的观察目标的尺寸。
(20)
一种记录介质，其用于存储使计算机作为以下单元而发挥作用的程序：
识别单元，配置为识别佩戴显示装置的用户的操作；以及
输出控制单元，配置为在使显示装置显示包括观察目标的拍摄图像的画面的同时基于用户操作的识别目标与标准位置之间的距离来控制画面中的观察目标的尺寸。
参考标记列表
1 系统
10 围栏
100 显示装置
110 传感器单元
111 向内相机
112 外向相机
120 输出单元
121 显示单元
130 通信单元
140 存储单元
150 控制单元
151 识别单元
153 输出控制单元
200 输出装置
210 传感器单元
220 输出单元
230 通信单元
240 存储单元
250 控制单元
300 观察装置
310 传感器单元
320 通信单元
330 存储单元
340 控制单元
700 识别目标。

Claims (20)

1.一种信息处理设备，包括：
识别单元，配置为识别佩戴显示装置的用户的操作；以及
输出控制单元，配置为在使显示装置显示包括观察目标的拍摄图像的画面的同时基于用户操作的识别目标与标准位置之间的距离而控制所述画面中的观察目标的尺寸。
2.根据权利要求1所述的信息处理设备，
随着所述识别目标与所述标准位置之间的距离变长，所述输出控制单元放大所述画面中的所述观察目标，并且随着所述识别目标与所述标准位置之间的所述距离缩短，所述输出控制单元减小所述画面中的所述观察目标。
3.根据权利要求1所述的信息处理设备，
其中所述识别目标与所述标准位置之间的距离是所述标准位置与所述识别目标之间在标准方向上的距离，以及
所述输出控制单元基于所述识别目标在与所述标准方向正交的方向上的位置而对所述画面中的所述观察目标的尺寸控制的中心位置进行控制。
4.根据权利要求3所述的信息处理设备，
其中所述输出控制单元显示指示所述中心位置的信息。
5.根据权利要求1所述的信息处理设备，
其中所述标准位置是佩戴在所述用户上的所述显示装置的位置。
6.根据权利要求1所述的信息处理设备，
其中所述识别目标是预定形状的所述用户的手。
7.根据权利要求6所述的信息处理设备，
其中所述识别目标是手指形成环的所述用户的手，以及
所述输出控制单元还基于所述环的姿势而对所述画面中的所述观察目标的尺寸进行控制。
8.根据权利要求1所述的信息处理设备，
其中所述输出控制单元控制所述拍摄图像的成像倍率，从而控制所述画面中的所述观察目标的尺寸。
9.根据权利要求1所述的信息处理设备，
其中在识别出对所述观察目标的预定区域的预定操作的情况下，所述输出控制单元使输出装置输出触觉信息，所述触觉信息模仿在触摸所述观察目标时获取的触感。
10.根据权利要求9所述的信息处理设备，
其中所述输出控制单元使指示所述用户的手的图像叠加显示在所述观察目标上，所述用户的手对所述观察目标执行所述预定操作。
11.根据权利要求9所述的信息处理设备，
其中所述观察目标是动物，以及
所述触觉信息包括所述观察目标的心跳、体温或体表感觉中的至少任一种。
12.根据权利要求9所述的信息处理设备，
其中所述输出控制单元使指示允许所述预定操作的信息与所述预定区域相关联地显示。
13.根据权利要求12所述的信息处理设备，
其中所述输出控制单元基于所述画面中的所述观察目标的尺寸来对指示允许所述预定操作的所述信息的细节程度进行控制。
14.根据权利要求9所述的信息处理设备，
其中所述输出装置佩戴在所述用户的手上，并且包括振动产生装置、热产生装置或感觉产生装置中的至少任一种。
15.根据权利要求1所述的信息处理设备，
其中所述输出控制单元使包括与多个候选图像拍摄装置对应的多个显示对象的画面被显示，所述多个候选图像拍摄装置可能成为由所述显示装置显示的所述拍摄图像的提供源，以及
所述识别单元将所述用户的预定操作识别为所述候选图像拍摄装置的选择操作，所述用户的预定操作为向所显示的多个所述显示对象中的一个显示对象进行的操作。
16.根据权利要求15所述的信息处理设备，
其中所述输出控制单元使与所述候选图像拍摄装置对应的所述显示对象显示在所述画面中的与所述候选图像拍摄装置的安装位置对应的位置处。
17.根据权利要求15所述的信息处理设备，
其中所述输出控制单元使每个包括由所述候选图像拍摄装置拍摄的拍摄图像的所述显示对象以与如下角度相对应的高度而并列显示，所述角度为所述候选图像拍摄装置的拍摄方向与垂直方向的角度。
18.根据权利要求1所述的信息处理设备，
其中所述显示装置包括：第一图像传感器，配置为拍摄用户的眼睛；以及第二图像传感器，配置为拍摄所述识别目标。
19.一种信息处理方法，其由处理器执行，所述信息处理方法包括：
识别佩戴显示装置的用户的操作；以及
在使所述显示装置显示包括观察目标的拍摄图像的画面的同时，基于用户操作的识别目标与标准位置之间的距离而控制所述画面中的所述观察目标的尺寸。
20.一种记录介质，其用于存储使计算机作为以下单元而发挥作用的程序：
识别单元，配置为识别佩戴显示装置的用户的操作；以及
输出控制单元，配置为在使所述显示装置显示包括观察目标的拍摄图像的画面的同时基于用户操作的识别目标与标准位置之间的距离来控制所述画面中的所述观察目标的尺寸。
CN201880011754.3A 2017-02-16 2018-01-25 信息处理设备、信息处理方法和记录介质 Active CN110506249B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017027238 2017-02-16
JP2017-027238 2017-02-16
PCT/JP2018/002198 WO2018150831A1 (ja) 2017-02-16 2018-01-25 情報処理装置、情報処理方法及び記録媒体

Publications (2)

Publication Number Publication Date
CN110506249A true CN110506249A (zh) 2019-11-26
CN110506249B CN110506249B (zh) 2022-07-19

Family

ID=62982701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880011754.3A Active CN110506249B (zh) 2017-02-16 2018-01-25 信息处理设备、信息处理方法和记录介质

Country Status (5)

Country Link
US (1) US11170580B2 (zh)
JP (1) JP7095602B2 (zh)
CN (1) CN110506249B (zh)
DE (1) DE102018103572A1 (zh)
WO (1) WO2018150831A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
JP7210153B2 (ja) * 2018-04-04 2023-01-23 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
USD902221S1 (en) * 2019-02-01 2020-11-17 Apple Inc. Electronic device with animated graphical user interface
JP7377615B2 (ja) * 2019-03-27 2023-11-10 株式会社Subaru 車両の非接触操作装置、および車両
CN110124305B (zh) * 2019-05-15 2023-05-12 网易（杭州）网络有限公司 虚拟场景调整方法、装置、存储介质与移动终端
US11042746B2 (en) * 2019-06-05 2021-06-22 International Business Machines Corporation Presenting information on object to be observed
US11321927B1 (en) * 2019-09-23 2022-05-03 Apple Inc. Temporal segmentation
JP2024509401A (ja) 2021-02-25 2024-03-01 デイホリ ゲーエムベーハー 仮想現実を表示する方法及びシステム
DE102022100108A1 (de) 2021-02-25 2022-08-25 DAYHOLI GmbH Verfahren zur Darstellung einer virtuellen Realität
WO2023276116A1 (ja) * 2021-07-01 2023-01-05 三菱電機ビルソリューションズ株式会社 遠隔支援装置および遠隔支援方法
CN117836837A (zh) * 2021-08-26 2024-04-05 株式会社半导体能源研究所 显示装置及电子设备
US20230221566A1 (en) * 2022-01-08 2023-07-13 Sony Interactive Entertainment Inc. Vr headset with integrated thermal/motion sensors
WO2023223933A1 (ja) * 2022-05-18 2023-11-23 ソニーグループ株式会社 情報処理方法、情報処理装置、通信システム及びコンピュータプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308141A (ja) * 2002-04-17 2003-10-31 Seiko Epson Corp 力覚提示装置
US20140225812A1 (en) * 2013-02-12 2014-08-14 Seiko Epson Corporation Head mounted display, control method for head mounted display, and image display system
US20150062165A1 (en) * 2013-08-29 2015-03-05 Seiko Epson Corporation Image processing device and head mounted display apparatus including the same
EP2953098A1 (en) * 2013-02-01 2015-12-09 Sony Corporation Information processing device, terminal device, information processing method, and programme
CN105144696A (zh) * 2013-04-30 2015-12-09 索尼公司 客户端、显示控制方法、程序和系统
CN105653029A (zh) * 2015-12-25 2016-06-08 乐视致新电子科技（天津）有限公司 在虚拟现实系统中获得沉浸感的方法、系统及智能手套
US20160224123A1 (en) * 2015-02-02 2016-08-04 Augumenta Ltd Method and system to control electronic devices through gestures
US20160225167A1 (en) * 2015-02-03 2016-08-04 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2016136838A1 (ja) * 2015-02-25 2016-09-01 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
CN106255940A (zh) * 2014-05-09 2016-12-21 索尼公司 信息处理系统以及信息处理方法
CN106415510A (zh) * 2014-05-30 2017-02-15 三星电子株式会社 数据处理方法及其电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188869A (ja) * 1997-09-04 1999-03-30 Canon Inc 映像通信システム及び情報表示装置
US9823739B2 (en) 2013-04-04 2017-11-21 Sony Corporation Image processing device, image processing method, and program
US10055018B2 (en) 2014-08-22 2018-08-21 Sony Interactive Entertainment Inc. Glove interface object with thumb-index controller
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
KR20160139727A (ko) * 2015-05-28 2016-12-07 엘지전자 주식회사 글래스타입 단말기 및 이의 제어방법
WO2017086508A1 (ko) * 2015-11-19 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9990815B2 (en) * 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308141A (ja) * 2002-04-17 2003-10-31 Seiko Epson Corp 力覚提示装置
EP2953098A1 (en) * 2013-02-01 2015-12-09 Sony Corporation Information processing device, terminal device, information processing method, and programme
US20140225812A1 (en) * 2013-02-12 2014-08-14 Seiko Epson Corporation Head mounted display, control method for head mounted display, and image display system
CN105144696A (zh) * 2013-04-30 2015-12-09 索尼公司 客户端、显示控制方法、程序和系统
US20150062165A1 (en) * 2013-08-29 2015-03-05 Seiko Epson Corporation Image processing device and head mounted display apparatus including the same
CN106255940A (zh) * 2014-05-09 2016-12-21 索尼公司 信息处理系统以及信息处理方法
CN106415510A (zh) * 2014-05-30 2017-02-15 三星电子株式会社 数据处理方法及其电子设备
US20160224123A1 (en) * 2015-02-02 2016-08-04 Augumenta Ltd Method and system to control electronic devices through gestures
US20160225167A1 (en) * 2015-02-03 2016-08-04 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2016136838A1 (ja) * 2015-02-25 2016-09-01 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
CN105653029A (zh) * 2015-12-25 2016-06-08 乐视致新电子科技（天津）有限公司 在虚拟现实系统中获得沉浸感的方法、系统及智能手套

Also Published As

Publication number Publication date
JP7095602B2 (ja) 2022-07-05
CN110506249B (zh) 2022-07-19
WO2018150831A1 (ja) 2018-08-23
US20200258314A1 (en) 2020-08-13
US11170580B2 (en) 2021-11-09
JPWO2018150831A1 (ja) 2019-12-12
DE102018103572A1 (de) 2018-08-16

Similar Documents

Publication Publication Date Title
CN110506249A (zh) 信息处理设备、信息处理方法和记录介质
JP7002684B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
JP7348261B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
US10356398B2 (en) Method for capturing virtual space and electronic device using the same
CN105264460B (zh) 全息图对象反馈
JP2022164671A (ja) 視野周辺の視覚的背光
JP2022502800A (ja) 拡張現実のためのシステムおよび方法
CN105393192A (zh) 用于近眼显示器的网状分层菜单显示配置
CN105378801A (zh) 全息图快照网格
WO2022245642A1 (en) Audio enhanced augmented reality
JP2023515578A (ja) 表示される２ｄ要素のための３ｄモデル
US20240095877A1 (en) System and method for providing spatiotemporal visual guidance within 360-degree video
CN117331434A (zh) 在3d环境内定位内容

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant