CN105103198A - 显示控制装置、显示控制方法以及程序 - Google Patents

Abstract

[问题]为了有助于利用了AR技术的用户交互。[解决方案]提供了一种显示控制装置，该显示控制装置包括显示控制单元，当基于真实空间的捕获图像的图像被显示在显示单元上时，如果对捕获图像的注释的目标位置位于通过显示单元对用户可见的范围之外，则该显示控制单元向图像添加显示，以指示存在注释。

Description

显示控制装置、显示控制方法以及程序

技术领域

本公开内容涉及显示控制装置、显示控制方法以及程序。

背景技术

近年来，人们注意到了一种称为增强现实(AR)的技术，通过该技术将叠加在真实世界上的附加信息呈现给用户。在AR技术中呈现给用户的信息也称为注释(annotation)，可以使用各种形式的虚拟对象如文本、图标、动画等将该信息可视化。例如，专利文献1公开了一种用于实现对这样的AR的虚拟对象进行操纵而不破坏用户在AR空间中的浸入的技术。

引用列表

专利文献

专利文献1：JP2012-212345A

发明内容

技术问题

专利文献1等中提出的AR技术是最近开发的，并且很难说已经充分提出了在各个方面中利用AR的技术。例如，已经提出的用于帮助使用AR技术的用户之间交互的技术的数量仍然只有一个，因此该技术并不充分。

理想的是提供能够进一步帮助使用AR技术的用户之间交互的新颖的和改进的显示控制装置、新颖的和改进的显示控制方法以及新颖的和改进的程序。

问题的解决方案

根据本公开内容，提供有一种显示控制装置，包括显示控制单元，该显示控制单元被配置成对终端装置的显示单元进行控制。该显示控制单元执行控制以：基于真实空间中与虚拟对象相关联的位置信息来决定经由显示单元显示在真实空间中的虚拟对象的显示位置，并且基于该显示位置将虚拟对象显示在真实空间中，以及在虚拟对象的一部分或全部位于真实空间的可见范围之外时，在该真实空间中显示用于指示存在虚拟对象的通知。

根据本公开内容，提供有一种显示控制方法，包括：由被配置成对终端装置的显示单元进行控制的处理器：基于真实空间中与虚拟对象相关联的位置信息来决定经由显示单元显示在真实空间中的虚拟对象的显示位置，并且基于该显示位置将虚拟对象显示在真实空间中；以及在虚拟对象的一部分或全部位于真实空间的可见范围之外时，在该真实空间中显示用于指示存在虚拟对象的通知。

根据本公开内容，提供有一种程序，该程序使被配置成对终端装置的显示单元进行控制的计算机实现以下功能：基于真实空间中与虚拟对象相关联的位置信息来决定经由显示单元显示在真实空间中的虚拟对象的显示位置，并且基于该显示位置将虚拟对象显示在真实空间中；以及在虚拟对象的一部分或全部位于真实空间的可见范围之外时，在该真实空间中显示用于指示存在虚拟对象的通知。

本发明的有益效果

根据上述本公开内容的实施方式，可以进一步帮助使用AR技术的用户之间的交互。

附图说明

[图1]图1是示出了根据本公开内容的实施方式的系统的示意性配置的图。

[图2]图2是示出了根据本公开内容的实施方式的装置的示意性配置的图。

[图3A]图3A是示出了根据本公开内容的实施方式将捕获图像共享的示例的图。

[图3B]图3B是示出了根据本公开内容的实施方式的注释输入的示例的图。

[图4]图4是示出了根据本公开内容的实施方式将捕获图像共享的另一示例的图。

[图5A]图5A是示出了根据本公开内容的实施方式的可使用的技术的处理的示例的流程图。

[图5B]图5B是示出了根据本公开内容的实施方式的能够使用的技术的处理的示例的流程图。

[图6]图6是示出了根据本公开内容的实施方式的第一人称图像的显示示例的图。

[图7]图7是示出了根据本公开内容的实施方式的第三人称图像的显示示例的图。

[图8]图8是示出了根据本公开内容的实施方式的第三人称图像的显示示例的图。

[图9]图9是示出了根据本公开内容的实施方式的第三人称图像的显示示例的图。

[图10A]图10A是示出了根据本公开内容的实施方式的第一第三人称图像的显示示例的图。

[图10B]图10B是用于描述根据本公开内容的实施方式的第一第三人称图像的图。

[图10C]图10C是用于描述根据本公开内容的实施方式的第一第三人称图像的图。

[图11]图11是示出了根据本公开内容的实施方式将不同视点的图像同时显示的示例的图。

[图12]图12是示出了根据本公开内容的实施方式将不同视点的图像同时显示的示例的图。

[图13]图13是示出了根据本公开内容的实施方式的注释指示的第一示例的图。

[图14]图14是示出了根据本公开内容的实施方式的注释指示的第二示例的图。

[图15]图15是示出了根据本公开内容的实施方式的注释指示的第三示例的图。

[图16]图16是示出了根据本公开内容的实施方式的注释指示的第四示例的图。

[图17]图17是示出了根据本公开内容的实施方式的注释指示的第五示例的图。

[图18]图18是示出了根据本公开内容的实施方式的注释指示的第六示例的图。

[图19]图19是用于描述根据本公开内容的实施方式的注释布置的图。

[图20]图20是示出了根据本公开内容的实施方式的注释布置的选择的示例的图。

[图21]图21是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第一示例的图。

[图22]图22是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第一示例的图。

[图23]图23是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第一示例的图。

[图24]图24是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第二示例的图。

[图25]图25是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第二示例的图。

[图26]图26是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第三示例的图。

[图27]图27是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第三示例的图。

[图28]图28是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第四示例的图。

[图29]图29是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第五示例的图。

[图30]图30是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第六示例的图。

[图31]图31是示出了根据本公开内容的实施方式的可见范围之外的注释指示的应用示例的图。

[图32]图32是示出了根据本公开内容的实施方式的可见范围之外的注释指示的应用示例的图。

[图33]图33是示出了根据本公开内容的实施方式使用边缘检测的注释目标对象的显示示例的图。

[图34]图34是示出了根据本公开内容的实施方式的流式帧(streamingframe)的回滚显示(rollbackdisplay)的示例的图。

[图35]图35是是示出了根据本公开内容的实施方式的流式帧的回滚显示的示例的图。

[图36]图36是示出了用于使用与本公开内容的实施方式相关的技术共享旅客的视点的应用示例的图。

[图37]图37是示出了用于使用与本公开内容的实施方式相关的技术共享登山者的视点的应用示例的图。

[图38]图38是示出了用于使用与本公开内容的实施方式相关的技术共享烹饪的人的视点的应用示例的图。

[图39]图39是示出了用于使用与本公开内容的实施方式相关的技术共享购物的人的视点的应用示例的图。

[图40]图40是示出了用于使用与本公开内容的实施方式相关的技术共享做手工的人的视点的应用示例的图。

[图41]图41是示出了用于使用与本公开内容的实施方式相关的技术改变和共享多个用户的视点的应用示例的图。

[图42]图42是示出了用于使用与本公开内容的实施方式相关的技术改变和共享多个用户的视点的应用示例的图。

[图43]图43是示出了用于使用与本公开内容的实施方式相关的技术改变和共享多个用户的视点的应用示例的图。

[图44]图44是示出了用于使用与本公开内容的实施方式相关的技术改变和共享多个用户的视点的应用示例的图。

[图45]图45是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第一示例的图。

[图46]图46是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第二示例的图。

[图47]图47是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第二示例的图。

[图48]图48是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第三示例的图。

[图49]图49是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第四示例的图。

[图50]图50是示出了根据本公开内容的实施方式使用身体形态(bodyform)的注释相关显示的第一示例的图。

[图51]图51是示出了根据本公开内容的实施方式使用身体形态的注释相关显示的第二示例的图。

[图52]图52是示出了根据本公开内容的实施方式使用身体形态的注释相关显示的第三示例的图。

具体实施方式

在下文中，将参照附图来详细说明本公开内容的优选实施方式。请注意，在本说明书和附图中，具有基本上相同功能和结构的元件用相同的附图标记来表示，并且省略重复的说明。

将按照以下顺序进行描述。

1.系统和装置的配置

1-1.系统的配置

1-2.装置的配置

2.真实空间图像的共享和交互

2-1.交互的概念

2-2.可使用的技术

3.可变视点图像的显示的示例

4.在真实空间中显示注释

4-1.显示示例

4-2.注释布置

5.可见范围之外的注释指示

6.其他显示示例

7.应用的示例

8.输入目标位置与可见范围之间的关系的显示

9.使用身体形态的注释相关显示

10.补充

(1.系统和装置的配置)

(1-1.系统的配置)

图1是示出了根据本公开内容的实施方式的系统的示意性配置的图。参照图1，系统10包括服务器100和客户端200至700。

服务器100是单个服务器装置或者由通过各种有线或无线网络连接的用于协作的多个服务器装置实现的功能的集合。服务器100为客户端200至700提供服务。

客户端200至700是由各种有线或无线网络连接到服务器100的终端装置。客户端200至700实现系统10中的以下(1)至(3)中的至少一个功能。

(1)包括成像单元(如相机)并且将真实空间的图像提供给服务器100的装置。

(2)包括显示单元(如显示器)以及操纵单元(如触摸板)的装置，并且该装置从服务器100获取来自装置(1)提供的图像，将该图像提供给用户以供用户观看该图像，并且接收由用户提供的对图像的注释输入。

(3)包括显示单元(如显示器)的装置，并且该装置间接或直接地将注释显示在真实空间中，该注释的输入由装置(2)接收。

客户端200(在下文中也简单地称为可穿戴式终端200)是可穿戴式终端。可穿戴式终端200包括例如成像单元和显示单元中的一个或两个单元，并且被用作装置(1)至(3)中的一个或两个装置。在图示的示例中，可穿戴式终端200是眼镜型的，但是本公开内容的实施方式并不局限于这个示例，只要可穿戴式终端具有能够被穿戴在用户的身体上的形式即可。当可穿戴式终端200被用作装置(1)时，可穿戴式终端200包括例如安装在眼镜框中的摄像头作为成像单元。可穿戴式终端200可以由摄像头从接近用户的视点的位置获取真实空间的图像。所获取的图像被发送至服务器100。当可穿戴式终端200被用作装置(3)时，可穿戴式终端200包括例如安装在眼镜的镜片部分的一部分或全部中的显示器作为显示单元。可穿戴式终端200将由摄像头捕获的图像显示在显示器上，并且显示由装置(2)输入的注释，以将注释叠加在图像上。可替代地，当显示器是透明类型时，可穿戴式终端200可以显示注释，以将注释透明地叠加在用户直接观看的真实世界的图像上。

客户端300(在下文中也简单地称为平板终端300)是平板终端。平板终端300包括至少显示单元和操纵单元并且可以被用作例如装置(2)。平板终端300还可以包括成像单元并且被用作装置(1)至(3)中的一个或两个装置。即，平板端300可以被用作装置(1)至(3)中的任何装置。当平板终端300被用作装置(2)时，平板终端300包括例如显示器作为显示单元，包括例如显示器上的触摸传感器作为操纵单元，平板终端300显示经由服务器100从装置(1)提供的图像，并且接收由用户针对该图像的注释输入。所接收的注释输入经由服务器100提供给装置(3)。当平板终端300被用作装置(1)时，平板终端300包括例如像可穿戴式终端200中的成像单元那样的摄像头，并且当用户在真实空间中手持平板终端300时可以获取沿着从用户的视线延长的线上的真实空间的图像。所获取的图像被发送至服务器100。当平板终端300被用作装置(3)时，平板终端300将由摄像头捕获的图像显示在显示器上，并且显示由装置(2)(例如，另一平板终端)输入的注释，以将注释叠加在图像上。可替代地，当显示器是透明类型时，平板终端300可以通过将注释透明地叠加在用户直接观看的真实世界的图像上来显示注释。

客户端400(在下文中也简单地称为移动电话400)是移动电话(智能电话)。由于移动电话400在系统10中的功能与平板终端300在系统10中的功能相同，因此将省略对移动电话400的详细描述。尽管未示出，但是例如当装置(如便携式游戏装置或数码相机)也包括通信单元、显示单元以及操纵单元或成像单元时，该装置可以被用作类似于系统10中的平板终端300或移动电话400。

客户端500(在下文中也简单地称为膝上型PC500)是膝上型个人计算机(PC)。膝上型PC500包括显示单元和操纵单元，并且被用作装置(2)。在图示的示例中，由于膝上型PC500基本上以固定的方式来使用，因此将膝上型PC500视为不被用作装置(1)的装置的示例。尽管未示出，但是例如台式PC或电视机也可以被用作膝上型PC500。膝上型PC500包括显示器作为显示单元，包括鼠标或键盘作为操纵单元，膝上型PC500显示经由服务器100从装置(1)提供的图像，并且接收由用户对该图像的注释输入。所接收的注释输入经由服务器100提供给装置(3)。膝上型PC500也可以被用作装置(3)。在这种情况下，膝上型电脑500不是通过将注释叠加在自己捕获的真实空间的图像上来显示注释，而是如下面要描述的示例那样，显示成为真实空间的一部分的注释。注释还可以由平板终端300、移动电话400等来显示。

客户端600(在下文中也简单地称为固定相机600)是固定相机。固定相机600包括成像单元并且被用作装置(1)。在图示的示例中，由于固定相机600被固定地使用并且不包括显示单元，因此将固定相机600视为不被用作装置(2)和(3)的装置的示例。尽管未示出，但是例如当安装了对台式PC的屏幕前方进行投影的相机或者在三脚架等上临时固定了电视或可移动装置(如数码相机)时，该相机或该可移动装置也可以被用作固定相机600。固定相机600包括相机作为成像单元，并且可以获取来自固定视点的真实空间的图像(也包括下述情况：相机自动地摆动或者响应于浏览捕获图像的用户的操纵而摆动)。所获取的图像被发送至服务器100。

客户端700(在下文中也简单地称为投影仪700)是投影仪。投影仪700包括投影装置作为显示单元并且被用作装置(3)。在图示的示例中，由于投影仪700不包括成像单元或者用于接收对显示的(投影的)图像的输入的操纵单元，因此将投影仪700视为不被用作装置(1)和(2)的装置的示例。投影仪700通过使用投影装置将图像投影在屏幕上或对象的表面上来将注释显示在真实空间中。投影仪700被图示为固定型投影仪，但是投影仪700也可以是手持式投影仪。

以上描述了根据本公开内容的实施方式的系统。如图1所示，根据实施方式的系统10可以包括能够获取真实空间的图像装置(可穿戴式终端200、平板终端300、移动电话400或者固定相机600)、能够将真实空间的图像提供给用户以供用户观看该图像并且接收由用户对图像的注释输入的装置(平板终端300、移动电话400或者膝上型PC500)、以及间接或直接地将注释显示在真实空间中的装置(可穿戴式终端200、平板终端300、移动电话400、膝上型PC500或者投影仪700)。

服务器100实现下述功能：通过与前述装置中的每个装置协作而获取真实空间的图像，并且将图像提供给用户，以供用户(例如，不是位于该真实空间中的用户)观看图像；接收由用户对图像的注释输入；以及将输入的注释间接或直接显示在真实空间中。例如，该功能使用AR技术使用户之间能够进行交互，使得第二用户能够观看第一用户所在的真实空间的图像，并且将第二用户添加到图像的注释直接或间接地显示在该真实空间中以供第一用户观看。

将描述前述系统10中显示的AR图像(例如，其中在真实空间的图像中显示了注释的图像)的具体示例。在图示的示例中的系统10中，主要由服务器100进行用于形成AR图像的图像处理。然而，在另一示例中，图像处理的一部分或者全部可以由例如用于将注释显示在真实空间中的装置(3)以及用于显示真实空间的图像并且接收注释输入的装置(2)来执行。

(1-2.装置的配置)

图2是示出了根据本公开内容的实施方式的装置的示意性配置的图。参照图2，装置900包括处理器910和存储器920。装置900还可以包括显示单元930、操纵单元940、通信单元950、成像单元960或者传感器970。这些组成元件通过总线980彼此连接。例如，装置900可以实现用于配置上述服务器100的服务器装置以及客户端200至700中的任何客户端。

例如，处理器910是各种处理器，如中央处理单元(CPU)和数字信号处理器(DSP)中的任何处理器，并且例如通过执行运算(如算术计算)以及根据存储器920中存储的程序执行控制来实现各种功能。例如，处理器910实现控制上述所有装置、服务器100以及客户端200至700的控制功能。例如，在服务器100中，处理器910执行图像处理以实现对以下要描述的AR图像的显示。例如，处理器910执行显示控制以实现对下面要描述的在服务器100、可穿戴式终端200、平板终端300、移动电话400、膝上型电脑500或者投影仪700中的示例的AR图像的显示。

存储器920被配置为存储介质，如半导体存储器或硬盘，并且存储装置900用来执行处理的程序和数据。存储器920可以存储例如由成像单元960获取的捕获图像数据或者由传感器970获取的传感器数据。本说明书中描述的一些程序和数据可以从外部数据源(例如，数据服务器、网络存储装置或者外部连接的存储器)获取，而不是存储在存储器920中。

例如，显示单元930被设置包括在上述显示单元的客户端中。显示单元930可以是例如与装置900的形状对应的显示器。例如，对于上述示例，可穿戴式终端200可以包括例如具有与眼镜的镜片部分对应形状的显示器。在平板终端300、移动电话400或者膝上型PC500中的每一种情况下可以包括设置的平板型显示器。可替代地，显示单元930可以是将图像投影在对象上的投影装置。在前述示例中，投影仪700可以包括投影装置作为显示单元。

例如，操纵单元940被设置在包括上述操纵单元的客户端中。在必要时，操纵单元940被配置在触摸传感器(连同显示器一起形成触摸板)中，该触摸传感器被设置在显示器或指示装置(如触摸垫或鼠标)上，以与键盘、按钮、开关等结合。例如，操纵单元940通过指示装置指定在显示单元930上显示的图像中的位置，并且接收使用键盘、按钮、开关等在该位置输入任何信息的用户操纵。可替代地，操纵单元940可以通过指示装置指定在显示单元930上显示的图像中的位置，并且进一步接收使用该指示装置在该位置输入任何信息的用户操纵。

通信单元950是传递由装置900与其他装置的通信的通信接口。通信单元950支持任何无线通信协议或任何有线通信协议，并且建立与另一装置的通信连接。在前述示例中，通信单元950用于将输入注释信息或者由客户端捕获的真实空间的图像发送至服务器100，并且将真实空间的图像或注释信息从服务器100发送至客户端。

成像单元960是捕获图像的相机模块。成像单元960使用图像传感器，如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)，将真实空间进行成像并且生成捕获图像。由成像单元960生成的一系列捕获图像形成视频。成像单元960可以不必是装置900中的一部分。例如，以有线或无线方式连接到装置900的成像装置可以被视为成像单元960。成像单元960可以包括深度传感器，该深度传感器针对每个像素测量成像单元960与主体之间的距离。从深度传感器输出的深度数据可以用于识别通过对真实空间进行成像而获得的图像中的环境，如下面将要描述的。

传感器970可以包括各种传感器，如定位传感器、加速度传感器以及陀螺仪传感器。从传感器970获得的测量结果可以用于各种用途，如支持对通过将真实空间进行成像而获得的图像中的环境的识别、支持对特定于地理位置的数据的获取、以及支持对用户输入的检测。可以将传感器970设置在包括成像单元960的装置中，成像单元960例如是前述示例中的可穿戴式终端200、平板终端300、移动电话400或者固定相机600。

(2.真实空间图像的共享和交互)

接着，将参照图3A至图4来描述根据本公开内容的实施方式的交互的基本概念。

(2-1.交互的概念)

图3A是示出了根据本公开内容的实施方式将捕获图像进行共享的示例的图。在图示的示例中，由可穿戴式终端200的摄像头260(成像单元)捕获的真实空间的图像经由服务器100以流的形式传递到平板终端300，并且在显示器330(显示单元)上被显示为图像1300。此时，在可穿戴式终端200中，捕获的真实空间的图像被显示在显示器230(显示单元)上，或者说真实空间的图像被通过显示器230发送以便被直接观看。在下文中将该实例中在显示装置230上显示的图像(包括发送和观看的背景)称为图像1200。

图3B是示出了根据本公开内容的实施方式的注释输入的示例的图。在平板终端300中，触摸传感器340被设置在显示器330(操纵单元)上，并且因此可以获取用户在显示在显示器330上的图像1300上的触摸输入。在图示的示例中，由触摸传感器340获取用户指向图像1300中的某个位置的触摸输入，并且从而将指针1310显示在这个位置处。例如，将使用单独显示的屏幕键盘等输入的文字在图像1300中显示为评论1320。将指针1310和评论1320作为注释经由服务器100发送至可穿戴式终端200。

在可穿戴式终端200中，用平板终端300输入的注释在图像1220中被显示为指针1210和评论1200。这些注释在图像1200中被显示的位置与用平板终端300将真实空间显示在图像1300中的位置对应。从而在作为发送侧(流传输侧)装置的可穿戴式终端200与作为接收侧(观看方侧)装置的平板终端300之间建立了交互。下面将描述在该示例中可以用于使注释的显示位置在装置之间彼此对应或者连续地显示注释的技术。

图3B是示出了根据本公开内容的实施方式将捕获图像进行共享的另一示例的图。在图示的示例中，由平板终端300a的摄像头(未示出的成像单元，因为该成像单元位于背面侧)捕获的真实空间的图像被以流的形式传递到平板终端300b，并且在显示器330b(显示单元)上被显示为图像1300b。此时，在平板300a中，捕获的真实空间的图像被显示在显示器330a上，或者说真实空间的图像被通过显示器330a发送以便被直接观看。此时，显示在显示器330a上的图像(包括发送和观看的背景)在下文中被称为图像1300a。即使在图示的示例中，用平板终端300b对图像1300b的注释输入被显示在图像1300a中，从而在作为发送侧(流传输侧)装置的平板终端300a与作为接收侧(观看方侧)装置的平板终端300b之间建立了交互。

根据实施方式对真实空间的图像的共享以及基于图像的共享而在用户之间进行的交互不限于前述关于可穿戴式终端200和平板终端300的示例，而是可以使用任何装置作为发送侧(流传输侧)装置和接收侧(观察者侧)装置来建立，只要实现移动电话400、膝上型PC500，固定相机600或者投影仪700的功能(例如，上述装置(1)至(3)的功能)即可。

(2-2.可使用的技术)

在实施方式中，几种技术用于实现上述对真实空间的图像的交互和共享。首先，在实施方式中，空间信息被添加到发送侧装置中要发送的真实空间的图像数据中。空间信息是使得能够估计发送侧装置的成像单元(图3A和3B的示例中的可穿戴式终端200的摄像头260以及图4的示例中的平板终端300a的摄像头)在真实空间中的运动的信息。

例如，空间信息可以是由已知的图像识别技术，如运动恢复结构(structureformmotion)(SfM)方法或即时定位与地图构建(SLAM)方法，所识别的环境识别矩阵。例如，环境识别矩阵指示基准环境(criterionenvironment)(真实空间)的坐标系相对于发送侧装置唯一的坐标系的相对位置和姿势。例如，当使用SLAM方法时，发送侧装置的处理器基于扩展卡尔曼滤波器(extendedKalmanfilter)的原理，针对捕获图像的每一帧，更新装置的位置、姿态、速度和角速度以及状态变量，该状态变量包括捕获图像中所包括的至少一个特征点的位置。因此，可以使用来自单镜头相机的输入图像来识别基准环境的位置和姿态，对于该基准环境，装置的位置和姿态被用作基准。例如，在“Real-TimeSimultaneousLocalizationandMappingwithaSingleCamera”(AndrewJ.Davison在计算机视觉2003年第2卷1403页至1410页的第9届IEEE国际会议论文集)中详细描述了SLAM。

此外，可以将指示成像单元在真实空间中的相对位置和姿势的任何信息用作空间信息。例如，可以基于来自设置在成像单元中的深度传感器的深度数据来识别环境识别矩阵。还可以基于来自环境识别系统(如红外测距系统或运动捕获系统)的输出数据来识别环境识别矩阵。在例如由S.Izadi等在2011年的KinectFusioninACMSymposiumonUserInterfaceSoftwareandTechnology中的Real-time3DReconstructionandInteractionUsingaMovingDepthCamera中描述了这样的技术的示例。

可替代地，可以通过将对真实空间进行成像而获得的一系列帧图像进行拼接分析(stitchinganalysis)以指定各图像帧之间的相对位置关系来生成空间信息。在这种情况下，拼接分析可以是2维拼接分析，其中每个帧图像被张贴到基准平面，或者拼接分析可以是三维拼接分析，其中每个帧图像被张贴到空间中的任何位置。

在下文中，将参照图5A的流程图使用图3A和图3B的示例来说明与前述技术相关的发送侧装置、接收侧装置以及服务器的处理的示例。前述技术可以应用于上述系统10中的任何装置的组合而无论图3A和3B的示例如何。

首先，在可穿戴式终端200(发送侧装置)中，成像单元获取真实空间的图象数据，并且在必要时由处理器对成像单元或传感器获取的信息进行处理，以生成空间信息(步骤S101)。图像数据和空间信息可以被彼此关联，并且从可穿戴式终端200的通信单元发送至服务器100(步骤S103)。在服务器100中，通信单元从可穿戴式终端200接收图像数据和空间信息，并且将图像数据传输到平板终端300(接收侧装置)(步骤S105)。在服务器100中，处理器使用空间信息将所接收的图像中的位置与可穿戴式终端200所在的真实空间的位置进行关联(步骤S107)。

在平板终端300中，通信单元从服务器100接收图像数据，并且处理器基于所接收的图像数据将图像1300显示在显示器330上(步骤S109)。此处，当由触摸传感器340获取到用户对图像1300的注释输入(步骤S111)时，处理器将注释输入从通信单元发送至服务器100，以与图像1300中的位置(例如，指针1310的位置)进行关联(步骤S113)。

在服务器100中，当通信单元接收到关于从平板终端300发送的注释输入和图像中的位置的信息时，处理器将包括在所接收的信息中的图像中的位置转换成真实空间的位置(步骤S115)。将与转换后的真实空间的位置相关联的注释输入从通信单元发送至可穿戴式终端200(步骤S117)。

在可穿戴式终端200中，通信单元从服务器100接收关于注释输入和真实空间的位置的信息，并且处理器使用空间信息将与注释信息相关联的真实空间的位置转换成当前显示在显示器230上的图像1200中的位置(步骤S119)，并在将注释(例如，指针1210或评论1220)显示在该位置处(步骤S121)。

图5B中示出了前述处理的另一示例。在这个示例中，服务器100的处理器将图像中的位置与真实空间的位置进行关联，然后通信单元将与图像中包括的真实空间的位置有关的信息连同图像数据一起发送至平板终端300(步骤S201)。在平板终端300中，如图5A的前述示例那样，图像被显示在显示器330上(步骤S109)。然而，注释输入被与步骤S201中接收的真实空间的位置相关联地发送，而不是与图像中的位置相关联地发送(步骤S203)。因此，在服务器100中，通信单元可以将与真实空间的位置所关联的注释输入有关的信息发送至穿戴式终端200(步骤S205)。

(第一有益效果)

在上述技术中，存在几个有益效果。例如，真实空间的图像是由可穿戴式终端200获取的，然后对该图像的注释是由平板终端300输入的。另外，在许多情况下，在注释被发送至可穿戴式终端200之前出现时间差。

因此，当使用图像中的位置作为基准来发送和接收注释时，由于在上述时间差期间用户或装置的运动，用可穿戴式终端200显示的图像1200的范围被改变。因此，从平板终端300发送的注释在可穿戴式终端200中显示的位置与观看图像1300的平板终端300的用户期望的位置不同。

然而，当应用前述技术时，可以将注释与真实空间的位置相关联。因此，不论图像1200的显示范围如何改变，即使在可穿戴式终端200中，也可以将注释显示在由观看图像1300的可穿戴式终端300的用户期望的位置(例如，与真实空间中的特定对象对应的位置)处。

(第二有益效果)

例如，当用可穿戴式终端200显示的真实空间的图像1200与通过显示器230发送的真实空间的图像协作并且被直接观看，或者被在显示器230之外观看并且被显示在显示器230上时，在某些情况下，图像1200的范围可以比由可穿戴式终端200的摄像头260成像的真实空间的范围更窄(即，捕获图像的范围比可穿戴式终端200的用户观看的范围更广)。

在这样的情况下，显示在平板终端300的显示器330上的图像1300的范围变得比可穿戴式终端200的图像1200的范围更广，使平板终端300的用户能够在图像1200之外输入注释，即，在不被可穿戴式终端200的用户观看的范围内输入注释。因此，当使用图像中的位置作为基准来发送和接收注释时，可以在平板终端300中进行输入，但是可能会生成不在穿戴式终端200的图像1200中显示的注释。

与此相反，当应用前述技术时，可以将注释与真实空间的位置进行关联。因此，即使对于在服务器100或可穿戴式终端200接收时不在图像1200的显示范围中的位置处的注释，也可以显示图像1200，例如，当图像1200的显示范围随后被改变并且包括注释的位置时。

在前述技术中，有益效果不限于上述有益效果，而是可以根据使用情况而获得其他有益效果。这样的有益效果可以在下面的描述中清楚地表示或者提出。

(3.可变视点图像的显示的示例)

接着，将参照图6至图12来描述根据实施方式的可变视点图像的显示。在实施方式中，如上所述，发送侧装置将空间信息添加到真实空间的图像数据中以发送该空间信息。空间信息是例如指示发送侧装置的成像单元在真实空间中的位置和姿势的信息。当使用该信息时，如以下将描述的那样，可以在自由视点处生成其中真实空间被观察的图像，而与要提供给接收侧装置的第一人称图像的视点(其是由成像单元捕获的真实空间的图像)无关。

在以下描述中，将使用图3A和图3B中示出的示例来描述发送侧装置、接收侧装置以及服务器的操作。相同的配置可以通过将上述系统10的任何装置进行组合来实现，而不局限于图3A和图3B的示例。

(第一人称图像)

图6是示出了根据本公开内容的实施方式的第一人称图像的显示示例的图。在图6中，示出了第一人称图像1010。第一人称图像1010是由可穿戴式终端200(发送侧装置)的摄像头260捕获的图像。由于第一人称图像1010可以与用可穿戴式终端200显示在显示器230上的图像1200相同，因此在本说明书中将第一人称图像1010称为“第一人称图像”。由于第一人称图像1010是流式帧，即，由摄像头260捕获的一系列帧图像，因此显示范围每时每刻都在变化，例如，随着佩戴着可穿戴式终端200的用户的运动而变化。

(第三人称图)

图7至图9是示出了根据本公开内容的实施方式的第三人称图像的显示示例的图。图7至图9中示出的第三人称图像1020是基于连同捕获图像的数据一起提供的空间信息从与第一人称图像1010的视点不同的视点将可穿戴式终端200的摄像头260所在的真实空间进行虚拟成像而获得的图像。由于第三人称图像1020是在可穿戴式终端200的摄像头260的真实空间中的位置处生成的，即，第三人称图像1020与第一人称图像1010不同，第三人称图像1020的视点是与发送侧装置的视点无关的自由设置的视点，因此在本说明书中将第三人称图像1020称为“第三人称图像”。例如，可以在服务器100的处理器基于从可穿戴式终端200提供的空间信息来处理由可穿戴式终端200的摄像头260获取的真实空间的图像时生成第三人称图像1020，然后通信单元可以将该第三人称图像1020发送至平板终端300。

在第三人称图像1020中，由摄像头260捕获的图像可以被显示为流式帧1021。例如，流式帧1021是与前述第一人称图像1010相同的图像，并且根据空间信息被布置在矩形区域中，该矩形区域与所显示的真实空间中的流式帧1021的画面对应。例如，根据第三人图像1020的视点相对于流式帧1021的倾斜，该区域的形状可以变形为例如不规则四边形或梯形。

当可以用第三人称图像1020来设置完全自由的视点时，例如，可以将视点设置成使得流式帧1021位于第三人称图像1020的显示范围之外，或者可以将视点设置在流式帧1021的背面侧上。在这样的情况下，流式帧1021可以不被显示在第三人称图像1020中。在这种情况下，可以释放第三人称图像1020与可穿戴式终端200(其包括提供流式帧的摄像头260)的链接，并且第三人称图像1020可以暂时从发送侧装置脱离。在这种情况下，当可以在脱离时基于对空间信息的缓存来进一步移动第三人称图像1020的视点，并且例如流式帧1021或者从另一发送侧装置提供的流式帧再次进入第三人称图像1020的显示范围时，可以恢复第三人称图像1020与发送侧装置的链接。此外，当第三人图像1020的视点被设置在流式帧1021的背面侧时，只能继续显示流式帧1021的边缘。可替代地，可以限制对第三人称图像1020的视点的设置，以排除流式帧1021的正常不显示的范围，如上所述。

即使当通过空间信息识别到第三人图像1020中的流式帧1021之外的部分时，也不实时提供图像。因此，例如，如图示的示例中那样，可以用线框等示意性地显示这部分。图示的线框指示方形空间。然而，真实空间可能不一定是这样的空间，并且可以显示为例如识别广阔的真实空间的上侧和下侧。如图9中的示例所示，例如，可以使用拼接分析结果将先前提供的流式帧1024粘贴到要显示的流式帧1021上。可替代地，可以在流式帧1021的周围显示与以下要描述的第一第三人称图像相同的周围区域图像。

如图7和图8所示，在第三人称图像1020中可以显示第一人称图像的视点对象1022和第一第三人称图像的视点对象1023。第一人称图像的视点对象1022指示第一人称图像的视点，即，流式帧1021的视点。此外，第一第三人称图像的视点对象1023指示在生成以下要描述的第一第三人称图像时虚拟设置的视点。可以基于空间信息来指定两个视点的位置。例如，在第三人称图像1020中，可以通过选择视点对象1022或视点对象1023来转换成与每个视点对应的图像，即，第一人称图像1010或以下要描述的第一第三人称图像。在第三人称图像1020中，视点可以被设置为自动改变，以使用对象作为基准来直接面对和/或展开在真实空间中识别的对象。

为了实现这样的显示，第三人图像1020的显示范围不可被由于例如可穿戴式终端200的摄像头260的运动而造成的流式帧1021的显示范围的改变所影响。例如，当摄像头260被移动时，流式帧1021的显示区域和显示内容被改变，并且第一人称图像的视点对象1022会被移动。然而，可以保持第三人称图像1020的显示范围。第一第三人称图像的视点对象1023也可以随着摄像头260的移动而移动。例如，当用平板电脑终端300从观看第三人称图像1020的用户获取到改变视点的指示时，可以改变第三人称图像1020的显示范围。

第三人称图像1020可能不一定基于由单个发送侧装置例如可穿戴式终端200的摄像头260获取的真实空间的图像而生成。例如，第三人图像1020可以是通过进一步组合与例如可穿戴式终端200在同一真实空间(例如，同一空间)中的另一装置(例如，固定相机600)所获取的真实空间的图像而生成的。在这种情况下，固定相机600也将空间信息添加到真实空间的图像数据中，以将该空间信息提供给服务器100。服务器100可以基于从每个装置提供的空间信息来生成组合了真实空间的多条图像数据的第三人称图像1020。在这种情况下，在第三人称图像1020中可以显示多个流式帧1021。

(第一第三人称图像)

图10A是示出了根据本公开内容的实施方式的第一第三人称图像的显示示例的图。在图10A中，示出了第一第三人称图像1030。第一第三人称图像1030是基于可穿戴式终端200的摄像头260捕获的图像，从摄像头260的背面侧的视点对真实空间虚拟成像而获得的图像。第一第三人称图像1030可以被设置为与第一人称图像1010的视点分离，但是不像第三人称视点图像1020那样被自由地设置。因此，在本说明书中，“第一第三人称图像”被用作意味着具有第一人称图像和第三人称图像之间的中间性质的图像的术语。第一第三人称图像1030的视点与第一人称图像1010的视点之间的关系可以参照例如在图7和图8中示出的第三人称图像1020中显示的视点对象1022与视点对象1023之间的关系来容易地理解。

在第一第三人称图像1030中，例如，由摄像头260捕获的图像被显示为流式帧1031。流式帧1031可以是例如与前述第一人称图像1010相同的图像。此处，由于第一第三人称图像1030的视点被设置在摄像头260的背面侧，因此流式帧1031的位置通常在第一第三人称图像1030的中心附近，并且流式帧1031的形状通常是矩形的。

在此，当摄像头260被移动时，也可以改变第一第三人称图像1030的显示范围以跟踪流式帧1031。此时，例如，服务器100的处理器可以使用噪声滤波器、低通滤波器等来处理基于空间信息而计算的摄像头260的位移，然后可以将该位移反映在第一第三人称图像1030的视点的位移中。因此，例如，即使当由于摄像头260的微小运动而使流式帧1031中发生模糊时，也能够抑制第一第三人称图像1030变模糊。例如，即使当可穿戴式终端200的用户向后看而突然改变了摄像头260的位置或姿势时，第一第三人称图像1030的显示范围也被平稳地跟踪，使得观看第一第三人称图像1030的用户可以容易地识别视点如何被改变。因此，当相对于流式帧1031的显示范围的变化来调整第一第三人称图像1030的显示范围的变化时，流式帧1031可以暂时显示在第一第三人称图像1030的中央以外的其他位置处，或者可以不显示在第一第三人称图像1030中。

在第一第三人称图像1030中，可以在流式帧1031的周围显示周围区域图像1032。可以通过使用拼接分析的结果等将先前提供的流式帧张贴到流式帧1031的周围来生成周围区域图像1032，如在第三人称图像1020中参照图9所描述的示例中那样。可替代地，使用由SLAM方法等检测到的特征点或密集映射(densemapping)的三维数据等所生成的流式帧1031的周围的空间模型可以被作为周围区域图像1032来显示。此时，可以将从先前的流式帧提取的图像作为纹理附到空间模型中所包括的表面。例如，由于作为先前的流式帧1031而积累的图像的数量在距离流式帧1031较远的第一第三人称图像1030的边缘部分等中较小，并且偏离流式帧1031的显示范围之后已经经过了一些时间，因此存在着真实空间已经改变的情况的可能性，或者存在着空间模型的精度降低了的可能性。在这种情况下，如图所示，可以不显示或者可以晕影(vignette)并显示周围区域图像1032的一部分。

图10B和图10C是用于描述根据本公开内容的实施方式的第一第三人称图像的图。参照附图，将进一步从不同的角度来描述上述第一第三人称图像。如图10B所示，第一第三人称图像的视点CP2被设置在例如由SLAM方法等获取的真实空间的坐标系中将第一人称图像的视点CP1虚拟地向后移动的位置处。

在此，例如，当视点CP2跟踪视点CP1时，服务器100的处理器可以对移动速度(在下文中也称为视点CP2的跟踪速度)设置预定上限或者将视点CP1的移动速度乘以小于1的增益来设置视点CP2的跟踪速度。因此，即使当视点CP1突然移动时，视点CP2也可以顺利地跟踪。因此，观看第一第三人称图像的用户能够容易地识别视点是如何改变的。

然而，当从视点CP1获取的帧FRM，即第一人称图像的最新的帧，偏离第一第三人称图像的范围时，则难以维持第一第三人称图像中显示的空间的背景。因此，例如，即使当如上所述地通过设置上限或增益来抑制视点CP2的跟踪速度时，视点CP1的移动速度也很高。因此，当以下区域偏离第一第三人称图像的范围时：该区域具有等于或大于帧FRM的预定比例的比例，可以添加控制以维持第一第三人称图像的范围内的帧FRM，例如，通过扩大上限的值或者增益来提高视点CP2的跟踪速度。

图10C示出了在执行上述控制时显示的图像的示例。在A中，显示了第一人称图像1010。在B中，通过将第一人称图像1010的视点虚拟地向后移动来开始显示第一第三人称图像1030。在图示的示例中，由于此时先前的帧图像尚未积累，因此在第一第三人称图像1030的帧FRM之外的部分中什么也不显示。

在C中，视点CP1在第一第三人称图像1030被显示的状态下移动，并且第一第三人称图像的视点CP2跟踪被移动的视点CP1。然而，由于在前述示例中抑制了视点CP2的跟踪速度，因此第一第三人称图像1030的显示范围的移动稍微晚于帧FRM的移动。相应地，帧FRM位于稍微偏离第一第三人称图像1030的中心位置处，另一方面，此时即使在最新的帧FRM之外的部分中也显示对象，例如，使用在B中显示的先前帧FRM的图像等。

在D中，由于视点CP1的移动速度较高，因此视点CP2在被抑制的跟踪速度下没有完全跟踪视点CP1，并且帧FRM的一部分偏离第一第三人称图像1030的显示范围。此时，例如，服务器100的处理器进一步增加上限或增益的值以增加CP2的跟踪速度。其结果是，在E中，整个帧FRM再次进入第一第三人称图像1030的显示范围。

如上所述，除了根据视点CP1的移动速度和帧FRM的显示状态来控制视点CP2的跟踪速度以外，例如，当经由用于获取第一第三人称图像1030上的操纵(例如，注释输入)的、装置(如平板终端300)中的触摸板等来获取第一第三人称图像1030上的操纵时，服务器100的处理器可以通过抑制视点CP2的移动来固定第一第三人称图像1030的显示范围。因此，例如，用户能够容易地在第一第三人称图像1030中显示的特定位置处执行操纵。

例如，可以在转换第一人称图像1010和第一第三人称图像1030的显示的过程中实现下述配置。例如，当没有识别到摄像头的视点的位置时(搜索期间)，服务器100的处理器首先显示第一人称图像1010。在此，例如，当通过SLAM方法等识别到视点的位置并且开始跟踪时，处理器可以将显示的图像切换成第一第三人称图像1030。此后，例如，在通过SLAM方法等进行的跟踪失败并且重新开始搜索视点的位置的情况下，处理器可以将显示的图像返回到第一人称图像1010。在这个示例中，从第一人称图像1010转换到第一第三人称图像1030和从第一第三人称的形象1030转换到第一人称图像1010二者都可以用动画来显示。

在实施方式中，如上所述，在可以在接收侧装置(在前述示例中是平板终端300)中提供以下图像：在该图像中真实空间的显示超出了由发送侧装置(在前述示例中是可穿戴式终端200)的成像单元成像的范围。因此，无论发送侧装置的用户的视点如何，接收侧装置的用户可以共享自由视点处的真实空间的图像。

(应用示例)

在实施方式中，如上所述，可以使用以真实空间的位置为基准来发送和接收注释的技术。当使用该技术时，平板终端300(接收侧装置)的用户甚至可以将注释输入到第三人称图像1020中显示的流式帧1021或第一第三人称图像1030中显示的流式帧以外的区域。因此，例如，甚至可以将注释添加到先前用可穿戴式终端200(发送侧装置)看到但是当前看不到的对象或真实空间中的位置。例如，可以在流式帧1021或1031随后被移动时显示注释。如在以下将描述的示例中，可以在可穿戴式终端200中显示指示注释在图像1200之外的通知。

图11和图12是示出了根据本公开内容的实施方式同时显示不同视点的图像的示例的图。在图11中示出的图像1040中，第三人称图像1020和第一人称图像1010被同时显示。此时，在第三人称图像1020中，例如，第一人称图像的视点对象1022可以被强调显示。在图示的示例中，第一人称图像1010被显示为第三人称图像1020的画面的子画面。然而，第三人图像1020反过来可以被显示为第一人称图像1010的画面的子画面。

在图12中例示的图像1050中。第三人称图像1020和第一第三人称图像1030被同时显示。此时，在第三人称图像1020中，例如，第一第三人称图像的视点对象1023可以被强调显示。在图示的示例中，第一第三人称图像1030被显示为第三人称图像1020的画面的子画面。然而，第三人图像1020反过来可以被显示为第一第三人称图像1030的画面的子画面。

因此，例如，通过同时显示不同视点的图像，并且将不同视点的图像提供给接收侧装置(在前述示例中为平板终端300)的用户，易于识别以下图像的视点：该图像提供用户期望的共享经验。

(4.在真实空间中显示注释)

接着，将参照图13至图20来描述根据本公开内容的实施方式在真实空间中显示注释。在实施方式中，如上所述，空间信息被添加到从发送侧装置发送的真实空间的图像数据中。空间信息是例如指示发送侧装置的成像单元在真实空间中的位置和姿势的信息。当使用该信息时，可以将用接收侧装置输入的注释以各种形式直接或间接地显示在发送侧装置所在的真实空间中。

在以下描述中，将使用特定装置的示例来描述发送侧装置、接收侧装置以及服务器的操作。然而，可以通过将上述系统10的任何装置进行结合来实现相同的配置而与这样的示例无关。

(4-1.显示示例)

图13是示出了根据本公开内容的实施方式的注释指示的第一示例的图。在图13中，示出了平板终端300c和300d。在图示的示例中，平板终端300c使摄像头(成像单元)(未示出)捕获真实空间的图像，并且将该图像在显示器330c(显示单元)上显示为图像1300c。平板终端300c的用户使用设置在显示器330c上的触摸传感器340(操纵单元)输入对图像1300c的注释1310c。在此，在平板终端300c中，指定了图像1300c中看到的真实空间中的位置，而不是图像1300c中的位置，并且输入了注释1310c。例如，可以基于连同由平板终端300c捕获的图像一起获取的空间信息来指定真实空间中的位置，并且可以将该位置表示为使用平板终端300c的成像单元作为基准的相对位置，或者表示为使用空间中的特征点等作为基准的位置。

另一方面，真实空间的图像由平板终端300d或摄像头(成像单元)(未示出)捕获，并且将真实空间的图像在显示器330d(显示单元)上显示为图像1300d。如图所示，由于平板终端300c和300d位于同一空间中，并且平板终端300c被包括在平板终端300d的摄像头的视场角(angleoffield)中，因此平板终端300c'被描绘在图像1300d中。另外，输入到平板终端300c的与对图像1300c的注释1310c有关的信息经由服务器100或装置间通信被发送至平板终端300d，并且从而在图像1300d中被显示为注释1310d。

在此，注释1310d被显示在平板终端300c中指定的真实空间中的位置处。这通过以下方式来表示：注释1310d在图像1300d中被显示在远离平板终端300c'的空中。平板终端300d也可以连同捕获图像一起获取空间信息，并且可以根据所获取的空间信息来指定平板终端300c在空间中的位置或者特征点等在空间中的位置。因此，平板终端300d可以基于例如指示从平板终端300c获取的真实空间中的位置的信息和由平板终端300d获取的空间信息来指定注释1310d在空间中的位置。

当前述示例与参照图1描述的系统10对应时，平板终端300c被用作装置(1)和(2)，并且平板终端300d被用作装置(3)。如上所述，与输入到平板终端300c的注释1310c有关的信息可以通过装置间通信发送至平板终端300d。在这种情况下，前述示例可以说是系统10的修改示例，其中每个装置在没有服务器介入的情况下进行通信，并且使用一个装置中的空间信息来执行图像处理。

图14是示出了根据本公开内容的实施方式的注释指示的第二示例。在图14中，示出了平板终端300和其上由投影仪700(未示出)投影了图像的画面(画面)。在图示的示例中，平板终端300使摄像头(成像单元)(未示出)捕获真实空间的图像，并且将该真实空间的图像在显示器330(显示单元)上显示为图像1300。如图所示，由于画面被包括在平板终端300的摄像头的视场角中，因此画面(画面')被描绘在图像1300中。

平板终端的用户300使用设置在显示器330上的触摸传感器340(操纵单元)输入对图像1300的注释1310。在图示的示例中，注释1310是在画面(画面')上绘画的涂鸦。例如，基于连同由平板终端300捕获的图像一起获取的空间信息，注释1310与真实空间中的画面(画面)上的位置相关联。与输入到平板终端300的注释1310有关的信息被连同真实空间的位置信息(指示该画面的位置)一起经由服务器100或通过装置间通信发送至投影仪700。

投影仪700不获取捕获图像，而是获取像平板终端300的空间信息，并且从而识别画面(画面)在真实空间中的位置。因此，投影仪700可以将注释1710(涂鸦)投影在画面(画面)上，该注释1710是与平板终端300中的注释1310相同的注释输入。在这种情况下，投影仪700可以说是通过用平板终端300将对显示在显示器330上的图像1300(虚拟空间)的注释输入投影在画面上，而直接将注释显示在真实空间中。

图15是示出了根据本公开内容的实施方式的注释指示的第三示例的图。在图15中，示出了平板终端300和膝上型PC500。在图示的示例中，平板终端300使摄像头(成像单元)(未示出)捕获真实空间的图像，并且将该真实空间的图像在显示器330(显示单元)上显示为图像1300。如图所示，由于膝上型PC500的显示器530(显示单元)被包括在平板终端300的摄像头的视场角中，因此显示器530'被描绘在图像1300中。

平板终端的用户300使用设置在显示器330上的触摸传感器340(操纵单元)输入对图像1300的注释1310。在图示的示例中，注释1310是围绕显示器在530'上显示的内容的多个缩略图中的一个缩略图的圆圈。例如，基于连同由平板终端300捕获的图像一起获取的空间信息，注释1310与显示器530在真实空间中的位置相关联。与输入到平板终端300的注释1310有关的信息连同真实空间的位置信息(指示显示器530的位置)一起经由服务器100或通过装置间通信发送至膝上型PC500。

膝上型PC500不获取捕获图像，而是获取像平板终端300的空间信息，并且从而可以识别显示器530在真实空间中的位置。因此，膝上型PC500可以将注释1510(围绕多个缩略图中的一个缩略图的圆圈)显示在显示器530上，该注释1510与输入到平板终端300的注释1310对应，并且是与注释1310相同的注释输入。在这种情况下，膝上型PC500可以说是通过用平板终端300将对显示在显示器330上的图像1300(虚拟空间)的注释输入显示在构成真实空间的一部分的显示器530上，而直接将注释显示在真实空间中。

图16是示出了根据本公开内容的实施方式的注释指示的第四示例的图。在图16中，示出了可穿戴式终端200、平板终端300以及投影仪700。在图示的示例中，可穿戴式终端200使摄像头260(成像单元)捕获真实空间的图像并且获取空间信息，然后经由服务器100将所捕获的图像的数据连同空间信息一起发送至平板终端300。在此，例如，平板终端300可以在与可穿戴式终端200和投影仪700不同的地方。

平板终端300使显示器330(显示单元)将接收的图像显示为图像1300。如图所示，图像1300中包括位于与可穿戴式终端200相同的空间中的桌子、桌子上的杯子、盘子以及钥匙(钥匙')。平板终端300的用户使用设置在显示器330上的触摸传感器340(操纵单元)输入对图像1300的注释1310。在图示的示例中，注释1310包括围绕钥匙(钥匙')的圆圈和消息“请把这个带上”。基于连同图像一起从可穿戴式终端200接收的空间信息，注释1310与钥匙(钥匙)在该真实空间中的位置相关联。与输入到平板终端300的注释1310有关的信息连同真实空间的位置信息(指示例如钥匙(钥匙)的位置)一起经由服务器100被发送至投影仪700。

投影仪700不获取捕获图像，而是获取像可穿戴式终端200的空间信息，并且从而识别其上投影了图像的表面(例如，图示的示例中的桌子的表面)在真实空间中的位置。因此，投影仪700可以将注释1710(圆圈和消息)投影在桌子上的钥匙(钥匙)的周围，该注释1710是与平板终端300中的注释1310相同的注释输入。因此，可穿戴式终端200的用户可以直接观看投影在桌子表面上的注释1710。因此，在这种情况下，可穿戴式终端200可以不包括显示单元如显示器。

在前述示例中，使用基于空间信息(由可穿戴式终端200捕获的真实空间的图像被添加到该空间信息作为基准)而指定的真实空间的位置信息，将输入到平板终端300的注释由投影仪700(其是与捕获图像的装置不同的装置)显示在真实空间中。在这样的配置中，例如，可穿戴式终端200可以不一定包括显示单元如显示器，并且因此可以在使用AR技术实现用户之间的交互时提高装置配置的自由度。

图17是示出了根据本公开内容的实施方式的注释指示的第五示例的图。在图17中，示出了固定相机600、平板终端300以及投影仪700。投影仪700可以是手持式装置，而不像上述示例中的固定投影仪。在图示的示例中，固定相机600使相机660(成像单元)捕获真实空间的图像并且获取空间信息，然后经由服务器100将捕获图像的数据连同空间信息一起发送至平板终端300。在此，例如，平板终端300可以在与固定相机600和投影仪700不同的地方。

由于固定相机600不移动，因此固定相机600中的空间信息可以通过不同的方法从例如前述情况中的可穿戴式终端200获取。例如，固定相机600中的空间信息可以是通过测量安装时的周围环境而设置的固定信息等。在这种情况下，固定相机600可以在存储器中存储空间信息，或者可以不包括用于获取空间信息的传感器等。空间信息也可以在另一固定装置中获取。

平板终端300使显示器330(显示单元)将接收的图像显示为图像1300。如图所示，图像1300中包括固定相机600下方的桌子和桌子上的钥匙(钥匙')。平板终端300的用户使用设置在显示器330上的触摸传感器340(操纵单元)输入对图像1300的注释1310。在图示的示例中，注释1310包括围绕钥匙(钥匙')的圆圈。基于连同图像一起从固定相机600接收的空间信息，注释1310与钥匙(钥匙)在真实空间中的位置相关联。与输入到平板终端300的注释1310有关的信息连同真实空间的位置信息(指示例如钥匙(钥匙)的位置)一起经由服务器100被发送至投影仪700。

投影仪700不获取捕获图像(可以获取捕获图像)，而是获取空间信息，并且从而识别其上投影了图像的表面(例如，图示的示例中的桌子的表面)在真实空间中的位置。因此，投影仪700可以将注释1710(圆圈)投影在桌子上的钥匙(钥匙)周围，该注释1710是与平板终端310中的注释1310相同的注释输入。投影仪700是手持式的，因此可以由用户携带，并容易地移动。因此，例如，获取投影仪700中的空间信息的方法可以与获取便携式终端(如可穿戴式终端200)中的空间信息的方法相同。

在前述示例中，使用基于空间信息(由固定相机600捕获的真实空间的图像被添加到该空间信息作为基准)而指定的真实空间的位置信息，将输入到平板终端300的注释由投影仪700(其是与捕获图像的装置不同的装置)直接显示在真实空间中。在这个示例中，投影仪700是手持式的，因此可以由用户携带，使得可以将图像投影到真实空间中的任何位置。因此，例如，通过使投影仪700将图像投影到真实空间中的不同位置，就像用户在黑暗中使用手电筒等搜索一样，用户可以搜索由平板终端300的用户输入的注释所指令的对象或位置。在这种情况下，用户可以不必佩戴与可穿戴式终端200相同的装置，并且用户可以使用AR技术更自由地进行交互。

图18是示出了根据本公开内容的实施方式的注释指示的第六示例的图。图18的示例可以说是上述参照图16的示例的修改示例。在附图中，示出了可穿戴式终端200和平板终端300。在图示的示例中，可穿戴式终端200使摄像头260(成像单元)捕获真实空间的图像，获取空间信息，然后将捕获图像的数据连同空间信息一起经由服务器100发送至与可穿戴式终端200和平板终端300不同的地方。在附图中，未示出发送目的地处的装置。

平板终端300从服务器100接收与输入到发送目的地处的装置的注释有关的信息。平板终端300被放在与可穿戴式终端200相同的空间中的桌子上。平板终端300不获取捕获图像(可以包括成像单元)，而是获取像可穿戴式终端200的空间信息，并且从而识别显示器330在真实空间中的位置。在图示的示例中，指示附近的钥匙(钥匙)的箭头1310被显示在放在桌子上的平板终端300的显示器330上。该箭头可以是与对发送目的地处的装置中的图像中显示的钥匙的注释输入相对应的指示。

(4-2.注释布置)

图19是用于描述根据本公开内容的实施方式的注释布置的图。图19中示出的可穿戴式终端200将由摄像头260(成像单元)捕获的真实空间的图像连同空间信息一起发送。可穿戴式终端200将与对用另一装置发送的图像的注释输入有关的信息连同真实空间的位置信息一起接收，并且显示注释1210，使得注释1210基于所接收的信息而被叠加在通过显示器230(显示单元)发送并观看的真实空间的图像上。注释1210被虚拟地显示，以将注释1210叠加在真实空间的图像上，并且因此被示出在由可穿戴式终端200的用户识别的位置处。即，示出的注释1210对可穿戴式终端200的用户之外的用户是不可见的。

注释1210被显示，以指示桌子上的钥匙(钥匙)。在附图中，示出了两个示例。本文中提到的这两个示例是布置在空间中的注释1210a和被布置为对象的注释1210b。

在图示的示例中，注释1210a被显示在钥匙(钥匙)上方的空间中。由于注释的空间布置吸引观看该图像的用户的注意，因此注释的空间布置适用于例如期望由注释来指令方向的情况。例如，当期望表示照片的摄影角度等时，在许多情况下，相机在拍摄时所布置的位置在半空中(相机通常由用户手持或被安装在三脚架上等)。因此，注释的空间布置可以是有用的。不仅例如当注释被显示为显示器上的图像时可以进行注释的空间布置，而且如在图16和图17的前述示例中那样，当由投影仪将待显示的注释进行投影时，例如当投影仪是三维投影仪的情况下，也可以进行注释的空间布置。

另一方面，注释1210b被显示在其上放着钥匙(钥匙)的桌子上的钥匙(钥匙)附近。注释的这样的对象布置适用于例如期望由注释来指令对象的情况，因为容易识别与作为注释的目标的对象的关系。当注释作为对象来布置时，由SLAM方法等检测的特征点或密集映射的三维数据可以被用于指定作为目标的对象。可替代地，当通过已知的对象识别技术识别到单个对象时，可以在多个对象中指定作为目标的对象。当对象被识别时，例如，即使当该对象被独立地从空间移动(例如，由用户的手移动该对象)时，也可以通过跟踪该对象来布置注释。

在接收注释输入的装置(在下文中，例如，假设该装置为平板终端300，但也可以使用其他装置)中，根据某个方法选择对上述注释的空间布置或对象布置。例如，服务器100或平板终端300的处理器可以根据期望由用户输入的某种类型的注释而在初始时自动设置空间布置或对象布置。如上所述，当指令方向或显示摄影角度时，可以自动选择空间布置。当指令对象时，可以自动选择对象布置。可以通过用户对装置的操纵单元的操纵来选择注释的布置。

例如，如在图20中示出的示例中那样，当关于显示在平板终端300的显示器330上的图像1300使用触摸传感器340输入注释1310时，可以显示布置在空间中的注释1310a和作为对象而布置的注释1310b二者，并且可以提供图形用户界面(GUI)，该图形用户界面用于通过用户的触摸操纵来选择一个注释。

例如，当使用这样的GUI来改变注释1310的布置时，在某些情况下，难以识别注释1310是在空间布置中被显示在半空中还是在对象布置中显示在对象的背面。对于这样的情况，例如，布置在空间中的注释1310a可以被配置成通过图像1300中描绘的真实空间的上侧被设置为光源并且显示影子而使得注释被布置在半空中这一事实容易被识别。作为同一显示，可以显示从布置该空间中的注释1310到位于注释1310下方的对象的表面的垂直线。在图像1300的深度方向上可以显示网格，使得容易识别注释1310在深度方向上的位置。当调整注释1310在深度方向上的位置时，使用触摸传感器340的放大/缩小操作或者可以使用单独设置的向前/向后移动按钮。平板终端300的传感器可以检测平板终端300从用户向前/向后移动的运动，并且处理器也可以将注释1310的位置的运动反映在深度方向上。

(5.可见范围之外的注释指示)

接着，将参照图21至图32来描述根据本公开内容的实施方式的可见范围之外的注释的显示。在实施方式中，如上所述，空间信息被添加到发送侧装置发送的真实空间的图像数据中。当使用该空间信息时，无论用发送侧装置显示的图像的显示范围如何，在接收侧装置中，可以在真实空间的任何位置处输入注释。

例如，在上述图3A和图3B的示例中，由摄像头260(成像单元)捕获并且在平板终端300(接收侧装置)中显示的图像1300的显示范围比用可穿戴式终端200(发送侧装置)显示在显示器230(显示单元)上的图像1200的显示范围更广。在这种情况下，在平板终端300中，即使在当前未包括在用穿戴式终端200显示的图像1200的显示范围中的真实空间的位置处也可以输入注释1310和1320。可以用平板终端300、服务器100或可穿戴式终端200维持注释与基于用可穿戴式终端200获取的空间信息限定的真实空间中的位置信息相关联，并且随后当摄像头260随着可穿戴式终端200移动并且这些注释的位置位于图像1200的显示范围之内时，可以将这些注释在图像1200中显示为注释1210和1220。

例如，在上述图7至图10C的示例中，可以显示超过第三人称图像1020或第一人称图像1010(用发送侧装置作为第一第三人称图像1030来观看)的范围的图像，因此用接收侧装置观看该图像的用户也可以将注释输入到第一人称图像1010的显示范围之外的真实空间中。即使在这种情况下，也可以维持输入的注释与基于用发送侧装置获取的空间信息限定的真实空间中的位置信息相关联，并且随后当第一人称图像1010的显示范围被移动并且包括注释的位置时可以显示该注释。

在前述情况下，例如，当发送侧装置(在下文中，例如，假设发送侧装置为可穿戴式终端200)的用户不知道存在注释时，存在着在图像1200的显示范围和经过的时间内没有包括该注释的可能性。在使用AR技术的用户之间的交互中，认为接收侧装置(在下文中，例如，假设接收侧装置为平板终端300)的用户输入许多注释以向可穿戴式终端200的用户传递一些信息。因此，优选的是通知可穿戴式终端200的用户存在注释。

因此，在实施方式中，如将要在下面的示例中描述的那样，可以显示关于可见范围之外的注释的信息。这样的信息的显示是一种注释。然而，在以下的描述中，特别地将由接收侧装置的用户输入的内容称为用于区别的注释。用于这样的显示的显示控制可以由例如用于显示注释的装置(例如，可穿戴式终端200或平板终端300)的处理器来执行，或者可以由用于识别这样的装置中的可见范围之外的部分的服务器100的处理器来执行。例如，当与上述各种示例无关地存在着注释被输入到真实空间的图像的可见范围之外的部分的可能性时，以下示例可以被广泛应用。

(第一示例)

图21至图23是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第一示例。

在图21中，示出了注释在图像1200内(在可见范围内)的显示示例。在这种情况下，注释是针对放在桌子的目标杯子(杯子)而显示的，并注释包括指针1210和评论1220。

在图22中示出了作为目标的杯子(杯子)在图像1200之外的显示示例。在这种情况下，可以显示表示朝向注释的目标的方向指示1230而不是显示图21中示出的注释。例如，可以基于由可穿戴式终端200获取的空间信息，通过指定图像1200的显示范围与注释的目标之间的位置关系来显示方向指示1230。此时，注释中的评论1220可以连同方向指示1230一起显示。由于评论1220是指示注释的内容、类型等的信息，因此将评论1220连同方向指示1230而不是指针1210一起显示是有用的。

在图23中，示出了如下显示示例：当例如可穿戴式终端200的用户根据方向指示1230改变摄像头260的方向，并且作为注释的目标的杯子(杯子)的一部分被包括在图像1200中时，图像1200的显示范围被移动。在这种情况下，即使当整个目标都不包括在图像1200中时，也可以将指针1210的一部分和评论1220作为注释来显示。

(第二示例)

图24和图25是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第二示例。在第二示例中，注释的目标在可见范围之外，并且显示了距注释的目标的距离。

图24是示出了两个图像的显示的示例的图，在这两个图像中，从可见范围到注释的目标的距离不同。在这个示例中，用圆圈1240显示了注释在可见范围之外的事实。如图25所示，根据从注释的目标到可见范围的距离为半径来显示圆圈1240。如图25A所示，当从注释的目标到可见范围的距离(图像1200a)较大时，显示具有较大半径r1的圆圈1240a。如图25B所示，当从注释的目标到可见范围的距离(图像1200a)较小时，显示具有较小半径r2的圆圈1240b。圆圈1240的半径r可以根据距注释的目标的距离而连续设置或者可以一步一步地设置。如图24所示，注释中的评论1220可以连同圆圈1240一起显示。

因此，当显示圆圈1240时，例如，观看图像1200的用户不仅可以直观地理解到注释在可见范围之外，而且还可以直观地理解到当图像1200的显示范围在一定程度上在一定方向上移动时是否可以观看到注释。

(第三示例)

图26和图27是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第三示例。

在图26中，示出了作为注释的目标的苹果(苹果)在图像1200之外的显示示例。在这种情况下，可以将目标的图标1251连同与图22的示例中的方向指示相同的方向指示1250一起显示。例如，可以通过当苹果(苹果)被包括在由摄像头260先前或目前捕获的图像中时由可穿戴式终端200或服务器100的处理器从由摄像头260捕获的图像中切割苹果苹果的部分来生成图标1251。在这种情况下，图标1251可以不必根据由摄像头260获取的帧图像的变化而变化，而可以是例如静止图像。可替代地，当苹果苹果被识别为对象时，可以将代表苹果的插图或照片显示为图标1251，而无论摄像头260捕获的图像中的苹果如何显示。此时，可以将注释中的评论1220连同方向指示1250和图标1251一起显示。

在图27中，示出了如下显示示例：当例如可穿戴式终端200的用户根据方向指示1230改变摄像头260的方向，并且作为注释的目标的苹果(苹果)的一部分被包括在图像1200中时，图像1200的显示范围被移动。在这种情况下，方向指示1250和图标1251的显示可以结束，并且可以将指针1210的一部分和评论1220显示为如图23中的示例那样的注释。

因此，当显示图标1251时，例如，观看图像1200的用户不仅可以理解该注释是在可见范围之外，而且还可以理解注释的目标，并且从而可以容易地决定立即观看注释或是稍后观看注释的行为。

(第四示例)

图28是示出了根据本公开内容的实施方式的可见范围之外的注释的第四显示示例的图。在图示的示例中，当作为注释的目标的苹果(苹果)在图像1200之外时，图像1200中更接近苹果的端部1260发亮。例如，由于苹果位于图像1200a中的画面的右下方，因此右下端部1260a发亮。由于苹果位于图像1200b中的画面的左上方，因此左上端部1260b发亮。由于苹果位于图像1200c中的画面的左下方，因此左下端部1260c发亮。

在前述示例中，可以基于从图像1200的角度朝向注释的目标的方向来设置端部1260的区域。附图中示出了倾斜方向的示例。在另一示例中，当苹果向图像1200的左侧移动时，左端部1260可以发亮。在这种情况下，端部1260可以是图像1200的整个左侧。当注释的目标在倾斜方向上并且包括图像1200的角的端部1260发亮时，可以根据朝向注释的目标的方向的角度来设置端部1260的角的垂直部分与水平部分之间的比例。在这种情况下，例如，当目标向左上方但更靠上时，端部1260的水平部分(沿图象1200的上侧延伸)可以比垂直部分(沿图像1200的左侧延伸)更长。与此相反，当目标向左上方但更靠左时，端部1260的垂直部分(沿图像1200的左侧延伸)可以比水平部分(沿图像1200的上侧延伸)更长。在另一示例中，可以用预定颜色(其可以是透明的颜色)将端部1260着色，而不是端部1260发亮。

因此，当通过端部1260的显示的变化将注释在可见范围之外通知给用户时，例如，可以不显示单独的方向指示(如箭头)。因此，可以在不干扰图像1200的显示的情况下通知用户存在注释。

(第五示例)

图29是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第五示例。在图示的示例中，评论1220被显示为注释。然而，由于评论1220在水平方向上较长，因此在图像1200中未显示整个评论1220。在附图中，还示出了由于长注释而产生的非显示部分1221。在这种情况下，评论1220的非显示部分1221也可以说是可见范围之外的注释。为了指示非显示部分1221的存在，发光区域1280被显示在评论1220与图像1200的端部接触的部分中。

在此，可以根据非显示部分1221的长度(例如，可以用长度方向上的像素数来表示，或者可以根据评论1220的非显示部分与显示部分的比率或者非显示部分与另一非显示部分1221的比率来表示)来设置发光区域1280的长度。在图示的示例中，针对评论1220a的非显示部分1221a显示发光区域1280a，而针对评论1220b的非显示部分1221b显示发光区域1280b。然而，可以通过反映非显示部分1221b比非显示部分1221a更长这一事实而将发光区域1280b显示得比发光区域1280a更长。

因此，当通过显示发光区域1280来通知用户注释在可见范围之外时，显示可以完全位于作为注释的评论1220内。因此，可以在不干扰图像1200的显示的情况下通知用户存在注释。当根据非显示部分1221的长度来设置发光区域1280的长度时，用户可以直观地理解，整个评论1220是较长的，并且因此可以容易地决定例如立即观看评论或是稍后观看评论的行为。当评论1220的非显示部分1221被包括在图像1200的显示中时，例如，可以移动图像1200的显示范围或者可以将评论1220拖动到图像1200的内部(在图示的示例中，在评论1220a的情况下向左拖动，或在评论1220b的情况下向右拖动)。

(第六示例)

图30是示出了根据本公开内容的实施方式的可见范围之外的注释的显示的第六示例。在图示的示例中，示出了在道路指南中指示方向的箭头注释1210。例如，当用户观看图像1200b时可以观看注释1210。然而，当用户在观看图像1200a时可能无法观看注释120。因此，当用户观看图像1200a时，可以显示注释1210的影子1290。当显示影子1290时，观看图像1200a的用户可以识别到注释在画面上方。

此后，当用户观看图像1200b时，可以结束显示或者可以继续显示影子1290。当影子1290继续连同注释1210一起显示并且影子1290被显示时，用户可以容易地识别设置在空中的注释1210在深度方向上的位置。

因此，通过显示影子1290，可以通过该显示来通知用户存在注释，而没有由虚拟光源的方向的限制造成的不适感。

(应用示例)

图31和图32是示出了根据本公开内容的实施方式的可见范围之外的注释指示的应用示例的图。在图示的示例中，当由可穿戴式终端200的用户观看的图像1200从图像1200a变为图像1200b并且进一步变为图像1200c时，注释的显示被改变。在图像1200中，作为注释显示了指针1210、方向指示1230以及评论1220。

指针1210与前述几个示例不同。例如，指针1210继续被显示为图标，该图标指示用户的观察区域靠近图像1200的附近。可穿戴式终端200的用户由方向指示1230引导，以使例如由平板终端300的用户输入的注释的目标(图示的示例中的平底锅(平底锅))进入指针1210。

由于平底锅(平底锅)位于图像1200a和1200b中的用户的可见范围之外，因此显示了指示朝向平底锅的方向的方向指示1230a和1230b。当用户按照方向指示1230来移动图像1200的显示范围，捕捉(catch)图像1200c的显示范围内的平底锅，并且可以将平底锅放在指针1210中时，评论1220相应地被第一次显示。在图32中单独示出了此时的图像1200c。

显示的变化被执行，以确定当作为注释的目标的平底锅(平底锅)进入指针1210时可穿戴式终端200的用户可以确认针对该平底锅的注释。因此，当注释(其是必须确认的注释)的目标进入用户的关注区域(或焦点区域)时，通过认定确认状态并且显示整个注释，可以继续引导用户，直到使目标按照方向指示1230进入观察区域(或焦点区域)等为止。

不仅当注释的目标进入观察区域(或焦点区域)时，而且当在这种状态下经过了预定时间时都可以认定用户可以确认注释这一事实。

(6.其他显示示例)

接着，将参照图33至图35来描述本公开内容的实施方式中的其他显示示例。

图33是示出了根据本公开内容的实施方式的使用边缘检测的注释目标对象的显示示例的图。在图示的示例中，使用车辆(车辆)作为目标输入了注释1210。在图像1200中显示了注释1210并且显示了使车辆的边缘发亮的效果1285。当通过执行生成可穿戴式终端200中的空间信息并且执行对特征点等的分析的处理来检测车辆(车辆)的边缘时，这样的显示是可能的。

例如，即使当按照被称为“附近”的位置指定来输入注释而没有识别目标的对象时，通过使用边缘作为基准来显示效果1285，也可以表示注释的对象。当识别到目标的对象时，可以针对对象的边缘显示效果1285。

图34和图35是示出了根据本公开内容的实施方式的流式帧的回滚显示的示例。在该示例中，如图34所示，由可穿戴式终端200(其是发送侧装置的示例)的用户观看的图像1200从图像1200p变为图像1200q、图像1200r以及图像1200s。所有这些图像都经由服务器100作为流式帧被顺序地发送至平板终端300(接收侧装置的示例)。

平板终端300的用户可以针对前述图像中的每个图像输入注释。在图示的示例中，注释1210p(评论A)是针对图像1200p输入的，而注释1210q(评论B)是针对图像1200q输入的。由于例如图像1200的显示范围的移动，这些注释可以被实时显示在图像1200中，或者可以不被实时显示在图像1200中。

在此，在图示的示例中，如上所述，可以以后用图35所示的列表显示画面1205浏览其中输入了注释的流式帧。在列表显示画面1205中，在列表中示出了其中输入了注释的流式帧，即，图像1200p和1200q。例如，可以分别将没有被实时显示(或者可以被实时显示的)的注释1210p和1210q显示在图像1200p和1200q中。例如，当服务器100检测到针对图像1200p放置了注释1210p时，可以通过将流式帧中的图像1200p存储为快照并且与关于注释1210p的信息进行关联来实现这样的显示。

作为另一示例，也可以将导航而不是列表显示画面1205显示在图像1200中，使得可穿戴式终端200的用户被引导到图像1200p或图像1200q被获取的位置(即，图像1200的显示范围再次变得与图象1200p或图像1200q相同的位置)处。即使在这种情况下，当用户根据导航观看图像1200如图像1200p或1200q时，可以将注释1210p或注释1210q显示在图像1200中。

(7.应用的示例)

接着，将参照图36至图44来说明根据本公开内容的实施方式的应用示例。

图36是示出了用于使用与本公开内容的实施方式相关的技术共享旅客的视点的应用示例的图。例如，佩戴发送侧装置(如可穿戴式终端200)并且呈现旅行目的地的真实空间的图像的用户可以是普通旅客(或者可以是专业记者)。例如，使用接收侧装置(如平板终端300)观看所提供的图像1300的用户可以关于例如整个图像或图像中的特定对象输入评论1320(其是注释的示例)。输入的评论1320可以显示在可穿戴式终端200的显示器上，并且可以用于传递该旅客的请求、建议等。可替代地，如图所示，评论1320可以显示在平板终端300的图像1300中。在这种情况下，例如，由多个用户输入的评论1320都显示在图像1300上，从而在共享该旅客的视点的用户之间进行通信。

图37是示出了用于使用与本公开内容的实施方式相关的技术共享登山者的视点的应用示例的图。如图36中的示例那样，例如，佩戴可穿戴式终端200等并且呈现真实空间的图像的用户可以是普通登山者(或者可以是专业记者)。例如，使用平板终端300等观看所提供的图像1300的用户可以关于例如整个图像或图像中的特定对象或位置输入评论1320(其是注释的示例)。除了评论的输入之外，观看图像1300的用户可以捕获图像1300并且将图像1300保存为照片。如在前述示例中那样，输入的评论1320可以被用于向该登山者传递建议等，或者在共享该登山者的视点的用户之间进行通信。

图38是示出了用于使用与本公开内容的实施方式相关的技术来共享烹饪的人的视点的应用示例的图。例如，佩戴可穿戴式终端200等并且提供旅行目的地的真实空间的图像的用户可以是擅长烹饪的普通用户(或者可以是烹饪教师)。例如，使用平板终端300等观看所提供的图像1300的用户可以关于例如整个图像或图像中的特定位置输入评论1320。例如，评论1320可以显示在可穿戴式终端200的显示器上，并且可以用于向作为教师的用户传递问题。评论1320与可穿戴式终端200周围的真实空间的位置而不是图像1300中的位置相关联，以使得当关于例如具体材料或设备来输入评论1320(在图示的示例中是关于更小的鸡蛋与平底锅里的内容混合的问题)时，以及甚至当图像的显示范围随着可穿戴式终端200的移动而改变时，评论可以显示在输入评论1320的用户所期望的位置(在本示例中为鸡蛋的位置)处。

图39是示出了用于使用与本公开内容的实施方式相关的技术共享购物的人的视点的应用示例的图。在本实施方式中，对于佩戴可穿戴式终端200等并且提供商店的图像的用户，使用平板终端300等共享该图像的用户可以是被允许共享个人图像的用户，例如提供图像的用户的家庭成员。即，在图39的示例中，真实空间的图像在私人范围内共享。可以根据例如所提供的真实空间的图像的类型或者由提供图像的用户希望作为注释而获得的信息，来适当设置是私人共享还是公开共享该真实空间的图像。

在图示的示例中，评论1320q被输入作为评论1320，评论1320q指定购物清单1320p中的苹果之一。在评论中，期望的是即使当图像的显示范围随着可穿戴式终端200的移动而改变时，对于相同苹果显示指定苹果的评论1320q。因此，可以将注释1320q与可穿戴式终端200周围的真实空间的位置进行关联。另一方面，由于期望的是即使当图像的显示范围随着可穿戴式终端200的移动而改变时仍然在图像的同一位置处继续地显示购物清单1320p，因此可以将购物清单1320p与图像1300中的位置进行关联。因此，被输入注释的装置(例如，平板终端300)的处理器可以根据注释的类型、用户操纵等在将注释与真实空间的位置进行关联以及将注释与图像中的位置进行关联之间执行切换。

图40是示出了用于使用与本公开内容的实施方式相关的技术共享做手工的人的视点的应用示例的图。在该示例中，对于佩戴可穿戴式终端200等并且在做手工期间提供图像的用户，使用平板终端300等共享该图像的用户可以是事先由提供图像的用户指定为教师的用户。作为教师的用户可以观看图像1300并且输入注释，如评论1320s(用于提醒物件易碎的建议)。另一方面，例如，提供图像的用户也可以使用音频识别(其可以是由键盘等进行的输入)来输入例如向作为教师的用户询问问题的评论1320t。

即，在图示的示例中，例如，在提供图像的用户与作为教师的用户之间可以经由评论1320执行关于做手工的交互式对话。即使在这种情况下，通过将评论1320与真实空间的位置进行关联，也可以将注释精确地显示在目标物件等的位置处。还可以进一步将该图像与其他用户共享。在这种情况下，可以限制由提供图像的用户和作为教师的用户以外的用户输入评论1320，可替代地，由其他用户输入的评论1320只能显示在其他用户的图像1300中。

图41至图44是示出了用于使用与本公开内容的实施方式相关的技术改变和共享多个用户的视点的应用示例的图。

图41是用于概念性地描述视点转换的图。在图41中，示出了下述情况：同一真实空间中的两个可穿戴式终端200a和200b包括成像单元并且获取图像1200a和1200b。此时，当可穿戴式终端200a和200b均获取空间信息时，可以经由真实空间的位置信息来识别相互位置(视点位置)。因此，例如，通过选择在图像1200a中描绘的可穿戴式终端200b或者在图像1200b中描绘的可穿戴式终端200a，可以在显示图像1200a和显示图像1200b之间切换。

图42是示出了使用第三人称图像的视点转换的示例的图。在图示的示例中，第三人称图像1020被显示在平板终端300的显示器330上，并且两个流式帧1021a和1021b显示在第三人称图像1020中。例如，这样的流式帧可以由图41所示的可穿戴式终端200a和200b获取。用户可以在来自可穿戴式终端200a的视点的图像与来自可穿戴式终端200b的视点的图像之间执行切换并且共享这些图像，例如，通过在显示器330上的触摸传感器340上的触摸操作来选择流式帧1021中的一个流式帧。

图43和图44是示出了使用第一人称图像的视点转换的示例的图。在图43所示的示例中，指示可切换视点的指针1011和关于该视点的信息1012被显示在第一人称图像1010中。指针1011可以是例如指向提供来自另一视点的图像的装置的指示。如图所示，指针1011可以指示由该装置提供的图像的视场角。信息1012指示哪种类型的图像是由另一装置提供的(在图示的示例中为“相机视图”)或者谁提供了图像。如图44所示，当用户通过接收侧装置的操纵单元选择指针1011或信息1012时，可以将显示切换到来自另一视点的第一人称图像1010'。图43中示出的图像是来自在时装秀中观看模特的观众的视点的图像。另一方面，图43中示出的图像是来自模特的视点的图像，并且描绘了位于展台侧面的观众。

例如，在多个可切换视点的图像中的每个图像中，可以设置属性，如图像是公开的的还是私有的，或者是否可以免费观看该图像。在这种情况下，例如，已经给出了图42中示出的第三人称图像1020或者图43中示出的第一人称图像1010是私有的还是公开的许可。因此，可以只针对可观看的图像显示信息1012或指针1011。可替代地，在第三人称图像1020或第一人称图像1010中，可以只针对以下图像显示指针1011或信息1012：根据观看图像的用户的设置，由于已经进行了购买所以能观看该图像或该图像能够被免费观看。

(8.输入目标位置与可见范围之间的关系的显示)

接着，将参照图45至图49来描述根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示。在实施方式中，如上所述，空间信息被添加到发送侧装置中发送的真实空间的图像数据中。当使用该空间信息时，无论用发送侧装置显示的图像的显示范围如何，可以将注释输入到接收侧装置中的真实空间的任何位置处。

例如，在上述图3A和图3B的示例中，由摄像头260(成像单元)捕获并且显示在平板终端300(接收侧装置)中的图像1300的显示范围比用可穿戴式终端200(发送侧装置)显示在显示器230(显示单元)上的图像1200的显示范围更广。在这种情况下，在平板终端300中，即使在用可穿戴式终端200显示的图像1200的显示范围中当前没有包括的真实空间的位置处，也可以输入注释1310和1320。可以用平板终端300、服务器100或者可穿戴式终端200使注释保持与基于用可穿戴式终端200获取的空间信息限定的真实空间中的位置信息相关联，并且当摄像头260随后连同可穿戴式终端200移动并且注释的位置位于图像1200的显示范围之内时，注释在图像1200中可以被显示为注释1210和1220。

例如，在上述图7至图10C的示例中，可以显示超出第三人称图像1020或第一人称图像1010(用发送侧装置作为第一第三人称图像1030观看)的范围之外的图像，因此用接收侧装置观看该图像的用户也将注释输入到第一人称图像1010的显示范围之外的真实空间中。即使在这种情况下，也可以使输入的注释保持与基于用发送侧装置获取的位置信息而限定的真实空间的位置信息相关联，并且随后当第一人称图像1010的显示范围被移动并且包括注释的位置时，可以显示该注释。

在前述情况下，接收侧装置的用户(在下文中，假设接收侧装置为平板终端300的示例)有时希望知道是否可以在发送侧装置中观看当前要输入的注释(在下文中，假设发送侧装置为可穿戴式终端200)或者如何观看该注释。例如，如在上述示例中，在一些情况下不采用将与可见范围之外的注释有关的信息显示在可穿戴式终端200中的配置。即使当采用这样的配置时，有时不优选显示与可见范围之外的注释有关的信息，或者不优选明确提示发送侧装置的用户去观看(例如，接收侧装置的用户有时希望自然或随意地观看注释)。

因此，在实施方式中，如将在下述示例中描述的那样，可以显示输入目标位置与可见范围之间的关系。当提供了与发送侧装置中的可见范围有关的信息和与注释的输入目标位置有关的信息时，通过例如服务器100的处理器，或发送侧装置或接收侧装置(例如，可穿戴式终端200或平板终端300)来执行用于这样的显示的显示控制。例如，当存在注释被输入到真实空间的图像的可见范围之外的部分中的可能性时，下述示例可以独立于上述各种示例而被广泛应用。

(第一示例)

图45是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第一示例的图。在图45中，示出了显示在平板终端300中的图像1300。

在图示的示例中，注释尚未输入到图像1300中。在该状态下，可见范围指示1330被显示在图像1300中。例如，可见范围指示1330的显示与基于可穿戴式终端200中的摄像头260的成像范围与显示器230的透明显示范围(包括实际透明显示和虚拟透明显示)的校准结果而指定的可穿戴式终端200的用户的可见范围对应。可见范围指示1330不限于图示的示例中的框线。例如，可见范围指示1330可以显示为任何不同的形式，如具有着色分层形状的对象。

当显示这样的可见范围指示1330时，平板终端300的用户可以容易地预先识别从当前时间输入注释的位置(输入目标位置)当前是否在可穿戴式终端200的用户的可见范围内。

(第二示例)

图46和图47是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第二示例的图。在图46和图47中，示出了显示在平板终端300中的图像1300。

在图示的示例中，在图像1300中输入了指出真实空间中的任何位置的注释。在图46中，注释指示1340a被输入在可见范围指示1330之外，即在可穿戴式终端200的用户的可见范围之外。另一方面，在图47中，注释指示1340b被输入在可见范围指示1330之内，即在可穿戴式终端200的用户的可见范围之内。在图示的示例中，如根据注释指示1340a(形成圆形的虚线)与注释指示1340b(形成圆形的实线)之间的差异所理解的那样，根据注释指示1340是否被输入在可穿戴式终端200的用户的可见范围内将注释指示1340以不同的形式来显示。

因此，当显示这样的注释指示1340时，平板终端300的用户可以容易地识别到注释被输入的位置(输入目标位置)当前是否在可穿戴式终端200的用户的可见范围内。

例如，当平板终端300的用户希望在可穿戴式终端200的用户的可见范围内输入注释，但是系统侧识别的输入目标位置在可见范围之外时，显示注释指示1340a，使得平板终端300的用户能够识别到用户不能在可见范围内输入注释。在这种情况下，平板终端300的用户能够再次输入注释直到显示注释指示1340b为止。

在第二示例中，可以不必显示可见范围指示1330。即使当不存在可见范围指示1330时，平板终端300的用户也可以将图像1300的中心附近估计为可见范围，输入注释，并且通过注释显示1340的指示形式来识别该注释是否在可见范围内。

(第三示例)

图48是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第三示例的图。在图48中，示出了显示在平板终端300中的图像1300。

在图示的示例中，手写笔划1350被输入作为注释。在图像1300中，手写笔划1350在可见范围指示1330之外，即在可穿戴式终端200的用户的可见范围之外，被显示为虚线笔划1350a，另一方面，手写笔划1350在可见范围指示1330之内，即在可穿戴式终端200的用户的可见范围之内，被显示为实线笔划1350b。因此，在图示的示例中，手写笔划1350的各部分根据该部分是否位于可穿戴式终端200的用户的可见范围之内而以不同的形式来显示。

因此，当显示这样的手写笔划1350时，平板终端300的用户可以容易地识别笔划的每个部分被输入的位置(输入目标位置)当前是否在可穿戴式终端200的用户的可见范围内。

例如，当平板终端300的用户输入以下手写笔划作为注释时：在该手写笔划中由箭头来指示可穿戴式终端200的用户的可见范围之外的对象，从对象画出的箭头的笔划被显示为实线笔划1350b，以使平板终端300的用户能够识别出箭头被显示到可见范围，可穿戴式终端200的用户跟随箭头移动他或她的视线，因此用户容易观察到对象。

在第三例中，可以不必显示可见范围指示1330。即使当不存在可见范围指示1330时，平板终端300的用户也能够例如通过将图像1300的中心的附近估计为可见范围并且输入注释的手写笔划1350以显示实线笔划1350b，来识别笔划的至少一部分是否被输入在可见范围内。

(第四示例)

图49是示出了根据本公开内容的实施方式的输入目标位置与可见范围之间的关系的显示的第四示例的图。在图49中，示出了显示在平板终端300中的图像1300。

在图示的示例中，情况与前述第一示例的情况相同。当尚未输入注释时显示可见范围指示330。然而，在这个示例中，根据与如上所述的参照图9和图10等的方法相同的的方法将图像1300扩大到超过以下流式帧的范围：该流式帧基于由可穿戴式终端200的摄像头260实时捕获的图像。因此，流式帧1360被显示在图像1300中，并且可见范围指示1330被显示在流式帧1360中。

如在第四示例中那样，上述输入目标装置与可见范围之间的关系的显示的示例不限于基于可穿戴式终端200的摄像头260实时捕获的图像的流式帧被显示在平板终端300中的情况。例如，示例还可以应用于提供了以下视点的情况：在该视点处，基于先前提供的流式帧的图像来扩大指示范围，并且指示范围与可穿戴式终端200的用户的身体脱离。更具体地，即使在图49的示例中示出的图像1300中，也可以显示与第二示例相关的注释指示1340a和1340b以及与第三示例相关的手写笔划1350a和1350b。

在实施方式中，如上所述，关于可以被输入到平板终端300中并且可以被输入到可穿戴式终端200的可见范围之外的注释，包括：(1)用可穿戴式终端200显示关于该注释的信息的示例；以及(2)用平板终端300显示注释与可见范围之间的关系的示例。可以采用与这些示例相关的配置中的一者或二者。

在此，例如，当采用(1)的配置时，用可穿戴式终端200将关于可见范围之外的注释的信息(例如，图22中例示的方向指示1230)显示在图像1200中。可以基于穿戴式终端200、平板终端300或服务器100的处理器的控制将该信息显示在图像1300中，类似在平板终端300中。在此，“执行用于显示的控制的处理器”可以意味着执行显示的装置的处理器，或者可以意味着生成信息的另一装置的处理器，该信息由执行显示的装置的处理器控制。因此，对于平板终端300执行的用以显示与图像1300中的可见范围之外的注释有关的信息的控制可以由可穿戴式终端200执行，可以由平板终端300执行，或者可以由服务器100执行。

也就是说，在实施方式中，在图像1200中显示的关于可见范围之外的注释的信息甚至可以被同步地显示在图像1300中。相应地，注释被显示在可见范围之外并且关于该注释的信息也被显示在图像1200中，因此，平板终端300的用户能够识别到如果可穿戴式终端200的用户移动他或她的视点，则存在看到注释的可能性。

(9.使用身体形态的注释相关显示)

接着，将参考图50至图52描述根据本公开内容的实施方式使用身体形态的注释相关显示。在实施方式中，可以从真实空间的流式图像的接收侧装置向流式图像的发送侧装置输入各种注释。如上所述，不仅可以在发送侧装置的用户的可见范围内输入注释，而且可以使用空间信息在可见范围之外的真实空间中输入注释，该空间信息被添加到在发送侧装置中发送的真实空间的图像数据。在下列示例中，将描述使用接收侧装置的用户的身体形态作为这样的注释的变型的注释相关显示的示例。

(第一示例)

图50是示出了根据本公开内容的实施方式使用身体形态的注释相关显示的第一示例的图。在图50中，台式PC302被图示为真实空间的流式图像的接收侧装置的示例。在PC302中，传感器(未示出)可以识别用户的身体形状或手的姿势等。如图所示，PC302的用户可以通过手势将注释输入到显示在PC302中的真实空间的流式图像1300。

此时，与传感器识别的用户的手形对应的图形1370被显示在图像1300中。在图像1300中，图形1370可以被显示在与用户的手对应的真实空间的位置处。即，在图示的状态下，当由用户使用手的任何部分(例如，右手的食指尖)来执行某个注释输入时，可以将注释输入到图形1370的右手的食指尖被显示的位置处。

在这样的配置中，用户可以直观地预先识别当使用手势输入注释时该注释的位置。如将在下面所描述的那样，图形1370可以被同步地显示在流式图像的发送侧装置(例如，可穿戴式终端200)中。在这种情况下，可以说图形1370配置该注释。

(第二示例)

图51是示出了根据本公开内容的实施方式使用身体形态的注释相关显示的第二示例的图。在图51中，与以上参照图50描述的第一示例相同的图形1370也显示在图像1300中。然而，在该示例中，根据与如上所述的参照图9和图10等的方法相同的方法将图像1300扩大到超过实时流式图像的范围。因此，流式帧1360被显示在图像1300中，并且图形1370连同流式帧1360一起被显示。

根据实施方式的使用身体形态的注释相关显示的示例不限于如第二示例中那样将接收侧装置中的实时流式图像不改变地显示在流式图像的情况。例如，该示例还可以应用于提供以下视点的情况：在该视点处，基于先前提供的流式帧来扩大指示范围，并且指示范围与流式图像的发送侧的用户的身体脱离。

(第三示例)

图52是示出了根据本公开内容的实施方式使用身体形态的注释相关显示的第三示例的图。在图52中，在真实空间的流式图像的发送侧装置(例如，可穿戴式终端200)中，显示了与前述示例中在图像1300中显示的图形1370相同的图形1291。

图形1291与流式图像中由接收侧装置(例如，前述示例中的PC302)的传感器识别的用户的手形相对应。即，在图示的示例中，接收侧装置中的用户的手势被没有改变地显示作为注释(图形1291)。因此，例如，接收侧装置的用户可以通过手势执行用于指示对象或者指示方向的信息的传递，而不是通过手势输入单独的注释输入。

在第四示例中，甚至可以用接收侧装置将图形1370显示在图像1300中，并且可以将图形1370和图形1291同步。在接收侧装置中，用户能够选择是否在图形1370被继续显示在图像1300中的情况下用发送侧装置将与图形1370同步的图形1291显示在图像1200中(即，与图形1370对应的注释被输入)。因此，接收侧装置的用户可以只在必要时显示手形作为注释。

在图像1200中，上述其他注释，例如文本(评论等)或各种图(指针、手写笔划等)可以连同图形1291一起显示。在这种情况下，例如，由图形1291的运动产生的另一注释输入可以根据图形1291的运动而出现。因此，发送侧装置的用户可以直观地识别该注释是新输入的。

(10.补充)

本公开内容的实施方式可以包括例如上述图像处理装置(服务器或客户端)、上述系统、执行该图像处理装置或系统的上述图像处理方法、使图像处理装置工作的程序以及记录该程序的非暂态介质。

以上参照附图描述了本公开内容的优选实施方式，然而本公开内容当然不限于上述示例。本领域普通技术人员可以在所附权利要求书的范围内实现各种替换和修改，并且应当理解，这些替换和修改在本质上将归入本公开内容的技术范围。

此外，本技术也可以被配置如下。

(1)

一种显示控制装置，包括：

显示控制单元，所述显示控制单元被配置成对终端装置的显示单元进行控制，

其中，所述显示控制单元执行控制以：

基于真实空间中与虚拟对象相关联的位置信息来决定经由所述显示单元显示在所述真实空间中的所述虚拟对象的显示位置，并且基于所述显示位置将所述虚拟对象显示在所述真实空间中，以及

在所述虚拟对象的一部分或全部位于所述真实空间的可见范围之外时，在所述真实空间中显示用于指示存在所述虚拟对象的通知。

(2)

根据(1)所述的显示控制装置，其中，当所述虚拟对象全部位于所述可见范围之外时，所述显示控制单元显示所述通知。

(3)

根据(2)所述的显示控制装置，其中，所述通知包括用于表示从所述可见范围进行观察所述虚拟对象所存在的方向的指示。

(4)

根据(3)所述的显示控制装置，其中，所述通知被显示在所述可见范围的与所述方向对应的边缘部分中。

(5)

根据(3)或(4)所述的显示控制装置，其中，所述通知包括用于表示所述可见范围与所述虚拟对象之间的距离的指示。

(6)

根据(3)所述的显示控制装置，其中，所述通知包括：当从所述可见范围进行观察所述虚拟对象所存在的方向与所述真实空间中的光源方向相对应时，显示所述虚拟对象的影子。

(7)

根据(6)所述的显示控制装置，其中，所述显示控制单元即使在所述虚拟对象进入所述可见范围之后也继续显示所述影子。

(8)

根据(2)至(5)中任一项所述的显示控制装置，还包括：

图像获取单元，所述图像获取单元被配置成获取所述真实空间的捕获图像，

其中，所述通知包括与从所述捕获图像提取的位置信息相对应的位置处的所述真实空间的图像。

(9)

根据(8)所述的显示控制装置，其中，所述通知包括图像，在所述图像中，所述虚拟对象被叠加在与从先前获取的所述捕获图像中提取的位置信息相对应的位置处的所述真实空间的图像上。

(10)

根据(2)所述的显示控制装置，其中，所述通知包括导航，所述导航用于移动所述显示单元，使得与先前的虚拟对象所关联的位置信息相对应的位置进入所述可见范围。

(11)

根据(1)所述的显示控制装置，其中，当所述虚拟对象的一部分位于所述可见范围之外时，所述显示控制单元显示所述通知。

(12)

根据(11)所述的显示控制装置，其中，所述通知包括用于表示所述虚拟对象的不可见部分的大小或比例的指示，所述不可见部分位于所述可见范围之外。

(13)

根据(12)所述的显示控制装置，其中，用于表示所述不可见部分的大小或比例的所述指示是一个区域，在所述区域中，所述虚拟对象被布置在与所述可见范围的边缘部分接触的部分中，并且所述不可见部分的大小或比例由所述区域的大小来指示。

(14)

根据(1)所述的显示控制装置，

其中，所述虚拟对象包括关于与所述位置信息相对应的位置处的真实对象的信息，以及

其中，所述显示控制单元继续显示所述通知，同时抑制所述虚拟对象的显示，直到所述真实对象被布置在所述显示单元中的预定位置处。

(15)

根据(1)所述的显示控制装置，其中，根据在所述显示单元上显示的所述真实空间的图像的范围来限定所述可见范围。

(16)

根据(15)所述的显示控制装置，还包括：

图像获取单元，所述图像获取单元被配置成获取所述真实空间的捕获图像，

其中，所述显示控制单元使所述显示单元显示所述捕获图像的一部分作为所述真实空间的图像。

(17)

根据(1)所述的显示控制装置，其中，所述可见范围是根据一个范围来限定的，在所述范围中，图像能够被所述显示单元附加地显示在所述真实空间中。

(18)

根据(1)至(17)中任一项所述的显示控制装置，其中，所述显示控制单元执行控制，以使所述通知被显示在执行所述虚拟对象的输入的装置中，所述装置与所述终端装置不同。

(19)

一种显示控制方法，包括：由被配置成对终端装置的显示单元进行控制的处理器：

基于真实空间中与虚拟对象相关联的位置信息来决定经由所述显示单元显示在所述真实空间中的所述虚拟对象的显示位置，并且基于所述显示位置将所述虚拟对象显示在所述真实空间中；以及

在所述虚拟对象的一部分或全部位于所述真实空间的可见范围之外时，在所述真实空间中显示用于指示存在所述虚拟对象的通知。

(20)

一种程序，所述程序使被配置成对终端装置的显示单元进行控制的计算机实现以下功能：

基于真实空间中与虚拟对象相关联的位置信息来决定经由所述显示单元显示在所述真实空间中的所述虚拟对象的显示位置，并且基于所述显示位置将所述虚拟对象显示在所述真实空间中；以及

在所述虚拟对象的一部分或全部位于所述真实空间的可见范围之外时，在所述真实空间中显示用于指示存在所述虚拟对象的通知。

附图标记列表

10系统

100服务器

200、300、400、500、600、700客户端

900装置

910处理器

920存储器

930显示单元

940操纵单元

950通信单元

960成像单元

970传感器

Claims (20)

1.一种显示控制装置，包括：

显示控制单元，所述显示控制单元被配置成对终端装置的显示单元进行控制，

其中，所述显示控制单元执行控制以：

基于真实空间中与虚拟对象相关联的位置信息来决定经由所述显示单元显示在所述真实空间中的所述虚拟对象的显示位置，并且基于所述显示位置将所述虚拟对象显示在所述真实空间中，以及

在所述虚拟对象的一部分或全部位于所述真实空间的可见范围之外时，在所述真实空间中显示用于指示存在所述虚拟对象的通知。

2.根据权利要求1所述的显示控制装置，其中，当所述虚拟对象全部位于所述可见范围之外时，所述显示控制单元显示所述通知。

3.根据权利要求2所述的显示控制装置，其中，所述通知包括用于表示从所述可见范围进行观察所述虚拟对象所存在的方向的指示。

4.根据权利要求3所述的显示控制装置，其中，所述通知被显示在所述可见范围的与所述方向对应的边缘部分中。

5.根据权利要求3所述的显示控制装置，其中，所述通知包括用于表示所述可见范围与所述虚拟对象之间的距离的指示。

6.根据权利要求3所述的显示控制装置，其中，所述通知包括：当从所述可见范围进行观察所述虚拟对象所存在的方向与所述真实空间中的光源方向相对应时，显示所述虚拟对象的影子。

7.根据权利要求6所述的显示控制装置，其中，所述显示控制单元即使在所述虚拟对象进入所述可见范围之后也继续显示所述影子。

8.根据权利要求2所述的显示控制装置，还包括：

图像获取单元，所述图像获取单元被配置成获取所述真实空间的捕获图像，

其中，所述通知包括与从所述捕获图像提取的位置信息相对应的位置处的所述真实空间的图像。

9.根据权利要求8所述的显示控制装置，其中，所述通知包括图像，在所述图像中，所述虚拟对象被叠加在与从先前获取的所述捕获图像中提取的位置信息相对应的位置处的所述真实空间的图像上。

10.根据权利要求2所述的显示控制装置，其中，所述通知包括导航，所述导航用于移动所述显示单元，使得与先前的虚拟对象所关联的位置信息相对应的位置进入所述可见范围。

11.根据权利要求1所述的显示控制装置，其中，当所述虚拟对象的一部分位于所述可见范围之外时，所述显示控制单元显示所述通知。

12.根据权利要求11所述的显示控制装置，其中，所述通知包括用于表示所述虚拟对象的不可见部分的大小或比例的指示，所述不可见部分位于所述可见范围之外。

13.根据权利要求12所述的显示控制装置，其中，用于表示所述不可见部分的大小或比例的所述指示是一个区域，在所述区域中，所述虚拟对象被布置在与所述可见范围的边缘部分接触的部分中，并且所述不可见部分的大小或比例由所述区域的大小来指示。

14.根据权利要求1所述的显示控制装置，

其中，所述虚拟对象包括关于与所述位置信息相对应的位置处的真实对象的信息，以及

其中，所述显示控制单元继续显示所述通知，同时抑制所述虚拟对象的显示，直到所述真实对象被布置在所述显示单元中的预定位置处。

15.根据权利要求1所述的显示控制装置，其中，根据在所述显示单元上显示的所述真实空间的图像的范围来限定所述可见范围。

16.根据权利要求15所述的显示控制装置，还包括：

图像获取单元，所述图像获取单元被配置成获取所述真实空间的捕获图像，

其中，所述显示控制单元使所述显示单元显示所述捕获图像的一部分作为所述真实空间的图像。

17.根据权利要求1所述的显示控制装置，其中，所述可见范围是根据一个范围来限定的，在所述范围中，图像能够被所述显示单元附加地显示在所述真实空间中。

18.根据权利要求1所述的显示控制装置，其中，所述显示控制单元执行控制，以使所述通知被显示在执行所述虚拟对象的输入的装置中，所述装置与所述终端装置不同。

19.一种显示控制方法，包括：由被配置成对终端装置的显示单元进行控制的处理器：

基于真实空间中与虚拟对象相关联的位置信息来决定经由所述显示单元显示在所述真实空间中的所述虚拟对象的显示位置，并且基于所述显示位置将所述虚拟对象显示在所述真实空间中；以及

在所述虚拟对象的一部分或全部位于所述真实空间的可见范围之外时，在所述真实空间中显示用于指示存在所述虚拟对象的通知。

20.一种程序，所述程序使被配置成对终端装置的显示单元进行控制的计算机实现以下功能：

基于真实空间中与虚拟对象相关联的位置信息来决定经由所述显示单元显示在所述真实空间中的所述虚拟对象的显示位置，并且基于所述显示位置将所述虚拟对象显示在所述真实空间中；以及

在所述虚拟对象的一部分或全部位于所述真实空间的可见范围之外时，在所述真实空间中显示用于指示存在所述虚拟对象的通知。