CN117121473A - 影像显示系统、信息处理装置、信息处理方法及程序 - Google Patents

Abstract

影像显示系统具备观测装置和VR装置，观测装置具有：拍摄部，生成广视角影像；以及数据取得部，取得与在广视角影像内使显示装置的用户关注的关注对象的位置及方向中的至少一方有关的数据、以及用于通知观测系统的状态的变化的队列信息，VR装置具有：接收部，接收广视角影像、数据及队列信息；以及差分计算部，基于显示装置在广视角影像内的位置及方向中的至少一方与元数据上的关注对象的位置及方向中的至少一方的差分，计算相对位置及相对方向中的至少一方，相对位置是相对于显示装置在广视角影像内的位置及方向中的至少一方的相对的关注对象的位置，相对方向是相对于显示装置在广视角影像内的位置及方向中的至少一方的相对的关注对象的方向。

Description

影像显示系统、信息处理装置、信息处理方法及程序

技术领域

本公开涉及影像显示系统、观测装置、信息处理装置、信息处理方法及程序。

背景技术

近年来，作为头部佩戴型的显示装置的所谓头戴式显示器的开发正在盛行。例如，在专利文献1中，公开了能够提示(即显示)内容的影像和外界的影像的头戴式显示器。在专利文献1所公开的头戴式显示器中，通过调整内容的影像和外界的影像中的至少一方的影像的亮度，减轻在切换内容的影像和外界的影像时对用户带来的别扭感。

现有技术文献

专利文献

专利文献1：日本特开2016－090773号公报

发明内容

发明要解决的课题

此外，在头戴式显示器那样的显示装置中，作为利用其高沉浸感的用途，有从远程通过影像视听对某地点处的体验进行模拟体验之类的用途。此时，要求对显示装置提供适当的影像。

本公开是鉴于上述情况而做出的，目的是提供能够显示适当的影像的影像显示系统等。

用于解决课题的手段

为了达成上述目的，有关本公开的影像显示系统的一技术方案，是用于通过显示装置对显示影像进行显示的影像显示系统，具备观测装置和虚拟现实装置即VR装置，上述观测装置具有：拍摄部，生成广视角影像；数据取得部，取得与在上述广视角影像内使上述显示装置的用户关注的关注对象的位置及方向中的至少一方有关的数据、以及用于通知上述观测系统的状态的变化的队列信息；元数据构成部，将来自上述数据取得部的上述数据与其他信息一起作为元数据；以及发送部，将上述广视角影像与上述元数据一起发送，上述VR装置具有：接收部，接收上述广视角影像、上述数据以及上述队列信息；显示状态推测部，推测上述显示装置在上述广视角影像内的位置及方向中的至少一方；差分计算部，基于推测出的上述显示装置在上述广视角影像内的位置及方向中的至少一方与上述元数据上的上述关注对象的位置及方向中的至少一方的差分，计算相对位置及相对方向中的至少一方，上述相对位置是相对于上述显示装置在上述广视角影像内的位置及方向中的至少一方的相对的上述关注对象的位置，上述相对方向是相对于上述显示装置在上述广视角影像内的位置及方向中的至少一方的相对的上述关注对象的方向；提示部，将计算出的上述相对位置及上述相对方向中的至少一方的信息、以及基于上述队列信息的指示及上述观测系统的状态提示给上述显示装置的用户；影像生成部，从接收到的上述广视角影像生成包含如下一部分图像的上述显示影像，上述一部分图像是对应于与上述显示状态推测部推测出的上述显示装置在上述广视角影像内的位置及方向中的至少一方的信息、以及基于上述队列信息的指示及上述观测系统的状态相应的视野部分的图像；以及上述显示装置，显示上述显示影像。

此外，有关本公开的信息处理装置的一技术方案，是在用于使显示装置显示广视角影像内的至少一部分的显示影像的影像显示系统中使用的信息处理装置，具备：接收部，接收基于如下数据的元数据，上述数据是与在上述广视角影像中使上述显示装置的用户关注的关注对象的位置及方向中的至少一方有关的数据，并且是通过受理输入而得到的数据；以及差分计算部，基于与上述元数据上的上述关注对象的位置及方向中的至少一方的差分，计算相对位置及相对方向中的至少一方并输出，上述相对位置是相对于上述显示装置在上述广视角影像内的位置及方向中的至少一方的相对的上述关注对象的位置，上述相对方向是相对于上述显示装置在上述广视角影像内的位置及方向中的至少一方的相对的上述关注对象的方向。

此外，有关本公开的信息处理方法的一技术方案，是使显示装置显示广视角影像内的至少一部分的显示影像的信息处理方法，接收基于如下数据的元数据，上述数据是与在上述广视角影像中使上述显示装置的用户关注的关注对象的位置及方向中的至少一方有关的数据，并且是通过受理输入而得到的数据；基于上述显示装置的上述广视角影像内的被推测出的位置及方向中的至少一方与上述元数据上的上述关注对象的位置及方向中的至少一方的差分，计算相对位置及相对方向中的至少一方并输出，上述相对位置是相对于上述显示装置的朝向的相对的上述关注对象的位置，上述相对方向是相对于上述显示装置的朝向的相对的上述关注对象的方向。

另外，这些包含性或具体的技术方案也可以由系统、装置、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由系统、装置、集成电路、计算机程序及记录介质的任意的组合来实现。

发明效果

根据本公开，提供能够显示适当的影像的影像显示系统等。

附图说明

图1是用于说明以往例的图。

图2是用于说明以往例的图。

图3是用于说明以往例的图。

图4是用于说明以往例的图。

图5是用于说明以往例的图。

图6是用于说明以往例的图。

图7是用于说明以往例的图。

图8是用于说明以往例的图。

图9是用于说明以往例的图。

图10是用于说明以往例的图。

图11是用于说明以往例的图。

图12是用于说明以往例的图。

图13是用于说明以往例的图。

图14是表示有关实施方式的影像显示系统的概略构成的图。

图15是表示在有关实施方式的影像显示系统中显示的影像的一例的图。

图16是表示有关实施方式的影像显示系统的功能构成的框图。

图17是表示有关实施方式的观测装置的功能构成的更详细的框图。

图18是表示有关实施方式的显示装置的功能构成的更详细的框图。

图19是表示有关实施方式的影像显示系统的动作的流程图。

图20是说明有关实施方式的显示影像的生成的概念图。

图21是说明有关实施方式的显示影像的生成的概念图。

图22是说明有关实施方式的显示影像的生成的概念图。

图23是说明有关实施方式的显示影像的生成的概念图。

图24是说明有关实施方式的显示影像的生成的概念图。

图25是说明有关实施方式的显示影像的生成的概念图。

图26是说明有关实施方式的显示影像的生成的概念图。

图27是说明有关实施方式的显示影像的生成的概念图。

图28是说明有关实施方式的显示影像的生成的概念图。

图29是说明有关实施方式的显示影像的生成的概念图。

图30是说明有关实施方式的显示影像的生成的概念图。

图31是说明有关实施方式的显示影像的生成的概念图。

图32是说明有关实施方式的显示影像的生成的概念图。

图33是表示有关实施例的影像显示系统的功能构成的一例的图。

图34是表示有关实施例的观测系统的功能构成的一例的图。

图35是表示有关实施例的VR系统的功能构成的一例的图。

图36是表示有关实施例的元数据的构成例的图。

图37是表示有关实施例的元数据的构成例的图。

图38是表示有关实施例的元数据的另一构成例的图。

图39是表示有关实施例的影像显示系统的动作流程的一例的图。

图40是说明实施例的影像显示系统的动作的结果的图。

图41是说明实施例的影像显示系统的动作的结果的图。

图42是说明实施例的影像显示系统的动作的结果的图。

图43是说明实施例的影像显示系统的动作的结果的图。

图44是说明实施例的影像显示系统的用途的一例的图。

图45是说明实施例的影像显示系统的用途的一例的图。

图46是用于说明实施例的影像显示系统的移动方法的另一例的图。

图47是用于说明利用云实现有关实施例的影像显示系统的构成例的图。

图48是用于说明利用云实现有关实施例的影像显示系统的构成例的图。

图49是用于说明利用云实现有关实施例的影像显示系统的构成例的图。

具体实施方式

(作为公开的基础的认识)

近年来，开发了通过用户佩戴在头部而将显示部配置在眼前，看上去能够以大画面辨识所显示的图像的显示装置。这样的显示装置被称作头戴式显示器(HMD)，有光学上能够将图像作为大画面来辨识的特性。此外，HMD中，也有通过显示产生了相应于与用户的右眼及左眼分别对应的视差的偏差的影像，用户能够立体地感受所视听的影像的HMD。并且，通过近年来的通信品质的提高，能够以几毫秒～几十毫秒程度的延迟大致实时地视听由配置在远程的观测装置拍摄的影像，即使不到现场也能够体验身临其境的感觉。利用该技术，还实现观光旅行、展示会参观、视察、工厂参观、美术馆/博物馆/动物园/水族馆参观等虚拟的观光体验(以下也称作模拟观光或VR(Virtual reality：虚拟现实)观光)。

在这样的VR观光中，使用能够拍摄360度(全经度)的影像的摄像机(所谓的全景摄像机)等作为观测装置。由观测装置拍摄的影像为广视角影像，形成三维图像空间。显示装置的用户侧能够切取该影像(即构成三维图像空间的图像)中的任意的方向上的视野范围的图像而显示。例如，如果在显示装置上搭载如能够检测用户所朝向的方向的功能，则能够将三维图像空间中的与用户的朝向相应的一部分影像切取而显示，所以能够从1个摄像机影像提供匹配于许多用户的需求的视听体验。

这里，当用户观看任意的方向的一部分影像时，在对该影像内进行指引的指引者指示了要关注规定的关注对象的情况下，有时用户无法理解该指示是应关注三维图像空间内的何处的指示。例如，当用户正在看3时方向时，如果存在于12时方向的指引者为了让用户关注9时方向而对用户给出“请看左手侧”的声音指示，则用户会看12时方向而不是9时方向。这样，在用户看正面的前提下指引者发出了使其关注关注对象的指示的情况下，会发生用户无法理解指引者意指的关注对象的情况。

所以，在本公开中，为了抑制这样的无法理解关注对象的状况，目的是提供能够对用户提示与该关注对象对应的方向的影像显示系统。另外，在本公开中，假设由观测装置拍摄360度的广视角影像而进行说明，广视角影像只要是拍摄了例如270度以上、180度以上或150度以上等的任意的角度范围的影像即可。这样的广视角影像只要是至少比用户在显示装置侧显示的影像的视角广的视角即可。此外，在本公开中，对设想发生水平面内的影像的移动的影像显示系统进行说明，但也能够应用于包含铅直成分的在与水平面交叉的交叉面中发生的影像的移动。

以下，使用附图对以往的影像显示系统等进行更详细的说明。图1是用于说明以往例的图。如图1所示，以往提供被称作VR观光(第一人称体验)的服务。在VR观光中，在现场的VR空间被适当地再现的情况下，能够体验身临其境的感觉。作为360°摄像机拍摄下的服务的例子，可以列举FirstAirlines(https://firstairlines.jp/index.html)或旅助(https://www.tokyotravelpartners.jp/kaigotabisuke－2/)等。此外，作为3D CG(计算机图形)下的服务的例子，可以列举Google Earth VR、Boulevard(https://www.blvrd.com/)等。

图2是用于说明以往例的图。如图2所示，除了VR观光以外，还提供使在现场拍摄的影像显示在电视机等的显示装置上并以第三人称视点视听这样的影像的服务(也称作第三人称体验)。在第三人称体验中，有专家进行向导的为用户特制的服务的提供，有如果符合个人的兴趣则能够实现收益等的特征。

图3是用于说明以往例的图。如图3所示，在开展VR观光的情况下，作为基本的构成而需要VR系统的主体、控制器311、计算机或智能电话313、网络、云314、观测系统315等。VR系统的主体以往只是有重量且相当程度地将脸覆盖的HMD型，但通过小型的眼镜型的VR眼镜型，长时间的使用变得容易，正逐渐被更广泛地使用。在VR系统的主体中，有在VR系统主体中包含需要的功能的All in One型和将一部分功能委任给计算机或智能电话等的外接型。控制器用于选择菜单或将VR空间移动等。计算机或智能电话有仅发挥通信功能的情况和构成VR系统的一部分的情况。

网络、云314将观测系统与VR系统连接，有时由云上的计算机系统实施观测系统或VR系统的一部分功能。观测系统中，使用带有无线功能的360°摄像机或者以无线或有线与智能电话或计算机连接的360°摄像机、180°摄像机或广角摄像机。经由这些装置等，用户312能够在VR空间内辨识向导和作为观光对象的建筑物、景色。

另外，在说明中，以使用360°摄像机的VR观光为例，但只要是使用180°摄像机等使用VR眼镜的参加者能改变视点的场景即可。此外，有说明拍摄实际的景色并进行向导的例子的情况，但也可以代替实际的景色而在由计算机图形构成的虚拟空间中使用虚拟的摄像机，向导也利用VR眼镜等进入虚拟空间，通过在虚拟空间内再现影像等来实现观光。因而，本发明对于这样的用途也能够应用。作为上述的典型的例子，以如月球旅行等那样向一般的旅行者不能容易地前往的地域、空间的VR旅行等为代表。

图4是用于说明以往例的图。在图4中，表示了360°摄像机拍摄的情况下的VR观光服务(无向导：上段(以下称作以往例1)；带向导：中段(以下称作以往例2))和作为第三人称体验的一例的Zoom(注册商标)观光服务的以往例(下段(以下称作以往例3))的概略构成。以下，在本发明中，假设声音或声音数据、声音信息不仅包含会话，还包含音乐，根据情况还包含包括可听频带外的超声波的音频信号。在VR观光服务中，观测系统(观光目的地)侧送出事前记录的影像，或VR系统侧操作360°摄像机、机器人或无人机而在VR系统侧能够观看VR影像。如中段所示，在观测系统侧存在向导、摄像机操作者，能够在VR系统中将360°摄像机等的VR影像作为VR欣赏。此外，如下段所示，在第三人称体验中，从观测系统侧将2D影像通过Zoom那样的基于声音/影像的多人的远程会话服务以2D传送，在远程能够观看并欣赏观光地的影像。

图5是用于说明以往例的图。关于以往例2，说明整体系统构成。以往例1与以往例2不同，是使用预先记录的VR影像或从VR系统侧进行操作的情况，对其差别也进行说明。以往例2的观测系统由VR拍摄用的摄像机、例如360°摄像机、以及用于将所拍摄的信息向远程送出的通信装置构成。

VR拍摄用的360°摄像机对拍摄不同的方向的多个摄像机的影像进行合成(拼接)作为一个运动图像，将其例如通过等距柱状投影(ERP)映射到平面，适当地压缩为ERP图像，与由麦克风捕捉到的音频数据等一起从通信装置向远程的VR系统送出。360°摄像机也有被搭载于机器人或无人机等的情况。360°摄像机以及搭载它的机器人、无人机等由拍摄者、向导进行操作，但在以往例1中，也有在VR系统侧进行操作的情况，或者在VR系统侧接受预先记录的影像等的情况。这样，三维图像空间是，构成该空间的图像不仅包括用户切身感受到进深的图像，还包括作为结果显示的图像是平面状的图像且配置在虚拟的三维面上的多个平面状的图像的概念。

在VR系统侧，与观测系统相反，将接收到的平面影像(ERP图像)变换为球体影像，按照观测者的方位、位置等，将一部分切取并用VR显示装置显示。在以往例3中，接收到的影像是2D，所以被显示为2D，几乎使用2D显示装置、例如平板电脑、智能电话或TV。上述内容在以往例1的接收预先记录的影像的情况下也同样。

在VR系统侧进行操作的情况下，有观测系统侧与VR系统侧的方位、位置连动地动作的情况、通过鼠标、平板电脑、摇杆、键盘等的键操作或选择画面上的菜单、图标而观测系统动作的情况等，需要从VR系统侧向观测系统送出适当的控制数据，并且从观测系统侧将其状态即方位、位置等发送给VR系统。

图6是用于说明以往例的图。利用图6所示的360°影像和通常的影像的对比，对用VR系统观看360°影像的情况下的分辨率进行说明。在用视角(FOV)100度的VR设备观看360°的4K影像的情况下，为了VR显示而切取的影像的分辨率仅为1067×600(SD影像的2倍左右)。使用单眼的分辨率2K×2K的面板的VR系统由于显示在正方形面板上，所以纵向进一步被拉伸为2倍，所以成为分辨率非常低的影像。

8K影像的情况下的VR显示的分辨率为2133×1200，在数据量上为Full HD(1920×1080)的面积的1.23倍，但由于纵向被拉伸为2倍，所以成为Full HD程度的影像。在11K拍摄(10560×5940)下，VR分辨率为2933×1650，相当于VR系统。

为了以高分辨率提供临场感高的VR观光体验，需要进行最低限度8K、如果可能则11K下的拍摄。对8K、11K的拍摄而言，机材也大，影像的传送率也高，容量也大。因此，拍摄及分发都会昂贵。

因此，通过避免VR眩晕、并使得容易理解、容易使用，必须让更多的用户使用而降低每个用户的使用单价。此外，VR录像内容的有效利用对于商业的达成也是重要的。

图7是用于说明以往例的图。按功能说明以往例1及2的主要功能的构成例。以往例1及2的观测系统751由以下单元构成：用于进行VR拍摄的VR拍摄单元762(VR拍摄摄像机)、对由VR拍摄单元762拍摄的影像进行处理而使其成为适合于传送的图像的VR影像处理单元758、将由VR影像处理单元758处理后的VR影像压缩而使其成为适合于传送的数据率及影像信号形式的VR影像压缩单元756、用于输入向导或周边的声音的由麦克风构成的声音输入单元763、使由声音输入单元763输入的声音信号成为适合于传送的数据率及声音信号形式的声音压缩单元760、将辅助信息生成为图形的图形生成单元759、使由VR影像压缩单元756、图形生成单元759及声音压缩单元760压缩后的影像信号及声音信号及图形信息成为适合于传送的信号的复用单元757、用于将由复用单元757复用的通信用观测信号发送给多个VR系统701并接收来自多个VR系统701的通信用声音信号的通信单元754、从通信单元754接收到的通信用声音信号取出压缩声音信号的分离单元755、从来自分离单元755的压缩声音信号取出声音信号的声音解码单元761、用于将由声音解码单元761解码后的声音信号作为声音输出的声音输出单元764。

在本例中，VR影像处理单元758、VR影像压缩单元756及图形生成单元759是在GPU内实现，声音压缩单元760、复用单元757、分离单元755、声音解码单元761是在CPU内实现，但并不一定不限于此，在更简单的构成中，也有将CPU和GPU作为一个处理器实现的情况，但其功能构成及动作相同。

VR拍摄单元762例如是360°摄像机，由拍摄不同方向的多个摄像机构成，在VR影像处理单元中将多个摄像机的输出进行合成(拼接)作为一个运动图像，将其例如通过等距柱状投影(ERP)映射到平面而作为ERP图像输出。

以往例1及2的VR系统701与观测系统751相反，具备：通信单元716，接收从观测系统751发送来的通信用观测信号或将由VR系统701输入的声音作为通信用声音信息向观测系统751送出；分离单元715，从来自通信单元716的通信用观测信号将压缩VR影像(ERP图像)、图形信息及压缩声音信息分离输出；VR影像解码单元710，将来自分离单元715的压缩VR影像(ERP图像)解码；VR显示控制单元708，将来自VR影像解码单元710的ERP图像变换为球体影像，根据来自VR控制单元707的控制信息，将一部分切取作为能够由VR显示单元704显示的影像，并且将由VR显示单元704显示的VR影像与从由分离单元715输出的图形信息向应显示的图形变换的图形生成单元712的图形信息一起输出；以及VR显示单元704，输出来自VR显示控制单元708的VR影像，以便用两眼观看；来自对VR显示单元704的前后左右的倾斜或白眼珠的朝向进行检测的旋转检测单元703和对VR显示单元704的左右前后及高度方向的位置进行检测的位置检测单元702各自的输出被发送至VR控制单元707，通过VR控制单元707的输出，适当地控制由VR显示单元704显示的影像，通过声音再现控制单元适当地控制由声音再现单元709输出的声音。由分离单元715分离的压缩声音信息被声音解码单元713解码，作为声音信息被发送至声音再现控制单元709，在声音再现控制单元709中，根据来自VR控制单元707的控制信息进行左右前后高度方向的平衡，根据情况进行频率特性及延迟处理、或作为VR系统701的警报等的合成等。在图形生成单元712中也进行VR系统701的系统菜单或警告等的显示用的图形的生成，重叠于VR图像而由VR显示单元704显示。VR系统701中具备用于输入VR系统701的使用者的声音的声音输入单元706，来自声音输入单元706的声音信息被声音压缩单元714压缩而作为压缩声音信息被发送至复用单元717，在此作为通信用声音信息从通信单元716送出到观测系统751。

图8是用于说明以往例的图。作为以往例2的观测系统的典型的实现例而说明360°摄像机801的实现例。

360°摄像机801的典型的例子是将两个摄像系统即超广角的透镜854、快门853、摄像元件852组合而拍摄前后上下360°的影像。为了拍摄更高品质的影像，也有将两个以上的拍摄系统组合的情况，所以在本例中，假设在VR拍摄摄像机804中有两个以上的拍摄系统而进行图示。拍摄系统也有将独立的摄像机组合而构成的情况，在此情况下，一般在影像的ADC851之后有高速的数字影像I/F，由此连接于高速的数字影像输入，该高速的数字影像输入连接于与GPU(Graphics Processing Unit：图形处理单元)803或CPU(CentralProcessing Unit：中央处理单元)802连接的影像系统总线，但这里设为一体化的构成而进行说明。

360°摄像机801的主要结构由以下的部分构成：VR拍摄摄像机804，由上述的多个摄像系统构成；GPU803，主要进行影像数据、图形的处理；CPU802，进行一般的数据处理、与输入输出有关的处理及360°摄像机801整体的控制；EEPROM(Electrical ErasableProgrammable ROM：电可擦除可编程只读存储器)813，用于存储用于使CPU802、GPU803动作的程序；RAM814，在用于CPU802、GPU803进行动作的数据的保存中使用；作为能够拆卸的存储器的SD卡(注册商标)821，进行影像、声音以及程序的保存；无线通信元件820，进行用于与外部进行数据的交换或接受来自外部的操作的WiFi(注册商标)或Bluetooth(注册商标)下的无线通信；按钮及显示元件808，用于操作及显示；电池807和电源控制元件812；声音输入部，用于输入声音，由多个麦克风(麦克风群819)或麦克风端子825、麦克风放大器818、ADC817构成；声音输出部，由扬声器826或耳机端子824、放大器823、DAC822构成；影像系统总线，主要将VR拍摄摄像机804与CPU802连接，用于数字影像数据的读取；存储器总线，将上述的EEPROM813、RAM814、SD卡821与GPU803、CPU802连接，进行与存储器的数据的交换；系统总线，连接上述的CPU802、GPU803、无线通信元件820、声音输入部及声音输出部，进行控制及数据的交换；I/O总线，对上述的按钮及显示元件808、电源控制元件812、此外将未图示的声音输入部、声音输出部及VR拍摄摄像机804等包括在内进行控制及低速的数据的交换；以及若干个总线变换部815及816，将各个总线连接。在I/O总线上还连接运动/位置检测部860。关于某些处理，由GPU803进行还是由CPU802进行有与本例不同的情况，总线构成也有与本例不同的情况，但后述的功能构成、动作没有差异。

VR拍摄摄像机804分别由用于拍摄广角的影像的透镜854、将由透镜854会聚的光变换为电信号的摄像元件852、处于透镜854与摄像元件852之间并将光阻断的快门853、这里虽然没有图示但处于与快门853同样的位置并对来自透镜854的光的强度进行控制的光圈、将来自摄像元件852的模拟电信号变换为数字影像信号的ADC851构成，虽然没有图示，但分别经由I/O总线被CPU802控制，状态被通知给CPU802。

作为按钮，有进行电源的接通/断开的电源开关806、用于拍摄的开始/结束的操作的拍摄开始/结束按钮811、存在不具备的情况的用于改变拍摄模式的拍摄模式选择按钮809和进行将透镜854移动或数字性地控制像角而进行放大缩小的缩放按钮810。

电源控制元件812也有与电池807一体的情况，进行电压的稳定化、电池容量的管理等，虽然没有图示但向全部的构成要素供给电源。进而，经由USB或AV输出向HMD/VR眼镜供给电源。

由GPU803实现的各个功能由图像处理等的专用的硬件及程序实现，一般由CPU802实现的功能通过通用的硬件和程序实现。作为一例，GPU803用于实现VR影像处理部842、VR影像压缩部841及图形生成部843等。此外，作为一例，CPU802用于实现存储器控制部835、复用部832、声音压缩部833、声音解码部834及分离部831。

图9是用于说明以往例的图。基于图9，作为以往例2的观测系统的典型的实现例而说明VR系统901的实现例。在本实现例中，假设VR系统901由计算机或智能电话951及与其连接的HMD或VR眼镜902构成。也有由HMD或VR眼镜902单体实现的例子，但在此情况下，可以考虑将两者的CPU和GPU的功能合一，将周边的功能也集中在一起。

在VR系统901中，计算机/智能电话951的主要结构由以下部分构成：用于与观测系统连接的WiFi或以太网(注册商标)等的高速的通信元件970、主要进行影像数据及图形的处理的GPU954、进行一般的数据处理及计算机/智能电话951整体的控制的CPU965、用于存储用于使CPU965或GPU954动作的程序的硬盘或闪存存储器等的非易失性存储器962、在用于CPU965或GPU954动作的数据的保存中使用的RAM961、电源开关963及用于向各部供给电源的电源控制元件964、用于向HMD/VR眼镜902输出影像和声音信号的AV输出952、用于控制HMD/VR眼镜902或取得来自它们的数据的USB953等的I/F、连接RAM961及非易失性存储器962并用于CPU965及GPU954访问的存储器总线、用于CPU965及GPU954对AV输出952、USB953、通信元件970进行访问的系统总线、将系统总线与存储器总线连接的总线连接(总线变换部960)、这里没有图示的显示装置、用于操作的输入装置、其他的通用的I/F等。

关于某些处理，是由GPU954进行还是由CPU965进行有与本例不同的情况，总线构成也有与本例不同的情况，但后述的功能构成、动作没有差异。作为一例，GPU954用于实现运动/位置检测处理部955、VR控制部956、VR显示控制部957、VR影像解码部958及图形生成部959等。此外，作为一例，CPU965用于实现声音解码部966、声音再现控制部967、复用部968及分离部969。

此外，关于AV输出952和USB953，作为高速的双向I/F，例如也可以用USB Type－C(注册商标)等I/F代替。在此情况下，HMD/VR眼镜902侧也用相同的I/F连接，或用对I/F进行变换的变换器连接。一般在用USB953传送影像的情况下，由于进行适当的压缩而将数据量压缩，所以由CPU965或GPU954进行适当的影像压缩，经由USB953向HMD/VR眼镜902送出影像。

在VR系统901中，HMD/VR眼镜902的主要结构由以下部分构成：声音输入部，用于输入声音，由麦克风906、麦克风放大器917、ADC918构成；声音输出部，由扬声器907或耳机端子908、放大器919、DAC920构成；VR显示部，用于使用者观看VR影像，由两组透镜904和显示元件905构成；运动/位置传感器903，通过由陀螺仪传感器、摄像机或超声波麦克风等构成的运动/位置检测部及方位检测部构成；Bluetooth等的无线通信元件927，用于与未图示的控制器进行通信；音量按钮909，用于控制从声音输出部的输出音量；电源开关921，用于将HMD/VR眼镜的电源接通/断开；用于电源控制的电源控制元件924；存储器总线，将上述的EEPROM913、RAM914、SD卡与GPU910、CPU915连接，进行与存储器的数据的交换；AV输入925，用于接受来自上述的CPU915、GPU910、无线通信元件927、计算机/智能电话951的影像信号和声音信号；USB926等的I/F，用于接受来自计算机/智能电话951的控制信号，或发送影像、声音信号、运动/位置的数据；CPU915，主要进行声音压缩(由声音压缩部916实现)、开关、电源等的控制、HMD/VR眼镜902整体的控制；GPU910，主要进行向VR显示部的影像的调整的影像显示处理(由影像显示处理部912实现)、以及根据来自运动/位置传感器903的信息将向计算机/智能电话951发送的运动/位置信息修正/成形的运动/位置检测(由运动/位置检测部911实现)；EEPROM913，用于存储用于使CPU915和GPU910动作的程序、数据；RAM914，用于存储CPU915和GPU910的动作时的数据；存储器总线，用于将CPU915、GPU910、RAM914与EEPROM913连接；系统总线，连接CPU915、GPU910、USB926、声音输入部、声音输出部及无线通信元件927，进行控制及数据的交换；I/O总线，对上述的按钮、电源控制元件924、运动/位置传感器903、此外将未图示的声音输入部、声音输出部及VR拍摄摄像机等包括在内进行控制及低速的数据的交换；以及若干个总线变换部922，将各个总线连接。关于某些处理，是由GPU910进行还是由CPU910进行有与本例不同的情况，总线构成也有与本例不同的情况，但后述的功能构成、动作没有差异。

来自AV输入925的影像数据为数据量多且高速，所以在系统总线不具有足够的速度的情况下，设为直接被GPU910取入而进行图示。

另外，由运动/位置传感器903的摄像机拍摄的影像信息会作为使用者确认HMD/VR眼镜902的周边的信息被发送至显示元件，或经由USB926被发送至计算机/智能电话951，供使用者进行是否处于危险的状况的监视。

电源控制元件924接受来自USB926或AV输入925的电源供给，进行电压的稳定化、电池容量的管理等，未图示但向全部的构成要素供给电源。根据情况，有时将电池923设置在内部或外部，与电源控制元件924连接。

未图示的控制器的按钮或光标的状态由CPU915经由无线通信元件927取得，用于VR空间中的按钮操作、移动或应用的操作。控制器的位置及朝向由处于运动/位置检测部中的摄像机或超声波传感器等检测，由运动/位置传感器进行适当的处理后用于CPU915中的控制，并且经由USB926被发送至计算机/智能电话951，用于由CPU915执行的程序或由GPU910执行的图形的描绘或图像处理。基本的动作由于与本发明不直接关联，所以省略。

图10是用于说明以往例的图。对在HMD/VR眼镜中具备计算机/智能电话之中用于VR的功能的一体型VR系统1001的实现例进行说明。

由图10可知，计算机/智能电话及HMD/VR眼镜的功能被一体化，CPU、GPU各自的功能由一个CPU、GPU实现。

通信元件1033典型的是进行无线通信的WiFi，由于不具有电源线缆，所以具有电池1026。为了电池1026的充电及初始设定而具有USB1034等的与通用的计算机的I/F。

一体型VR系统1001不需要具有连接计算机/智能电话及HMD/VR眼镜的AV输出、AV输入、USB，所以能够实现高品质且无延迟的AV信息的传送及有效的控制，但因为做成一体，大小上有限制，所以在电力、热、空间的限制下有时不能使用高性能的CPU1027或GPU1006，作为VR功能有可能受到限制。

但是，不用线缆连接使自由度增加，能够扩大应用的范围。

此外，通过将功能的一部分用云上的计算机实现等，能够弥补性能的不足而实现高性能的应用。

一体型VR系统1001与在图8及图9中说明的构成同样，除此之外还具备透镜1002、显示元件1011、麦克风1003、麦克风放大器1007、ADC1009、扬声器1004、耳机端子1005、放大器1008、DAC1010、RAM1019、EEPROM1020、总线变换1021、运动位置传感器1022、电源开关1023、音量按钮1024、电源控制元件1025。此外，影像显示处理1012、运动/位置检测处理1013、VR控制1014、VR显示控制1015、运动/位置检测1016、VR影像解码1017及图形生成1018使用GPU1006实现。此外，声音压缩1028、声音解码1029、声音再现控制1030、复用1031及分离1032使用CPU1027实现。

图11是用于说明以往例的图。基于图11，说明对由以往例1及2的观测系统的VR拍摄摄像机1151拍摄的影像进行处理的VR影像处理部1103的更详细的构成。

如上述那样，VR拍摄摄像机拥有用于拍摄360°上下四方的影像的多个摄像机cm，典型的是超广角透镜的摄像机cm，将由各个摄像机cm拍摄的拥有相同像素的矩形的独立影像输入到GPU1101内的由程序或专用电路实现的VR影像处理部1103。

在VR影像处理部1103中，首先对于被输入的多个影像，将各个摄像机cm的拍摄方向及拍摄得到的影像进行评价，将由各个摄像机cm拍摄的影像输入到拼接处理部1105，该拼接处理部1105进行合成及接合以使得成为连续的球形的影像的处理。对于从拼接处理部1105输出的球形的影像数据，由VR影像映射部1104例如通过等距柱状投影(ERP)而映射到平面，作为ERP图像从VR影像处理部1103输出，被移交给接下来的VR影像压缩部1102。

另外，关于影像系统总线与摄像机的连接，以各个摄像机连接在总线上的方式进行了图示，但也可以在VR拍摄摄像机1151内集中为一个信号，分时地将由各个摄像机拍摄的影像传送给影像系统总线，向VR影像处理部1103输入。在简单的构成中，由于摄像机cm是两个，所以可以不是总线，而是设为GPU1101分别接受两个摄像机的输出的构成，VR影像处理部1103接受并行地拍摄的影像并进行处理。

图12是用于说明以往例的图。基于图12，说明以往例1及2的VR系统的VR显示控制部1204的更详细的构成。

如上述那样，VR显示控制部1204在计算机/智能电话的GPU1201中用程序或专用电路实现，由映射部1206和显示VR影像变换部1205构成。

其动作如下。通信元件1261接受从观测系统发送来的通信数据，由CPU1231的分离部1232将压缩影像分离，GPU1201经由存储器总线接受影像，由VR影像解码部1207进行解码，成为平面影像(ERP图像)。平面影像由VR显示控制部1204的映射部1206变换为360°球体影像，由接下来的显示VR影像变换1205基于VR控制部1203所输出的控制信息切取要由VR显示单元1202显示的部分。

具体而言，将ERP图像的中心设为整面，作为360°球体影像的原点。关于由VR显示单元1202显示的VR影像的初始影像，以原点为中心，根据VR显示单元1202的能力，将右眼用影像设为稍靠右的影像，将左眼用影像设为稍靠左的影像，高度方向使用初始设定的值而分别切取影像，用右眼用、左眼用的显示元件显示。然后，对应于VR系统左右旋转、观看上下等，切取的位置发生变化。

一般来自360°摄像机的影像在VR系统移动时不发生变化，但当为由CG生成的影像的情况下，根据VR系统的移动或控制器中的操作而位置变化。

从360°球体影像的切取的初始值有时是从上次的切取位置开始的，但一般具备回到初始位置的功能。

图13是用于说明以往例的图。基于图13说明以往例2的动作例。

在观测系统中，由声音输入部(麦克风群、麦克风端子、麦克风放大器、ADC)输入声音(S1325)，由声音压缩部进行声音压缩(S1326)。

同时，在VR拍摄摄像机的多个摄像机(透镜、快门、摄像元件、ADC)中拍摄运动图像(S1321)，由VR影像处理部的拼接处理部以作为中央的摄像机1为中央拼接为球体影像(S1322)，对其由VR影像映射部通过等距柱状投影等生成ERP图像(S1323)，由VR影像压缩部适当地进行压缩(S1324)。

压缩后的ERP图像和声音信息被复用部复用(S1327)，成为可传送的形式，由无线通信元件向VR系统送出(发送)(S1328)。

随着时间经过，并且根据情况向新的方向、位置移动(S1329)，反复进行从声音输入和利用多个VR拍摄摄像机的拍摄到送出。

这里，关于图形信息，有在影像压缩前重叠于影像的情况、作为图形信息与影像/声音一起被复用的情况，这里省略。

在VR系统中，在计算机/智能电话中，由通信元件接收从观测系统发送来的信息(S1301)，发送给分离部。由分离部分离发送来的压缩影像信息和压缩声音信息(S1302)。由分离部分离的压缩声音信息被发送至声音解码部而被解码(S1303)，成为非压缩的声音信息。声音信息从声音解码部被发送至声音再现控制部，由声音再现控制部基于从GPU的VR控制部经由系统总线发送来的VR观测系统的位置/方位信息进行声音处理(S1304)。进行声音处理后的声音信息经由系统总线、经由AV输出或USB被传送到HMD/VR眼镜的声音输出部(DAC、放大器、扬声器及耳机端子)，作为声音输出(S1305)。作为声音处理，进行左右或空间内的音量的平衡控制、频率特性的变更、延迟、空间内的移动、仅对特定的音源的同样的处理、效果音的追加等。

关于压缩影像信号，来自计算机/智能电话的CPU的分离部的影像数据经由存储器总线被发送至GPU的VR影像解码部，在VR影像解码部中被解码(S1307)，作为ERP图像输入到VR显示控制部。在VR显示控制部中，由映射部将ERP影像映射为360°球体影像(S1308)，在显示VR影像变换部中基于来自VR控制部的VR系统的位置/方位信息从360°球体影像切取适当的部分的影像(S1309)，由VR显示部(显示元件、透镜)显示为VR影像(S1310)。

从来自观测系统的接收起，反复进行影像显示、声音输出。

另外，这里关于图形，有与影像/声音分离同时将图形分离并由VR显示控制部重叠于VR影像的情况、在VR系统内生成并重叠于VR影像的情况等，这里省略说明。

(公开的概要)

本公开的概要如下。

有关本公开的一技术方案的影像显示系统，是用于通过显示装置对显示影像进行显示的影像显示系统，具备观测装置和虚拟现实装置即VR装置，观测装置具有：拍摄部，生成广视角影像；数据取得部，取得与在广视角影像内使显示装置的用户关注的关注对象的位置及方向中的至少一方有关的数据、以及用于通知观测系统的状态的变化的队列信息；元数据构成部，将来自数据取得部的数据与其他信息一起作为元数据；以及发送部，将广视角影像与元数据一起发送，VR装置具有：接收部，接收广视角影像、数据以及队列信息；显示状态推测部，推测显示装置在广视角影像内的位置及方向中的至少一方；差分计算部，基于推测出的显示装置在广视角影像内的位置及方向中的至少一方与元数据上的关注对象的位置及方向中的至少一方的差分，计算相对位置及相对方向中的至少一方，相对位置是相对于显示装置在广视角影像内的位置及方向中的至少一方的相对的关注对象的位置，相对方向是相对于显示装置在广视角影像内的位置及方向中的至少一方的相对的关注对象的方向；提示部，将计算出的相对位置及相对方向中的至少一方的信息、以及基于队列信息的指示及观测系统的状态提示给显示装置的用户；影像生成部，从接收到的广视角影像生成包含如下一部分图像的显示影像，一部分图像是对应于与显示状态推测部推测出的显示装置在广视角影像内的位置及方向中的至少一方的信息、以及基于队列信息的指示及观测系统的状态相应的视野部分的图像；以及显示装置，显示显示影像。

这样的影像显示系统通过使用元数据，计算与使显示装置的用户关注的关注对象的位置及方向中的至少一方有关的相对的关注对象的位置即相对位置及相对的关注对象的方向即相对方向中的至少一方。并且，由于将相对位置及相对方向中的至少一方提示给用户，所以能够抑制在用户能够移动的情况下错过关注对象的位置的不良状况。因而，根据影像显示系统，从抑制在用户能够移动的情况下错过关注对象的位置的不良状况的观点来看，能够显示适当的影像。

此外，例如也可以是，还具备拍摄影像的摄像机或通过运算生成图像的图像生成部，广视角影像是由摄像机拍摄的影像或由图像生成部运算出的图像。

由此，关于通过由摄像机拍摄的影像或由图像生成部运算出的图像构成的广视角影像，能够显示适当的影像。

此外，例如也可以是，提示部生成图形并输出，图形表示计算出的相对位置及相对方向中的至少一方及基于队列信息的信息，提示部通过使所输出的图形重叠在一部分图像上，使影像生成部提示相对位置及相对方向中的至少一方。

由此，能够通过图形将相对位置及相对方向中的至少一方提示给用户。

此外，例如也可以是，数据受理部受理与关注对象的方向有关的数据的输入，显示状态推测部推测显示装置在广视角影像内的方向，图形在显示影像上显示指示相对方向的箭头。

由此，能够通过在显示影像上显示指示相对移动方向的箭头的图形，将相对位置及相对方向中的至少一方提示给用户。

此外，例如也可以是，数据受理部受理与关注对象的方向有关的数据的输入，显示状态推测部推测显示装置在广视角影像内的方向，图形显示掩膜，该掩膜是用于将显示影像上的相对方向侧以外的至少一部分遮盖的图像。

由此，能够通过显示用于将显示影像上的相对方向侧以外的至少一部分遮盖的图像即掩膜的图形，将相对方向提示给用户。

此外，例如也可以是，数据受理部受理与关注对象的位置有关的数据的输入，显示状态推测部推测显示装置在广视角影像内的位置，图形在显示影像上显示表示相对位置的地图。

由此，能够通过在显示影像上显示表示相对位置的地图的图形，将相对移动方向提示给用户。

此外，例如也可以是，还具备用于输入数据的输入接口，数据取得部取得经由输入接口输入的数据。

由此，能够由经由输入接口被输入的数据构成元数据。

此外，例如也可以是，还具备输入接口，该输入接口用于指定用户在广视角影像内的移动的开始定时和结束定时的至少一方，数据取得部取得经由输入接口输入的移动的开始定时和结束定时的至少一方。

由此，能够取得经由输入接口被输入的移动的开始和结束的时点的至少一方。

此外，例如也可以是，构成广视角影像的图像是由拍摄真实空间的拍摄部输出的图像，输入接口具有指示标识器和图像解析部，指示标识器是在真实空间中输入接口的操作者保持的指示标识器，通过指示标识器的运动来指示关注对象的位置及方向中的至少一方，图像解析部通过对由拍摄部输出的包含指示标识器的图像进行解析，受理由指示标识器指示的关注对象的位置及方向中的至少一方。

由此，通过由指示标识器的运动来指示关注对象的位置及方向中的至少一方，能够计算相对位置及相对方向中的至少一方。

此外，例如也可以是，具备信息处理装置，该信息处理装置具备观测装置和VR装置所具备的功能的至少一部分，通过网络与观测装置及VR装置连接，承担观测装置及VR装置的处理的一部分。

由此，能够由观测装置、VR装置以及信息处理装置实现影像显示系统。

此外，例如也可以是，信息处理装置具备：接收部，从观测装置接收广视角影像、数据及队列信息作为元数据；提示部，生成用于将元数据上的关注对象的位置及方向中的至少一方、以及按照队列信息的信息提示给显示装置的用户的信息；影像生成部，从接收到的广视角影像中对如下一部分图像添加由提示部生成的信息而生成显示影像，一部分图像是对应于与显示状态推测部推测出的显示装置在广视角影像内的位置及方向中的至少一方相应的视野部分的图像；以及发送部，发送广视角影像、对应于与相对位置及相对方向中的至少一方的信息相应的视野部分的一部分图像、以及元数据。

由此，能够由上述构成的观测装置、VR装置和信息处理装置实现影像显示系统。

此外，例如也可以是，信息处理装置具备：接收部，从观测装置接收广视角影像、数据及队列信息作为元数据；提示部，生成用于将元数据上的关注对象的位置及方向中的至少一方、以及按照队列信息的信息提示给显示装置的用户的信息；元数据构成部，根据由提示部生成的信息，生成元数据；以及发送部，将由元数据构成部生成的元数据、由接收部接收到的广视角影像和其他信息发送给VR装置。

由此，能够由上述构成的观测装置、VR装置和信息处理装置实现影像显示系统。

此外，例如也可以是，信息处理装置具备：接收部，从观测装置接收广视角影像、数据及队列信息作为元数据，从显示装置接收与显示装置的朝向有关的数据；差分计算部，基于显示装置的朝向和与拍摄部的移动有关的移动信息的差分及队列信息，计算相对于显示装置的朝向的相对的拍摄部的移动方向即相对移动方向；提示部，生成图形并输出，图形表示计算出的相对移动方向，通过重叠于广视角影像中的对应于与显示装置的推测出的朝向相应的视野部分的一部分影像，将相对移动方向及按照队列信息的信息提示给显示装置的用户；影像生成部，将图形基于与显示装置的朝向有关的数据进行修正，并通过重叠于广视角影像，生成显示影像；以及发送部，发送显示影像和其他信息。

由此，能够由上述构成的观测装置、VR装置和信息处理装置实现影像显示系统。

此外，例如也可以是，信息处理装置设置在与广域网连接的云上，经由广域网与观测装置及VR装置连接。

由此，能够由观测装置、VR装置和经由广域网与观测装置及VR装置连接并设置在云上的信息处理装置实现影像显示系统。

此外，例如也可以是，队列信息是表示观测装置的移动方向或使显示装置的用户关注的关注对象的位置及方向中的至少一方变化的信息。

由此，作为队列信息可以使用表示观测装置的移动方向或使显示装置的用户关注的关注对象的位置及方向中的至少一方变化的信息。

此外，有关本公开的一技术方案的信息处理装置，是在用于使显示装置显示广视角影像内的至少一部分的显示影像的影像显示系统中使用的信息处理装置，具备：接收部，接收基于如下数据的元数据，数据是与在广视角影像中使显示装置的用户关注的关注对象的位置及方向中的至少一方有关的数据，并且是通过受理输入而得到的数据；以及差分计算部，基于与元数据上的关注对象的位置及方向中的至少一方的差分，计算相对位置及相对方向中的至少一方并输出，相对位置是相对于显示装置在广视角影像内的位置及方向中的至少一方的相对的关注对象的位置，相对方向是相对于显示装置在广视角影像内的位置及方向中的至少一方的相对的关注对象的方向。

此外，例如也可以是，还具备生成图形并输出的提示部，图形表示计算出的相对位置及相对方向中的至少一方，通过重叠于构成广视角影像的图像中的如下一部分图像，将相对位置及相对方向中的至少一方提示给显示装置的用户，一部分图像是对应于与显示装置在广视角影像内的推测出的位置及方向中的至少一方相应的视野部分的图像。

根据这些，通过用在上述所记载的影像显示系统中，能够起到与上述所记载的影像显示系统同样的效果。

此外，有关本公开的一技术方案的信息处理方法，是使显示装置显示广视角影像内的至少一部分的显示影像的信息处理方法，接收基于如下数据的元数据，数据是与在广视角影像中使显示装置的用户关注的关注对象的位置及方向中的至少一方有关的数据，并且是通过受理输入而得到的数据；基于显示装置在广视角影像内的推测出的位置及方向中的至少一方与元数据上的关注对象的位置及方向中的至少一方的差分，计算相对位置及相对方向中的至少一方并输出，相对位置是相对于显示装置的朝向的相对的关注对象的位置，相对方向是相对于显示装置的朝向的相对的关注对象的方向。

这样的信息处理方法能够起到与上述中记载的影像显示系统同样的效果。

此外，有关本公开的一技术方案的程序是用于使计算机执行上述中记载的信息处理方法的程序。

这样的程序能够使用计算机起到与上述中记载的影像显示系统同样的效果。

以下，结合附图对本公开的实施方式进行说明。

另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置及连接形态、步骤、步骤的顺序等是一例，不是限定权利要求的意思。此外，关于以下的实施方式的构成要素中的、在独立权利要求中没有记载的构成要素，设为任意的构成要素而进行说明。

另外，各图并不一定是严密地图示的。在各图中，对于实质上相同的构成赋予相同的标号，将重复的说明省略或简略化。

此外，在本说明书中，平行等的表示要素间的关系性的用语、矩形等的表示要素的形状的用语、以及数值及数值范围不是仅表示严格的意义的表现，而是意味着实质上等同的范围、例如也包含几个百分点左右的误差等的差异的表现。

(实施方式)

[构成]

首先，使用图14及图15对实施方式的影像显示系统的概要进行说明。图14是表示有关实施方式的影像显示系统的概略构成的图。此外，图15是表示在有关实施方式的影像显示系统中显示的影像的一例的图。

如图14所示，本实施方式的影像显示系统500由观测装置300、经由网络150连接的服务器装置200和经由网络150连接的显示装置100实现。

观测装置300是图像保持装置内部所具有的装置。更详细地讲，观测装置300构成为，保持通过拍摄得到的图像作为广视角影像的信息，通过向显示装置100供给，能够在显示装置100中辨识其一部分影像。观测装置300是能够拍摄周围360度的影像的所谓的全景摄像机。观测装置300例如也可以是拿在手中进行拍摄的拍摄装置300a，也可以是用三脚架等固定的观测装置300b。在拿在手中进行拍摄的拍摄装置300a的情况下，容易一边转动一边拍摄。以下，将这些种类不特别区别而称作观测装置300。观测装置300具有鱼眼透镜等光学元件，能够用1个传感器阵列来拍摄广视角区域，例如180度等。并且，能够使用以将不同的广视角区域相互补全的方式配置的多个组合的光学元件及传感器阵列来拍摄360度的广视角影像。另外，对于在多个传感器阵列各自中拍摄的图像彼此，进行确定相互对应的元件彼此并使其重叠的处理(拼接)。结果，例如生成等距离柱状图等的能够将平面和球面相互变换的1个图像。通过在时域中连续地生成这样的图像，生成在时域中变化的影像(运动图像)。另外，将球面的影像的内部也称作3D影像空间或三维图像空间。

此外，在本实施方式中，生成产生与人的视差对应的偏差的两个三维图像空间。这样的两个三维图像空间既可以从1个三维图像空间通过模拟等生成，也可以由产生了相应于视差的偏差的两个摄像机生成。在本实施方式中，能够显示用户能够从该三维图像空间的内部视听三维图像空间的任意的方向的VR影像。

网络150是用于将观测装置300、服务器装置200和显示装置100之间可相互通信地连接的通信网。这里，作为网络150，并不限于使用因特网等的通信网。此外，观测装置300与网络150的连接、服务器装置200与网络150的连接以及显示装置100与网络150的连接既可以分别通过无线通信进行，也可以通过有线通信进行。

服务器装置200是用于进行信息处理等的装置，例如使用处理器和存储器实现。服务器装置200既可以由边缘计算机实现，也可以由云计算机实现。此外，服务器装置200既可以针对1个影像显示系统500设置1个，也可以针对多个影像显示系统500设置1个。即，服务器装置200也可以将多个影像显示系统500中的各种处理并行地进行。另外，服务器装置200在影像显示系统500中不是必须的构成。

例如，也可以通过将后述的服务器装置200的各功能部分别分配给观测装置300及显示装置100而配置，来实现仅具备观测装置300及显示装置100的影像显示系统。特别是，如果将显示装置100用兼具备显示面板的智能电话等的信息处理终端实现，则能够使用信息处理终端的处理器等容易地实现服务器装置200的功能部。或者，通过使服务器装置200拥有观测装置300及显示装置100的功能，能够削减观测装置300或显示装置100的功能的一部分，挪用现有的观测装置或显示装置。即，通过在服务器装置200中集成各种功能，能够容易地实现影像显示系统。关于服务器装置200的各功能部，使用图16等在后面叙述。

显示装置100是如下的眼镜型的HMD：通过设为将从左右分别延伸的镜腿部卡止到耳廓上的状态而支承相互分离的两个镜筒，从而将两个镜筒保持在与用户的右眼及左眼分别对应的位置上。在显示装置100的各个镜筒内置有显示面板，例如如图15所示，将产生了相应于视差的偏差的影像朝向用户的左右眼分别投影。在图15中，(L)中表示左眼用影像的1帧的图像，(R)中表示右眼用影像的相同的1帧的图像。另外，显示装置100也可以不是这样的影像显示专用的终端。也可以通过智能电话、平板电脑终端或PC等所具备的显示面板实现本公开的显示装置。

以下，参照图16～18对本实施方式的影像显示系统500的详细的构成进行说明。图16是表示有关实施方式的影像显示系统的功能构成的框图。如图16所示，并且如在图14中说明那样，影像显示系统500具备显示装置100、服务器装置200和观测装置300。

显示装置100具有显示部101和显示状态推测部102。显示部101是使用背灯及液晶面板、有机EL及微型LED等来输出与图像信息相应的光信号的功能部。显示部101控制输出的光信号，以使得经由透镜及光学面板等光学元件在用户的眼睛的视网膜上使图像成像。结果，用户通过成像在视网膜上的图像，能够辨识该图像。显示部101通过在时域中连续地输出上述那样的图像，能够辨识连续的图像即影像。这样，显示部101对显示装置100的用户显示影像。

显示状态推测部102是用于推测用户正在使用显示装置100在三维图像空间内的哪个位置辨识哪个方向的影像的功能部。显示状态推测部102也可以说推测与显示装置100在三维图像空间内的位置及方向中的至少一方有关的信息。显示状态推测部102由内置在显示装置100的适当的位置处的加速度传感器、陀螺仪传感器等各种传感器实现。显示状态推测部102通过推测位置相对于对显示装置100预先设定的基准位置向哪个方向变更了何种程度，来推测显示装置100在三维图像空间内的位置。此外，显示状态推测部102通过推测姿势相对于对显示装置100预先设定的基准方向向哪个方向变更了何种程度的角度，来推测显示装置100在三维图像空间内的方向。如前面说明那样，显示装置100支承于用户的头部(耳廓及鼻根部)，所以与用户的头部一起移动。

并且，通过推测显示装置100的位置及方向，能够从广视角影像切取并显示与该位置及方向相应的视野部分。即，根据由显示状态推测部102推测的显示装置100的位置及方向，能够将用户的头部所朝向的方向看作是在三维图像空间内想观看的视野区域而显示该视野区域。另外，这里推测的显示装置100的方向是沿着显示装置100的显示面板的法线方向的方向。显示面板由于以对置于用户的眼睛的方式配置，所以通常用户的眼睛位于显示面板的法线方向。因此，显示装置100的方向和将用户的眼睛与显示面板连结的方向一致。

但是，有时由于用户的眼球运动，显示装置100的方向和用户的视线方向偏离。在此情况下，如果在显示装置100上搭载有检测用户的视线的传感器(眼球跟踪器)等，则也可以将检测到的用户的视线设为显示装置100的方向。即，眼球跟踪器是显示状态推测部的另一例。

在显示装置100上，除了上述构件以外，还搭载有电源、各种输入用开关、显示面板的驱动用电路、输入输出用的有线及无线通信模块、信号变换器及放大器等的声音信号处理电路、以及声音输入输出用的麦克风及扬声器等。关于这些的详细构成，在后面叙述。

服务器装置200具有接收部201、差分计算部202、提示部203和影像生成部204。接收部201是从后述的观测装置300接收(取得)各种信号的处理部。接收部201接收在观测装置300中拍摄的广视角影像。此外，接收部201接收在观测装置300中取得的元数据。进而，接收部201接收与在显示装置100中推测出的显示装置100的位置及方向有关的信息。

差分计算部202是基于显示装置100的位置及方向与元数据中包含的关注对象301的位置及方向的差分，计算相对于显示装置100的位置的相对的关注对象301的位置即相对位置、以及相对于显示装置100的方向的相对的关注对象301的方向即相对方向的处理部。关于差分计算部202的详细的动作在后面叙述。

提示部203是将在差分计算部202中计算出的相对位置及相对方向提示给显示装置100的用户的处理部。这里，说明提示部203通过将表示相对移动方向的内容包含到在影像生成部204中生成的显示影像中而使影像生成部204进行上述的提示的例子，但相对移动方向的提示并不限于包含到上述显示影像中的例子。例如，也可以在三维声场内作为与相对位置及相对方向中的至少一方对应的来自规定的到来方向的声音进行提示，也可以通过使用户拿在两手中的振动设备等的装置中与相对位置及相对方向中的至少一方对应一侧的设备振动来提示。关于提示部203的详细的动作，与差分计算部202的详细的动作一起在后面叙述。

影像生成部204从接收到的广视角影像中切取对应于与显示状态推测部102推测出的显示装置100的位置及方向相应的视野部分的一部分影像，进而在需要的情况下，生成包含表示计算出的相对位置及相对方向中的至少一方的内容的显示影像。关于影像生成部204的详细的动作，与差分计算部202及提示部203的详细的动作一起在后面叙述。服务器装置200除此以外还具有用于将所生成的显示影像发送给显示装置100的通信模块。

观测装置300具有存储部301、输入接口302、位置输入部303、数据取得部304、元数据取得部305和发送部306。并且观测装置300具有拍摄部(未图示)，该拍摄部是与图像的拍摄有关的功能部分，与观测装置300的其他功能构成一体地构成。另外，拍摄部也可以通过有线或无线通信与拍摄装置300的其他功能构成分离。拍摄部包括光学元件、传感器阵列和图像处理电路等。拍摄部例如将经由光学元件在传感器阵列上接受的各像素的光的亮度值作为2D状的亮度值数据来输出。图像处理电路除了进行亮度值数据的噪声除去等的后处理以外，还进行拼接等的用于从2D图像数据生成三维图像空间的处理等。在本实施方式中，说明使用显示装置显示根据由拍摄部拍摄的实际的图像形成的三维图像空间内的影像的例子，但三维图像空间也可以是通过计算机图形等技术形成的虚构的图像。因此，拍摄部不是必须的构成。

存储部301是存储由拍摄部生成的三维图像空间的图像信息(构成三维图像空间的图像)的存储装置。存储部301使用半导体存储器等实现。

输入接口302是由在三维图像空间内进行VR观光的指引等的指引者进行输入时使用的功能部。例如，输入接口302包括能够向与拍摄部301的移动方向对应的360度的各方向倾倒的棒和检测其倾倒方向的物理传感器。指引者在输入关注对象的方向时，通过使棒朝向该方向倾倒，能够将关注对象的方向输入到系统中。作为输入接口的另一例，也可以使用包括指示标识器和图像解析部的输入接口，所述指示标识器是在指引者保持的指示棒等的前端带有荧光标识器等的指示标识器，通过指示标识器的运动来指示关注对象的方向，所述图像解析部通过对由拍摄部输出的包含指示标识器的图像进行解析，受理由指示标识器指示的关注对象的方向。另外，输入接口302不是必须的构成，只要提供其与后述的位置输入部303的某一方就能够实现本实施方式。

位置输入部303是用来输入关注对象的位置的功能部。位置输入部303例如通过由指引者具有的智能电话等的信息终端执行专用的应用来实现。在信息终端的画面上显示与三维图像空间对应的空间全域的地图信息，通过在该地图信息上选择规定的位置，将所选择的位置作为关注对象的位置输入到系统中。这样，位置输入部303是用来输入关注对象的位置的输入接口的一例。

数据取得部304是从输入接口302及位置检测部303等取得与关注对象的位置及方向有关的数据的功能部。数据取得部304与输入接口302及位置检测部303的至少一方连接，从这些功能部取得相当于与关注对象的位置及方向有关的数据的物理量。这样，数据取得部304是受理与使本实施方式的显示装置100的用户关注的关注对象的方向有关的数据的输入的数据受理部的一例。

元数据取得部305是通过将在数据取得部304中取得的与关注对象的位置及方向有关的数据变换为用于附加到所拍摄的影像数据中的元数据来取得该元数据的功能部。所取得的元数据中，除了与关注对象的位置及方向有关的数据以外，也可以还包含在影像显示系统500内使用的各种数据。即，元数据取得部305是通过将多个数据集中为1个而构成能够从1个信息中读出多个数据的元数据的元数据构成部的一例。

发送部306是发送所拍摄并存储在存储部301中的影像(广视角影像)和所取得的元数据的通信模块。发送部306通过与服务器装置200的接收部201通信，发送所存储的影像及所取得的元数据，供接收部接收。

图17是表示有关实施方式的观测装置的功能构成的更详细的框图。此外，图18是表示有关实施方式的显示装置的功能构成的更详细的框图。在图17及图18中，更详细地表示观测装置300及显示装置100的周边的功能构成。有这些图中表示的一部分功能由服务器装置200的构成实现的情况。

队列信息输入单元51相当于输入接口302及位置输入部303，通过观测装置300的操作者或向导者物理地操作的开关或平板电脑、智能电话等输入关注对象的位置及方向。此外，队列信息输入单元51通过队列数据从多个目标中指定移动的目标。

队列信息输入单元51也有根据从VR影像处理单元67得到的影像或从声音输入单元71得到的声音信息得到队列信息的情况。声音输入单元71是输入接口的另一例。另外，VR影像处理单元67与相当于拍摄部的VR拍摄单元69连接。

从队列信息输入单元51得到的队列信息被发送到位置/方位检测/存储单元53，与观测装置300的位置、方位一起被处理，根据情况，其状态被存储并成形为适合的数据，作为元数据被发送到复用单元61，与影像、声音及图形一起复用后，由通信单元55经由服务器装置200发送给显示装置100。在观测装置300中，除了上述以外还包括分离单元57、VR影像压缩单元59、声音压缩单元63、声音解码单元65及声音输出单元73。

在显示装置100中，通信单元39接受来自观测装置300的通信信息，由分离单元37分离元数据，发送给位置/方位/队列判断单元31。在位置/方位/队列判断单元31中，进行：从元数据取出队列数据，进行预先设定的处理，将队列信息为了显示为图形而发送给图形生成单元33，由VR显示单元15重叠到VR影像来显示；发送给VR控制单元21，与显示装置100的位置/方位的状态一起由VR显示控制单元23将VR影像适当地加工，由VR显示单元15显示；或者，由声音再现控制单元25生成指引用的向导声音、将再现声音适当地加工等。

作为具体例，队列数据中表示了“向目标A移动”的数据的情况下，根据显示装置100的位置，与目标A的相对位置不同，在用图形表示队列信息的情况下，向适当的方向显示箭头。更具体地讲，在目标A处于左侧的情况下，显示朝左的箭头，在对影像进行控制的情况下，例如进行仅使左侧清晰(右侧的画质变差)等的控制，在用声音进行控制的情况下，再现“请朝向左侧”这样的播音。像这样将队列数据的内容与显示装置100的位置/方位比较而进行适当的处理。在显示装置100中，除了上述以外还包括位置检测单元11、旋转检测单元13、声音再现单元17、声音输入单元19、VR控制单元21、声音压缩单元27、声音解码单元35及复用单元41。通过将以上的图17及图18所示的各构成要素分别以1个以上的组合包括，实现了图3所示的各构成要素。

[动作]

接着，使用图19～图32对如上述那样构成的影像显示系统500的动作进行说明。图19是表示有关实施方式的影像显示系统的动作的流程图。

如果开始影像显示系统500的动作，则进行由拍摄部进行的影像的拍摄，将图像存储到存储部301中，并通过输入接口302、位置输入部303、数据取得部304及元数据取得部305动作，取得包含与关注对象的位置及方向有关的数据的元数据。元数据经由发送部306及接收部201与拍摄及存储的影像一起被服务器装置200接收(S101)。

此外，显示装置100的显示状态推测部102连续地推测显示装置100的位置及方向。显示装置100将由显示状态推测部102推测出的显示装置100的朝向发送给服务器装置200。结果，服务器装置200接收显示装置100的推测出的位置及方向(S102)。另外，步骤S101及步骤S102的顺序也可以替换。服务器装置200基于是否包含与关注对象的位置及方向有关的数据，判定是否有指示关注对象的位置及方向的输入(S103)。在判定为有指示关注对象的位置及方向的输入的情况下(S103中为“是”)，服务器装置200进入用于将相对位置及相对方向提示给显示装置100的用户的动作。具体而言，差分计算部202基于显示装置100的位置及方向和元数据上的与关注对象的位置及方向有关的数据，计算相对于用户正在观看的位置(即相当于显示装置100的位置)的相对的关注对象的位置作为相对位置。此外，差分计算部202基于显示装置100的位置及方向和元数据上的与关注对象的位置及方向有关的数据，计算相对于用户正在观看的方向(即相当于显示装置100的方向)的相对的关注对象的方向作为相对方向(S104)。

在计算出相对位置及相对方向之后，提示部203生成与该相对位置及相对方向对应的图形(S105)。接着，影像生成部204从三维图像空间中切取对应于与显示装置100的朝向相应的视野部分的至少一部分图像(S106)，通过将提示部203所生成的图形重叠在切取出的一部分影像上，生成显示影像(S107)。图20是说明有关实施方式的显示影像的生成的概念图。在图20中，(a)中表示从三维图像空间切取出的一部分图像，(b)中表示由提示部203生成的图形99，(c)中表示通过重叠生成的显示影像。通过将图形99重叠在一部分图像上，在显示影像中显示有指示相对位置及相对方向中的至少一方的箭头99a。

此外，图21是说明有关实施方式的显示影像的生成的概念图。在图21中，(a)中表示由拍摄部拍摄的图像，(b)中表示用户正在观看的显示影像。在图21中，(a)中表示了指引者，但该指引者不出现在影像上。因此，在(b)中表示了没有指引者的影像。这里，如图21的(a)所示，指引者指示与指引者面对的用户使其关注正面方向的关注对象，如“正面能看到的是”那样。在图21的(b)中，在用户辨识的影像的图的下方示出了表示用户正在观看的方向的示意图。

这里，纸面上侧是三维图像空间的正面方向，是被指引者识别为用户正在观看的方向的方向。即，图21所示的用户是正在观看正面的状态。这里，作为输入接口，通过声音输入单元71等取得指引者所发出的“正面”这样的关键字，取得它作为与关注对象的方向有关的数据。于是，如图21的(b)所示，重叠箭头99a而生成显示影像。由于作为关注对象的方向的“正面”与作为显示装置100的方向的“正面”一致，所以该箭头的方向为简单地指示“正面”方向的箭头99a。此外，如图21的(b)所示再现声音。这里，由于作为关注对象的方向的“正面”与作为显示装置100的方向的“正面”一致，所以将“正面能看到的是”的声音原样与显示影像一起再现。

图22是用于说明有关实施方式的显示影像的生成的概念图。在图22中，(a)中表示由拍摄部拍摄的图像，(b)中表示用户正在观看的显示影像。在图22中，(a)中表示了指引者，但该指引者没有出现在影像上。因此，在(b)中表示了没有指引者的影像。这里，如图22的(a)所示，指引者指示与指引者面对的用户使其关注右手方向的关注对象，如“右手侧能看到的是”那样。在图22的(b)中，在用户辨识的影像的图的下方示出了表示用户正在观看的方向的示意图。

这里，纸面上侧是三维图像空间的正面方向，是被指引者识别为用户正在观看的方向的方向。即，图22所示的用户是正在观看正面的状态。这里，作为输入接口，通过声音输入单元71等取得指引者所发出的“右手”这样的关键字，取得它作为与关注对象的方向有关的数据。于是，如图22的(b)所示，重叠箭头99a而生成显示影像。由于作为关注对象的方向的“右手”与作为显示装置100的方向的“正面”不一致，所以计算“右手”与“正面”的差分，该箭头的方向为指示“右手”方向的箭头99a。此外，如图22的(b)所示再现声音。这里，由于作为关注对象的方向的“右手”与作为显示装置100的方向的“正面”不一致，所以计算“正面”与“右手”的差分，将“右手侧能看到的是”的声音与显示影像一起再现。

图23是用于说明有关实施方式的显示影像的生成的概念图。在图23中，(a)中表示由拍摄部拍摄的图像，(b)中表示用户正在观看的显示影像。在图23中，(a)中表示了指引者，该指引者在影像上既可以出现也可以不出现。其中，在(b)中表示了没有指引者的视野部分的影像。这里，如图23的(a)所示，指引者指示与指引者面对的用户使其关注右手方向的关注对象，如“右手侧能看到的是”那样。在图23的(b)中，在用户辨识的影像的图的下方示出了表示用户正在观看的方向的示意图。

这里，纸面上侧是三维图像空间的正面方向，是被指引者识别为用户正在观看的方向的方向。即，图23所示的用户是正在观看右手方向的状态。这里，作为输入接口，通过声音输入单元71等取得指引者所发出的“右手”这样的关键字，取得它作为与关注对象的方向有关的数据。其中，这里的“右手”是比用户正在观看的右手方向更接近于正面侧的方向。这样的细致的关注对象的方向是使用输入接口302等来输入。并且，如图23的(b)所示，重叠箭头99a而生成显示影像。由于作为关注对象的方向的“靠正面的右手”与作为显示装置100的方向的“右手”不一致，所以计算“靠正面的右手”与“右手”的差分，该箭头的方向为指示“左手”方向的箭头99a。

图24是用于说明有关实施方式的显示影像的生成的概念图。在图24中，(a)中表示由拍摄部拍摄的图像，(b)中表示用户正在观看的显示影像。在图24中，(a)中表示了指引者，但该指引者没有出现在影像上。因此，在(b)中表示了没有指引者的影像。这里，如图24的(a)所示，指引者指示与指引者面对的用户使其关注处于右手方向的位置的关注对象，如“右手侧能看到的是”那样。在图24的(b)中，在用户辨识的影像的图的下方示出了表示用户正在观看的方向的示意图。

这里，纸面上侧是三维图像空间的正面方向，是被指引者识别为用户正在观看的方向的方向。即，图24所示的用户是正在观看正面方向的状态。这里，作为输入接口，通过位置输入部303等取得指引者所输入的关注对象的位置，取得它作为与关注对象的位置有关的数据。并且，如图24的(b)所示，重叠地图99b而生成显示影像。在该地图中，带有在地图内指示与关注对象的位置对应的位置的箭头。由于关注对象的位置与显示装置100的位置不一致，所以成为带有指示4时方向附近的箭头的地图99b。另外，在地图99b中，用户的位置(即，显示装置100的位置)是中心部分。

图25是用于说明有关实施方式的显示影像的生成的概念图。在图25中，(a)中表示由拍摄部拍摄的图像，(b)中表示用户正在观看的显示影像。在图25中，(a)中表示了指引者，但该指引者在影像上既可以出现也可以不出现。其中，在(b)中表示了没有指引者的视野部分的影像。这里，如图25的(a)所示，指引者指示与指引者面对的用户使其关注处于右手方向的位置的关注对象，如“右手侧能看到的是”那样。在图25的(b)中，在用户辨识的影像的图的下方示出了表示用户正在观看的方向的示意图。

这里，纸面上侧是三维图像空间的正面方向，是被指引者识别为用户正在观看的方向的方向。即，图25所示的用户是正在观看右手方向的状态。这里，作为输入接口，通过位置输入部303等取得指引者所输入的关注对象的位置，取得它作为与关注对象的位置有关的数据。并且，如图25的(b)所示，重叠地图99b而生成显示影像。在该地图中，带有在地图内指示与关注对象的位置对应的位置的箭头。由于关注对象的位置与显示装置100的位置不一致，所以成为带有指示2时方向附近的箭头的地图99b。

图26是用于说明有关实施方式的显示影像的生成的概念图。由于图26表示与图21同样的状况下的动作的另一例，所以省略与状况有关的说明。如图26的(b)所示，生成没有重叠箭头99a的显示影像。由于作为关注对象的方向的“正面”与作为显示装置100的方向的“正面”一致，所以只是显示指示“正面”方向的箭头99a，但对于正在观看正面的用户提示指示正面的方向的箭头是多余的，所以这里没有显示箭头99a。另一方面，如图26的(b)所示再现声音。这里，由于作为关注对象的方向的“正面”与作为显示装置100的方向的“正面”一致，所以将“正面能看到的是”的声音原样与显示影像一起再现。

图27是用于说明有关实施方式的显示影像的生成的概念图。由于图27表示与图22同样的状况下的动作的另一例，所以省略与状况有关的说明。如图27的(b)所示，代替箭头99a而重叠掩膜99c来生成显示影像。由于作为关注对象的方向的“右手”与作为显示装置100的方向的“正面”不一致，所以计算“右手”与“正面”的差分，成为用来引导用户辨识“右手”方向的掩膜99c。这样，通过生成将与相对方向侧相反侧的一部分遮盖的掩膜99c作为图形99并使其重叠，成为在显示影像上带来较大的变化的构成。箭头99a在视觉上容易知道其方向，但另一方面有时难以知道影像上的变化。在该例中，能够弥补上述的缺点。即，用户从被掩膜99c遮盖的区域进行视线移动，以辨识剩余的影像，其视线移动的方向相当于相对方向，所以有容易知道影像上的变化、并且容易自然地识别相对方向的优点。另外，“遮盖”，也包括被半透射状态的图像覆盖的情况，上述半透射状态是如被遮盖的对象的区域一部分透射而能看到的状态。

此外，如图22的(b)所示再现声音。这里，由于作为关注对象的方向的“右手”与作为显示装置100的方向的“正面”不一致，所以计算“正面”与“右手”的差分，将“右手侧能看到的是”的声音与显示影像一起再现。

图28是用于说明有关实施方式的显示影像的生成的概念图。由于图28表示与图22及图27同样的状况下的动作的另一例，所以省略与状况有关的说明。如图28的(b)所示，代替箭头99a及掩膜99c而重叠低分辨率化过滤器99d而生成显示影像。低分辨率化过滤器99d如所谓的马赛克处理那样使重叠了滤光器的部分的图像变粗糙。并且，与掩膜99c同样，用户从通过低分辨率化而难以辨识的区域进行视线移动，以辨识更鲜明的影像部分，其视线移动的方向相当于相对方向，所以有容易自然地识别相对方向的优点。

图28的(c)表示用户辨识右手方向的状况。由于该右手方向相当于关注对象的方向，所以在该区域中不重叠低分辨率化过滤器99d而图像保持鲜明的状态。此外，图28的(c)表示用户进一步辨识右手方向(即，相对于原来的正面的背面方向)的状况。由于在背面方向上也重叠同样的低分辨率化过滤器99d来生成显示影像，所以有对于用户而言更容易知道应辨识的右手方向的优点。关于图28的(c)及图28的(d)的说明对使用掩膜99c的例子(图27的例子)也有效。

图29是用于说明有关实施方式的显示影像的生成的概念图。图29由于表示与图21及图29同样的状况下的动作的另一例，所以省略与状况有关的说明。如图29的(b)所示，生成没有重叠箭头99a的显示影像。由于作为关注对象的方向的“正面”与作为显示装置100的方向的“正面”一致，所以只是显示指示“正面”方向的箭头99a，但对正在观看正面的用户提示指示正面的方向的箭头是多余的，所以这里没有显示箭头99a。另一方面，如图29的(b)所示再现声音。这里，由于作为关注对象的方向的“正面”与作为显示装置100的方向的“正面”一致，所以将“正面能看到的是”的声音原样与显示影像一起再现。其中，这里再现的声音是被用户感知为从用户的“正面”到来的声音的立体声音。

图30是用于说明有关实施方式的显示影像的生成的概念图。图30由于表示与图22、图27及图28同样的状况下的动作的另一例，所以省略与状况有关的说明。如图30的(b)所示，生成没有重叠箭头99a的显示影像。另一方面，如图30的(b)所示再现声音。这里，由于作为关注对象的方向的“右手”与作为显示装置100的方向的“正面”不一致，所以计算“正面”与“右手”的差分，将“右手侧能看到的是”的声音与显示影像一起再现。并且，这里再现的声音与图29的例子同样，是被用户感知为从用户的“右手”到来的声音的立体声音。

图31是用于说明有关实施方式的显示影像的生成的概念图。在图31中，(a)中表示由拍摄部拍摄的图像，(b)中表示用户正在观看的显示影像。图31中，(a)中表示了指引者，但该指引者在影像上既可以出现也可以不出现。其中，在(b)中表示了没有指引者的视野部分的影像。这里，如图31的(a)所示，指引者指示与指引者面对的用户使其关注右手方向的关注对象，，如“右手侧能看到的是”那样。在图31的(b)中，在用户辨识的影像的图的下方示出了表示用户正在观看的方向的示意图。

这里，纸面上侧是三维图像空间的正面方向，是被指引者识别为用户正在观看的方向的方向。即，图31所示的用户是正在观看背面方向的状态。这里，作为输入接口，通过声音输入单元71等取得指引者所发出的“右手”这样的关键字，取得它作为与关注对象的方向有关的数据。于是，如图31的(b)所示再现声音。这里，由于作为关注对象的方向的“右手”与作为显示装置100的方向的“背面”不一致，所以计算“右手”与“背面”的差分，将“左手侧能看到的是”的声音与显示影像一起再现。

图32是用于说明有关实施方式的显示影像的生成的概念图。在图32中，(a)中表示三维图像空间内包含的各地点的地图和该地图上的地点A、地点B、地点C及地点G，(b)～(d)中表示用户正在观看的显示影像。在图32中，(a)所示的地点A对应于(b)的用户的位置(显示装置100的位置)，(a)所示的地点B对应于(c)的用户的位置(显示装置100的位置)，(a)所示的地点D对应于(d)的用户的位置(显示装置100的位置)，(a)所示的地点G对应于关注对象的位置。在图32的(b)～(d)中，在各个用户辨识的影像的图的下方示出了表示用户正在观看的方向的示意图。

这里，纸面上侧是三维图像空间的正面方向，是被指引者识别为用户正在观看的方向的方向。即，图32的(b)所示的用户是正在观看正面方向的状态，图32的(c)所示的用户是正在观看正面方向的状态，图32的(d)所示的用户是正在观看右手方向的状态。这里，作为输入接口，通过声音输入单元71等取得指引者所发出的“请在○○(地点G的地名等)集合”这样的关键字，取得它作为与关注对象的位置有关的数据。于是，如图32的(b)～(d)所示那样再现声音。这里，由于关注对象的位置与显示装置100的位置都不一致，所以计算各自的相对位置，将“请在○○集合”的声音与显示影像一起再现。并且，这里再现的声音与图29及图30的例子同样，是被用户感知为从相对位置的方向到来的声音的立体声音。

这样，能够使用户掌握相对位置及相对方向中的至少一方，所以能够容易地识别关注对象的位置及方向中的至少一方。这样，在影像显示系统500中，能够使显示装置100显示适当的影像。

[实施例]

以下，基于实施方式的实施例更详细地进行说明。在该实施例中，主要对VR观光的两个使用场景进行说明。两个使用场景是360°摄像机拍摄的情况及三维CG空间的情况的两个场景。在前者中，设想了以下的使用方式：拿持360°摄像机的拍摄者处于远程地，发送360°影像+元数据，视听者通过VR设备基于元数据的信息等生成CG，通过与发送来的360°影像合成而进行视听。在此情况下，进一步细分为VR观光(实时观光)、VR观光(实时+录像)、VR工厂参观、现场视察：引领者进行向导(需要向摄像者的指示)、以及VR实时展览会视察：引领者(按每个组指定特权领导者)，进行有向导的游览等的用途。

另一方面，在后者中，设想以下的使用方式：多人参加到三维空间内，用安装有一人作为向导(特权用户)引导其他的参加者或说明的功能的VR设备进行视听。在此情况下，进一步细分为以下等的用途：带向导的VR观光(CG空间内)：除了各自能够在博物馆等的三维空间中自由地移动的情况以外、带向导的VR展览会(VR市场)视察、VR集合教育(例如30个学生。在学生在VR-CG空间(360°空间)中学习的情况下，老师能够进行指示，所以能够期待比实际的教室更优越的点)、VR演示：例如在多个人确认了建筑CG空间的情况下主持人能够对听众的行动进行控制。

在360°影像中，在360°影像的实时拍摄、传送时，在场所是相同的场所，仅各用户正在观看的朝向不同的情况下，如果向导进行自拍，并在希望观看拍到自己的方向时放入队列，则用某种方法传送该队列，在观看器侧，一旦该队列到来，就能够强制地使视点的中心移动到那里(改变影像的切取位置)。此时，为了避免VR眩晕，进行与运动的显示进行切换等处理(例如，如果被拖拉地强制移动则有眩晕的情况)。或者也可以是，一旦队列到来，则在观看器上显示箭头、目标，促使将身体改变为该朝向。

另一方面，在其他人进行拍摄的情况下，一旦向导指示或一旦摄像者决定，就将摄像机的特定的方向朝向该方向，放入队列并传送。关于观看器侧可以与上述相同。作为队列的安装方法，可以列举：在360°摄像机上设置放入队列的按钮；图像识别技术的应用，例如一旦向导提示了特定标识器、特定动作(姿势等)，则摄像机、服务器、观看器中的某一个进行识别，确认队列(图像标识器队列)；非可听域音的利用，例如使用狗哨那样的非可听声音传送而设为队列(特定声源队列)；或声音识别技术的利用，例如登记特定的关键字(AI扬声器的启动字)，由观看器进行识别而设为队列(声音队列)等。

在三维CG中，如果设想用CG再现平城京等而在其中进行带向导的游览的情况(与在VR会议系统中由多人观看较大的建筑物内的情况相同)，则可设想各自的位置也为零零散散。在此情况下，需要指定场所和视线的朝向而强制地使当前位置移动到指定场所。

在对应于向导的CG内虚拟人像等为了说明等而指示了观看特定的场所的特定的方向的情况下，进行：强制地朝向特定的方向；通过显示空间向导来进行引导；在当前位置与指定场所大幅地不同、是看不到被指定的物体的位置的情况下，使位置移动(扭曲)，但是，如果突然扭曲则会带来惊吓(可能与眩晕相联系)，所以通过在观看器上显示某种警告、显示与通常不同的扭曲按钮(退出按钮)等，使用户采取行动后移动(在移动时方向也对准)等处理。作为CG内虚拟人像指示了集合的情况下的处理，相当于上述的第3个，进行使向导所处的场所扭曲，使得朝向向导的方向的处理。

作为本发明的重要的要素，可以列举(i)检测方向、方位，记录并送出的方法、以及(ii)使参加者朝向特定的方向、集合等的队列的生成、送出、控制(强制、注意唤起等)的这两个方法。在(i)中，还有方向、方位的检测、方向、方位的送出这两个副要素。此外，在(ii)中，还有队列的生成、队列的送出、按照队列的VR空间的控制方法这3个副要素。

在队列的生成中，可以想到：使用开关、菜单；特定的物体的显示，例如使用向导的指引旗那样的物体；使用特定的光脉冲；使用特定的关键字，例如观光向导使用的正面、右等的方向、建筑物的名称、集合等的行动，或开头加上特定的关键字而进行“大家请朝向右方”等指示时的关键字；使用人不能识别的声音脉冲，例如音频水印。

在队列的送出中，设想依据方向的送出的内容。

在按照队列的VR空间的控制方法中，设想根据队列的种类进行以下这样的控制。即，将VR空间对准于标识器位置、在VR空间的场所中移动、控制VR影像的呈现方式(分辨率、对比度、帧速率、视角等)、进行现场直播与录制影像的切换等。

图33是表示有关实施例的影像显示系统的功能构成的一例的图。图34是表示有关实施例的观测系统的功能构成的一例的图。图35是表示有关实施例的VR系统的功能构成的一例的图。

参照图33及图34说明本发明的实施例的观测系统(观测装置)的实现例中的360°摄像机的实现例。

本发明的实施例的观测系统3351(360°摄像机3401)与以往例2的360°摄像机的实现例大致是同样的，对差异进行说明。在本发明的实施例的360°摄像机中，作为队列信息输入部(队列信息输入单元3352)而将输入按钮及位置/方位检测/存储部3402作为CPU802的程序追加，由位置/方位检测/存储部生成基于从输入按钮(数据输入部)输入的队列信息和由位置/方位检测/存储部(元数据变换部)3402检测到的位置/方位的元数据，向复用部832传送，进行复用，经由无线通信元件(发送部)820向VR系统3301送出。

队列信息用于通过输入按钮选择预先指定的方向、例如右侧或左侧，通过用编号或菜单选择预先指定的多个场所而选择目的地，给出开始运动的定时。

更具体地讲，有利用按钮进行的左、右、正面、背面的指定和利用方位的变更开始/结束按钮811进行的开始/结束的指定、利用号码键进行的目标的指定、利用触摸面板进行的指定等。

根据情况，队列信息不仅利用输入按钮生成，还通过进行以下的处理来生成：由用虚线表示的位置/方位分析部3403及3404对所拍摄的影像进行分析，通过与预先指定的图像进行比较来检测目的地，检测运动目的地的位置/方位；对向导的手摆动/身体摆动进行分析，检测运动目的地的方向、开始运动的定时；在向导拿持的指示棒那样的物体上设置按钮和LED那样的发光元件，通过向导的操作而发光元件脉冲性地发光，通过检测其发光样式来检测运动目的地的方向、位置；或者从预先设定的多个目的地中选择一个；检测开始运动的定时等。或者，进行对来自麦克风的声音进行分析并根据向导说出的话语确定目的地的处理、检测运动的方向、开始运动的定时的处理，通过由CPU802执行的位置/方位检测功能变换为适当的元数据，发送给VR系统3301。

参照图33及图35说明本发明的实施例的VR系统3301(显示装置、HMD/VR眼镜和计算机/智能电话3501)的实现例。

以本发明的实施例的VR系统3301与以往例2的VR系统的差异为中心进行说明。

在实施例中，在以往例2的VR系统的计算机/智能电话3501的CPU965及GPU954中，作为程序而追加了位置/方位/队列判断部(视点判断部)3502及3503。

在CPU965的位置/方位/队列判断部3503中，将队列数据与从观测系统3351或向导取得的目标物的位置/方位一起作为元数据而从观测系统3351经由通信元件(接收部)接收，在按照队列数据变更声音的情况下，进行通过由CPU965的程序实现的声音再现部生成向导声音的处理、将再现声音适当地加工的处理等。在根据队列数据变更VR影像、图形的情况下，CPU965的位置/方位/队列判断部3503将元数据经由系统总线发送给GPU。

在GPU954中，由位置/方位/队列判断部3502对接收到的元数据进行处理，为了显示基于队列数据的图形而向图形生成部(图形生成部)959发送信息。来自图形生成部959的图形数据由VR显示控制部957重叠于VR影像而显示。或者，从位置/方位/队列判断部3502将基于队列数据的信息发送给VR控制部956，将来自运动/位置传感器903的信息与由运动/位置检测处理部(检测部)955检测到的VR系统的位置/方位的状态一起由VR显示控制部(显示控制部)957对VR影像适当地进行加工，从AV输出952向AV输入925发送影像数据，由影像显示处理部912作为VR影像而在显示元件(显示部)905上显示。上述的声音、图形、VR影像的处理，既有分别单独实现而不进行其他处理的情况，也有实现多个处理而在VR系统或者观测系统的动作时选择处理的情况。

此外，观测系统3351的位置/方位检测处理也有由云等处于观测系统与VR系统之间的计算机系统实现的情况。在此情况下，从观测系统3351不送出元数据，或将操作者输入的数据作为元数据送出，例如由处于云中的位置/方位检测单元根据从观测系统送出的影像、声音或元数据检测观测系统、向导或目标物的位置/方位或运动，作为元数据发送给VR系统。由此，即使是现有的360°摄像机也能够发挥本实施例的效果。

关于某些处理，由GPU954进行还是由CPU965进行有与本例不同的情况，总线构成也有与本例不同的情况，但后述的功能构成、动作没有差异。

关于一体型的VR系统，本实施例也与以往例几乎没有变化，通过将CPU965及GPU954分别作为一个而实现功能，能够实现小型的一体型的VR系统。

再次参照图33，对实施例的另一构成进行说明。

在图33中，实施例将图34的观测系统、图35的VR系统各自作为功能块，不是用实际的连接而是作为数据及控制流将两个系统一体化而记载。

在观测系统3351中，图34中的VR拍摄摄像机804在图33中相当于VR拍摄单元762。同样，VR影像处理部相当于VR影像处理单元758，VR影像压缩部相当于VR压缩单元756，麦克风群、麦克风端子、麦克风放大器及ADC相当于声音输入单元763，声音压缩部相当于声音压缩单元760，输入按钮相当于队列信息输入单元3352，运动/位置检测部、位置/方位检测/存储部和GPU及CPU的两个位置/方位分析部相当于位置/方位检测/存储单元3353，复用部相当于复用单元2652，无线通信元件相当于通信单元754，分离部相当于分离单元755，声音解码部相当于声音解码单元761，DAC、放大器、耳机元件、扬声器相当于声音输出单元764。影像系统总线、存储器总线、系统总线、I/O总线、总线变换、RAM、EEPROM、SD卡、电源开关、电源控制元件、电池、显示元件、拍摄模式选择按钮、缩放按钮、拍摄开始/结束按钮由于与本发明的动作没有直接关联，所以省略图示。

在VR系统3301中，图35的通信元件在图33中相当于通信单元716。同样，分离部相当于分离单元715，声音解码部相当于声音解码单元713，声音再现控制部相当于声音再现控制单元709，DAC、放大器、扬声器、耳机端子相当于声音再现单元705，VR影像解码部相当于VR影像解码单元710，图形生成部相当于图形生成单元712，CPU和GPU各自的位置/方位/队列判断部相当于位置方位/队列判断单元3302，运动/位置传感器和运动/位置检测部相当于位置检测单元和旋转检测单元，运动/位置检测处理部和VR控制部相当于VR控制单元707，VR显示控制部相当于VR显示控制单元708，影像显示处理部、显示元件、透镜相当于VR影像显示单元704，麦克风、麦克风放大器、ADC相当于声音输入单元706，声音压缩部相当于声音压缩单元714，复用部相当于复用单元717。影像系统总线、存储器总线、系统总线、I/O总线、总线变换、RAM、EEPROM、非易失性存储器、电源开关、电源控制元件、电池、音量按钮、AV输出、AV输入、USB由于与本发明的动作没有直接关联或作为一个系统记载，所以省略图示。无线通信元件为了与控制器的通信而需要，但在图33中由于省去了控制器，所以省略了图示。

在本发明的实施例中，具备队列信息输入单元3352。队列信息输入单元3352通过观测系统3351的操作者或向导物理地操作的开关或平板电脑、智能电话等，输入移动的开始和结束的定时、移动的位置或方向、或者目的地(目标)的位置、方向。此外，通过队列数据从多个目标中指定要移动的目标。

或者，队列信息输入单元3352有时如用虚线表示那样，根据从VR影像处理单元758得到的影像或从声音输入单元得到的声音信息得到队列信息。

将从队列信息输入单元3352得到的队列信息被发送至位置/方位检测/存储单元3353，与观测系统3351的位置、方位一起被处理，根据情况，其状态被存储并成形为适合的数据，作为元数据发送到复用单元2652，与影像、声音及图形一起复用后，由通信单元754向VR系统3301送出。

在VR系统3301中，通信单元716接收来自观测系统3351的通信信息，由分离单元715将元数据分离，发送给位置/方位/队列判断单元3302。

在位置/方位/队列判断单元3302中，从元数据中取出队列数据，进行设定的处理，将队列信息为了显示为图形而发送给图形生成单元712，由VR显示单元704重叠于VR影像而显示；或者发送给VR控制单元707，与VR系统3301的位置/方位的状态一起由VR显示控制单元708将VR影像适当地加工，用VR显示单元704显示；或者由声音再现控制单元709生成向导声音、将再现声音适当地加工等。

作为具体例，在队列数据中表示了“向目标A移动”的数据的情况下，根据VR系统的位置，目标A的位置不同，在用图形表示队列信息的情况下，向适当的方向显示箭头。具体而言，在目标A处于左侧的情况下，显示朝左的箭头，在对影像进行控制的情况下，例如进行仅使左侧清晰等的控制，在用声音进行控制的情况下，播放“请朝向左侧”这样的播音。这样，将队列数据的内容与VR系统的位置/方位比较来进行适当的处理。

图36及图37是表示有关实施例的元数据的构成例的图。说明本实施例的元数据的构成例。

元数据的种类包含表示是本发明的元数据的既定的代码或字符串。版本号是用于变更了元数据的结构时的编号，例如，如在评价阶段为0.81(0081)、在测试实验中为0.92(0092)、在发布时为1.0(0100)等那样，如主版本、副版本那样使用，以在相同的主版本之间保证互换性的考虑方式使用。

在功能代码为0的情况下，表示元数据的信息无效，在其他情况下表示元数据内的信息的种类。例如，0001表示是记载有基准位置、摄像机、向导和目标的位置、移动方向和速度的格式。0002表示图形数据，0003表示VR系统的信息，0011是对0001附加从观测系统发送来的队列数据而得到的，0021带有队列数据且设定了移动的目标。

除此以外，队列数据的种类、尺寸等在元数据中包含有多个与队列数据有关的参数。作为与队列数据有关的参数，如图37所示，在队列数据的种类中准备例如0～7的8种，输入指定是其哪个队列数据的数值。此外，在该例中，能够有选择地指定多个目标，所以包含用于指定目标的参数。具体而言，在多个目标各自中设定有不同的数值，能够通过数值来指定而选择目标。此外，作为参数之一，也可以单单输入用于指定方向的参数。这里，作为方向，可以以1°单位来指定方向。

基准位置是作为位置数据的基准的位置的数据，作为整体系统例如以X(东西距离)、Y(南北距离)、Z(高度方向的距离)或经纬度和高度表示等，包括单位在内预先设定。在基准位置为0的情况下，表示以系统整体的复位时的位置为基准。关于摄像机的位置、向导的位置，也预先设定是绝对坐标还是相对于基准位置的相对坐标。

关于移动方向、速度，表示作为观测系统或向导的移动状况，但在有队列数据的情况下表示将来怎样移动。

在VR观光的情况下，目标的数量表示作为观光的到访地。目标的数量为0的情况下表示没有目标。

校验码是用于验证元数据的数据在送出中是否错误的代码，例如使用CRC等。

关于元数据的各个项目的顺序、项目的内容、值，既可以与本构成例不同，也可以具有同样的功能。

图38是表示有关实施例的元数据的另一构成例的图。在该例中，相对于图36的例子，表示设定了目标的状态的元数据。

图39是表示有关实施例的影像显示系统的动作流程的一例的图。说明本发明的实施例的动作。

在观测系统中，在队列信息输入步骤中队列信息输入单元将来自输入按钮等的输入设为队列信息(S3932)，由位置/方位检测/存储单元确认是否有有效的队列信息(S3933)。在有有效的队列信息的情况下(S3933中为“是”)，按照所输入的队列信息，由位置/方位检测/存储单元生成元数据(S3934)，接着，由复用单元将队列信息与影像、声音及图形信息复用(S3927)，由通信单元向VR系统送出(S3928)。在没有有效的队列信息的情况下(S3933中为“否”)，不进行任何处理(S3935)。

或者，由队列输入单元从被输入的声音信息、VR影像声音输入及来自拍摄单元的VR影像的输入，提取队列信息(S3930)，由位置/方位检测/存储单元变换为元数据(S3931)，由复用单元与影像、声音及图形信息复用(S2927)，由通信单元向VR系统送出(S3928)。

在VR系统中，由分离单元从由通信单元接收到的信息中分离元数据(S3901、S3902)，在元数据解析步骤中由位置/方位/队列判断单元对元数据进行解析(S3906)，在有队列信息的情况下，按照队列信息，向图形生成单元、VR控制单元或声音控制单元发送队列信息。图形生成单元基于队列信息进行图形的生成。或者，VR控制单元进行基于队列信息的VR影像的控制(S3907、S3908、S3909、S3910)。进而，有时由声音控制单元进行基于队列信息的声音信息的附加及控制(S3903、S3904、S3905)。进行上述的哪个处理，取决于VR系统或者系统整体的设定。

此外，关于在上述中没有说明的步骤，通过参照图13的同样的步骤中的说明而省略这里的说明。具体而言，步骤S3921对应于步骤S1321，步骤S3922对应于步骤S1322，步骤S3923对应于步骤S1323，步骤S3924对应于步骤S1324，步骤S3925对应于步骤S1325，步骤S3926对应于步骤S1326。

图40是说明实施例的影像显示系统的动作的结果的图。在图40的例子中，表示重叠了箭头显示图形的情况。具体而言，在队列数据表示了“朝向右方”的数据的情况下，根据VR系统的位置，有在VR系统的使用者的左侧有目标的情况，在此情况下，在用图形表示队列信息的情况下，显示朝左的箭头。关于箭头向哪侧出现，在观测系统中精度很高地知道目标的位置/方向的情况下，如果输入该信息并作为元数据发送给VR系统，则与VR系统的使用者的朝向进行比较，在规定的误差内目标处于正面的情况下，箭头表示VR系统的使用者的正面，如果在使用者的规定的误差以上为左，则为表示左侧的箭头，如果在规定的误差以上为右，则显示表示右侧的箭头。假如在另外设定的误差范围内目标处于使用者的后方的情况下，显示朝后的箭头。

在观测系统中目标的位置/方向含糊的情况下，也只要输入接近的信息，它们就被反映到元数据中而发送至VR系统，进行与上述同样的处理，显示箭头，在位置/方位判断单元中，接收观测系统或者向导、目标物的位置/方位作为元数据，将该信息为了显示为图形而发送给图形生成单元，由VR显示单元重叠到VR影像中而显示。

例如，在图中的左端的例子中，表示了显示表示正面的箭头的状况。接着，在中央左侧的例子中，表示了箭头显示为表示右侧的状况。接着，在正中间的例子中，表示了在VR系统的使用者朝向右方的情况下为表示左侧的箭头、在朝向左方的情况下为表示指向后方的箭头、在朝向后方的情况下为指向左后方的箭头的状况(在图中，在朝向右方的情况下显示表示左侧的箭头)。如果使用者改变朝向，则顺着该改变，箭头的朝向如上述那样变化。接着，在中央右侧的例子中，表示了MAP显示的情况的状况。在MAP显示的情况下，箭头显示为表示右侧，或用星标记等表示目的地。接着，在右端的例子中，表示了MAP显示的情况。在MAP显示的情况下，也表示了根据朝向而适当地将箭头和MAP旋转而显示的状况。

图41是说明实施例的影像显示系统的动作的结果的图。在图41的例子中，表示了将VR影像加工的情况。具体而言，在由队列数据表示了“朝向右方”的数据的情况下，根据VR系统的位置，有目标处于VR系统的使用者的左侧或背后的情况，在对影像进行控制的情况下，例如掩膜或分辨率的控制位置变化。另外，朝向的判断与箭头的情况是同样的。

例如，在图中的左端的例子中，表示了在正面为目标的情况下不特别进行处理而原样显示影像的状况。接着，在中央左侧的例子中，表示了右侧以外被遮蔽而促使朝向右方的状况。接着，在正中间的例子中，表示了将右侧以外的分辨率降低而促使朝向右方的状况。接着，在中央右侧的例子中，表示了如果朝向右方则掩膜(中央左侧的例子)、分辨率(正中间的例子)回到原来的显示的状况。接着，在右端的例子中，在从最初起朝向右方的情况下，什么都不特别显示，或进行将中央部以外遮蔽或降低分辨率的处理。也可以在朝向左方的情况下仅将右方的一小部分遮蔽，在朝向后方的情况下将左侧遮蔽。

图42是说明实施例的影像显示系统的动作的结果的图。在图42的例子中，表示了再现声音向导的情况。具体而言，在队列数据中表示了“朝向右方”的数据的情况下，根据VR系统的位置，有目标处于VR系统的使用者的左侧的情况，在用声音进行控制的情况下，播放“请朝向左侧”那样的播音。另外，朝向的判断与箭头的情况是同样的。

例如，在图中的左端的例子中，表示了在进行正面的建筑物的说明时像从正面听到向导的声音那样再现声音的状况。接着，在正中间的例子中，表示了在进行右手侧的建筑物的说明时像从右方听到向导的声音那样、在后方为目标的情况下像从后方听到声音那样、在左方为目标的情况下像从左方听到声音那样再现声音的状况(图中是在进行右手侧的建筑物的说明时从右方听到向导的声音的例子)。接着，在右端的例子中，表示了在VR系统的使用者朝向右方或后方的情况下，由于右手实际上是左手，所以从VR系统的使用者的左方听到向导的声音。在混乱的情况下，仅将声音中的“右”替换为“左”、与图形进行组合并用箭头等表示朝向等。

图43是说明实施例的影像显示系统的动作的结果的图。在图43的例子中，表示了多个用户在相同的图像空间内分散的情况。具体而言，在有多个VR系统的使用者、且在VR空间内处于与向导的场所不同的地方的情况下，VR系统的使用者观看的VR影像为预先拍摄的影像。或者，存在多个观测系统。此时，如果向导为了使参加者在向导的场所集合而表示声音、按钮或地图的位置并发送用于集合的队列数据，则根据VR系统的使用者的位置、朝向，通过将箭头、VR图像加工，或者用声音、控制器的振动等对VR系统的使用者各自进行显示或再现。

在图中，VR系统A朝北，正面是A神社，所以显示为箭头指向正面，VR系统B朝北，左手侧是A神社，所以显示为箭头指向左方，VR系统C朝东，右手侧是A神社，所以显示为箭头指向右方。另外，也可以如作为VR系统C的另一例表示那样进行MAP显示。

在移动时，也可以由控制器使用所谓的扭曲功能来移动。作为同样的功能，也可以从菜单中选择“移动到向导的位置”的功能来使其移动。

该功能在多个VR系统分散于VR会议、VR事件、VR体育观赛等较大的VR空间中的情况下也是有效的。

图44是说明实施例的影像显示系统的用途的一例的图。如图44所示，可以在VR展览会的例子中使用影像显示系统。例如，如果向导或主办者播音了集合到室2－3中等，则多个VR系统中的参加者能够从各自的位置移动。

图45是说明实施例的影像显示系统的用途的一例的图。如图45所示，在VR商场的例子中可以使用影像显示系统。例如，如果向导或主办者播音了集合于门廊A8等，则多个VR系统中的参加者能够从各自的位置移动。

这样，不是发送来自观测系统的VR图像，而是能够应用于由CG构成的VR空间中的VR观光、VR会议(从多个会议集合到整体会议)、VR体育观赛(多个观赛场所集合到主场所)、VR事件(从多个不同事件的场所集合到主会场)等。

在此情况下，安装在观测系统中的功能和操作等由向导或主办者操作的VR系统实现。

此外，不仅是集合，在向不同的会场成组移动的情况下也能够使用同样的方法。在此情况下，不是主办者或向导发出队列，只要组的成员发出队列即可。

图46是用于说明实施例的影像显示系统的移动方法的另一例的图。如图46所示，在从向导或主办者等发出了移动的队列时，根据VR系统的使用者正在观看的VR画面的状况，移动的开始方法不同。例如，在通过箭头或画面的变更、声音指示了移动方向时，使用控制器的功能(例如扭曲功能)进行移动。该方法在近距离下没有问题，但在远距离时花费工夫。

当显示了箭头时，也可以通过选择箭头而能够移动到目标场所。同样，在MAP显示的情况下，也可以通过选择MAP内的任意的点而移动到对应的地点。进而，也可以显示与目标对应的字符(A、B、C等)，通过选择该某个字符，能够移动到对应的预先设定的地点。在画面被遮蔽时，也可以是如果选择没有被遮蔽的部分则能够移动到被指定的地点。

图47是用于说明利用云实现有关实施例的影像显示系统的构成例的图。在图47所示的构成中，通过在云上拥有根据观测系统4761的位置/方位/队列信息和VR系统的位置/方位对图形、VR运动图像、声音及控制器的振动进行控制而向VR系统的使用者给出适当的信息的功能，在简单的VR系统中也能够发挥本发明效果。

在图47所示的构成中，通过在云上拥有位置/方位/队列检测存储单元4740，通过在云上从由分离单元4742从自观测系统传送来的数据分离出的元数据读取观测系统4761的位置/方位，或通过从自观测系统4761传送来的VR影像读取观测系统的位置、方位，由图形生成单元4736生成箭头等的图形。由VR控制单元4707判断观测系统的位置/方位及VR系统的位置和方位，由VR显示控制单元4708将VR影像和图形合成，或者将VR影像加工，或由声音再现控制单元4739改变声音的定位、变更声音的内容等，能够进行适合于VR系统4701的位置、方位的显示、声音的输出。此外，这里没有图示，但可以适当地控制VR系统的控制器，通过振动等将方向、位置通知给VR系统的使用者。

另外，作为在云上具备的功能，并不限定于图47所示的构成，可以根据连接的观测系统及VR系统的构成、功能而选择在云上具备的功能，以使得作为整体的功能、动作大致成为同样。作为例子，在观测系统中，在不检测观测系统的位置/方位而在云上检测观测系统的位置/方位，并作为图形重叠在影像上发送给VR系统的情况下，虽然对基于VR系统的位置/方位进行的图形的变更有限制，但在VR系统中不需要特别的功能。此外，在VR系统中具备根据VR系统的位置/方位对图形进行修正的位置/方位控制单元和图形生成单元的构成中，还能够基于VR系统的位置/方位进行图形的变更。

另外，关于在上述中没有说明的构成，通过参照图33的同样的构成的说明，省略这里的说明。VR系统4701具备的位置检测单元4702、旋转检测单元4703、VR显示单元4704、声音再现单元4705、声音输入单元4706、VR控制单元4707、VR显示控制单元4708、声音解码单元4709、声音压缩单元4710、VR影像解码单元4711、分离单元4712、复用单元4713及通信单元4714、计算机系统4731具备的分离单元4732、VR影像压缩单元4733、复用单元4734、通信单元4735、图形生成单元4736、VR显示控制单元4737、VR影像展开单元4738、声音再现控制单元4739、位置/方位/队列检测存储单元4740、通信单元4741及分离单元4742、以及观测系统4761具备的队列信息输入单元4762、复用单元4763、通信单元4764、分离单元4765、VR影像压缩单元4766、声音压缩单元4767、声音解码单元4768、VR影像处理单元4769、VR拍摄单元4770、声音输入单元4771、声音输出单元4772，分别与位置检测单元702、旋转检测单元703、VR显示单元704、声音再现单元705、声音输入单元706、VR控制单元707、VR显示控制单元708、声音再现控制单元709、VR影像解码单元710、图形生成单元712、声音解码单元713、声音压缩单元714、分离单元715、通信单元716、复用单元717、位置/方位/队列判断单元3302、队列信息输入单元3352、位置/方位检测/存储单元3353、通信单元754、分离单元755、VR影像压缩单元756、复用单元757、VR影像处理单元758、图形生成单元759、声音压缩单元760、声音解码单元761、VR拍摄单元762、声音输入单元763、声音输出单元764的各自一对一、多对一、一对多或多对多地对应。

图48是用于说明利用云实现有关实施例的影像显示系统的构成例的图。如图48所示，观测系统的位置/方位/队列检测存储单元4740也有由云等处于观测系统4761与VR系统4701之间的计算机系统实现的情况。在此情况下，从观测系统不送出表示方向的元数据，或将操作者输入等的队列信息的数据作为元数据送出，例如由处于云上的位置/方位/队列检测存储单元4840根据从观测系统4861送出的影像、声音或元数据检测观测系统、向导或目标物的位置/方位或运动，并作为元数据发送给VR系统。由此，即使是现有的360°摄像机也能够发挥本实施例的效果。

进而，关于VR系统侧的位置/方位判断单元4915和由它进行的VR影像、声音的控制，也有由云等的处于VR系统与观测系统之间的计算机系统实现的情况。在此情况下，能够期待将相同的处理在一处进行、容易对多个VR系统同时带来相同的效果、以及对现有系统带来本发明效果等的效果。但是，为了反映VR系统的方向、位置，需要从VR系统向云侧发送VR系统的位置、方向，需要在云侧设置与VR系统分别对应的处理部。

图48的构成是不将VR系统的位置、方位发送给云侧的情况的例子，在此情况下，虽然难以根据VR系统的位置、方位而显示箭头、改变声音等，但能够在VR显示控制单元中进行根据位置/方位/队列检测单元的输出改变VR影像的分辨率、进行遮蔽、改变声音的定位等的处理。

另外，关于在上述中没有说明的构成，通过参照图33的同样的构成的说明，省略这里的说明。VR系统4801具备的位置检测单元4802、旋转检测单元4803、VR显示单元4804、声音再现单元4805、声音输入单元4806、VR控制单元4807、VR显示控制单元4808、声音解码单元4809、声音压缩单元4810、VR影像解码单元4811、分离单元4812、复用单元4813、通信单元4814及声音再现控制单元4817、计算机系统4831具备的VR影像压缩单元4733、复用单元4834、通信单元4835、图形生成单元4836、VR显示控制单元4837、VR影像展开单元4838、声音再现控制单元4839、位置/方位/队列检测存储单元4840、通信单元4841及分离单元4842、以及观测系统4861具备的队列信息输入单元4862、复用单元4863、通信单元4864、分离单元4865、VR影像压缩单元4866、声音压缩单元4867、声音解码单元4868、VR影像处理单元4869、VR拍摄单元4870、声音输入单元4871、声音输出单元4872分别与位置检测单元702、旋转检测单元703、VR显示单元704、声音再现单元705、声音输入单元706、VR控制单元707、VR显示控制单元708、声音再现控制单元709、VR影像解码单元710、图形生成单元712、声音解码单元713、声音压缩单元714、分离单元715、通信单元716、复用单元717、位置/方位/队列判断单元3302、队列信息输入单元3352、位置/方位检测/存储单元3353、通信单元754、分离单元755、VR影像压缩单元756、复用单元757、VR影像处理单元758、图形生成单元759、声音压缩单元760、声音解码单元761、VR拍摄单元762、声音输入单元763、声音输出单元764的各自一对一、多对一、一对多或多对多地对应。

图49是用于说明利用云实现有关实施例的影像显示系统的构成例的图。在图48的构成中，难以根据VR系统的位置、方位而显示箭头、改变声音等，但在图49所示的构成中，通过在VR系统中具有位置/方位判断单元4902、4903，在云上从由分离单元4912从自观测系统发送来的数据分离出的元数据，读取观测系统的位置/方位，据此由图形生成单元4916生成箭头等的图形，由元数据变换单元4937将其与从观测系统发送来的位置/方位信息等一起变换为元数据，用复用单元复用，发送给VR系统。

在VR系统中，根据由分离单元分离出的元数据生成图形，并且由VR控制单元判断观测系统的位置/方位及从位置检测单元和旋转检测单元得到的VR系统的位置和方向，通过由VR显示控制单元适当地将VR影像与图形合成，或者将VR影像加工，并且由声音再现控制单元改变声音的定位、变更声音的内容等，能够进行适合于VR系统的位置、方位的显示、声音的输出。此外，这里虽然没有图示，但可以对VR系统的控制器适当地进行控制，通过振动等向VR系统的使用者通知方向、位置。

另外，将由VR系统的位置检测单元及旋转检测单元检测到的VR系统的位置/方位信息作为元数据，在复用单元中与其他信息复用，由通信单元向云上的计算机系统送出。该功能在一般的VR系统中几乎都具备。

另外，关于在上述中没有说明的构成，通过参照图33的同样的构成的说明，省略这里的说明。VR系统4901具备的位置检测单元4902、旋转检测单元4903、VR显示单元4904、声音再现单元4905、声音输入单元4906、VR控制单元4907、VR显示控制单元4908、声音解码单元4909、声音压缩单元4910、VR影像解码单元4911、分离单元4912、复用单元4913、通信单元4914、位置/方位判断单元4915、图形生成单元4916及声音再现控制单元4917、计算机系统4931具备的复用单元4934、通信单元4935、图形生成单元4936、VR显示控制单元4937、位置/方位/队列检测存储单元4940、通信单元4941及分离单元4942、以及观测系统4961具备的队列信息输入单元4962、复用单元4963、通信单元4964、分离单元4965、VR影像压缩单元4966、声音压缩单元4967、声音解码单元4968、VR影像处理单元4969、VR拍摄单元4970、声音输入单元4971、声音输出单元4972，分别与位置检测单元702、旋转检测单元703、VR显示单元704、声音再现单元705、声音输入单元706、VR控制单元707、VR显示控制单元708、声音再现控制单元709、VR影像解码单元710、图形生成单元712、声音解码单元713、声音压缩单元714、分离单元715、通信单元716、复用单元717、位置/方位/队列判断单元3302、队列信息输入单元3352、位置/方位检测/存储单元3353、通信单元754、分离单元755、VR影像压缩单元756、复用单元757、VR影像处理单元758、图形生成单元759、声音压缩单元760、声音解码单元761、VR拍摄单元762、声音输入单元763、声音输出单元764的各自一对一、多对一、一对多或多对多地对应。

(其他实施方式)

以上，对实施方式等进行了说明，但本公开并不限定于上述实施方式等。

此外，在上述实施方式等中例示了构成影像显示系统的构成要素，但影像显示系统具备的构成要素的各功能怎样分配给构成影像显示系统的多个部分都可以。

此外，在上述实施方式中，各构成要素也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。

此外，各构成要素也可以由硬件实现。例如，各构成要素也可以是电路(或集成电路)。这些电路既可以作为整体构成1个电路，也可以分别是各自的电路。此外，这些电路分别既可以是通用性的电路，也可以是专用的电路。

此外，本公开的全局性或具体的技术方案也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，此外，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

除此以外，对实施方式等施以本领域技术人员想到的各种变形而得到的形态、或在不脱离本公开的主旨的范围内通过将实施方式等中的构成要素及功能任意地组合而实现的形态也包含在本公开中。

工业实用性

本公开对于使显示装置显示适当的影像的用途具有实用性。

标号说明

11 位置检测单元

13 旋转检测单元

15 VR显示单元

17 声音再现单元

19、71 声音输入单元

21 VR控制单元

23 VR显示控制单元

25 声音再现控制单元

27、63 声音压缩单元

29 VR影像解码单元

31 位置/方位/队列判断单元

33 图形生成单元

35、65 声音解码单元

37、57 分离单元

39、55 通信单元

41、61 复用单元

51 队列信息输入单元

53 位置/方位检测/存储单元

59 VR影像压缩单元

67 VR影像处理单元

69 VR拍摄单元

73 声音输出单元

99 图形

99a 箭头

99b 地图

99c 掩膜

99d 低分辨率化过滤器

100 显示装置

101 显示部

102 显示状态检测部

150 网络

200 服务器装置

201 接收部

202 差分计算部

203 提示部

204 影像生成部

300 观测装置

300a、300b 拍摄装置

301 存储部

302 输入接口

303 位置输入部

304 数据取得部

305 元数据取得部

306 发送部

500 影像显示系统

Claims (19)

1.一种影像显示系统，用于通过显示装置对显示影像进行显示，其中，

具备观测装置和虚拟现实装置即VR装置，

上述观测装置具有：

拍摄部，生成广视角影像；

数据取得部，取得与在上述广视角影像内使上述显示装置的用户关注的关注对象的位置及方向中的至少一方有关的数据、以及用于通知上述观测系统的状态的变化的队列信息；

元数据构成部，将来自上述数据取得部的上述数据与其他信息一起作为元数据；以及

发送部，将上述广视角影像与上述元数据一起发送，

上述VR装置具有：

接收部，接收上述广视角影像、上述数据以及上述队列信息；

显示状态推测部，推测上述显示装置在上述广视角影像内的位置及方向中的至少一方；

差分计算部，基于推测出的上述显示装置在上述广视角影像内的位置及方向中的至少一方与上述元数据上的上述关注对象的位置及方向中的至少一方的差分，计算相对位置及相对方向中的至少一方，上述相对位置是相对于上述显示装置在上述广视角影像内的位置及方向中的至少一方的相对的上述关注对象的位置，上述相对方向是相对于上述显示装置在上述广视角影像内的位置及方向中的至少一方的相对的上述关注对象的方向；

提示部，将计算出的上述相对位置及上述相对方向中的至少一方的信息、以及基于上述队列信息的指示及上述观测系统的状态提示给上述显示装置的用户；

影像生成部，从接收到的上述广视角影像生成包含如下一部分图像的上述显示影像，上述一部分图像是对应于与上述显示状态推测部推测出的上述显示装置在上述广视角影像内的位置及方向中的至少一方的信息、以及基于上述队列信息的指示及上述观测系统的状态相应的视野部分的图像；以及

上述显示装置，显示上述显示影像。

2.如权利要求1所述的影像显示系统，其中，

还具备拍摄影像的摄像机或通过运算生成图像的图像生成部，

上述广视角影像是由上述摄像机拍摄的影像或由上述图像生成部运算出的图像。

3.如权利要求1或2所述的影像显示系统，其中，

上述提示部，

生成图形并输出，上述图形表示计算出的上述相对位置及上述相对方向中的至少一方以及基于队列信息的信息，

通过使所输出的上述图形重叠在上述一部分图像上，使上述影像生成部提示上述相对位置及上述相对方向中的至少一方。

4.如权利要求3所述的影像显示系统，其中，

上述数据受理部受理与上述关注对象的方向有关的数据的输入，

上述显示状态推测部推测上述显示装置在上述广视角影像内的方向，

上述图形在上述显示影像上显示指示上述相对方向的箭头。

5.如权利要求3所述的影像显示系统，其中，

上述数据受理部受理与上述关注对象的方向有关的数据的输入，

上述显示状态推测部推测上述显示装置在上述广视角影像内的方向，

上述图形显示掩膜，该掩膜是用于将上述显示影像上的上述相对方向侧以外的至少一部分遮盖的图像。

6.如权利要求3所述的影像显示系统，其中，

上述数据受理部受理与上述关注对象的位置有关的数据的输入，

上述显示状态推测部推测上述显示装置在上述广视角影像内的位置，

上述图形在上述显示影像上显示表示上述相对位置的地图。

7.如权利要求1～6中任一项所述的影像显示系统，其中，

还具备用于输入上述数据的输入接口，

上述数据取得部取得经由上述输入接口输入的上述数据。

8.如权利要求3～5中任一项所述的影像显示系统，其中，

还具备输入接口，该输入接口用于指定上述用户在上述广视角影像内的移动的开始定时和结束定时的至少一方，

上述数据取得部取得经由上述输入接口输入的上述移动的开始定时和结束定时的至少一方。

9.如权利要求6所述的影像显示系统，其中，

构成上述广视角影像的图像是由拍摄真实空间的拍摄部输出的图像，

上述输入接口具有指示标识器和图像解析部，上述指示标识器是在上述真实空间中上述输入接口的操作者保持的指示标识器，通过上述指示标识器的运动来指示上述关注对象的位置及方向中的至少一方，上述图像解析部通过对由上述拍摄部输出的包含上述指示标识器的图像进行解析，受理由上述指示标识器指示的上述关注对象的位置及方向中的至少一方。

10.如权利要求1～9中任一项所述的影像显示系统，其中，

具备信息处理装置，该信息处理装置具备上述观测装置和上述VR装置所具备的功能的至少一部分，通过网络与上述观测装置及上述VR装置连接，承担上述观测装置及上述VR装置的处理的一部分。

11.如权利要求10所述的影像显示系统，其中，

上述信息处理装置具备：

接收部，从上述观测装置接收上述广视角影像、上述数据及上述队列信息作为上述元数据；

提示部，生成用于将上述元数据上的上述关注对象的位置及方向中的至少一方、以及按照上述队列信息的信息提示给上述显示装置的用户的信息；

影像生成部，从接收到的上述广视角影像中对如下一部分图像添加由上述提示部生成的信息而生成上述显示影像，上述一部分图像是对应于与上述显示状态推测部推测出的上述显示装置在上述广视角影像内的位置及方向中的至少一方相应的视野部分的图像；以及

发送部，发送上述广视角影像、对应于与上述相对位置及上述相对方向中的至少一方的信息相应的视野部分的一部分图像、以及上述元数据。

12.如权利要求10所述的影像显示系统，其中，

上述信息处理装置具备：

接收部，从上述观测装置接收上述广视角影像、上述数据及上述队列信息作为上述元数据；

提示部，生成用于将上述元数据上的上述关注对象的位置及方向中的至少一方、以及按照上述队列信息的信息提示给上述显示装置的用户的信息；

元数据构成部，根据由上述提示部生成的信息，生成上述元数据；以及

发送部，将由上述元数据构成部生成的上述元数据、由上述接收部接收到的上述广视角影像和其他信息发送给上述VR装置。

13.如权利要求10所述的影像显示系统，其中，

上述信息处理装置具备：

接收部，从上述观测装置接收上述广视角影像、上述数据及上述队列信息作为上述元数据，从上述显示装置接收与上述显示装置的朝向有关的数据；

差分计算部，基于上述显示装置的朝向和与上述拍摄部的移动有关的移动信息的差分及上述队列信息，计算相对于上述显示装置的朝向的相对的上述拍摄部的移动方向即相对移动方向；

提示部，生成图形并输出，上述图形表示计算出的上述相对移动方向，通过重叠于上述广视角影像中的对应于与上述显示装置的推测出的朝向相应的视野部分的一部分影像，将上述相对移动方向及按照上述队列信息的信息提示给上述显示装置的用户；

影像生成部，基于与上述显示装置的朝向有关的数据对上述图形进行修正，并通过重叠在上述广视角影像上，生成上述显示影像；以及

发送部，发送上述显示影像和其他信息。

14.如权利要求10～13中任一项所述的影像显示系统，其中，

上述信息处理装置设置在与广域网连接的云上，

上述信息处理装置经由上述广域网与上述观测装置及上述VR装置连接。

15.如权利要求1～14中任一项所述的影像显示系统，其中，

上述队列信息是表示上述观测装置的移动方向或使上述显示装置的用户关注的关注对象的位置及方向中的至少一方变化的信息。

16.一种信息处理装置，在用于使显示装置显示广视角影像内的至少一部分显示影像的影像显示系统中使用，其中，具备：

接收部，接收基于如下数据的元数据，上述数据是与在上述广视角影像中使上述显示装置的用户关注的关注对象的位置及方向中的至少一方有关的数据，并且是通过受理输入而得到的数据；以及

差分计算部，基于与上述元数据上的上述关注对象的位置及方向中的至少一方的差分，计算相对位置及相对方向中的至少一方并输出，上述相对位置是相对于上述显示装置在上述广视角影像内的位置及方向中的至少一方的相对的上述关注对象的位置，上述相对方向是相对于上述显示装置在上述广视角影像内的位置及方向中的至少一方的相对的上述关注对象的方向。

17.如权利要求16所述的信息处理装置，其中，

还具备生成图形并输出的提示部，上述图形表示计算出的上述相对位置及上述相对方向中的至少一方，通过重叠于构成上述广视角影像的图像中的如下一部分图像，将上述相对位置及上述相对方向中的至少一方提示给上述显示装置的用户，上述一部分图像是对应于与上述显示装置在上述广视角影像内的推测出的位置及方向中的至少一方相应的视野部分的图像。

18.一种信息处理方法，使显示装置显示广视角影像内的至少一部分显示影像，其中，

接收基于如下数据的元数据，上述数据是与在上述广视角影像中使上述显示装置的用户关注的关注对象的位置及方向中的至少一方有关的数据，并且是通过受理输入而得到的数据，

基于上述显示装置在上述广视角影像内的推测出的位置及方向中的至少一方与上述元数据上的上述关注对象的位置及方向中的至少一方的差分，计算相对位置及相对方向中的至少一方并输出，上述相对位置是相对于上述显示装置的朝向的相对的上述关注对象的位置，上述相对方向是相对于上述显示装置的朝向的相对的上述关注对象的方向。

19.一种程序，用于使计算机执行权利要求18所述的信息处理方法。