CN117940963A - 显示装置、显示装置的控制方法以及程序 - Google Patents

Abstract

在虚拟空间中使用户的行动自然。显示装置包括：真实对象信息获取部，其获取真实对象在真实空间中的位置的信息和真实对象与用户在真实空间中的位置关系的信息，真实对象是用户实际存在的真实空间中的对象；虚拟对象信息获取部，其获取虚拟对象在虚拟空间中的位置的信息，虚拟对象是虚拟空间中的对象；以及用户位置获取部，其将真实对象与虚拟对象的位置和姿态进行匹配，基于真实空间中的位置关系的信息来计算虚拟对象与虚拟空间中的用户在虚拟空间中的位置关系，并且基于虚拟空间中的位置关系来获取指示用户在虚拟空间中的位置的用户位置信息。

Description

显示装置、显示装置的控制方法以及程序

技术领域

本发明涉及显示装置、显示装置的控制方法以及程序。

背景技术

最近，信息设备有了很大发展。并且，作为这样的信息设备，不仅是作为其代表例的智能手机，用户佩戴的所谓可穿戴设备等也得到普及。作为可穿戴设备，有提供视觉信息的HMD(Head Mount Display，头戴式显示器)，用于AR(Augumented Reality，增强现实)用、VR(Virtual Reality，虚拟现实)用等。例如在专利文献1中公开了使用预先确定的AR标记来调整显示于HMD的输出部的对象的位置的技术。

现有技术文献

专利文献1：日本特开2019-175294号公报。

发明内容

在可穿戴设备向用户提供虚拟空间时，用户能够自由地决定自己在虚拟空间中的位置。然而，当在真实空间和虚拟空间中用户相对于对象的位置不一致时，用户在虚拟空间中的行动可能变得不自然。

本实施方式鉴于上述课题，其目的在于提供能够抑制虚拟空间中的用户的行动变得不自然的显示装置、显示装置的控制方法以及程序。

本实施方式的一方面涉及的显示装置包括：真实对象信息获取部，获取真实对象在真实空间中的位置的信息、以及所述真实对象与用户在所述真实空间中的位置关系的信息，所述真实对象是所述用户实际存在的所述真实空间中的对象；虚拟对象信息获取部，获取虚拟对象在虚拟空间中的位置的信息，所述虚拟对象是所述虚拟空间中的对象；以及用户位置获取部，结合所述真实对象与所述虚拟对象的位置和姿态，基于所述真实空间中的位置关系的信息来计算所述虚拟对象与所述虚拟空间中的所述用户在所述虚拟空间中的位置关系，并且基于所述虚拟空间中的位置关系来获取表示所述用户在所述虚拟空间中的位置的用户位置信息。

本实施方式的一方面涉及的显示装置的控制方法包括以下步骤：获取真实对象在真实空间中的位置的信息、以及所述真实对象与用户在所述真实空间中的位置关系的信息，所述真实对象是所述用户实际存在的所述真实空间中的对象；获取虚拟对象在虚拟空间中的位置的信息，所述虚拟对象是所述虚拟空间中的对象；以及结合所述真实对象与所述虚拟对象的位置和姿态，基于所述真实空间中的位置关系的信息来计算所述虚拟对象与所述虚拟空间中的所述用户在所述虚拟空间中的位置关系，并且基于所述虚拟空间中的位置关系来获取表示所述用户在虚拟空间中的位置的用户位置信息。

本实施方式的一方面涉及的程序使计算机执行以下步骤：获取真实对象在真实空间中的位置的信息、以及所述真实对象与用户在所述真实空间中的位置关系的信息，所述真实对象是所述用户实际存在的所述真实空间中的对象；获取虚拟对象在虚拟空间中的位置的信息，所述虚拟对象是所述虚拟空间中的对象；以及结合所述真实对象与所述虚拟对象的位置和姿态，基于所述真实空间中的位置关系的信息来计算所述虚拟对象与所述虚拟空间中的所述用户在所述虚拟空间中的位置关系，并且基于所述虚拟空间中的位置关系来获取表示所述用户在虚拟空间中的位置的用户位置信息。

根据本实施方式，能够在虚拟空间中使用户的行动自然。

附图说明

图1是说明真实空间和虚拟空间的一例的示意图。

图2是本实施方式涉及的显示系统的示意图。

图3是本实施方式涉及的显示装置的示意性框图。

图4是示出真实空间的一例的示意图。

图5是示出虚拟空间的一例的示意图。

图6是示出使真实本地空间重叠于虚拟空间的一例的示意图。

图7是本实施方式涉及的流程图。

具体实施方式

以下，基于附图详细说明本实施方式。此外，本实施方式并不限定于以下说明的实施方式。

(真实空间和虚拟空间)

图1是示出真实空间和虚拟空间的一例的示意图。本实施方式涉及的显示装置10是显示图像的显示装置。如图1所示，显示装置10是佩戴于用户U的头部的所谓的HMD(HeadMount Display，头戴式显示器)。显示装置10通过显示图像来向用户U提供虚拟空间。如图1所示，将用户U实际存在的现实空间设为真实空间SR，将显示装置10提供给用户U的虚拟的空间设为虚拟空间SV。在该情况下，显示装置10根据用户U在真实空间SR中的运动(视线)来显示虚拟空间SV用的图像。即，模拟用户U作为用户UV在虚拟空间SV中正在动作，显示虚拟空间SV用的图像。因此，用户U能够识别为自身存在于虚拟空间SV内。此外，这里的虚拟空间SV可以是MR(Mixed Reality：混合现实)、即再现了远离用户U存在的场所的实际存在的场所的空间，也可以是实际不存在的虚拟空间、即VR(Virtual Reality：虚拟现实)。以下，将真实空间SR的坐标系中的沿着水平方向的一个方向设为方向XR，将与水平方向XR正交的方向设为方向YR，将铅垂方向设为方向ZR。另外，将虚拟空间SV的坐标系中的沿着水平方向的一个方向设为方向XV，将与水平方向XV正交的方向设为方向YV，将铅垂方向设为方向ZV。

(显示系统)

图2是本实施方式涉及的显示系统的示意图。如图2所示，本实施方式涉及的显示系统1包含显示装置10和信息处理装置12。在本实施方式中，显示系统1向用户U提供虚拟空间SV。在图1的例子中，用户U佩戴显示装置10，显示装置10将虚拟空间SV中的用户UV的视野范围V内的虚拟空间SV中的图像作为虚拟空间SV用的图像提供给用户U。此外，虚拟空间SV内的化身的数量(即被提供共同的虚拟空间SV的用户U的数量)可以是任意的。另外，在图2和以后的图中，虚拟空间SV也由从铅垂方向上方观察的二维平面表示，但虚拟空间SV也可以是三维空间。

信息处理装置12是进行虚拟空间SV用的信息的信息处理的装置。信息处理装置12可以说是与用户U的显示装置10进行信息的收发并进行虚拟空间SV用的图像的图像处理的服务器。例如，信息处理装置12是包括运算装置和存储部的计算机，该运算装置包括CPU(Central Processing Unit：中央处理部)等运算电路，通过从存储部读出并执行程序(软件)来执行处理。

(显示装置)

图3是本实施方式涉及的显示装置的示意性框图。显示装置10也可以说是计算机，如图3所示，包括输入部20、显示部22、存储部24、通信部26、真实空间检测部28以及控制部30。输入部20是接受用户U的操作的机构，例如可以是设置于HMD的控制器、麦克风等。显示部22是显示图像的显示器。显示部22通过输出图像向用户U提供虚拟空间SV。除了显示部22以外，显示装置10还可以包括例如输出声音的扬声器等输出信息的装置。

存储部24是存储控制部30的运算内容、程序等各种信息的存储器，例如包含RAM(Random Access Memory，随机存取存储器)、ROM(Read Only Memory，只读存储器)那样的主存储装置以及HDD(Hard Disk Drive，硬盘驱动器)等外部存储装置中的至少一个。存储部24存储的控制部30用的程序也可以存储于显示装置10能够读取的记录介质。

通信部26是与外部的装置进行通信的通信模块，例如是天线等。显示装置10通过无线通信与信息处理装置12等外部的装置进行通信，但也可以是有线通信，通信方式可以是任意的。

真实空间检测部28是检测真实空间SR中的用户U的位置、用户U的姿势和显示装置10(用户U)的周围的传感器。用户U的位置是指在XR-YR平面中以用户U的初始位置为原点的用户U的位置。所谓用户U的初始位置可以说是在显示装置10启动的时间点的真实空间SR中的位置，即，显示装置10使用时用户U的最初的位置。所谓用户U的姿势可以是指XR-YR平面与显示装置10所朝向的方向(用户U的面部所朝向的方向)所构成的角的大小。真实空间检测部28例如通过加速度传感器来检测用户U的位置，通过陀螺仪传感器来检测用户U的姿势，通过立体相机或飞行时间(Time of Flight，ToF)相机等3D相机来检测显示装置10(用户U)的周围。然而，真实空间检测部28不限于该构成，只要能够检测真实空间SR中的用户U的位置、用户U的姿势以及存在于显示装置10(用户U)周围的真实空间SR中的对象即可。例如，真实空间检测部28可以使用光检测和测距(Light Detection And Ranging，LIDAR)来检测存在于真实空间SR中的对象，另外，可以使用由相机捕获的真实空间SR的图像来检测用户U的姿势。

控制部30是运算装置，例如包含CPU(Central Processing Unit)等运算电路。控制部30包含真实对象信息获取部40、虚拟对象信息获取部42、用户位置获取部44和提供部46。控制部30通过从存储部24读出并执行程序(软件)，来实现真实对象信息获取部40、虚拟对象信息获取部42、用户位置获取部44和提供部46，并执行这些处理。此外，控制部30可以通过一个CPU执行这些处理，也可以包括多个CPU，通过这些多个CPU执行处理。另外，可以由硬件电路实现真实对象信息获取部40、虚拟对象信息获取部42、用户位置获取部44和提供部46的处理的至少一部分。

(真实对象获取部)

真实对象信息获取部40获取真实对象OR的信息。真实对象OR是指在真实空间SR的坐标系中存在于显示装置10(用户U)周围的物体。真实对象OR的信息包含表示真实空间SR中的用户U与真实对象OR之间的位置关系的信息(真实对象OR的相对位置信息)和表示真实空间SR中的真实对象OR的位置的信息(真实对象OR的绝对位置信息)。另外，真实对象OR的信息优选还包含表示真实空间SR中的真实对象OR的形状的信息(真实对象OR的形状信息)。在本实施例中，真实对象信息获取部40控制真实空间检测部28，以使真实空间检测部28检测显示装置10(用户U)周围的物体。并且，真实对象信息获取部40通过公知技术从真实空间检测部28的检测结果中提取检测到的物体中的多个特征点和区域，并且基于其提取结果作为真实对象OR的信息而获取。然而，真实对象OR的信息的获取方法不限于由真实空间检测部28检测。例如，关于用户U的房间中的家具的位置、形状的信息可以被预先设定为真实对象OR的信息，并且真实对象信息获取部40可以获取被设定的真实对象OR的信息。

图4是示出真实空间的一例的示意图。图4是从ZR方向观察真实空间SR的情况下的平面图的一例。真实对象信息获取部40获取真实对象OR的相对位置信息和真实对象OR的形状信息作为真实对象OR的信息。即，真实对象信息获取部40也可以说获取表示相对于用户U的位置而真实空间SR中的真实对象OR所占的位置的信息作为真实对象OR的信息。

成为由真实对象信息获取部40获取的对象的真实对象OR的种类可以是任意的，但是在本实施方式中，真实对象信息获取部40获取在真实空间SR中不移动的物体(例如桌子或墙壁等)作为真实对象OR，并且获取关于真实空间SR中不移动的物体的位置信息和形状信息作为真实对象OR的信息。在本实施方式中，真实对象信息获取部40可以基于真实空间SR的信息来获取具有平面并且用户U不能移动的真实对象OR的信息。在该情况下，真实对象信息获取部40可以使显示部22显示要获取的真实对象OR的候选，从被设为候选的真实对象OR中提取由用户U通过输入部20指定的真实对象OR，并且获取所提取的真实对象OR的信息。然而，真实对象OR不限于基于真实空间SR的信息来设定。例如，可以预先设定例如用户U的房间的布局信息等真实对象OR的位置，真实对象信息获取部40可以获取所设定的真实对象OR的位置的信息。

在本实施方式中，真实对象信息获取部40获取处于真实本地空间LR内的真实对象OR的信息，真实本地空间LR是真实空间SR中的预定范围内的空间。即，在本实施方式中，提取处于真实空间SR中的真实本地空间LR的范围内的对象作为真实对象OR，并且真实对象信息获取部40获取处于真实本地空间LR内的真实对象OR的信息。真实对象信息获取部40获取真实本地空间LR中的、用户U的坐标与真实对象OR的坐标之间的差作为真实对象OR的相对位置信息。真实本地空间LR是指真实空间SR中由真实空间检测部28检测到的、以用户U的初始位置为原点的范围内的空间，并且可以说是假设用户U在真实空间SR中行动的空间。即，例如，当用户U在真实空间中行走等移动时，用户U在真实本地空间LR中的坐标变化。此时，真实对象信息获取部40基于用户U在变化了的真实本地空间LR中的坐标来更新真实对象OR相对于用户U的位置关系的信息。

此外，图4仅仅是示例，并且真实本地空间LR和真实对象OR的形状和大小不限于图4的示例，并且可以是任意的。

(虚拟对象信息获取部)

虚拟对象信息获取部42获取虚拟对象OV的信息。虚拟对象OV是存在于虚拟空间SV内的虚拟的物体，是作为虚拟空间SV的坐标系中的虚拟空间SV用的图像而显示的对象物。虚拟对象OV的信息包含表示虚拟对象OV在虚拟空间SV中的位置的信息(虚拟对象OV的位置信息)。虚拟对象信息获取部42通过公知的技术提取虚拟对象OV中的多个特征点和区域，获取其提取结果作为虚拟对象OV的信息。虚拟对象信息获取部42可以获取虚拟对象OV相对于虚拟空间SV的原点坐标的位置(坐标)作为虚拟对象OV的位置信息，或者可以获取虚拟对象OV相对于虚拟空间SV中的用户UV的初始设定位置的位置(坐标)作为虚拟对象OV的位置信息。此外，虚拟空间SV中的用户UV的初始设定位置是指作为虚拟空间SV中的用户UV的默认位置而预先设定的位置。虚拟对象信息获取部42例如经由通信部26从信息处理装置12获取虚拟对象OV的信息。此外，在本实施方式中，虚拟空间SV不是根据真实空间SR中的用户U的周围环境来构建的，而是与真实空间SR中的用户U的周围环境无关地预先设定的。虚拟空间SV中的虚拟对象OV的位置也与用户UV的初始设定位置同样地预先设定。

图5是示出虚拟空间的一例的示意图。图5是从ZV方向观察虚拟空间SV时的平面图的一例。

另外，虚拟对象OV的信息优选还包含表示虚拟空间SV中的虚拟对象OV的形状的信息(虚拟对象OV的形状信息)。在本实施例中，虚拟对象信息获取部42基于真实对象OR的形状信息和虚拟对象OV的形状信息来提取虚拟对象OV。例如，虚拟对象信息获取部42从虚拟空间SV中的虚拟对象OV的候选中提取与真实对象的形状类似的形状的虚拟对象OV，并且获取所提取的虚拟对象OV的信息。提取与真实对象类似的虚拟对象OV的方法可以是任意的，例如虚拟对象信息获取部42从虚拟对象OV的候选中提取虚拟对象OV(例如，在真实对象OR是桌子的情况下，在虚拟空间SV中具有水平方向上的平面并且具有与桌子最接近的高度的对象)，并且获取该虚拟对象OV的信息，该虚拟对象OV的平面的方向、高度和面积与真实对象OR所具备的平面的方向、高度和面积之间的偏差为最小的虚拟对象OV。另外，可以通过将作为候选的虚拟对象OV的形状信息输入到AI(Artificial Interigence，人工智能)模型，来提取与真实对象类似的虚拟对象OV，该AI模型能够在输入虚拟对象OV的形状信息时计算与真实对象的相似度。此时，虚拟对象信息获取部42可以在显示部22显示要获取的虚拟对象OV的候选，并且可以获取用户U经由输入部20选择的虚拟对象OV的信息。虚拟对象OV的提取方法不限于此，例如，在设定虚拟空间SV时，可以预先提取，例如也可以基于虚拟空间SV中的用户UV的位置，由虚拟对象信息获取部42提取。

在本实施方式中，虚拟对象信息获取部42获取位于虚拟空间SV中的预定范围内的空间即虚拟本地空间LV内的虚拟对象OV的信息。即，在本实施方式中，提取位于虚拟空间SV中的虚拟本地空间LV的范围内的虚拟的物体作为虚拟对象OV，虚拟对象信息获取部42获取处于虚拟本地空间LV内的虚拟对象OV的信息。虚拟对象信息获取部42获取虚拟本地空间LV中的虚拟对象OV的坐标作为虚拟对象OV的位置信息。此外，虚拟本地空间LV是指在虚拟空间SV中与真实本地空间LR对应的空间，在真实本地空间LR中的与用户U相同的位置存在用户UV。更具体地，例如，当用户U在真实空间SR(真实本地空间LR)中行走等真实本地空间LR中的用户U的位置和方向变化时，通过在虚拟本地空间LV中也使用户UV的位置和方向同样地变化，也在虚拟空间SV中实现与真实空间SR相同的动作。虚拟本地空间LV相对于虚拟空间SV足够小，能够在虚拟空间SV中自由地移动和旋转。更具体而言，例如，在用户U使用输入部20输入用户UV的移动、或者乘坐虚拟空间SV上的交通工具的情况下，通过在虚拟空间SV中使每个用户UV的虚拟本地空间LV的位置和方向变化，能够在将真实空间SR(真实本地空间LV)中的用户UV的位置固定的状态下，使用户UV在虚拟空间SV内移动。

此外，图5只不过是一个例子，虚拟空间SV、虚拟本地空间LV、虚拟对象OV的形状、大小不限于图5的例子，可以是任意的。另外，虚拟对象信息获取部42也可以从存储部24获取虚拟对象OV的位置的信息。

(用户位置获取部)

用户位置获取部44获取用户位置信息。用户位置信息是基于由真实对象信息获取部40获取的真实对象OR的信息和由虚拟对象信息获取部42获取的虚拟对象OV的信息设定的、表示用户UV在虚拟空间SV中的位置的信息。此外，在本实施方式中，用户位置获取部44通过自身设定用户位置信息来获取用户位置信息，但不限于此，例如也可以获取其他设备设定的用户位置信息、预先存储于存储部24的用户位置信息。

在本实施例中，用户位置获取部44通过基于真实对象OR与用户U之间的位置关系计算出的、虚拟对象OV与虚拟空间SV中的用户UV之间的位置关系来设置用户位置信息。更具体地，用户位置获取部44设置用户位置信息，使得虚拟空间SV(虚拟本地空间LV)中的虚拟对象OV相对于用户UV的位置对应于真实空间SR(真实本地空间LR)中的真实对象OR相对于用户U的位置。换句话说，由用户位置信息表示的虚拟空间SV中的用户UV的位置被设定为使得从虚拟对象OV到用户UV的方向和距离对应于真实空间SR中的从真实对象OR到用户U的方向和距离(更优选地设为一致)。以下，对用户位置信息的具体的设定方法进行说明。

图6是示出使真实本地空间重叠于虚拟空间的一例的示意图。在本实施方式中，用户位置信息是用于对包含虚拟对象OV的虚拟空间SV重叠包含用户UV的虚拟本地空间LV的信息，换言之，是虚拟空间SV中的虚拟本地空间LV的位置和方向的信息。即，用户位置信息也可以说是用于将真实本地空间LR的坐标系经由虚拟本地空间LV变换为虚拟空间SV的坐标系的值。在图6的例子中，将虚拟本地空间LV中的沿着水平方向的一个方向设为方向X，将沿着水平方向与方向X正交的方向设为方向Y，将铅垂方向设为方向Z。

在本实施方式中，如图6的例子所示，用户位置信息是在如下条件下设定的：在虚拟本地空间LV中与真实对象OR相对应的范围与虚拟空间SV中的虚拟对象OV所占据的范围重叠。更具体地，用户位置信息通过公知技术在以下条件下来设定：真实空间SR中的真实对象OR相对于用户U的特征点或范围与虚拟空间SV中的虚拟对象OV相对于用户UV的特征点或范围重叠。此外，在图6的例子中，示出了在虚拟空间SV中使虚拟本地空间LV的位置以及朝向移动的例子，但不限于此，也可以设定为使虚拟本地空间LV的位置以及朝向固定，并且使虚拟空间SV的位置以及朝向移动。另外，将真实对象OR上相对于用户U的特征点或范围与虚拟对象OV的相对于用户UV的特征点或范围重叠不限于特征点或范围严格相同，并且可以指示使特征点或范围近似匹配。

在本实施例中，用户位置信息被基于预定条件而设定虚拟空间SV中的虚拟本地空间LV的位置和方向，该预定条件是在虚拟本地空间LV上的真实对象OR的特征点或范围与虚拟空间SV上的虚拟对象OV的特征点或范围重叠。更具体地，在满足预定条件的虚拟空间SV中的虚拟本地空间LV的位置和方向中，通过预定方法提取位置和方向，并且用户位置信息被设定为虚拟空间SV的坐标系与真实空间SR的坐标系之间的对应关系。另外，在真实对象OR的特征点或范围与虚拟对象OV的特征点或范围不一致的情况下，用户位置信息被设定为满足预定条件的位置和方向中的、例如从虚拟空间SV中的用户UV的初始设定位置的位移最小的位置。提取该虚拟本地空间LV的位置和方向的方法不限于此，也可以通过用户U经由输入部20的操作来设定。

此外，当用户U执行满足预定条件的动作时，用户位置获取部44可以获取用户位置信息。即，在本实施方式中，用户位置获取部44以用户U进行了满足预定条件的动作为触发，设定用户位置信息。在该情况下，虚拟本地空间LV的位置在虚拟空间SV中被固定，并且被设定为虚拟空间SV中的虚拟对象OV相对于用户UV的位置与真实空间SR中的真实对象OR相对于用户U的位置对应。满足预定条件的用户U的动作可以是任意动作，并且其示例包括用户U在输入部20上执行预定操作、执行与预定的真实对象OR接触或施加重量的动作、以及乘上虚拟空间上的交通工具等用户U在虚拟空间SV中进行的动作。

当在虚拟空间SV中配置多个用户UV的情况下，每个用户U的显示装置10可以将数量小于用户数量的虚拟对象OV的位置与多个真实本地空间中的真实对象OR的位置对应。在多个用户UV共享一个虚拟对象OV的情况下(例如，在同一虚拟空间SV上的多个用户UV通过会议等共享一个桌子的情况下)，各个虚拟本地空间LV以在各个虚拟本地空间LV中实际对象OR的特征点或范围与虚拟空间SV上的虚拟对象OV的特征点或范围重叠的方式配置在虚拟空间SV上。

在以上的说明中，用户位置信息在虚拟本地空间LV上的真实对象OR的特征点或范围与虚拟空间SV上的虚拟对象OV的特征点或范围二维地重叠的条件下被设定，但是用户位置信息不限于二维。例如，用户位置信息可以在虚拟本地空间LV上的真实对象OR的特征点或范围与虚拟空间SV上的虚拟对象OV的特征点或范围在三维上重叠的条件下设定。

(提供部)

提供部46基于用户位置信息，向用户U提供虚拟空间SV。提供部46将用户位置信息所示的位置设定为虚拟空间SV中的用户UV的位置，向用户U提供虚拟空间SV。具体地，提供部46获取真实空间SR中的用户U的位置和方向的信息，并且将真实空间SR中的用户U的位置和方向换算为由虚拟空间SV的坐标系中的用户位置信息表示的用户UV的视点的位置和方向。提供部46使根据计算出的用户U的视点的位置以及姿势视觉确认虚拟空间SV的情况下的虚拟空间SV的图像作为虚拟空间SV用的图像显示于显示部22。

如此，真实空间SR中的用户U的位置和姿态被反映在虚拟空间SV中的用户UV的视点的位置和姿态中。因此，当用户U在真实空间SR中移动时，虚拟空间SV中的用户UV的视点的位置和姿态也移动。在这种情况下，优选地，真实空间SR中的用户U的移动量与虚拟空间SV中的用户UV的视点的移动量相关联。更详细而言，在设定用户位置信息时，在使虚拟本地空间LV相对于真实本地空间LR的大小变化的情况下，优选使虚拟本地空间LV的大小的变化程度反映于移动量。具体而言，若将使虚拟本地空间LV相对于真实本地空间LR的大小变化的比例(缩放率)设为变化比例，则提供部46设为相对于用户U在真实空间SR中移动的移动量而用户U的视点在虚拟空间SV中移动了变化比例的倒数倍的移动量，使显示部22显示虚拟空间SV用的图像。即，提供部46使显示部22显示来自相对于用户U在真实空间SR中移动的移动量移动了变化比率的倒数倍的移动量的视点的虚拟空间SV的图像。例如，在设定用户位置信息时将虚拟本地空间LV的大小设为2倍的情况下，提供部46使显示部22显示来自相对于用户U在真实空间SR中移动的移动量的1/2倍的移动量的视点的虚拟空间SV的图像。

这里，提供部46可以在虚拟空间SV中以与虚拟对象OV重叠的方式显示表示真实对象OR的图像。提供部46可以基于虚拟对象OV的形状信息和真实对象OR的形状信息来判断是否要在虚拟空间SV中显示表示真实对象OR的图像，并且当判断要显示时，可以在虚拟空间SV中以与虚拟对象OV重叠的方式显示表示真实对象OR的图像。例如，在虚拟对象OV的尺寸大于真实对象OR的尺寸的情况下，提供部46可以在虚拟空间SV中以与虚拟对象OV重叠的方式显示表示真实对象OR的图像。在该情况下，显示部22可以提供在透过真实空间SR的同时显示虚拟空间SV的图像的AR(Augumented Reality，增强现实)，或者可以使虚拟空间SV的图像与表示真实对象OR的图像重叠显示。另外，虚拟对象OV中的不与真实对象OR重叠的部分可以从虚拟空间SV的图像中删除，或者可以作为不与真实对象OR关联的区域来提示信息。

(流程图)

图7是本实施方式涉及的流程图。当用户U执行预定动作时(步骤S10：是)，真实对象信息获取部40通过真实空间检测部28获取真实对象OR的信息(步骤S12)。虚拟对象信息获取部42从信息处理装置12获取虚拟对象OV的信息(步骤S14)。然后，用户位置获取部44基于真实对象OR的信息和虚拟对象OV的信息来设定用户位置信息(步骤S16)。提供部46将用户位置信息所示的位置设定为虚拟空间SV中的用户UV的位置，向用户U提供虚拟空间SV(步骤S20)。另一方面，在用户U未进行预定的动作的情况下(步骤S10：否)，用户位置获取部44将初始设定位置设定为虚拟空间SV中的用户UV的位置，并向用户U提供虚拟空间SV(步骤S18)。

此外，在本实施方式中，由用户U使用的显示装置10设定有用户位置信息，但设定用户位置信息的主体不限于显示装置10，也可以由信息处理装置12进行。在这种情况下，信息处理装置12从显示装置10获取真实对象OR的信息，并且基于真实对象OR的信息和由自身设定的虚拟对象OV的信息来设定用户位置信息。显示装置10的用户位置获取部44从信息处理装置12获取用户位置信息。

这里，在虚拟空间SV中，真实空间SR中的用户U的运动被反映到虚拟空间SV中的用户UV的运动中。然而，例如，当与真实空间SR中的布局无关地设定虚拟空间SV时等，虚拟空间SV中的用户U的运动可能变得不自然。例如，在用户U在真实空间SR中坐在桌子前面的情况下，并且在虚拟空间SV中在该场所不存在桌子的情况下，虚拟空间SV中的其他用户有时视认为用户UV坐在什么都没有的场所。与此相对，根据本实施方式，通过适当地设置虚拟空间SV中的用户UV的位置，可以使真实空间SR中的真实对象OR相对于用户U的位置与虚拟空间SV中的虚拟对象OV相对于用户UV的位置相对应。由此，能够在虚拟空间SV中自然地看到用户UV的行动(例如，用户UV坐在作为虚拟对象OV的桌子前的行动)。另外，由此，用户U可以在真实空间SR中以与真实对象OR相同的方式进行处理虚拟对象OV的动作(例如，在视觉确认作为虚拟对象OV的桌子的同时在真实空间SR中放置物体的行动)，因此用户U可以在虚拟空间SV中自然地执行动作。

(用户位置信息的设定方法的另一例)

在本实施方式中，已经描述了通过基于真实本地空间LR中的用户U的坐标与真实对象OR的坐标之间的差以及虚拟空间SV中的虚拟对象OV的坐标调整虚拟空间SV中的虚拟本地空间LV的位置和方向来设置用户位置信息，但是设置用户位置信息的方法不限于此。以下，说明其他例子。

例如，真实对象信息获取部40可以获取以用户U为原点的真实对象OR的相对坐标作为真实对象OR相对于用户U的位置关系的信息。在该情况下，当用户U在真实空间SR中移动时，真实对象OR的相对坐标发生变化。

另外，虚拟对象信息获取部42可以获取以用户UV为原点的虚拟对象OV的相对坐标作为虚拟对象OV的位置的信息。在该情况下，当用户UV在虚拟空间SV中移动时，虚拟对象OV的相对坐标发生变化。

在获取以用户U为原点的真实对象OR的相对坐标的情况下，可以通过将以用户UV为原点的虚拟对象OV的相对坐标直接对应于以用户U为原点的真实对象OR的相对坐标来设置用户位置信息。

(效果)

各实施方式所记载的显示装置、显示装置的控制方法以及程序例如如以下那样掌握。

第一方面的显示装置包括：真实对象信息获取部40，其获取用户U真实存在的真实空间SR中的作为对象的真实对象OR在真实空间SR中的位置的信息、以及真实对象OR与用户U在真实空间SR中的位置关系的信息；虚拟对象信息获取部42，其获取在虚拟空间SV中的作为对象的虚拟对象OV在虚拟空间SV中的位置的信息；以及用户位置获取部44，其结合真实对象OR与虚拟对象OV的位置和姿态，基于真实空间SR中的位置关系的信息来计算虚拟对象OV与虚拟空间SV中的用户UV在虚拟空间SV中的位置关系，并且基于虚拟空间SV中的位置关系来获取表示用户UV在虚拟空间SV中的位置的用户位置信息。根据该构成，可以使真实对象OR相对于用户U的位置与虚拟对象OV相对于用户UV的位置一致。因此，能够在虚拟空间SV中使用户U的行动自然。

第二方面的显示设备包括提供部46，该提供部46基于用户位置信息向用户U提供虚拟空间SV，并且提供部46在虚拟空间SV中以与虚拟对象OV重叠的方式显示表示真实对象OR的图像。由此，即使当真实对象OR的尺寸与虚拟对象OV的尺寸不同时，用户U也可以在虚拟空间SV中识别真实对象OR的范围，因此可以使用户U在虚拟空间SV中的动作更自然。

在第三方面的显示装置中，虚拟对象信息获取部42基于真实对象OR的形状和虚拟对象OV的形状来提取虚拟对象OV。由此，由于通过使与真实对象OR类似的虚拟对象OV为基准，能够更适当地设定用户UV的位置，因此可以使用户U的行动在虚拟空间SV中更自然。

在第四方式的显示装置中，在用户U进行了满足预定条件的动作时，用户位置获取部44获取用户位置信息。由此，能够根据需要适当地设定虚拟空间SV中的用户UV的位置，因此能够在虚拟空间SV中使用户U的行动更自然。

第五方面的显示设备的控制方法包括以下步骤：获取真实对象OR在真实空间SR中的位置的信息、以及真实对象OR与用户U在真实空间SR中的位置关系的信息，真实对象OR是用户U真实存在的真实空间SR中的对象；获取虚拟对象OV在虚拟空间SV中的位置的信息，虚拟对象OV是虚拟空间SV中的对象；以及结合真实对象OR与虚拟对象OV的位置和姿态，基于真实空间SR中的位置关系的信息来计算虚拟对象OV与虚拟空间SV中的用户UV在虚拟空间SV中的位置关系，并且基于虚拟空间SV中的位置关系来获取表示用户UV在虚拟空间SV中的位置的用户位置信息。

第六方面的程序使计算机执行以下步骤：获取关于真实对象OR在真实空间SR中的位置的信息和关于真实对象OR与用户U在真实空间SR中的位置关系的信息，真实对象OR是用户U实际存在的真实空间SR中的对象；获取关于虚拟对象OV在虚拟空间SV中的位置的信息，虚拟对象OV是虚拟空间SV中的对象；以及结合真实对象OR与虚拟对象OV的位置和姿态，基于真实空间SR中的位置关系的信息来计算虚拟对象OV与虚拟空间SV中的用户UV在虚拟空间SV中的位置关系，并且基于虚拟空间SV中的位置关系来获取表示用户UV在虚拟空间SV中的位置的用户位置信息。

以上，对本实施方式进行了说明，但实施方式并不限定于这些实施方式的内容。另外，上述的构成要素包括本领域技术人员能够容易想到的要素、实质上相同的要素、所谓等同范围的要素。并且，上述的构成要素能够适当组合，也能够组合各实施方式的结构。并且，能够在不脱离上述实施方式的主旨的范围内进行构成要素的各种省略、置换或变更。

该申请主张以在2021年9月27日申请的日本申请特愿2021-157245为基础的优先权，将其公开的全部纳入这里。

本实施方式的显示装置、显示装置的控制方法以及程序例如能够用于图像显示。

符号说明

1 显示系统

10 显示装置

12 信息处理装置

20 输入部

22 显示部

24 存储部

26 通信部

28 真实空间检测部

30 控制部

40 真实对象信息获取部

42 虚拟对象信息获取部

44 用户位置获取部

46 提供部

LR 真实本地空间

LV 虚拟本地空间

OR 真实对象

OV 虚拟对象

SR 真实空间

SV 虚拟空间

U、UV 用户

V 视野范围

Claims (6)

1.一种显示装置，包括：

真实对象信息获取部，获取真实对象在真实空间中的位置的信息、以及所述真实对象与用户在所述真实空间中的位置关系的信息，所述真实对象是所述用户实际存在的所述真实空间中的对象；

虚拟对象信息获取部，获取虚拟对象在虚拟空间中的位置的信息，所述虚拟对象是所述虚拟空间中的对象；以及

用户位置获取部，结合所述真实对象与所述虚拟对象的位置和姿态，基于所述真实空间中的位置关系的信息来计算所述虚拟对象与所述虚拟空间中的所述用户在所述虚拟空间中的位置关系，并且基于所述虚拟空间中的位置关系来获取表示所述用户在所述虚拟空间中的位置的用户位置信息。

2.根据权利要求1所述的显示装置，其中，

包括提供部，基于所述用户位置信息向所述用户提供虚拟空间，

所述提供部在所述虚拟空间中以叠加在所述虚拟对象上的方式显示表示所述真实对象的图像。

3.根据权利要求1或2所述的显示装置，其中，

所述虚拟对象信息获取部基于所述真实对象的形状和所述虚拟对象的形状来提取所述虚拟对象。

4.根据权利要求1至3中任一项所述的显示装置，其中，

当所述用户进行了满足预定条件的动作时，所述用户位置获取部获取所述用户位置信息。

5.一种显示装置的控制方法，包括以下步骤：

获取真实对象在真实空间中的位置的信息、以及所述真实对象与用户在所述真实空间中的位置关系的信息，所述真实对象是所述用户实际存在的所述真实空间中的对象；

获取虚拟对象在虚拟空间中的位置的信息，所述虚拟对象是所述虚拟空间中的对象；以及

结合所述真实对象与所述虚拟对象的位置和姿态，基于所述真实空间中的位置关系的信息来计算所述虚拟对象与所述虚拟空间中的所述用户在所述虚拟空间中的位置关系，并且基于所述虚拟空间中的位置关系来获取表示所述用户在虚拟空间中的位置的用户位置信息。

6.一种程序，使计算机执行以下步骤：

获取真实对象在真实空间中的位置的信息、以及所述真实对象与用户在所述真实空间中的位置关系的信息，所述真实对象是所述用户实际存在的所述真实空间中的对象；

获取虚拟对象在虚拟空间中的位置的信息，所述虚拟对象是所述虚拟空间中的对象；以及

结合所述真实对象与所述虚拟对象的位置和姿态，基于所述真实空间中的位置关系的信息来计算所述虚拟对象与所述虚拟空间中的所述用户在所述虚拟空间中的位置关系，并且基于所述虚拟空间中的位置关系来获取表示所述用户在虚拟空间中的位置的用户位置信息。