CN117222970A - 内容显示装置、内容显示程序、内容显示方法及内容显示系统 - Google Patents

Abstract

根据实施方式，具备：参数计算部(101)，基于实际对象的摄像图像，计算以实际对象的位置为原点的本装置的初始位置及初始姿势作为初始参数；参数更新部(102)，计算本装置的位置及姿势的位移，并更新以初始位置及初始姿势为起点的本装置的位置及姿势；显示处理部(104)，使被配置于以实际对象的位置为原点的虚拟空间中的内容与实际对象重叠显示；以及判断处理部(105)，在显示的内容所包含的虚拟对象被进行了选择操作的情况下，变更针对虚拟对象的判断状态。

Description

内容显示装置、内容显示程序、内容显示方法及内容显示系统

技术领域

本发明的实施方式涉及显示内容的技术。

背景技术

以往，已知将现实世界与虚拟世界重合的MR(混合现实(Mixed Reality))技术、或者针对现实世界附加虚拟信息的AR(增强现实(Augmented Reality))技术。另外，尝试了将MR技术或AR技术导入作业现场，但由于需要如头戴式显示器那样的非通用的装置，因此导入会耗费高额的设施投资费用。

另外，作为关联技术，已知一种信息处理方法，具有：复合现实空间图像取得工序，取得复合现实空间图像，该复合现实空间图像基于作业者所佩戴的第1摄像部的影像、以及基于第1摄像部的位置姿势的虚拟物体图像；事件信息取得工序，取得由作业者针对虚拟物体进行的事件信息；第2用户指定位置姿势信息取得工序，取得指示者的视点位置姿势信息；以及生成工序，基于指示者的视点位置姿势信息，生成与事件信息相应的虚拟物体图像，所述信息处理方法具有向指示者提示第1图像的第1模式、以及向指示者提示虚拟物体图像的第2模式(专利文献1)。

现有技术文献：

专利文献：

专利文献1：日本特开2006-293605号公报

发明内容

发明所要解决的课题：

一个课题在于，通过更廉价的装置，使用MR技术针对对象物进行判断作业。

本发明的实施方式是为了解决上述的问题点而完成的，其目的在于，提供能够实现通过更廉价的装置使用MR技术针对对象物进行判断作业的技术。

用于解决课题的手段：

为了解决上述的课题，本发明的实施方式为一种内容显示装置，显示包含至少1个以上的虚拟对象的内容，具备：参数计算部，基于实际对象的摄像图像，计算以该实际对象的位置为原点的所述内容显示装置的初始位置及初始姿势作为初始参数；参数更新部，计算所述内容显示装置的位置及姿势的位移，并更新以所述初始位置及所述初始姿势为起点的所述内容显示装置的位置及姿势；显示处理部，使被配置于以所述实际对象的位置为原点的虚拟空间中的所述内容与所述实际对象重叠显示；以及判断处理部，在显示的内容所包含的虚拟对象被进行了选择操作的情况下，变更针对该虚拟对象的判断状态。

附图说明

图1是表示第1实施方式所涉及的内容显示系统的构成的概略图。

图2是表示第1实施方式所涉及的内容显示装置的硬件构成的框图。

图3是表示第1实施方式所涉及的内容管理装置的硬件构成的框图。

图4是表示第1实施方式所涉及的内容显示装置的功能构成的框图。

图5是表示第1实施方式所涉及的内容管理装置的功能构成的框图。

图6是表示第1实施方式所涉及的内容生成处理的流程图。

图7是表示第1实施方式所涉及的内容管理信息的图。

图8是表示第1实施方式所涉及的对象信息的图。

图9是表示第1实施方式所涉及的内容显示装置的动作的流程图。

图10是表示第1实施方式所涉及的实际对象的概略图。

图11是用于说明第1实施方式所涉及的初始位置及初始姿势的计算的概略图。

图12是表示第1实施方式所涉及的内容显示处理的流程图。

图13是表示第1实施方式所涉及的被重叠于实际对象的内容的概略图。

图14是表示第1实施方式所涉及的作为判断对象的虚拟对象的概略图。

图15是表示第1实施方式所涉及的判断处理的流程图。

图16是表示第1实施方式所涉及的被判断的虚拟对象的概略图。

图17是表示第1实施方式所涉及的输出处理的流程图。

图18是表示第1实施方式所涉及的判断结果显示画面的概略图。

图19是表示第1实施方式所涉及的判断结果信息的图。

图20是表示第1实施方式所涉及的实际对象的概略图。

图21是表示第1实施方式所涉及的显示被重叠于实际对象的内容的内容显示装置的图。

图22是表示第1实施方式所涉及的显示图钉对象的内容显示装置的图。

图23是表示第2实施方式所涉及的内容生成处理的流程图。

图24是表示第2实施方式所涉及的对象信息的图。

图25是表示第2实施方式所涉及的内容显示装置的动作的流程图。

图26是表示第2实施方式所涉及的可变处理的流程图。

图27是表示第2实施方式所涉及的实际对象的概略图。

图28是表示第2实施方式所涉及的显示被重叠于实际对象的虚拟对象的内容显示装置的图。

图29是表示第2实施方式所涉及的显示可变的虚拟对象的内容显示装置的图。

图30是表示第2实施方式所涉及的内容生成处理的流程图。

图31是表示第3实施方式所涉及的对象信息的图。

图32是表示第3实施方式所涉及的层级化的虚拟对象群的图。

具体实施方式

以下，参照附图说明本发明的实施方式。

＜第1实施方式＞

(硬件构成)

说明第1实施方式所涉及的内容显示系统的硬件构成。图1是表示本实施方式所涉及的内容显示系统的构成的概略图。图2、图3分别是表示内容显示装置、内容管理装置的硬件构成的框图。

如图1所示，本实施方式所涉及的内容显示系统1具备内容显示装置10和内容管理装置20。在本实施方式中，内容显示装置10是阅览与实际对象相关的内容的用户所使用的终端装置，构成为能够携带的终端装置，具体而言构成为平板电脑型终端装置。内容管理装置20是对使用内容显示装置10阅览的内容进行管理的装置，在本实施方式中，构成为PC(个人计算机(personal computer))。此外，内容显示装置10也可以构成为智能电话或头戴式显示器，在不使用后述的判断功能的情况下，也可以构成为能够执行向显示器的显示或投影机的投影的装置。另外，内容管理装置20也可以由本地环境或云环境替代。

实际对象是由用户进行任意的作业的对象，是被附加了在后文中详述的标记的实际存在的物体。作为这样的实际对象，例如可以举出各部分需要检查的装置、要决定各部分的配色的装置等。在本实施方式中，将实际对象作为各部分需要检查的装置来进行说明。内容显示装置10经由配置有实际对象的作业现场中设置的无线LAN(局域网(Local AreaNetwork))而与网络连接，并经由网络而与内容管理装置20通信。此外，内容显示装置10与内容管理装置20的通信也可以经由使用了USB(通用串行总线(Universal Serial Bus))线缆等的有线连接来进行。

内容显示装置10如图2所示，具备CPU(中央处理单元(Central ProcessingUnit))11、RAM(随机存取存储器(Random Access Memory))12、存储装置13、触摸面板14、网络I/F(接口(Interface))15、相机16和深度传感器17作为硬件。CPU 11及RAM 12协同动作来执行各种功能，存储装置13存储在通过各种功能执行的处理中使用的各种数据。触摸面板14具有显示器和触摸传感器，是被配置在内容显示装置10的正面侧的输入输出装置。网络I/F 15与内容管理装置20进行无线通信。此外，内容管理装置20与内容管理装置10的通信也可以经由使用了USB(通用串行总线(Universal Serial Bus))线缆等的有线连接来进行。

相机16被配置在内容显示装置10的背面侧，是对基于可见光的2维图像及影像进行摄像的摄像装置。深度传感器17被配置在内容显示装置10的背面侧，是通过投射激光并由受光元件接受其反射光从而测量从内容显示装置10到周围物体的距离的传感器。该深度传感器17在本实施方式中，设为使用将受光脉冲相对于投光脉冲的延迟时间换算为距离的ToF(飞行时间(Time of Flight))方式测量从内容显示装置10到周围物体的距离并设为3维点云的传感器。此外，相机16的摄像方向与深度传感器17的测量方向设为一致。

内容管理装置20如图3所示，具备CPU 21、RAM 22、存储装置23、输入输出I/F 24和网络I/F 25作为硬件。CPU 21及RAM 22协同动作来执行各种功能，存储装置23存储在通过各种功能执行的处理中使用的各种数据。输入输出I/F 24与连接于内容管理装置20的键盘等输入装置或显示器等输出装置进行数据的输入输出。网络I/F 25与包括内容显示装置10的其他装置进行有线通信及无线通信。

(功能构成)

说明内容显示装置及内容管理装置的功能构成。图4、图5分别是表示本实施方式所涉及的内容显示装置、内容管理装置的功能构成的框图。

内容显示装置10如图4所示，具备参数计算部101、参数更新部102、内容接收部103、显示处理部104、判断处理部105、输出处理部106和判断结果发送部107作为功能。

参数计算部101识别由相机16对实际对象进行摄像而得到的摄像图像中的标记，并基于识别出的标记，计算以标记为原点的标记坐标中的内容显示装置10的初始位置及初始姿势作为参数。参数更新部102基于由深度传感器17取得的3维点云在前后帧间的位移，按每帧计算内容显示装置10的位置及姿势的位移，并基于该位移，更新以由参数计算部101计算出的初始位置及初始姿势为起点的内容显示装置10的位置及姿势。

内容接收部103接收从内容管理装置20发送的内容。显示处理部104基于内容显示装置10的位置及姿势，在触摸面板14上显示由内容接收部103接收的内容。判断处理部105基于用户针对触摸面板14的选择操作，进行内容的判断处理。输出处理部106输出表示由判断处理部105进行的判断处理结果的判断结果信息。判断结果发送部107向内容管理装置20发送由判断处理部105输出的判断结果信息。

内容管理装置20如图5所示，具备转换部201、管理部202、内容发送部203、判断结果接收部204作为功能。转换部201将与实际对象相关联的3维数据转换为内容。此外，作为被转换为内容的3维数据，可以举出作为实际对象的设计信息的CAD(计算机辅助设计(Computer Aided Design))数据。管理部202对由转换部201转换后的内容进行管理。内容发送部203向内容显示装置10发送由管理部202管理的内容。判断结果接收部204接收由内容显示装置10发送的判断结果信息。

(内容生成处理)

说明内容生成处理。图6是表示内容生成处理的流程图。图7、图8分别是表示内容管理信息、对象信息的图。此外，在图6中，设为已经向内容管理装置输入了与实际对象相关联的3D数据。

如图6所示，首先，转换部201在被输入至内容管理装置20的3D数据之中，选择作为转换对象的3D数据(S101)。

在此，说明被转换为内容的3D数据。作为转换对象的3D数据例如是作为实际对象且作为检查对象的装置的设计数据。在该3D数据中，包含至少1个以上的将装置的各部件作为3D模型表现的虚拟对象。在3D数据中包含多个虚拟对象的情况下，多个虚拟对象由3D数据的制作者根据配置位置、部件的类别等基准进行划分，并按每个划分而分组。

在内容生成处理之前，3D数据所包含的组的至少一部分被设定为应该转换为内容的虚拟对象即转换对象，作为转换对象的组的至少一部分被设定为被进行判断处理的虚拟对象即判断对象。

在选择3D数据后，转换部201针对选择中的3D数据，生成作为唯一地表示内容的标识符的内容ID，如图7所示，生成将内容ID、3D数据的文件名、3D数据的文件路径建立了对应的内容信息(S102)。

接下来，转换部201对选择中的3D数据中的未选择的组进行选择(S103)，并判断选择中的组是否被设定为转换对象(S104)。

在选择中的组是转换对象的情况下(S104：是)，转换部201判断选择中的组是否被设定为判断对象(S105)。

在选择中的组是判断对象的情况下(S105：是)，转换部201针对选择中的组所包含的各个虚拟对象，生成包括作为唯一地表示虚拟对象的标识符的对象ID在内的对象信息，并将对象信息中的判断对象标志设为“开启(ON)”(S106)。

对象信息如图8所示，是将对象ID、内容ID、制作者ID、名称、组ID、判断对象标志建立了对应的信息。内容ID表示所对应的虚拟对象所属的内容。制作者ID是唯一地表示内容的制作者的标识符。名称表示由制作者针对所对应的虚拟对象附加的名称。组ID是唯一地表示所对应的虚拟对象所属的组的标识符。判断对象标志是表示所对应的虚拟对象是否为判断对象的标志，在是判断对象的情况下被设定为“开启”，在不是判断对象的情况下被设定为“关闭(OFF)”。另外，转换部201也可以在针对组所包含的全部虚拟对象都将判断对象标志设为“开启”之后，将被用户选择的虚拟对象的设定标志变更为“关闭”。

在步骤S106的动作之后，转换部201判断在选择中的3D数据中是否存在未选择的组(S107)。

在不存在未选择的组的情况下(S107：否)，转换部201结束针对被输入的3D数据的内容生成处理。另一方面，在存在未选择的组的情况下(S107：是)，转换部201再次对选择中的3D数据中的未选择的组进行选择(S103)。

另外，在步骤S105中，选择中的组不是判断对象的情况下(S105：否)，转换部201针对选择中的组所包含的各个虚拟对象，生成包括作为唯一地表示虚拟对象的标识符的对象ID在内的对象信息，并将对象信息中的判断对象标志设为“关闭”(S108)。在步骤S108的动作后，转换部201判断在选择中的3D数据中是否存在未选择的组(S107)。

另外，在步骤S104中，选择中的组不是转换对象的情况下(S104：否)，转换部201从选择中的3D数据中，删除属于选择中的组的虚拟对象(S109)。在步骤S109的动作后，转换部201判断在选择中的3D数据中是否存在未选择的组(S107)。

像这样，根据内容生成处理，针对被输入的3D数据，删除不需要作为内容的虚拟对象，并将一部分虚拟对象作为判断对象，从而生成内容。内容包括：将不需要的虚拟对象删除后的3D数据、针对该3D数据附加内容ID的内容信息、以及针对3D数据所包含的各个虚拟对象附加对象ID的对象信息。3D数据、内容信息、对象信息都由管理部202管理。

(内容显示装置的动作)

说明内容显示装置的动作。图9是表示内容显示装置的动作的流程图。图10是表示实际对象的概略图。图11是用于说明初始位置及初始姿势的计算的概略图。此外，设为在图9所示的动作之前，与实际对象相关的内容由内容管理装置发送至内容显示装置。

如图9所示，首先，参数计算部101判断在相机16所摄像的摄像图像中是否识别出标记M(S201)。

如图10所示，标记M是被附加于实际对象RO的二维图像，用于在现实空间中决定要配置内容的虚拟空间的原点。作为这样的标记M，可以例举出被粘贴在实际对象RO上的二维图像、被刻印在实际对象上的二维图像状的凹凸等。此外，标记M不一定必须被附加在实际对象RO上，也可以被附加在处于实际对象RO周边的地面、壁面、顶面等。

另外，也可以不使用标记M，而通过三点测量方式或位置固定方式，在现实空间中决定虚拟空间的原点。三点测量方式是选择至少3处的实际对象的形状，并使用将选择之处连结的面来替代标记M的方式。位置固定方式是预先固定实际对象的配置位置、以及内容显示系统1的利用位置、具体是内容显示装置10的初始位置，并总是从相同位置起利用内容显示系统1，从而在现实空间中决定虚拟空间的原点的方法。像这样，也可以通过任意方法在现实空间中决定虚拟空间的原点。

在未识别出标记M的情况下(S201：否)，参数计算部101再次判断在相机16所摄像的摄像图像中是否识别出标记M(S201)。另一方面，在识别出标记M的情况下(S201：是)，参数计算部101计算以标记M为原点的内容显示装置10的初始位置及初始姿势作为参数(S202)。

在此，说明初始位置及初始姿势的计算。如图11所示，如果由相机16摄像了包含被附加于实际对象RO的标记M的摄像范围S，则根据标记M与内容显示装置10的位置关系，摄像图像上的标记m发生扩大缩小、变形。参数计算部101基于表示作为基准的标记M的形状及大小的标记信息，根据标记m的大小及形状，计算内容显示装置10相对于标记M的相对位置及相对姿势。进而，参数计算部101根据该相对位置及相对姿势，计算以标记M为原点的3个轴上(在图中为x，y，z)的内容显示装置10的位置、以及内容显示装置10围绕与这3个轴平行的旋转轴(x1，y1，z1)的旋转，从而计算内容显示装置10的初始位置及初始姿势。此外，在本实施方式中，将标记M的中心点设为原点O，将相机16的中心、具体是图像传感器的中心点设为旋转轴的原点I。

在计算出参数后，参数更新部102基于由深度传感器17检测出的3维特征点云的位移，对内容显示装置10的当前位置及当前姿势进行更新(S203)。

在此，说明当前位置及当前姿势的更新。参数更新部102基于在时间序列上处于前后的3维特征点云的位移，计算内容显示装置10的位置及姿势的位移，并将该位移累计至初始位置及初始姿势或者上次更新后的位置及姿势中，从而逐次对内容显示装置10的当前位置及当前姿势进行更新。此外，关于基于3维特征点云的位移计算自身位置及自身姿势的位移，设为使用SLAM(同时定位与地图构建(Simultaneous Localization and Mapping))法或SfM(运动恢复结构(Structure from Motion))法等已知的方法。另外，也可以使用VSLAM(视觉SLAM(Visual SLAM))法，基于由相机16摄像的摄像图像计算内容显示装置10的位置及姿势的位移。

在更新当前位置及当前姿势后，执行内容显示处理(S204)，执行判断处理(S205)，执行输出处理(S206)。关于内容显示处理、判断处理、输出处理后述。

在执行输出处理后，显示处理部104判断是否由用户经由触摸面板14进行了使内容的显示结束的结束指示(S207)。在进行了结束指示的情况下(S207：是)，内容显示装置10的动作结束。另一方面，在未进行结束指示的情况下(S207：否)，参数更新部102再次基于由深度传感器17检测的3维特征点云的位移，对内容显示装置10的当前位置及当前姿势进行更新(S203)。

像这样，根据内容显示装置10，能够基于实际对象RO中的一部分决定虚拟空间的原点O。此外，参数计算部101对初始位置及初始姿势的计算既可以根据用户经由触摸面板14的指示来进行，也可以按每个预定的周期来进行，另外还可以按相机16每次对标记M的摄像来进行。根据像这样构成的内容显示装置10，减小了内容相对于实际对象RO的偏差。

(内容显示处理)

说明内容显示处理。图12是表示内容显示处理的流程图。图13是表示被重叠至实际对象的内容的概略图。图14是表示作为判断对象的虚拟对象的概略图。此外，在图12所示的内容显示处理中，设为由用户预先选择了与实际对象相关联的内容。

如图12所示，显示处理部104判断是否由用户进行了显示对象指示，所述显示对象指示用于对作为显示对象的组进行选择指示(S301)。

在进行了显示对象指示的情况下(S301：是)，显示处理部104对显示对象进行变更以使由用户选择的组显示在触摸面板14上(S302)。

在变更显示对象后，或者未进行显示对象指示的情况下(S301：否)，显示处理部104判断是否由用户进行了显示颜色指示，所述显示颜色指示用于指示变更被选择的组的显示颜色(S303)。

在进行了显示颜色指示的情况下(S303：是)，显示处理部104将属于被选择的组的虚拟对象的显示颜色变更为指定的颜色(S304)。

在变更显示颜色后，或者未进行显示颜色指示的情况下(S303：否)，显示处理部104判断是否由用户进行了透明度指示，所述透明度指示用于指示变更被选择的组的透明度(S305)。

在进行了透明度指示的情况下(S305：是)，显示处理部104将属于被选择的组的虚拟对象变更为指定的透明度(S306)。

在变更透明度后，或者未进行透明度指示的情况下(S305：否)，显示处理部104使针对标记M中的原点O配置的内容之中的被指定为显示对象的组的虚拟对象，以指定的显示颜色及透明度显示在触摸面板14上(S307)，显示处理结束。

在本实施方式中，内容如图13所示，设为被预先设定了在虚拟空间中相对于原点O的相对位置，以便在触摸面板14上按照与实际对象大致同样的姿势、大小进行显示。另外，在被指定为显示对象的组包含作为判断对象的虚拟对象的情况下，如图14所示，作为被设定为判断对象的虚拟对象的判断对象JO以与其他虚拟对象不同的颜色显示，以便能够由用户容易地视觉辨认。

另外，内容的显示设为根据由用户进行的设定，被切换为将内容重叠在相机16所摄像的摄像图像上的MR(混合现实(Mixed Reality))显示、或者仅显示内容的AR(增强现实(Augumented Reality))显示中的某一个。

(判断处理)

说明判断处理。图15是表示判断处理的流程图。图16是表示被判断的虚拟对象的概略图。

如图15所示，首先，判断处理部105判断在触摸面板14上正显示的组、更具体是上述的内容显示处理中被指定为显示对象的组中是否包含判断对象(S401)。

在被显示的组中包含判断对象的情况下(S401：是)，判断处理部105判断是否由用户选择了判断对象(S402)。在此，在触摸面板14中判断对象被轻触操作的情况下，判断处理部105判断为选择了判断对象。

在选择了判断对象的情况下(S402：是)，判断处理部105对被选择的判断对象的判断状态进行变更(S403)，并结束判断处理。

在此，说明判断状态。如图16所示，判断对象JO根据用户所进行的选择操作而被变更为多个不同的选择状态(JO1/JO2)。在本实施方式中，判断对象被判断为“正常”或者“异常”中的某一种。在图16中，表示了未判断的判断对象JO0、被判断为“正常”的判断对象JO1、被判断为“异常”的判断对象JO2。判断对象JO0、JO1、JO2由显示处理部104以相互不同的显示颜色显示在触摸面板14上。由此，用户能够容易地识别判断对象的判断状态。此外，作为“正常”、“异常”以外的判断状态，例如可以例举出“未知”、“临时保留”等。另外，在判断状态为“异常”的情况下，如后所述，也能够另行将异常状态作为字符串信息或静止图像信息加以记录。由此，如后文中作为使用例详述的那样，用户能够将判断结果作为实际结果登记并完成向上司的报告业务。

判断对象JO的判断状态根据针对判断对象JO的选择操作次数、在本实施方式中根据针对判断对象JO的轻触操作次数而被变更。具体而言，在轻触操作次数为0的情况下是未判断状态，在轻触操作次数为1的情况下成为“正常”判断状态，在轻触操作次数为2的情况下成为“异常”判断状态。如果针对“异常”判断状态的判断对象进一步进行轻触操作，则能够设为未判断状态。此外，在判断状态包括“正常”、“异常”、“未知”、“临时保留”的情况下，在轻触操作次数为0的情况下是未判断状态，在轻触操作次数为1的情况下成为“正常”判断状态，在轻触操作次数为2的情况下成为“异常”判断状态，在轻触操作次数为3的情况下成为“未知”判断状态，在轻触操作次数为4的情况下成为“临时保留”判断状态，如果进一步进行轻触操作，则能够设为未判断状态。另外，在判断状态为“异常”的情况下，如后所述，也能够另行将异常状态作为字符串信息或静止图像信息加以记录。由此，如后文中作为使用例详述的那样，用户能够将判断结果作为实际结果登记并完成向上司的报告业务。另外，也可以通过针对包括“正常”、“异常”、“未知”、“临时保留”等选项的判断状态变更画面进行操作，来变更判断对象JO的判断状态。设为通过对作为变更判断状态的对象的判断对象JO进行1次轻触，从而将该判断状态变更画面重叠显示在主画面上。在判断状态被变更为“异常”的情况下，如后所述，用户也能够另行在判断状态变更画面上将异常状态作为字符串信息或静止图像信息加以记录。设为：在选择了“正常”之后、或者在选择了“异常”并追记了字符串信息等之后按下了保存按钮或者取消按钮的情况下，在保存了变更后的判断状态之后关闭判断状态变更画面。

此外，判断对象JO的判断状态存在至少1个以上即可，另外，能够由用户设定针对多个判断状态的标签。由此，能够将内容显示装置10用于各种用途。

在步骤S401中显示的对象不包含判断对象的情况下(S401：否)，或者未选择判断对象的情况下(S402：否)，结束判断处理。

(输出处理)

说明输出处理。图17是表示输出处理的流程图。图18是表示判断结果显示画面的概略图。图19是表示判断结果信息的图。

如图17所示，显示处理部104判断是否由用户进行了判断结果显示指示(S501)。

在进行了判断结果显示指示的情况下(S501：是)，显示处理部104使针对判断对象的判断结果显示在触摸面板14上(S502)。通过判断结果显示画面来显示判断结果。

判断结果显示画面如图18所示，包括判断对象数、正常判断数、异常判断数、未判断数、异常判断列表。判断对象数表示内容所包含的判断对象的总数。正常判断数表示被判断为“正常”的判断对象的总数。异常判断数表示被判断为“异常”的判断对象的总数。未判断数表示全部判断对象之中的未进行判断的判断对象的总数。根据判断结果显示画面，用户能够确认是否没有漏检，能够提高判断业务的品质或生产性能。

异常判断列表以一览的形式表示被判断为“异常”的判断对象各自的详细情况。异常判断列表中的记录包括对象ID、注释、附件作为字段。注释是在判断结果显示画面中由用户针对由对应的对象ID表示的判断对象输入的文本。附件表示在判断结果显示画面中由用户针对由对应的对象ID表示的判断对象添附的文件名。作为添附的文件，设想是与对应的判断对象相关的图像文件、动态图像文件、声音文件等媒体文件，但添附任何文件皆可。

在显示判断结果后，输出处理部106判断是否由用户进行了判断结果输出指示(S503)。

在进行了判断结果输出指示的情况下(S503：是)，输出处理部106输出判断结果信息(S504)，判断结果发送部107将输出的判断结果信息向内容管理装置20发送(S505)，并且输出处理结束。判断结果信息由内容管理装置20中的管理部202管理。

判断结果信息是包括异常判断列表的文件，如图19所示，将表示被判断为“异常”的判断对象的对象ID、表示判断对象所属的内容的内容ID、表示内容显示装置10的用户的用户ID、针对判断对象的判断结果、表示进行了判断时的日期时间的判断日期时间、注释、附件建立对应。判断结果信息例如作为XML(可扩展标记语言(eXtensible MarkupLanguage))文件、JSON(JavaScript(注册商标)Object Notation：JS对象简谱)文件、CSV(逗号分隔值(Comma-Separated Values))文件等表示数据结构的文件被输出。判断结果信息与该判断结果信息所表示的附件一起被发送。

在未进行判断结果显示指示的情况下(S501：否)，或者未进行判断结果输出指示的情况下(S503：否)，输出处理结束。

通过对判断结果进行列表显示，用户能够容易地掌握针对实际对象的判断结果。另外，通过将判断结果作为文件输出，能够在组织中容易地共享针对实际对象的判断结果。

在上述实施方式中，设为内容显示装置10将内容CN与实际对象RO重叠显示，但内容显示装置10也可以针对如图20所示的一部分缺失的实际对象RO，如图21所示将内容CN配置于实际对象RO中的缺失部分进行显示。也就是说，内容显示装置10也可以将内容CN配置于虚拟空间中的与实际对象RO不重叠的位置。

另外，内容显示装置10也可以如图22所示，将形成为指示规定位置的图钉状的图钉对象(Pin object)P与实际对象RO重叠显示。该图钉对象P是指示虚拟空间中的规定的位置的虚拟对象。用户通过经由触摸面板14选择虚拟空间中的规定的位置，能够作为新的图钉对象P加以登记。另外，用户能够将可以包括文本、图像等的附加信息与新的图钉对象P建立对应，并且能够修正与现有的图钉对象P建立了对应的附加信息。显示处理部104使图钉对象P显示在触摸面板14上，并且在图钉对象P被选择的情况下，使与被选择的图钉对象P建立了对应的附加信息显示在触摸面板14上。

(第1使用例)

说明第1使用例。第1使用例是将内容显示系统用于确认焊点的位置的情况下的使用例。

以往，通过将在焊点位置处开孔而成的实际尺寸大小的纸或样板粘贴在焊接对象上，从而确认焊点的位置。确认位置的作业者进行焊点位置是否正确、焊点的大小是否正确，焊点的深度(是否焊接了所需张数的金属板)是否正确等品质检查，由作业者确认是否确认了全部焊点。作业者在确认后，另行通过PC等输入确认结果来向上司报告。

在将内容显示系统1用于确认焊点的位置的情况下，作业者能够根据与焊接对象相应制作的内容确认焊点位置，因此无需事先准备样板等。另外，通过按表示焊点的每个判断对象进行判断处理，能够没有遗漏地进行确认。另外，由于将判断结果作为数据加以积蓄，因此易于进行向上司的报告作业，并且易于针对焊接不良较多的地方或式样(Pattern)等进行分析，将判断结果活用于与焊接作业相关的改进活动。

(第2使用例)

说明第2使用例。第2使用例是将内容显示系统用于涂装后的确认作业的情况下的使用例。

以往，在将涂料涂布至涂装对象之后进行确认作业。在确认作业中，确认涂布材料的种类、涂布位置、涂布范围是否正确。在确认涂布范围时，确认是否针对所需的范围进行了涂布、是否未超出至涂布范围外，由作业者确认是否确认了全部涂布位置。作业者在进行了确认作业后，另行通过PC等输入确认结果来向上司报告。

在将内容显示系统1用于涂装后的确认作业的情况下，无需事先准备用于确认的检查列表等，能够根据与涂装作业相应制作的内容，确认涂布材料的种类、涂布位置、涂布大小。通过按表示涂布位置的每个判断对象进行判断处理，能够没有遗漏地进行确认。另外，由于将判断结果作为数据加以积蓄，因此易于向上司进行报告作业，并且易于针对涂布不良较多的地方或式样等进行分析，将判断结果活用于与涂布作业相关的改进活动。

(第3使用例)

说明第3使用例。第3使用例是将内容显示系统用于模具和压力机的安装验证作业的情况下的使用例。

以往，在模具和压力机的安装验证作业中，按每个模具和设置模具的压力机，事先在上下翻转的冲压模具之上准备实际尺寸大小的片材或样板，并将片材或样板粘贴于模具。作业者确认缓冲销或者保护缓冲销的保护部件是否与冲压模具的基座部分(井桁形状)不干涉。由于按照每个压力机而存在形状的差异，因此在发生了缓冲销或保护部件的干涉的情况下，作业者根据需要进行将模具的基座部分削减等作业来去除干涉。一般而言，验证作业和干涉的预防作业由不同的作业者进行，进行验证作业的作业者向进行预防作业的作业者以口头或文件等方式传达验证作业结果。因此，关于谁在何时对哪个部分进行了怎样的作业，被记录于纸上，或者未保留记录。

在将内容显示系统1用于模具和压力机的安装验证作业的情况下，无需事先准备样板等，能够确认作为虚拟对象的缓冲销等的位置。通过按作为判断对象的每个缓冲销进行判断处理，作业者能够没有遗漏地进行确认。或者，能够将判断结果作为数据加以积蓄，因此能够进行事后的数据分析，对干涉多的地方或式样等进行分析并活用于改进活动。

另外，即使在验证作业与干涉的预防作业中作业者不同，通过将判断结果作为数据加以输出，也能够传达需要对哪个部分进行怎样的作业，能够在作业后在记录中保留谁在何时对哪个部分进行了怎样的作业。由于能够将判断结果或传达的记录作为数据加以积蓄，因此能够在事后进行数据分析，对不合格较多的地方或式样等进行分析并活用于改进活动。

(第4使用例)

说明第4使用例。第4使用例是将内容显示系统用于模具的维护作业的情况下的使用例。

以往，在定期进行的模具的维护作业中，确认作业者通过目视，确认对模具进行基于从机械的拆卸、焊接、切削、弹簧更换、衬垫更换等的修补的地方。进而，修补作业者基于从确认作业者通过口头、文章、照片等传达的信息，进行模具的修补作业。但是，由于确认时与修补时在时间上存在差异，因此修补内容不清楚，需要额外对修补处或修补内容进行确认。

在将内容显示系统1用于模具的维护作业的情况下，确认作业者根据判断对象，能够使用各种媒体文件明确地表示应该针对模具的哪个地方、如何进行何种作业。进而，修补作业者也能够明确地理解应该在哪个地方、如何进行何种作业，能够及时地实施修补作业。

另外，由于能够包含地记录由谁何时对哪个部分进行了修补，因此能够将确认结果、传达的信息、修补作业记录作为数据加以积蓄，能够使用积蓄的数据，对不合格较多的地方或式样等进行分析并活用于改进活动。进而，通过将这样的分析结果反馈给设计部门或开发部门，能够有助于削减不合格次数或进行易于修补的设计。另外，使用分析结果，既能够活用于作为预防保全的定期维护的调度调整，也能够减少作为事后保全的不定期维护的发生。

(第5使用例)

说明第5使用例。第5使用例是将内容显示系统用于指定涂装中的涂布范围的情况下的使用例。

以往，为了表示应该在哪个位置涂布何种涂布材料，进行配置专用器材并在其周边粘贴遮蔽胶带的作业，所述专用器材包括由塑料或金属制作的罩等。由于在试制阶段多次变更设计，因此需要根据设计变更来重新制作专用器材。制作专用器材需要时间，因此从设计变更直到实施遮蔽作业产生时滞。

通过将内容显示系统1用于指定涂布范围，并将基于涂布对象的设计数据的内容重叠至涂布对象，从而涂布位置或涂布范围变得明确，能够在没有专用器材的情况下进行遮蔽胶带的粘贴。进而，减小了用于制作专用器材的时间或费用。

(第6使用例)

说明第6使用例。第6使用例是将内容显示系统用于机械设施的配置计划的情况下的使用例。

以往，在新设置机械设施的情况或者实施机械设施的调换的情况下，基于设计图，判断是否能够将机械设施设置在工厂建筑物内。在该情况下，关于机械设施在动作时有可能与建筑物或其他机械设施等发生的干涉、在建筑物内从事作业的作业者的移动路线、部件搬运车的移动路线等，考虑不够充分，产生了重新计划机械设施的配置的作业。

在将内容显示系统1用于机械设施的配置计划的情况下，能够针对现有的工厂建筑物内或机械设施，配置新设置的虚拟的机械设施，因此能够预先充分地考虑或确认与建筑物或其他机械设施等发生的干涉、作业者的移动路线、部件搬运车的移动路线等。

如以上所说明的那样，根据内容显示系统1，能够使用通用的平板电脑型终端或PC作为内容显示装置10、内容管理装置20，因此能够更廉价地使用MR技术实现针对对象物的判断作业。

＜第2实施方式＞

说明第2实施方式所涉及的内容显示系统。图23、图25、图26分别是表示本实施方式所涉及的内容生成处理、内容显示装置的动作、可变处理的流程图。图24是表示本实施方式所涉及的对象信息的图。图27是表示本实施方式所涉及的实际对象的概略图。图28是表示本实施方式所涉及的显示被重叠于实际对象的虚拟对象的内容显示装置的图。

本实施方式所涉及的内容显示装置10与第1实施方式的不同点在于，能够按虚拟空间的3个轴(x，y，z，参照图11)变更与实际对象重叠显示的虚拟对象的比例(Scale)。在本实施方式中，在内容中包含能够放大缩小比例的虚拟对象即可变对象。

为了生成这样的可变对象，本实施方式所涉及的内容生成处理与第1实施方式的不同点如图23所示，在步骤S106、S108、S109之后执行步骤S111。内容管理装置20的转换部201在步骤S111中，判断选择中的组是否被设定为可变对象。

在选择中的组是可变对象的情况下(S111：是)，转换部201将选择中的组所包含的虚拟对象各自的对象信息中的可变对象标志设为“开启”(S112：是)，并执行步骤S107的处理。另一方面，在选择中的组不是可变对象的情况下(S112：否)，转换部201将选择中的组所包含的虚拟对象各自的对象信息中的可变对象标志设为“关闭”，并执行步骤S107的处理。

像这样生成的本实施方式所涉及的对象信息与第1实施方式的不同点如图24所示，还将可变对象标志、x比例、y比例、z比例与对象ID建立对应。可变对象标志表示所对应的虚拟对象是否为可变对象。x比例、y比例、z比例都以0为初始值，被输入从作为最小值的负值到作为最大值的正值为止的值，在被输入了负值的情况下，将所对应的虚拟对象缩小，在被输入了正值的情况下，将所对应的虚拟对象放大。x比例表示所对应的虚拟对象在x轴方向上的比例。y比例表示所对应的虚拟对象在y轴方向上的比例。z比例表示所对应的虚拟对象在z轴方向上的比例。例如，如果z比例被输入了负值，则所对应的虚拟对象仅在z轴方向上被缩小。

本实施方式所涉及的内容显示装置10与第1实施方式的不同点如图25所示，在进行输出处理之前，作为步骤S208的处理执行可变处理。在可变处理中，如图26所示，首先，显示处理部104判断在正显示的内容中是否包含作为可变对象标志被设定为“开启”的虚拟对象的可变对象(S601)。

在包含可变对象的情况下(S601：是)，显示处理部104判断是否由用户选择了可变对象(S602)，在选择了可变对象的情况下(S602：是)，判断是否由用户进行了使3个轴之中的被选择的轴方向的比例可变的可变指示(S603)。在进行了可变指示的情况下(S603：是)，显示处理部104基于可变指示，变更可变对象的比例(S604)。

在未包含可变对象的情况下(S601：否)，未选择可变对象的情况下(S602：否)，或者未进行可变指示的情况下(S603：否)，可变处理结束。

参照图27～图29，作为具体例，说明比例被缩小的可变对象。在该具体例中，实际对象RO如图27所示，设为在上表面形成有孔H的大致长方体状的物体，孔H设为形成有底面B的非贯通孔。另外，如图28所示，设为在z轴方向上延伸的柱状的可变对象VO与实际对象RO重叠显示。另外，可变对象VO设为模拟被插入至孔H的零件。

使用触摸面板上显示的作为GUI的可变操作部VC，进行上述的可变指示。可变操作部VC包括：用于选择使可变对象VO的比例可变的轴的3个复选框、以及能够在左右方向上操作旋钮的滑动条UI。如果旋钮向左侧移动则可变对象VO被缩小，如果旋钮向右侧移动则可变对象VO被放大。

在图28中，选择了z轴作为使可变对象VO的比例可变的轴(在图28中为上下方向)，且旋钮处于中央部，因此可变对象VO处于比例未变化的状态。可变对象VO被配置在与孔H嵌合的位置，但孔H的底面B被可变对象VO覆盖，用户无法判断可变对象VO是否与孔H的底面B干涉。

如图29所示，如果可变操作部VC中的滑动条UI的旋钮向左侧移动，则可变对象VO在z轴方向上被缩小。由此，可变对象VO和孔H的底面B双方被显示在触摸面板14上，用户能够判断可变对象VO是否与孔H的底面B干涉。

根据本实施方式所涉及的内容显示装置10，在如上述的第3使用例那样用于模具和压力机的安装验证作业的情况下，通过针对具有多个凹部的模具，使模拟缓冲销的虚拟对象的比例在凹部的凹陷方向上缩小，能够容易地确认模具的凹部的底部与缓冲销的干涉状况。

＜第3实施方式＞

说明第3实施方式所涉及的内容显示系统。图30是表示本实施方式所涉及的内容生成处理的流程图。图31是表示本实施方式所涉及的对象信息的图。图32是表示本实施方式所涉及的层级化的虚拟对象群的图。

本实施方式所涉及的内容显示装置10与第1实施方式的不同点在于，能够对内容所包含的多个虚拟对象进行层级化处理。在本实施方式中，在内容中包含层级化对象，所述层级化对象是与自身所属的组所属的组建立了对应的虚拟对象。

为了生成这样的层级化对象，本实施方式所涉及的内容生成处理与第1实施方式的不同点如图30所示，在步骤S106、S108、S109之后执行步骤S121。内容管理装置20的转换部201在步骤S121中，判断选择中的组是否被设定为结构化对象。

在选择中的组是结构化对象的情况下(S121：是)，转换部201针对选择中的组所包含的虚拟对象各自的对象信息中的父ID(后述)，设置表示这些虚拟对象所属的组所属的组的组ID(S122：是)，并执行步骤S107的处理。另一方面，在选择中的组不是结构化对象的情况下(S122：否)，转换部201针对对象信息中的父ID不施加变更，而执行步骤S107的处理。此外，父ID的初始值设为空值或者表示包括内容中的全部虚拟对象的根组的组ID。另外，父ID被设置为在执行内容生成处理之前由用户指定的组，或者是基于被输入的3D数据所包括的结构化信息而设定的。

像这样生成的本实施方式所涉及的对象信息与第1实施方式的不同点如图31所示，还将上述的父ID与对象ID建立对应。针对父ID，设置表示所对应的组ID所表示的组所属的组的组ID。

根据包括这样的父ID的对象信息，如图32所示，能够对虚拟对象进行层级化处理。在图32中表示作为虚拟对象的6个螺母A～F。针对6个螺母A～F各自的对象信息中的父ID设置G1，针对螺母A～C各自的对象信息中的组ID设置G2，针对螺母D～F各自的对象信息中的组ID设置G3。由此，能够表现包括属于“区域1”的3个螺母以及属于与“区域1”不同的“区域2”的3个螺母在内的全部螺母。另外，也可以设置属于其他组的组作为父ID，也可以将虚拟对象层级化为3个层级以上。

通过像这样对虚拟对象进行结构化，能够更灵活地针对多个虚拟对象进行变更。例如，在如图32所示对螺母的显示颜色进行变更的情况下，首先，将全部螺母的显示颜色变更为红色，将属于“区域1”的螺母之中的仅螺母B的显示颜色变更为蓝色，将属于“区域2”的全部螺母的显示颜色变更为黄色即可。像这样，通过虚拟对象的结构化，与个别地变更全部虚拟对象的情况相比，更容易针对属于同一组的一部分虚拟对象进行变更。

在将本实施方式所涉及的内容显示装置10用于如上述的第2使用例那样的涂装后的确认作业的情况下，能够不仅按涂布位置或涂布材料而且按负责的区域或负责人来划分多个涂布位置，能够减少涂装作业中的错误。另外，作业者通过在内容显示装置10中将完成了检查的涂布位置设为非显示，而仅使未检查的涂布位置显示，也能够提高检查的效率。

说明了发明的实施方式，但这些实施方式作为例子提示，其意图不在于限定发明的范围。这些新的实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式及其变形被包含在发明的范围和主旨内，而且被包含在权利要求书所记载的发明及其等同的范围内。

附图标记说明：

10内容显示装置

101 参数计算部

102 参数更新部

104 显示处理部

105 判断处理部

106 输出处理部

Claims (19)

1.一种内容显示装置，显示包含至少1个以上的虚拟对象的内容，其中，具备：

参数计算部，基于实际对象的摄像图像，计算以该实际对象的位置为原点的所述内容显示装置的初始位置及初始姿势作为初始参数；

参数更新部，计算所述内容显示装置的位置及姿势的位移，并更新以所述初始位置及所述初始姿势为起点的所述内容显示装置的位置及姿势；

显示处理部，使被配置于以所述实际对象的位置为原点的虚拟空间中的所述内容与所述实际对象重叠显示；以及

判断处理部，在显示的内容所包含的虚拟对象被进行了选择操作的情况下，变更针对该虚拟对象的判断状态。

2.如权利要求1所述的内容显示装置，其特征在于，

所述判断处理部根据针对所述虚拟对象的选择操作次数，变更针对该虚拟对象的判断状态。

3.如权利要求1或者权利要求2所述的内容显示装置，其特征在于，

针对所述虚拟对象的判断状态至少包括正常状态和异常状态。

4.如权利要求3所述的内容显示装置，其特征在于，还具备：

输出处理部，输出与被判断为异常的虚拟对象相关的判断结果信息。

5.如权利要求4所述的内容显示装置，其特征在于，

所述判断结果信息将对象ID与表示对判断状态进行了变更的用户的用户ID建立对应，所述对象ID是表示被判断为异常的虚拟对象的标识符。

6.如权利要求5所述的内容显示装置，其特征在于，

所述判断结果信息还将所述对象ID与所述判断状态被变更的日期时间建立对应。

7.如权利要求5或者权利要求6所述的内容显示装置，其特征在于，

所述判断结果信息还将所述对象ID与针对由该对象ID表示的虚拟对象的文本建立对应。

8.如权利要求5～权利要求7中任一项所述的内容显示装置，其特征在于，

所述判断结果信息还将所述对象ID与媒体文件建立对应。

9.如权利要求1～权利要求8中任一项所述的内容显示装置，其特征在于。

所述参数计算部基于用户的指示操作，计算基于所述实际对象的摄像图像而得到的所述内容显示装置的初始位置及初始姿势。

10.如权利要求1～权利要求8中任一项所述的内容显示装置，其特征在于，

所述参数计算部按每个规定的周期，计算基于所述实际对象的摄像图像而得到的所述内容显示装置的初始位置及初始姿势。

11.如权利要求1～权利要求8中任一项所述的内容显示装置，其特征在于，

所述参数计算部在所述实际对象中的特征部分每次被摄像时，计算基于该实际对象的摄像图像而得到的所述内容显示装置的初始位置及初始姿势。

12.如权利要求1～权利要求11中任一项所述的内容显示装置，其特征在于，

所述显示处理部显示图钉对象，所述图钉对象是指示所述虚拟空间中由用户指定的指定位置的图钉形状的虚拟对象。

13.如权利要求12所述的内容显示装置，其特征在于，

所述图钉对象与包括文本或者媒体文件之中的至少任一个在内的附加信息建立了对应，

所述显示处理部在所述图钉对象被选择的情况下，显示与该图钉对象建立了对应的附加信息。

14.如权利要求1～权利要求12中任一项所述的内容显示装置，其特征在于，

所述显示处理部基于用户的指示，使被进行了选择操作的虚拟对象的比例在所述虚拟空间中的3个轴之中的被选择的轴方向上放大或者缩小。

15.如权利要求1～权利要求14中任一项所述的内容显示装置，其特征在于，

所述虚拟对象与表示本虚拟对象所属的组的组ID、以及表示由该组ID表示的组所属的其他组的父ID建立了对应。

16.一种内容显示程序，显示包含至少1个以上的虚拟对象的内容，其中，该内容显示程序使计算机作为如下各部发挥功能：

参数计算部，基于实际对象的摄像图像，计算以该实际对象的位置为原点的本装置的初始位置及初始姿势作为初始参数；

参数更新部，计算所述本装置的位置及姿势的位移，并更新以所述初始位置及所述初始姿势为起点的所述本装置的位置及姿势；

显示处理部，使被配置于以所述实际对象的位置为原点的虚拟空间中的所述内容与所述实际对象重叠显示；以及

判断处理部，在显示的内容所包含的虚拟对象被进行了选择操作的情况下，变更针对该虚拟对象的判断状态。

17.一种内容显示方法，显示包含至少1个以上的虚拟对象的内容，其中，计算机执行：

基于实际对象的摄像图像，计算以该实际对象的位置为原点的本装置的初始位置及初始姿势作为初始参数，

计算所述本装置的位置及姿势的位移，并更新以所述初始位置及所述初始姿势为起点的所述本装置的位置及姿势，

使被配置于以所述实际对象的位置为原点的虚拟空间中的所述内容与所述实际对象重叠显示，

在显示的内容所包含的虚拟对象被进行了选择操作的情况下，变更针对该虚拟对象的判断状态。

18.一种内容显示系统，具备内容显示装置以及与该内容显示装置以能够通信的方式连接的内容管理装置，所述内容显示装置显示包含至少1个以上的虚拟对象的内容，其中，

所述内容管理装置具备：

转换部，将被输入的3维数据转换为内容信息，所述内容信息包括该3维数据以及作为唯一地表示该3维数据的标识符的内容ID；以及

内容发送部，将转换后的所述内容信息向所述内容显示装置发送，

所述内容显示装置具备：

参数计算部，基于实际对象的摄像图像，计算以该实际对象的位置为原点的所述内容显示装置的初始位置及初始姿势作为初始参数；

参数更新部，计算所述内容显示装置的位置及姿势的位移，并更新以所述初始位置及所述初始姿势为起点的所述内容显示装置的位置及姿势；

内容接收部，接收由所述内容管理装置发送的内容信息；

显示处理部，基于接收到的所述内容信息，使被配置于以所述实际对象的位置为原点的虚拟空间中的所述内容与所述实际对象重叠显示；以及

判断处理部，在显示的内容所包含的虚拟对象被进行了选择操作的情况下，变更针对该虚拟对象的判断状态。

19.一种内容显示方法，由内容显示装置以及与该内容显示装置以能够通信的方式连接的内容管理装置执行，所述内容显示装置显示包含至少1个以上的虚拟对象的内容，其中，

所述内容管理装置执行：

将被输入的3维数据转换为内容信息，该内容信息包括该3维数据以及作为唯一地表示该3维数据的标识符的内容ID，

将转换后的所述内容信息向所述内容显示装置发送，

所述内容显示装置执行：

基于实际对象的摄像图像，计算以该实际对象的位置为原点的所述内容显示装置的初始位置及初始姿势作为初始参数，

计算所述内容显示装置的位置及姿势的位移，并更新以所述初始位置及所述初始姿势为起点的所述内容显示装置的位置及姿势，

接收由所述内容管理装置发送的内容信息，

基于接收到的所述内容信息，使被配置于以所述实际对象的位置为原点的虚拟空间中的所述内容与所述实际对象重叠显示，

在显示的内容所包含的虚拟对象被进行了选择操作的情况下，变更针对该虚拟对象的判断状态。