CN104685869B - 显示装置、控制方法 - Google Patents

Abstract

一种显示装置(1)，包括：显示部(32a和32b)，当显示装置被佩戴时，通过显示分别与用户两只眼睛各自对应的图像来以三维方式显示预定对象；检测部(44)，在立体显示该对象的显示空间中检测物体；以及控制部(22)，当在该显示空间中检测到上述物体的移动时，根据该物体的移动在该显示空间中变化上述对象。对象的变化包括例如移动、旋转、变形、消失等。

Description

显示装置、控制方法

技术领域

本发明涉及显示装置、控制方法和控制程序。

背景技术

在包括显示部的显示装置中，存在可以立体显示图像等的装置(例如，参考专利文献1)。利用双眼的视差实现立体显示。

现有技术文献

专利文献

专利文献1：日本专利公开公报“特开2011-95547”

发明内容

发明所要解决的技术问题

尽管对于使用者，立体显示是易于接受的显示形式，但是在现有的显示装置中，立体显示只用于视听目的，而不用于提高操作的便利性。本发明的目的在于提供：可以向使用者提供便利性高的操作方法的显示装置、控制方法和控制程序。

解决问题所需手段

一种方式的显示装置，包括：显示部，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像来以三维方式显示预定对象；检测部，检测在所述对象的显示空间中的预定物体的位移；以及控制部，根据由所述检测部检测到的所述预定物体的位移，进行与所述对象关联的动作。

另一方式的显示装置，包括：显示部，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像来以三维方式显示预定对象；检测部，在显示所述对象的显示空间中检测第一物体和第二物体；以及控制部，在所述显示空间中检测到所述对象位于所述第一物体和所述第二物体之间时，使所述对象进行变化。

又一方式的显示装置，包括：显示部，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像来以三维方式显示预定对象；检测部，在显示所述对象的显示空间中检测第一物体和第二物体；以及控制部，当在所述显示空间中检测到所述第一物体或所述第二物体的至少一个位于与所述对象接触的位置时，变化所述对象。

又一方式的显示装置，包括：显示部，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像来以三维方式显示预定对象；以及控制部，当在显示所述对象的显示空间中第一物体和第二物体位于夹持所述对象的位置时，使所述对象变化。

又一方式的显示装置，包括：显示部，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像来以三维方式显示预定对象；检测部，在显示面中检测第一物体和第二物体；以及控制部，当在所述显示面中检测到所述对象位于所述第一物体和所述第二物体之间时，使所述对象变化。

又一方式的显示装置，包括：显示部，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像来以三维方式显示预定对象；检测部，在显示面中检测第一物体和第二物体；以及控制部，当在所述显示面中检测到所述第一物体或所述第二物体的至少一个处于与所述对象接触的位置时，使所述对象变化。

又一方式的显示装置，包括：显示部，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像来以三维方式显示预定对象；检测部，在立体显示所述对象的显示空间中检测物体；以及控制部，当在所述显示空间中检测到所述物体的移动时，根据所述物体的移动，在所述显示空间中变化所述对象。

又一方式的显示装置，包括：显示部，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像来以三维方式显示预定对象；以及控制部，当检测到物体在立体显示所述对象的显示空间中移动时，根据所述物体的移动在所述显示空间中变化所述对象。

一种方式的控制方法，当显示装置被佩戴时，显示装置通过显示与用户两只眼睛各自对应的图像来以三维方式显示预定对象，其特征在于，包括：通过所述显示装置以三维方式显示预定对象；检测在所述对象的显示空间中的预定物体的位移；以及根据检测到的所述预定物体的位移，进行与所述对象关联的动作。

一种方式的控制程序，在显示装置中进行以下步骤，其中，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像来以三维方式显示预定对象，所述步骤包括：通过显示部以三维方式显示预定对象；检测在所述对象的显示空间中的预定物体的位移；以及根据检测到的所述预定物体的位移，进行与所述对象关联的动作。

一种方式的显示装置，包括：显示部，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像来以三维方式显示与商品对应的对象；检测部，检测操作所述对象的真实物体；以及控制部，根据所述真实物体进行的操作来变化所述对象的位置，当所述真实物体不再操作所述对象时，将所述对象留在原处。

一种方式的控制方法，作为显示装置的控制方法，其中包括：通过显示与用户两只眼睛各自对应的图像来以三维方式显示对象；检测操作所述对象的真实物体；根据所述真实物体进行的操作来变化所述对象的位置；以及当所述真实物体不再操作所述对象时，将所述对象留在原处。

一种方式的显示装置，包括：显示部，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像来以三维方式显示配置在假想空间中的对象；传感器，检测所述显示装置在真实空间中的方向变化；以及控制部，根据所述传感器检测到的所述方向变化，变化所述对象。

一种方式的控制方法，作为显示装置的控制方法，包括：通过显示与用户两只眼睛各自对应的图像来以三维方式显示配置在假想空间中的对象；检测所述显示装置在真实空间中的方向变化；以及根据所述方向变化来变化所述对象。

一种方式的显示装置，包括：显示部，当所述显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像来以三维方式显示配置在假想空间中的对象；传感器，检测所述显示装置在真实空间中的位置变化；以及控制部，根据所述传感器检测到的所述位置变化，变化所述对象。

一种方式的控制方法，作为显示装置的控制方法，包括：通过显示与用户两只眼睛各自对应的图像来以三维方式显示配置在假想空间中的对象；检测所述显示装置在真实空间中的位置变化；以及根据所述位置变化来变化所述对象。

发明效果

本发明起到可以向使用者提供便利性高的操作方法的效果。

附图简要说明

图1是第一实施例的显示装置的立体图。

图2是从正面观看由使用者佩戴的显示装置的图。

图3是示出显示装置的变形例的图。

图4是示出显示装置的其他变形例的图。

图5是示出显示装置的其他变形例的图。

图6是第一实施例的显示装置的框图。

图7是示出根据控制程序提供的功能进行控制的实施例的图。

图8是示出存储在对象数据中的信息的一个实施例的图。

图9是示出存储在作用数据中的信息的一个实施例的图。

图10是示出存储在作用数据中的信息的一个实施例的图。

图11是示出存储在作用数据中的信息的一个实施例的图。

图12是示出存储在作用数据中的信息的一个实施例的图。

图13是示出存储在作用数据中的信息的一个实施例的图。

图14是示出存储在作用数据中的信息的一个实施例的图。

图15是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第一实施例的图。

图16是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第一实施例的图。

图17是示出第一实施例中的接触检测处理的处理顺序的流程图。

图18是示出第一实施例中的操作检测处理的处理顺序的流程图。

图19是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第二实施例的图。

图20是示出第二实施例中的操作检测处理的处理顺序的流程图。

图21是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第三实施例的图。

图22是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的第三实施例的图。

图23是示出第三实施例中的操作检测处理的处理顺序的流程图。

图24是用于说明检测抓住三维对象进行的操作的第一实施例的图。

图25是示出第一实施例中的选择检测处理的处理顺序的流程图。

图26是示出第一实施例中的操作检测处理的处理顺序的流程图。

图27是用于说明检测抓住三维对象进行的操作的第一实施例的变形例的图。

图28是用于说明检测抓住三维对象进行的操作的第二实施例的图。

图29是示出第二实施例中的选择检测处理的处理顺序的流程图。

图30是用于说明检测抓住三维对象进行的操作的第二实施例的变形例的图。

图31是用于说明检测抓住三维对象进行的操作的第三实施例的图。

图32是用于说明检测抓住三维对象进行的操作的第三实施例的图。

图33是示出第三实施例中的选择检测处理的处理顺序的流程图。

图34是示出第三实施例中的操作检测处理的处理顺序的流程图。

图35是用于说明检测抓住三维对象进行的操作的第三实施例的变形例的图。

图36是第二实施例的显示装置的立体图。

图37是第一实施例的显示装置的框图。

图38是示出与三维对象的变化联动的显示控制的一个实施例的图。

图39是示出使手指一瞬间接触三维对象的操作轨迹的一个实施例的图。

图40是示出使手指沿三维对象移动的操作轨迹的一个实施例的图。

图41是示出用手指压坏三维对象的操作轨迹的一个实施例的图。

图42是示出与三维对象的变化联动地进行显示控制的处理顺序的流程图。

图43是第三实施例的显示装置的框图。

图44是示出与位置变化联动地使三维对象变化的实施例的图。

图45是概念性示出配置在使用者周围的操作画面的图。

图46是示出与方向变化联动地使三维对象变化的实施例的图。

图47是示出与位置变化和方向变化联动地使三维对象变化的控制的处理顺序的流程图。

图48是示出在设置购买的商品的房间中显示电子目录的图。

图49是用于说明从目录选择商品的场景的图。

图50是用于说明考虑电视机的大小和设置场所的场景的图。

图51是用于说明选择电视机柜的场景的图。

图52是用于说明移动真实物体的场景的图。

图53是示出订购处理的处理顺序的流程图。

图54是示出第五实施方式的显示装置的框图。

图55是用于说明开始披萨的订购处理的图。

图56是用于说明决定饼底的尺寸和厚度的工序的图。

图57是用于说明放上顶料的工序的图。

图58是用于说明订购披萨的工序的图。

图59是配送披萨的实施例的图。

图60是示出订购处理的处理顺序的流程图。

具体实施方式

以下，参考附图详细说明本发明。另外，本发明不限于下文的说明。而且，在下文的说明中的构成要素中包括本领域的技术人员可以容易想到的内容、实质上等同的内容和所谓的均等范围的内容。

实施例1

首先，参考图1和图2说明第一实施例的显示装置1的整体结构。图1是显示装置1的立体图。图2是从正面观看由使用者佩戴的显示装置1的图。如图1和图2所示，显示装置1是佩戴在使用者头部的头戴式装置。

显示装置1具有前面部1a、侧面部1b和侧面部1c。当佩戴时，前面部1a被配置在使用者的正面以覆盖使用者的双眼。侧面部1b与前面部1a一侧的端部连接，侧面部1c与前面部1a另一侧的端部连接。当佩戴时，侧面部1b和侧面部1c像眼镜腿一样由使用者的耳朵支撑，使显示装置1稳定。当佩戴时，侧面部1b和侧面部1c也可以在使用者的头部背面连接。

前面部1a在当佩戴时与使用者的眼睛相对的面上具有显示部32a 和显示部32b。显示部32a被配置在当佩戴时与使用者的右眼相对的位置，显示部32b被配置在当佩戴时与使用者的左眼相对的位置。显示部32a显示右眼用的图像，显示部32b显示左眼用的图像。这样，通过具有当佩戴时显示与使用者的两只眼睛各自对应的图像的显示部 32a和显示部32b，使得显示装置1可以实现利用双眼视差的三维显示。

如果可以向使用者的右眼和左眼单独提供不同的图像，则显示部 32a和显示部32b也可以由一个显示设备构成。例如，也可以通过快速转换切换遮蔽板以使得只有一只眼睛能看到显示的图像，从而构成为一个显示设备向使用者的右眼和左眼单独提供不同的图像。前面部 1a也可以覆盖使用者的眼睛以使得当佩戴时外部光线不进入使用者的眼睛。

前面部1a在与设置有显示部32a和显示部32b的面相反侧的面上具有摄影部40和摄影部42。摄影部40被设置在前面部1a一侧的端部(佩戴时的右眼侧)附近，摄影部42被设置在前面部1a另一侧的端部(佩戴时的左眼侧)附近。摄影部40获得相当于使用者右眼视野的范围的图像。摄影部42获得相当于使用者左眼视野的范围的图像。这里的视野是指例如使用者看正面时的视野。

显示装置1将由摄影部40拍摄的图像作为右眼用图像在显示部 32a中显示，将由摄影部42拍摄的图像作为左眼用图像在显示部32b 中显示。因此，即使被前面部1a遮挡视野，显示装置1也能向佩戴中的使用者提供与未佩戴显示装置1时相同的情景。

显示装置1具有如上述向使用者提供实际情景的功能，还具有以三维方式显示假想信息，使得使用者可以操作假想信息的功能。通过显示装置1，假想信息如实际存在一样与真实的情景重叠显示。而且，使用者可以例如好像用手实际触摸假想信息那样操作，对假想信息进行移动、旋转、变形等的变化。这样，显示装置1可以关于假想信息提供直观且便利性高的操作方法。在下文的说明中，有时将由显示装置1以三维方式显示的假想信息称为“三维对象”。

显示装置1向使用者提供与未佩戴显示装置1时同样广阔的视野。而且，显示装置1可以在该广阔的视野中的任意位置以任意大小配置三维对象。这样，显示装置1不受显示设备的大小限制，可以在广阔空间的各种位置显示各种大小的三维对象。而且，可以将可看到三维对象的人限定为显示装置1的使用者，从而确保高度的安全性。

在图1和图2中，示出了显示装置1具有类似于眼镜(护目镜) 形状的实施例，但是显示装置1的形状不限于此。图3是示出显示装置的变形例的图。图4和图5是示出显示装置的其他变形例的图。例如，显示装置1也可以如图3示出的显示装置2那样，具有覆盖使用者头部的大致上半部分的头盔型的形状。或者，显示装置1也可以如图4示出的显示装置3那样，具有覆盖使用者大致整个脸的面具型的形状。显示装置1也可以如图5示出的显示装置4那样，构成为与信息处理装置、电池装置等外部装置4d有线或无线连接。

接着，参考图6说明显示装置1的功能结构。图6是显示装置1 的框图。如图6所示，显示装置1具有操作部13、控制部22、存储部 24、显示部32a和显示部32b、摄影部40和摄影部42、检测部44和测距部46。操作部13接收显示装置1的启动、停止、动作模式的变更等基本操作。

显示部32a和显示部32b具有液晶显示器(Liquid Crystal Display)、有机EL(Organic Electro-Luminescence)面板等的显示设备，根据从控制部22输入的控制信号显示各种信息。显示部32a和显示部32b也可以是使用激光光线等光源在使用者的视网膜上投影图像的投影装置。

摄影部40和摄影部42使用CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等的图像传感器以电子方式拍摄图像。而且，摄影部40和摄影部42将拍摄的图像转换为信号向控制部22输出。

检测部44检测存在于摄影部40和摄影部42的拍摄范围中的真实物体。检测部44例如在存在于拍摄范围的真实物体中检测与预先登记的形状(例如，人手的形状)匹配的物体。检测部44也可以构成为，即使对于未预先登记的物体，也可以根据像素的明亮度、色彩度、色调的边缘等检测图像中的真实物体的范围(形状和大小)。

测距部46测量距存在于摄影部40和摄影部42的拍摄范围中的真实物体的距离。以佩戴显示装置1的使用者的每只眼睛的位置为基准测量每只眼睛距真实物体的距离。因此，当测距部46测量距离的基准位置与每只眼睛的位置偏离时，以根据该偏离量表示距眼睛位置的距离的方式补正测量部46的测定值。

在本实施例中，摄影部40和摄影部42兼作检测部44和测距部46。即，在本实施例中，通过解析由摄影部40和摄影部42拍摄的图像，检测拍摄范围中的物体。而且，通过比较包括在由摄影部40拍摄的图像中的物体和包括在由摄影部42拍摄的图像中的物体，测量(计算)与物体的距离。

显示装置1也可以具有与摄影部40和摄影部42不同的检测部44。检测部44也可以是使用例如可见光、红外线、紫外线、电波、音波、磁力、静电电容中的至少一个检测存在于拍摄范围中的真实物体的传感器。显示装置1也可以具有与摄影部40和摄影部42不同的测距部 46。测距部46也可以是使用例如可见光、红外线、紫外线、电波、音波、磁力、静电电容中的至少一个检测距存在于拍摄范围中的真实物体的距离的传感器。显示装置1也可以具有如使用TOF (Time-of-Flight，飞行时间)法的传感器那样可以兼作检测部44和测距部46的传感器。

控制部22具有作为运算装置的CPU(Central Processing Unit)和作为存储装置的存储器，通过使用这些硬件资源执行程序来实现各种功能。具体地，控制部22读取存储部24中存储的程序和数据且加载至存储器，使CPU执行包括在加载至存储器的程序中的命令。而且，控制部22根据由CPU执行的命令的执行结果，对存储器和存储部24 进行数据的读写、或控制显示部32a等的动作。当CPU执行命令时，加载至存储器的数据和通过检测部44检测的操作作为参数或判断条件的一部分所使用。

存储部24由闪存等具有非易失性的存储装置构成，存储各种程序和数据。存储部24中存储的程序包括控制程序24a。存储部24中存储的数据包括对象数据24b、作用数据24c和假想空间数据24d。存储部24也可以通过组合存储卡等便携型存储介质和对存储介质进行读写的读写装置构成。在这种情况下，控制程序24a、对象数据24b、作用数据24c和假想空间数据24d也可以存储在存储介质中。另外，控制程序24a、对象数据24b、作用数据24c和假想空间数据24d也可以通过无线通信或有线通信从服务器装置等的其他装置获得。

控制程序24a提供与用于使显示装置1运转的各种控制相关的功能。在控制程序24a提供的功能中包括将三维对象重叠在摄影部40和摄影部42获得的图像上并在显示部32a和显示部32b中显示的功能，检测对三维对象的操作的功能，根据检测到的操作使三维对象变化的功能等。

控制程序24a包括检测处理部25、显示对象控制部26和图像合成部27。检测处理部25提供用于检测存在于摄影部40和摄影部42 的拍摄范围中的真实物体的功能。检测处理部25提供的功能中包括测量距检测到的各个物体的距离的功能。

显示对象控制部26提供用于管理在假想空间中配置什么样的三维对象，各个三维对象处于什么样的状态的功能。显示对象控制部26 提供的功能中包括根据通过检测处理部25的功能所检测的真实物体的动作检测对三维对象的操作，并根据检测到的操作使三维对象变化的功能。

图像合成部27提供用于通过合成真实空间的图像和假想空间的图像来生成在显示部32a中显示的图像和在显示部32b中显示的图像。图像合成部27提供的功能包括：根据通过检测处理部25的功能而测量的距真实物体的距离和从在假想空间中的视点到三维对象的距离，判断真实物体和三维对象的前后关系，调整重叠的功能。

对象数据24b包括关于三维对象的形状和性质的信息。对象数据 24b用于显示三维对象。作用数据24c包括关于对显示的三维对象的操作如何作用于三维对象的信息。当检测到对显示的三维对象的操作时，作用数据24c用于判断使三维对象如何变化。这里所说的变化包括移动、旋转、变形、消失等。假想空间数据24d保持与配置在假想空间中的三维对象的状态相关的信息。三维对象的状态包括例如位置、姿势、变形的状况等。

接着，参考图7，说明根据控制程序24a提供的功能进行控制的实施例。图7是示出根据控制程序提供的功能进行控制的实施例的图。图像P1a是由摄影部40获得的图像，即，相当于用右眼看真实空间的情景的图像。图像P1a中映现出桌子T1和使用者的手H1。显示装置 1还获得通过摄影部42拍摄相同场景的图像，即，相当于用左眼看真实空间的情景的图像。

图像P2a是根据假想空间数据24d和对象数据24b生成的右眼用的图像。在本实施例中，假想空间数据24d保持与存在于假想空间中的块状三维对象BL1的状态相关的信息，对象数据24b保持与三维对象BL1的形状和性质相关的信息。显示装置1根据这些信息再现假想空间，生成以右眼的视点看再现的假想空间的图像P2a。根据预定规则确定在假想空间中的右眼(视点)的位置。同样地，显示装置1也生成以左眼的视点看再现的假想空间的图像。也就是说，显示装置1 还通过与图像P2a结合生成以三维方式显示三维对象BL1的图像。

显示装置1在图7示出的步骤S1中合成图像P1a和图像P2a，生成图像P3a。图像P3a是作为右眼用的图像在显示部32a中显示的图像。此时，显示装置1以使用者右眼的位置为基准，判断位于摄影部 40的拍摄范围中的真实物体和存在于假想空间中的三维对象BL1的前后关系。而且，当真实物体与三维对象BL1重叠时，调整重叠以使得可以从前面看到更靠近使用者的右眼的物体。

按真实物体与三维对象BL1重叠的图像上的区域中每个预定大小的范围(例如，每一个像素)进行上述重叠的调整。因此，按图像上的每个预定大小的范围测量从在真实空间中视点到真实物体的距离。而且，考虑三维对象的位置、形状、姿态等，按图像上的每个预定大小的范围计算在假想空间中视点到三维对象BL1的距离。

在图7示出的步骤S1的场景中，三维对象BL1在假想空间中被配置在相当于桌子T1在真实空间存在的位置的正上方的位置。而且，在图7示出的步骤S1的场景中，使用者的手H1与三维对象BL1以使用者的右眼位置为基准在大致相同的方向存在于大致相同的距离处。因此，通过按每个预定大小的范围调整重叠，使得在合成后的图像P3a 中，在手H1和三维对象BL1重叠的区域之中，在相当于手H1的大拇指的部分处手H1露在前面，在其他部分处三维对象BL1露在前面。而且，在桌子T1和三维对象BL1重叠的区域处，三维对象BL1露在前面。

通过上述的重叠调整，在图7示出的步骤S1中，获得好像三维对象BL1被置于桌子T1上并且使用者用手H1抓住三维对象BL1的图像P3a。显示装置1通过相同的处理合成由摄影部42拍摄的图像与从左眼的视点看假想空间的图像，生成在显示部32b中显示的图像以作为左眼用图像。当生成左眼用的图像时，以使用者的左眼位置为基准调整真实物体和三维对象BL1的重叠。

显示装置1在显示部32a和显示部32b中显示如上述生成的合成图像。结果，使用者可以看到好像三维对象BL1被置于桌子T1上，用自己的手H1抓住三维对象BL1的情景。

在图7示出的步骤S1的场景中，使用者将手H1向箭头A1的方向移动。在这种情况下，在图7示出的步骤S2的场景中，由摄影部 40获得的图像变化为手H1的位置向右移动后的图像P1b。而且，显示装置1将手H1的动作判断为以抓住三维对象的状态直接向右移动的操作，根据操作，将在假想空间中的三维对象的位置向右移动。假想空间中的三维对象的移动反映到假想空间数据24d中。结果，根据假想空间数据24d和对象数据24b生成的右眼用的图像变化为三维对象BL1的位置向右移动后的图像P2b。下文详细叙述由显示装置1进行的操作的检测。

显示装置1合成图像P1b和图像P2b并生成右眼用的图像P3b。与图像P3a相比，图像P3b是如同使用者在桌子T1上更靠右侧的位置用手H1抓住三维对象BL1的图像。显示装置1同样地生成左眼用的合成图像。而且，显示装置1在显示部32a和显示部32b中显示如上述生成的合成图像。结果，使用者可以看到好像用自己的手H1抓住三维对象BL1向右移动的情景。

以与通常的动画帧率相同的频率(例如，每秒30次)进行上述显示用的合成图像更新。结果，显示装置1显示的图像大致上实时地反映根据使用者的操作的三维对象BL1的变化，使用者可以好像实际存在那样协调地操作三维对象BL1。而且，在本实施例的构造中，操作三维对象BL1的使用者的手H1无需处于使用者的眼睛与显示部32a 和显示部32b之间，因此，使用者可以在不担心三维对象BL1的显示被手遮挡的情况下进行操作。

接着，参考图8至图14更详细地说明图6示出的对象数据24b 和作用数据24c。图8是示出存储在对象数据24b中的信息的一个实施例的图。图9至图14是示出存储在作用数据24c中的信息的一个实施例的图。

如图8所示，在对象数据24b中按每个三维对象存储包括种类、形状信息、颜色、透明度等的信息。种类表示三维对象的物理性质。种类例如是“刚体”、“弹性体”等的值。形状信息是表示三维对象形状的信息。形状信息例如是构成三维对象的面的顶点坐标的集合。颜色是三维对象表面的颜色。透明度是三维对象允许光穿过的程度。对象数据24b可以保持关于多个三维对象的信息。

在图9至图14示出的实施例中，在作用数据24c中按每种三维对象存储与检测到按压操作的情况的变化相关的信息。如图9所示，当三维对象的种类是“刚体”时，检测到按压操作的情况的变化根据有无支点、有无在按压方向上的障碍物和按压速度而不同。这里所说的障碍物可以是其他三维对象，也可以是真实的物体。另外，根据阈值判断按压速度的快慢。

当三维对象没有支点并且在按压方向上没有障碍物时，三维对象被显示为根据按压量向按压方向移动。如上述显示的三维对象例如是积木、钢笔、书。对于移动方式，可以根据三维对象的形状确定是滑动还是旋转。另外，对于三维对象是与按压的物体一起移动，还是像由按压的物体弹开一样远离该物体移动，可以根据按压速度确定，也可以根据三维对象与底面的摩擦阻力的计算值或设定值确定。

当三维对象没有支点并且在按压方向上存在被固定的障碍物时，三维对象被显示为根据按压量向按压方向移动，在与障碍物接触时停止移动。如上述显示的三维对象例如是积木、钢笔、书。当按压速度快时，也可以设定三维对象破坏障碍物并继续移动。另外，当三维对象像由按压的物体弹开一样远离该物体移动期间接触障碍物时，也可以使三维对象以弹回的方式向反方向移动。

当三维对象没有支点，在按压方向上存在未固定的其他刚体，并且按压速度慢时，三维对象被显示为根据按压量向按压方向移动，当与其他刚体接触后，与其他刚体一起移动。另外，当三维对象没有支点，在按压方向上存在未固定的其他刚体，并且按压速度快时，三维对象被显示为根据按压量向按压方向移动。然后，当三维对象与其他刚体接触后，其他刚体被显示为被弹开而移动。三维对象与其他刚体接触后，也可以在当时停止，也可以降低速度继续移动。如上述显示的三维对象与其他刚体的组合例如是保龄球和保龄球瓶的组合，或弹球的组合。

当三维对象没有支点，在按压方向上存在未固定的其他刚体，但是其他刚体可以挤过时，三维对象被显示为根据按压量向按压方向移动，当与其他刚体接触后，挤过其他刚体而继续移动。现实中刚体不会挤过刚体，但是通过使上述挤过成为可能，可以向使用者提供崭新的体验。如上述显示的三维对象与其他刚体的组合例如是保龄球和保龄球瓶的组合，或弹球的组合。设定按压速度的阈值，当按压速度在阈值以下时，三维对象也可以不挤过其他刚体。

当三维对象有支点时，三维对象被显示为根据按压方向和按压量以支点为中心旋转。这里所说的旋转可以是以360度一圈圈的旋转，也可以是在预定旋转范围内的往复转动。如上述显示的三维对象例如是摆动件、拳击沙袋、风车。

另外，如图10所示，当三维对象的种类是“弹性体”时，检测到按压操作时的三维对象的变化根据材质、有无变化量的限制和按压速度而不同。这里所说的材质是三维对象假设的材质，在对象数据24b 中定义。

当三维对象的材质是橡胶，变化量没有限制，并且按压速度慢时，三维对象被显示为根据按压量向按压方向变形，当从按压状态释放时返回初始形状。另外，当三维对象的材质是橡胶，变化量没有限制，并且按压速度快时，三维对象被显示为根据按压量向按压方向变形，之后被弹开，一边返回初始形状一边向按压方向移动。如上述显示的三维对象例如是橡胶球、橡皮。

当三维对象的材质是橡胶，变化量有限制时，三维对象被显示为根据按压量向按压方向变形到可以变形的范围为止，如果检测到之后还有按压操作，则一边返回初始形状一边向按压方向移动。如上述显示的三维对象例如是橡胶球、橡皮。

当三维对象的材质是金属时，三维对象被显示为根据按压量向按压方向变形到可以变形的范围为止，如果从按压状态释放则在返回原始形状或变形之间反复(振动)。当向可以变形的方向之外的方向按压时，三维对象与刚体一样地移动。如上述显示的三维对象例如是板簧、螺旋弹簧。

另外，如图11所示，当三维对象的种类是“塑性体”时，三维对象被显示为被按压处凹陷而整体形状变化。如上述显示的三维对象例如是粘土。

另外，如图12所示，当三维对象的种类是“液体”时，检测到按压操作时的变化根据按压速度而不同。当按压速度慢时，显示为按压物体浸在三维对象中，也就是浸在液体中。当按压速度是中等速度时，显示为按压物体浸在液体中，并且波纹在液体中扩大。当按压速度快时，显示为按压物体浸在液体中，并且溅起水花。如上述显示的三维对象例如是装入杯中的水。

另外，如图13所示，当三维对象的种类是“气体”时，检测到按压操作时的变化根据按压速度而不同。当按压速度慢时，显示为三维对象(也就是气体)被按压物体遮断而向周围漂浮。当按压速度是中等速度时，显示为气体被按压物体打乱。当按压速度快时，显示为在按压物体移动方向的后侧因紊流在气体中产生漩涡。如上述显示的三维对象例如是烟。

另外，如图14所示，当三维对象的种类是“集合体”时，检测到按压操作时的变化根据集合体要素的结合状况而不同。当集合体的要素没有结合时，三维对象被显示为被按压处凹陷并且集合体的整体形状变化。如上述显示的三维对象例如是沙子、砂糖。

当集合体的要素被结合时，三维对象被显示为被按压处凹陷并且集合体的整体形状变化。而且，被按压处以外的要素被显示为由被按压处的要素拉拽并移动。如上述显示的三维对象例如是锁。

当集合体的要素没有结合，但是与按压物体之间有引力或斥力作用时，三维对象被显示为即使不与按压物体接触也移动。当与按压物体之间有引力作用时，三维对象即使不与按压物体接触，如果距按压物体在预定距离之内，则也被按压物体吸引。另外，当与按压物体之间有斥力作用时，三维对象即使不与按压物体接触，如果距按压物体在预定距离之内，则也远离按压物体。如上述显示的三维对象与按压物体的组合例如是铁粉和磁铁的组合。

这样，基于在对象数据24b存储的信息和在作用数据22c中存储的信息，使三维对象进行变化，从而根据按压操作，使三维对象进行多样的变化。对象数据24b和作用数据22c中存储的信息并不限于以上示例，也可以根据用途等进行合适的变更。例如，根据按压物体的种类和大小、或按压物体与三维对象的接触面积的大小，来设定变换三维对象的变化方式。

下面，参考图15和图16说明检测按压三维对象的操作和根据所检测到的操作变化三维对象。在下文的说明中，将佩戴了显示装置1 的使用者看到的空间称为显示空间。显示装置1通过提供与使用者的右眼和左眼分别对应的图像，可以在显示空间中以三维方式(立体地) 显示真实物体和三维对象。显示装置1根据预定规则将基于假想空间数据24d再现的假想空间和由摄影部40和42拍摄的真实空间建立对应，并将这些空间重叠的空间作为显示空间显示。

图15和图16用于说明按压三维对象的操作的检测和根据所检测到的操作三维对象的变化。在图15示出的步骤S11中，显示装置1 在显示空间50中立体显示三维对象OB1。三维对象OB1例如是模仿球的对象。另外，在步骤S11中，显示支撑三维对象OB1的底面B1。

在步骤S12中，使用者将手指F1放在与三维对象OB1接触的位置，保持静止不动。当显示装置1在显示空间中检测到真实物体，并且该物体保持与三维对象OB1接触的状态持续了预定时间以上时，判断选择了三维对象OB1作为操作对象。而且，显示装置1改变三维对象OB1的显示方式等，向使用者通知三维对象OB1被选择为操作对象。

根据在真实空间中的物体位置、以及三维对象OB1的形状、姿势、在假想空间中的位置等，进行物体是否与三维对象OB1接触的判断。也可以根据上述预定规则，将一方的空间位置换算为另一方的空间位置，来比较真实空间中的位置和假想空间中的位置，也可以将双方的空间位置换算为比较用的空间位置来比较真实空间中的位置和假想空间中的位置。当检测到手指作为真实物体时，也可以将手指尖的位置作为物体位置处理。由于人在操作某物时多使用手指尖，因此通过将手指尖的位置作为物体位置处理，可以向使用者提供更自然的操作感。

另外，通过例如改变三维对象OB1的整体颜色、或改变三维对象 OB1的表面中与物体接触的位置附近的颜色，实现选择为操作对象的通知。显示装置1也可以通过声音或振动进行通知，来代替上述视觉的通知，或者进行上述视觉的通知和声音或振动的通知。

这样，当显示装置1检测到手指等真实物体与三维对象OB1接触的状态持续预定时间以上时，判断选择了三维对象OB1作为操作对象。通过附加检测接触状态是否持续预定时间以上作为条件，使得例如在移动手指以操作其他三维对象的过程中，可以降低选择不想选的三维对象作为操作对象的可能性。

选择三维对象OB1作为操作对象之后，如步骤S13所示，使用者使手指F1进入三维对象OB1的内侧以按压三维对象OB1。当显示装置1检测到使物体进入作为操作对象所选择的三维对象中的操作时，根据操作使三维对象变化。根据对象数据24b中定义的三维对象种类和作用数据24c中对应该种类定义的变化规则，来确定使三维对象怎样变化。

例如，在对象数据24b中定义三维对象OB1为弹性体，在作用数据24c中定义当弹性体被按压时根据按压量向按压方向变形。在这种情况下，如步骤S14所示，显示装置1使三维对象OB1以手指F1进入的部分被按压而凹陷的方式进行变化。

另外，在对象数据24b中定义三维对象OB1为刚体，在作用数据 24c中定义当刚体被按压时根据按压量向按压方向移动。在这种情况下，如图16的步骤S15所示，显示装置1以三维对象OB1好像被手指F1按压一样使三维对象OB1向手指F1的前进方向移动。在图16 的步骤S15中，由于三维对象OB1被底面B1支撑，因此沿着刚体被施加的力在与底面B1水平方向上的分力而进行移动。

这样，当检测到按压三维对象的操作时，根据对象数据24b和作用数据24c使三维对象OB1变化，从而可以根据操作使三维对象进行各种变化。所谓按压操作是在现实世界的各种情况下使用的操作，通过检测按压三维对象OB1的操作并进行对应的处理，可以实现直观且便利性高的操作性。

用于操作三维对象的物体不限于手指，也可以是手、脚、棒、器械等。根据按压操作使三维对象变化的方式可以遵循真实的物理法则，也可以是现实中无法实现的方式。

显示装置1也可以将检测对三维对象的操作的空间限定为可操作范围51。可操作范围51可以例如是佩戴显示装置1的使用者的手可以够到的范围。这样，通过限定检测对三维对象的操作的空间，可以降低显示装置1用于检测操作所进行的计算处理的负荷。

下面，参考图17和图18说明显示装置1关于按压三维对象的操作进行的处理顺序的第一实施例。图17是示出三维对象的接触检测处理的处理顺序的流程图。图17示出的处理顺序通过控制部22执行控制程序24a而实现。

如图17所示，首先，作为步骤SA01，控制部22合成包括三维对象的假想空间图像和真实空间图像。

接着，作为步骤SA02，控制部22判断由检测部44(也就是摄影部40和摄影部42)是否检测到预定物体。预定物体例如是使用者的手指。当未检测到预定物体时(步骤SA02“否”的情况)，作为步骤 SA08，控制部22判断是否检测到操作结束。

例如当对操作部13进行了预定的操作时检测到操作结束。当检测到操作结束时(步骤SA08“是”的情况)，控制部22结束接触检测处理。当未检测到操作结束时(步骤SA08“否”的情况)，控制部22 再次从步骤SA02执行。

当检测到预定物体时(步骤SA02“是”的情况)，作为步骤SA03，控制部22判断预定物体的种类。例如根据由摄影部40和42拍摄到的图像中的物体尺寸、形状、颜色等确定预定物体的种类。接着，作为步骤SA04，控制部22寻找与预定物体接触的三维对象。当没有与预定物体接触的三维对象时(步骤SA05“否”的情况)，控制部22进入步骤SA08。

当发现与预定物体接触的三维对象时(步骤SA05“是”的情况)，作为步骤SA06，控制部22根据对象数据24b判断与预定物体接触的三维对象的种类。然后，作为步骤SA07，控制部22执行后述的操作检测处理。之后，控制部22进入步骤SA08。

图18是示出操作检测处理的处理顺序的流程图。图18示出的处理顺序通过控制部22执行控制程序24a而实现。

如图18所示，首先，作为步骤SB01，控制部22获得预定物体与三维对象的接触时间。然后，作为步骤SB02，控制部22判断预定物体是否移动至三维对象的内部。当预定对象未移动至三维的内部时(步骤SB02“否”的情况)，控制部22再次从步骤SB01执行。

当预定对象移动至三维的内部时(步骤SB02“是”的情况)，作为步骤SB03，控制部22判断接触时间是否在预定时间以上。当接触时间比预定时间短时(步骤SB03“否”的情况)，由于判断该三维对象不是操作对象，因此控制部22结束操作检测处理。

当接触时间在预定时间以上时(步骤SB03“是”的情况)，作为步骤SB04，控制部22计算预定物体的速度。然后，作为步骤SB05，控制部22根据预定物体的种类、位置和速度以及三维对象的种类等使三维对象变化。根据作用数据24c确定具体的变化方式。

接着，作为步骤SB06，控制部22判断预定物体是否移动至三维对象的外部。当预定物体未移动至三维对象的外部时，也就是按压操作继续时(步骤SB06“否”的情况)，控制部22再次从步骤SB04执行。

当预定物体移动至三维对象的外部时，也就是三维对象被释放时 (步骤SB06“是”的情况)，作为步骤SB07，控制部22判断三维对象的变化是否继续。例如，如果在作用数据24c中定义释放后也持续预定时间的振动，则判断三维对象的变化继续。

当三维对象的变化继续时(步骤SB07“是”的情况)，作为步骤 SB08，控制部22使三维对象变化，之后再次从步骤SB07执行。当三维对象的变化不继续时(步骤SB07“否”的情况)，控制部22结束按压操作检测处理。

如上所述，在第一实施例中，根据按压操作使三维对象进行各种变化，由此，可以向使用者提供便利性高的操作方法。

说明关于按压三维对象的操作的处理顺序的第二实施例。在第二实施例中的接触检测处理与在第一实施例中的接触检测处理相同。因此，对于第二实施例，省略与第一实施例重复的说明，主要说明操作检测处理。

首先，参考图19说明检测按压三维对象的操作和根据所检测到的操作变化三维对象。图19是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的图。在图19示出的步骤S21中，使用者用手指F1与三维对象OB1接触，在步骤S22中，使用者使手指F1 进入三维对象OB1的内侧。

当显示装置1在显示空间中检测到真实物体，并且该物体与三维对象OB1接触后向三维对象OB1的内部移动的状态持续了预定时间以上时，判断选择了三维对象OB1作为操作对象。而且，显示装置1 改变三维对象OB1的显示方式等，向使用者通知选择了三维对象OB1作为操作对象。而且，如步骤S23所示，显示装置1使三维对象OB1 好像在步骤S21的阶段已经被选择为按压操作的对象一样，根据由接触检测以后的手指F1进行的操作而变化。

这样，在检测到物体和三维对象接触后，通过使得即使物体不留在该处也可以检测按压操作，从而使用者可以迅速开始按压三维对象的操作。另外，通过附加接触后物体向三维对象OB1的内部移动的状态持续预定时间以上作为条件，使得例如在移动手指以操作其他三维对象的过程中，可以降低选择不想选的三维对象作为操作对象的可能性。

接着，参考图20说明第二实施例中的操作检测处理的处理顺序。图20是示出操作检测处理的处理顺序的流程图。图20示出的处理顺序通过控制部22执行控制程序24a而实现。接触检测处理的处理顺序和图17示出的顺序相同。

如图20所示，首先，作为步骤SC01，控制部22判断预定物体是否移动至三维对象的内部。当预定对象未移动至三维的内部时(步骤 SC01“否”的情况)，由于判断该三维对象不是操作对象，因此控制部22结束操作检测处理。

当预定对象移动至三维的内部时(步骤SC01“是”的情况)，作为步骤SC02，控制部22判断从检测到接触所经过的时间是否在预定时间以上。当所经过的时间比预定时间短时(步骤SC02“否”的情况)，控制部22再次从步骤SC01执行。

当经过时间在预定时间以上时(步骤SC02“是”的情况)，作为步骤SC03，控制部22计算预定物体的速度。然后，作为步骤SC04，控制部22根据预定物体的种类、位置和速度以及三维对象的种类等使三维对象变化。根据作用数据24c确定具体的变化方式。

接着，作为步骤SC05，控制部22判断预定物体是否移动至三维对象的外部。当预定物体未移动至三维对象的外部时，也就是按压操作继续时(步骤SC05“否”的情况)，控制部22再次从步骤SC03执行。

当预定物体移动至三维对象的外部时，也就是三维对象被释放时 (步骤SC05“是”的情况)，作为步骤SC06，控制部22判断三维对象的变化是否继续。例如，如果在作用数据24c中定义释放后也持续预定时间的振动，则判断三维对象的变化继续。

当三维对象的变化继续时(步骤SC06“是”的情况)，作为步骤 SC07，控制部22使三维对象变化，之后再次从步骤SC06执行。当三维对象的变化不继续时(步骤SC06“否”的情况)，控制部22结束操作检测处理。

如上所述，在第二实施例中，即使手指等物体与三维对象接触的状态不持续预定时间以上，按压操作也被识别，因此使用者可以迅速开始按压三维对象的操作。

说明关于按压三维对象的操作的处理顺序的第三实施例。在第三实施例中的接触检测处理与在第一实施例中的接触检测处理相同。因此，对于第三实施例，省略与第一实施例重复的说明，主要说明操作检测处理。

首先，参考图21和图22说明检测按压三维对象的操作和根据所检测到的操作变化三维对象。图21和图22是用于说明检测按压三维对象的操作和根据所检测到的操作变化三维对象的图。在图21示出的步骤S31中，在显示空间中立体地显示三维对象OB1。另外，使用者用手指F1与三维对象OB1接触。

这里，使用者使手指F1进入三维对象OB1的内侧。当显示装置 1检测到与三维对象OB1接触的物体移动到三维对象OB1的内侧时，如步骤S32所示，从该时间根据手指F1进行的操作使三维对象OB1 变化。在图21示出的实施例中，在步骤S32中，三维对象OB1开始配合手指F1的移动而移动。

然后，如步骤S33所示，显示装置1在手指F1朝三维对象OB1 的内侧的移动持续了预定时间以上的阶段，确定三维对象OB1作为操作对象。然后，显示装置1改变三维对象OB1的显示方式等，向使用者通知确定三维对象OB1作为操作对象。之后，在检测到手指F1向三维对象OB1的内侧移动期间，显示装置1持续使三维对象OB1变化。

如图22的步骤S34所示，当经过预定时间之前检测不到手指F1 向三维对象OB1的内侧移动时，显示装置1对三维对象OB1施加与在当时施加的变化相反的变化。结果，在与步骤S31的阶段相同的位置以相同的状态显示三维对象OB1。对三维对象OB1施加相反变化的速度也可以比当时对三维对象OB1施加变化的速度快。即，也可以如高速倒放一样使三维对象OB1做相反变化。

这样，通过从检测到物体向三维对象的内侧进入的阶段开始对三维对象施加变化，使得使用者可以在选择确定前意识到正在选择三维对象。结果，使用者可以提前知道是否选择了想选的三维对象。当选择了不想选的三维对象时，使用者可以通过在经过预定时间前终止操作使得不想选择的三维对象返回初始状态。

手指F1向三维对象OB1内侧的移动持续预定时间以上为止，也可以通过以与通常状态和确定选择作为操作对象后的状态不同的方式 (例如半透明)显示被施加变化的三维对象。通过如上述变更显示方式，使得使用者易于判断三维对象的状态。

接着，参考图23说明在第三实施例中的操作检测处理的处理顺序。图23是示出操作检测处理的处理顺序的流程图。图23示出的处理顺序通过控制部22执行控制程序24a而实现。接触检测处理的处理顺序与图21示出的顺序相同。

如图23所示，首先，作为步骤SD01，控制部22判断预定物体是否移动至三维对象的内部。当预定物体未移动至三维对象的内部时(步骤SD01“否”的情况)，由于判断该三维对象不是操作对象，因此控制部22结束操作检测处理。

当预定物体移动至三维对象的内部时(步骤SD01“是”的情况)，作为步骤SD02，控制部22计算预定物体的速度。然后，作为步骤SD03，控制部22根据预定物体的种类、位置和速度以及三维对象的种类等来变化三维对象。根据作用数据24c确定具体的变化方式。

接着，作为步骤SD04，控制部22判断从接触检测开始的经过时间是否在预定时间以上。当经过时间比预定时间短时，也就是未确定三维对象作为按压操作的对象时(步骤SD04“否”的情况)，作为步骤SD05，控制部22判断预定物体是否继续向三维对象的内部方向移动。

当继续向三维对象的内部方向移动时(步骤SD05“是”的情况)，控制部22再次从步骤SD02执行。当未继续向三维对象的内部方向移动时(步骤SD05“否”的情况)，作为步骤SD06，控制部22使三维对象进行相反的变化而返回初始状态。而且，控制部22结束操作检测处理。

当从接触检测开始的经过时间在预定时间以上时(步骤SD04“是”的情况)，作为步骤SD07，控制部22判断预定物体是否移动至三维对象的外部。当预定物体未移动至三维对象的外部时，也就是按压操作继续时(步骤SD07“否”的情况)，控制部22再次从步骤SD02执行。

当预定物体移动至三维对象的外部时，也就是三维对象被释放时 (步骤SD07“是”的情况)，作为步骤SD08，控制部22判断三维对象的变化是否继续。例如，如果在作用数据24c中定义释放后也持续预定时间的振动，则判断三维对象的变化继续。

当三维对象的变化继续时(步骤SD08“是”的情况)，作为步骤 SD09，控制部22使三维对象变化，之后再次从步骤SD08执行。当三维对象的变化不继续时(步骤SD08“否”的情况)，控制部22结束操作检测处理。

如上所述，在第三实施例中，由于从检测到按压操作时开始根据操作变化三维对象，因此使用者易于识别作为按压操作对象的三维对象。

作为三维对象的相关操作，虽然说明了按压三维对象的操作，但是显示装置1关于三维对象检测的操作不限于按压操作。显示装置1 也可以检测使用者抓住三维对象进行的操作。下文说明抓住三维对象进行的操作。

参考图24说明检测抓住三维对象进行的操作。图24是用于说明检测抓住三维对象进行的操作的图。在图24示出的步骤S41中，在显示空间50中立体地显示三维对象OB1。

这里，设定使用者抓住三维对象OB1想进行一些操作。为了抓住三维对象OB1进行一些操作，首先需要选择三维对象OB1作为操作对象。如步骤S42所示，为了选择三维对象OB1，使用者移动手指F1 和手指F2以使得三维对象OB1位于手指F1和手指F2之间，并保持该状态持续预定时间以上。

当显示装置1在显示空间中检测到2个真实物体，并且三维对象 OB1位于该2个物体之间的状态持续了预定时间以上时，判断选择了三维对象OB1作为操作对象，将三维对象OB1设为选择状态。而且，显示装置1改变三维对象OB1的显示方式等，向使用者通知选择了三维对象OB1作为操作对象。

根据在真实空间中的2个物体的位置和三维对象OB1的形状、姿势、在假想空间中的位置等进行三维对象OB1是否位于2个物体之间的判断。可以根据上述预定规则将一方的空间位置换算为另一方的空间位置来比较真实空间中的位置和假想空间中的位置，也可以将双方的空间位置换算为比较用的空间位置来比较真实空间中的位置和假想空间中的位置。当检测到手指作为真实物体时，也可以将手指尖的位置作为物体位置处理。

这样，显示装置1在检测到三维对象OB1位于手指等真实物体之间的状态持续了预定时间以上时，判断选择了三维对象OB1。配置手指以使得在手指之间夹住三维对象OB1的操作与人为了选择真实空间的某物而抓住该物的操作类似。因此，上述操作作为用于选择三维对象的操作直观易懂。另外，通过附加检测状态是否持续预定时间以上作为条件，使得例如在移动手指以操作其他三维对象的过程中，可以降低选择不想选的三维对象作为操作对象的可能性。

显示装置1在判断三维对象OB1成为选择状态后，根据手指F1 和手指F2的动作对三维对象OB1施加移动、变形、消失等变化。

接着，参考图25和图26说明显示装置1关于抓住三维对象进行的操作进行的处理顺序的第一实施例。图25是示出三维对象的选择检测处理的处理顺序的流程图。图25示出的处理顺序通过控制部22执行控制程序24a而实现。

如图25所示，首先，作为步骤SE01，控制部22合成包括三维对象的假想空间图像和真实空间图像并使其显示。

接着，作为步骤SE02，控制部22判断由检测部44(也就是摄影部40和摄影部42)是否检测到第一物体和第二物体。第一物体和第二物体是真实物体，例如使用者的手指。当未检测到第一物体和第二物体时(步骤SE02“否”的情况)，作为步骤SE10，控制部22判断是否检测到操作结束。

例如当对操作部13进行了预定操作时检测到操作结束。当检测到操作结束时(步骤SE10“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤SE10“否”的情况)，控制部22再次从步骤SE02执行。

当检测到第一物体和第二物体时(步骤SE02“是”的情况)，作为步骤SE03，控制部22从显示的三维对象之中寻找在第一物体和第二物体之间显示的三维对象。当没有符合的三维对象时(步骤SE04 “否”的情况)，控制部22进入步骤SE10。

当找到在第一物体和第二物体之间显示的三维对象时(步骤SE04 “是”的情况)，作为步骤SE05，控制部22获得三维对象位于第一物体和第二物体之间的时间。当获得的时间未达到预定时间时(步骤SE06“否”的情况)，控制部22进入步骤SE10。

当获得的时间在预定时间以上时(步骤SE06“是”的情况)，作为步骤SE07，控制部22计算第一物体和第二物体的距离。另外，作为步骤SE08，控制部22将在第一物体和第二物体之间显示的三维对象设置为选择状态。然后，作为步骤SE09，控制部22进行后述的操作检测处理，其中，根据检测到的操作使处于选择状态的三维对象变化。在操作检测处理结束后，控制部22进入步骤SE10。

图26是示出操作检测处理的处理顺序的流程图。图26示出的处理顺序通过控制部22执行控制程序24a而实现。

如图26所示，首先，作为步骤SF01，控制部22计算第一物体和第二物体的距离。然后，作为步骤SF02，控制部22判断操作检测处理开始之后的第一物体和第二物体的距离是否大致固定。所谓距离大致固定是指例如当时第一物体和第二物体的距离变化量与操作检测处理开始时的距离相比在预定范围(第一物体和第二物体在通常速度下移动时的距离最大变化量的±10％等)之内。另外，当第一物体和第二物体的距离在操作检测处理开始后持续缩小时(第一物体和第二物体向挤压三维对象的方向移动时)，也可以判断为距离大致固定。另外，二者的距离只在手抖动的范围中变化时，也可以判断为距离大致固定。

当第一物体和第二物体的距离大致固定时(步骤SF02“是”的情况)，作为步骤SF03，控制部22计算第一物体和第二物体的移动速度。接着，作为步骤SF04，控制部22判断计算出的移动速度是否在阈值以下。这里所使用的阈值例如是人抛出物体时手指尖的移动速度。另外，与阈值比较的移动速度也可以是第一物体的移动速度和第二物体的移动速度的平均值，也可以是快的任一方，也可以是慢的任一方。

当移动速度在阈值以下时(步骤SF04“是”的情况)，作为步骤 SF05，控制部22根据检测到的第一物体和第二物体的动作对三维对象施加变化。例如，当检测到第一物体和第二物体向右方移动时，控制部22配合第一物体和第二物体的移动将三维对象向右方移动。另外，当检测到第一物体和第二物体逆时针旋转时，控制部22配合第一物体和第二物体的旋转将三维对象逆时针旋转。在同时检测到移动和旋转时，则同时进行移动和旋转。当存在三维对象移动和旋转的障碍物时，也可以在三维对象与障碍物接触时使三维对象的移动和旋转停止。障碍物可以是真实物体，也可以是其他三维对象。然后，控制部 22再次从步骤SF01执行。

当移动速度比阈值快时(步骤SF04“否”的情况)，作为步骤SF06，控制部22消除三维对象。在消除三维对象时，也可以以三维对象向第一物体和第二物体的移动方向快速移动的方式进行动画显示。然后，控制部22结束操作检测处理。这样，通过以抛出三维对象的方式在第一物体和第二物体高速移动时消除三维对象，可以通过直观的操作实现消除三维对象。除了以高速移动第一物体和第二物体的操作，例如也可以将攥碎三维对象作为消除三维对象的操作。另外，也可以使三维对象返回初始配置位置代替消除三维对象。显示装置1也可以不执行步骤SF03、SF04和SF06的处理。也就是说，显示装置1在步骤 SF02中判断第一物体和第二物体的距离是否大致固定时，无论2个物体的移动速度如何都可以执行步骤SF05。

当第一物体和第二物体的距离不是大致固定时(步骤SF02“否”的情况)，作为步骤SF07，控制部22判断与选择三维对象时(也就是开始操作检测处理时)相比距离是否扩大。当距离扩大时(步骤SF07 “是”的情况)，作为步骤SF08，控制部22解除三维对象的选择状态。扩大第一物体和第二物体的距离的操作与将抓住的真实对象放开的操作类似。因此，作为用于解除三维对象的选择的操作，上述操作直观易懂。

接着，作为步骤SF09，控制部22使解除了选择状态的三维对象遵循重力等移动。然后，控制部22结束操作检测处理。这里的移动显示为例如三维对象遵循重力下落并在地板或桌子上停止。使三维对象的动作停止之前，也可以根据三维对象的弹性或地板或桌子的硬度，使三维对象反弹。计算三维对象与地板或桌子冲撞时的撞击力度，当撞击比预定值大时也可以显示为三维对象损坏。另外，也可以使三维对象的移动比在实际重力作用下的移动更缓慢。

当与选择三维对象时相比第一物体和第二物体的距离缩小时(步骤SF07“否”的情况)，作为步骤SF10，控制部22根据距离使三维对象变形。然后，控制部22再次从步骤SF01执行。也可以例如根据作为属性对三维对象所设定的弹性来变更使三维对象变形的程度。对于模仿橡胶球的三维对象那样属性被设定为低硬度的对象，控制部22 也可以对应第一物体和第二物体的距离缩小而提高变形的程度。另外，对于模仿积木的三维对象那样属性被设定为高硬度的对象，即使第一物体和第二物体的距离缩小，控制部22也可以保持变形的程度较小。

当与选择三维对象时相比第一物体和第二物体的距离缩小时，显示装置1也可以不使三维对象变形而使其缩小。当第一物体和第二物体的距离在预定值以下时，显示装置1也可以将三维对象显示为损坏。

如上所述，在第一实施例中，设定当三维对象位于手指等物体之间的状态持续了预定时间以上时选择三维对象，因此可以通过直观易懂的操作实现三维对象的选择。

如图27所示，显示装置1也可以将第一物体和第二物体中至少一个与三维对象接触的状态持续预定时间以上作为选择三维对象的条件。通过将与三维对象的接触作为选择条件，使得在多个三维对象被显示为彼此靠近时，使用者容易地选择希望的三维对象。

说明关于抓住三维对象进行的操作的处理顺序的第二实施例。在第二实施例中的操作检测处理与在第一实施例中的操作检测处理相同。因此，对于第二实施例，省略与第一实施例重复的说明，主要说明选择检测处理。

首先参考图28说明检测抓住三维对象进行的操作。图28是用于说明检测抓住三维对象进行的操作的图。在图28示出的步骤S51中，在显示空间中以立体方式显示三维对象OB1。另外，为了选择三维对象OB1，使用者移动手指F1和手指F2以使得三维对象OB1位于手指F1和手指F2之间。

当检测到在显示空间中存在2个真实物体且三维对象OB1位于该 2个物体之间时，显示装置1监视2个物体的距离变化。而且，如果距离大致固定持续预定时间以上，则判断选择了三维对象OB1，将三维对象OB1设为选择状态。而且，显示装置1变更三维对象OB1的显示方式等，向使用者通知三维对象OB1成为选择状态。

在显示装置1监视2个物体的距离变化期间，2个物体无需停留在夹持三维对象OB1的位置。也就是说，使用者如步骤S51所示地移动手指F1和手指F2以使得三维对象OB1位于手指F1和手指F2之间后，也可以不保持该状态，将手指F1和手指F2向其他位置移动。

如步骤S52所示，使用者从步骤S51的状态移动手指F1和手指 F2并保持手指F1和手指F2的距离D1大致固定。在这种情况下，如步骤S53所示，在手指F1和手指F2的距离D1保持大致固定的状态持续了预定时间以上的阶段，显示装置1将三维对象OB1设为选择状态。而且，显示装置1将三维对象OB1好像在步骤S51的阶段已经被选择一样，移动至手指F1和手指F2之间。显示装置1也可以预先存储从步骤S51至步骤S53的手指F1和手指F2的动作，配合预先存储的动作旋转三维对象OB1。之后，显示装置1根据手指F1和手指F2 的动作对三维对象OB1施加移动、变形、消失等变化。

这样，2个物体一旦移动至夹持三维对象的位置后，通过使得物体即使不停留在该处也可以选择三维对象，从而使用者可以迅速开始选择三维对象之后的操作。

接着，参考图29说明在第二实施方式中的选择检测处理的处理顺序。图29是示出三维对象的选择检测处理的处理顺序的流程图。图 29示出的处理顺序通过控制部22执行控制程序24a而实现。

如图29所示，首先，作为步骤SG01，控制部22合成包括三维对象的假想空间图像和真实空间图像并使其显示。接着，作为步骤SG02，控制部22判断由检测部44(也就是由摄影部40和摄影部42)是否检测到第一物体和第二物体。当未检测到第一物体和第二物体时(步骤 SG02“否”的情况)，作为步骤SG14，如果存在处于假定选择状态的三维对象，则控制部22解除该三维对象的假定选择状态。所谓假定选择状态是指：在检测到在2个物体之间显示三维对象的状态之后，监视2个物体的距离是否大致保持固定的状态。

然后，作为步骤SG15，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤SG15“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤SG15“否”的情况)，控制部 22再次从步骤SG02执行。

当检测到第一物体和第二物体时(步骤SG02“是”的情况)，作为步骤SG03，控制部22判断是否存在处于假定选择状态的三维对象。当没有处于假定选择状态的三维对象时(步骤SG03“否”的情况)，作为步骤SG04，控制部22从显示的三维对象之中寻找在第一物体和第二物体之间显示的三维对象。当没有符合的三维对象时(步骤SG05 “否”的情况)，控制部22进入步骤SG15。

当发现在第一物体和第二物体之间显示的三维对象时(步骤SG05 “是”的情况)，作为步骤SG06，控制部22将在第一物体和第二物体之间显示的三维对象设为假定选择状态。接着，作为步骤SG07，控制部22计算第一物体和第二物体的距离。然后，控制部22进入步骤 SG15。

当检测到第一物体和第二物体并且存在处于假定选择状态的三维对象时(步骤SG03“是”的情况)，作为步骤SG08，控制部22计算第一物体和第二物体的距离。接着，作为步骤SG09，控制部22判断距离是否大致固定。当距离不是大致固定时(步骤SG09“否”的情况)，作为步骤SG14，控制部22解除该三维对象的假定选择状态。然后，控制部22进入步骤SG15。

当第一物体和第二物体的距离大致固定时(步骤SG09“是”的情况)，作为步骤SG10，控制部22判断距离保持大致固定的期间是否在预定时间以上。当距离保持大致固定的期间未达到预定时间时(步骤 SG10“否”的情况)，控制部22进入步骤SG15。

当距离保持大致固定的期间在预定时间以上时(步骤SG10“是”的情况)，作为步骤SG11，控制部22将在第一物体和第二物体之间显示的三维对象设定为选择状态。另外，作为步骤SG12，控制部22将三维对象移动至第一物体和第二物体之间。然后，作为步骤SG13，进行上述图26示出的操作检测处理，其中根据检测到的操作使处于选择状态的三维对象变化。操作检测处理结束之后，控制部22进入步骤 SG15。

如上所述，在第二实施例中，当三维对象位于手指等物体之间后，如果物体的距离保持大致固定持续预定时间以上则选择三维对象，因此使用者可以迅速开始选择三维对象之后的操作。

图30是用于说明检测抓住三维对象进行的操作的第二实施例的变形例的图。如图30示出的步骤S61至步骤S63，显示装置1也可以设定选择三维对象的条件为：在第一物体和第二物体之中至少一个与三维对象接触后，第一物体和第二物体的距离保持大致固定持续预定时间以上。通过以与三维对象的接触作为选择条件，使得在多个三维对象被显示为彼此靠近时，使用者容易地选择希望的三维对象。

说明关于抓住三维对象进行的操作的处理顺序的第三实施例。对于第三实施例，省略与第一实施例重复的说明，主要说明选择检测处理和操作检测处理。

首先参考图31和图32说明检测抓住三维对象进行的操作。图31 和图32是用于说明检测抓住三维对象进行的操作的第三实施例的图。在图31示出的步骤S71中，在显示空间中以立体方式显示三维对象 OB1。另外，为了选择三维对象OB1，使用者移动手指F1和手指F2 以使得三维对象OB1位于手指F1和手指F2之间。

当显示装置1在显示空间中检测到存在2个真实物体并且三维对象OB1位于该2个物体之间时，监视这2个物体的距离变化。而且，如果距离大致固定持续预定时间以上，则判断选择了三维对象OB1，将三维对象OB1设为选择状态。而且，显示装置1变更三维对象OB1的显示方式等，向使用者通知三维对象OB1成为选择状态。

在显示装置1监视2个物体的距离变化期间，2个物体无需停留在夹持三维对象OB1的位置。也就是说，使用者如步骤S71所示地移动手指F1和手指F2以使得三维对象OB1位于手指F1和手指F2之间后，也可以不保持该状态，将手指F1和手指F2向其他位置移动。

如步骤S72所示，使用者从步骤S71的状态以保持手指F1和手指F2的距离D1大致固定的状态移动手指F1和手指F2。在这种情况下，显示装置1从检测到在手指F1和手指F2之间显示三维对象OB1 的阶段(即从步骤S71的阶段)，根据手指F1和手指F2的动作，对三维对象OB1施加移动、变形、消失等变化。而且，如步骤S73所示，在手指F1和手指F2的距离D1保持大致固定的状态持续了预定时间以上的阶段，显示装置1将三维对象OB1设为选择状态。

如图32的步骤S74所示，在经过预定时间之前手指F1和手指F2 的距离D1变大时，即未进行选择时，显示装置1对三维对象OB1施加与在当时施加的变化相反的变化。结果，在与步骤S71的阶段相同的位置以相同的状态显示三维对象OB1。对三维对象OB1施加相反变化的速度也可以比当时对三维对象OB1施加变化的速度快。即，也可以如高速倒放一样使三维对象OB1做相反变化。

这样，通过从检测到在2个物体之间显示三维对象的阶段开始对三维对象施加变化，使得使用者可以在确定选择之前意识到正在选择三维对象。结果，使用者可以提前知道是否选择了想选的三维对象。另外，到2个物体的距离保持大致固定的状态持续预定时间以上为止，显示装置1也可以通过以与通常状态和选择状态不同的方式(例如半透明)显示被施加变化的三维对象，使得使用者易于判断三维对象的状态。

接着，参考图33和图34说明显示装置1关于抓住三维对象进行的操作的处理顺序。图33是示出三维对象的选择检测处理的处理顺序的流程图。图33示出的处理顺序通过控制部22执行控制程序24a而实现。

如图33所示，首先，作为步骤SH01，控制部22合成包括三维对象的假想空间图像和真实空间图像并使其显示。接着，作为步骤SH02，控制部22判断由检测部44(也就是摄影部40和摄影部42)是否检测到第一物体和第二物体。当未检测到第一物体和第二物体时(步骤SH02“否”的情况)，作为步骤SH10，如果存在处于假定选择状态的三维对象，则控制部22解除该三维对象的假定选择状态。

然后，作为步骤SH11，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤SH11“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤SH11“否”的情况)，控制部 22再次从步骤SH02执行。

当检测到第一物体和第二物体时(步骤SH02“是”的情况)，作为步骤SH03，控制部22判断是否存在处于假定选择状态的三维对象。当没有处于假定选择状态的三维对象时(步骤SH03“否”的情况)，作为步骤SH04，控制部22从显示的三维对象之中寻找在第一物体和第二物体之间显示的三维对象。当没有符合的三维对象时(步骤SH05 “否”的情况)，控制部22进入步骤SH11。

当发现在第一物体和第二物体之间显示的三维对象时(步骤SH05 “是”的情况)，作为步骤SH06，控制部22将在第一物体和第二物体之间显示的三维对象设为假定选择状态。另外，作为步骤SH07，控制部22计算第一物体和第二物体的距离。然后，控制部22进入步骤 SH11。

当检测到第一物体和第二物体并且存在处于假定选择状态的三维对象时(步骤SH03“是”的情况)，作为步骤SH08，控制部22判断第一物体和第二物体的至少一个是否移动。当第一物体和第二物体都未移动时(步骤SH08“否”的情况)，控制部22进入步骤SH11。

当第一物体和第二物体的至少一个移动时(步骤SH08“是”的情况)，作为步骤SH09，控制部22执行图34示出的操作检测处理，其中根据检测到的操作使处于选择状态的三维对象变化。操作检测处理结束之后，控制部22进入步骤SH11。

图34是示出操作检测处理的处理顺序的流程图。图34示出的处理顺序通过控制部22执行控制程序24a实现。如图34所示，首先，作为步骤SI01，控制部22计算第一物体和第二物体的距离。然后，作为步骤SI02，控制部22判断操作检测处理开始之后的第一物体和第二物体的距离是否大致固定。

当第一物体和第二物体的距离大致固定时(步骤SI02“是”的情况)，作为步骤SI03，控制部22判断从操作检测处理开始后是否经过了预定时间。当经过了预定的时间时(步骤SI03“是”的情况)，作为步骤SI04，如果存在处于假定选择状态的三维对象，则控制部22 将该三维对象设为选择状态。当未经过预定时间时(步骤SI03“否”的情况)，不执行步骤SI04。

接着，作为步骤SI05，控制部22计算第一物体和第二物体的移动速度。然后，作为步骤SI06，控制部22判断计算出的移动速度是否在阈值以下。当移动速度在阈值以下时(步骤SI06“是”的情况)，作为步骤SI07，控制部22根据检测到的第一物体和第二物体的动作移动或旋转三维对象。然后，控制部22再次从步骤SI01执行。

当移动速度比阈值快时(步骤SI06“否”的情况)，作为步骤SI08，控制部22消除三维对象。在消除三维对象时，也可以以三维对象向第一物体和第二物体的移动方向快速移动的方式进行动画显示。然后，控制部22结束操作检测处理。除了以高速移动第一物体和第二物体的操作，例如也可以将攥碎三维对象作为消除三维对象的操作。也可以使三维对象返回初始配置位置代替消除三维对象。显示装置1也可以不执行步骤SI05、SI06和SI08的处理。也就是说，显示装置1在步骤SI03中判断为“否”的情况或执行步骤S104之后，无论2个物体的移动速度如何都可以执行步骤SI07。

当第一物体和第二物体的距离不是大致固定时(步骤SI02“否”的情况)，作为步骤SI09，控制部22判断与选择三维对象时(也就是开始操作检测处理时)相比距离是否扩大。当距离扩大时(步骤SI09 “是”的情况)，作为步骤SI10，控制部22判断在第一物体和第二物体之间显示的三维对象是否处于假定选择状态。

当三维对象处于假定选择状态时(步骤SI10“是”的情况)，作为步骤SI11，控制部22解除三维对象的假定选择状态。另外，作为步骤SI12，控制部22使三维对象进行相反的变化并返回初始状态。然后，控制部22结束操作检测处理。

当三维对象不处于假定选择状态(即处于选择状态)时(步骤SI10 “否”的情况)，作为步骤SI13，控制部22解除三维对象的选择状态。另外，作为步骤SI14，控制部22使解除了选择状态的三维对象遵循重力等移动。然后，控制部22结束操作检测处理。这里的移动显示为例如三维对象遵循重力下落并在地板或桌子上停止。使三维对象的动作停止之前，也可以根据三维对象的弹性或地板或桌子的硬度，使三维对象反弹。计算三维对象与地板或桌子冲撞时的撞击力度，当撞击比预定值大时也可以显示为三维对象损坏。另外，也可以使三维对象的移动比在实际重力作用下的移动更缓慢。

当第一物体和第二物体的距离与选择三维对象时相比缩小时(步骤SI09“否”的情况)，作为步骤SI15，控制部22根据距离使三维对象变形。然后，控制部22再次从步骤SI01执行。使三维对象变形的程度也可以例如根据作为属性对三维对象设定的硬度而改变。

如上所述，在第三实施例中，由于从检测到三维对象处于手指等的物体之间时开始根据操作使三维对象变化，因此使用者易于识别三维对象的选择。

图35是用于说明检测抓住三维对象进行的操作的第三实施例的变形例的图。如图35示出的步骤S81至步骤S83，也可以设定选择三维对象的条件为：在第一物体和第二物体之中至少一个与三维对象接触后，第一物体和第二物体的距离保持大致固定持续预定时间以上。通过以与三维对象的接触作为选择条件，使得当多个三维对象被显示为彼此靠近时，使用者易于选择希望的三维对象。

在上述实施例中说明的显示装置1可以应用于各种用途。作为操作对象的三维对象(显示物)可以是模仿例如书、积木、勺、筷子、扑克、粘土、乐器等真实存在的物体的对象，也可以是假想的虚拟使用者、游戏角色、假想现实的AR标识(ARタグ)等实际不存在的对象。另外，根据检测到的操作对三维对象施加的变化不限于上述的移动、变形、消失等。例如，在一个对象中的变化包括一个对象与其他对象置换。另外，根据按压操作对三维对象施加的变化不限于上述实施例，可以根据三维对象的种类变更。

例如，在模仿粘土的三维对象(下文仅称为“粘土”)为操作对象时，也可以根据按压操作使粘土变形，使得使用者可以使粘土成形为任意形状。另外，随着时间的经过，也可以降低粘土的粘性以使得粘土像干了一样。另外，当检测到用浸过水的三维对象的手指或手按压粘土的操作时，也可以提高粘土的粘性。

例如，在模仿唱片的三维对象(下文仅称为“唱片”)为操作对象时，也可以使唱片根据按压操作以支点为中心旋转，并播放声音。也可以通过使旋转和声音的播放联动，假想地实现由唱片播放员进行的搓盘等技术。

实施例2

在实施例1中，说明了显示装置检测对三维对象的操作，并根据检测到的操作向三维对象施加变化的实施例。但是，显示装置也可以根据对三维对象的操作，根据由检测部检测到的预定物体的位移进行与三维对象关联的动作。说明根据由检测部检测到的预定物体的位移进行与三维对象关联的动作的显示装置的实施例。

首先，参考图36和图37说明第二实施例的显示装置5的结构。图36是显示装置5的立体图。图37是显示装置5的框图。在下文的说明中，对与已经说明过的部分相同的部分标注与已经说明过的部分相同的符号。在下文的说明中，省略与已经进行的说明重复的说明。如图36和图37所示，除了还具有投影仪34，以及存储部24中存储有控制程序24e代替控制程序24a之外，显示装置5和显示装置1具有相同的结构。

投影仪34根据从控制部22发送的信号，从投影部34a投影图像。所投影的图像显示在银幕、墙等上，佩戴显示装置5的使用者以外的人也可以看到。投影仪34投影图像的方式没有特别限定。例如，投影仪34也可以将从光源照射的激光通过MEMS(Micro ElectroMechanical Systems)镜反射来描绘图像。投影仪34也可以构成为将卤素光、LED、LD等光源与LCD、DMD(Digital Micro-mirror Device) 等光学器具组合。显示装置5也可以不具有投影仪34而具有外部显示器。

处理包括联动显示控制部28之外，控制程序24e与控制程序24a 具有相同的结构。联动显示控制部28提供使投影仪34投影与显示在显示部32a和32b中的信息相关的信息的在功能。在联动显示控制部 28所提供的功能中，包括与根据对显示空间中的三维对象的操作变化三维对象联动，使投影仪34投影的信息变化的功能。

接着，参考图38至图41，说明与三维对象的变化联动的显示控制的实施例。图38是示出与三维对象的变化联动的显示控制的一个实施例的图。图39是示出使手指F1瞬间接触三维对象的操作轨迹的一个实施例的图。图40是示出使手指F1沿三维对象移动的操作轨迹的一个实施例的图。图41是示出用手指F1压坏三维对象的操作轨迹的一个实施例的图。

在图38示出的步骤S91中，控制部22在显示空间中显示球形的地球仪作为三维对象OB2。而且，显示装置22从投影仪34投影扩大的日本地图作为投影图像P4，该扩大的日本地图从佩戴显示装置5的使用者观看位于三维对象OB2中心。这样，控制部22从投影仪34在显示空间中投影与所显示的三维对象OB2相关的图像。在投影图像 P4被投影在摄影部40和42的摄影范围中时，使用者可以通过摄影部 40和42所拍摄的图像确认投影图像P4的状态。

在本实施例中，投影日本地图作为与位于三维对象OB2的中心的日本相关的图像，但是也可以代替地图而投影日本的国旗、国花等与日本相关的其他图像。图像也可以预先存储在存储部24中，也可以通过有线或无线通信从其他装置获取。

在步骤S91的状态下，假设检测到手指F1向斜下移动并一瞬间接触三维对象OB2后马上离开的操作(如图39所示)。上述操作与手指F1一瞬间接触触摸屏后马上离开的轻触操作类似，但是相对于轻触操作只能选择平面上的点，该操作具有可以选择三维对象OB2的任意处的优点。

当检测到图39所示的操作时，控制部22判断为选择了手指F1 所接触的位置，并进行对应于所选择的位置的处理。对应于所选择的位置的处理是指例如从投影仪投影对应于所选择的位置的详细信息的处理。在本实施例中，作为对应于所选择的位置的处理，执行使三维对象OB2旋转以使得所选择的位置位于中心的处理。

在图38示出的步骤S92中，检测到图39所示的操作的结果是控制部22旋转三维对象OB2以使得所接触的佛罗里达半岛附近位于中心。与三维对象OB2的旋转联动，控制部22从投影仪34投影向三维对象OB2的中心移动的佛罗里达半岛附近的地图作为投影图像P4。为了一瞬间接触三维对象OB2而使手指F1移动的方向不限于斜下方，可以是任何方向。

在步骤S91的状态下，假设检测到使手指F1沿三维对象OB2移动的操作(如图40所示)。当检测到图40所示的操作时，控制部22 根据手指F1的移动方向和移动量使三维对象OB2旋转。这样，将使三维对象OB2旋转作为根据手指F1沿三维对象OB2的移动进行的处理，使用者直观易懂。

在图38示出的步骤S93中，检测到图40所示的操作的结果是控制部22使三维对象OB2向左方只旋转与手指F1的移动量响应的角度。与三维对象的旋转联动，控制部22从投影仪34投影向三维对象 OB2的中心移动的佛罗里达半岛附近的地图作为投影图像P4。

在步骤S91的状态下，假设检测到类似使手指F1将三维对象OB2 从上压坏的操作(如图41所示)。当检测到图41所示的操作时，控制部22根据使用者用手指F1压入三维对象OB2的量缩小三维对象 OB2。这样，将缩小三维对象OB2作为根据压坏三维对象OB2的操作进行的处理，使用者直观易懂。

在图38示出的步骤S94中，检测到图41所示的操作的结果是控制部22使三维对象OB1缩小。而且，与三维对象OB2的缩小联动，控制部22也使从投影仪34作为投影图像P4投影的地图缩小。

接着，参照图42说明与三维对象的变化联动进行的显示控制的处理顺序。图42是示出与三维对象的变化联动进行的显示控制的处理顺序的流程图。图42示出的处理顺序通过控制部22执行控制程序24a 而实现。

如图42所示，首先，作为步骤SJ01，控制部22合成包括三维对象的假想空间图像和真实空间图像并在显示部32a和显示部32b中显示。另外，作为步骤SJ02，控制部22从投影仪投影与三维对象对应的图像。

接着，作为步骤SJ03，控制部22判断通过检测部是否到手指。但通过检测部44未检测到手指时(步骤SJ03“否”的情况)，作为步骤SJ08，控制部22判断是否检测到使用者进行的结束操作。当未检测到结束操作时(步骤SJ08“否”的情况)，作为步骤SJ03，控制部 22再次从步骤SJ03执行。另一方面，当检测到结束操作时(步骤SJ08 “是”的情况)，控制部22结束处理顺序。

当在步骤SJ03中检测到手指时(步骤SJ03“是”的情况)，作为步骤SJ04，控制部22根据检测部44的检测结果判断手指在三维空间中的动作。然后，当检测到手指与三维对象一瞬间接触的动作时(步骤SJ05“是”的情况)，作为步骤SJ06，控制部22执行与所接触的位置对应的处理。然后，作为步骤SJ07，控制部22与三维对象建立对应并更新投影的图像，进入步骤SJ08。

当检测到与手指沿三维对象移动的动作对应的位移时(步骤SJ05 “否”、步骤SJ09“是”的情况)，作为步骤SJ10，控制部22根据手指的移动方向和移动量旋转三维对象。然后，作为步骤SJ07，控制部 22与三维对象建立对应并更新投影的图像，进入步骤SJ08。

当检测到与手指压坏三维对象的动作对应的位移时(步骤SJ09 “否”、步骤SJ11“是”的情况)，作为步骤SJ12，控制部22根据手指压入三维对象的量缩小三维对象。然后，作为步骤SJ07，控制部22 与三维对象建立对应并更新投影的图像，进入步骤SJ08。

当未检测到上述任何动作时(步骤SJ11“否”的情况)，控制部 22保持投影的图像不变，进入步骤SJ08。

如上所述，在本实施例中，根据手指在三维空间中的动作检测使用者的操作，因此可以向使用者提供多种操作方法。而且，与根据检测到的操作变化三维对象联动地更新在外部显示或投影的信息，因此可以向使用者提供多种操作方法，即使是有关用于更新向第三者提供的信息的操作。

在上述实施例中，假设了根据手指在三维空间中的动作检测三种操作，但根据手指或手在三维空间中的动作检测的操作不限于此。例如，也可以与创作程序关联，使得使用者可以用手指操作以三维方式显示的块或粘土，制造塑像或建筑物。另外，也可以与竞赛游戏程序关联，使得使用者可以用手操作以三维方式显示的手柄享受竞赛游戏。

另外，也可以与乐器演奏程序关联，使得使用者可以用手操作以三维方式显示的钢琴或键盘进行演奏。另外，也可以与数据显示程序关联，当用手截断以三维方式显示的形状的任意部分时，将其截面的图像从投影仪34进行投影。

实施例3

参考图43说明第三实施例的显示装置6的结构。图43是显示装置6的框图。如图43所示，除了还具有通信部16和动作传感器48，以及存储部24中存储有控制程序24f代替控制程序24a之外，显示装置6和显示装置1具有相同的结构。存储部24还存储目录数据24g。另外，显示装置6也可以是上述显示装置2至4的任一个的结构。

通信部16进行在其他装置之间的通信。通信部16可以支持无线 LAN或Bluetooth(注册商标)那样在比较狭小的范围内进行无线通信的通信方式，也可以支持面向电信运营商的3G通信方式或4G通信方式那样在比较广阔的范围内进行无线通信的通信方式。通信部16也可以支持以太网(注册商标)那样通过有线进行的通信方式。通信部16 也可以支持多个通信方式。

动作传感器48检测显示装置6的位置变化以及方向(姿势)变化。位置变化和方向变化以三维方式进行检测。也就是说，动作传感器48 不仅检测水平方向中的位置变化和方向变化，还检测垂直方向中的位置变化和方向变化。为了检测显示装置6的位置变化和方向变化，动作传感器48例如可包括三轴加速度传感器。为了检测显示装置6的位置变化，动作传感器48也可包括GPS(Global Positioning System)接收器或气压传感器。为了检测显示装置6的位置变化，动作传感器48 还可利用测距部46所测量的距离测量结果。动作传感器48还可以使用多种方式的组合来检测显示装置6的位置变化。为了检测显示装置 6的方向变化，动作传感器48还可以包括陀螺仪传感器或方位传感器。动作传感器48还可以使用多种方式的组合来检测显示装置6的方向变化。

存储部24由闪存等具有非易失性的存储装置构成，存储各种程序和数据。存储部24中存储的程序包括控制程序24f。存储部24中存储的数据包括对象数据24b、作用数据24c、假想空间数据24d和目录数据24g。存储部24也可以通过组合存储卡等便携型存储介质和对存储介质进行读写的读写装置构成。在这种情况下，控制程序24f、对象数据24b、作用数据24c、假想空间数据24d和目录数据24g也可以存储在存储介质中。另外，控制程序24f、对象数据24b、作用数据24c、假想空间数据24d和目录数据24g也可以通过由通信部16进行的通信从服务器装置等的其他装置获得。

控制程序24f提供与用于使显示装置6运转的各种控制相关的功能。在控制程序24f提供的功能中包括将三维对象重叠在摄影部40和摄影部42获得的图像上并在显示部32a和显示部32b中显示的功能，检测对三维对象的操作的功能，根据检测到的操作使三维对象变化的功能等。

控制程序24f包括检测处理部25、显示对象控制部26、视点控制部30、图像合成部27和订购处理部29。检测处理部25提供用于检测存在于摄影部40和摄影部42的拍摄范围中的真实物体的功能。检测处理部25提供的功能中包括测量距检测到的各个物体的距离的功能。

视点控制部30提供用于管理在假想空间中的、使用者的视点位置和方向的功能。视点控制部30提供的功能中包括根据动作传感器48 检测的显示装置6的位置变化和方向变化，改变在假想空间中的、使用者的视点位置和方向进行变化的功能。例如，当由传感器48检测到显示装置6向前方移动时，视点控制部30将假想空间中的、使用者的视点向前方移动。例如，当由传感器48检测到显示装置6向右旋转时，视点控制部30将假想空间中的、使用者的视点向右旋转。这样，通过配合显示装置6的位置变化和方向变化而改变在假想空间中的、使用者的视点位置和方向，从而可以使与真实空间的图像重叠显示的假想空间的图像变化与真实空间的图像变化一致。

订购处理部29提供使用三维对象订购商品的功能。下文详细叙述订购处理部29的功能。

对象数据24b包括关于三维对象的形状和性质的信息。对象数据 24b用于显示三维对象。作用数据24c包括关于对显示的三维对象的操作如何作用于三维对象的信息。当检测到对显示的三维对象的操作时，作用数据24c用于判断使三维对象如何变化。这里所说的变化包括移动、旋转、变形、消失、置换等。假想空间数据24d保持与配置在假想空间中的三维对象的状态相关的信息。三维对象的状态包括例如位置、姿势、变形的状况等。订购处理部24g包括商品的规格、价格等用于贩卖商品的信息。

接着，参考图44至图47，说明根据控制程序24f提供的功能进行控制的其他实施例。图44是示出与位置变化联动地使三维对象变化的实施例的图。在图44示出的步骤S3中，图像P1c是由摄影部40获得的图像，即，相当于用右眼看真实空间的情景的图像。在图像P1c中，映现出使用者前方的慢跑步道。显示装置6还获得由摄影部42拍摄的相同场景的图像，即相当于以左眼看现实空间的情景的图像。

图像P2c是根据假想空间数据24d和对象数据24b生成的右眼用图像。在本实施例中，假想空间数据24d保存配置在与慢跑步道旁边对应的位置的标识三维对象的状态有关的信息，对象数据24b保存与标识三维对象的形状和性质有关的信息。各个三维对象记载有显示距开始地点的距离的数字，并被配置在从开始地点沿慢跑步道距所记载的数字示出的距离的位置。显示装置6同样地生成以左眼视点看假想空间的图像。

在图44示出的步骤S3中，显示装置6合成图像P1c和图像P2c，生成图像P3c。图像P3c是作为右眼用图像显示在显示部32a中的图像。在图像P3c中，标识的三维对象如同实际存在一样附加在慢跑步道的情景中。

当使用者在慢跑步道中向前方前进时，显示装置6检测位置变化，并根据检测到的位置变化将假想空间中的视点位置向前方移动。例如，如果显示装置6的位置向前移动1m，则显示装置6使在假想空间中的、使用者的视点向前移动相当于1m的距离。通过重复上述变化，使用者前方的三维对象与步道旁边的树一样，随着使用者的前进慢慢靠近使用者，如果使用者通过则从视野中消失。在图44示出的步骤S4中，显示装置6合成图像P1d和图像P2d，生成图像P3d。在图44示出的步骤S4中，步骤S3的阶段中在远处看到的“600m”的标识三维对象显示在使用者的跟前。

这样，通过变化显示装置6的位置，使用者即使不用手进行操作，也可以变化由显示装置6显示的三维对象。也就是说，显示装置6将由使用者造成的显示装置6的位置变化作为用于使三维对象变化的操作来接收。通过上述位置变化使三维对象变化的操作是根据使用者在实际空间中经历的现象的操作，因此对于使用者直观易懂。而且，根据位置变化的操作可以与用手的操作等配合进行，因此可以实现三维对象的多种变化以及高便利性。

另外，在图44示出的实施例中，在慢跑步道旁边显示实际上不存在的标识。因此，显示装置6可以显示与慢跑步道上的位置建立对应的对于使用者有用的信息。而且，由于显示装置6显示的信息可以对于每个使用者而不同，因此与真实标识不同，可以在标识上记载对各使用者都便利的信息。

与位置变化联动变化的三维对象不限于标识。例如，也可以构筑三维的假想商店街，与使用者在房间中等的步行联动，转换使用者可以看到的店铺。显示装置6也可以与当时的脚步数联动地变化三维对象。

显示装置6也可以使三维对象的变化程度比检测到的位置变化的程度大，也可以使三维对象的变化程度比检测到的位置变化的程度小。例如，也可以对假想空间的三维对象施加真实空间中位置变化大小的 10倍的变化。例如，在图44示出的实施例中，也可以使标识的三维对象所配置的间隔比显示标识记载的间隔大，也可以使标识的三维对象所配置的间隔比显示标识记载的间隔小。通过如上述调整标识的间隔，可以根据身体状况调整跑步的距离。对于真实空间中的10m的移动，显示装置6可以与假想空间中的100m的移动建立对应，也可以与假想空间中的1m的移动建立对应。在如只有白色墙壁的室内一样的地点以三维对象显示多个引力设施时，通过使三维对象的变化程度大于检测到的位置变化，可以在分开的设施间容易地移动。例如，当想要精确地控制三维对象时，也可以使三维对象的变化程度小于检测到的位置变化。

显示装置6也可以与上下方向的位置变化联动地使三维对象变化。例如，在使用者跳跃时，也可以将显示的情景变更为从与跳跃的高度对应的高度看使用者目前所在位置的建筑物等三维对象的情景。在这种情况下，当使用者尽全力跳跃时，也可以显示从上俯视使用者目前所在位置的建筑物等三维对象的情景。

显示装置6也可以累积位置的变化量，即累积移动量，根据累积值变化三维对象。例如，也可以将移动量的累积值换算为从东京步行至京都时的到达地点，以到达地点的特征建筑物或风景为三维对象，与真实空间的情景重叠显示。例如，当到达地点相当于横滨时，也可以将中华街的门的三维对象与真实情景的一部分重叠显示。例如，当到达地点相当于静冈时，也可以将从到达地点看到的富士山的三维对象重叠显示在真实情景的背后。

图45是概念性示出配置在使用者周围的操作画面的图。图46是示出与方向变化联动地使三维对象变化的实施例的图。在图45和图 46示出的实施例中，假想空间数据24d保持与操作画面OS1至OS3 的三维对象的状态有关的信息，对象空间数据24b保持与操作画面OS1至OS3的三维对象的形状和性质有关的信息。

操作画面OS1被配置在假想空间中与使用者正面对应的位置。操作画面OS2被配置在假想空间中与使用者的右侧面对应的位置。操作画面OS3被配置在假想空间中与使用者的左侧面对应的位置。在操作画面OS1至OS3上配置有多个图标。

当佩戴了显示装置6的使用者朝向正面时，如图像P3e所示，显示装置6显示操作画面OS1。在这个状态下，如果使用者进行用手H1 的手指按压操作画面OS1上的图标那样的动作，则显示装置6进行与图标对应的处理。

当使用者朝右时，显示装置6根据检测到的方向变化，使假想空间中的视点方向向右变化。例如，如果佩戴了显示装置6的使用者的头部向右旋转90度时，显示装置6使假想空间中的、使用者视点方向向右变化90度。结果，如图像P3f所示，显示装置6在假想空间中显示配置在使用者右侧面的操作画面OS2。在这个状态下，如果使用者进行用手H1的手指按压操作画面OS2上的图标那样的动作，则显示装置6进行与图标对应的处理。

当使用者朝左时，显示装置6根据检测到的方向变化，使假想空间中的视点方向向左变化。例如，如果佩戴了显示装置6的使用者的头部向左旋转90度时，显示装置6使假想空间中的、使用者视点方向向左变化90度。结果，如图像P3g所示，显示装置6在假想空间中显示配置在使用者左侧面的操作画面OS3。在这个状态下，如果使用者进行用手H1的手指按压操作画面OS3上的图标那样的动作，则显示装置6进行与图标对应的处理。

这样，使用者通过使显示装置6的方向变化，使得即使不用手进行操作，也可以使显示装置6中显示的三维对象变化。也就是说，显示装置6将由使用者产生的显示装置6的方向变化作为用于使三维对象变化的操作而接收。通过上述方向变化使三维对象变化的操作是根据使用者在实际空间中经历的现象的操作，因此对于使用者直观易懂。而且，根据方向变化的操作可以与用手的操作等配合进行，因此可以实现三维对象的多种变化以及高便利性。

另外，在图45和图46示出的实施例中，在使用者的周围显示多个操作画面。因此，使用者可以只改变脸的朝向而容易地转换操作的操作画面。

在图45和图46中，示出了在使用者周围的3个面上显示操作画面的实施例，但是显示装置6也可以在包括使用者的背面侧在内的周围4个面上显示操作画面。或者，也可以将像包围使用者的圆筒状内面那样连续的面作为操作画面。或者，也可以将操作画面设置在使用者头上的面，也就是设置在使视点方向朝上时看到的面上。

在包围使用者的多个平坦面上设置操作画面时，显示装置6也可以用如下方式调整假想空间中的视点或三维对象的方向：使在设有操作画面的面中的、存在于使用者面朝方向上并与使用者视线最接近90 度的面与使用者的视线正交。通过如上述调整视点或三维对象的方向，可以提高操作画面的可视性。

与方向变化联动地变化的三维对象不限于操作画面。例如，也可以构成为在使用者周围的架子上陈列商品三维对象，与佩戴了显示装置6的使用者变更头部的方向联动，来变更使用者可以看见并拿到的商品。也可以在使用者周围配置包括建筑物三维对象的三维地图，与佩戴了显示装置6的使用者变更头部的方向联动，将显示的地图向使用者面朝方向的地图变化。显示装置6也可以与佩戴了显示装置6的使用者变更头部的方向联动，将使用者的视线朝向的地区的天气、活动、主要设施等作为三维对象显示。

显示装置6也可以将使用者摆头的方向与一些处理建立对应。例如，显示装置6在使用者向右摆头时翻过显示的书三维对象的书页，在使用者向左摆头时翻回书三维对象的书页。在这种情况下，对于用于将转过的头返回时的方向变化，不做联动处理。

图47是示出控制与位置和方向变化联动地使三维对象变化的处理顺序的流程图。图47示出的处理顺序通过控制部22执行控制程序 24f而实现。首先，作为步骤S101，控制部22根据假想空间数据24d 和对象数据24b生成假想空间。然后作为步骤S102，控制部22初始设定在假想空间中的视点位置和方向。例如根据预先确定的真实空间和假想空间而对应建立的规则，进行在假想空间中的视点位置和方向的初始设定。

接着，作为步骤S103，控制部22获得动作传感器48的检测结果。然后，作为步骤S104，控制部22根据显示装置6的位置变化使在假想空间中的视点位置变化，作为步骤S105，根据显示装置6的方向变化使在假想空间中的视点方向变化。

然后，作为步骤S106，控制部22判断三维对象的显示是否结束。当三维对象的显示未结束时(步骤S106“否”的情况)，控制部22返回步骤S103。当三维对象的显示结束时(步骤S106“是”的情况)，控制部22结束图47示出的处理顺序。

实施例4

说明将显示装置6应用于使用了电子目录的商品贩卖中的实施例。图48至图52是用于说明将显示装置6应用于使用了电子目录的家电制品和家具的贩卖的实施例的图。

图48是示出在设置购买的商品的房间中显示电子目录的图。图像 P1h使用者为了在房间中拿住电子目录而向前方伸手H2时由摄影部 40获得的图像，即，相当于用右眼看真实空间的情景的图像。在图像 P1h中，映现出与房间的墙壁接触的沙发61、被置于对面侧的墙角的台62和使用者的手H2。显示装置6还获得通过摄影部42拍摄相同场景的图像，即，相当于用左眼看真实空间的情景的图像。

图像P2h是根据假想空间数据24d和对象数据24b生成的右眼用图像。在本实施例中，假想空间数据24d保持关于与房间的墙、地板和天花板对应的三维对象状态的信息，和关于配置在使用者的手H2 位置的目录63的三维对象状态的信息，对象数据24b保持关于各三维对象的形状和形状的信息。显示装置6同样也生成以左眼视点看假想空间的图像。

显示装置6合成图像P1h和图像P2h并生成图像P3h。在图像P3h 中，以在手H2上展开的方式显示目录63的三维对象。另外，与墙、地板和天花板对应的三维对象分别以表面与真实的墙、地板和天花板的表面一致的方式配置在假想空间中。而且，与墙、地板和天花板对应的三维对象分别以表面与现实的墙、地板和天花板的表面具有相同外观的方式构成。因此，在图像P3h中，对于房间的墙、地板和天花板，使用者无法分辨真实的表面还是三维对象的表面中哪个被显示在上面。

显示装置6同样合成由摄影部42拍摄的图像和以左眼视点看假想空间的图像，生成显示在显示部32b中的图像作为左眼用图像。显示装置6将如上述生成的合成图像显示在显示部32a和32b中。结果，使用者可以看到好像在房间中目录63的三维对象在手H2上展开一样的情景。

图49是用于说明从目录中选择商品的场景的图。作为图49的步骤S111，使用者以打开到刊登有期望的商品的页面的状态将目录63 的三维对象放在手上。目录63的各个页面上以缩小并被按压为平面状的状态配置有商品的三维对象。在步骤S112中，使用者用手H1的两根手指抓住页面上期望的商品的三维对象。通过用两根手指抓住，三维对象成为被选择并根据手H1的移动而移动的状态。

在步骤S113中，使用者抓住三维对象并且手H1离开目录63。结果，缩小的三维对象被从目录63的页面上撕下。被撕下的三维对象扩大为与实际商品相同的尺寸，成为电视机64的三维对象。定义目录中刊登的商品的三维对象被定义为重量为0。因此，使用者可以不考虑重量的影响来处理电视机64的三维对象。

图50是用于说明考虑电视机的大小和设置场所的场景的图。与电视机64对应的真实电视机包括相同设计尺寸不同的多个机型。电视机 64的三维对象在从目录63的页面被撕下的阶段时具有与最小型的机型相同的尺寸。作为图50的步骤S121，使用者使用手H1的手指抓住电视机64的三维对象的一个端部，用手H2的手指抓住另一个端部。

在步骤S122中，使用者保持抓住电视机64的三维对象的状态扩大手H1和手H2的距离。根据手H1和手H2的距离变化，电视机64 的三维对象的尺寸变化。使用者在电视机64的三维对象的尺寸达到期望尺寸时扩大手指间隔释放电视机64的三维对象。显示装置6重新调整电视机64的三维对象的尺寸使其成为与目前三维对象的尺寸最接近的机型的尺寸。这样，使用者通过简单的操作可以容易地选择商品的尺寸。

之后，使用者将电视机64的三维对象移动至期望位置的期望高度。由于定义商品的三维对象的重量是0，因此如步骤S123所示，使用者即使放开手，移动后的三维对象也停留在原处。在步骤S124中，使用者坐在沙发61上确认浮在对面墙壁上的电视机64的三维对象的位置和高度。电视机64的三维对象具有与实际电视机相同的尺寸，可以与使用者的房间重叠并漂浮在任意的位置。因此，使用者可以在购买电视机前在实际使用的环境中考虑怎样设置电视机。

图51是用于说明选择电视机柜的场景的图。作为图51的步骤 S131，使用者坐在沙发上，手H2拿住目录63的三维对象翻开电视柜的页面。

在目录数据24g中，定义了电视机和电视柜是关联的商品。而且，在目录数据24g中，记录有各个电视柜实际的尺寸。如步骤S131所示，根据这些信息，显示装置6根据电视机64的三维对象的状况，从记录在目录数据24g中的电视柜中选出高度与从地板到电视机64的三维对象的距离一致的电视柜并显示在电视柜的页面中。因此，使用者可以容易地从可以将电视机设置在目前三维对象的高度处的电视柜中选择喜欢的电视柜。

在步骤S132中，使用者通过用手H1的手指接触目录的三维对象来选择期望的电视柜。在步骤S133中，所选择的电视柜65的三维对象显示在电视机64的三维对象之下。由于定义了电视机和电视柜是关联商品，因此显示装置6可以将所选择的电视柜65的三维对象与已经显示着的电视机64的三维对象建立对应地显示。

图52是用于说明移动真实物体的场景的图。例如，使用者要尝试将台62移动至别处的布局变更。显示装置6在检测到选择真实物体的操作时，将模仿真实物体的三维对象显示在现实空间中代替真实物体。然后，显示装置6在检测到使三维对象移动的操作时，根据操作移动三维对象。

使用者可以不担心重力影响而容易地移动三维对象，并且可以将三维对象放置在空中以使其不碍事。而且，尽管在显示空间中看不到真实物体，但是实际上还留在原处，因此无需在尝试布局变更后使真实物体返回原处。

图52示出的图像P1i是使用者要抓住台62时由摄影部40获得的图像，即相当于以右眼看现实空间的情景的图像。图像P1i中映现出放在房间角落的台62和使用者的手H1。显示装置1还获得由摄影部 42拍摄的相同场景的图像，即相当于以左眼看现实空间的情景的图像。

图像P2i是根据假想空间数据24d和对象数据24b生成的右眼用图像。在该阶段，在与真实空间中台62所放置的地方对应的假想空间处只配置有墙和地板的三维对象。显示装置6合成图像P1i和图像P2i 并生成图像P3i。显示装置6同样合成由摄影部42拍摄的图像和以左眼视点看假想空间的图像，生成显示在显示部32b中的图像作为左眼用图像。显示装置6将如上述生成的合成图像显示在显示部32a和32b 中。结果，使用者可以看到好像自己在房间中抓住台62的情景。

图52示出的图像P1j是在使用者抓住台62进行选择后，要拿起台62时由摄影部40所获得的图像，即相当于以右眼看现实空间的情景的图像。此时，台62实际上并未被拿起，而是留在原处。

图像P2j是根据假想空间数据24d和对象数据24b生成的右眼用图像。在该阶段，由于使用者进行了抓住真实物体(即台62)进行选择的操作，因此显示装置6生成模仿台62的三维对象66。用于生成三维对象66的对象数据24b也可以预先存储在存储部24中，也可以根据摄影部40和42拍摄的图像动态生成。在图像P2j中，三维对象 66根据使用者的拿起操作，配置在离开地板的位置。

显示装置6合成图像P1j和图像P2j并生成图像P3j。此时，显示装置6进行隐蔽处理，该隐蔽处理生成作为替代的三维对象66，并对台62不进行显示。例如，显示装置6将距台62的距离设为无限远后进行处理。结果，墙、地板、天花板等的三维对象显示在台62之前，台62隐藏在这些三维对象背后。

接着，参考图53说明订购处理的处理顺序。图53是示出订购处理的处理顺序的流程图。图53示出的订购处理通过控制部22执行控制程序24f而实现。

如图53所示，首先，作为S201，控制部22初始设定目录数据24g。然后，作为步骤S202，控制部22合成包括目录的三维对象的假想空间图像和真实空间图像并使其显示。

作为步骤S203，控制部22检测对三维对象的操作。然后，作为步骤S204，控制部22判断检测到的操作是否是用于进行订购的操作。当检测到的操作不是用于进行订购的操作时(步骤S204“否”的情况)，控制部22进入步骤S205。

在步骤S205中，控制部22判断检测到的操作对象是否是三维对象。当检测到的操作对象是三维对象时(步骤S205“是”的情况)，控制部22进入步骤S206。当检测到的操作对象不是三维对象时(步骤S205“否”的情况)，控制部22进入步骤S208。

在步骤S206中，控制部22根据操作变更显示在目录中的商品。而且，作为步骤S207，控制部22根据操作更新显示。之后，控制部 22返回步骤S203。

在步骤S208中，控制部22进行用于不显示作为操作对象的真实物体的隐蔽处理。然后，作为步骤S209，控制部22在假想空间中追加三维对象，该三维对象代替作为操作对象的真实物体。之后，控制部22返回步骤S203。

当在步骤S203中检测到的操作是用于进行订购的操作时(步骤 S204“是”的情况)，控制部22进入步骤S210。控制部22在步骤S201 中进行用于订购商品的订购处理。

使用目录购买的商品不限于电视机和电视柜。例如，也可以购买挂历或绘画。挂历或绘画的三维对象构成为可以挂在房间墙壁的任意位置。例如，还可以购买窗帘。显示装置6也可以在窗户上挂上窗帘的三维对象时降低显示部32a和32b的明亮度，以使得可以再现实际窗帘的遮光性。

显示装置6也可以在尝试房间的布局变更时通过三维对象变更房间窗外的景色，以使得可以确认由季节引起的外面景色的变化的影响。显示装置6也可以构成为，当尝试房间的布局变更时，使用者可以任意设定显示部32a和32b的色彩平衡和明亮度以使得可以确认由季节和时刻引起的太阳高度的变化的影响。

实施例5

接着，参考图54说明第五实施例的显示装置7的结构。图54是显示装置7的框图。如图54所示，显示装置7具有操作部13、控制部22、存储部24、通信部16、显示部32a和32b、摄影部40和42、检测部44、测距部46和动作传感器48。操作部13接收显示装置7 的启动、停止、动作模式变更等基本操作。

存储部24由闪存等具有非易失性的存储装置形成，存储各种程序和数据。存储部24中存储的程序包括控制程序24h。存储部24中存储的数据包括对象数据24b、作用数据24c以及假想空间数据24d。存储部24也可以通过存储卡等便携型存储介质和对存储介质进行读写的读写装置的组合而构成。在这种情况下，控制程序24h、对象数据 24b、作用数据24c以及假想空间数据24d也可以存储在存储介质中。另外，控制程序24h、对象数据24b、作用数据24c以及假想空间数据 24d也可以通过通信部16的通信从服务器装置等其他装置中获取。

控制程序24h提供与用于使显示装置7运转的各种控制相关的功能。在控制程序24h提供的功能中包括将三维对象重叠在摄影部40 和摄影部42获得的图像上并在显示部32a和显示部32b中显示的功能，检测对三维对象的操作的功能，根据检测到的操作使三维对象变化的功能等。

控制程序24h包括检测处理部25、显示对象控制部26、视点控制部30以及图像合成部27。

视点控制部30提供用于管理在假想空间中的、使用者的视点位置和方向的功能。视点控制部30提供的功能中包括根据动作传感器48 检测的显示装置7的位置变化和方向变化，改变在假想空间中的、使用者的视点位置和方向进行变化的功能。例如，当由传感器48检测到显示装置7向前方移动时，视点控制部30将假想空间中的、使用者的视点向前方移动。例如，当由传感器48检测到显示装置7向右旋转时，视点控制部30将假想空间中的、使用者的视点向右旋转。这样，通过配合显示装置7的位置变化和方向变化而改变在假想空间中的、使用者的视点位置和方向，从而可以使与真实空间的图像重叠显示的假想空间的图像变化与真实空间的图像变化一致。

除了根据订购处理部29提供的功能的控制之外，根据控制程序 24h提供的功能的控制与根据上述控制程序24f提供的功能的控制相同。

说明将显示装置7通过互联网进行商品贩卖的实施例。图40至图 44是用于说明将显示装置7应用于通过互联网的比萨贩卖的实施例的图。

图55是用于说明开始比萨的订购处理的图。开始订购比萨时，使用者佩戴显示装置7，看具有一定程度的宽阔度的平面的地方。例如，当使用者看桌子T2时，显示装置7显示映现现实的桌子T2的图像 P3k。显示装置7根据使用者的指示通过通信部16的通信从比萨的贩卖网站获取对象数据24b、作用数据24c以及假想空间数据24d，并根据获取到的数据生成假想空间。显示装置7通过将生成的假想空间图像和真实空间图像重叠来显示图像P3m。

在图像P3m中，在桌子T2上配置有多个三维对象。所配置的三维对象包括大饼底161L、中等饼底161M、小饼底161S、盛有芝麻、西红柿、奶酪等材料的盒子162a至162f、棒163、番茄酱软瓶164和烤箱165。饼底161L是用于L尺寸的比萨的饼底、饼底161M是用于 M尺寸的比萨的饼底、饼底161S用于S尺寸的比萨的饼底。这样，通过开始比萨的订购处理，在平面上配置比萨的材料和烤箱165作为三维对象。

显示装置7也可以使用预先存储在存储部24中的对象数据24b、作用数据24c以及假想空间数据24d显示比萨的材料和烤箱165。

图56是用于说明决定饼底的尺寸和厚度的工序的图。作为图56 的步骤S311，使用者用手H1抓住饼底161M。通过抓住而选择饼底 161M，其根据手H1的移动成为移动状态。在步骤S312中，使用者将饼底161M置于桌子T2的平面大致中央位置，用手H1抓住棒163。通过抓住而选择棒163，其根据手H1的移动成为移动状态。

在步骤S313中，使用者将棒163置于饼底161M上，用手H1和 H2滚动。在对象数据24b中定义棒163为刚体，饼底161M为塑性体。而且，在作用数据24c中，定义塑性体在被刚体按压时被按压的部分凹陷。因此，如果使用者用棒163在饼底161M上滚动，则饼底161M 呈圆状延伸并变薄。使用者用棒163在饼底161M上滚动，到如步骤 S314所示饼底161M成为希望的尺寸和厚度为止。

决定饼底的尺寸和厚度的操作不限于图56示出的实施例。例如，也可以是当使用者用双手夹住饼底161M后扩大双手的间隔时，饼底 161M呈以双手的间隔为直径的圆状延伸。或者，也可以是当使用者用2个手指掐住饼底161M的一部分时，饼底161M整体变形为以2个手指的间隔为厚度的圆状薄形。在这些操作中，通过调整手的间隔或手指的间隔，可以容易地调整饼底的尺寸和厚度。

图57是用于说明放上材料的工序的图。作为图57的步骤S315，使用者用手H1的手指捏住盛在盒子162d中的芝麻。通过捏住而选择芝麻，其根据手H1的移动成为移动状态。在步骤S316中，使用者将芝麻移动到饼底161M上希望的位置之后，扩大手指H1的间隔。这样，芝麻被放置在饼底161M上希望的位置。

通过重复同样的操作，使用者将希望量的希望材料放置在希望的位置。

在步骤S317中，使用者用手H1抓住番茄酱软瓶164。通过抓住而选择番茄酱软瓶164，其根据手H1的移动成为移动状态。在步骤 S318中，使用者拿住番茄酱软瓶64使其出口朝下，一边按压瓶身部分一边在饼底161M上移动。在作用数据24c中，定义当按压软瓶的瓶身部分时从出口挤出容纳物。利用这个作用，在步骤S318中，由使用者在饼底161M上用番茄酱画出图画。

图58是用于说明订购比萨的工序的图。作为图58的步骤S319，使用者用手H1打开烤箱165的前门。在步骤S320中，使用者用手 H1和H2拿着饼底161M放入烤箱165中，在步骤S321中，用手H1 的手指按压烤箱165的开关。

这样，当进行加热比萨的动作时，确认比萨的订购，并向比萨的贩卖网站发送订购数据。通过将用于制作商品的最后工序与进行订购建立对应，使得使用者可以一边进行制作商品的工序，一边直观地进行订购而没有无用的操作。用于订购比萨的操作也可以是其他操作。例如，也可以显示具有与比萨材料一起显示的订购用按钮的三维对象，将按压该按钮的操作作为用于订购比萨的操作。

使用订购数据的目的在于决定比萨的价格并再现所订购的比萨。订购数据中包括关于所选择的饼底尺寸，延伸的饼底的尺寸和厚度，材料的种类、量、位置等的信息。订购数据也可以包括使用者制作的比萨三维对象的图像，或者使用者制作比萨三维对象时的操作经过。这些信息在使用者操作比萨材料的三维对象再现与实际制作比萨相同的工序的过程中获得。因此，使用者可以不进行输入数量这样麻烦的操作，用可容易地想象做好的比萨的方法订购比萨。

图59是示出配送比萨的实施例的图。之后，如图59所示，根据订购数据，配送放入比萨盒171中的比萨172。以尽可能正确地再现在图55至图58中作成的比萨三维对象的方式制作比萨172。也可以是厨师一边参考订购数据一边进行比萨172的再现。厨师也可以一边看着使用者用三维对象作成的比萨172的图像，或者一边看着再现使用者操作经过的影像制作比萨172。或者也可以根据订购数据由制作机器(机器人)制作比萨172。

这样，通过根据对三维对象的操作制作订购数据，从而可以容易地实现按照自己的喜好订购商品。

接着，参考图60说明订购处理的处理顺序。图60是示出订购处理的处理顺序的流程图。图60示出的处理顺序通过控制部22执行控制程序24h而实现。

如图60所示，首先，作为步骤S331，控制部22合成包括与商品相关的三维对象的假想空间图像和真实空间图像并使其显示。接着，作为步骤S332，控制部22初始设定订购数据。具体地，控制部22使现状三维对象表示的商品状态和订购数据表示的商品状态一致。

作为步骤S333，控制部22检测对三维对象的操作。然后，作为步骤S334，控制部22判断检测到的操作是否是与进行订购对应的操作。当检测到的操作不是与进行订购对应的操作时(步骤S334中“否”的情况)，控制部22进入步骤S335。在步骤S335中，控制部22根据检测到的操作更新订购数据。然后，作为步骤S336，控制部22根据检测到的操作更新显示部32a和32b的显示。之后，控制部22返回步骤S333。

在步骤S334中，当检测到的操作是与进行订购对应的操作时(步骤S334中“是”的情况)，作为步骤S337，控制部22进行订购处理。具体地，控制部22通过由通信部16进行的通信向供货方发送订购数据。之后，控制部22结束订购处理。

上述订购方式也可以用于通过互联网订购其他食物的情况。例如，当订购面类时，通过使用三维对象再现煮面的工序、做汤的工序以及放材料的工序，可以指定面量、煮面火候(硬度)、味道浓度、材料种类、量和配置。例如，当订购便当时，通过使用三维对象再现向便当箱中装入菜的工序、向便当箱中装入饭的工序，可以指定菜的种类、量和配置以及饭的量。例如，当订购寿司时，通过使用三维对象再现捏寿司的工序，可以指定寿司材料的种类、在寿司箱中排列寿司的方式。

在上述订购方式中，也可以使多个使用者共用假想空间。在这种情况下，通过多个使用者具有的显示装置7中的一个或服务器装置等其他装置管理假想空间，通过通信向管理假想空间的装置发送与各个显示装置7检测到的操作相关的信息。管理假想空间的装置根据所发送的与操作相关的信息更新假想空间中的三维对象和订购数据。这样，通过多个使用者共用假想空间，从而可以在假想空间中共同进行制作比萨的操作。

上述订购方式也可以应用于通过互联网订购食物以外的商品的情况。例如，当订购花束或插花时，也可以将在花店中库存的花作为三维对象显示。在这种情况下，使用者通过再现组合喜欢的花的三维对象制作花束或插花的工序，可以购买通过喜欢的配置组合喜欢的花而成的花束或插花。在这种情况下，也可以以三维对象再现花店的店内，通过将做好的花束或插花拿到收款台来进行订购。花束或插花可以让人送到自家或送货地，也可以在向花店指示商品做好的时间或收到花店通知后，使用者到花店取货。

上述订购方式也可以应用于通过互联网订购衣服或饰品的情况。在这种情况下，使用者可以组合衣服和饰品三维对象，在确认协调性的基础上购买商品。也可以组合不同卖场的商品三维对象。而且，使用者还可以将商品三维对象与已经购买的真实衣服或饰品组合。这样，通过将衣服和饰品显示为可以进行移动等操作的三维对象，从而可以一边确认各种组合一边购买商品。

而且，通过将衣服和饰品作为三维对象与真实空间重叠显示，使用者可以正确把握商品尺寸。

当通过互联网订购衣服和饰品时，也可以将商品陈列在模仿实际店铺的假想购物中心中。在这种情况下，可以预先使商品悬浮在空中等，进行现实中不可能的展示。而且，与纸质目录不同，也可以将库存与显示对应，例如，如果商品没有库存则不显示商品等。另外，由于只不过是假想的商品，因此也可以设定为无论是哪个店铺的商品，使用者都可以在一个店铺完成所有商品的价格支付。在这种情况下，每个店铺的销售额的分配在后台处理中进行。

例如进行将商品的三维对象拿到收款台进行商品的订购。或者通过进行从钱包取出模仿信用卡的三维对象的操作或提示的操作进行商品的订购。通过预先登录的实际信用卡进行实际的价格支付。

也可以使多个使用者共用包括购物中心的假想空间。在这种情况下，也可以在与假想空间中的各个使用者的视点对应的位置显示表示虚拟使用者的三维对象。通信显示表示使用者的三维对象，易于把握店铺和商品的人气。

另外，上述实施例中示出的本发明的方式在不脱离本发明的主旨的范围内可以任意变更。另外，也可以适当组合上述各实施例。例如，上述实施例示出的控制程序也可以分割为多个模块，也可以与其他程序合并。

另外，在上述实施例中，说明了使用者自身操作三维对象的实施例，但是，显示装置也可以检测在摄影部的拍摄范围中的他人、动物、机械等的动作作为真实物体。另外，也可以与其他装置共用假想空间。也就是说，显示装置可以构成为该显示装置的使用者之外的人可以通过其他装置看到并操作假想空间中的三维对象。

另外，在上述实施例中，显示装置单独检测对三维对象的操作，但是也可以是显示装置和服务器装置协作检测对三维对象的操作。在这种情况下，显示装置将摄影部拍摄到的图像或检测部检测到的信息依次向服务器装置发送，服务器装置检测操作并将检测结果向显示装置通知。通过设定为上述构造，可以减少显示装置承载的负荷。

附图标记说明

1～7 显示装置

1a 前面部

1b 侧面部

1c 侧面部

4d 外部装置

13 操作部

16 通信部

22 控制部

24 存储部

24a、24e、24f、24h 控制程序

24b 对象数据

24c 作用数据

24d 假想空间数据

24g 目录数据

25 检测处理部

26 显示对象控制部

27 图像合成部

28 联动显示控制部

29 订购处理部

30 图像合成部

32a、32b 显示部

34 投影仪

34a 投影部

40、42 摄影部

44 检测部

46 测距部

48 动作传感器

Claims (7)

1.一种显示装置，其特征在于，包括：

显示部，当所述显示装置被佩戴时，该显示部通过显示与用户两只眼睛各自对应的图像来以三维方式显示预定对象，所述图像经过调整重叠以使得能够从前面看到在真实物体和预定对象之中的更靠近使用者的物体或对象；

检测部，检测真实空间的真实物体，该真实物体包括第一物体和第二物体；

存储部，按照表示物理性质的各个种类存储多个所述预定对象；

控制部，基于所检测到的所述第一物体和所述第二物体的移动，根据与所述预定对象关联的各个种类使所述预定对象变化，从而使所述预定对象的变化根据所述种类而不同；以及

图像合成部，以使所述真实物体和所述预定对象成为三维图像的方式生成待在所述显示部中显示的图像，其中，所述待在所述显示部中显示的图像是所述真实物体和所述预定对象合成的图像。

2.如权利要求1所述的显示装置，其特征在于，当由所述检测部检测到所述真实物体在接触所述预定对象之后所述真实物体离开所述预定对象的动作时，所述控制部进行与所述预定对象被接触的位置对应的处理。

3.如权利要求1所述的显示装置，其特征在于，还具有投影图像的投影部，

所述控制部从所述投影部投影与所述预定对象关联的图像。

4.如权利要求1所述的显示装置，其特征在于，还具有第二显示部，

所述控制部使所述第二显示部显示与所述预定对象关联的图像。

5.如权利要求1所述的显示装置，其特征在于，

所述检测部是红外线传感器。

6.如权利要求1所述的显示装置，其特征在于，所述检测部是拍摄图像的摄影部。

7.一种控制方法，当显示装置被佩戴时，显示装置通过显示与用户两只眼睛各自对应的图像来以三维方式显示预定对象，所述图像经过调整重叠以使得能够从前面看到在真实物体和预定对象之中的更靠近使用者的物体或对象，其特征在于，包括：

通过所述显示装置以三维方式显示预定对象；

检测真实空间的第一物体和第二物体；

按照表示物理性质的各个种类存储多个所述预定对象；

以使所述真实物体和所述预定对象成为三维图像的方式生成所述真实物体和所述预定对象合成的图像；以及

基于所检测到的所述第一物体和所述第二物体的位移，根据与所述预定对象关联的各个种类使所述预定对象变化，从而使所述预定对象的变化根据所述种类而不同。