CN104703664B - 显示装置、控制系统和控制方法 - Google Patents

Abstract

一种显示装置(1)，包括：显示部(32a和32b)，控制显示部的控制部(22)以及检测部(44)。当显示装置被佩戴时，显示部通过显示与用户两只眼睛各自对应的图像，从而在假想游戏区域中立体显示分别包括一个或多个要素的多个三维块，假想游戏区域在显示空间中被划分成三维矩阵的形状，一个或多个要素分别占据被划分的各划分区域中的一个。检测部检测显示空间中的物体的位置。控制部控制显示部，使可移动的三维块出现。当通过检测部检测到在显示空间中的物体随时间进行变化时，控制部控制显示部根据检测结果以划分区域为单位移动可移动的三维块。当通过移动可移动的三维块使得游戏区域的一层的所有划分区域都被多个三维块和多个可移动的三维块的要素填满时，消去要素。

Description

显示装置、控制系统和控制方法

技术领域

本发明涉及显示装置、控制系统以及控制方法。

背景技术

在具有包括终端等显示部的显示装置中，存在可以立体显示图像等的装置(例如，参考专利文献1)。利用双眼的视差实现立体显示。

另外，存在可以进行3D游戏应用的游戏装置。例如，专利文献2中记载的游戏装置使用由三维计算机图形显示的立体拼图进行3D游戏。

现有技术文献

专利文献

专利文献1：日本专利公开公报“特开2011-95547”

专利文献2：日本专利公开公报“特开2011-101677”

发明内容

发明所要解决的技术问题

尽管对于使用者，立体显示是易于接受的显示形式，但是在现有的显示装置中，立体显示只用于视听目的，而不用于提高操作的便利性。另外，虽然存在立体拼图等3D游戏的应用，但是在现有的游戏装置中，只能通过操作按键等选择指定的一个对象，导致需要时间以进一步习惯操作。

本发明的目的在于提供：可以向使用者提供便利性高的操作方法的显示装置、控制系统以及控制方法。

解决问题所需手段

根据一个方式，显示装置包括显示部、控制显示部的控制部以及检测部。当显示装置被佩戴时，显示部通过显示与用户两只眼睛各自对应的图像，从而在假想游戏区域中立体显示分别包括一个或多个要素的多个三维块，假想游戏区域在显示空间中被划分成三维矩阵的形状，一个或多个要素分别占据被划分的各划分区域中的一个。检测部检测显示空间中的物体的位置。控制部控制显示部，使可移动的三维块出现。当通过检测部检测到在显示空间中的物体随时间进行变化时，控制部控制显示部根据检测结果以划分区域为单位移动可移动的三维块。当通过移动可移动的三维块使得游戏区域的一层的所有划分区域都被多个三维块和多个可移动的三维块的要素填满时，消去要素。

根据一个方式，控制系统包括终端和控制终端的控制部。终端具有：显示部，当终端被佩戴时通过显示与用户两只眼睛各自对应的图像，从而在假想游戏区域中立体显示分别包括一个或多个要素的多个三维块，假想游戏区域在显示空间中被划分为三维矩阵的形状，一个或多个要素分别占据被划分的各划分区域中的一个；以及检测部，检测显示空间中的物体的位置。控制部控制显示部，使可移动的三维块出现。当通过检测部检测到在显示空间中的物体随时间进行变化时，控制部控制显示部根据检测结果以划分区域为单位移动可移动的三维块。当通过移动可移动的三维块使得游戏区域的一层的所有划分区域都被多个三维块和多个可移动的三维块的要素填满时，消去要素。

根据一个方式，具有显示部和检测部的显示装置的控制方法包括下述步骤，其中，当显示装置被佩戴时，显示部通过显示与用户两只眼睛各自对应的图像，在显示空间中立体显示三维形状，检测部检测显示空间中的物体的位置，步骤包括：在假想游戏区域中显示分别包括一个或多个要素的多个三维块，假想游戏区域在显示空间中被划分为三维矩阵的形状，一个或多个要素分别占据被划分的各划分区域中的一个；在显示空间中使可移动的三维块出现；当检测到在显示空间中的物体随时间的变化时，以划分区域为单位移动可移动的三维块；以及当通过移动可移动的三维块，使得游戏区域的一层的所有划分区域都被多个三维块和多个可移动的三维块的要素填满时，消去要素。

发明效果

本发明起到可以向使用者提供便利性高的操作方法的效果。

附图简要说明

图1是显示装置的立体图。

图2是从正面观看由使用者佩戴的显示装置的图。

图3是示出显示装置的变形例的图。

图4是示出显示装置的其他变形例的图。

图5是示出显示装置的其他变形例的图。

图6是显示装置的框图。

图7是示出根据控制程序提供的功能进行控制实施例的图。

图8是示出存储在对象数据中的信息的一个实施例的图。

图9是示出通过显示装置进行的三维对象的显示的一个实施例的模式图。

图10是示出消去层的实施例的图。

图11是示出抓住三维对象进行的操作的一个实施例的图。

图12是示出按压三维对象的操作的一个实施例的图。

图13是用于说明停止在游戏区域的侧面的移动的图。

图14是示出将游戏区域作为三维对象处理的操作的一个实施例。

图15是示出将游戏区域作为三维对象处理的操作的另一个实施例。

图16是示出将呈停止状态的三维块与划分区域单位的要素分离并向底面移动的实施例的图。

图17是示出将游戏区域的面作为三维对象处理的操作的一个实施例。

图18是示出分解三维块的操作的一个实施例的图。

图19是示出合成三维块的操作的一个实施例的图。

图20是示出显示装置关于三维块的控制所进行的基本处理的处理顺序的流程图。

图21是用于说明检测抓住三维对象进行的操作的图。

图22是用于说明检测抓住三维对象进行的操作的图。

图23是示出三维对象的选择检测处理的处理顺序的流程图。

图24是示出抓住操作检测处理的处理顺序的流程图。

图25是用于说明检测抓住三维对象进行的其他操作的图。

图26是以与三维对象接触作为选择条件时的选择检测处理的处理顺序的流程图。

图27是示出存储在作用数据中的信息的一个实施例的图。

图28是用于说明检测按压三维对象的操作的图。

图29是用于说明检测按压三维对象的操作的图。

图30是示出三维对象的接触检测处理的处理顺序的流程图。

图31是示出按压操作检测处理的处理顺序的流程图。

具体实施方式

以下，参考附图详细说明本发明。另外，本发明不限于下文的说明。而且，在下文的说明中的构成要素中包括本领域的技术人员可以容易想到的内容、实质上等同的内容和所谓的均等范围的内容。

实施例

首先，参考图1和图2说明第一实施方式的显示装置1的整体结构。图1是显示装置1的立体图。图2是从正面观看由使用者佩戴的显示装置1的图。如图1和图2所示，显示装置1是佩戴在使用者头部的头戴式装置。

显示装置1具有前面部1a、侧面部1b和侧面部1c。当佩戴时，前面部1a被配置在使用者的正面以覆盖使用者的双眼。侧面部1b与前面部1a一侧的端部连接，侧面部1c与前面部1a另一侧的端部连接。在佩戴时，侧面部1b和侧面部1c像眼镜腿一样由使用者的耳朵支撑，使显示装置1稳定。当佩戴时，侧面部1b和侧面部1c也可以在使用者的头部背面连接。

前面部1a在当佩戴时与使用者的眼睛相对的面上具有显示部32a和显示部32b。显示部32a被配置在当佩戴时与使用者的右眼相对的位置，显示部32b被配置在当佩戴时与使用者的左眼相对的位置。显示部32a显示右眼用的图像，显示部32b显示左眼用的图像。这样，通过具有当佩戴时显示与使用者的每只眼睛对应的图像的显示部32a和显示部32b，使得显示装置1可以实现利用双眼视差的三维显示。

如果可以向使用者的右眼和左眼单独提供不同的图像，则显示部32a和显示部32b也可以由一个显示设备构成。例如，也可以通过快速转换遮蔽板以使得只有一只眼睛能看到显示的图像，从而构成为一个显示设备向使用者的右眼和左眼单独提供不同的图像。前面部1a也可以覆盖使用者的眼睛以使得当佩戴时外部光线不进入使用者的眼睛。

前面部1a在与设置有显示部32a和显示部32b的面相反侧的面上具有摄影部40和摄影部42。摄影部40被设置在前面部1a一侧的端部(佩戴时的右眼侧)附近，摄影部42被设置在前面部1a另一侧的端部(佩戴时的左眼侧)附近。摄影部40获得相当于使用者右眼视野的范围的图像。摄影部42获得相当于使用者左眼视野的范围的图像。这里的视野是指例如使用者看正面时的视野。

显示装置1将由摄影部40拍摄的图像作为右眼用图像在显示部32a中显示，将由摄影部42拍摄的图像作为左眼用图像在显示部32b中显示。因此，即使被前面部1a遮挡视野，显示装置1也能向佩戴中的使用者提供与未佩戴显示装置1时相同的情景。

显示装置1具有如上述向使用者提供实际情景的功能，还具有以三维方式显示假想信息，使得使用者可以操作假想信息的功能。通过显示装置1，假想信息如实际存在一样与真实的情景重叠显示。而且，使用者可以例如好像用手实际触摸假想信息那样操作，对假想信息进行移动、旋转、变形等的变化。这样，显示装置1可以关于假想信息提供直观且便利性高的操作方法。在下文的说明中，有时将由显示装置1以三维方式显示的假想信息称为“三维对象”。

显示装置1向使用者提供与未佩戴显示装置1时同样广阔的视野。而且，显示装置1可以在该广阔的视野中的任意位置以任意大小配置三维对象。这样，显示装置1不受显示设备的大小限制，可以在广阔空间的各种位置显示各种大小的三维对象。

在图1和图2中，示出了显示装置1具有类似于眼镜(护目镜)形状的实施例，但是显示装置1的形状不限于此。例如，显示装置1也可以如图3示出的显示装置12那样，具有覆盖使用者头部的大致上半部分的头盔型的形状。或者，显示装置1也可以如图4示出的显示装置13那样，具有覆盖使用者大致整个脸的面具型的形状。显示装置1也可以如图5示出的显示装置14那样，构成为与信息处理装置、电池装置等外部装置4d有线或无线连接。

接着，参考图6说明显示装置1的功能结构。图6是显示装置1的框图。如图6所示，显示装置1具有操作部13、控制部22、存储部24、显示部32a和显示部32b、摄影部40和摄影部42、检测部44、测距部46。操作部13接收显示装置1的启动、停止、动作模式的变更等基本操作。

显示部32a和显示部32b具有液晶显示器(Liquid Crystal Display)、有机EL(Organic Electro-Luminescence，有机发光)面板等的显示设备，根据从控制部22输入的控制信号显示各种信息。显示部32a和显示部32b也可以是使用激光光线等光源在使用者的视网膜上投影图像的投影装置。

摄影部40和摄影部42使用CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等的图像传感器以电子方式拍摄图像。而且，摄影部40和摄影部42将拍摄的图像转换为信号向控制部22输出。

检测部44检测存在于摄影部40和摄影部42的拍摄范围中的真实物体。检测部44例如在存在于拍摄范围的真实物体中检测与预先登记的形状(例如，人手的形状)匹配的物体。检测部44也可以构成为，即使对于未事先登记的物体，也可以根据像素的明亮度、色彩度、色调的边缘等检测图像中的真实物体的范围(形状和大小)。

测距部46测量距存在于摄影部40和摄影部42的拍摄范围中的真实物体的距离。以佩戴显示装置1的使用者的每只眼睛的位置为基准测量每只眼睛距真实物体的距离。因此，当测距部46测量距离的基准位置与每只眼睛的位置偏离时，以根据该偏离量表示距眼睛位置的距离的方式补正测量部46的测定值。

在本实施例中，摄影部40和摄影部42兼作检测部44和测距部46。即，在本实施例中，通过解析由摄影部40和摄影部42拍摄的图像，检测拍摄范围中的物体。而且，通过比较包括在由摄影部40拍摄的图像中的物体和包括在由摄影部42拍摄的图像中的物体，测量(计算)与物体的距离。

显示装置1除了摄影部40和摄影部42之外，也可以具有检测部44。检测部44也可以是使用例如可见光、红外线、紫外线、电波、音波、磁力、静电电容中的至少一个检测存在于拍摄范围中的真实物体的传感器。显示装置1除了摄影部40和摄影部42之外，也可以具有测距部46。测距部46也可以是使用例如可见光、红外线、紫外线、电波、音波、磁力、静电电容中的至少一个检测距存在于拍摄范围中的真实物体的距离的传感器。显示装置1也可以具有如使用TOF(Time-of-Flight，飞行时间)法的传感器那样可以兼作检测部44和测距部46的传感器。

控制部22具有作为运算装置的CPU(Central Processing Unit，中央处理器)和作为存储装置的存储器，通过使用这些硬件资源执行程序来实现各种功能。具体地，控制部22读取存储部24中存储的程序和数据加载至存储器，使CPU执行包括在加载至存储器的程序中的命令。而且，控制部22根据由CPU执行的命令的执行结果，对存储器和存储部24进行数据的读写、或控制显示部32a等的动作。当CPU执行命令时，加载至存储器的数据和通过检测部44检测的操作作为参数或判断条件的一部分所使用。

存储部24由闪存等具有非易失性的存储装置构成，存储各种程序和数据。存储部24中存储的程序包括控制程序24a。存储部24中存储的数据包括对象数据24b、作用数据24c和假想空间数据24d。存储部24也可以通过组合存储卡等便携型存储介质和对存储介质进行读写的读写装置构成。在这种情况下，控制程序24a、对象数据24b、作用数据24c和假想空间数据24d也可以存储在存储介质中。另外，控制程序24a、对象数据24b、作用数据24c和假想空间数据24d也可以通过无线通信或有线通信从服务器装置等的其他装置获得。

控制程序24a提供与用于使显示装置1运转的各种控制相关的功能。在控制程序24a提供的功能中包括将三维对象重叠在摄影部40和摄影部42获得的图像上并在显示部32a和显示部32b中显示的功能，检测对三维对象的操作的功能，根据检测到的操作使三维对象变化的功能等。这样，控制程序24a通过控制三维对象的显示、或检测对三维对象的操作，使得如后所述，使用者可以享受进行立体的游戏的快乐。

控制程序24a包括检测处理部25、显示对象控制部26和图像合成部27。检测处理部25提供用于检测存在于摄影部40和摄影部42的拍摄范围中的真实物体的功能。检测处理部25提供的功能中包括测量距检测到的各个物体的距离的功能。

显示对象控制部26提供用于管理在假想空间中配置什么样的三维对象，各个三维对象处于什么样的状态的功能。显示对象控制部26提供的功能中包括根据通过检测处理部25的功能所检测的真实物体的动作检测对于三维对象的操作，并根据检测到的操作使三维对象变化的功能。

图像合成部27提供用于通过合成真实空间的图像和假想空间的图像，生成在显示部32a中显示的图像和在显示部32b中显示的图像的功能。图像合成部27提供的功能中包括根据通过检测处理部25的功能所测量的距真实物体的距离与从假想空间中的视点到三维对象的距离，判断真实物体和三维对象的前后关系并调整重叠的功能。

对象数据24b包括关于三维对象的形状和性质的信息。对象数据24b用于显示三维对象。作用数据24c包括关于对显示的三维对象的操作如何作用于三维对象的信息。当检测到对显示的三维对象的操作时，作用数据24c用于判断使三维对象如何变化。这里所说的变化包括移动、旋转、变形、消失等。假想空间数据24d保持与配置在假想空间中的三维对象的状态有关的信息。三维对象的状态包括例如位置、姿势、变形等状况。

接着，参考图7，说明根据控制程序24a提供的功能进行控制的实施例。图像P1a是由摄影部40获得的图像，即，相当于用右眼看真实空间的情景的图像。图像P1a中映现出桌子T1和使用者的手H1。显示装置1还获得通过摄影部42拍摄相同场景的图像，即，相当于用左眼看真实空间的情景的图像。

图像P2a是根据假想空间数据24d和对象数据24b生成的右眼用的图像。在本实施例中，假想空间数据24d保持与存在于假想空间中的块状三维对象B1的状态有关的信息，对象数据24b保持与三维对象B1的形状和性质有关的信息。显示装置1根据这些信息再现假想空间，生成以右眼的视点看再现的假想空间的图像P2a。根据预定规则确定在假想空间中的右眼(视点)的位置。同样地，显示装置1也生成以左眼的视点看再现的假想空间的图像。也就是说，显示装置1还通过与图像P2a结合生成以三维方式显示三维对象B1的图像。

显示装置1在图7示出的步骤S1中合成图像P1a和图像P2a，生成图像P3a。图像P3a是作为右眼用的图像在显示部32a中显示的图像。此时，显示装置1以使用者右眼的位置为基准，判断位于摄影部40的拍摄范围中的真实物体和存在于假想空间中的三维对象的前后关系。而且，当真实物体与三维对象重叠时，调整重叠以使得能够从前面看到离使用者的右眼更近的物体。

按真实物体与三维对象重叠的图像上的区域中每个预定大小的范围(例如，每一个像素)进行上述重叠的调整。因此，按图像上的每个预定大小的范围测量从在真实空间中的视点到真实物体的距离。而且，考虑三维对象的位置、形状、姿态等，按图像上的每个预定大小的范围计算从在假想空间中的视点到三维对象的距离。

在图7示出的步骤S1的场景中，三维对象B1在假想空间中被配置在相当于桌子T1在真实空间存在的位置的正上方的位置。而且，在图7示出的步骤S1的场景中，使用者的手H1与三维对象B1以使用者的右眼位置为基准在大致上相同的方向存在于大致上相同的距离处。因此，通过按每个预定大小的范围调整重叠，使得在合成后的图像P3a中，在手H1和三维对象B1重叠的区域之中，在相当于手H1的大拇指的部分处手H1露在前面，在其他部分处三维对象B1露在前面。而且，在桌子T1和三维对象B1重叠的区域处，三维对象B1露在前面。

通过上述的重叠调整，在图7示出的步骤S1中，获得好像三维对象B1被置于桌子T1上并且使用者用手H1抓住三维对象B1的图像P3a。显示装置1通过相同的处理合成由摄影部42拍摄的图像与从左眼的视点看假想空间的图像，生成在显示部32b中显示的图像作为左眼用图像。当生成左眼用的图像时，以使用者的左眼位置为基准调整真实物体和三维对象B1的重叠。

显示装置1在显示部32a和显示部32b中显示如上述生成的合成图像。结果，使用者可以看到好像三维对象B1被置于桌子T1上，用自己的手H1抓住三维对象B1的情景。

在图7示出的步骤S1的场景中，使用者将手H1向箭头A1的方向移动。在这种情况下，在图7示出的步骤S2的场景中，由摄影部40获得的图像变化为手H1的位置向右移动后的图像P1b。而且，显示装置1将手H1的动作判断为以抓住三维对象B1的状态直接向右移动的操作，根据操作，将在假想空间中的三维对象B1的位置向右移动。假想空间中的三维对象B1的移动反映到假想空间数据24d中。结果，根据假想空间数据24d和对象数据24b生成的右眼用的图像变化为三维对象B1的位置向右移动后的图像P2b。下文详细叙述由显示装置1进行的操作的检测。

显示装置1合成图像P1b和图像P2b并生成右眼用的图像P3b。与图像P3a相比，图像P3b是使用者在桌子T1上更靠右侧的位置用手H1抓住三维对象B1的图像。显示装置1同样地生成左眼用的合成图像。而且，显示装置1在显示部32a和显示部32b中显示如上述生成的合成图像。结果，使用者可以看到好像用自己的手H1抓住三维对象B1向右移动的情景。

以与通常的动画帧率相同的频率(例如，每秒30次)更新上述显示用的合成图像。结果，显示装置1显示的图像大致上实时地反映根据使用者的操作的三维对象的变化，使用者可以好像实际存在那样协调地操作三维对象。而且，在本实施例的构造中，操作三维对象的使用者的手无需处于使用者的眼睛与显示部32a、32b之间，因此使用者可以在不担心三维对象的显示被手遮挡的情况下进行操作。

接着，参考图8更详细地说明图6示出的对象数据24b。图8示出存储在对象数据24b中的信息的一个实施例。如图8所示，在对象数据24b中，按每个三维对象存储包括形状信息、颜色、透明度等的信息。形状信息是表示三维对象形状的信息。形状信息例如是构成三维对象的面的顶点坐标的集合。颜色是三维对象表面的颜色。透明度是三维对象使光透过的程度。另外，对象数据24b可以保持关于多个三维对象的信息。

接着，参考图9至图19，说明在游戏中的、控制通过显示装置1进行的三维对象的显示和检测对三维对象的操作。在下文的说明中，有时将佩戴了显示装置1的使用者所看到的空间称为显示空间。

图9是示出通过显示装置1进行的三维对象的显示的一个实施例的模式图。如图9所示，显示装置1在显示空间50中设定游戏区域60。游戏区域60是由三维矩阵划分的立方体形状的假想区域。游戏区域60被划分的各划分区域是立方体形状。另外，在图9中，为了便于说明，虽然以虚线示出游戏区域60被划分的划分区域，但是各划分区域不一定必须如此明示。

显示装置1也可以将检测对三维对象的操作的空间限定为可操作范围51。可操作范围51是例如佩戴显示装置1的使用者的手可以够到的范围。这样，通过限定检测对三维对象的操作的空间，使得可以降低显示装置1用于检测操作所进行的计算处理的负荷。

另外，显示装置1使三维块从作为游戏区域60的一个面的顶面60b向与顶面60b相对的底面60a移动。三维块是占据游戏区域60被划分的一个至多个划分区域的三维对象。三维块有多个种类，每个种类的形状和颜色各异。在对象数据24b中定义各个种类的形状和颜色。

当使三维块在顶面60b附近出现后，显示装置1随时间的经过使三维块向底面60a移动。然后，如果三维块的移动方向的任何面(与底面60a相对的面)与底面60a接触，则显示装置1停止三维块的移动，使三维块呈停止状态。当三维块的移动方向的任何面与呈停止状态的其他三维块接触时，显示装置1也使三维块呈停止状态。

在使一个三维块出现后，如果经过预定时间，则显示装置1使下一个三维块出现。下一个三维块也可能在上一个三维块的移动时出现。为了提高游戏性，显示装置1一点点缩短使三维块出现的间隔。另外，为了提高游戏性，显示装置1也可以逐渐加快使三维块向底面60a移动的速度。

使三维块接连出现的结果是多个三维块在游戏区域60中堆积。例如，在图9示出的实施例中，三维块BL1和三维块BL2到达底面60a并处于停止状态。另外，三维块BL3堆积在三维块BL1之上并处于停止状态。另外，在三维块BL4移动时，三维块BL5出现在顶面60b附近。

显示装置1堆积三维块，游戏区域60的任一层由三维块的要素填满的情况下，消去该层。

图10示出消去层的实施例。在图10示出的步骤SA1中，底面60a之上由三维块的要素填满。在上述一层被填满的情况下，如步骤SA2所示，显示装置1消去被填满的层。然后，显示装置1将除了构成被填满层的三维块之外的部分中、位于被填满层之上的部分分别向底面60a移动，直到与底面60a相对的任何面与底面60a或呈停止状态的其他三维块接触。另外，在图10中，底面60a被显示为可视，但是也可以不显示底面60a。

每当消去被填满的层时，显示装置1增加使用者的得分。当随着被填满层的消去，通过三维块的剩余部分的移动而消去其他层时(所谓的发生连锁时)，显示装置1为使用者增加比通常多的得分。另外，当三维块堆积以致无法出现新的三维块时，显示状1结束上述控制。

使用者使用由显示装置1进行的上述控制，可以享受以尽可能多得分为目的的游戏乐趣。使用者为了增加得分可以操作移动中的三维块。具体地，使用者可以用手或手指使移动中的三维块移动或旋转。

图11示出抓住三维对象进行的操作的一个实施例。在图11示出的实施例中，三维块BL6至BL8处于停止状态，三维块BL9正在移动。在这种情况下，当显示装置1检测到使用者用手H1抓住三维块BL9且将手H1向任意方向移动的动作时，配合手H1的移动来移动三维块BL9。另外，当显示装置1检测到使用者用手H1抓住三维块BL9且将手H1旋转的动作时，配合手H1的旋转来旋转三维块BL9。

而且，当显示装置1检测到使用者把手从三维块BL9放开的动作时，使三维块BL9开始再次向底面60a移动。当三维块BL9的位置或朝向与游戏区域60的划分区域偏离时，显示装置1通过最小补正使三维块BL9的位置和朝向与游戏区域60的划分区域相配。另外，显示装置1限制三维块BL9的移动和旋转，以使得三维块BL9不从游戏区域60突出或三维块BL9不进入其他三维块的内部。另外，为了不降低难度，也可以限制三维块BL9向上的移动。

图12是示出按压三维对象的操作的一个实施例的图。在图12示出的实施例中，三维块BL6至BL8处于停止状态，三维块BL9在移动中。在这种情况下，当显示装置1检测到使用者用手H1按压三维块BL9的动作时，配合手H1的移动来移动三维块BL9。

而且，当显示装置1检测到使用者把手从三维块BL9放开的动作时，使三维块BL9开始再次向底面60a移动。另外，当显示装置1正在检测使用者的按压动作时，也可以使三维块BL9向底面60a继续移动。当三维块BL9的位置与游戏区域60的划分区域偏离时，显示装置1通过最小补正使三维块BL9的位置与游戏区域60的划分区域相配。另外，显示装置1限制三维块BL9的移动，以使得三维块BL9不从游戏区域60突出或三维块BL9不进入其他三维块的内部。

这样，通过抓住进行的操作或按压操作改变三维块的位置或朝向，从而使用者可以有策略地填补游戏区域60的层来得分。另外，显示装置1也可以在与三维块的底面60a相对的任何面与底面60a或呈停止状态的其他三维块接触后，在预定时间内(例如，1秒内)根据使用者的操作变更三维块的位置或朝向。

不仅当三维块到达游戏区域60的底面60a时，也当三维块由使用者操作到达侧面时，显示装置1也可以使三维块停止。图13是用于说明在游戏区域的侧面的移动停止的图。在图13示出的实施例中，三维块BL10通过使用者的操作到达游戏区域60的侧面60c并处于停止状态。然后，三维块BL9正在通过使用者的操作到达游戏区域60的侧面60c。另外，在图13中，侧面60c被显示为可视，但是也可以不显示侧面60c。

当通过抓住进行的操作或按压操作三维块的任何面与游戏区域60的侧面60c接触时，显示装置1在该时间使三维块停止。另外，即使在三维块到达游戏区域60的侧面60c后，显示装置1也可以在预定时间内(例如，1秒内)不使三维块处于停止状态，而根据使用者的操作变更三维块的位置或朝向。

当与侧面60c平行的层被到达游戏区域60的侧面60c的三维块的要素填满时，显示装置1消去该层。然后，显示装置1将除了构成被填满的层的三维块之外的部分中、位于比被填满的层更靠近游戏区域60内侧的部分分别向底面60a移动，直到与底面60a相对的任何面与底面60a或呈停止装置的其他三维块接触。

另外，显示装置1也可以将位于比被填满的层更靠近游戏区域60内侧的部分向三维块到达的侧面60c移动。另外，当显示装置1检测到抓住到达游戏区域60的侧面60c的三维块向与该侧面60c的相反侧移动的操作时，也可以使三维块回到可以再次移动的状态。也就是说，显示装置1也可以设定使用者可以将三维块暂时贴在侧面60c上，在任意时机使其再次移动。

显示装置1也接受将游戏区域60作为三维对象处理的操作。图14是示出将游戏区域60作为三维对象处理的操作的一个实施例。在图14示出的步骤SB1中，三维块BL6至BL8处于停止状态，三维块BL9在移动中。在这种情况下，当显示装置1检测到使用者用双手从侧面60d和60e抓住游戏区域60并向水平方向旋转的动作时，如步骤SB2所示，配合双手的动作使游戏区域60向水平方向旋转。

此时，显示装置1将呈停止状态的三维块与游戏区域60一起旋转。这样，通过将呈停止状态的三维块与游戏区域60一起旋转，使得使用者可以从易于观察的方向看到三维块的堆积状况。另外，显示装置1在检测到使游戏区域60向水平方向旋转的动作时，可以使移动中的三维块与游戏区域60一起旋转，也可以不使移动中的三维块与游戏区域60一起旋转。也可以不使移动的三维块中使用者正抓住的三维块旋转，而使其他三维块与游戏区域一起旋转。另外，显示装置1也可以补正旋转量以使得游戏区域60以90度为单位旋转。

使用者例如按如下进行游戏区域60在水平方向旋转的操作。如步骤SB1和步骤SB2所示，首先，使用者将手H1和游戏区域60的侧面60d抵接，并将手H2和与侧面60d相对的侧面60e抵接。而且，使用者保持手H1和手H2的间隔，如同底面60a的中心存在旋转轴一样旋转手H1和手H2。

图15示出将游戏区域60作为三维对象处理的操作的另一个实施例。在图15示出的步骤SC1中，三维块BL6至BL8处于停止状态，三维块BL9在移动中。在这种情况下，当显示装置1检测到使用者用双手从侧面60d和60e抓住游戏区域60并在垂直方向旋转的动作时，如步骤SC2所示，配合双手的动作使游戏区域60向垂直方向旋转。

此时，显示装置1将呈停止状态的三维块与游戏区域60一起旋转。而且，当显示装置1检测到双手从游戏区域60放开时，如步骤SC3所示，使呈停止状态的三维块向新的底面(本实施例是面60c)移动。当三维块的移动方向的任意面与新的底面或呈停止状态的其他三维块接触时，显示装置1使三维块处于停止状态。另外，也可以在每当游戏区域60在垂直方向旋转90度时，进行使呈停止状态的三维块向新的底面移动的控制。

这样，通过随着垂直方向旋转而变更呈停止状态的三维块的配置，使得使用者可以使三维块的堆积状况显著变化。另外，当在垂直方向旋转游戏区域60时，优选地，显示装置1补正旋转量以使得游戏区域60以90度为单位旋转。另外，当在垂直方向旋转游戏区域60时，显示装置1也可以不使移动中的三维块与游戏区域60一起旋转。

使用者例如按如下进行游戏区域60在垂直方向旋转的操作。如步骤SC1和步骤SC2所示，首先，使用者将手H1和游戏区域60的侧面60d抵接，并将手H2和与侧面60d相对的侧面60e抵接。而且，使用者保持手H1和手H2的间隔，如同存在连接侧面60d的中心和侧面60e的中心的旋转轴一样，使手H1和手H2在相同方向旋转。

另外，在图15示出的实施例中，设定在使游戏区域60在垂直方向旋转后，显示装置1使呈停止状态的三维块向新的底面移动，但是呈停止状态的三维块也可以固定在侧面。另外，显示装置1也可以将呈停止状态的三维块与划分区域单位的要素分离，向新的底面移动。

图16示出将呈停止状态的三维块与划分区域单位要素分离并向底面移动的实施例。图16示出的步骤SD1、SD2和图15示出的步骤SC1、SC2相同。在图16示出的步骤SD3中，为了将呈停止状态的三维块与每个划分区域的要素分离，块BL7的形状与图15示出的步骤SC3中的形状不同。这样，通过将呈停止状态的三维块与每个划分区域的要素分离，使得与底面接触的层由要素填补，结果，使用者易于获得高得分。

显示装置1还接受将游戏区域60的面作为薄三维对象的处理的操作。图17示出将游戏区域60的面作为三维对象处理的操作的一个实施例。在图17示出的步骤SE1中，三维块BL6至BL8处于停止状态，三维块BL9在移动中。在这种情况下，当显示装置1检测到使用者用手抓住游戏区域60并在水平方向旋转的动作时，如步骤SE2所示，配合手的动作使游戏区域60在水平方向旋转。

此时，显示装置1将呈停止状态的三维块与游戏区域60一起旋转。这样，通过将呈停止状态的三维块与游戏区域60一起旋转，使得使用者可以从易于观察的方向看到三维块的堆积状况。另外，显示装置1在检测到使游戏区域60在水平方向旋转的动作时，可以使移动中的三维块与游戏区域60一起旋转，也可以不使移动中的三维块与游戏区域60一起旋转。也可以不使移动的三维块中使用者正抓住的三维块旋转，而使其余的三维块与游戏区域60一起旋转。另外，显示装置1也可以补正旋转量以使得游戏区域60以90度为单位旋转。

使用者例如按如下进行游戏区域60在水平方向旋转的操作。如步骤SE1和步骤SE2所示，首先，使用者以用手指抓住游戏区域60的底面60a的方式配置手H1。之后，使用者如同底面60a的中心存在旋转轴一样旋转手H1。

显示装置1还接受分解三维块的操作和合成三维块的操作。图18示出分解三维块的操作的一个实施例。在图18示出的步骤SF1中，使用者用手H1抓住移动中的三维块BL9的一部分，用手H2抓住移动中的三维块BL9的另一部分。在这种情况下，当显示装置1检测到使用者要分解三维块BL9的操作时，如步骤SF2所示，根据检测到的动作将三维块BL9分解为三维块BL9a和三维块BL9b。当显示装置1检测到使用者的手与三维块BL9a和三维块BL9b分离时，使三维块BL9a和三维块BL9b向底面移动。

这样，通过分解三维块，使得使用者易于填补游戏区域60的层。另外，由于如果设定可以无限制地分解三维块则游戏的难度降低，因此显示装置1也可以限制可以分解三维块的次数或频率。另外，当显示装置1检测到相同的操作时，也可以不分解三维块，而使三维块变形。

使用者例如按如下进行分解三维块BL9的操作。如步骤SF1所示，首先，使用者配置手H1以使得手指抓住三维块BL9的一部分，并配置手H2以使得手指抓住三维块BL9的另一部分。然后，如步骤SF2所示，使用者如同弯曲三维块BL9一样变化手H1和手H2的角度。使用者为了分解三维块BL9，也可以保持抓住三维块BL9的手指的形态，如同拉拽三维块BL9一样使手H1和手H2向相反方向移动。

图19是示出合成三维块的操作的一个实施例的图。在图19示出的步骤SG1中，使用者用手H1抓住移动中的三维块BL9，用手H2抓住移动中的三维块BL11。在这种情况下，当显示装置1检测到使三维块BL9和三维块BL11接触的操作时，如步骤SG2所示，使三维块BL9和三维块BL11合成为三维块BL12。当显示装置1检测到使用者的手与三维块BL12分离时，使三维块BL12向底面移动。

使用者例如按如下进行合成三维块BL9和三维块BL11的操作。如步骤SG1所示，首先，使用者配置手H1以使得手指抓住三维块BL9，并配置手H2以使得手指抓住三维块BL11。然后，如步骤SG2所示，使用者如同将三维块BL9的面与三维块BL11的面重合一样来移动手H1和手H2。结果，以互相重叠的面结合的方式合成三维块BL9和三维块BL11。

接着，参考图20说明显示装置1关于三维块的控制所进行的基本处理的处理顺序。图20是示出显示装置1关于三维块的控制所进行的基本处理的处理顺序的流程图。通过控制部22执行控制程序24a进行图20示出的处理顺序。

如图20所示，首先，作为步骤S101，控制部22设定游戏区域60。具体地，根据在存储部24中存储的设定数据等设定构成游戏区域60的划分区域的大小和数量。然后，作为步骤S102，控制部22设定初始设定待机时段。

接着，作为步骤S103，控制部22判断是否经过了待机时段。当一次未经过待机时段时，判断是否经过了待机时段的基准时间是例如图20示出的处理顺序的开始时间。当已经经过了一次以上的待机时段时，判断是否经过了待机时段的基准时间是经过上次待机时段的时间。

当经过了待机时段时(步骤S103“是”的情况)，作为步骤S104，控制部22使新的三维块出现在游戏区域60的顶面附近，并开始向底面移动。然后，作为步骤S105，控制部22缩短待机时间。通过缩短待机时间，使得新三维块出现的间隔逐渐缩短。当未经过待机时段时(步骤S103“否”的情况)，不执行步骤S104和步骤S105。

接着，作为步骤S106，控制部22使移动的三维块中未被抓住的三维块向游戏区域60的底面移动。然后，作为步骤S107，控制部22判断游戏区域60中是否存在由三维块的要素填满的层。当存在被填满的层时(步骤S107“是”的情况)，作为步骤S108，控制部22消去被填满的层，并使由于层的消去而被分开的三维块的剩余部分向底面移动。然后，控制部22再次执行步骤S107的判断。

当没有被填满的层时(步骤S107“否”的情况)，作为步骤S109，控制部22使移动的三维块中移动方向上的任何面与底面或停止的其他三维块接触的三维块停止移动。接着，作为步骤S110，控制部22判断是否结束处理。当使用者进行了指示结束处理的预定操作时，以及三维块堆积为不能再使新的三维块出现的程度时，控制部22判断结束处理。当结束处理时(步骤S110“是”的情况)，控制部22完成处理顺序。当不结束处理时(步骤S110“否”的情况)，控制部22再次从步骤S103执行。

显示装置1与图20示出的处理顺序并行地进行关于抓住进行的操作的控制和关于按压操作的控制。下文参考图21至图26说明关于抓住进行的操作的控制。另外，参考图27至图31说明关于按压操作的控制。

图21和图22是用于说明检测抓住三维对象进行的操作的图。在图21示出的步骤SH1中，通过显示部32a和32b在显示空间中以立体方式显示三维对象OB1。另外，为了选择三维对象OB1，使用者移动手指F1和手指F2以使得三维对象OB1位于手指F1和手指F2之间。

当显示装置1检测到显示空间中有2个物体，并且三维对象OB1位于该2个物体之间时，监视2个物体的距离D1的变化。而且，如果距离D1在预定时间以上的时间内大致固定，则判断选择了三维对象OB1，将三维对象OB1设为选择状态。而且，显示装置1改变三维对象OB1的显示方式等，向使用者通知三维对象OB1成为选择状态。

在显示装置1监视2个物体的距离的变化期间，2个物体无需留在抓住三维对象OB1的位置。也就是说，使用者如步骤SH1所示移动手指F1和手指F2以使得三维对象OB1位于手指F1和手指F2之间后，也可以不保持该状态，使手指F1和手指F2向其他位置移动。

如步骤SH2所示，使用者从步骤SH1的状态以保持手指F1和手指F2的距离D1大致固定的状态移动手指F1和手指F2。在这种情况下，显示装置1从检测到在手指F1和手指F2之间显示三维对象OB1的阶段，即从步骤SH1的阶段，根据手指F1和手指F2的动作对三维对象OB1施加移动、旋转等的变化。而且，如步骤SH3所示，在手指F1和手指F2的距离D1保持大致固定的状态持续了预定时间以上的阶段，显示装置1将三维对象OB1设为选择状态。

另外，如图22的步骤SI1至SI3所示，在经过预定时间之前手指F1和手指F2的距离D1变大时，显示装置1对三维对象OB1施加与在当时施加的变化相反的变化。结果，在与步骤SI1的阶段相同的位置以相同的状态显示三维对象OB1。对三维对象OB1施加相反变化的速度也可以比当时对三维对象OB1施加变化的速度快。即，也可以以高速倒放的方式使三维对象OB1做相反变化。

这样，通过从检测到三维对象在2个物体之间显示的阶段开始对三维对象施加变化，使得使用者可以从选择确定前识别正在选择三维对象。结果，使用者可以提前知道是否选择了想选的三维对象。另外，到2个物体的距离保持大致固定的状态持续预定时间以上为止，也可以通过以与通常状态和选择状态不同的方式(例如半透明)显示被施加变化的三维对象，从而使用者易于判断三维对象的状态。

另外，也可以不从步骤SH1的阶段根据手指F1和手指F2的动作变化三维对象OB1，而是在三维对象OB1成为选择状态后开始变化三维对象OB1。另外，也可以仅在如步骤SH1所示的三维对象OB1位于手指F1和手指F2之间的状态持续了预定时间后将三维对象OB1设为选择状态。

图23是示出三维对象的选择检测处理的处理顺序的流程图。图23示出的处理顺序通过控制部22执行控制程序24a而实现。如图23所示，首先，作为步骤S201，控制部22判断由检测部44(也就是摄影部40和摄影部42)是否检测到第一物体和第二物体。当未检测到第一物体和第二物体时(步骤S201“否”的情况)，作为步骤S209，如果存在处于假定选择状态的三维对象，则控制部22解除该三维对象的假定选择状态。

然后，作为步骤S210，控制部22判断是否结束处理。当结束处理时(步骤S210“是”的情况)，控制部22完成处理顺序。当不结束处理时(步骤S210“否”的情况)，控制部22再次从步骤S201执行。

当检测到第一物体和第二物体时(步骤S201“是”的情况)，作为步骤S202，控制部22判断是否存在处于假定选择状态的三维对象。当没有处于假定选择状态的三维对象时(步骤S202“否”的情况)，作为步骤S203，控制部22从显示的三维对象之中寻找在第一物体和第二物体之间显示的三维对象。当没有符合的三维对象时(步骤S204“否”的情况)，控制部22执行步骤S210。

当发现在第一物体和第二物体之间显示的三维对象时(步骤S204“是”的情况)，作为步骤S205，控制部22将在第一物体和第二物体之间显示的三维对象设为假定选择状态。另外，作为步骤S206，控制部22计算第一物体和第二物体的距离。然后，控制部22执行步骤S210。

当检测到第一物体和第二物体，并且存在处于假定选择状态的三维对象时(步骤S202“是”的情况)，作为步骤S207，控制部22判断第一物体和第二物体的至少一个是否移动。当第一物体和第二物体都未移动时(步骤S207“否”的情况)，控制部22执行步骤S210。

当第一物体和第二物体的至少一个移动时(步骤S207“是”的情况)，作为步骤S208，控制部22执行图24示出的操作检测处理，其中，根据检测到的操作使处于选择状态的三维对象变化。当抓住操作检测处理结束后，控制部22执行步骤S210。

图24是示出抓住操作检测处理的处理顺序的流程图。图24示出的处理顺序通过控制部22执行控制程序24a而实现。如图24所示，首先，作为步骤S301，控制部22计算第一物体和第二物体的距离。然后，作为步骤S302，控制部22判断在抓住操作检测处理开始之后的第一物体和第二物体的距离是否扩大。

当第一物体和第二物体的距离大致固定时(步骤S302“否”的情况)，作为步骤S303，控制部22判断从操作检测处理开始后是否经过了预定时间。当经过了预定的时间时(步骤S303“是”的情况)，作为步骤S304，如果存在处于假定选择状态的三维对象，则控制部22将该三维对象设为选择状态。当未经过预定时间时(步骤S303“否”的情况)，不执行步骤S304。

接着，作为步骤S305，控制部22根据检测到的第一物体和第二物体的动作使三维对象移动或旋转。例如，当第一物体和第二物体是手且被抓住的三维对象是游戏区域60时，控制部22根据第一物体和第二物体的动作，对游戏区域60施加如图14至图17示出的变化。另外，当第一物体和第二物体是手且被抓住的三维对象是三维块时，控制部22对三维块施加如图11、图13、图18和图19示出的变化。然后，控制部22再次从步骤S301执行。

当第一物体和第二物体的距离扩大时(步骤S302“是”的情况)，作为步骤S306，控制部22判断在第一物体和第二物体之间显示的三维对象是否处于假定选择状态。

当三维对象处于假定选择状态时(步骤S306“是”的情况)，作为步骤S307，控制部22解除三维对象的假定选择状态。另外，作为步骤S308，控制部22使三维对象进行相反的变化并返回初始状态。然后，控制部22结束抓住操作检测处理。

当三维对象不处于假定选择状态，即处于选择状态时(步骤S306“否”的情况)，作为步骤S309，控制部22解除三维对象的选择状态。然后，控制部22结束操作检测处理。

另外，如图25示出的步骤SJ1至步骤SJ3，也可以设定选择三维对象的条件为：在第一物体和第二物体的至少一个与三维对象接触后，第一物体和第二物体的距离保持大致固定持续预定时间以上。通过以与三维对象的接触作为选择条件，使得当多个三维对象被显示为彼此靠近时，使用者易于选择希望的三维对象。

图26是以与三维对象接触作为选择条件时的选择检测处理的处理顺序的流程图。如图23所示，首先，作为步骤S401，控制部22判断由检测部44(也就是摄影部40和摄影部42)是否检测到第一物体和第二物体。当未检测到第一物体和第二物体时(步骤S401“否”的情况)，作为步骤S409，如果存在处于假定选择状态的三维对象，则控制部22解除该三维对象的假定选择状态。

然后，作为步骤S410，控制部22判断是否结束处理。当结束处理时(步骤S410“是”的情况)，控制部22完成处理顺序。当不结束处理时(步骤S410“否”的情况)，控制部22再次从步骤S401执行。

当检测到第一物体和第二物体时(步骤S401“是”的情况)，作为步骤S402，控制部22判断是否存在处于假定选择状态的三维对象。当没有处于假定选择状态的三维对象时(步骤S402“否”的情况)，作为步骤S403，控制部22从显示的三维对象之中寻找与第一物体和第二物体的至少一个接触的三维对象。当没有符合的三维对象时(步骤S404“否”的情况)，控制部22执行步骤S410。

当发现与第一物体和第二物体的至少一个接触的三维对象时(步骤S404“是”的情况)，作为步骤S405，控制部22将在第一物体和第二物体之间显示的三维对象设为假定选择状态。另外，作为步骤S406，控制部22计算第一物体和第二物体的距离。然后，控制部22执行步骤S410。

当检测到第一物体和第二物体并且存在处于假定选择状态的三维对象时(步骤S402“是”的情况)，作为步骤S407，控制部22判断第一物体和第二物体的至少一个是否移动。当第一物体和第二物体都未移动时(步骤S407“否”的情况)，控制部22执行步骤S410。

当第一物体和第二物体的至少一个移动时(步骤S407“是”的情况)，作为步骤S408，控制部22执行图24示出的操作检测处理，其中，根据检测到的操作使处于选择状态的三维对象变化。当抓住操作检测处理结束后，控制部22执行步骤S410。

图27示出存储在作用数据24c中的信息的一个实施例。如图27所示，检测到按压操作时的三维对象的变化根据有无支点、有无在按压方向上的障碍物和按压速度的不同而不同。另外，这里所说的障碍物是游戏区域60的面和其他三维对象。另外，根据阈值判断按压速度是快是慢。

当三维对象没有支点并且在按压方向上没有障碍物时，三维对象被显示为根据按压量向按压方向移动。另外，可以例如根据按压速度确定三维对象是与按压的物体一起移动，或是像由按压的物体弹开一样远离该物体移动。

当三维对象没有支点，在按压方向上存在停止的三维块或游戏区域60的面这样被固定的障碍物时，三维对象被显示为根据按压量向按压方向移动，在与障碍物接触时停止移动。另外，当按压速度快时，也可以设定三维对象破坏障碍物并继续移动。另外，当三维对象像由按压的物体弹开一样远离该物体移动期间接触障碍物时，也可以使三维对象以弹回方式向反方向移动。

当三维对象没有支点，在按压方向上存在移动中的三维块这样未固定的障碍物，并且按压速度慢时，三维对象被显示为根据按压量向按压方向移动，当与障碍物接触后，障碍物也显示为一起移动。另外，当三维对象没有支点，在按压方向上存在移动中的三维块这样未固定的障碍物，并且按压速度快时，三维对象被显示为根据按压量在按压方向移动。然后，当三维对象与障碍物接触后，障碍物以被弹开的方式移动。三维对象与障碍物接触后，也可以在当时停止，也可以降低速度继续移动。

当三维对象有支点时，三维对象被显示为根据按压方向和按压量以支点为中心旋转。这里所说的旋转可以是以360度一圈圈的旋转，也可以是在预定的旋转范围内往复的转动。

图28和图29是用于说明检测按压三维对象的操作的图。在图28示出的步骤SK1中，通过显示部32a和32b在显示空间中立体显示三维对象OB1。另外，使用者使手指F1与三维对象OB1接触。

这里，使用者使手指进入三维对象OB1的内侧。当显示装置1检测到与三维对象OB1接触的物体移动到三维对象OB1的内侧时，如步骤SK2所示，从该时间根据手指F1进行的操作使三维对象OB1变化。在图28示出的例子中，在步骤SK2中，三维对象OB1开始配合手指F1的移动而移动。

然后，如步骤SK3所示，显示装置1在手指F1朝三维对象OB1的内侧的移动持续了预定时间以上的阶段确定三维对象OB1作为操作对象。然后，显示装置1改变三维对象OB1的显示方式等，向使用者通知三维对象OB1被确定为操作对象。之后，在检测到手指F1向三维对象OB1的内侧移动期间，显示装置1持续使三维对象OB1变化。

另外，如图29的步骤SL3所示，当经过预定时间之前检测不到手指F1向三维对象OB1的内侧移动时，显示装置1对三维对象OB1施加与在当时施加的变化相反的变化。结果，在与步骤SK1(SL1)的阶段相同的位置以相同的状态显示三维对象OB1。对三维对象OB1施加相反变化的速度也可以比当时对三维对象OB1施加变化的速度快。即，也可以如高速倒放一样使三维对象OB1做相反变化。

这样，通过从检测到物体进入三维对象的内侧的阶段开始对三维对象施加变化，使得使用者可以在选择确定前认识到正在选择三维对象。结果，使用者可以提前知道是否选择了想选的三维对象。另外，当选择了不想选的三维对象时，使用者可以在经过预定时间前终止操作使得不想选择的三维对象返回初始状态。

另外，到手指F1向三维对象OB1内侧的移动持续预定时间以上为止，也可以通过以与通常状态和确定选择作为操作对象后的状态不同的方式(例如半透明)显示被施加变化的三维对象。通过如上述变更显示方式，使得使用者易于判断三维对象的状态。

另外，也可以不从步骤SK1的阶段根据手指F1的动作变化三维对象OB1，而是在三维对象OB1成为选择状态后开始变化三维对象OB1。另外，也可以仅在如步骤SK1中手指F1与三维对象OB接触的状态持续了预定时间后确定三维对象OB1作为操作对象。

图30是示出三维对象的接触检测处理的处理顺序的流程图。图30示出的处理顺序通过控制部22执行控制程序24a而实现。

如图30所示，首先，作为步骤S501，控制部22判断由检测部44(也就是摄影部40和摄影部42)是否检测到预定物体。预定物体例如是使用者的手指。当未检测到预定物体时(步骤S501“否”的情况)，作为步骤S506，控制部22判断是否结束处理。当结束处理时(步骤S506“是”的情况)，控制部22完成处理顺序。当不结束处理时(步骤S506“否”的情况)，控制部22再次从步骤S501执行。

当检测到预定物体时(步骤S501“是”的情况)，作为步骤S502，控制部22寻找与预定物体接触的三维对象。当没有与预定物体接触的三维对象时(步骤S503“否”的情况)，控制部22执行步骤S506。

当找到与预定物体接触的三维对象时(步骤S503“是”的情况)，作为步骤S505，进行图31示出的按压操作检测处理。之后，控制部22执行步骤S506。

图31是示出按压操作检测处理的处理顺序的流程图。图31示出的处理顺序通过控制部22执行控制程序24a而实现。首先，如图31所示，作为步骤S601，控制部22判断预定物体是否移动至三维对象的内部。当预定物体未移动至三维对象的内部时(步骤S601“否”的情况)，由于该三维对象不判断为操作对象，因此控制部22结束按压操作处理。

当预定物体移动至三维对象的内部时(步骤S601“是”的情况)，作为步骤S602，控制部22计算预定物体的速度。然后，作为步骤S603，控制部22根据预定物体的位置和速度变化三维对象。根据作用数据24c确定具体的变化方式。

接着，作为步骤S604，控制部22判断从接触检测开始的经过时间是否在预定时间以上。当经过时间比预定时间短时，也就是未确定三维对象作为按压操作的对象时(步骤S604“否”的情况)，作为步骤S605，控制部22判断预定物体是否继续向三维对象的内部方向移动。

当继续向三维对象的内部方向移动时(步骤S605“是”的情况)，控制部22再次从步骤S602执行。当不再继续向三维对象的内部方向移动时(步骤S605“否”的情况)，作为步骤S606，控制部22使三维对象进行相反的变化而返回初始状态。然后，控制部22结束按压操作检测处理。

另外，当从接触检测开始的经过时间在预定时间以上时(步骤S604“是”的情况)，作为步骤S607，控制部22判断预定物体是否移动至三维对象的外部。当预定物体未移动至三维对象的外部时，也就是按压操作继续时(步骤S607“否”的情况)，控制部22再次从步骤S602执行。

当预定物体移动至三维对象的外部时，也就是三维对象被释放时(步骤S607“是”的情况)，作为步骤S608，控制部22判断三维对象的变化是否继续。例如，如果在作用数据24c中定义了释放后也持续预定时间的振动的情况下，则判断三维对象的变化继续。

当三维对象的变化继续时(步骤S608“是”的情况)，作为步骤S609，控制部22使三维对象变化，之后再次从步骤S608执行。当三维对象的变化不继续时(步骤S608“否”的情况)，控制部22结束按压操作检测处理。

另外，上述实施例中示出的本发明的方式在不脱离本发明的主旨的范围内可以任意变更。例如，上述实施例示出的控制程序24a也可以分割为多个模块，也可以与其他程序合并。另外，在上述实施例中，对三维对象使用手或手指进行操作，但是也可以使用棒状物等代替手指。

另外，在上述实施例中，显示装置单独检测对三维对象的操作，但是也可以显示装置和服务器装置协作检测对三维对象的操作。在这种情况下，显示装置将检测部检测到的信息依次向服务器装置发送，服务器装置检测操作并将检测结果向显示装置通知。通过设定为上述构造，可以减少显示装置承载的负荷。

附图标记说明

1～4 显示装置

1a 前面部

1b 侧面部

1c 侧面部

4d 外部装置

13 操作部

22 控制部

24 存储部

24a 控制程序

24b 对象数据

24c 作用数据

24d 假想空间数据

25 检测处理部

26 显示对象控制部

27 图像合成部

32a、32b 显示部

40、42 摄影部

44 检测部

46 测距部

Claims (18)

1.一种显示装置，包括：显示部，当显示装置被佩戴时通过显示与用户两只眼睛各自对应的图像，从而在假想游戏区域中立体显示分别包括一个或多个要素的多个三维块，所述假想游戏区域在显示空间中被划分成三维矩阵的形状，所述一个或多个要素分别占据被划分的各划分区域中的一个；控制部，控制所述显示部；以及检测部，检测所述显示空间中的物体的位置，其特征在于，

所述控制部控制所述显示部，

使可移动的三维块出现，并且

当通过所述检测部检测到在所述显示空间中的所述物体随时间进行变化时，根据检测结果以所述划分区域为单位移动所述可移动的三维块，

当通过移动所述可移动的三维块，使得所述游戏区域的一层的所有划分区域都被所述多个三维块和多个所述可移动的三维块的要素填满时，消去所述要素，以及

根据所述检测部的检测结果旋转所述游戏区域。

2.如权利要求1所述的显示装置，其特征在于，当一个可移动的三维块出现后，所述控制部进行控制，以使得经过预定时间后出现下一个可移动的三维块。

3.如权利要求2所述的显示装置，其特征在于，所述控制部随着时间的经过，缩短使所述可移动的三维块出现的间隔的时间。

4.如权利要求1所述的显示装置，其特征在于，所述控制部进行控制，以使所述可移动的三维块随着时间的经过从所述游戏区域的第一面向与所述第一面相对的第二面移动。

5.如权利要求4所述的显示装置，其特征在于，所述控制部进行控制，以使得：即使所述检测部检测到所述物体从所述第二面向所述第一面的移动，也不使所述可移动的三维块向所述第一面移动。

6.如权利要求4所述的显示装置，其特征在于，所述控制部进行控制，以使得：当第一可移动的三维块的面中的至少一个面到达所述第二面时，无论所述检测部的检测结果如何，也不移动所述第一可移动的三维块，

所述控制部进行控制，以使得：当第二可移动的三维块的面中的至少一个面到达存在所述第一可移动的三维块的划分区域时，无论所述检测部的检测结果如何，也不移动所述第二可移动的三维块。

7.如权利要求6所述的显示装置，其特征在于，所述控制部进行控制，以使得所述第一可移动的三维块和所述第二可移动的三维块仅限在预定条件下移动。

8.如权利要求7所述的显示装置，其特征在于，所述控制部进行控制，以使得：当所述第一可移动的三维块的面中的至少一个面到达所述第二面后，在预定时间内所述检测部检测到所述物体的移动的情况下，根据所述检测部的检测结果使所述第一可移动的三维块移动，

所述控制部进行控制，以使得：当所述第二可移动的三维块的面中的至少一个面到达存在所述第一可移动的三维块的划分区域后，在预定时间内所述检测部检测到所述物体的移动的情况下，根据所述检测部的检测结果使所述第二可移动的三维块移动。

9.如权利要求1所述的显示装置，其特征在于，所述控制部在旋转所述游戏区域时不使所述可移动的三维块旋转。

10.如权利要求1所述的显示装置，其特征在于，所述控制部在使所述游戏区域在垂直方向旋转时，变更使所述可移动的三维块出现的位置。

11.如权利要求10所述的显示装置，其特征在于，所述控制部在使所述游戏区域在垂直方向旋转的情况下，使所述游戏区域中的所述多个三维块向所述游戏区域的底面移动。

12.如权利要求10所述的显示装置，其特征在于，所述控制部在使所述游戏区域在垂直方向旋转的情况下，将在所述游戏区域中的所有三维块中的、所述多个三维块和被控制为不移动的所述可移动的三维块按每个划分区域分割为要素，并将所述要素向所述游戏区域的底面移动。

13.如权利要求1所述的显示装置，其特征在于，

所述控制部：

通过所述检测部检测所述物体抓住所述可移动的三维块的动作，

只使所述可移动的三维块移动与持续所述抓住动作的所述物体的移动量对应的划分区域，或只使所述可移动的三维块旋转与持续所述抓住动作的所述物体的旋转量对应的预定角度。

14.如权利要求13所述的显示装置，其特征在于，

所述控制部：

通过所述检测部检测所述物体在多处抓住所述可移动的三维块的动作，

根据在所述多处抓住所述可移动的三维块的所述物体的移动或旋转，使所述可移动的三维块变形或使所述可移动的三维块分离为多个新的三维块。

15.如权利要求1所述的显示装置，其特征在于，

所述控制部：

通过所述检测部检测所述物体按压所述可移动的三维块的动作，

只使所述可移动的三维块移动与在所述按压动作中所述物体的移动量对应的划分区域。

16.如权利要求1所述的显示装置，其特征在于，所述检测部是检测所述显示空间中的物体的形状及随时间的变化的摄影部或红外线传感器。

17.一种控制系统，包括终端和控制所述终端的控制部，其中，所述终端具有：显示部，当所述终端被佩戴时通过显示与用户两只眼睛各自对应的图像，从而在假想游戏区域中立体显示分别包括一个或多个要素的多个三维块，所述假想游戏区域在显示空间中被划分为三维矩阵的形状，所述一个或多个要素分别占据被划分的各划分区域中的一个；以及检测部，检测所述显示空间中的物体的位置，其特征在于，

所述控制部控制所述显示部，

使可移动的三维块出现，并且

当通过所述检测部检测到在所述显示空间中的所述物体随时间的变化时，根据检测结果以所述划分区域为单位移动所述可移动的三维块，

当通过移动所述可移动的三维块，使得所述游戏区域的一层的所有划分区域都被所述多个三维块和多个所述可移动的三维块的要素填满时，消去所述要素，以及

根据所述检测部的检测结果旋转所述游戏区域。

18.一种控制方法，使具有显示部和检测部的显示装置进行下述步骤，其中，当显示装置被佩戴时，所述显示部通过显示与用户两只眼睛各自对应的图像，在显示空间中立体显示三维形状，所述检测部检测所述显示空间中的物体的位置，所述步骤包括：

在假想游戏区域中显示分别包括一个或多个要素的多个三维块，所述假想游戏区域在所述显示空间中被划分为三维矩阵的形状，所述一个或多个要素分别占据被划分的各划分区域中的一个；

在所述显示空间中使可移动的三维块出现；

当检测到在所述显示空间中的所述物体随时间的变化时，以所述划分区域为单位移动所述可移动的三维块；

当通过移动所述可移动的三维块，使得所述游戏区域的一层的所有划分区域都被所述多个三维块和多个所述可移动的三维块的要素填满时，消去所述要素；以及

根据所述检测部的检测结果旋转所述游戏区域。