CN104662602A - 显示装置、控制系统和控制程序 - Google Patents

显示装置、控制系统和控制程序 Download PDF

Info

Publication number
CN104662602A
CN104662602A CN201380050069.9A CN201380050069A CN104662602A CN 104662602 A CN104662602 A CN 104662602A CN 201380050069 A CN201380050069 A CN 201380050069A CN 104662602 A CN104662602 A CN 104662602A
Authority
CN
China
Prior art keywords
dimensional object
display
control part
display device
aggregate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380050069.9A
Other languages
English (en)
Inventor
上野泰弘
田边茂辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN104662602A publication Critical patent/CN104662602A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/06—Patience; Other games for self-amusement
    • A63F9/0612—Electronic puzzles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/06—Patience; Other games for self-amusement
    • A63F9/08—Puzzles provided with elements movable in relation, i.e. movably connected, to each other
    • A63F9/0826—Three-dimensional puzzles with slidable or rotatable elements or groups of elements, the main configuration remaining unchanged, e.g. Rubik's cube
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种显示装置(1)，包括：显示部(32a和32b)，当显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，在显示空间中立体显示多个立方体沿正交的3个方向排列所构成的集合体；检测部(44)，检测显示空间中的物体的动作；以及控制部(22)，根据检测部(44)的检测结果改变集合体的各要素的位置。控制部(22)进行如下控制：根据检测部(44)的检测结果，将与正交的3个方向中的一个方向作为旋转轴旋转立方体，以使得在6个面中的与该一个方向正交的面上，构成与该一个方向正交的面的各要素的位置关系不变，并且在与正交的3个方向之中的其他方向正交的多个其他面上，构成多个其他面的各要素在多个其他面之间替换。

Description

显示装置、控制系统和控制程序
技术领域
本发明涉及显示装置、控制系统以及控制程序。
背景技术
在包括手机终端等显示部的显示装置中，可以立体显示图像等(例如，参考专利文献1)。利用双眼的视差实现立体显示。
另外，存在可以进行3D游戏应用的游戏装置(例如，参考专利文献2)。例如，专利文献2中记载的游戏装置使用由三维计算机图形显示的立体拼图进行3D游戏。
现有技术文献
专利文献
专利文献1：日本专利公开公报“特开2011-95547”
专利文献2：日本专利公开公报“特开2011-101677”
发明内容
发明所要解决的技术问题
尽管对于使用者立体显示是易于接受的显示形式，但是在现有的显示装置中，立体显示只用于视听目的，而不用于提高操作的便利性。另外，虽然存在立体拼图等3D游戏的应用，但是在现有的游戏装置中，只能通过操作按键等选择指定的一个对象，因此需要时间以进一步习惯操作。
本发明的目的在于提供：可以在3D应用中向使用者提供便利性高的操作方法的显示装置、控制系统以及控制程序。
解决问题所需手段
在一个实施方式中，一种显示装置，包括：显示部，当显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，在显示空间中立体显示多个立方体沿正交的3个方向排列所构成的集合体；检测部，检测所述显示空间中的物体的动作；以及控制部，根据所述检测部的检测结果改变所述集合体的各要素的位置。所述集合体的6个面的各个面由以各立方体的外表面为要素的集合体构成，各要素标有能够判断所有的该要素是否属于同一组的标记。所述控制部进行如下控制：根据所述检测部的检测结果，将与所述正交的3个方向中的一个方向作为旋转轴旋转所述立方体，以使得在所述6个面中的与所述一个方向正交的面上，构成与所述一个方向正交的面的各要素的位置关系不变，并且在与所述正交的3个方向中的其他方向正交的多个其他面上，构成所述多个其他面的各要素在所述多个其他面之间替换。
在其他实施方式中，一种显示装置，包括：显示部，当显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，在显示空间中立体显示立体拼图；检测部，检测所述显示空间中的物体的动作；以及控制部，根据所述检测部的检测结果改变所述立体拼图的小块的位置。
在其他实施方式中，一种控制系统，具有显示装置和控制装置。显示装置包括：显示部，当显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，在显示空间中立体显示多个立方体沿正交的3个方向排列所构成的集合体；以及检测部，检测所述显示空间中的物体的动作。控制装置包括控制部，所述控制部根据所述检测部的检测结果改变所述集合体的各要素的位置。所述集合体的6个面的各个面由以各立方体的外表面为要素的集合体构成，各要素标有能够判断所有所述要素是否属于同一组的标记。所述控制部进行如下控制：根据所述检测部的检测结果，将与所述正交的3个方向中的一个方向作为旋转轴旋转所述立方体，以使得在所述6个面中的与所述一个方向正交的面上，构成与所述一个方向正交的面的各要素的位置关系不变，并且，在与所述正交的3个方向中的其他方向正交的多个其他面上，构成所述多个其他面的各要素在所述多个其他面之间替换。
在其他实施方式中，一种控制程序，使得显示装置进行如下的步骤，其中，所述显示装置包括：显示部，当显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，在显示空间中立体显示多个立方体沿正交的3个方向排列所构成的集合体；检测部，检测所述显示空间中的物体的动作；以及控制部，根据所述检测部的检测结果改变所述集合体的各要素的位置，其中，所述集合体的6个面的各个面由以各立方体的外表面为要素的集合体构成，各要素标有能够判断所有所述要素是否属于同一组的标记，所述步骤包括：通过所述检测部检测操作；以及根据所述检测部的检测结果，将与所述正交的3个方向中的一个方向作为旋转轴旋转所述立方体，以使得在所述6个面中与所述一个方向正交的面上，构成与所述一个方向正交的面的各要素的位置关系不变，并且在与所述正交的3个方向中的其他方向正交的多个其他面上，构成所述多个其他面的各要素在所述多个其他面之间替换。
一种显示装置，包括：显示部，当显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，在显示空间中立体显示沿连结多个正N面体(N＝4、6、8、12、20)的各顶点构成的各面排列所构成的集合体；检测部，检测所述显示空间中的物体的动作；以及控制部，根据所述检测部的检测结果改变所述集合体的各要素的位置。所述集合体的各要素标有能够判断所有的该要素是否属于同一组的标记，所述控制部进行如下控制：将与所述各面之中的第一面正交的方向作为旋转轴旋转正N面体，以使得在所述第一面上并且如果有与所述第一面平行的面也在平行的面上，各要素的位置关系不变，并且在与所述第一面相交的面或如果有与所述第一面平行的面则在与平行的面相交的多个其他面上，构成所述多个其他面的各要素在所述多个其他面之间替换。
发明效果
本发明起到能够在3D应用中向使用者提供便利性高的操作方法的效果。
附图简要说明
图1是第一实施例的显示装置的立体图。
图2是从正面观看由使用者佩戴的显示装置的图。
图3是示出显示装置的变形例的图。
图4是示出显示装置的其他变形例的图。
图5是示出显示装置的其他变形例的图。
图6是第一实施例的显示装置的框图。
图7是示出根据控制程序提供的功能进行控制实施例的图。
图8是用于说明对于第一实施例中三维对象的操作的检测的图。
图9是示出对于三维对象的选择和操作的一个实施例的图。
图10是示出对于三维对象的选择和操作的另一个实施例的图。
图11是示出选择检测处理的处理顺序的流程图。
图12是示出操作检测处理的处理顺序的流程图。
图13是示出对于单个三维对象的操作检测处理的处理顺序的详细内容的流程图。
图14是示出对于多个三维对象的操作检测处理的处理顺序的详细内容的流程图。
图15是示出多个三维对象的显示的一个实施例的图。
图16是对于图15示出的多个三维对象的选择和操作的一个实施例的图。
图17是对于图15示出的多个三维对象的选择和操作的另一个实施例的图。
图18是示出多个三维对象的显示的另一个实施例的图。
图19是对于图18示出的多个三维对象的选择和操作的一个实施例的图。
图20是用于说明对于三维对象的操作的检测的其他实施例的图。
图21是示出以与三维对象的接触为选择条件时的选择检测处理的处理顺序的流程图。
图22是用于说明对于第二实施例中三维对象的操作的检测的图。
图23是示出选择检测处理的处理顺序的流程图。
图24是用于说明对于三维对象的操作的检测的其他实施例的图。
图25是示出以与三维对象的接触为选择条件时的选择检测处理的处理顺序的流程图。
图26是用于说明对于第三实施例中三维对象的操作的检测的图。
图27是用于说明对于第三实施例中三维对象的操作的检测的图。
图28是示出选择检测处理的处理顺序的流程图。
图29是示出操作检测处理的处理顺序的流程图。
图30是用于说明对于三维对象的操作的检测的其他实施例的图。
图31是示出以与三维对象的接触为选择条件时的选择检测处理的处理顺序的流程图。
图32A是示出在正N面体(N＝4、8、12、20)中的实施例，并示出在各面中的各要素的图。
图32B是示出在正N面体(N＝4、8、12、20)中的实施例，并示出在各面中的各要素的图。
图32C是示出在正N面体(N＝4、8、12、20)中的实施例，并示出在各面中的各要素的图。
图32D是示出在正N面体(N＝4、8、12、20)中的实施例，并示出在各面中的各要素的图。
具体实施方式
以下，参考附图详细说明本发明。另外，本发明不限于下文的说明。而且，在下文的说明中的构成要素中包括本领域的技术人员可以容易想到的内容、实质上等同的内容和所谓均等范围的内容。在下文中，对作为三维对象的一个实施例的正六面体型立体拼图(所谓的三阶魔方(ルービックキューブ)(注册商标)等)进行说明，但是本发明的适用对象不限于正六面体型立体拼图，对于本领域的技术人员公知的立体拼图本发明也可适用。
实施例1
首先，参考图1和图2说明第一实施方式的显示装置1的整体结构。图1是显示装置1的立体图。图2是从正面观看由使用者佩戴的显示装置1的图。如图1和图2所示，显示装置1是佩戴在使用者头部的头戴式装置。
显示装置1具有前面部1a、侧面部1b和侧面部1c。当佩戴时，前面部1a被配置在使用者的正面以覆盖使用者的双眼。侧面部1b与前面部1a一侧的端部连接，侧面部1c与前面部1a另一侧的端部连接。在佩戴时，侧面部1b和侧面部1c像眼镜腿一样由使用者的耳朵支撑，使显示装置1稳定。当佩戴时，侧面部1b和侧面部1c也可以在使用者的头部背面连接。
前面部1a在当佩戴时与使用者的眼睛相对的面上具有显示部32a和显示部32b。显示部32a被配置在当佩戴时与使用者的右眼相对的位置，显示部32b被配置在当佩戴时与使用者的左眼相对的位置。显示部32a显示右眼用的图像，显示部32b显示左眼用的图像。这样，通过具有当佩戴时显示与使用者的两只眼睛各自对应的图像的显示部32a和显示部32b，使得显示装置1可以实现利用双眼视差的三维显示。
如果可以向使用者的右眼和左眼单独提供不同的图像，则显示部32a和显示部32b也可以由一个显示设备构成。例如，也可以通过快速转换遮蔽板以使得只有一只眼睛能看见显示的图像，从而构成为一个显示设备向使用者的右眼和左眼单独提供不同的图像。前面部1a也可以覆盖使用者的眼睛以使得当佩戴时外部光线不进入使用者的眼睛。
前面部1a在与设置有显示部32a和显示部32b的面相反侧的面上具有摄影部40和摄影部42。摄影部40被设置在前面部1a一侧的端部(佩戴时的右眼侧)附近，摄影部42被设置在前面部1a另一侧的端部(佩戴时的左眼侧)附近。摄影部40获得相当于使用者右眼视野的范围的图像。摄影部42获得相当于使用者左眼视野的范围的图像。这里的视野是指例如使用者看正面时的视野。
显示装置1将由摄影部40拍摄的图像作为右眼用图像在显示部32a中显示，将由摄影部42拍摄的图像作为左眼用图像在显示部32b中显示。因此，即使被前面部1a遮挡视野，显示装置1也能向佩戴中的使用者提供与未佩戴显示装置1时相同的情景。
显示装置1具有如上述向使用者提供实际情景的功能，还具有以三维方式显示假想信息，使得使用者可以操作假想信息的功能。通过显示装置1，假想信息如实际存在一样与真实的情景重叠显示。而且，使用者可以例如好像用手实际触摸假想信息那样操作，对假想信息进行移动、旋转、变形等的变化。这样，显示装置1可以关于假想信息提供直观且便利性高的操作方法。在下文的说明中，有时将由显示装置1以三维方式显示的假想信息称为“三维对象”。
显示装置1向使用者提供与未佩戴显示装置1时同样广阔的视野。而且，显示装置1可以在该广阔的视野中的任意位置以任意大小配置三维对象。这样，显示装置1不受显示设备的大小限制，可以在广阔空间的各种位置显示各种大小的三维对象。
在图1和图2中，示出了显示装置1具有类似于眼镜(护目镜)形状的实施例，但是显示装置1的形状不限于此。图3是示出显示装置的变形例的图。图4和图5是示出显示装置其他变形例的图。例如，显示装置1也可以如图3示出的显示装置2那样，具有覆盖使用者头部的大致上半部分的头盔型的形状。或者，显示装置1也可以如图4示出的显示装置3那样，具有覆盖使用者大致整个脸的面具型的形状。显示装置1也可以如图5示出的显示装置4那样，构成为与信息处理装置、电池装置等外部装置4d有线或无线连接。
接着，参考图6说明显示装置1的功能结构。图6是显示装置1的框图。如图6所示，显示装置1具有操作部13、控制部22、存储部24、显示部32a和显示部32b、摄影部40和摄影部42、检测部44、测距部46。操作部13接收显示装置1的启动、停止、动作模式的变更等基本操作。
显示部32a和显示部32b具有液晶显示器(Liquid Crystal Display)、有机EL(Organic Electro-Luminescence，有机发光)面板等的显示设备，根据从控制部22输入的控制信号显示各种信息。显示部32a和显示部32b也可以是使用激光光线等光源在使用者的视网膜上投影图像的投影装置。
摄影部40和摄影部42使用CCD(Charge Coupled Device ImageSensor)、CMOS(Complementary Metal Oxide Semiconductor)等的图像传感器以电子方式拍摄图像。而且，摄影部40和摄影部42将拍摄的图像转换为信号向控制部22输出。
检测部44检测存在于摄影部40和摄影部42的拍摄范围中的真实物体。检测部44例如在存在于拍摄范围的真实物体中检测与预先登记的形状(例如，人手的形状)匹配的物体。检测部44也可以构成为，即使对于未事先登记的物体，也可以根据像素的明亮度、色彩度、色调的边缘等检测图像中的真实物体的范围(形状和大小)。
测距部46测量距存在于摄影部40和摄影部42的拍摄范围中的真实物体的距离。以佩戴显示装置1的使用者的每只眼睛的位置为基准测量每只眼睛距真实物体的距离。因此，当测距部46测量距离的基准位置与每只眼睛的位置偏离时，以根据该偏离量表示距眼睛位置的距离的方式补正测量部46的测定值。
在本实施例中，摄影部40和摄影部42兼作检测部44和测距部46。即，在本实施例中，通过解析由摄影部40和摄影部42拍摄的图像，检测拍摄范围中的物体。而且，通过比较包括在由摄影部40拍摄的图像中的物体和包括在由摄影部42拍摄的图像中的物体，测量(计算)与物体的距离。
显示装置1除了摄影部40和摄影部42之外，还可以具有检测部44。检测部44也可以是使用例如可见光、红外线、紫外线、电波、音波、磁力、静电电容中的至少一个检测存在于拍摄范围中的真实物体的传感器。显示装置1除了摄影部40和摄影部42之外，还可以具有测距部46。测距部46也可以是使用例如可见光、红外线、紫外线、电波、音波、磁力、静电电容中的至少一个检测距存在于拍摄范围中的真实物体的距离的传感器。显示装置1也可以具有如使用TOF(Time-of-Flight，飞行时间)法的传感器那样可以兼作检测部44和测距部46的传感器。
控制部22具有作为运算装置的CPU(Central Processing Unit，中央处理器)和作为存储装置的存储器，通过使用这些硬件资源执行程序来实现各种功能。具体地，控制部22读取存储部24中存储的程序和数据加载至存储器，使CPU执行包括在加载至存储器的程序中的命令。而且，控制部22根据由CPU执行的命令的执行结果，对存储器和存储部24进行数据的读写、或控制显示部32a等的动作。当CPU执行命令时，加载至存储器的数据和通过检测部44检测的操作作为参数或判断条件的一部分所使用。
存储部24由闪存等具有非易失性的存储装置构成，存储各种程序和数据。存储部24中存储的程序包括控制程序24a。存储部24中存储的数据包括对象数据24b、作用数据24c和假想空间数据24d。存储部24也可以通过组合存储卡等便携型存储介质和对存储介质进行读写的读写装置构成。在这种情况下，控制程序24a、对象数据24b、作用数据24c和假想空间数据24d也可以存储在存储介质中。另外，控制程序24a、对象数据24b、作用数据24c和假想空间数据24d也可以通过无线通信或有线通信从服务器装置等的其他装置获得。
控制程序24a提供与用于使显示装置1运转的各种控制相关的功能。在控制程序24a提供的功能中包括将三维对象重叠在摄影部40和摄影部42获得的图像上并在显示部32a和显示部32b中显示的功能，检测对三维对象的操作的功能，根据检测到的操作使三维对象变化的功能等。这样，控制程序24a通过控制三维对象的显示、或检测对三维对象的操作，使得如后所述，使用者可以享受进行立体的游戏的快乐。
控制程序24a包括检测处理部25、显示对象控制部26和图像合成部27。检测处理部25提供用于检测存在于摄影部40和摄影部42的拍摄范围中的真实物体的功能。检测处理部25提供的功能中包括测量距检测到的各个物体的距离的功能。
显示对象控制部26提供用于管理在假想空间中配置什么样的三维对象，各个三维对象处于什么样的状态的功能。显示对象控制部26提供的功能中包括根据通过检测处理部25的功能所检测的真实物体的动作检测对于三维对象的操作，并根据检测到的操作使三维对象变化的功能。
图像合成部27提供用于通过合成真实空间的图像和假想空间的图像，生成在显示部32a中显示的图像和在显示部32b中显示的图像的功能。图像合成部27提供的功能中包括根据通过检测处理部25的功能所测量的距真实物体的距离与从假想空间中的视点到三维对象的距离，判断真实物体和三维对象的前后关系并调整重叠的功能。
对象数据24b包括关于三维对象的形状和性质的信息。对象数据24b用于显示三维对象。作用数据24c包括关于对显示的三维对象的操作如何作用于三维对象的信息。当检测到对显示的三维对象的操作时，作用数据24c用于判断使三维对象如何变化。这里所说的变化包括移动、旋转、变形、消失等。假想空间数据24d保持与配置在假想空间中的三维对象的状态相关的信息。三维对象的状态包括例如位置、姿势、变形等状况。
接着，参考图7，说明根据控制程序24a提供的功能进行控制的实施例。图像P1a是由摄影部40获得的图像，即，相当于用右眼看真实空间的情景的图像。图像P1a中映现出桌子T1和使用者的手H1。显示装置1还获得通过摄影部42拍摄相同场景的图像，即，相当于用左眼看真实空间的情景的图像。
图像P2a是根据假想空间数据24d和对象数据24b生成的右眼用的图像。在本实施例中，假想空间数据24d保持与存在于假想空间中的块状三维对象BL1的状态相关的信息，对象数据24b保持与三维对象BL1的形状和性质相关的信息。显示装置1根据这些信息再现假想空间，生成以右眼的视点看再现的假想空间的图像P2a。根据预定规则确定在假想空间中的右眼(视点)的位置。同样地，显示装置1也生成以左眼的视点看再现的假想空间的图像。也就是说，显示装置1还通过与图像P2a结合生成以三维方式显示三维对象BL1的图像。
显示装置1在图7示出的步骤S1中合成图像P1a和图像P2a，生成图像P3a。图像P3a是作为右眼用的图像在显示部32a中显示的图像。此时，显示装置1以使用者右眼的位置为基准，判断位于摄影部40的拍摄范围中的真实物体和存在于假想空间中的三维对象的前后关系。而且，当真实物体与三维对象重叠时，调整重叠以使得能够从前面看到离使用者的右眼更近的物体。
按真实物体与三维对象重叠的图像上的区域中每个预定大小的范围(例如，每一个像素)进行上述重叠的调整。因此，按图像上的每个预定大小的范围测量从在真实空间中的视点到真实物体的距离。而且，考虑三维对象的位置、形状、姿态等，按图像上的每个预定大小的范围计算从在假想空间中的视点到三维对象的距离。
在图7示出的步骤S1的场景中，三维对象BL1在假想空间中被配置在相当于桌子T1在真实空间存在的位置的正上方的位置。而且，在图7示出的步骤S1的场景中，使用者的手H1与三维对象BL1以使用者的右眼位置为基准在大致相同的方向存在于大致相同的距离处。因此，通过按每个预定大小的范围调整重叠，使得在合成后的图像P3a中，在手H1和三维对象BL1重叠的区域之中，在相当于手H1的大拇指的部分处手H1露在前面，在其他部分处三维对象BL1露在前面。而且，在桌子T1和三维对象BL1重叠的区域处，三维对象BL1露在前面。
通过上述的重叠调整，在图7示出的步骤S1中，获得好像三维对象BL1被置于桌子T1上并且使用者用手H1抓住三维对象BL1的图像P3a。显示装置1通过相同的处理合成由摄影部42拍摄的图像与从左眼的视点看假想空间的图像，生成作为左眼用图像在显示部32b中显示的图像。当生成左眼用的图像时，以使用者的左眼位置为基准调整真实物体和三维对象的重叠。
显示装置1在显示部32a和显示部32b中显示如上述生成的合成图像。结果，使用者可以看到好像三维对象BL1被置于桌子T1上，用自己的手H1抓住三维对象BL1的情景。
在图7示出的步骤S2的场景中，使用者将手H1向箭头A1的方向移动。在这种情况下，由摄影部40获得的图像变化为手H1的位置向右移动后的图像P1b。而且，显示装置1将手H1的动作判断为以抓住三维对象的状态直接向右移动的操作，根据操作，将在假想空间中的三维对象的位置向右移动。假想空间中的三维对象的移动反映到假想空间数据24d中。结果，根据假想空间数据24d和对象数据24b生成的右眼用的图像变化为三维对象BL1的位置向右移动后的图像P2b。下文详细叙述由显示装置1进行的操作的检测。
显示装置1合成图像P1b和图像P2b并生成右眼用的图像P3b。与图像P3a相比，图像P3b是如同使用者在桌子T1上更靠右侧的位置用手抓住三维对象BL1的图像。显示装置1同样地生成左眼用的合成图像。而且，显示装置1在显示部32a和显示部32b中显示如上述生成的合成图像。结果，使用者可以看到好像用自己的手H1抓住三维对象BL1向右移动的情景。
以与通常的动画帧率相同的频率(例如，每秒30次)进行上述显示用的合成图像更新。结果，显示装置1显示的图像大致实时地反映根据使用者的操作的三维对象的变化，使用者可以好像实际存在那样协调地操作三维对象。而且，在本实施例的构造中，操作三维对象的使用者的手无需处于使用者的眼睛与显示部32a和显示部32b之间，因此，使用者可以在不担心三维对象的显示被手遮挡的情况下进行操作。
接着，参考图8说明在游戏中的、对于三维对象的操作的检测。在下文的说明中，有时将佩戴了显示装置1的使用者观看的空间称为显示空间。图8是用于说明对于三维对象的操作的检测的图。在图8示出的步骤S11中，由显示部32a和显示部32b在显示空间50中立体显示三维对象OB1。三维对象OB1例如是模仿立方体的对象。这里，在本实施例中，立方体是多个立方体沿正交的3个方向排列而构成的集合体(所谓的三阶魔方(ルービックキューブ)(注册商标)等)，该集合体的6个面的每个面由以各立方体的外表面为要素的集合体构成，各要素中标有可以辨别所有该要素是否属于同一组的标记。这里，该可以辨别的标记包括颜色、符号、文字、号码、图案等。
显示装置1也可以将对于三维对象的操作进行检测的空间限定为可能操作范围51。可能操作范围51例如是佩戴着显示装置1的使用者的手够得着的范围。这样，通过限定检测对于三维对象的操作的空间，使得可以降低显示装置1为了检测操作所进行的计算处理的负荷。
这里，设定使用者希望对三维对象OB1进行一些操作。为了对三维对象OB1进行一些操作，首先需要选择三维对象OB1。为了选择三维对象OB1，使用者如步骤S12所示，移动手指F1和手指F2以使得三维对象OB1位于手指F1和手指F2之间，维持该状态预定时间以上。
当显示装置1检测到显示空间中有2个物体，并且三维对象OB1位于该2个物体之间的状态持续了预定时间以上时，判断选择了三维对象OB1，将三维对象OB1设为选择状态。而且，显示装置1改变三维对象OB1的显示方式等，向使用者通知三维对象OB1成为选择状态。
另外，成为选择状态的通知通过例如改变三维对象OB1整体的颜色、或改变三维对象OB1的表面中与连结2个物体的直线相交的位置附近的颜色来实现。也可以通过声音或振动进行通知代替上述视觉的通知，或者进行上述视觉的通知和通过声音或振动的通知。
这样，当显示装置1检测到三维对象OB1位于该手指等真实物体之间的状态持续预定时间以上时，判断选择了三维对象OB1。为了将三维对象OB1夹在手指之间而配置手指的操作与人类为了选择真实对象而抓住对象的操作类似。因此，该操作作为用于选择三维对象OB1的操作，是直观并易于理解的。另外，通过附加检测状态持续预定时间以上的条件，可以在移动手指以选择其他三维对象OB1的过程中，阻止选择非期望的三维对象OB1。
另外，用于操作三维对象OB1的物体不限于手指，也可以是手、脚、棒、标本针等。
为了立体地判断是否选择了三维对象OB1，优选准备多个摄影部从不同的方向拍摄手指F1和手指F2以不会因障碍物而形成死角。
显示装置1判断三维对象OB1成为选择状态后，根据手指F1和手指F2的动作，对三维对象OB1施加移动、旋转、变形、消失等的变化。
接着，参考图9至图12说明显示装置1关于三维对象OB1的操作进行的处理顺序。
这里，图9是示出对于三维对象的选择和操作的一个实施例的图。图10是示出对于三维对象的选择和操作的另一个实施例的图。本实施例使用多个立方体沿正交的3个方向排列所构成的集合体的立体拼图，以作为三维对象OB1。下文，在图9至图12示出的实施例中，说明使用如图9和图10所示的正多面体型立体拼图中的正六面体型拼图的2×2×2型的二阶魔方(ポケットキューブ)作为三维对象OB1的情况。三维对象OB1可以如图9所示整体旋转，也可以如图10所示以任意轴作为轴来使多个立方体构成的面相对地旋转。下文叙述输入的操作和对三维对象OB1进行的处理之间的关系。另外，三维对象OB1不限于2×2×2型的二阶魔方，可以设定为各种立体拼图。例如，可以设定为3×3×3型的三阶魔方(ルービックキューブ)(注册商标)、4×4×4型的四阶魔方(ルービックリベンジ)和5×5×5型的五阶魔方(プロフェッサーキューブ)等。
图11是示出选择检测处理的处理顺序的流程图。图11示出的处理顺序通过控制部22执行控制程序24a实现。
如图11所示，首先，作为步骤S101，控制部22合成包括三维对象的假想空间图像和真实空间图像并使其显示。具体地，如上述图9和图10等所示，控制部22将多个立方体沿正交的三个方向排列所构成的集合体(三维对象)通过显示部32a立体显示在显示空间中。即，控制部22控制显示部32a在显示空间中立体显示立体拼图(三维对象)。用于显示三维对象OB1的数据也可以预先存储在存储部24中，也可以通过通信方式从服务器装置等其他装置获得。
接着，作为步骤S102，控制部22判断由检测部44(也就是摄影部40和摄影部42)是否检测到第一物体和第二物体。第一物体和第二物体例如是使用者的手指。
也就是说，控制部22控制检测部44来检测在显示空间中的物体(包括第一物体和第二物体)的动作。具体地，在本实施例中，如上述图9所示，控制部22控制检测部44以检测抓住三维对象OB1的位置是否存在物体(包括第一物体和第二物体)(单手抓住三维对象OB1的状态)。另外，如上述图10所示，控制部22控制检测部44以检测是否有在2处抓住三维对象OB1的2组物体(双手抓住三维对象OB1的状态)。另外，虽然图中未示出，但是控制部22也可以控制检测部44以检测是否有在2处抓住三维对象OB1的2组物体(双手抓住的状态)，并且检测是否存在与该2组物体不同的其他物体(例如，空闲的手指或其他用户的手等)。
当未检测到第一物体和第二物体时(步骤S102“否”的情况)，作为步骤S110，控制部22判断是否检测到操作结束。
例如也可以在进行了对于操作部13的预定操作时检测是否操作结束。另外，也可以在由摄影部40或摄影部42的至少一个拍摄到通过使用者的手产生的预定姿势时检测是否操作结束。当检测到操作结束时(步骤S110“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S110“否”的情况)，控制部22再次从步骤S102执行。
当检测到第一物体和第二物体时(步骤S102“是”的情况)，作为步骤S103，控制部22从显示的三维对象OB1之中寻找在第一物体和第二物体之间显示的三维对象OB1。当没有符合的三维对象OB1时(步骤S104“否”的情况)，作为步骤S110，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S110“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S110“否”的情况)，控制部22再次从步骤S102执行。
当发现第一物体和第二物体之间显示的三维对象OB1时(步骤S104“是”的情况)，作为步骤S105，控制部22获得三维对象OB1位于第一物体和第二物体之间的时间。当获得的时间未达到预定时间时(步骤S106“否”的情况)，作为步骤S110，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S110“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S110“否”的情况)，控制部22再次从步骤S102执行。
当获得的时间在预定时间以上时(步骤S106“是”的情况)，作为步骤S107，控制部22计算第一物体和第二物体的距离。另外，作为步骤S108，控制部22将在第一物体和第二物体之间显示的三维对象OB1设置为选择状态。然后，作为步骤S109，控制部22进行后述的操作检测处理，其中根据检测到的操作使处于选择状态的三维对象OB1变化。作为步骤S110，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S110“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S110“否”的情况)，控制部22再次从步骤S102执行。
图12是示出操作检测处理的处理顺序的流程图。图12示出的处理顺序通过控制部22执行控制程序24a实现。
如图12所示，首先，作为步骤S201，控制部22计算第一物体和第二物体的距离。然后，作为步骤S202，控制部22判断操作检测处理开始之后的第一物体和第二物体的距离是否大致固定。所谓距离大致固定例如是指：当时第一物体和第二物体的距离变化量与操作检测处理开始时的距离相比在预定范围(第一物体和第二物体在通常速度下移动时的距离最大变化量的±10％等)之内。另外，当第一物体和第二物体的距离在操作检测处理开始后持续缩小时(第一物体和第二物体向挤压三维对象OB1的方向移动时)，也可以判断为距离大致固定。另外，二者的距离只在手抖动的范围中变化时，也可以判断为距离大致固定。
当第一物体和第二物体的距离大致固定时(步骤S202“是”的情况)，作为步骤S203，控制部22计算第一物体和第二物体的移动速度。接着，作为步骤S204，控制部22判断计算出的移动速度是否在阈值以下。这里所使用的阈值例如是人抛出物体时指尖的移动速度。另外，与阈值比较的移动速度也可以是第一物体的移动速度和第二物体的移动速度的平均值，也可以是速度快的任一方，也可以是速度慢的任一方。
当移动速度在阈值以下时(步骤S204“是”的情况)，作为步骤S205，控制部22根据检测到的第一物体和第二物体的动作来移动或旋转三维对象OB1。具体地，在本实施例中，控制部22在步骤S205中根据检测部44的检测结果(也就是物体的动作)改变如图9和图10所示的集合体(三维对象)的各要素的位置。也就是说，控制部22根据检测部44的检测结果改变如上述图9和图10所示的立体拼图(三维对象)的小块的位置。例如，当检测到第一物体和第二向右方移动时，控制部22配合第一物体和第二物体的移动将三维对象OB1向右方移动。另外，当检测到第一物体和第二物体逆时针旋转时，控制部22配合第一物体和第二物体的旋转将三维对象OB1逆时针旋转。另外，在同时检测到移动和旋转时，同时进行移动和旋转。另外，当存在对于三维对象OB1的移动和旋转的障碍物时，也可以在三维对象OB1与障碍物接触时使三维对象OB1的移动和旋转停止。然后，控制部22再次从步骤S201执行。
当移动速度比阈值快时(步骤S204“否”的情况)，作为步骤S206，控制部22对三维对象OB1的应用(游戏)复位。也就是说，在本实施例中，由于三维对象OB1是立体拼图，因此控制部22通过在进行该立体拼图游戏时消除该三维对象OB1，从而将游戏复位至开始时。具体地，控制部22在消除三维对象OB1时，也可以以三维对象OB1向第一物体和第二物体的移动方向快速移动的方式进行动画显示。然后，控制部22结束操作检测处理。这样，通过以抛出三维对象OB1的方式在第一物体和第二物体高速移动时消除三维对象OB1，可以通过直观的操作实现消除三维对象OB1(即，对三维对象OB1的应用复位)。
当第一物体和第二物体的距离不是大致固定时(步骤S202“否”的情况)，作为步骤S207，控制部22判断与选择三维对象OB1时(也就是开始操作检测处理时)相比距离是否扩大。当距离扩大时(步骤S207“是”的情况)，作为步骤S208，控制部22解除三维对象OB1的选择状态。并且，控制部22结束操作检测处理。这样，扩大第一物体和第二物体的距离的操作与将抓住的真实对象放开的操作类似。因此，作为用于解除三维对象OB1的选择的操作，上述操作直观易懂。
另外，在本实施例中，以不考虑重力控制处于悬浮状态的三维对象OB1为基本规则，但是也可以考虑重力将其控制为用户如果不抓住三维对象OB1则掉落的情况。具体地，控制部22也可以在步骤S208的处理后，经过一定时间后根据重力等使解除了选择状态的三维对象OB1移动，将三维对象OB1返回最初的放置场所。这里，控制部22也可以使三维对象OB1与实际的重力作用时相比更缓慢地移动。然后，控制部22结束操作检测处理。另外，这里的移动例如显示为三维对象OB1遵循重力下落并在地板或桌子上停止。使三维对象OB1的动作停止之前，也可以根据三维对象OB1的弹性或地板或桌子的硬度，使三维对象OB1反弹。计算三维对象OB1与地板或桌子冲撞时的撞击力度，当撞击比预定值大时也可以显示为三维对象OB1损坏。在这种情况下，与上述步骤S206的处理相同，游戏被复位至开始时。
另外，当第一物体和第二物体的距离与选择三维对象OB1时相比扩大时，也可以不解除三维对象OB1的选择状态而扩大三维对象OB1的显示尺寸。在这种情况下，为了与解除三维对象OB1的选择状态的处理区别开，控制部22只在检测到当在上述选择检测处理中2组物体选择三维对象OB1、且在本操作检测处理中物体将三维对象OB1拉长的动作时(即检测到双手抓住三维对象OB1拉长的动作时)，不解除三维对象OB1的选择状态而扩大三维对象OB1的显示尺寸。
另一方面，当第一物体和第二物体的距离与选择三维对象OB1时相比缩小时(步骤S207“否”的情况)，作为步骤S209，控制部22根据距离来缩小三维对象OB1的显示尺寸。由此，用户可以将显示空间中立体显示的三维对象OB1的显示尺寸缩小为合乎用户喜好的尺寸。然后，控制部22再次从步骤S201执行。使三维对象OB1的显示尺寸缩小的程度也例如可以根据作为三维对象OB1的属性所设定的弹性而改变。例如，对于模仿橡胶制的立方体等的三维对象OB1那样设定低硬度作为属性的对象，控制部22可以根据第一物体和第二物体的距离缩小而提高缩小的程度。另外，对于模仿塑料制的立方体等的三维对象OB1那样设定高硬度作为属性的对象，即使第一物体和第二物体的距离缩小，控制部22也可以保持小的缩小程度。
另外，当第一物体和第二物体的距离与选择三维对象OB1时相比显著缩小时，也就是第一物体和第二物体的距离在预定值以下时，也可以显示为三维对象OB1损坏。例如，在本实施例中，也可以如在上述步骤S206中上述攥坏三维对象OB1的操作，通过在进行该三维对象OB1游戏，也就是立体拼图的游戏时消除该三维对象OB1，从而将游戏复位至开始时。
接着，根据图13示出的流程图，适当参考上述图9和图10，详细说明本实施例中的三维对象OB1的操作检测处理。这里，图13更详细地说明上述图12中的步骤S205的处理，是示出对于单个三维对象OB1的操作检测处理的处理顺序的详细内容的流程图。
首先，作为步骤S301，控制部22根据检测部44的检测结果(即物体的动作)，判断是检测到使三维对象OB1整体旋转的动作(即是否检测到整体旋转)，还是检测到使三维对象OB1的一部分相对地旋转的动作(即是否检测到相对旋转)。
具体地，如上述的图9所示，在步骤S301中，当控制部22控制检测部44检测到抓住三维对象OB1的位置存在物体(在上述图9中，包括手指F1和手指F2)(在上述图9中，单手抓住的状态)，并且检测到该物体移动而使三维对象OB1整体移动时(步骤S301：整体旋转)，控制部22判断处于上述整体旋转的状态，进入步骤S302。另外，如图10所示，在步骤S301中，当控制部22控制检测部44检测到在2处抓住三维对象OB1的2组物体(在上述图10中，双手抓住的状态)，而且检测到该2组物体以2组物体彼此相对的方向为中心相对地旋转的动作时(步骤S301：相对旋转)，控制部22判断处于上述相对旋转的状态，进入步骤S303。
当控制部22判断在步骤S301中检测到整体旋转时(即，检测部44检测到抓住三维对象OB1的位置存在物体(在上述图9中，包括手指F1和手指F2)，并且物体移动时)(步骤S301：整体旋转)，作为步骤S302，根据物体的动作控制三维对象OB1移动(整体旋转显示控制)。也就是说，控制部22根据检测部44的检测结果通过为了观察到三维对象OB1整体而进行旋转的方式来进行显示控制。之后，结束处理，再次从图12中的步骤S201进行。
另一方面，控制部22判断在步骤S301中检测到相对旋转时(即，检测部44检测到在2处抓住三维对象OB1的2组物体(在上述图10中，双手抓住的状态)，而且检测到该2组物体以2组物体彼此相对的方向为中心相对地旋转的动作时)(步骤S301：相对旋转)，作为步骤S303，根据物体的动作在三维对象OB1(例如，标有可以辨别的标记的立方体的集合体)中，以某个轴为基点旋转块以使得同一面的标记(颜色、符号、文字、号码、图案等)相配。该动作在操作3D显示的任意数量的立方体集合体的应用中是最基本的规则。
具体地，如上述图10所示，在步骤S303中，控制部22根据检测部44的检测结果进行如下控制：将正交的3个方向之中的一个方向作为旋转轴旋转立方体，以使得在6个面中的与该一个方向正交的面上，构成该正交的面的各要素之间的位置关系不变，并且在与该正交的3个方向之中的其他方向正交的多个其他面上，构成该多个其他面的各要素在该多个其他面之间替换(相对旋转显示控制)。更具体地，如上述图10所示，当检测部44检测到在2处抓住三维对象OB1的2组物体(在上述图10中，是包括手指F1和手指F2的一组物体和包括手指F3和手指F4的一组物体)，而且检测到该2组物体以2组物体彼此相对的方向为中心相对地旋转的动作时，控制部22将2组物体彼此相对的方向设定为上述一个方向，根据相对地旋转的动作的旋转量控制立方体旋转。这样，控制部22如上述图9和图10所示改变集合体(三维对象)的各要素的位置。即，控制部22根据检测部44的检测结果改变如上述图9和图10所示立体拼图(三维对象)的小块的位置。之后结束处理，再次从上述图12中的步骤S201进行。
另外，由于本实施例可以更符合实际地处理由三维对象显示的立体拼图所输入的操作与进行的处理之间的对应关系，因此虽然说明了对于抓住三维对象时的操作进行的处理，但是也可以检测抓住之外的操作，进行根据所输入的操作的处理。例如，也可以检测一个物体的位置，根据该位置的移动旋转三维对象，或检查2个物体的位置，根据该2个物体的位置与相对位置的变化，确定对构成三维对象的立方体进行旋转的轴，可根据确定的轴使构成三维对象的立方体和立方体相对旋转。
另外，更优选地检测抓住的操作和抓住以外的操作，根据所输入的操作进行处理。例如，在3×3×3型的立体拼图的情况下，除了如上述的图10所示的用一只手固定三维对象OB1而另一只手旋转的情况之外，也可以在由双手固定端部的块的状态下如果输入用手指按压中央的块的操作，则按照该手指按压的方向(手指移动方向)移动中央的块。由此，例如在3×3×3型的立体拼图的情况下，当希望以两端的轴以外的中央轴为基点旋转块时，双手选择三维对象OB1，通过使用第三输入方式按压中央块可以输入希望的操作。这样，通过根据抓住以外的操作进行处理，使得与实际对物理块的操作相同，可以通过使用空闲的手指或其他用户的手旋转。在这种情况下，当检测部44检测到在2处抓住三维对象OB1的2组物体，并且检测到与该2组物体不同的其他物体(例如，空闲的手指或其他用户的手等)时，控制部22也可以将该2组物体中的一组物体(例如，左手拇指和食指)和与该2组物体不同的其他物体(例如，右手空闲的中指)相对的方向设为上述一个方向，根据相对地旋转的动作的旋转量控制立方体旋转。
另外，在本实施例中，当控制部22如上所述地根据相对地旋转的动作的旋转量控制立方体旋转时，还进行旋转角度控制。具体地，控制部22根据是否旋转了45度以上判断是返回原处还是旋转了90度。在该旋转角度控制中，作为基本操作规则，即使当实际存在物理块时，由于最小旋转角度是90度，因此在旋转假想块时，也以45度为基准判断是否进行了旋转动作。也就是说，当不到45度而释放块时，将块返回初始位置。
另外，在本实施例中，优选在控制部22开始应用(游戏)并经过一定时间后，进行对于块的操作辅助。在显示装置1侧，为了把握接下来给予怎样的输入来使块完成，控制部22可以将用户接下来以哪个轴为起点旋转多少即可来作为提示，并且以3D方式显示在其他位置。在这种情况下，不限于显示信息，可以是通过声音，文章、光等的通知。但是，为了不丧失游戏性，可以选择是否提供操作辅助，即使在提供操作辅助时也在检测到一定时间对块没有输入后再显示。
另外在本实施例中，优选地，控制部22显示限制时间。由此，通过从开始设置限制时间可以记录到完成的时间。另外，在本实施例中，优选地控制部22显示旋转立方体的旋转次数。由此，可以计算旋转块的次数，从而计算完成之前旋转了多少次。在这种情况下，可以设定最佳记录且在网络上共享。
接着，使用图14至图17说明三维对象作为其他构造的立体拼图的情况。这里，图14是示出对于多个三维对象的操作检测处理的处理顺序的详细内容的流程图。图15是示出多个三维对象的显示的一个实施例的图。图16是对于图15示出的多个三维对象的选择和操作的一个实施例的图。图17是对于图15示出的多个三维对象的选择和操作的另一个实施例的图。图14更详细地说明上述图12中的步骤S205的处理，是示出对于多个三维对象的操作检测处理的处理顺序的详细内容的流程图。
这里，图15至图17示出的控制对象和显示对象是在多个三维对象大小嵌套的状态下立体显示的对象。即，如图15至图17所示，本实施例是实物的立体拼图(所谓的三阶魔方(ルービックキューブ)(注册商标))和现有的2D显示无法实现的，本实施例是控制以3D方式显示的多个块的一个实施例。这里，如图15所示，本实施例的多个三维对象中，内侧的三维对象OB1设定为2×2×2型的正六面体型立体拼图(所谓的二阶魔方)，外侧的三维对象OB2设定为4×4×4型的正六面体型立体拼图(所谓的四阶魔方)。
本实施例的情况也在上述图11中的步骤S101中，控制部22控制显示部32a合成显示三维对象。具体地，如图15所示，在显示空间中立体显示多个三维对象(内侧的三维对象OB1和外侧的三维对象OB2)。也就是说，如图15所示，显示部32a立体显示一个三维对象OB2中嵌套另一个三维对象OB1的状态。在这种情况下，设想选择外侧和内侧不同的块并且在外侧块和内侧块两者中相同面上的颜色一致时为过关的应用。
接着，说明控制部22对由检测部44检测到的操作进行的处理。如图14所示，作为步骤S401，控制部22判断选择了第一三维对象OB1(图15中是内侧三维对象OB1)还是选择了第二三维对象OB2(图15中是外侧三维对象OB2)。具体地，在步骤S401中，控制部22通过将由检测部44检测到的物体坐标与三维对象(包括第一三维对象OB1和第二三维对象OB2)的坐标比较，判断选择了第一三维对象OB1还是选择了第二三维对象OB2。
这里，当控制部22在步骤S401中判断选择了第一三维对象OB1时(步骤S401中“第一三维对象”的情况)，如图16所示，作为步骤S402，控制检测部44检测抓住第一三维对象OB1的位置是否存在物体(在上述图16中，单手抓住的状态)，并且检测为了旋转第一三维对象OB1整体的该物体的移动(即检测整体旋转)。
而且，如图14所示，作为步骤S403，控制部22根据物体的动作控制第一三维对象OB1移动(整体旋转显示控制)。也就是说，控制部22根据检测部44的检测结果通过为了观察到三维对象OB1整体而进行旋转的方式来进行显示控制。之后，结束处理，再次从图12中的步骤S201进行。
这样，如图16所示，当将多个三维对象嵌套时，显示部32a立体显示一个第二三维对象OB2中嵌套另一个第一三维对象OB1的状态，当检测部44检测到抓住另一个第一三维对象OB1的位置处存在物体并且该物体移动时，控制部22根据物体的动作，以不移动一个第二三维对象OB2而只移动另一个第一三维对象OB1的方式进行控制。也就是说，即使旋转内侧的第一三维对象OB1整体，外侧的第二三维对象OB2整体也不旋转。
另一方面，当控制部22在步骤S401中判断选择了第二三维对象OB2时(步骤S401中“第二三维对象”的情况)，作为步骤S404，根据检测部44的检测结果(即物体的动作)判断检测到使该第二三维对象OB2整体旋转的动作(即是否检测到整体旋转)，还是检测到使该第二三维对象OB2的一部分相对旋转的动作(即是否检测到相对旋转)。
具体地，在步骤S404中，当控制部22控制检测部44检测到抓住第二三维对象OB2的位置存在物体(单手抓住的状态)，并且检测到该物体移动以旋转第二三维对象OB2整体时(步骤S404：整体旋转)，判断为处于整体旋转状态，进入步骤S405。另外，如图17所示，在步骤S404中，当控制部22控制检测部44检测到在2处抓住第二三维对象OB2的2组物体(双手抓住的状态)，并且检测到2组物体以2组物体彼此相对的方向为中心相对旋转的动作时(步骤S404：相对旋转)，判断处于相对旋转状态，进入步骤S406。
当控制部22在步骤S404中判断检测到整体旋转时(即，检测部44检测到抓住第二三维对象OB2的位置存在物体，并且物体移动时)(步骤S404：整体旋转)，作为步骤S405，根据物体的动作控制第二三维对象OB2移动(整体旋转显示控制)。也就是说，控制部22根据检测部44的检测结果通过为了观察到三维对象OB1整体而进行旋转的方式来进行显示控制。之后，结束处理，再次从图12中的步骤S201进行。
另一方面，当控制部22在步骤S404中判断检测到相对旋转时(即，如图17所示，检测部44检测到在2处抓住第二三维对象OB2的2组物体(双手抓住的状态)，并且检测到2组物体以2组物体彼此相对的方向为中心相对旋转的动作时)(步骤S404：相对旋转)，如图17所示，作为步骤S406，根据检测部44的检测结果在第二三维对象OB2(例如，标有可以辨别的标记的立方体的集合体)中，以某个轴为基点旋转块以使得同一面的标记(颜色、符号、文字、号码、图案等)相配。
具体地，如图17所示，在步骤S406中，控制部22根据检测部44的检测结果进行如下控制：将正交的3个方向之中的一个方向作为旋转轴旋转立方体，以使得在6个面中与该一个方向正交的面上，构成该正交的面的各要素之间的位置关系不变，并且在与该正交的3个方向之中的其他方向正交的多个其他面上，构成该多个其他面的各要素在该多个其他面之间替换(相对旋转显示控制)。此时，如图17所示，当检测部44检测到在2处抓住第二三维对象OB2的2组物体，而且检测到该2组物体以2组物体彼此相对的方向为中心相对地旋转的动作时，控制部22将2组物体彼此相对的方向设定为上述一个方向，根据相对地旋转的动作的旋转量控制立方体旋转。
更具体地，如图17所示，当多个三维对象嵌套时，显示部32a立体显示第二三维对象OB2中嵌套第一三维对象OB1的状态，当检测部44对多个三维对象OB1、OB2之中的一个第二三维对象OB2检测到在2处抓住一个第二三维对象OB2的物体，而且检测到2组物体以2组物体彼此相对的方向为中心相对地旋转的动作时，控制部22将2组物体彼此相对的方向设定为上述一个方向，根据相对地旋转的动作相对于第二三维对象的旋转量控制构成第二三维对象OB2的立方体和构成多个三维对象OB1、OB2之中第一三维对象OB1的立方体联动旋转。也就是说，如果旋转外侧的第二三维对象OB2的列，则内侧的第一三维对象OB1的对应列也旋转。之后，结束处理，再次从图12中的步骤S201进行。
接着，通过图18和图19说明将三维对象作为其他构造的立体拼图的情况。这里，图18是示出多个三维对象的显示的另一个实施例的图。图19是对于图18示出的多个三维对象的选择和操作的一个实施例的图。图18和图19是将多个三维对象分离的情况。图18和图19示出的实施例是实物的立体拼图(所谓的三阶魔方(ルービックキューブ)(注册商标))和现有的2D显示无法实现的，并且图18和图19示出的实施例是控制以3D方式显示的多个块的一个实施例。具体地，根据设定的规则使2个三维对象(立体拼图)联动旋转。
本实施例的情况也如上述图11中的步骤S101，控制部22控制显示部32a合成显示三维对象。具体地，如图18所示，显示部32a将多个三维对象(三维对象OB1和三维对象OB2)分别在相同的显示空间中并排立体显示。图18示出的三维对象OB1(块A)和三维对象OB2(块B)都是2×2×2型的正六面体型立体拼图(所谓的二阶魔方)。在这种情况下，设定选择块A，在块A和块B两者中相同面上的颜色一致时为过关的应用。
接着，说明控制部22对由检测部44检测到的操作进行的处理。另外，本实施例的操作检测处理与上述立体显示多个三维对象嵌套的状态的情况基本上相同，因此下文省略图14中的步骤S403和步骤S406以外的各步骤的说明。
在步骤S402中，当检测部44检测到抓住第一三维对象OB1(在图18中是块A)的位置存在物体并且该物体移动之后，作为步骤S403，控制部22根据物体对于第一三维对象OB1的动作，控制第一三维对象OB1和第二三维对象OB2(在图18中是块B)联动移动。在这种情况下，在图18示出的第一三维对象OB1(块A)中，不能根据预定的轴旋转，只能旋转块整体。
另外，如图19所示，在步骤S404中，当检测部44对多个三维对象OB1、OB2之中第二三维对象OB2(在图19中是块B)检测到在2处抓住一个第二三维对象OB2的2组物体，并且检测到2组物体以2组物体彼此相对的方向为中心相对旋转的动作时(步骤S404：相对旋转)，作为步骤S406，控制部22将2组物体彼此相对的方向设定为上述一个方向，根据相对地旋转的动作相对于第二三维对象的旋转量控制构成第二三维对象OB2的立方体和构成多个三维对象OB1、OB2之中第一三维对象OB1的立方体联动旋转(相对旋转显示控制)。也就是说，如图19所示，如果旋转第二三维对象OB2(块B)的列，则第一三维对象OB1(块A)的对应列也旋转。
这样，块A和块B成为对块相互影响的关系，而且，通过改变块B的方向，使得之前块A和块B的位置关系再次关联为新关系。这样，根据本实施例，通过3D应用，可以同时选择多个三维对象，而且可以对多个三维对象进行不同的输入。
如上所述，在第一实施例中，由于设定三维对象位于手指等物体之间的状态持续了预定时间以上时选择该三维对象，因此可以通过直观易懂的操作实现三维对象的选择。
另外，如图20所示，也可以将第一物体和第二物体中至少一个与三维对象接触的状态持续预定时间以上作为选择三维对象的条件。通过将与三维对象的接触作为选择条件，使得在多个三维对象被显示为彼此靠近时，使用者选择希望的三维对象变得容易。
图21是示出以与三维对象的接触为选择条件时的选择检测处理的处理顺序的流程图。如图21所示，首先，作为步骤S501，控制部22合成包括三维对象的假想空间图像和真实空间图像并使其显示。具体地，在本实施例中，如上述图9和图10等所示，控制部22将多个立方体沿正交的三个方向排列所构成的集合体(三维对象)通过显示部32a立体显示在显示空间中。即，控制部22控制显示部32a在显示空间中立体显示立体拼图(三维对象)。
接着，作为步骤S502，控制部22判断检测部44(也就是摄影部40和摄影部42)是否检测到第一物体和第二物体。也就是说，控制部22控制检测部44检测在显示空间中的物体(包括第一物体和第二物体)的动作。具体地，在本实施例中，如上述图9所示，控制部22控制检测部44检测抓住集合体的位置是否存在物体(包括第一物体和第二物体)(在上述图9中是单手抓住的状态)。另外，如上述图10所示，控制部22控制检测部44检测是否存在在2处抓住集合体的2组物体(在上述图10中是双手抓住的状态)。另外，虽然未示出，但是控制部22也可以控制检测部44检测是否存在在2处抓住集合体的2组物体(双手抓住的状态)，并且检测是否存在与该2组物体不同的其他物体(例如，空闲的手指或其他用户的手等)。
当未检测到第一物体和第二物体时(步骤S502“否”的情况)，作为步骤S510，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S510“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S510“否”的情况)，控制部22再次从步骤S502执行。
当检测到第一物体和第二物体时(步骤S502“是”的情况)，作为步骤S503，控制部22从显示的三维对象之中寻找与第一物体或第二物体的至少一个接触的三维对象。当没有符合的三维对象时(步骤S504“否”的情况)，作为步骤S510，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S510“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S510“否”的情况)，控制部22再次从步骤S502执行。
当发现与第一物体或第二物体的至少一个接触的三维对象时(步骤S504“是”的情况)，作为步骤S505，控制部22获得三维对象OB1位于第一物体和第二物体之间的时间。当获得的时间未达到预定时间时(步骤S506“否”的情况)，作为步骤S510，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S510“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S510“否”的情况)，控制部22再次从步骤S502执行。
当获得的时间在预定时间以上时(步骤S506“是”的情况)，作为步骤S507，控制部22计算第一物体和第二物体的距离。另外，作为步骤S508，控制部22将在第一物体和第二物体之间显示的三维对象设置为选择状态。然后，作为步骤S509，控制部22进行上述的操作检测处理，其中，根据检测到的操作使处于选择状态的三维对象变化。在操作检测处理结束后，作为步骤S510，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S510“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S510“否”的情况)，控制部22再次从步骤S502执行。
实施例2
下文说明第二实施例。虽然第二实施例的显示装置1根据控制程序24a提供的功能进行的选择检测处理的处理顺序与第一实施例不同，但是作为硬件来看，第二实施例的显示装置1与第一实施例的显示装置1具有相同的构造。因此，在第二实施例中，省略与第一实施例重复的说明，主要说明选择检测处理。
首先参考图22说明对于三维对象的操作的检测。图22是用于说明对于三维对象的操作的检测的图。在图22示出的步骤S21中，通过显示部32a和显示部32b在显示空间中以立体方式显示三维对象OB1。另外，为了选择三维对象OB1，使用者移动手指F1和手指F2以使得三维对象OB1位于手指F1和手指F2之间。
当检测到在显示空间中存在2个物体且三维对象OB1位于该2个物体之间时，显示装置1监视2个物体的距离变化。而且，如果距离大致固定持续预定时间以上，则判断选择了三维对象OB1，将三维对象OB1设为选择状态。而且，显示装置1变更三维对象OB1的显示方式等，向使用者通知三维对象OB1成为选择状态。
在显示装置1监视2个物体的距离变化期间，2个物体无需停留在夹持三维对象OB1的位置。也就是说，使用者如步骤S21所示地移动手指F1和手指F2以使得三维对象OB1位于手指F1和手指F2之间后，也可以不保持该状态，将手指向其他位置移动。
如步骤S22所示，使用者从步骤S21的状态移动手指F1和手指F2并保持手指F1和手指F2的距离D1大致固定。在这种情况下，如步骤S23所示，在手指F1和手指F2的距离D1保持大致固定的状态持续了预定时间以上的阶段，显示装置1将三维对象OB1设为选择状态。而且，显示装置1将三维对象OB1好像在步骤S51的阶段已经被选择一样，移动至手指F1和手指F2之间。也可以事先存储从步骤S21至步骤S23的手指F1和手指F2的动作，配合事先存储的动作旋转三维对象OB1。之后，显示装置1根据手指F1和手指F2的动作对三维对象OB1施加移动、旋转、变形、消失等变化。
这样，2个物体一旦移动至夹持三维对象的位置后，通过使得物体即使不停留在该处也可以选择三维对象，从而使用者可以迅速开始选择三维对象之后的操作。
接着，参考图23说明显示装置1关于三维对象的操作进行的处理顺序。图23是示出三维对象的选择检测处理的处理顺序的流程图。图23示出的处理顺序通过控制部22执行控制程序24a而实现。
如图23所示，首先，作为步骤S601，控制部22合成包括三维对象的假想空间图像和真实空间图像并使其显示。具体地，在本实施例中，如上述图9和图10等所示，控制部22将多个立方体沿正交的三个方向排列所构成的集合体(三维对象)通过显示部32a立体显示在显示空间中。即，控制部22控制显示部32a在显示空间中立体显示立体拼图(三维对象)。
接着，作为步骤S602，控制部22判断由检测部44(也就是摄影部40和摄影部42)是否检测到第一物体和第二物体。也就是说，控制部22控制检测部44检测在显示空间中的物体(包括第一物体和第二物体)的动作。具体地，在本实施例中，如上述图9所示，控制部22控制检测部44检测抓住集合体的位置是否存在物体(包括第一物体和第二物体)(在上述图9中是单手抓住的状态)。另外，如上述图10所示，控制部22控制检测部44检测是否有在2处抓住集合体的2组物体(在上述图10中是双手抓住的状态)。另外，虽然图中未示出，但是控制部22也可以控制检测部44检测是否有在2处抓住集合体的2组物体(双手抓住的状态)，并且检测是否存在与该2组物体不同的其他物体(例如，空闲的手指或其他用户的手等)。
当未检测到第一物体和第二物体时(步骤S602“否”的情况)，作为步骤S614，如果存在处于假定选择状态的三维对象，则控制部22解除该三维对象的假定选择状态。所谓假定选择状态是指：在检测到三维对象在2个物体之间显示的状态之后，监视2个物体的距离是否大致保持固定的状态。
然后，作为步骤S615，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S615“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S615“否”的情况)，控制部22再次从步骤S602执行。
当检测到第一物体和第二物体时(步骤S602“是”的情况)，作为步骤S603，控制部22判断是否存在处于假定选择状态的三维对象。当没有处于假定选择状态的三维对象时(步骤S603“否”的情况)，作为步骤S604，控制部22从显示的三维对象之中寻找在第一物体和第二物体之间显示的三维对象。
当没有符合的三维对象时(步骤S605“否”的情况)，作为步骤S615，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S615“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S615“否”的情况)，控制部22再次从步骤S602执行。
当发现在第一物体和第二物体之间显示的三维对象时(步骤S605“是”的情况)，作为步骤S606，控制部22将在第一物体和第二物体之间显示的三维对象设为假定选择状态。另外，作为步骤S607，控制部22计算第一物体和第二物体的距离。
然后，作为步骤S615，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S615“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S615“否”的情况)，控制部22再次从步骤S602执行。
当检测到第一物体和第二物体并且存在处于假定选择状态的三维对象时(步骤S603“是”的情况)，作为步骤S608，控制部22计算第一物体和第二物体的距离。接着，作为步骤S609，控制部22判断距离是否大致固定。当距离不是大致固定时(步骤S609“否”的情况)，作为步骤S614，控制部22解除该三维对象的假定选择状态。
然后，作为步骤S615，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S615“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S615“否”的情况)，控制部22再次从步骤S602执行。
当第一物体和第二物体的距离大致固定时(步骤S609“是”的情况)，作为步骤S610，控制部22判断距离保持大致固定的期间是否在预定时间以上。当距离保持大致固定的期间未达到预定时间时(步骤S610“否”的情况)，作为步骤S615，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S615“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S615“否”的情况)，控制部22再次从步骤S602执行。
当距离保持大致固定的期间在预定时间以上时(步骤S610“是”的情况)，作为步骤S611，控制部22将在第一物体和第二物体之间显示的三维对象设定为选择状态。另外，作为步骤S612，控制部22将三维对象移动至第一物体和第二物体之间。然后，作为步骤S613，进行上述图12至图14示出的操作检测处理，其中根据检测到的操作使处于选择状态的三维对象变化。
操作检测处理结束之后，作为步骤S615，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S615“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S615“否”的情况)，控制部22再次从步骤S602执行。
如上所述，在第二实施例中，当三维对象位于手指等物体之间后，如果物体的距离保持大致固定持续预定时间以上则选择三维对象，因此使用者可以迅速开始选择三维对象之后的操作。
另外，如图24示出的步骤S31至步骤S33，也可以设定选择三维对象的条件为在第一物体和第二物体之中至少一个与三维对象接触后，第一物体和第二物体的距离保持大致固定持续预定时间以上。这里，图24是用于说明对于三维对象的操作的检测的其他实施例的图。通过以与三维对象的接触作为选择条件，使得在多个三维对象被显示为彼此靠近时，使用者选择希望的三维对象变得容易。
图25是示出以与三维对象的接触为选择条件时的选择检测处理的处理顺序的流程图。如图25所示，首先，作为步骤S701，控制部22合成包括三维对象的假想空间图像和真实空间图像并使其显示。具体地，在本实施例中，如上述图9和图10等所示，控制部22将多个立方体沿正交的三个方向排列所构成的集合体(三维对象)通过显示部32a立体显示在显示空间中。即，控制部22控制显示部32a在显示空间中立体显示立体拼图(三维对象)。
接着，作为步骤S702，控制部22判断由检测部44(也就是摄影部40和摄影部42)是否检测到第一物体和第二物体。也就是说，控制部22控制检测部44检测在显示空间中的物体(包括第一物体和第二物体)的动作。具体地，在本实施例中，如上述图9所示，控制部22控制检测部44检测抓住集合体的位置是否存在物体(包括第一物体和第二物体)(在上述图9中是单手抓住的状态)。另外，如上述图10所示，控制部22控制检测部44检测是否有在2处抓住集合体的2组物体(在上述图10中是双手抓住的状态)。另外，虽然图中未示出，但是控制部22也可以控制检测部44检测是否有在2处抓住集合体的2组物体(双手抓住的状态)，并且检测是否存在与该2组物体不同的其他物体(例如，空闲的手指或其他用户的手等)。
当未检测到第一物体和第二物体时(步骤S702“否”的情况)，作为步骤S714，如果存在处于假定选择状态的三维对象，则控制部22解除该三维对象的假定选择状态。所谓假定选择状态是指，在检测到三维对象在2个物体之间显示的状态之后，监视2个物体的距离是否大致保持固定的状态。
然后，作为步骤S715，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S715“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S715“否”的情况)，控制部22再次从步骤S702执行。
当检测到第一物体和第二物体时(步骤S702“是”的情况)，作为步骤S703，控制部22判断是否存在处于假定选择状态的三维对象。当没有假定选择状态的三维对象时(步骤S703“否”的情况)，作为步骤S704，控制部22从显示的三维对象之中寻找与第一物体或第二物体的至少一个接触的三维对象。
当没有符合的三维对象时(步骤S705“否”的情况)，作为步骤S715，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S715“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S715“否”的情况)，控制部22再次从步骤S702执行。
当找到与第一物体或第二物体的至少一个接触的三维对象时(步骤S705“是”的情况)，作为步骤S706，控制部22将在第一物体和第二物体之间显示的三维对象设为假定选择状态。另外，作为步骤S707，计算第一物体和第二物体的距离。
然后，作为步骤S715，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S715“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S715“否”的情况)，控制部22再次从步骤S702执行。
当检测到第一物体和第二物体，并且存在处于假定选择状态的三维对象时(步骤S703“是”的情况)，作为步骤S708，控制部22计算第一物体和第二物体的距离。接着，作为步骤S709，控制部22判断距离是否大致固定。当距离不是大致固定时(步骤S709“否”的情况)，作为步骤S714，控制部22解除该三维对象的假定选择状态。
然后，作为步骤S715，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S715“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S715“否”的情况)，控制部22再次从步骤S702执行。
当第一物体和第二物体的距离大致固定时(步骤S709“是”的情况)，作为步骤S710，控制部22判断距离保持大致固定的期间是否在预定时间以上。当距离保持大致固定的期间未达到预定时间时(步骤S710“否”的情况)，作为步骤S715，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S715“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S715“否”的情况)，控制部22再次从步骤S702执行。
当距离保持大致固定的期间在预定时间以上时(步骤S710“是”的情况)，作为步骤S711，控制部22将在第一物体和第二物体之间显示的三维对象设定为选择状态。另外，作为步骤S712，控制部22将三维对象移动至第一物体和第二物体之间。然后，作为步骤S713，进行上述图12至图14示出的操作检测处理，其中，根据检测到的操作使处于选择状态的三维对象变化。
操作检测处理结束之后，作为步骤S715，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S715“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S715“否”的情况)，控制部22再次从步骤S702执行。
实施例3
下文说明第三实施例。虽然第三实施例的显示装置1根据控制程序24a提供的功能进行的选择检测处理的处理顺序与第一实施例不同，但是作为硬件来看，第三实施例的显示装置1与第一实施例的显示装置1具有相同的构造。因此，在第三实施例中，省略与第一实施例重复的说明，主要说明选择检测处理和操作检测处理。
首先参考图26和图27说明对于三维对象的操作的检测。图26和图27是用于说明对于三维对象的操作的检测的图。在图26示出的步骤S41中，通过显示部32a和显示部32b在显示空间中以立体方式显示三维对象OB1。另外，为了选择三维对象OB1，使用者移动手指F1和手指F2以使得三维对象OB1位于手指F1和手指F2之间。
显示装置1在显示空间中检测到存在2个物体并且三维对象OB1位于该2个物体之间时，监视2个物体的距离变化。而且，如果距离大致固定持续预定时间以上，则判断选择了三维对象OB1，将三维对象OB1设为选择状态。而且，显示装置1变更三维对象OB1的显示方式等，向使用者通知三维对象OB1成为选择状态。
在显示装置1监视2个物体的距离变化期间，2个物体无需停留在夹持三维对象OB1的位置。也就是说，使用者如步骤S41所示那样移动手指F1和手指F2以使得三维对象OB1位于手指F1和手指F2之间后，也可以不保持该状态，将手指向其他位置移动。
如步骤S42所示，使用者从步骤S41的状态以保持手指F1和手指F2的距离D1大致固定的状态移动手指F1和手指F2。在这种情况下，显示装置1从检测到在手指F1和手指F2之间显示三维对象OB1的阶段，即从步骤S41的阶段根据手指F1和手指F2的动作，对三维对象OB1施加移动、旋转、变形、消失等变化。而且，如步骤S43所示，在手指F1和手指F2的距离D1保持大致固定的状态持续了预定时间以上的阶段，显示装置1将三维对象OB1设为选择状态。
另外，如图27的步骤S51至S53所示，在经过预定时间之前手指F1和手指F2的距离D1变大时，即未进行选择时，显示装置1对三维对象OB1施加与在当时施加的变化相反的变化。结果，在与步骤S51的阶段相同的位置以相同的状态显示三维对象OB1。对三维对象OB1施加相反变化的速度也可以比当时对三维对象OB1施加变化的速度快。即，也可以如高速倒放一样使三维对象OB1做相反变化。
这样，通过从检测到三维对象在2个物体之间显示的阶段开始对三维对象施加变化，使得使用者可以在确定选择之前识别正在选择三维对象。结果，使用者可以提前知道是否选择了想选的三维对象。另外，到2个物体的距离保持大致固定的状态持续预定时间以上为止，也可以通过以与通常状态和选择状态不同的方式(例如半透明)显示被施加变化的三维对象，使得使用者易于判断三维对象的状态。
接着，参考图28和图29说明显示装置1关于三维对象的操作进行的处理顺序。图28是示出三维对象的选择检测处理的处理顺序的流程图。图28示出的处理顺序通过控制部22执行控制程序24a而实现。
如图28所示，首先，作为步骤S801，控制部22合成包括三维对象的假想空间图像和真实空间图像并使其显示。具体地，在本实施例中，如上述图9和图10等所示，控制部22将多个立方体沿正交的三个方向排列所构成的集合体(三维对象)通过显示部32a立体显示在显示空间中。即，控制部22控制显示部32a在显示空间中立体显示立体拼图(三维对象)。
接着，作为步骤S802，控制部22判断由检测部44(也就是摄影部40和摄影部42)是否检测到第一物体和第二物体。也就是说，控制部22控制检测部44检测在显示空间中的物体(包括第一物体和第二物体)的动作。具体地，在本实施例中，如上述图9所示，控制部22控制检测部44检测抓住集合体的位置是否存在物体(包括第一物体和第二物体)(在上述图9中是单手抓住的状态)。另外，如上述图10所示，控制部22控制检测部44检测是否有在2处抓住集合体的2组物体(在上述图10中是双手抓住的状态)。另外，虽然图中未示出，但是控制部22也可以控制检测部44检测是否有在2处抓住集合体的2组物体(双手抓住的状态)，并且检测是否存在与该2组物体不同的其他物体(例如，空闲的手指或其他用户的手等)。
当未检测到第一物体和第二物体时(步骤S802“否”的情况)，作为步骤S810，如果存在处于假定选择状态的三维对象，则控制部22解除该三维对象的假定选择状态。
然后，作为步骤S811，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S811“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S811“否”的情况)，控制部22再次从步骤S802执行。
当检测到第一物体和第二物体时(步骤S802“是”的情况)，作为步骤S803，控制部22判断是否存在处于假定选择状态的三维对象。当没有处于假定选择状态的三维对象时(步骤S803“否”的情况)，作为步骤S804，控制部22从显示的三维对象之中寻找在第一物体和第二物体之间显示的三维对象。
当没有符合的三维对象时(步骤S805“否”的情况)，作为步骤S811，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S811“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S811“否”的情况)，控制部22再次从步骤S802执行。
当发现在第一物体和第二物体之间显示的三维对象时(步骤S805“是”的情况)，作为步骤S806，控制部22将在第一物体和第二物体之间显示的三维对象设为假定选择状态。另外，作为步骤S807，控制部22计算第一物体和第二物体的距离。
然后，作为步骤S811，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S811“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S811“否”的情况)，控制部22再次从步骤S802执行。
当检测到第一物体和第二物体并且存在处于假定选择状态的三维对象时(步骤S803“是”的情况)，作为步骤S808，控制部22判断第一物体和第二物体的至少一个是否移动。当第一物体和第二物体都未移动时(步骤S808“否”的情况)，作为步骤S811，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S811“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S811“否”的情况)，控制部22再次从步骤S802执行。
当第一物体和第二物体的至少一个移动时(步骤S808“是”的情况)，作为步骤S809，控制部22执行图29示出的操作检测处理，其中根据检测到的操作使处于选择状态的三维对象变化。
操作检测处理结束之后，作为步骤S811，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S811“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S811“否”的情况)，控制部22再次从步骤S802执行。
图29是示出操作检测处理的处理顺序的流程图。图29示出的处理顺序通过控制部22执行控制程序24a实现。如图29所示，首先，作为步骤S901，控制部22计算第一物体和第二物体的距离。然后，作为步骤S902，控制部22判断操作检测处理开始之后的第一物体和第二物体的距离是否大致固定。
当第一物体和第二物体的距离大致固定时(步骤S902“是”的情况)，作为步骤S903，控制部22判断从操作检测处理开始后是否经过了预定时间。当经过了预定的时间时(步骤S903“是”的情况)，作为步骤S904，如果存在处于假定选择状态的三维对象，则控制部22将该三维对象设为选择状态。当未经过预定时间时(步骤S903“否”的情况)，不执行步骤S904。
接着，作为步骤S905，控制部22计算第一物体和第二物体的移动速度。然后，作为步骤S906，控制部22判断计算出的移动速度是否在阈值以下。当移动速度在阈值以下时(步骤S906“是”的情况)，作为步骤S907，控制部22根据检测到的第一物体和第二物体的动作移动或旋转三维对象OB1。具体地，在本实施例中，控制部22在步骤S907中根据检测部44的检测结果(也就是物体的动作)改变如图9、图10和图15至图19所示的集合体(三维对象)的各要素的位置。也就是说，控制部22在中根据检测部44的检测结果改变如上述图9、图10和图15至图19所示的立体拼图(三维对象)的小块的位置。然后，控制部22再次从步骤S901执行。
当移动速度比阈值快时(步骤S906“否”的情况)，作为步骤S908，控制部22使三维对象的应用(游戏)复位。也就是说，在本实施例中，由于三维对象是立体拼图，因此控制部22在进行该立体拼图游戏时消除该三维对象，从而将游戏复位至开始时。具体地，控制部22在消除三维对象时，也可以以三维对象OB1向第一物体和第二物体的移动方向快速移动的方式进行动画显示。然后，控制部22结束操作检测处理。
当第一物体和第二物体的距离不是大致固定时(步骤S902“否”的情况)，作为步骤S909，控制部22判断与选择三维对象OB1时(也就是开始操作检测处理时)相比距离是否扩大。当距离扩大时(步骤S909“是”的情况)，作为步骤S910，控制部22判断在第一物体和第二物体之间显示的三维对象是否处于假定选择状态。
当三维对象处于假定选择状态时(步骤S910“是”的情况)，作为步骤S911，控制部22解除三维对象的假定选择状态。另外，作为步骤S912，控制部22使三维对象进行相反的变化并返回初始状态。然后，控制部22结束操作检测处理。
当三维对象不处于假定选择状态(即处于选择状态)时(步骤S910“否”的情况)，作为步骤S913，控制部22解除三维对象的选择状态。然后，控制部22结束操作检测处理。
另外，在本实施例中，以不考虑重力控制处于悬浮状态的三维对象为基本规则，但是也可以考虑重力将其控制为用户如果不抓住三维对象则掉落的情况。具体地，控制部22也可以在步骤S913的处理后，经过一定时间后根据重力等使解除了选择状态的三维对象移动，将三维对象返回最初的放置场所。这里，控制部22也可以使三维对象与实际的重力作用时相比更缓慢地移动。然后，控制部22结束操作检测处理。另外，这里的移动显示为例如三维对象遵循重力下落并在地板或桌子上停止。使三维对象的动作停止之前，也可以根据三维对象的弹性或地板或桌子的硬度使三维对象反弹。计算三维对象与地板或桌子冲撞时的撞击力度，当撞击比预定值大时也可以显示为三维对象损坏。在这种情况下，与上述步骤S908的处理相同，游戏被复位至开始时。
另外，当第一物体和第二物体的距离与选择三维对象时相比扩大时，也可以不解除三维对象的选择状态而扩大三维对象的显示尺寸。在这种情况下，为了与解除三维对象的选择状态的处理区别开，控制部22只在检测到当在上述选择检测处理中2组物体选择三维对象，在本操作检测处理中物体将三维对象拉长的动作时(即，检测到双手抓住三维对象将其拉长的动作时)，不解除三维对象的选择状态而扩大三维对象的显示尺寸。
另一方面，当第一物体和第二物体的距离与选择三维对象时相比缩小时(步骤S909“否”的情况)，作为步骤S914，控制部22根据距离来缩小三维对象的显示尺寸。由此，用户可以将显示空间中立体显示的三维对象的显示尺寸缩小为合乎用户喜好的尺寸。然后，控制部22再次从步骤S901执行。使三维对象的显示尺寸缩小的程度也可以例如根据作为三维对象的属性所设定的弹性而改变。另外，当第一物体和第二物体的距离与选择三维对象时相比显著缩小时，也就是第一物体和第二物体的距离在预定值以下时，也可以显示为三维对象损坏。例如，在本实施例中，也可以如在上述步骤S908中上述攥坏三维对象的操作，通过在进行该三维对象的游戏(也就是进行立体拼图的游戏)时消除该三维对象，从而将游戏复位至开始时。
如上所述，在第三实施例中，由于从检测到三维对象处于手指等的物体之间时开始根据操作使三维对象变化，因此使用者易于识别三维对象的选择。
另外，如图30示出的步骤S61至步骤S63，也可以设定选择三维对象的条件为：在第一物体和第二物体之中至少一个与三维对象接触后，第一物体和第二物体的距离保持大致固定持续预定时间以上。这里，图30是用于说明对于三维对象的操作的检测的其他实施例的图。通过以与三维对象的接触作为选择条件，使得当多个三维对象被显示为彼此靠近时，使用者易于选择希望的三维对象。
图31是示出以与三维对象的接触为选择条件时的选择检测处理的处理顺序的流程图。如图31所示，首先，作为步骤S1001，控制部22合成包括三维对象的假想空间图像和真实空间图像并使其显示。具体地，在本实施例中，如上述图9和图10等所示，控制部22将多个立方体沿正交的三个方向排列所构成的集合体(三维对象)通过显示部32a立体显示在显示空间中。即，控制部22控制显示部32a在显示空间中立体显示立体拼图(三维对象)。
接着，作为步骤S1002，控制部22判断由检测部44(也就是摄影部40和摄影部42)是否检测到第一物体和第二物体。也就是说，控制部22控制检测部44检测在显示空间中的物体(包括第一物体和第二物体)的动作。具体地，在本实施例中，如上述图9所示，控制部22控制检测部44检测抓住集合体的位置是否存在物体(包括第一物体和第二物体)(在上述图9中是单手抓住的状态)。另外，如上述图10所示，控制部22控制检测部44检测是否有在2处抓住集合体的2组物体(在上述图10中是双手抓住的状态)。另外，虽然图中未示出，但是控制部22也可以控制检测部44检测是否有在2处抓住集合体的2组物体(双手抓住的状态)，并且检测是否存在与该2组物体不同的其他物体(例如，空闲的手指或其他用户的手等)。
当未检测到第一物体和第二物体时(步骤S1002“否”的情况)，作为步骤S1010，如果存在处于假定选择状态的三维对象，则控制部22解除该三维对象的假定选择状态。
然后，作为步骤S1011，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S1011“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S1011“否”的情况)，控制部22再次从步骤S1002执行。
当检测到第一物体和第二物体时(步骤S1002“是”的情况)，作为步骤S1003，控制部22判断是否存在处于假定选择状态的三维对象。当没有处于假定选择状态的三维对象时(步骤S1003“否”的情况)，作为步骤S1004，控制部22从显示的三维对象之中寻找与第一物体或第二物体的至少一个接触的三维对象。
当没有符合的三维对象时(步骤S1005“否”的情况)，作为步骤S1011，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S1011“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S1011“否”的情况)，控制部22再次从步骤S1002执行。
当发现与第一物体或第二物体的至少一个接触的三维对象时(步骤S1005“是”的情况)，作为步骤S1006，控制部22将在第一物体和第二物体之间显示的三维对象设为假定选择状态。另外，作为步骤S1007，控制部22计算第一物体和第二物体的距离。
然后，作为步骤S1011，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S1011“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S1011“否”的情况)，控制部22再次从步骤S1002执行。
当检测到第一物体和第二物体并且存在处于假定选择状态的三维对象时(步骤S1003“是”的情况)，作为步骤S1008，控制部22判断第一物体和第二物体的至少一个是否移动。当第一物体和第二物体都未移动时(步骤S1008“否”的情况)，作为步骤S1011，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S1011“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S1011“否”的情况)，控制部22再次从步骤S1002执行。
当第一物体和第二物体的至少一个移动时(步骤S1008“是”的情况)，作为步骤S1009，控制部22执行图29示出的操作检测处理，其中根据检测到的操作使处于选择状态的三维对象变化。
操作检测处理结束之后，作为步骤S1011，控制部22判断是否检测到操作结束。当检测到操作结束时(步骤S1011“是”的情况)，控制部22结束选择检测处理。当未检测到操作结束时(步骤S1011“否”的情况)，控制部22再次从步骤S1002执行。
如上所述，根据上述的各实施例，可以实现下述内容。在上述实施例的三维对象的选择中，在手等物体都进入显示空间(对象区域)中的情况下，由于使三维对象移动或变化，因此可以产生与现实世界在某种程度上联系的作用。另外，在游戏的情况下，可以将手从显示空间移除。另外，在上述实施例中，由于检测手等物体是否在作为对象的三维对象附近固定了一定时间，因此可以与之后手的动作联动而使三维对象变形·移动。另外，当存在多个三维对象，手距各个三维对象的距离相同时，可以通过判断手掌朝向哪一方，或通过等待三维对象的动作进行判断来选择。也就是说，可以通过检测手与哪一个三维对象接近来选择。另外，在上述实施例中，除了进行三维对象的选择后根据特定输入信号使三维对象变形·移动之外，对于三维对象，也可以通过用手指指示、声音、视线朝向等选择。在这种情况下，指定三维对象后，即使手等的物体不进入显示空间(对象区域)，也可以根据手的移动量来移动三维对象。
另外，在上述实施例的三维对象的变形·移动中，根据与三维对象的接触面积和接触位置可以改变对三维对象的作用。由此，例如可以通过用手指按压或用手掌按压来改变作用。在这种情况下，根据三维对象放置在什么地方(例如怎样的物体上)，可以考虑摩擦等来改变作用。在这种情况下，当相对于三维对象手在别处时，通过将手假想显示在三维对象的位置，可以调整与三维对象的接触面积和接触位置。也就是说，无需设定三维对象的位置一定存在手指。另外，在上述实施例中，可以根据三维对象改变变形·移动内容。例如，可以使得当柔软对象按压时则进行变形，坚硬对象按压时则每个三维对象移动。在这种情况下，如果手与三维对象接触的速度快则变形，如果手与三维对象接触的速度慢则每个三维对象移动。另外，在上述实施例中，基本上变形·移动是对于三维对象的主要处理，但是通过像按压蜡烛或打火机等那样，也可以使三维对象产生消失或附着作用。另外，在上述实施例中，也可以反映对三维对象考虑了重力后的变形·移动结果。
另外，在上述实施例的三维对象的放开(离开)中，通过检测到作为物体的手指从三维对象的表面位置(坐标)离开，可以放开三维对象。另外，在上述实施例中，通过用声音通知放开三维对象，也可以放开三维对象。
下文说明在上述各实施例中说明过的显示装置的适用例和变形例。根据检测到的操作施加于三维对象的变化不限于上述的移动、旋转、变形、消失等。在操作检测处理中检测的操作和根据操作施加于三维对象的变化不限于上述的实施例，也可以根据三维对象的种类改变。
另外，上述实施例所示出的本发明的方式在不脱离本发明主旨的范围内可以任意改变。另外，也可以适当组合上述实施例。例如，上述实施例示出的控制程序24a也可以分割为多个模块，也可以与其他程序合并。另外，在上述实施例中，对三维对象使用手指进行操作，但是也可以使用棒状物等代替手指。
另外，在上述实施例中，显示装置单独检测对三维对象的操作，但是也可以显示装置和服务器装置协作检测对三维对象的操作。在这种情况下，显示装置将检测部检测到的信息依次向服务器装置发送，服务器装置检测操作并将检测结果向显示装置通知。换言之，在上述实施例中，控制部22使用存储在存储部24中的控制程序24a进行三维对象的选择检测处理和操作检测处理，但是本发明不限于此。显示装置也可以通过可以通信的服务器执行各种计算处理。也就是说，也可以在外部进行计算处理本身。在这种情况下，显示装置向服务器发送检测部检测到的信息并从服务器接收计算处理后的数据。这样，通过由服务器进行计算等，可以减少显示装置承载的负荷。也就是说，也可以将服务器和显示装置作为一个控制系统，进行上述处理。根据这种结构，可以降低显示装置的负荷。
另外，在上述实施例中，说明了使用立方体(正六面体)的情况，但是并不限于此。例如，如图32A至图32D所示，可发明可以适用于各种正N面体(N＝4、6、8、12、20)。
具体地，显示部也可以在显示空间中立体显示沿连结多个正N面体(N＝4、6、8、12、20)的各顶点构成的各面排列所构成的集合体。而且，具有检测在显示空间中的物体的动作的检测部和根据检测部的检测结果改变集合体的各要素位置的控制部这一点与上述相同。另外，集合体的各要素标有可以判断所有该要素是否属于同一组的标记这一点与上述相同。另外，如图所示，在正N面体中的各面上，示出排列各要素的例子。当基本上各面是正三角形时，在各面上的一边的各要素并排排列有2的倍数个或3的倍数个各要素。
而且，控制部进行如下控制：将与在正N面体的各面之中的第一面正交的方向作为旋转轴旋转正N面体，以使得在该第一面上并且如果有与该第一面平行的面则即使在该平行的面上，各要素的位置关系不变，并且在与该第一面相交的面或如果有与该第一面平行的面则在与该平行的面相交的多个其他面上，构成该多个其他面的各要素在该多个其他面之间替换。
附图标记说明
1～4   显示装置
1a     前面部
1b、1c 侧面部
4d     外部装置
13     操作部
22     控制部
24     存储部
24a    控制程序
24b    对象数据
24c    作用数据
24d    假想空间数据
25     检测处理部
26     显示对象控制部
27     图像合成部
32a、32b  显示部
40、42 摄影部
44     检测部
46     测距部

Claims (16)

1.一种显示装置，其特征在于，包括：
显示部，当显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，在显示空间中立体显示多个立方体沿正交的3个方向排列所构成的集合体；
检测部，检测所述显示空间中的物体的动作；以及
控制部，根据所述检测部的检测结果改变所述集合体的各要素的位置，
其中，所述集合体的6个面的各个面由以各立方体的外表面为要素的集合体构成，各要素标有能够判断所有的该要素是否属于同一组的标记，
所述控制部进行如下控制：根据所述检测部的检测结果，将与所述正交的3个方向中的一个方向作为旋转轴旋转所述立方体，以使得在所述6个面中的与所述一个方向正交的面上，构成与所述一个方向正交的面的各要素的位置关系不变，并且在与所述正交的3个方向中的其他方向正交的多个其他面上，构成所述多个其他面的各要素在所述多个其他面之间替换。
2.如权利要求1所述的显示装置，其特征在于，
当所述检测部检测到抓住所述集合体的位置处存在所述物体并且所述物体移动时，所述控制部根据所述物体的动作控制所述集合体移动。
3.如权利要求1所述的显示装置，其特征在于，
当所述检测部检测到在2处抓住所述集合体的2组物体，并且检测到所述2组物体以所述2组物体相对的方向为中心相对地旋转的动作时，所述控制部将所述2组物体相对的方向设为所述一个方向，根据所述相对地旋转的动作的旋转量，控制所述立方体旋转。
4.如权利要求1所述的显示装置，其特征在于，
所述显示部在显示空间中立体显示多个集合体，
当所述检测部对于所述多个集合体中的一个集合体来检测到在2处抓住所述一个集合体的2组物体，并且检测到所述2组物体以所述2组物体相对的方向为中心相对地旋转的动作时，
所述控制部将所述2组物体相对的方向设为所述一个方向，根据相对于所述一个集合体的所述相对地旋转的动作的旋转量，控制构成所述一个集合体的立方体和构成所述多个集合体中的其他集合体的立方体进行联动旋转。
5.如权利要求4所述的显示装置，其特征在于，
所述显示部立体显示所述一个集合体中嵌套所述其他集合体的状态，
当所述检测部检测到抓住所述其他集合体的位置处存在所述物体，并且所述物体移动时，
所述控制部根据所述物体的动作进行控制，以使得所述一个集合体不移动，而仅使得所述其他集合体移动。
6.如权利要求4所述的显示装置，其特征在于，
所述显示部将所述一个集合体和所述其他集合体分别立体显示在相同的所述显示空间中，
当所述检测部检测到抓住所述其他集合体的位置处存在所述物体，并且所述物体移动时，
所述控制部根据所述物体对于所述其他集合体的动作进行控制，以使得所述其他集合体和所述一个集合体联动移动。
7.如权利要求1所述的显示装置，其特征在于，所述检测部包括相机或TOF传感器。
8.如权利要求1所述的显示装置，其特征在于，所述显示部显示限制时间。
9.如权利要求1所述的显示装置，其特征在于，所述显示部显示所述立方体已经旋转的旋转数。
10.一种显示装置，其特征在于，包括：
显示部，当显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，在显示空间中立体显示立体拼图；
检测部，检测所述显示空间中的物体的动作；以及
控制部，根据所述检测部的检测结果改变所述立体拼图的小块的位置。
11.如权利要求10所述的显示装置，其特征在于，所述立体拼图是正多面体型立体拼图。
12.如权利要求11所述的显示装置，其特征在于，所述正多面体型立体拼图包括正四面体型立体拼图、正六面体型立体拼图、正八面体型立体拼图、正十二面体型立体拼图和正二十面体型立体拼图。
13.如权利要求12所述的显示装置，所述正六面体型立体拼图包括二阶魔方、三阶魔方、四阶魔方和五阶魔方。
14.一种控制系统，其特征在于，具有显示装置和控制装置，
所述显示装置包括：显示部，当显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，在显示空间中立体显示多个立方体沿正交的3个方向排列所构成的集合体；以及检测部，检测所述显示空间中的物体的动作，
所述控制装置包括控制部，所述控制部根据所述检测部的检测结果改变所述集合体的各要素的位置，
其中，所述集合体的6个面的各个面由以各立方体的外表面为要素的集合体构成，各要素标有能够判断所有的该要素是否属于同一组的标记，
所述控制部进行如下控制：根据所述检测部的检测结果，将与所述正交的3个方向中的一个方向作为旋转轴旋转所述立方体，以使得在所述6个面中的与所述一个方向正交的面上，构成与所述一个方向正交的面的各要素的位置关系不变，并且在与所述正交的3个方向中的其他方向正交的多个其他面上，构成所述多个其他面的各要素在所述多个其他面之间替换。
15.一种控制程序，其特征在于，使得显示装置进行如下的步骤，其中，所述显示装置包括：显示部，当显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，在显示空间中立体显示多个立方体沿正交的3个方向排列所构成的集合体；检测部，检测所述显示空间中的物体的动作；以及控制部，根据所述检测部的检测结果改变所述集合体的各要素的位置，其中，所述集合体的6个面的各个面由以各立方体的外表面为要素的集合体构成，各要素标有能够判断所有的该要素是否属于同一组的标记，
所述步骤包括：
通过所述检测部进行检测操作；以及
根据所述检测部的检测结果，将与所述正交的3个方向中的一个方向作为旋转轴旋转所述立方体，以使得在所述6个面中的与所述一个方向正交的面上，构成与所述一个方向正交的面的各要素的位置关系不变，并且在与所述正交的3个方向中的其他方向正交的多个其他面上，构成所述多个其他面的各要素在所述多个其他面之间替换。
16.一种显示装置，其特征在于，包括：
显示部，当显示装置被佩戴时，通过显示与用户两只眼睛各自对应的图像，在显示空间中立体显示沿连结多个正N面体(N＝4、6、8、12、20)的各顶点构成的各面而进行排列所构成的集合体；
检测部，检测所述显示空间中的物体的动作；以及
控制部，根据所述检测部的检测结果改变所述集合体的各要素的位置，
其中，所述集合体的各要素标有能够判断所有的该要素是否属于同一组的标记，
所述控制部进行如下控制：根据所述检测部的检测结果，将与所述各面之中的第一面正交的方向作为旋转轴来旋转所述正N面体，以使得在所述第一面上并且如果有与所述第一面平行的面也在该平行的面上，各要素的位置关系不变，并且在与所述第一面相交的面或如果有所述平行的面则在与所述平行的面相交的多个其他面上，构成所述多个其他面的各要素在所述多个其他面之间替换。
CN201380050069.9A 2012-09-27 2013-09-26 显示装置、控制系统和控制程序 Pending CN104662602A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-214955 2012-09-27
JP2012214955A JP6041604B2 (ja) 2012-09-27 2012-09-27 表示装置、制御システムおよび制御プログラム
PCT/JP2013/076080 WO2014050974A1 (ja) 2012-09-27 2013-09-26 表示装置、制御システムおよび制御プログラム

Publications (1)

Publication Number Publication Date
CN104662602A true CN104662602A (zh) 2015-05-27

Family

ID=50388369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380050069.9A Pending CN104662602A (zh) 2012-09-27 2013-09-26 显示装置、控制系统和控制程序

Country Status (5)

Country Link
US (1) US9799141B2 (zh)
EP (1) EP2902998A4 (zh)
JP (1) JP6041604B2 (zh)
CN (1) CN104662602A (zh)
WO (1) WO2014050974A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718054A (zh) * 2016-01-18 2016-06-29 天词信息科技（上海）有限公司 增强现实物的非接触式智能终端控制方法及装置、系统
CN108604121A (zh) * 2016-05-10 2018-09-28 谷歌有限责任公司 虚拟现实中的双手对象操纵
CN109215418A (zh) * 2018-10-25 2019-01-15 塔普翊海（上海）智能科技有限公司 一种魔方、魔方教学系统以及魔方教学方法
CN111111232A (zh) * 2020-01-07 2020-05-08 北京小米移动软件有限公司 指尖积木，及其控制方法和控制装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6489320B2 (ja) * 2013-11-20 2019-03-27 パナソニックＩｐマネジメント株式会社 測距撮像システム
CN105224121B (zh) * 2014-07-03 2017-12-12 深圳Tcl新技术有限公司 密码输入方法及系统
JP2017099686A (ja) * 2015-12-02 2017-06-08 株式会社ブリリアントサービス ゲーム用ヘッドマウントディスプレイ、ゲーム用ヘッドマウントディスプレイのプログラム、およびゲーム用ヘッドマウントディスプレイの制御方法
JP6134040B1 (ja) * 2016-07-19 2017-05-24 実 嶋田 パズルシステムおよびその制御方法
EP3502841B1 (en) * 2016-08-18 2023-07-26 Sony Group Corporation Information processing device, information processing system and information processing method
JP2019020836A (ja) * 2017-07-12 2019-02-07 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207620A (ja) * 1997-01-28 1998-08-07 Atr Chinou Eizo Tsushin Kenkyusho:Kk 立体インタラクション装置および立体インタラクション方法
JP2000089871A (ja) * 1998-09-11 2000-03-31 Yoshihiro Maekawa 三次元物体表面の表示方法及び この表示方法を用いたコンピューターゲーム
CN1604014A (zh) * 2003-09-30 2005-04-06 佳能株式会社 图像显示装置和方法
WO2005059733A1 (en) * 2003-12-16 2005-06-30 Mobience, Inc. Button-type device for three dimensional rotation and translation control
US20110050562A1 (en) * 2009-08-27 2011-03-03 Schlumberger Technology Corporation Visualization controls
US20110140994A1 (en) * 2009-12-15 2011-06-16 Noma Tatsuyoshi Information Presenting Apparatus, Method, and Computer Program Product
GB2477044A (en) * 2008-08-22 2011-07-20 Northrop Grumman Space & Msn Compound two handed gesture recognition
JP2012093934A (ja) * 2010-10-27 2012-05-17 Konami Digital Entertainment Co Ltd 画像表示装置、ゲームプログラム、ゲーム制御方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3726027A (en) * 1971-01-21 1973-04-10 L Cohen Teaching aid and educational toy
JPS5889287A (ja) * 1981-11-19 1983-05-27 オムロン株式会社 電子パズル
US5651679A (en) * 1995-09-27 1997-07-29 Altman; Frederick Jerome Virtual polyhedra models
US6062978A (en) * 1995-12-11 2000-05-16 Four Star Software, Inc. Rotating cube computer video games
JPH1099543A (ja) * 1996-10-01 1998-04-21 Miki Aatsu Internatl Kk コンピュータ式タイルパズルゲーム装置の制御方法及びタイルパズルゲーム制御プログラムを記憶した媒体
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6921314B2 (en) * 1998-03-13 2005-07-26 George R. Miller Intercleaving spatially dichotomized polyhedral building blocks and extensions
JP2000184398A (ja) * 1998-10-09 2000-06-30 Sony Corp 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体
JP3506640B2 (ja) * 1999-07-30 2004-03-15 任天堂株式会社 立体表示ゲーム装置及び立体表示ゲーム用記憶媒体
JP2003024631A (ja) * 2001-07-17 2003-01-28 Agura:Kk 立体パズル装置およびそのプログラム
US7909696B2 (en) * 2001-08-09 2011-03-22 Igt Game interaction in 3-D gaming environments
JP2003062341A (ja) * 2001-08-22 2003-03-04 Nintendo Co Ltd ゲームシステム、パズルゲームプログラムおよびプログラムを記憶した記憶媒体
GR1004581B (el) * 2003-05-21 2004-05-26 Κυβικο λογικο παιχνιδι
US7956819B2 (en) * 2004-09-30 2011-06-07 Pioneer Corporation Stereoscopic two-dimensional image display device
US8477139B2 (en) * 2008-06-09 2013-07-02 Apple Inc. Touch screen device, method, and graphical user interface for manipulating three-dimensional virtual objects
US20100084814A1 (en) * 2008-10-06 2010-04-08 Chin-Huang Yang Puzzle cube assembly
JP2011095547A (ja) 2009-10-30 2011-05-12 Sharp Corp 表示装置
JP2011101677A (ja) 2009-11-10 2011-05-26 Hironari Hoshino ゲーム装置及びゲームプログラム
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
US8643569B2 (en) * 2010-07-14 2014-02-04 Zspace, Inc. Tools for use within a three dimensional scene
US8727351B2 (en) * 2010-08-27 2014-05-20 Mosen Agamawi Cube puzzle game
US8704879B1 (en) * 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
JP5632693B2 (ja) * 2010-09-28 2014-11-26 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
WO2012049848A1 (ja) * 2010-10-14 2012-04-19 パナソニック株式会社 ステレオ画像表示装置
JP5757790B2 (ja) * 2011-06-03 2015-07-29 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び、情報処理方法
US9914056B2 (en) * 2011-06-03 2018-03-13 Nintendo Co., Ltd. Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system
JP5774387B2 (ja) 2011-06-28 2015-09-09 京セラ株式会社 表示機器
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US20130104087A1 (en) * 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
KR101846447B1 (ko) * 2011-12-08 2018-04-06 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP5181084B1 (ja) * 2012-01-27 2013-04-10 パナソニック株式会社 立体画像表示制御装置及び立体画像表示制御方法
SE537580C2 (sv) * 2012-08-03 2015-06-30 Crunchfish Ab Förbättrad inmatning
US20140077454A1 (en) * 2012-09-15 2014-03-20 Paul Lapstun Block Puzzle with Row and Column Rotations

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207620A (ja) * 1997-01-28 1998-08-07 Atr Chinou Eizo Tsushin Kenkyusho:Kk 立体インタラクション装置および立体インタラクション方法
JP2000089871A (ja) * 1998-09-11 2000-03-31 Yoshihiro Maekawa 三次元物体表面の表示方法及び この表示方法を用いたコンピューターゲーム
CN1604014A (zh) * 2003-09-30 2005-04-06 佳能株式会社 图像显示装置和方法
WO2005059733A1 (en) * 2003-12-16 2005-06-30 Mobience, Inc. Button-type device for three dimensional rotation and translation control
GB2477044A (en) * 2008-08-22 2011-07-20 Northrop Grumman Space & Msn Compound two handed gesture recognition
US20110050562A1 (en) * 2009-08-27 2011-03-03 Schlumberger Technology Corporation Visualization controls
US20110140994A1 (en) * 2009-12-15 2011-06-16 Noma Tatsuyoshi Information Presenting Apparatus, Method, and Computer Program Product
JP2012093934A (ja) * 2010-10-27 2012-05-17 Konami Digital Entertainment Co Ltd 画像表示装置、ゲームプログラム、ゲーム制御方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LAWRENCE D. CUTLER 等: "Two-Handed Direct Manipulation on the Responsive Workbench", 《PROCEEDINGS OF THE 1997 SYMPOSIUM ON INTERACTIVE 3D GRAPHICS》 *
SOMSAK WALAIRACHT 等: "Two-Handed Multiple-Finger Virtual Object Manipulation Environment with Haptic Cues", 《ELECTRONICS AND COMMUNICATIONS IN JAPAN, PART 2》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718054A (zh) * 2016-01-18 2016-06-29 天词信息科技（上海）有限公司 增强现实物的非接触式智能终端控制方法及装置、系统
CN108604121A (zh) * 2016-05-10 2018-09-28 谷歌有限责任公司 虚拟现实中的双手对象操纵
US10754497B2 (en) 2016-05-10 2020-08-25 Google Llc Two-handed object manipulations in virtual reality
CN109215418A (zh) * 2018-10-25 2019-01-15 塔普翊海（上海）智能科技有限公司 一种魔方、魔方教学系统以及魔方教学方法
CN111111232A (zh) * 2020-01-07 2020-05-08 北京小米移动软件有限公司 指尖积木，及其控制方法和控制装置

Also Published As

Publication number Publication date
JP6041604B2 (ja) 2016-12-14
JP2014071154A (ja) 2014-04-21
WO2014050974A1 (ja) 2014-04-03
EP2902998A1 (en) 2015-08-05
US9799141B2 (en) 2017-10-24
EP2902998A4 (en) 2016-05-18
US20150243081A1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
CN104662602A (zh) 显示装置、控制系统和控制程序
US8964008B2 (en) Volumetric video presentation
CN107710108B (zh) 内容浏览
CN104703664B (zh) 显示装置、控制系统和控制方法
EP2887322B1 (en) Mixed reality holographic object development
JP2018523326A (ja) 全球状取込方法
EP3106963B1 (en) Mediated reality
JP6126821B2 (ja) 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
CN105208368A (zh) 显示全景数据的方法及装置
WO2015168041A1 (en) Transitions between body-locked and world-locked augmented reality
JP6039594B2 (ja) 情報処理装置および情報処理方法
US20160227868A1 (en) Removable face shield for augmented reality device
CN102714739A (zh) 处理器、设备以及相关联的方法
US8854358B2 (en) Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing method, and image processing system
TW201336294A (zh) 立體成像系統及其方法
CN109189302A (zh) Ar虚拟模型的控制方法及装置
JP2020523672A (ja) 媒介現実コンテンツのレンダリング
CN107924586A (zh) 搜索图像内容
EP3991142A1 (en) Fast hand meshing for dynamic occlusion
JP4624587B2 (ja) 画像生成装置、プログラム及び情報記憶媒体
EP3454174B1 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
CN105320280A (zh) 一种信息处理方法和电子设备
JP5950701B2 (ja) 画像表示システム、パズルゲームシステム、画像表示方法、パズルゲーム方法、画像表示装置、パズルゲーム装置、画像表示プログラム、および、パズルゲームプログラム
US10877561B2 (en) Haptic immersive device with touch surfaces for virtual object creation
JP4624588B2 (ja) 画像生成装置、プログラム及び情報記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150527

WD01 Invention patent application deemed withdrawn after publication