CN1931410A - 信息处理程序 - Google Patents

Abstract

游戏系统包括图像获得装置、方向计算装置、第一旋转装置和显示控制装置。图像获得装置获得由成像设备拍摄的图像。方向计算装置计算如此方向，其最初根据包括在由成像设备拍摄的图像中的成像目标图像而确定。第一旋转装置根据所计算的方向旋转操作目标。显示控制装置根据由第一旋转装置执行的操作目标旋转来产生图像，并且将所产生的图像显示在显示设备的屏幕上。

Description

信息处理程序

技术领域

本发明涉及一种信息处理程序，且更具体地涉及一种可用于如此信息处理系统的信息处理程序，所述信息处理系统由用户使用包括成像设备的输入设备来操作。

背景技术

传统地，已经提出了通过使用光学指示系统来指定显示屏上的特定位置的技术。例如，在日本公开专利申请No.6-308879中所说明的光学指示系统被用于为多个观众所召开的会议等。根据这个系统，在显示屏的附近提供光发射元件，并且在指示器内构建使用光/电转换元件的成像设备。用户可以如下通过使用指示器来指定显示屏上的任意位置。指示器通过成像设备拍摄光发射元件的图像，并且基于所获得的图像计算由用户所指定的位置。在所计算的位置显示标记，且因此由所述标记来指示所指定的位置。

已经提出一种游戏控制器，其使用基本上与上述相同的光学指示系统(见例如日本公开专利申请No.8-71252)。控制器具有枪的形状并且用于射击游戏。射击游戏利用枪来向显示在屏幕上的目标加以射击。枪用来指定屏幕上的任意位置(子弹将要击中的位置)。枪形控制器具有内置的CCD相机，并且由该CCD相机对位于屏幕周围四个位置处的光发射元件进行成像。控制器使用所获得的图像计算枪的旋转角或倾斜角。控制器使用计算结果来检测枪是否正确地指向在屏幕上所显示的目标，并且因此确定子弹是否已经击中目标。利用如此结构，可以实现如此游戏系统，借助于该游戏系统，玩家通过移动抓持在他/她手中的控制器(枪)来进行游戏操作。

对于上述所说明的技术，抓持在用户手中的操作设备(指示器或枪形控制器)仅用于指定显示屏上的位置。即，上述所说明的指示器或枪形控制器仅允许玩家进行指定显示屏上的位置的一个操作，而不允许进行任何其它的操作。例如，当用于游戏设备时，如此操作设备仅允许玩家进行指定显示屏上的位置的一个简单游戏操作。由于游戏操作如此简单，所以游戏本身是简单的且并不具有娱乐性。

发明内容

因此，本发明的一个目的是提供允许用户使用抓持在他/她手中的输入设备来进行新类型的操作的信息处理系统，以及用于如此信息处理系统的程序。

本发明具有用于达到上述目的的下述特征。在说明书该部分中的括号中的参考号、附加说明等指示与随后所说明的实施例的对应关系，以便于更容易地理解本发明，而绝不对本发明构成限制。

本发明的第一方面涉及一种信息处理设备(游戏设备3)。信息处理设备从包括用于拍摄成像目标(标志8a和8b)图像的成像装置(成像元件40)的操作设备(控制器7)接收操作数据，并且在显示设备(监视器2)上显示通过使用操作数据来对预定操作目标(玩家对象71、钥匙76、虚拟相机81、或门把手85a或86a)执行计算处理所获得的虚拟空间。信息处理设备包括获得装置(S1)、矢量计算装置(S16)、第一旋转装置(S3)及显示装置(S4)。获得装置将由操作设备的成像装置拍摄的所拍图像获得为操作数据。矢量计算装置通过使用成像目标在所拍图像中的位置计算二维矢量(由方向数据57所表示的矢量)。第一旋转装置根据二维矢量的计算值旋转操作目标。显示装置在显示设备的显示区域上显示根据由第一旋转装置所导致的操作目标旋转而变化的虚拟空间。

根据本发明的第二方面，矢量计算装置可包括第一计算装置和第二计算装置。第一计算装置计算在对应于所拍图像的坐标系统中成像目标图像的两个预定点的坐标组。第二计算装置计算连接两个预定点的坐标组的二维矢量。

本发明的第三方面涉及一种信息处理设备(游戏设备3)。信息处理设备从操作设备(控制器7)接收操作数据，并且在显示设备(监视器2)上显示通过使用操作数据来对预定操作目标(玩家对象71、钥匙76、虚拟相机81、或门把手85a和86a)执行计算处理所获得的虚拟空间。操作设备包括用于拍摄成像目标的图像的成像装置(成像元件40)以及第一计算装置(图像处理电路41)，其用于计算在包括在由成像装置拍摄的所拍图像内的成像目标图像中的两个预定点的坐标组。信息处理设备包括获得装置(S1)、矢量计算装置(S16)、第一旋转装置(S3)及显示装置(S4)。获得装置将两个预定点的坐标组获得为操作数据。矢量计算装置计算连接两个预定点的坐标组的二维矢量。第一旋转装置根据所计算的二维矢量值旋转操作目标。显示装置在显示设备的显示区域上显示根据通过第一旋转装置所导致的操作目标旋转而变化的虚拟空间。

本发明的第四方面涉及一种信息处理设备(游戏设备3)。信息处理设备从操作设备(控制器7)接收操作数据，并且在显示设备(监视器2)上显示通过使用操作数据来对预定操作目标(玩家对象71、钥匙76、虚拟相机81、或门把手85a和86b)执行计算处理所获得的虚拟空间。操作设备包括用于拍摄成像目标图像的成像装置(成像元件40)以及矢量计算装置(图像处理电路41)，用于通过使用成像目标在由成像装置拍摄的所拍图像中的位置来计算二维矢量。信息处理设备包括获得装置(S1)、第一旋转装置(S3)及显示装置(S4)。获得装置将二维矢量获得为操作数据。第一旋转装置根据所获得的二维矢量值来旋转操作目标。显示装置在显示设备的显示区域上显示根据通过第一旋转装置的操作目标旋转而变化的虚拟空间。

根据本发明的第五方面，信息处理设备可进一步包括指示坐标组计算装置(S22、S52、S62)。指示坐标组计算装置计算对应于显示区域上的一位置的预定指示坐标组(指示坐标组数据62)，所述位置对应于在由获得装置所获得的所拍图像中的成像目标图像的位置。在这种情况下，第一旋转装置通过使用二维矢量和指示坐标组的计算来旋转操作目标。

根据本发明的第六方面，信息处理设备可进一步包括指示坐标组计算装置(S22、S52、S62)。指示坐标组计算装置计算对应于显示区域上的一位置的预定指示坐标组，所述位置对应于两个预定点之间的中间点的坐标组。在这种情况下，第一旋转装置通过使用二维矢量和指示坐标组的计算来旋转操作目标。

根据本发明的第七方面，操作数据可进一步包括对应于成像目标图像位置的一个点的坐标组。在这种情况下，信息处理设备可进一步包括指示坐标组计算装置(S22、S52、S62)。指示坐标组计算装置计算对应于显示区域上的一位置的预定指示坐标组，所述位置对应于所述一个点的坐标组。第一旋转装置通过使用二维矢量和指示坐标组的计算来旋转操作目标。

根据本发明的第八方面，指示坐标组计算装置可计算对应于显示区域上所述位置的指示坐标组，所述位置对应于在由成像装置所拍摄的图像绕作为轴的图像中心旋转、且二维矢量通过该旋转指向某一个方向的情况下成像目标的图像位置。

根据本发明的第九方面，信息处理设备可进一步包括指示坐标组计算装置(S22、S52、S62)。指示坐标组计算装置将对应于显示区域上一位置的预定指示坐标组设置为指示坐标组。第一旋转装置通过使用二维矢量和指示坐标组的计算来旋转操作目标。

根据本发明的第十方面，虚拟空间可以是虚拟三维空间。在这种情况下，信息处理设备可进一步包括三维指示坐标组设置装置(S53)。三维指示坐标组设置装置计算在虚拟空间中对应于由指示坐标组计算装置所计算的指示坐标组的三维坐标组，且将该三维坐标组设置为三维指示坐标组。在这种情况下，第一旋转装置通过使用二维矢量和三维指示坐标组的计算来旋转操作目标。

根据本发明的第十一方面，信息处理设备可进一步包括对象定位装置(S31、S41、S60)。对象定位装置将至少一个对象定位在虚拟空间中。第一旋转装置将位于作为操作目标的位于虚拟空间中的所述至少一个对象中的任何一个加以旋转。

根据本发明的第十二方面，信息处理设备可进一步包括对象定位装置(S31、S41、S60)。对象定位装置将至少一个对象定位在虚拟空间中。在这种情况下，第一旋转装置可包括确定装置(S64)，其确定所述至少一个对象中的任何一个是否显示在显示区域上对应于指示坐标组的位置；操作目标设置装置(S65)，其当确定所述至少一个对象之一显示在对应于指示坐标组的位置时，将该一个对象设置为操作目标；以及将由操作目标设置装置所设置的所述一个对象加以旋转的装置(S21)。

根据本发明的第十三方面，信息处理设备可进一步包括对象定位装置(S31、S41、S60)。对象定位装置将作为操作目标的对象定位在虚拟空间中。在这种情况下，第一旋转装置包括对象移动装置(S21)，其移动所述对象，以便于将其显示在由指示坐标组计算装置所计算的指示坐标组的位置；以及旋转所述对象的装置(S22)。

根据本发明的第十四方面，信息处理设备可进一步包括对象定位装置(S31、S41、S60)。对象定位装置将作为操作目标的对象定位在虚拟空间中。在这种情况下，第一旋转装置包括将对象移动到由三维指示坐标组设置装置所计算的三维坐标组(对应的坐标组)的对象移动装置(S21)；以及旋转该对象的装置(S22)。

根据本发明的第十五方面，信息处理设备可进一步包括对象定位装置(S31、S41、S60)。对象定位装置将作为操作目标的对象定位在虚拟空间中。在这种情况下，第一旋转装置包括中心坐标组设置装置(S53)，其将由指示坐标组计算装置所计算的指示坐标组设置为旋转中心坐标组；以及绕作为旋转中心的中心坐标组来旋转对象的装置(S22)。

根据本发明的第十六方面，信息处理设备进一步包括对象定位装置(S31、S41、S60)。对象定位装置将作为操作目标的对象定位在虚拟空间中。在这种情况下，第一旋转装置包括中心坐标组设置装置(S53)，其将在三维指示坐标组设置装置中所计算的三维坐标组设置为旋转中心坐标组；以及绕作为旋转中心的中心坐标组来旋转在三维空间中的对象的装置(S22)。

根据本发明的第十七方面，虚拟空间可以是虚拟三维空间。在这种情况下，信息处理设备可进一步包括虚拟相机设置装置(S50)。虚拟相机设置装置将虚拟相机设置成在虚拟空间中的预定位置朝向预定方向。第一旋转装置将虚拟相机作为操作目标加以旋转。显示装置在显示区域上显示从虚拟相机所看到的虚拟空间的图像。

根据本发明的第十八方面，虚拟空间可以是虚拟三维空间。在这种情况下，信息处理设备可进一步包括虚拟相机设置装置(S50)。虚拟相机设置装置将虚拟相机设置成在虚拟空间中的预定位置朝向预定方向。第一旋转装置将虚拟相机作为操作目标绕作为旋转中心的由三维指示坐标组设置装置所计算的三维坐标组加以旋转。

根据本发明的第十九方面，第一旋转装置可绕作为旋转中心的虚拟相机的注意点位置来旋转虚拟相机。

根据本发明的第二十方面，第一旋转装置可如此旋转虚拟相机，以便于虚拟相机的观看方向发生变化。

根据本发明的第二十一方面，第一旋转装置可通过旋转来改变操作目标的姿态。

根据本发明的第二十二方面，第一旋转装置可通过绕作为旋转中心的预定位置旋转操作目标来移动操作目标的位置。

根据本发明的第二十三方面，第一旋转装置可根据所计算的二维矢量方向来确定操作目标的姿态或位置。

根据本发明的第二十四方面，第一旋转装置可包括用于确定二维矢量方向是否已经超过预定范围的确定装置；以及用于当确定装置确定二维矢量方向已经超过预定范围时，旋转操作目标的装置。

根据本发明的第二十五方面，信息处理设备可进一步包括倾斜度计算装置(S54)。倾斜度计算装置将二维矢量方向与预定基准方向之间的差获得为角度或矢量。在这种情况下，第一旋转装置根据由倾斜度计算装置所计算的差来旋转操作目标。

根据本发明的第二十六方面，第一旋转装置可包括旋转量设置装置(S55)，其根据由倾斜度计算装置所计算的差的量值来设置旋转量；以及用于将操作目标旋转所述旋转量的装置(S56)。

根据本发明的第二十七方面，第一旋转装置可包括用于确定由倾斜度计算装置所计算的差是否已经超过预定值的确定装置；以及用于当确定装置确定所述差已经超过预定值时，旋转操作目标的装置。

根据本发明的第二十八方面，信息处理设备可进一步包括尺寸计算装置(S19)。尺寸计算装置根据操作数据来计算表示在由获得装置所获得的所拍图像中的成像目标图像的尺寸的数据。在这种情况下，第一旋转装置通过使用二维矢量和由尺寸计算装置所计算的数据的计算来旋转操作目标。

根据本发明的第二十九方面，信息处理设备可进一步包括长度计算装置(S19)。长度计算装置计算表示两个预定点的坐标组之间的距离长度的数据。在这种情况下，第一旋转装置通过使用二维矢量和由长度计算装置所计算的数据的计算来旋转操作目标。

根据本发明的第三十方面，操作数据可进一步包括如此数据，其表示在包括在由成像装置拍摄的所拍图像内的成像目标图像中的两个预定点的坐标组之间的距离长度。在这种情况下，第一旋转装置通过使用二维矢量及表示两个预定点的坐标组之间的距离长度的数据的计算来旋转操作目标。

根据本发明的第三十一方面，第一旋转装置可包括用于根据由尺寸计算装置所计算的数据，计算表示成像装置与成像目标之间距离的距离数据的装置(S48)；以及用于通过使用二维矢量和距离数据的计算来旋转操作目标的装置。

根据本发明的第三十二方面，第一旋转装置可包括用于根据由长度计算装置所计算的数据，计算表示成像装置与成像目标之间距离的距离数据的装置(S48)；以及用于通过使用二维矢量和距离数据的计算来旋转操作目标的装置。

根据本发明的第三十三方面，第一旋转装置可包括用于根据表示两个预定点的坐标组之间的距离长度的数据，计算表示成像装置与成像目标之间距离的距离数据的装置(S48)；以及用于通过使用二维矢量和距离数据的计算来旋转操作目标的装置。

根据本发明的第三十四方面，操作数据可进一步包括表示成像装置与成像目标之间距离的距离数据。在这种情况下，第一旋转装置通过使用二维矢量和距离数据的计算来旋转操作目标。

根据本发明的第三十五方面，信息处理设备可进一步包括距离计算装置(S48)。距离计算装置计算对应于成像装置和成像目标之间距离的数据。在这种情况下，第一旋转装置通过使用二维矢量和由距离计算装置所计算的数据的计算来旋转操作目标。

根据本发明的第三十六方面，虚拟空间可以是虚拟三维空间。在这种情况下，信息处理设备可进一步包括对象定位装置。对象定位装置至少一个对象定位在虚拟空间中。在这种情况下，第一旋转装置包括深度设置装置，其用于确定在虚拟空间深度方向上与距离数据相对应的坐标；确定装置，其用于确定在由深度设置装置所计算的深度方向上的坐标的位置是否存在所述至少一个对象中的任何一个；操作目标设置装置，其用于当确定装置确定存在所述至少一个对象之一时，将所述一个对象设置为操作目标。

根据本发明的第三十七方面，虚拟空间可以是虚拟三维空间。在这种情况下，第一旋转装置包括深度设置装置(S49)，其用于确定在虚拟空间深度方向上与距离数据相对应的坐标；移动装置，其用于将在深度方向上的操作目标位置移动到由深度设置装置所计算的在深度方向上的坐标；以及用于根据二维矢量用来旋转操作目标的装置。

根据本发明的第三十八方面，操作设备可包括用于确定操作设备倾斜度的倾斜度确定装置(包括加速度传感器37)。在这种情况下，信息处理设备可进一步包括确定装置和第二旋转装置。确定装置确定矢量计算装置是否可以根据所拍图像来计算二维矢量。当确定装置确定不能计算出二维矢量时，第二旋转装置根据由倾斜度确定装置所确定的倾斜度来旋转操作目标。

根据所述第一方面，矢量计算装置根据成像目标的图像(所拍图像)来计算二维矢量。二维矢量值根据包括成像设备的操作设备的旋转状态而变化。因而，通过将操作目标显示为根据二维矢量的方向而旋转，操作目标可以根据旋转操作设备的操作而得到旋转。即，根据所述第一方面，提供了一种新颖的操作方法，借助于该方法，用户可以通过旋转抓持在他/她手中的操作设备本身来旋转操作目标。同样也根据所述第一方面，所拍图像从操作设备中获得，并且因此操作设备仅需要具有拍摄图像的功能。因而，操作设备的结构得到简化。

根据所述第二方面，计算出在成像目标图像中两个预定点的位置。因此，通过使用两个点的位置可以容易地计算出二维矢量。

根据所述第三方面，如同在所述第一方面中，提供了一种新颖的操作方法，借助于该方法，用户可以通过旋转抓持在他/她手中的操作设备本身来旋转操作目标。同样也根据所述第三方面，由操作设备计算出成像目标图像中的两个预定点的位置。因此，信息处理设备通过使用两个点的位置可以容易地计算出二维矢量。因而，信息处理设备的计算机的处理负荷得以减轻。

根据所述第四方面，如同在所述第一方面中，提供了一种新颖的操作方法，借助于该方法，用户可以通过旋转抓持在他/她手中的操作设备本身来旋转操作目标。同样也根据所述第四方面，由操作设备计算出二维矢量。因此，信息处理设备并不需要执行计算二维矢量的处理。因而，信息处理设备的计算机的处理负荷得以减轻。

根据所述第五方面，根据成像目标在所拍图像中的图像位置，指示坐标组计算装置计算出在显示区域上的位置。因此，用户可以利用在抓持于他/她手中的同时可使用的操作设备来指定在显示区域上的位置。此外，通过使用由用户所指定的位置和二维矢量来旋转操作目标。因此，利用在正抓持于用户手中的同时可使用的操作设备，可实现较为复杂的旋转操作，并且用户可以较为精确地控制操作目标的旋转。例如，用户可以指定旋转的中心位置，或可以在将操作目标移向指定位置的同时旋转操作目标。

根据所述第六方面，根据成像目标在所拍图像中的图像位置，指示坐标组计算装置计算出在显示区域上的位置。因此，用户可以利用在抓持于他/她手中的同时可使用的操作设备来指定在显示区域上的位置。此外，通过使用由用户所指定的位置和二维矢量来旋转操作目标。因此，利用在抓持于用户手中的同时可使用的操作设备，可实现较为复杂的旋转操作，并且用户可以较为精确地控制操作目标的旋转。

根据所述第七方面，根据成像目标在所拍图像中的图像位置，指示坐标组计算装置计算出在显示区域上的位置。因此，用户可以利用在抓持于他/她手中的同时可使用的操作设备来指定在显示区域上的位置。此外，通过使用由用户所指定的位置和二维矢量来旋转操作目标。因此，利用在抓持于用户手中的同时可使用的操作设备，可实现较为复杂的旋转操作，并且用户可以较为精确地控制操作目标的旋转。

根据操作设备的旋转状态，成像目标在所拍图像中的图像位置是不同的(见图15)。即，即使操作设备指示一个位置，但是取决于操作设备的旋转状态，成像目标的图像位置可以是不同的。在这种情况下，不能够根据成像目标的图像位置精确地计算出由操作设备所指示的位置(即要由指示坐标组计算装置计算的指示坐标组的位置)。相对照，根据所述第八方面，计算出当所拍图像被旋转为指向某一个方向时所获得的成像目标图像的位置。因此，可以消除操作设备旋转状态的影响，并且指示坐标组计算装置可以从成像目标的图像位置精确地计算出显示屏上或虚拟空间中的位置。

根据所述第九方面，指示坐标组计算装置根据成像目标在所拍图像中的图像位置计算出在显示区域上的位置。因此，用户可以利用在抓持于他/她手中的同时可使用的操作设备指定在显示区域上的位置。此外，通过使用由用户所指定的位置及二维矢量来旋转操作目标。因此，利用在抓持于用户手中的同时可使用的操作设备，可实现较为复杂的旋转操作，并且用户可以较为精确地控制操作目标的旋转。

根据所述第十方面，用户可以通过旋转操作设备本身的新颖操作来移动存在于虚拟三维空间中的操作目标。同样也根据所述第十方面，利用在抓持于用户手中的同时可使用的操作设备，可实现较为复杂的旋转操作，并且用户可以较为精确地控制存在于虚拟三维空间中的操作目标的旋转。

根据所述第十一方面，用户可以通过旋转操作设备本身的新颖操作来移动存在于虚拟三维空间中的操作目标。

根据所述第十二方面，在显示区域上对应于由指示坐标组计算装置所计算的指示坐标组的位置所显示的对象被设置为操作目标。因此，通过使用操作设备，用户可以执行指定显示在显示屏上的对象的操作。此外，用户可以通过使用操作设备来旋转指定的对象。因而，用户可以利用一种类型的操作，即在将一个操作设备抓持于他/她手中的同时对该操作设备姿态的操作，来发出两类指令，即有关选择作为操作目标的对象的指令及旋转所选择对象的指令。

根据所述第十三方面，将对象移动到显示区域上对应于由指示坐标组计算装置所计算的指示坐标组的位置。因此，通过使用操作设备，用户可以执行移动显示在显示屏上的对象的操作。此外，通过使用操作设备，用户可以旋转所指定的对象。因而，用户可以利用一种类型的操作，即在将一个操作设备抓持于他/她手中的同时对该操作设备姿态的操作，来发出两类指令，即移动作为操作目标的对象的指令及旋转所述对象的指令。

根据所述第十四方面，将对象移动到由三维指示坐标组计算装置所计算的对应于指示坐标组的三维坐标组的位置。因此，通过使用操作设备，用户可以执行移动在虚拟三维空间内的对象的操作。此外，通过使用操作设备，用户可以旋转所指定的对象。因而，用户可以利用一种类型的操作，即在将一个操作设备抓持于他/她手中的同时对该操作设备姿态的操作，来发出两类指令，即移动作为操作目标的对象的指令及旋转所述对象的指令。

根据所述第十五方面，利用在抓持于他/她手中的同时可使用的操作设备，用户可以指定在显示屏上的位置。通过使用操作设备，用户可以指定对象旋转的中心位置。由于旋转类型的数量的增加，用户可以使对象执行更多种的旋转运动。

根据所述第十六方面，利用在抓持于他/她手中的同时可使用的操作设备，用户可以指定虚拟三维空间中的位置。用户可以通过使用操作设备来指定对象旋转的中心位置。由于旋转类型的数量的增加，用户可以使对象执行更多种的旋转运动。

根据所述第十七方面，通过由第一旋转装置对虚拟相机进行旋转，可以改变在显示屏上所显示的虚拟空间中相对于图像的视点位置或观看方向。通过使用旋转操作设备本身的新颖操作，用户可以改变在显示屏上所显示的虚拟空间中关于图像的视点位置或观看方向。

根据所述第十八方面，利用在抓持于他/她手中的同时可使用的操作设备，用户可以指定显示屏上的位置。用户可以通过使用操作设备来指定虚拟相机旋转的中心位置。由于旋转类型的数量的增加，用户可以使旋转相机执行更多种的旋转运动。

根据所述第十九方面，通过旋转操作设备本身的新颖操作，可以自由地改变关于存在于注意点位置处的对象的观看方向。

根据所述第二十方面，通过旋转操作设备本身的新颖操作，可以自由地改变虚拟相机的观看方向。

根据所述第二十一方面，通过旋转操作设备本身的新颖操作，可以自由地改变操作目标的姿态。

根据所述第二十二方面，通过旋转操作设备本身的新颖操作，操作目标可以自由地旋转或沿着弧形移动。

根据所述第二十三方面，操作目标可以得到如此旋转，以便于对应于操作设备的旋转角。

根据所述第二十四方面，当二维矢量的计算方向处在预定范围内时，操作目标并不旋转。如果由于对操作设备的旋转角响应过于灵敏而导致操作目标旋转时，则需要用户精确地对操作设备加以操作，这破坏了操作设备的可操作性。相对照，根据所述第二十四方面，操作目标正处于预定角范围内时并不旋转。在对操作设备的旋转操作中可以设置所谓的“玩”裕度。因而，可以改善可操作性。

根据所述第二十五方面，操作目标基于二维矢量方向与预定基准方向之间的差而旋转。通过将用户感觉舒适的方向设置为基准方向，可以改善操作设备的可操作性。

根据所述第二十六方面，根据二维矢量方向与预定基准方向之间的差，操作目标的旋转量得到增加。因此，用户可以通过操作设备的旋转量来控制操作目标的旋转量。因而，用户可以直觉而容易地控制操作目标的旋转量。

根据所述第二十七方面，除非二维矢量的方向与预定基准方向之间的差超过预定范围，否则操作目标并不旋转。通过将角差不超过预定范围的范围设置为所谓的“玩”范围，如同在第二十四方面中一样，可以改善操作设备的可操作性。

根据所述第二十八方面，通过表示成像目标的图像大小的数据，可以检测从成像装置(操作设备)到成像目标的距离。因此，通过移动操作设备本身以便于改变所述距离，用户可以执行旋转操作目标的操作。因而，利用在抓持于他/她手中的同时可使用的操作设备，有可能实现较为复杂的旋转操作，并且用户可以较为精确地控制操作目标的旋转。

根据所述第二十九方面，通过表示对应于成像目标中两个位置的两个点的坐标组之间的距离长度的数据，可以检测从成像装置(操作设备)到成像目标的距离。因此，通过移动操作设备本身以便于改变所述距离，用户可以执行旋转操作目标的操作。因而，利用在抓持于他/她手中的同时可使用的操作设备，有可能实现较为复杂的旋转操作，并且用户可以较为精确地控制操作目标的旋转。

根据所述第三十方面，如同在所述第二十八方面和第二十九方面中一样，利用在抓持于他/她手中的同时可使用的操作设备，有可能实现较为复杂的旋转操作，并且用户可以较为精确地控制操作目标的旋转。

根据所述第三十一方面，从成像装置到成像目标的距离可以较为精确地反映在对操作目标的旋转操作上。

根据所述第三十二方面，从成像装置到成像目标的距离可以较为精确地反映在对操作目标的旋转操作上。

根据所述第三十三方面，从成像装置到成像目标的距离可以较为精确地反映在对操作目标的旋转操作上。

根据所述第三十四方面，从成像装置到成像目标的距离可以较为精确地反映在对操作目标的旋转操作上。

根据所述第三十五方面，计算出对应于从成像装置(操作目标)到成像目标的距离的数据(长度数据59或距离数据63)。因此，通过移动操作设备本身以便于改变所述距离，用户可以执行旋转操作目标的操作。因而，利用在抓持于他/她手中的同时可使用的操作设备，有可能实现较为复杂的旋转操作，并且用户可以较为精确地控制操作目标的旋转。

根据所述第三十六方面，将存在于对应于由深度设置装置所确定的深度方向上的坐标的位置处的对象设置为操作目标。因此，通过使用操作设备，用户可以执行指定虚拟空间中的对象的操作。此外，通过使用操作设备，用户可以旋转所指定的对象。因而，利用一种类型的操作，即在将操作设备抓持于他/她手中的同时移动操作设备本身的操作，用户可以发出两类指令，即有关选择作为操作目标的对象的指令以及旋转所选择对象的指令。

根据所述第三十七方面，将操作目标移动到对应于由深度设置装置所确定的深度方向上的坐标的位置处。因此，通过使用操作设备，用户可以执行移动虚拟空间中的操作目标的操作。此外，通过使用操作设备，用户可以旋转操作目标。因而，利用一种类型的操作，即在将操作设备抓持于他/她手中的同时移动操作设备本身的操作，用户可以发出两类指令，即移动操作目标的指令以及旋转操作目标的指令。

根据所述第三十八方面，当用户在超过成像装置可以拍摄成像目标图像的范围(随后所说明的可操作范围)的状态下抓持操作设备时，操作目标根据由倾斜度确定装置所确定的倾斜度而旋转。因此，即使在用户执行移动操作目标的操作的同时超过可操作范围，操作目标的旋转也可以得到继续。

从以下结合附图对本发明的详细说明中，本发明的这些及其它目的、特征、方面和优点将更加明显。

附图说明

图1是作为根据本发明一个实施例的示例性信息处理系统的游戏系统1的外部视图；

图2是游戏设备3的功能框图；

图3A是从控制器7的顶后侧所看到的控制器7的立体图；

图3B是从控制器7的底后侧所看到的控制器7的立体图；

图4是控制器7的前视图；

图5A是示例控制器7的上罩被去掉的状态的立体图；

图5B是示例控制器7的下罩被去掉的状态的立体图；

图6是示例控制器7的结构的框图；

图7示出使用控制器7的游戏操作的概貌图；

图8示例标志8a和8b以及控制器7的视角；

图9示出包括目标图像的所拍图像的实例；

图10示出当控制器7的位置和/或方向改变时所拍图像的变化；

图11示出存储于游戏设备3的主存储器13上的主要数据；

图12是示例由游戏设备3所执行的游戏处理流程的流程图；

图13是示例图12中所示的操作状态计算处理(S2)的详细流程的流程图；

图14示例用于确定第一坐标组和第二坐标组的处理；

图15示出控制器7的状态与当控制器7处于相应状态下的所拍图像之间的对应；

图16是示例图12中所示的移动处理(S3)的详细流程的流程图；

图17A、图17B和图17C示出操作目标的旋转运动的实例；

图18A和图18B示出操作目标的旋转运动的实例；

图19示出第一实例中游戏屏的实例；

图20示例通过旋转操作对玩家对象71的操作；

图21是示例在第一实例中游戏处理流程的流程图；

图22示出在第二实例中游戏屏的实例；

图23是示例在第二实例中游戏处理流程的流程图；

图24是示例在第二实例中移动处理详细流程的流程图；

图25是示例在图24所示的步骤S48中处理的详细流程的流程图；

图26A和图26B示出在图24中所示的步骤S48中的处理；

图27示出在第三实例中的游戏屏的实例；

图28示出在第三实例中存储于主存储器13上的主要数据；

图29是示例在第三实例中游戏处理流程的流程图；

图30是示例在第三实例中移动处理的详细流程的流程图；

图31示出在第四实例中游戏屏的实例；以及

图32是示例在第四实例中的游戏处理流程的流程图。

具体实施方式

参考图1，将说明作为根据本发明一个实施例的信息处理系统的实例的游戏系统1。图1是示例游戏系统1的外部视图。在下述示例性说明中，根据本发明的游戏系统1是安装型的。

如图1中所示，游戏系统1包括安装型的游戏设备(以下被简称为“游戏设备”)3，其经由连接线连接到包括扬声器22的显示器(以下被称为“监视器”)2，如家用TV接收机；以及将操作数据给予游戏设备3的控制器7。在监视器2的附近(在图1中监视器2屏幕的上方)提供两个标志8a和8b。标志8a和8b具体为红外LED，并且其每个均从监视器2向前输出红外光。游戏设备3经由连接端子连接到接收单元6。接收单元6接收从控制器7无线发送的操作数据。控制器7和游戏设备3通过无线通信相连。在游戏设备3上，可拆卸地安装有作为可交换信息存储介质实例的光盘4。游戏设备3在其顶部主表面上具有电源ON/OFF开关、游戏处理复位开关、以及用于打开游戏设备3顶盖的OPEN开关。当玩家按压OPEN开关时，盖打开，使得可以安装或拆卸光盘4。

在游戏设备3上，可在必要时可拆卸地安装外部存储器卡5。外部存储器卡5具有安装在其上的备份存储器等，用于固定地存储所保存的数据等。游戏设备3执行存储于光盘4上的游戏程序等并且在监视器2上显示作为游戏图像的结果。游戏设备3还可以利用存储于存储器卡5上的保存数据来再现过去所玩的游戏的状态，并且在监视器2上显示游戏图像。在观看显示在监视器2显示屏上的游戏图像的同时，通过操作控制器7，用游戏设备3来玩的玩家可以享受游戏。

利用例如蓝牙(注册商标)技术，控制器7从包括在其中的通信部36(稍后加以说明)向连接到接收单元6的游戏设备3无线地发送操作数据。控制器7是用于对操作目标(显示在监视器2的显示屏上的对象或虚拟相机)加以操作的操作装置。控制器7包括具有多个操作按钮的操作部。如稍后所详细说明的，控制器7还包括成像信息计算部35，用于检测控制器7的位置和姿态。成像信息计算部35拍摄位于监视器2附近的每个标志8a和8b的图像。游戏设备3使用这些图像来获得对应于控制器7的位置和姿态的操作信号。

参考图2，将说明游戏设备3的结构。图2是游戏设备3的功能框图。

如图2中所示，游戏设备3包括例如用于执行各种类型程序的RISCCPU(中央处理单元)10。CPU 10执行存储于引导ROM(未示出)内的启动程序来例如对包括主存储器13的存储器加以初始化，且然后执行存储于光盘4上的游戏程序，以根据游戏程序来执行游戏处理等。CPU 10经由存储器控制器11连接到GPU(图形处理单元)12、主存储器13、DSP(数字信号处理器)14、及ARAM(音频RAM)15。存储器控制器11经由预定总线连接到控制器I/F(接口)16、视频I/F 17、外部存储器I/F 18、音频I/F 19和盘I/F 21。控制器I/F16、视频I/F 17、外部存储器I/F 18、音频I/F 19和盘I/F 21分别连接到接收单元6、监视器2、外部存储器卡5、扬声器22及盘驱动器20。

GPU 12基于来自CPU 10的指令执行图像处理。GPU 12包括例如半导体芯片，用于执行显示3D图形所必需的计算处理。GPU 12利用专用于图像处理的存储器(未示出)以及主存储器13的部分存储区域来执行图像处理。GPU 12利用如此存储器产生要被显示在监视器2的显示屏上的游戏图像数据和电影，并且在必要时经由存储器控制器11和视频I/F 17将所产生的数据或电影输出到监视器2。

主存储器13是由CPU 10所使用的存储区域，并且在必要时存储由CPU 10所执行的处理所必要的游戏程序等。例如，主存储器13存储通过CPU从光盘4所读取的游戏程序、各种类型的数据等。存储在主存储器13中的游戏程序、各种类型的数据等由CPU 10加以执行。

DSP 14处理在游戏程序的执行过程中由CPU 10所产生的声音数据等。DSP 14连接到用于存储声音数据等的ARAM 15。当DSP 14执行预定的处理(例如，存储已经读取的游戏程序或声音数据)时，采用ARAM15。DSP 14读取存储于ARAM 15中的声音数据，并且经由存储器控制器11和音频I/F 19向包括在监视器2中的扬声器22输出声音数据。

存储器控制器11全面地控制数据传输，并且被连接到上述所说明的各种I/F。控制器I/F 16包括，例如四个控制器I/F，并且可通信性地将游戏设备3连接到经由控制器I/F的连接器可接合的外部设备上。例如，接收单元6与这样的连接器相接合，并且经由控制器I/F 16连接到游戏设备3。如上面所说明，接收单元6从控制器接收操作数据，并且经由控制器I/F 16向CPU 10输出操作数据。在其它实施例中，游戏设备3可包括用于接收从控制器7所发送的操作数据的接收模块，而不是接收单元6。在这种情况下，由接收模块所接收的操作数据经由预定的总线输出到CPU 10。视频I/F 17被连接到监视器2。外部存储器I/F 18被连接到外部存储器卡5且对于在外部卡5中所提供的备份存储器等是可访问的。音频I/F 19被连接到在监视器2内所装的扬声器22上，并且被如此连接以便于由DSP 14从ARAM 15所读取的声音数据或从盘驱动器20直接输出的声音数据从扬声器22输出。盘I/F 21被连接到盘驱动器20。盘驱动器20读取存储在光盘4预定读取位置处的数据，并且向游戏设备3的总线或音频I/F 19输出该数据。

参考图3A至图7，将说明控制器7。图3A至图5B是控制器7的外部立体图。图3A是从控制器7的顶后侧所看到的控制器7的立体图。图3B是从控制器7的底后侧所看到的控制器7的立体图。图4是控制器7的前视图。

如图3A、图3B和图4所示，控制器7包括由塑模等形成的外壳31。外壳31具有在纵向或前后方向(在图3A中所示的Z轴方向)上延伸的大体平行六面体形状。外壳31的总体尺寸足够小，以便于由成人甚至儿童的一只手抓持。玩家可以使用控制器7来执行按压其上所提供的按钮的游戏操作，并且还执行改变控制器7本身的位置或方向的游戏操作。例如，玩家可以利用其纵向方向作为轴来旋转控制器7，以便移动操作目标。玩家可以改变在显示屏上由控制器7所指示的位置，以例如将操作目标移向变化后的位置。“在显示屏上由控制器7所指示的位置”是指在纵向方向上从控制器7的前端延伸的假想直线与监视器2的显示屏交叉的位置。此后，这样的位置有时将被称为“指示位置”或“由控制器7所指示的位置”。控制器7(外壳31)的纵向方向有时将被称为“指示方向”。

外壳31具有多个操作按钮。在外壳31的顶表面上提供有十字键32a、X按钮32b、Y按钮32c、B按钮32d、选择开关32e、菜单开关32f及启动开关32g。在外壳31的底表面上形成有凹陷部分。在凹陷部分的后倾斜表面上，提供有A按钮32i。根据由游戏设备3所执行的游戏程序，这些按钮和开关被赋予各种功能，但对此将不做详细说明，因为所述功能与本发明不直接相关。在外壳31的顶表面上，提供电源开关31h用于远距离地接通或关断游戏设备。

控制器7具有成像信息计算部35(图5B)。如图4中所示，在外壳31的前表面上提供成像信息计算部35的光入射开口35a。在外壳31的后表面上提供连接器31。连接器33例如是32针的边缘连接器，并且用于将控制器7连接到另一设备。在外壳31顶表面的后部提供多个LED 34。给控制器7赋予控制器类型(编号)，以便可与其它控制器7区分开。LED34用于向玩家通知目前被设置给他/她正在使用的控制器7的控制器类型。具体地，当控制器7向游戏设备3发送操作数据时，对应于该控制器类型的多个LED 34中的一个被点亮。

参考图5A、图5B和图6，将说明控制器7的内部结构。图5A和图5B示例控制器7的内部结构。图5A是示例控制器7的上罩(外壳31的一部分)被去掉的状态的立体图。图5B是示例控制器的下罩(外壳31的一部分)被去掉的状态的立体图。图5B示出图5A中所示的基底300的背面。

如图5A中所示，基底300被固定在外壳31内。在基底300的顶部主表面上，提供有操作按钮32a至32h、加速度传感器37、LED 34、石英振荡器46、无线模块44、天线45等。这些元件经由在基底300等上所形成的线(未示出)连接到微型计算机42(见图6)。无线模块44和天线45允许控制器7充当无线控制器。石英振荡器46产生随后所说明的微型计算机的基准时钟。

如图5B所示，在基底300底部主表面的前边缘提供有成像信息计算部35。成像信息计算部35包括红外滤光器38、透镜39、成像元件40及图像处理电路41，其从控制器7的前表面以该次序设置。这些元件被附着到基底300的底部主表面上。在基底300的底部主表面的后边缘附着有连接器33。在成像信息计算部35之后，操作按钮32i被附着到基底300的底部主表面上，并且在操作按钮32i之后容纳电池47。在基底300底部主表面上、电池47与连接器33之间附着振动器48。振动器48可例如是振动电机或螺线管。控制器7因振动器48的激励而振动，并且振动被传递到抓持控制器7的玩家。因而，实现所谓的振动响应游戏。

图6是示出控制器7结构的框图。除上述的操作部32(操作按钮)及成像信息计算部35以外，控制器7还包括通信部36和加速度传感器37。

成像信息计算部35是如此系统，其用于分析由成像装置所拍摄的图像数据以及用于检测图像数据中具有高亮度的区域的重心位置、大小等。成像信息计算部35具有例如约200帧/秒的最大采样周期，并且因此可以跟踪并且分析控制器7的甚至相对快速的运动。

具体地，成像信息计算部35包括红外滤光器38、透镜39、成像元件40和图像处理电路41。红外滤光器38仅允许入射到控制器7前表面上的光当中的红外光从中通过。位于监视器2的显示屏附近的标志8a和8b是红外LED，用于从监视器2向前输出红外光。因此，红外滤光器38的提供允许更精确地拍摄每个标志8a和8b的图像。透镜39收集已经通过红外滤光器38的红外光，并且将红外光输出到成像元件40。成像元件40是固态成像设备，如例如CMOS传感器或CCD。成像元件40拍摄由透镜39所收集的红外光的图像。因而，成像元件40仅拍摄已经通过红外滤光器38的红外光的图像并且产生图像数据。此后，由成像元件40所拍摄的图像将被称为“所拍图像”。图像处理电路41对由成像元件40所产生的图像数据加以处理。图像处理电路41计算在所拍图像中的成像目标(标志8a和8b)的位置，并且向通信部46输出指示标志8a和8b在所拍图像中的相应位置的坐标组。稍后将详细说明由图像处理电路41所执行的处理。

加速度传感器37检测控制器7的三个轴向方向，即上下方向(图3A中的Y轴方向)、左右方向(图3A中的X轴方向)及前后方向(图3A中的Z轴方向)上的加速度。加速度传感器37允许确定控制器在X轴、Y轴和Z轴方向上的倾斜度。除了基于上面提到的所拍图像外，游戏设备3还可以通过加速度传感器7来确定控制器7绕Z轴的旋转角。表示由加速度传感器37所检测的加速度的数据被输出到通信部36。

如上所述，控制器7优选地包括三轴线性加速度传感器37，其检测上述所说明的三个轴向方向中的每个方向的线性加速度。可替选地，依赖于所希望的控制信号类型，在另一实施例中可使用二轴线性加速度计，其仅检测沿着X轴和Y轴(或另一对轴)中的每个轴的线性加速度。作为非限制性实例，三轴或二轴线性加速度计37可是从Analog Devices，Inc.或STMicroelectronics N.V.可获得的类型。优选地，加速度传感器37是基于硅微加工MEMS(微机电系统)技术的静电电容或电容耦合类型。然而，可使用现存或以后研制的任何其它适合的加速度计技术(例如压电类型或压阻类型。

正如本领域中的技术人员所理解到的，如用在加速度传感器37中的线性加速度计仅能够检测沿着对应于加速度传感器的每个轴的直线的加速度。换句话说，加速度传感器37的直接输出被局限于表示沿着其两个或三个轴中的每个轴的线性加速度(静态或动态)的信号。结果是，加速度传感器37不能直接地检测沿着非线性(例如弓形的)路径的移动、旋转、旋转移动、角位移、倾斜、位置、姿态或任何其它物理特征。

然而，如本领域中的技术人员将从这里的说明中容易理解到的，通过对输出自加速度传感器37的线性加速度信号的附加处理，可以推断出或计算出与控制器7有关的附加信息。例如，通过检测静态线性加速度(即，重力)，通过使倾斜角与所检测的线性加速度相关，可以使用加速度传感器37的线性加速度输出来推断或计算对象相对于重力矢量的倾斜或倾斜度。通过这种方法，可以将加速度传感器37与微型计算机42(或另一处理器)组合使用，以确定控制器7的倾斜、姿态或位置。类似地，当包含加速度传感器37的控制器7通过例如用户的手经历动态加速时，通过处理由加速度传感器37所产生的线性加速度信号，可以计算或推断出控制器7的各种移动和/或位置。在另一实施例中，加速度传感器37可包括嵌入式信号处理器或其它类型的专用处理器，用于在向微型计算机42输出信号之前，执行对输出自其中的加速度计的加速度信号的任何所需处理。例如，当加速度传感器旨在检测静态加速度(即重力)时，嵌入式或专用处理器可以将所检测的加速度信号转换成对应的倾斜角。

在另一个示例性实施例中，加速度传感器37可由结合例如旋转或振动元件的任何适合技术的陀螺传感器来代替。从Analog Devices，Inc.可获得可用在这个实施例中的示例性MEMS陀螺传感器。和线性加速度传感器37不同，陀螺传感器能够直接检测绕其中的陀螺元件(或多个陀螺元件)所限定的轴的旋转(或角速率)。因而，由于陀螺传感器和线性加速度传感器之间的基本区别(例如基于角度的输出对比基于矢量的输出)，因此，依赖于选择哪个设备用于特定的应用，需要对针对来自这些设备的输出信号执行的处理操作进行对应的改变。更具体地，当使用陀螺传感器而不是加速度传感器计算倾斜或倾斜度时，显著的改变是必要的。具体地，当使用陀螺传感器时，在检测开始时对倾斜度值进行初始化。然后，对从陀螺仪所输出的角速度数据加以积分。此外，计算出与先前被初始化的倾斜度值相比的倾斜度变化量。在这种情况下，所计算的倾斜度对应于角度。相对照，当使用加速度传感器时，通过将每个轴分量的重力加速度与预定基准加以比较来计算倾斜度。因此，计算出的倾斜度可以表示为矢量。因而，无需初始化，可以利用加速度计确定绝对方向。被计算为倾斜度的值的类型在陀螺仪与加速度计之间也是很不同的；即，当使用陀螺仪时所述值为角度且当使用加速度传感器时其为矢量。因此，当使用陀螺仪而不是加速度传感器或反过来时，倾斜度数据也需要通过考虑了这两个设备之间基本区别的预定转换来处理。由于陀螺仪的性质以及线性加速度计与陀螺仪之间的基本区别被本领域的技术人员所知的这一事实，因此在此没有提供进一步的细节，以便不模糊本公开的其余部分。虽然陀螺传感器因其具有直接检测旋转的能力而提供某些优点，但是当线性加速度传感器结合在此所说明的控制器应用使用时通常成本效率更高。

通信部36包括微型计算机42、存储器43、无线模块44和天线45。在处理期间，微型计算机42控制无线模块44以便于无线发送由微型计算机42所获得的数据，而同时使用存储器43作为存储区域。

从操作部32、加速度传感器37和成像信息计算部35输出到微型计算机42的数据临时存储在存储器43中。从通信部36到接收单元6的无线传输以预定的时间间隔执行。由于游戏处理通常以1/60秒的周期进行，所以需要以更短时间段的周期来执行无线传输。按照对接收单元6的传输时序，微型计算机42将存储于存储器43中的数据作为操作数据输出到无线模块44。无线模块44使用例如蓝牙(注册商标)技术来调制带有操作数据的预定频率的载波并且从天线45辐射所得到的很弱的电信号。即，操作数据由无线模块44调制为很弱的电信号并且从控制器7发送。所述很弱的电信号被游戏设备3侧面上的接收单元6接收。所接收的很弱的电信号被解调或被解码，以便于游戏设备3可以获得操作数据。游戏设备3的CPU 10基于所获得的操作数据和游戏程序执行游戏处理。

在图3A至图5B中所示的控制器7的形状、以及操作按钮和开关的形状、数目、位置等仅是示例性的，并且可在本发明的范围内加以改变。成像信息计算部35在控制器7中的位置(成像信息计算部35的光入射开口35a)并不需要在外壳31的前表面上，而可在另一表面上，只要光可以从外壳31外进入即可。在这种情况下，“指示方向”是垂直于光入射开口的方向。

通过使用控制器7，除了按压操作按钮或开关以外，玩家还可以执行改变控制器7本身的位置或旋转控制器7的游戏操作，这在传统上是不可能的。以下将说明使用控制器7的游戏操作。

图7是使用控制器的游戏操作的概貌视图。如图7中所示，当使用控制器7利用游戏系统1来玩游戏时，玩家用一只手(例如左手)抓持控制器7。标志8a和8b设置成平行于监视器2的横向或宽度方向。玩家抓持控制器7，以使控制器7的前表面(具有成像信息计算部35拍摄每个标志8a和8b的图像所借助的光入射开口35a)面对标志8a和8b。在这种状态下，玩家旋转控制器(如图7中的箭头所指示)或改变由控制器所指示的显示屏上的位置以执行游戏操作。

图8示例标志8a和8b以及控制器7的视角。如图8中所示，标志8a和8b每个均以视角θ1辐射红外光。成像信息计算部35可以以视角θ2接收入射到其上的光。例如，标志8a和8b中每个的视角θ1是34°(半值角)，并且成像信息计算部35的视角θ2是41°。玩家在如此位置和方向上抓持控制器7，使得成像信息计算部35可以从标志8a和8b两者接收红外光。具体地，玩家在一范围内抓持控制器，在该范围内标志8a和8b两者存在于成像信息计算部35的视角θ2内，且控制器7存在于标志8a的视角θ1内以及标志8b的视角θ1内。通过在这个范围内改变控制器7的位置或方向，玩家可以执行游戏操作。当控制器7的位置或方向处于上述所说明的范围之外时，不能执行基于控制器7的位置和方向的游戏操作。此后，上述说明的范围将被称为“可操作范围”。

在控制器7被抓持于可操作范围内的情况下，成像信息计算部35拍摄标志8a和8b的每个的图像。由成像元件40所获得的所拍图像包括作为成像目标的标记8a和8b的每个的图像(目标图像)。图9示出包括目标图像的所拍图像的实例。通过使用包括目标图像的所拍图像的图像数据，成像处理电路41计算表示每个标志8a和8b在所拍图像中的位置的坐标组。

在所拍图像的图像数据中，目标图像作为高亮度区域出现。因此，图像处理电路41首先将高亮度区域检测为目标图像的侯选者。其次，基于每个被检测的高亮度区域，图像处理电路41确定所述高亮度区域是否是目标图像。所拍图像可包括由于通过窗口的阳光或荧光灯的光而导致的与目标图像(标记8a和8b的图像8a’和8b’)不同的图像。所述确定被加以执行，以便于将目标图像8a’和8b’与其它图像相区分，使得准确地检测目标图像。具体地，确定所检测的每个高亮度区域是否具有预定尺寸范围内的尺寸。当高亮度区域具有预定尺寸范围内的尺寸时，该高亮度区域被确定为目标图像；而当高亮度区域具有处于预定尺寸范围之外的尺寸时，高亮度区域被确定为非目标图像。

图像处理电路41计算作为所述确定的结果被确定为目标图像的高亮度区域的位置。具体地，图像处理电路41计算高亮度区域的重心位置。如果准确地检测到目标图像，则通过确定，两个高亮度区域被确定为目标图像。因此，计算出两个位置。在所拍图像中的位置利用一坐标系统(x-y坐标系统)表示，其中所拍图像的左上角是原点，从原点向下的方向是正y轴方向，且从原点向右的方向是正x轴方向。因而，图像处理电路41输出有关指示通过计算获得的两个位置的两个坐标组值的数据。如上所说明，有关坐标组值的输出数据作为操作数据被微型计算机42发送到游戏设备3。

通过使用包括在所接收操作数据中的有关坐标组值的数据，游戏设备3可以计算出指示位置(由控制器7指示的在显示屏上的位置)、控制器绕指示方向的旋转角(姿态)、以及从控制器7到每个标志8a和8b的距离。图10示出当控制器7的位置和/或方向发生变化时所拍图像的变化。图10示出控制器7的状态与当控制器7处于相应状态时所获得的所拍图像之间的对应。在图10中，当控制器7处状态A时，获得到所拍图像I1。在所拍图像I1中，标志8a和8b的目标图像8a’和8b’位于所拍图像I1的中心附近。目标图像8a’和8b’大体平行于x轴方向而定位。

通过从状态A绕作为轴的指示方向(绕Z轴)将控制器7顺时针旋转90°，获得了图10中所示的状态B。在这个说明书中，有关控制器所使用的术语“顺时针”及“逆时针”是指从控制器7后面(从图3A中Z轴方向的负端，即从外壳31的后表面)所看到的旋转方向。在状态B中，通过成像信息计算部35获得所拍图像I2。在所拍图像I2中，目标图像8a’和8b’已经从所拍图像I1逆时针沿弧形移动了90°。因而，通过检测目标图像在所拍图像中的方向(图像8b’相对于图像8a’的方向，或者图像8a’相对于图像8b’的方向)，得到了控制器7相对于作为旋转轴的指示方向的姿态。

通过从状态A向右(在正x轴方向上)平移控制器7，获得图10中所示的状态C。在状态C中，通过成像信息计算部35获得所拍图像I3。在所拍图像I3中，目标图像8a’和8b’已经从所拍图像I1向左(在负x轴方向上)移动。在状态C中，相对于状态A，控制器7的指示方向被向右导引。通过绕Y轴旋转控制器7以及向右平移控制器7，可以向右导引控制器7的指示方向。当控制器7绕Y轴旋转时，获得与所拍图像I3基本上相同的所拍图像。因此，当移动(旋转)控制器7以便于向右导引控制器7的指示方向时，获得与所拍图像I3基本上相同的所拍图像。即，获得其中目标图像8a’和8b’已经得到平移的图像。因而，通过检测目标图像在所拍图像中的位置(在下面所说明的实例中，图像8a’和8b’之间的中间点位置)，可以得到控制器7的指示方向。在这个说明书中，术语“中间”意味着在两个点、坐标组或图像之间的基本上正好一半位置。

通过从状态A将控制器7更远离标志8a和8b移动(即向后平移控制器7)，获得图10中所示的状态D。在状态D中，由成像信息计算部35获得所拍图像I4。在所拍图像I4中，目标图像8a’和8b’之间的距离短于在所拍图像I1中的距离。因而，通过检测在所拍图像中两个目标图像之间的距离(图像8a’和8b’之间的距离；当两个目标图像被视为一个整体目标图像时，则为目标图像的尺寸)，可以得到控制器7在指示方向的移动状态(从控制器7到标志8a和8b的距离)。

接下来，将详细说明由游戏设备3所执行的游戏处理。首先，将参考图11说明用于游戏处理的主要数据。图11示出存储在游戏设备3的主存储器13上的主要数据。如图11中所示，主存储器13在其上存储有当前操作数据50、先前操作数据53、操作状态数据56、操作处理数据60、操作目标数据64等。除图11中所示的数据以外，主存储器13还在其上存储有游戏处理所需的其它数据，包括有关出现在游戏中玩家角色的数据(玩家角色的图像数据、位置数据等)及有关游戏空间的数据(拓扑数据等)。

当前操作数据50是从控制器7所发送的最新数据。当前操作数据50包括当前第一坐标组数据51和当前第二坐标组数据52。当前第一坐标组数据51表示两个标记之一的图像位置(在所拍图像中的位置)。当前第二坐标组数据52表示另一标记的图像位置(在所拍图像中的位置)。每个标记的图像位置利用x-y坐标系统来表示(见图9)。此后，由当前第一坐标组数据51所表示的坐标组将被称为“第一坐标组”，且由当前第二坐标组数据52所表示的坐标组将被称为“第二坐标组”。第一坐标组和第二坐标组将被彼此区分，以便于准确地计算此后说明的方向数据57。第一坐标组与第二坐标组中的任意一个可表示标志8a或标志8b的图像位置。然而，在第一坐标组表示一帧中的标志之一的图像的情况下，第一坐标组需要表示下一帧中的同一标志的图像(见随后所说明的步骤S13至S15)。

除了从所拍图像所获得的坐标组数据(当前第一坐标组数据51和当前第二坐标组数据52)以外，当前操作数据50还包括从操作部32及加速度传感器37所获得的数据。游戏设备3以预定时间间隔(例如以1帧的间隔)从控制器7获得操作数据。所获得的操作数据当中最新的数据作为当前操作数据50被存储在主存储器13中。

先前操作数据53包括先前第一坐标组数据54和先前第二坐标组数据55。在这个说明书中，术语“先前”意味着“紧接的先前”。先前第一坐标组数据54是紧接着在当前第一坐标组数据51之前所获得的第一坐标组数据。即，当获得新的操作数据时，到目前为止一直是当前第一坐标组数据51的数据被存储为先前第一坐标组数据54。包括在新操作数据中的两条坐标组数据之一作为当前第一坐标组数据51存储在主存储器13上。类似地，先前第二坐标组数据55是紧接着在当前第二坐标组数据52之前所获得的第二坐标组数据。即，当获得新的操作数据时，到目前为止一直是当前第二坐标组数据52的数据被存储为先前第二坐标组数据55。包括在新操作数据中的两条坐标组数据中的另一个(不是表示第一坐标组的数据的数据)作为当前第二坐标组数据52存储在主存储器13上。

操作状态数据56表示基于所拍图像所确定的控制器7的操作状态。操作状态数据56表示包括在所拍图像中的目标图像的位置、方向和大小。操作状态数据56包括方向数据57、中间点数据58和长度数据59。方向数据57表示从第一坐标组到第二坐标组的方向。在这个实施例中，方向数据57是有关如此二维矢量的数据，其具有作为起点的第一坐标组位置及作为终点的第二坐标组位置。方向数据57表示在所拍图像中目标图像(标志8a和8b)的方向。中间点数据58表示在第一坐标组与第二坐标组之间的中间点的坐标组。在标志8a的图像和标志8b的图像被视为一个整体目标图像情况下，中间点数据58表示目标图像的位置。长度数据59表示第一坐标组和第二坐标组之间的距离长度。在标志8a的图像和标志8b的图像被视为一个整体目标图像情况下，长度数据59表示目标图像的尺寸。

操作处理数据60在根据操作状态数据56计算操作目标数据64的过程期间计算。操作处理数据60包括方向处理数据61、指示坐标组数据62、及距离数据63。在根据方向数据57计算操作目标数据64的姿态数据65的过程期间计算方向处理数据61。方向处理数据61表示例如预定基准方向与由方向数据57所表示方向之间的差(角差)。指示坐标组数据62根据中间点数据58来计算，并且表示监视器2显示屏上的指示位置的坐标组。在计算操作目标数据64的位置数据66的过程期间计算指示坐标组数据62。距离数据63表示从控制器7的成像装置(成像信息计算部35)到成像目标(标志8a和8b)的距离。在根据长度数据59计算位置数据66的过程期间计算距离数据63。当必要时，但并不是必然的，包括在操作处理数据60中的数据61至63用于计算操作目标数据64。

操作目标数据64表示操作目标在显示屏上或在游戏空间中的位置和姿态。“操作目标”可以是显示在显示屏上的对象、出现在虚拟游戏空间中的对象、或在构建虚拟三维游戏空间的情况下，用于在显示屏上显示三维游戏空间的虚拟相机。操作目标数据64包括姿态数据65和位置数据66。姿态数据65表示操作目标的姿态。位置数据66表示操作目标在游戏空间中或在显示屏上的位置。

接下来，将参考图12至图18B详细说明由游戏设备3所执行的游戏处理。图12是示例由游戏设备3所执行的游戏处理的流程。当游戏设备被接通时，游戏设备3的CPU 10执行存储在引导ROM(未示出)中的启动程序以对每个单元如主存储器13进行初始化。存储于光盘4上的游戏程序被读取到主存储器13中，并且CPU 10启动游戏程序的执行。图12中所示的流程图示例完成上述处理之后的游戏处理。在参考图12至图18B所给出的下述说明中，将详细说明有关控制器7位置和方向的游戏处理，并且将省略与本发明不直接相关的其它游戏处理。

参考图12，在步骤S1中，从控制器7获得操作数据。CPU 10在主存储器13上存储作为当前操作数据50的操作数据。到目前为止一直是当前第一坐标组数据51和当前第二坐标组数据52的数据的内容作为先前第一坐标组数据54和先前第二坐标组数据55被存储在主存储器13中。在这时，还尚未确定包括在操作数据中的两条坐标组数据中的哪个要成为当前第一坐标组数据51及哪个要成为当前第二坐标组数据52。因而，在这时，当前第一坐标组数据51和当前第二坐标组数据52两者均没有被存储在主存储器13中，并且包括在操作数据中的两条坐标组数据与当前第一坐标组数据51和当前第二坐标组数据52分开存储在主存储器13中。

在步骤S1中所获得的操作数据包括表示标志8a和8b在所拍图像中位置的坐标组数据，以及表示控制器7的每个操作按钮是否已经被按压的数据及表示控制器7在上下方向及左右方向上的加速度的数据。在这个实施例中，控制器7以一帧的时间间隔发送操作数据，并且CPU 10逐帧获得操作数据。因而，图12中所示的步骤S1至S5的处理循环逐帧重复。

接下来在步骤S2中，执行操作状态计算处理。在操作状态计算处理中，基于来自控制器7的操作数据来计算控制器7的操作状态(对应于控制器7的位置、姿态等的值)。以下参考图13和图14，将详细说明操作状态计算处理。

图13是示例图12中所示的操作状态计算处理(S2)的详细流程的流程图。操作状态计算处理被执行如下。首先在步骤S11中，确定控制器7的成像信息计算部7是否已经拍摄到两个标志8a和8b的图像。执行步骤S11中的确定是为了确定控制器7是否被抓持于可操作范围内。当成像信息计算部35尚未拍摄到两个标志8a和8b的图像时(当控制器7未被抓持于可操作范围内时)，来自控制器7的操作数据不包括两条坐标组数据。即，当成像信息计算部45仅拍摄到一个标志的图像时，图像处理电路41仅输出一条坐标组数据，并且来自控制器7的操作数据仅包括一条坐标组数据。当标志8a和8b两者的图像均未由成像信息计算部35拍摄时，图像处理电路41不输出任何坐标组数据，并且来自控制器7的操作数据不包括任何坐标组数据。因而，步骤S11中的确定可以基于在步骤S1中所获得的操作数据是否包括两条坐标组数据来执行。当在步骤S11中确定已经拍摄到两个标志8a和8b的图像时，执行步骤S13中的处理。当在步骤S11中确定尚未拍摄到两个标志8a和8b的图像时，执行步骤S12中的处理。

在步骤S12中，清除存储于主存储器13中的操作状态数据56的内容。在操作状态数据56未被存储在主存储器13中的情况下，在随后说明的移动处理中不移动操作目标。即，在这个实施例中，在未拍摄到两个标志8a和8b的图像情况下，不执行游戏处理。在步骤S12之后，CPU10终止操作状态计算处理。

在步骤S13至S15，确定两条坐标组数据中的哪个表示第一坐标组且哪个表示第二坐标组。图14示例用于确定哪个是第一坐标组及哪个是第二坐标组的处理。在图14中，用虚线圆圈指示的点P1’表示先前第一坐标组的位置，且用虚线圆圈指示的点P2’表示先前第二坐标组的位置。用实线圆圈指示的点P1和P2示出由在当前时间所获得的两条坐标组数据所表示的坐标组的位置。

参考图14，仅从坐标组P1和P2还不能够确定由在当前时间所获得的两条坐标组数据所表示的坐标组P1和P2中的哪个是第一坐标组及哪个是第二坐标组。即，仅从坐标组P1和P2，游戏设备3不能够确定坐标组P1’是否已经移动而变成坐标组P1或坐标组P2’已经移动而变成坐标组P2。第一坐标组和第二坐标组中的任意一个可表示标志8a或标志8b的图像位置。然而，重要的是正确地检测哪个数据表示第一坐标组及哪个数据表示第二坐标组，以便于计算出从第一坐标组到第二坐标组的方向(随后所说明的步骤S16)。如果第一坐标组和第二坐标组被相反地检测，则通过计算所获得的方向是相反的。例如，如果先前第一坐标组被检测为当前第二坐标组，则在步骤S16中所计算的方向是不正确的。

为了避免这种情况，在这个实施例中，基于先前坐标组和当前坐标组之间的距离来检测第一坐标组和第二坐标组。具体地，在当前新近所获得的两个坐标组当中，更接近先前第一坐标组的坐标组被确定为第一坐标组，且另一坐标组被为第二坐标组。在图14中所示的实例中，更接近于先前坐标组P1’的坐标组P1被设置为第一坐标组，且另一坐标组P2被设置为第二坐标组。在控制器7从一个帧到另一个帧旋转大于90°的角的情况下，离先前第一坐标组更远的坐标组是正确的第一坐标组。然而，因为获得坐标组的时间间隔(成像信息计算部35拍摄图像的时间间隔)通常很短(例如，1/60秒的间隔)，所以认为在一帧期间控制器7实际上不能够旋转大于90°的角。因此，通过将更接近于先前第一坐标组的坐标组设置为第一坐标组，可以正确地检测到第一坐标组。

具体地，在步骤S13中，确定是否在先前的帧中检测到第一坐标组和第二坐标组。步骤S13中的确定是基于操作数据56是否被存储在主存储器13中而执行的。当步骤S12中的处理在先前帧中被执行时，操作状态数据56没有被存储在主存储器13中。在这种情况下，第一坐标组和第二坐标组中的至少一个没有在先前帧中获得，并且因此不能够通过使用先前坐标组来确定第一坐标组和第二坐标组。当步骤S13中的处理在先前帧中被执行时，操作状态数据56被存储在主存储器13中。在这种情况下，可以利用先前坐标组确定第一坐标组和第二坐标组。执行步骤S13中的处理是为了确定第一坐标组和第二坐标组是否要利用先前坐标组来确定。当在步骤S13确定第一坐标组和第二坐标组在先前帧中被检测到时，执行步骤S14中的处理。当在S13中确定第一坐标组和第二坐标组中的至少一个未在先前帧中被检测到时，执行步骤S15中的处理。

在步骤S14中，在由包括在步骤S1中所获得的操作数据中的两条坐标组数据所表示的两个坐标组当中，更接近于先前第一坐标组的坐标组被确定为第一坐标组。具体地，CPU 10参考存储在主存储器13中的先前第一坐标组数据54、以及包括在操作数据中的两条坐标组数据，并且在由所述两条坐标组数据所表示的坐标组当中，规定更接近于先前第一坐标组数据54所表示的坐标组的坐标组。CPU 10将有关规定坐标组的坐标组数据作为当前第一坐标组数据51存储在主存储器13上，并且还将有关另一坐标组的坐标组数据作为当前第二坐标组数据52存储在主存储器13上。

在步骤S15中，根据预定条件，由两条坐标组数据所表示的坐标组之一被确定为第一坐标组。所述预定条件可是任何条件。例如，CPU 10将具有较小y轴坐标值的坐标组确定为第一坐标组，且将另一坐标组确定为第二坐标组。有关被确定为第一坐标组的坐标组的数据作为当前第一坐标组数据51被存储在主存储器13上，并且有关被确定为第二坐标组的坐标组的数据作为当前第二坐标组数据52被存储在主存储器13上。

在步骤S16，确定从第一坐标组到第二坐标组的方向。具体地，CPU10参考当前第一坐标组数据51和当前第二坐标组数据52，以计算具有作为起点的第一坐标组的位置及作为终点的第二坐标组的位置的矢量。有关所计算的矢量的数据作为方向数据57被存储在主存储器13上。所计算矢量的方向对应于控制器7绕指示方向的旋转角。即，作为在步骤S16中的处理的结果，计算出控制器7绕指示方向的旋转。

接下来在步骤S17中，计算第一坐标组和第二坐标组之间的中间点的坐标组。具体地，CPU 10参考当前第一坐标组数据51和当前第二坐标组数据52来计算中间点的坐标组。有关所计算的中间点坐标组的数据作为中间点数据58被存储在主存储器13上。中间点数据58表示目标图像(标志8a和8b)在所拍图像中的位置。

接下来在步骤S18中，在步骤S17中所计算的中间点坐标组得到校正。图15示例图13中所示的步骤S18的处理。图15示出控制器7的状态与当控制器7处于相应状态下所获得的所拍图像之间的对应。在图15中，在状态A和状态B两者中，监视器2的显示屏中心是由控制器7所指示的位置。在状态A中，控制器7的顶表面朝向向上(在这个实施例中，这个状态将称为“基准状态”)；而在状态B中，控制器7的顶表面朝向向右。由于标志8a和8b位于显示屏上方，所以标志8a和8b的位置与指示位置(在显示屏的中心)并不匹配。因此，在状态A，目标图像在所拍图像中心的上方。在状态B，目标图像在所拍图像中心的左方。如从图15中所看出的，由于标志8a和8b的位置与指示位置(在显示屏的中心)不匹配，所以目标图像在所拍图像中的位置根据控制器7绕作为轴的指示方向的旋转角而变化。为此，基于目标图像的位置不能精确地计算出指示位置。

为了避免这种情况，在步骤S18，基于步骤S16中所计算的方向，校正在步骤S17所计算出的中间点坐标组。具体地，在步骤S17中所计算的中间点坐标组被校正成在控制器7处于基准状态的情况下所获得的坐标组。更具体地，在步骤S17中所计算的中间点坐标组绕作为轴的所拍图像中心沿弧形移动一个量，该量对应于在步骤S16中所计算的方向与基准状态下的方向之间的角差。在图15中的状态B，在步骤S16计算出从基准状态逆时针倾斜90°的矢量。因此，理解为控制器7从基准状态顺时针倾斜90°。相应地，在步骤S18中，在步骤S17中所计算的中间点坐标组绕作为轴的所拍图像中心顺时针沿弧形移动90°。表示如上述在步骤S18中所校正的中间点坐标组的数据作为经更新的中间点数据58存储在主存储器13上。基于在步骤S18中所获得的经校正的中间点坐标组，游戏设备3可以计算出控制器7所指示的位置。

接下来在步骤S19中，计算第二坐标组与第二坐标组之间的距离长度。具体地，CPU 10参考当前第一坐标组数据51和当前第二坐标组数据52来计算该长度。有关所计算的长度的数据作为长度数据59存储在主存储器13中。该长度对应于从控制器7到标志8a和8b的距离。在步骤S19之后，CPU 10终止操作状态计算处理。

返回到图12，在步骤S3中，执行移动操作目标的移动处理。参考图16，将详细说明移动处理。

图16是示例图12中所示移动处理(S3)的详细流程的流程图。移动处理被如下执行。首先在步骤S21中，操作目标在步骤S16所计算的方向上旋转。如上所说明，操作目标可以是出现在虚拟游戏空间中的对象或虚拟相机。以下将参考图17A至18B说明操作目标的旋转运动的变型。

图17A至图18B示出操作目标的旋转运动实例。在图17A至图18B中，操作目标是出现在游戏空间中的对象。旋转前的对象Ob’用虚线来指示，且旋转后的对象Ob用实线来指示。在步骤S21中所执行的操作目标的旋转运动可用于改变操作目标在显示屏上或游戏空间中的位置、用于改变操作目标的姿态、或用于改变操作目标的位置以及姿态两者。即，操作目标的旋转运动可以是，如图17A中所示，改变操作目标的姿态而不改变其位置的运动；如图17B所示，绕作为轴的预定位置P沿弧形移动操作目标而不改变其姿态(方向)的运动；或如图17C所示，绕作为轴的预定点P沿弧形移动操作目标而同时旋转操作目标以便于改变操作目标的位置及姿态两者的运动。在操作目标位于虚拟三维游戏空间的情况下，并不特别地需要操作目标绕垂直于显示屏的轴旋转。图18A示出在虚拟三维游戏空间中旋转的对象。在对象如图18A所示旋转的情况下，从平行于Y轴的方向所看到的游戏空间被显示在图18B所示的显示屏上。旋转对象的处理可以是旋转显示屏上的对象的处理，或旋转游戏空间中的对象的处理。在后者的情况下，在显示屏上不容易看到对象的旋转，但这仍属于本发明的范围。

具体地，在步骤21中，根据由步骤S16中存储于主存储器13上的方向数据57所表示的矢量方向，确定操作目标的姿态和/或位置。更具体地，该确定可以按如下执行。事先确定矢量方向与当矢量在相应的方向上倾斜时操作目标的姿态和/或位置之间的对应。基于所述对应，根据矢量确定操作目标的姿态和/或位置。可替选地，可按如下执行确定。计算出由先前帧中的矢量与当前帧中的矢量所形成的角(角差)，并且基于所述角差确定操作目标的姿态和/或位置的变化量。例如，操作目标可旋转与角差成比例的角度。表示角差的数据对应于操作处理数据60中的方向处理数据61。当如上所说明确定了操作目标的姿态和/或位置时，存储在主存储器13中的操作目标数据64的内容得到更新。即，表示在步骤S21中所确定的姿态的数据作为姿态数据65被存储在主存储器13中，并且表示步骤S21中所确定的位置的数据作为位置数据66被存储在主存储器13中。

在其它的实施例中，可如此设置处理，使得在步骤S16中所计算的矢量方向处于预定角范围的情况下，操作目标不旋转。其原因是，当由于对输入设备的旋转角响应过于灵敏而导致操作目标旋转时，可破坏输入设备的可操作性。取决于游戏的类型、或游戏中的情形，玩家可能希望将操作目标维持在某一姿态。在这样的情况下，如果由于对输入设备的旋转角响应过于灵敏而导致操作目标旋转，则难以将操作目标维持在某一姿态且输入设备的可操作性被破坏。例如，可如此设置处理，使得当矢量与y轴所形成的角处于-5°至5°的范围内时操作目标不旋转。由于这样的设置，即使控制器7略微旋转，仍获得与将控制器7维持在水平状态的情况相同的操作结果。如上所说明，通过在控制器7上所执行的旋转操作中设置所谓的“玩”裕度，可以改善输入设备的可操作性。

接下来在步骤S22中，将操作目标平移。即，计算出操作目标的移动后位置。当在步骤S21中确定了操作目标的移动后位置时(当执行图17B或图17C中所示的旋转运动时)，则省略步骤S22中的处理。当在步骤S21中仅确定了操作目标的姿态时(当执行图17A中所示的旋转运动时)，执行步骤S22中的处理。

基于(i)步骤S18中所校正的中间点坐标组与(ii)步骤S19中所计算的距离长度中的至少一个，确定步骤S22中操作目标的平移运动。典型地，基于步骤S18中所校正的中间点坐标组来确定操作目标在显示屏上的位置(在游戏空间中对应于显示屏上位置的的位置)。基于在步骤S19中所计算的距离来确定在相对于显示屏的深度方向上操作目标的位置。

通过使用将中间点坐标组转换成在监视器2的显示屏上的坐标组的功能，计算出操作目标在显示屏上的位置。这个功能将根据一个所拍图像计算出的中间点的坐标组值转换成如此坐标组值，其对应于当拍摄到如此所拍图像时由控制器7所指示的显示屏上的位置(指示位置)。例如这将如下执行。为中间点坐标组和显示屏指示位置两者设置预定的基准值。计算中间点的坐标组与基准值的位移，并且颠倒所述位移的正/负号且以预定比率进行缩放。因而，当前指示位置与基准值的位移得以计算，并且当前的指示位置得以设置。这个功能允许从中间点的坐标组计算出显示屏上的指示位置。表示指示位置的数据对应于操作处理数据60中的指示坐标组数据62。为了将中间点的坐标组转换成表示游戏空间中的位置的坐标组(随后所说明的对应坐标组)，指示位置被进一步转换成在游戏空间中对应于指示位置的位置。“在游戏空间中对应于指示位置的位置”是游戏空间中被显示在显示屏上指示位置处的位置。

基于步骤S19中所计算的长度，计算出操作目标在相对于显示屏的深度方向上的位置。具体地，这按如下执行。事先确定在深度方向上的预定位置与预定长度之间的对应。基于步骤S19中所计算的长度与预定长度之间的差，确定操作目标的位置。更具体地，操作目标的位置被如此确定，使得随着通过从步骤S19所计算的长度中减去预定长度所获得的差变得越大，操作目标的位置变得越深。在此差为负值的情况下，操作目标的位置确定成相对于预定位置为向前(即，更接近于在监视器2的显示屏前的玩家)。可替选地，基于控制器7的成像装置(成像信息计算部35)到成像目标(标志8a和8b)的距离，可确定操作目标在深度方向上的位置(见随后所说明的图26)。这样的距离根据步骤S19所计算的长度来计算的。表示这样距离的数据对应于操作处理数据60中的距离数据63。

表示步骤S22中所确定的操作目标位置的数据作为位置数据66被存储在主存储器13中。在步骤S22，确定操作目标在显示屏上的位置以及其在深度方向上的位置两者并不是绝对必要的。可确定两个所述位置中的任意一个。例如，在游戏空间是二维平面的情况下，基于步骤S18中所校正的中间点坐标组，可仅确定操作目标在显示屏上的位置。在步骤S21和S22之后，CPU 10终止移动处理。

在这个实施例的移动处理中，操作目标的移动受到如此控制，以便于操作目标总是移动到由控制器7指示的位置。在其它的实施例中，可如此执行移动处理，以便于当对控制器7执行预定的操作(例如按压B按钮32d)时，操作目标移动到当执行如此操作时所获得的由控制器7指示的位置。如上述实施例，在同时执行移动操作目标的操作以及旋转操作目标的操作的情况下，玩家在打算移动操作目标时可能非有意地旋转控制器7，从而导致不管他的/她的意图而旋转操作目标。在处理被设置成仅当必要时才移动操作目标的情况下，可以减轻同时移动和旋转操作目标的难度。

返回到图12，在步骤S3之后的步骤S4中，执行显示处理。CPU 10参考存储在主存储器13中的操作目标数据64，以根据在步骤S3中所确定的姿态和位置产生图像。CPU 10在监视器2的显示屏上显示所产生的图像。例如，当操作目标是显示在显示屏上的对象时，将对象以步骤S3中所确定的姿态和位置显示在显示屏上。例如，在操作目标是虚拟相机的情况下，则产生从以步骤S3中确定的姿态和位置设置的虚拟相机看到的游戏空间的图像，并且显示所产生的图像。通过一帧接一帧地重复步骤S4中的处理，可以显示表示操作目标旋转的移动画面。

在步骤S5中，确定是否终止游戏。当例如符合用于终止游戏的条件(例如，指示玩家角色体力的参数变成零)或玩家已经执行终止游戏的操作时，终止游戏。当确定不终止游戏时，处理返回到步骤S1，并且重复步骤S1至S5的处理直至在步骤S5确定终止游戏。当确定终止游戏时，CPU10终止在图12中所示的游戏处理。

如上所说明，在这个实施例中，根据通过成像信息计算部35所获得的所拍图像，可以计算出对应于控制器7绕作为轴的其前后方向旋转的控制器7的姿态的值。基于控制器7的姿态，可以旋转操作目标。利用这种设置，玩家可以执行绕作为轴的控制器7前后方向旋转控制器7的游戏操作，以便于使操作目标根据控制器7的旋转而旋转。因而，游戏设备3可以允许玩家通过旋转控制器7来执行旋转操作目标的新游戏操作。

根据本发明，游戏设备3仅需要计算出控制器7绕作为轴的指示方向的旋转。游戏设备3并不需要检测由控制器7指示的位置或控制器7与成像目标(标志8a和8b)之间的距离。为了计算出控制器7绕其作为轴的指示方向的旋转，游戏设备3仅需要从所拍图像获得表示至少方向的信息。因此，图像处理电路41可输出表示方向的信息，而不是上述提到的两个位置的坐标组。具体地，图像处理电路41可计算出有关表示从标志8a的图像位置到标志8b的图像位置的方向(或从标志8b的图像位置到标志8a的图像位置的方向)的矢量的数据。由于这个矢量仅需要表示方向，所以图像处理电路41可输出有关具有恒定大小的单位矢量的数据。

通过计算目标图像在所拍图像中的位置，可以检测到控制器7的指示位置。如上述实施例中所说明，目标图像在所拍图像中的位置可以利用中间点坐标组的位置来表示。因而，在将控制器7的指示位置用于移动操作目标的情况下，图像处理电路41可输出表示目标图像在所拍图像中位置的数据以及表示方向的数据。即，图像处理电路41可输出有关表示从标志8a的图像位置到标志8b的图像位置的方向(或从标志8b的图像位置到标志8a的图像位置的方向)的矢量的数据，以及有关中间的坐标组的数据，而不是输出有关表示标志8a和8b的图像位置坐标组的数据。在这种情况下，游戏设备3并不需要计算方向数据或中间点数据(步骤S16和S17)，游戏设备3的处理负荷可以得以减轻。可以由成像处理电路41或游戏设备3来执行步骤S18中的校正处理。

在其它实施例中，成像信息计算部35可不包括图像处理电路41。在这种情况下，成像信息计算部35向微型计算机42输出所拍图像的图像数据，并且图像数据作为操作数据从控制器7发送到游戏设备3。游戏设备3基于图像数据来计算方向数据。如上所说明，根据所拍图像的图像数据来计算方向数据的处理可由专用电路(图像处理电路41)部分地执行、可由这样的电路全部执行、或作为软件处理由游戏设备3来执行。

在上述实施例中，用于输出红外光的两个标志8a和8b是成像目标。一些其它的元件可以是成像目标。成像目标可以是任何其图像可提供方向的东西。例如，三个或更多个标志可是成像目标，或可以提供方向的一个标志可以是成像目标。在一个标志是成像目标的情况下，理想的是该标志具有如此的线性形状等，从该形状可以规定预定的两个点。其原因是有必要根据标志来检测方向。圆形形状并不是理想的。游戏设备3计算连接所拍图像的预定两点的方向，以计算所拍图像中目标图像的方向。优选地，标志是光发射元件。标志可输出非红外的其它波长的光，或可输出白光。监视器2显示屏的框(frame)可以是成像目标，或成像目标可显示在显示屏上。利用如此结构，除了监视器以外，没有必要准备另外的标记，并且系统的结构可得到简化。

在其它的实施例中，当控制器7来到可操作范围之外时，利用来自加速度传感器的输出可旋转操作目标。具体地，当在图13中的步骤S11中的确定结果为否定时，利用来自加速度传感器的输出，执行确定控制器7绕作为轴的指示方向的旋转状态的处理，而不是步骤S12中的处理。CPU 10参考包括在操作数据中的表示加速度的数据，以确定控制器7的旋转状态。在步骤S3的移动处理中，操作目标根据由上述处理所确定的旋转状态而旋转。因此，即使控制器7来到可操作范围之外时，可以继续旋转操作目标的操作。在控制器7来到可操作范围之外且然后在其姿态变化的同时返回到可操作范围的情况下，利用来自加速度度的输出可确定控制器7的姿态。因此，两个标志的每个可以被识别。

现在，在上述实施例中假设控制器7曾经来到可操作范围以外且随后返回到可操作范围。在这种情况下，不能仅根据所拍图像确定控制器7已经以向上状态(其顶表面朝向向上)或以向下状态(其顶表面朝向向下)返回到可操作范围。在向上状态和向下状态之间，目标图像在所拍图像中的位置是不同的。因此，当控制器7以向下状态返回到可操作范围时，基于目标图像的位置，不能精确地计算出指示位置。

因此，在其它的实施例中，当控制器7在曾经来到可操作范围外之后返回到可操作范围时，通过使用加速度传感器37的检测结果，游戏设备3可确定控制器7是否处于向下状态。当确定控制器7处于向下状态，则执行步骤S18中的校正处理。参考图13中的流程图将对此加以说明。当步骤S13中的确定结果为否定时，CPU 10参考包括在操作数据中的加速度数据，以确定控制器7是否处于向下状态。当确定控制器7处于向下状态时，则如下执行步骤S18中的校正处理。中间点坐标组沿着弧形移动一角度，该角度是通过将步骤S16中所计算的方向与基准状态方向之间的角加上180°而获得的。这个过程一直继续到下一次控制器来到可操作范围之外为止。因而，即使控制器7以向下状态返回到可操作范围，也可以精确地计算控制器7的指示位置。

上述实施例适用于控制器7绕作为轴的指示方向旋转的各种游戏。在以下，具体游戏将作为实例被加以说明

(第一实例)

图19示出在第一实例中的游戏屏实例。在图19中，板状对象71及72、球对象73、以及壁对象74位于二维游戏空间中。板状对象71是待由玩家操作的操作目标。板状对象71在显示屏上可上、下、左及右移动并且通过玩家的操作可旋转(如图19中的箭头所指示)。类似于板状对象71，板状对象72由游戏设备3的CPU 10来控制且在显示屏上可上、下、左及右移动且可旋转。在以下，待由玩家操作的板状对象71将称为“玩家对象”，以及待由CPU 10控制的板状对象72将称为“对手对象”。球对象73(此后也被简称为“球”)在显示屏上的二维游戏空间中移动。球73在游戏空间中线性地移动，并且当与玩家对象71、对手对象72或壁对象74碰撞时，其弹回且继续移动。壁对象74固定地位于显示屏的顶部和底部。在第一实例的游戏中，两方互相对抗。更具体地，在第一实例中的游戏是曲棍球游戏，其中玩家操作玩家对象71与对手对象72击打球对象73。玩家操作玩家对象71，使得在将球73击回以使球73不到达玩家侧(显示屏的右端，即玩家对象71的右方)的同时将球73放入对手侧(游戏屏的左端，即对手对象72的左方)。

接下来将说明利用控制器7来操作玩家对象71的方法。玩家对象71根据由控制器7所执行的位置指定操作来上、下、左或右移动(平移)。“位置指定操作”是指定指示位置的操作。具体地，将控制器7的位置或方向加以改变，以改变在纵向方向上从控制器7的前端延伸的假想直线与监视器2的显示屏相交的位置。根据控制器7的位置或方向确定指示位置。玩家可以在显示屏上使指示位置上、下、左或右移动以便在显示屏上使玩家对象71上、下、左或右移动。具体地，游戏设备3控制要设置于指示位置处的玩家对象的操作。

根据旋转操作，玩家对象71绕其中心旋转。“旋转操作”是绕作为轴的指示方向旋转控制器7的操作。图20示例由旋转操作所提供的玩家对象71的操作。图20示出控制器7的状态、当控制器7处于相应状态下所获得的所拍图像、以及当控制器处于相应状态下玩家对象71的姿态之间的对应。

在图20中，在状态A时，控制器7的顶表面朝向向上。在状态A中所获得的所拍图像I7中，标志8a和8b的图像8a’和8b’水平设置(图像8a’和8b’的y轴坐标相同)。在这种状态下，玩家对象71采取与监视器2显示屏的上下方向呈水平的姿态。在这个实例中，将这个状态称为“基准状态”。

在图20所示的状态B中，控制器7已经从状态A逆时针旋转了预定角度。在状态B中所获得的所拍图像I8中，图像8a’和8b’已经从状态A沿着弧形顺时针移动了所述预定角度。在这个状态中，玩家对象71采取已经从显示屏的上下方向逆时针旋转了所述预定角度的姿态。在图20在所示的状态C中，控制器7已经从状态A顺时针旋转了预定角度。在状态C中所获得的所拍图像I9中，图像8a’和8b’已经从状态A沿弧形逆时针移动了所述预定角度。在这个状态中，玩家对象71采取已经从显示屏的上下方向顺时针旋转了所述预定角度的姿态。如上所说明，游戏设备3控制玩家对象71的姿态，以便以与控制器7相同的角度在控制器7已经从基准状态旋转的方向上旋转。

接下来，将详细说明第一实例中的游戏处理。在第一实例中，对于游戏处理，图11中所示的操作状态数据中的长度数据59是不必要的，且未存储在主存储器13中。操作处理数据60中的方向处理数据61和距离数据63对于游戏处理是不必要的，且没有被存储在主存储器13中。图11中所示的操作目标数据表示作为操作目标的玩家对象71的位置和姿态。即，姿态数据65表示玩家对象71的姿态。具体地，姿态数据65表示如此矢量，其指示显示屏上的玩家对象71的方向。这个矢量由如此坐标系统来表示，在所述坐标系统中显示屏的左上角是原点，从原点向下的方向是正y’轴方向，且从原点向右的方向是负x’轴方向(x’-y’坐标系统)。在这个实例中，由姿态数据65所表示的矢量指示垂直于矩形玩家对象71纵向方向的方向。位置数据66表示显示屏上玩家对象71的位置。表示位置的坐标组处于x’-y’坐标系统。在这个实例中，由位置数据66所表示的位置指示玩家对象71的中心位置。

在第一实例中，图11中所示的数据、对象的图像数据、表示对手对象72的位置和姿态的数据、表示球对象73的位置及速度的数据等被存储在主存储器13中。

图21是示例第一实例中的游戏处理的流程图。在图21中，与图12中所示的游戏处理中的那些步骤基本相同的步骤具有相同的步骤编号，并且将省略其详细说明。到图21中所示流程图中的处理开始为止的处理与图12中的情况相同。

第一实例中的游戏处理按如下执行。首先在步骤S31中，执行初始处理。在初始处理中，CPU 10显示处于初始状态的游戏屏。即，对象71至74位于相应的初始位置。对于操作目标数据64，表示处于初始状态的玩家对象71的姿态的数据作为姿态数据65被存储在主存储器13中，并且表示处于初始状态的玩家对象71的位置的数据作为位置数据66被存储在主存储器13中。CPU 10在监视器2上显示其中对象71至74处于相应初始位置的游戏屏。

在步骤S31之后，执行上述所说明的步骤S1中的处理，且随后执行步骤S2中的操作状态计算处理。在第一实例中的操作状态计算处理中，并没有执行计算两个坐标组之间距离的处理(步骤S19)。除了步骤S19以外，第一实例中的操作状态计算处理基本上与上述参考图12所说明的相同。

接下来，执行步骤S3中的移动处理。如上述参考图16所说明，执行在根据控制器7绕作为轴的指示方向(绕在步骤S16中所计算的方向)的旋转而计算出的方向上旋转玩家对象71(步骤S21)的处理。以下将说明第一实例中步骤S21的具体处理。

在第一实例中的步骤S21中，表示所拍图像中的方向(在x-y坐标系统中的方向)的矢量被转换成表示在显示屏上的方向(在x’-y’坐标系统中的方向)的矢量。“表示在所拍图像中的方向的矢量”是在步骤S16中计算的矢量，其由方向数据57来表示。通过将所述矢量转换成表示显示屏上的方向的矢量，计算出表示玩家对象71方向的矢量。具体地，在步骤S21中，由存储在主存储器13中的方向数据57所表示的矢量方向关于x轴或y轴被颠倒。例如，当由方向数据57所表示的矢量是(vx1，vy1)时，CPU 10将转换后的矢量计算为(-vx1，vy1)。因而，矢量关于y轴被颠倒，即被转换成表示在x’-y’坐标系统中的方向的矢量。CPU 10将表示转换后矢量的数据作为更新的姿态数据65存储在主存储器13中。

接下来在步骤S22中，将玩家对象71平移。即，计算出玩家对象71在显示屏上的位置。具体地，如在上述步骤S22中所说明，CPU 10根据表示x-y坐标系统中的中间点的坐标组计算出在x’-y’坐标系统中的坐标组(指示坐标组)，其表示在显示屏上的指示位置。有关所计算的指示坐标组的数据作为指示坐标组数据62被存储在主存储器13上。接下来，将所计算的指示坐标组确定为玩家对象71的位置。在指示坐标组处于在游戏中设置的玩家对象71可移动范围(例如，插入在壁对象74之间的区域)等之外的情况下，玩家对象71的位置被设置在与指示坐标组不同的位置，例如在可移动范围边界附近。有关在步骤S22中所确定的表示玩家对象71在显示屏上位置的坐标组(指示坐标组)的数据作为位置数据66被存储在存储器13中。

在步骤S3之后的步骤S32中，移动对手对象72。CPU 10根据预定的算法确定对手72移动后的位置和姿态。接下来在步骤S33中，将球73移动。CPU 10确定球73是否已经与玩家对象71、对手目标72、或壁对象74碰撞。当球73已经碰撞时，基于球73的碰撞前移动方向和由球与球已经碰撞上的对象之间所形成的夹角，确定球73的碰撞后移动方向。当球73并没有碰撞时，则维持球73的移动方向。球73的速度可根据玩家对象71或对手对象72在碰撞时的移动速度或旋转速度而变化。

接下来在步骤S4中，执行显示处理。即，对象71至73以在步骤S3至S5中所确定的新位置和姿态显示在显示屏上。通过逐帧重复步骤S4中的处理，对象71至73被显示为移动。接下来在步骤S5中，确定是否终止游戏。在第一实例中，这个确定是基于例如球73到达玩家侧或对手侧的次数来执行的。

在上述所说明的第一实例中，可以以移动或旋转控制器7以便移动或旋转玩家对象71的新游戏操作来享受游戏。

在第一实例中，使用一个控制器7来仅操作玩家对象71。可使用两个控制器7来操作两个对象(例如，如图19中所示的对象71和72)。在这个情况下，两个玩家可以各使用一个控制器7来操作相应的对象，并且彼此对抗。

(第二实例)

图22示出在第二实例中的游戏屏实例。图22示出其中玩家可以利用钥匙开门的游戏场景。在图22中，构建了三维游戏空间，并且门75和钥匙76位于游戏空间中。门75具有钥匙孔75a。玩家可以通过操作控制器7来移动或旋转钥匙76。玩家利用控制器7执行在三维游戏空间中移动钥匙76的操作，并且因而将钥匙76放进钥匙孔75a。当玩家在钥匙76在钥匙孔75a内的状态下执行旋转钥匙76的操作时，门76打开。图22中所示的X-Y-Z坐标系统是在三维游戏空间中的坐标系统且并未实际显示在显示屏上。在这个实例中，Z轴方向是深度方向，其平行于虚拟相机的观看方向。

在第二实例中，根据由控制器7所执行的位置指定操作和深度指定操作，钥匙76在三维游戏空间中移动。“深度指定操作”是改变从控制器7到标志8a和8b的距离的操作。具体地，根据位置指定操作，游戏设备3在游戏空间中在X轴方向和Y轴方向上移动钥匙76。根据深度指定操作，游戏设备3在游戏空间中在Z轴方向上移动钥匙76。借助于由玩家所执行的旋转操作将钥匙旋转。在这个实例中，钥匙76在游戏空间中绕Z轴旋转。

接下来，将详细说明第二实例中的游戏处理。在第二实例中，存储在主存储器13中的操作目标数据64(见图11)表示作为操作目标的钥匙76的位置和姿态。即，姿态数据65表示钥匙绕Z轴旋转的姿态。位置数据66表示钥匙76在三维坐标组中的位置。位置数据66表示三维坐标组。在第二实例中，对于游戏处理，方向处理数据61并不是必要的，且没有被存储在主存储器13中。

图23是示例第二实例中游戏处理流程的流程图。在图23中，与图12中所示的游戏处理中的步骤基本上相同的那些步骤具有相同的步骤编号，并且将省略其详细说明。到图23中所示流程图中的处理开始为止的处理与图12中的情况相同。

第二实例中的游戏处理按如下执行。首先在步骤S41中，执行初始处理。在初始处理中，CPU 10显示处于初始状态的游戏屏。即，构建了三维游戏空间且门75、钥匙76等位于其中。钥匙76位于预定的初始位置。对于操作目标数据64，表示处在初始状态的钥匙76的姿态的数据作为姿态数据65被存储在主存储器13中，且表示处在初始状态的钥匙76的位置的数据作为位置数据66被存储在主存储器13中。CPU 10产生从预定虚拟相机看到的门75和钥匙76所处的游戏空间的图像，并且在监视器2上显示游戏屏。

在步骤S41之后，执行上述所说明的步骤S1中的处理，且随后执行步骤S2中的操作状态计算处理。步骤S1和S2中的处理与上述参考图12所说明的处理基本相同。

接下来，执行步骤S3中的移动处理。图24是示例第二实例中移动处理的详细流程的流程图。第二实例中的移动处理按如下执行。首先在步骤S45中，根据步骤S16中所计算的方向计算出钥匙76的姿态。步骤S45对应于上述所说明的步骤S21。在第二实例中，根据控制器7绕指示方向的旋转，钥匙76绕作为轴的显示屏深度方向(绕Z轴)而旋转。即，控制器7的旋转方向与显示在显示屏上的钥匙76的旋转方向相同。因而，通过执行旋转操作器7的操作，玩家可以感觉到好像他/她实际上正在旋转钥匙76。

接下来在步骤S46至S49中，确定钥匙76在游戏空间中的位置。步骤S46至S49中的处理对应于上述所说明的步骤S22。

在步骤S46中，基于存储在主存储器13内的操作状态数据56中的中间点数据58，计算出显示屏上的指示位置。计算指示坐标组的方法与上述针对步骤S22所说明的方法相同。上述所说明的功能得到使用。有关表示指示位置的坐标组(指示坐标组)的数据作为指示坐标组数据62被存储在主存储器13中。

在步骤S47中，基于在步骤S46中所计算的指示位置，确定在游戏空间中钥匙76在X轴方向和Y轴方向上的位置。更具体地，基于由指示坐标组数据62所表示的坐标组x分量来确定游戏空间中钥匙76在X轴方向上的位置，并且基于坐标组y分量确定游戏空间中钥匙76在Y轴方向上的位置。因而，控制器7移动的方向与钥匙76在显示屏上移动的方向相同。

在步骤S48中，执行基于步骤S19中所计算的长度来计算从成像装置到标志8a和8b的距离的处理(距离计算处理)。以下将详细说明距离计算处理。

图25是示例图24中所示的步骤S48中距离计算处理的详细流程的流程图。图26A和图26B示例步骤S48中的处理。图26A示出由控制器7获得的所拍图像的实例，且图26B示出当获得所拍图像时标志8a和8b与控制器7之间的位置关系。在上述所说明的步骤S19中，计算出在所拍图像中的两个点之间的长度mi。

距离计算处理按如下执行。首先在步骤S481中，计算成像元件40相对于标志8a和8b位置的成像可能范围的宽度w(见图26B)。具体地，CPU 10根据下述方程式来计算宽度w。

w＝wi×m/mi

在上述方程式中，m是标志8a和8b之间的间隔(例如30cm)，其为固定值。wi是由成像元件40所获得的所拍图像的宽度，其对应于宽度w。wi也是固定值。间隔m和宽度wi均是固定值且因此事先被存储在游戏设备3中的存储装置(未示出)上。间隔m可具有根据环境由玩家所确定的任何值；即玩家可以以任何间隔放置标志8a和8b。在这种情况下，玩家可输入间隔m。

接下来在步骤S482中，基于成像元件40的视角θ2和宽度w，计算出标志8a和8b与成像元件40(控制器7)之间的距离d。具体地，CPU 10根据下述方程式来计算距离d。

tan(θ2/2)＝(w/2)/d＝w/2d

视角θ2是固定值，且因此事先被存储在游戏设备3中的存储装置(未示出)中。有关由上述方程式所计算的距离的数据作为距离数据63被存储在主存储器13中。在步骤S482之后，CPU 10终止距离计算处理。

返回到图24，在步骤S49中，基于在步骤S48中所计算的距离数据63，确定游戏空间中钥匙76在Z轴方向上的位置。例如，钥匙76在Z轴方向上的位置被如此确定，以便于随着由距离数据63所表示的距离值越大，钥匙76相对于显示屏越向前设置(即在监视器2的显示屏前方越接近于玩家)。因而，相对于显示屏的深度方向以及上、下、左和右方向，控制器7移动的方向与钥匙76移动的方向相同。利用如此设置，通过执行移动控制器7的操作，玩家可以感觉到他/她好像实际上正在移动钥匙76。有关由步骤S46至S49中的处理所确定的钥匙76的位置的数据作为位置数据66被存储在主存储器13中。在步骤S49之后，CPU 10终止移动处理。

当在步骤S3中的移动处理所确定的钥匙76的位置超出壁或门75的情况下，钥匙76的位置数据66不被更新且维持步骤S3中的移动处理之前的位置数据66的内容。即，在钥匙76碰撞到壁或门75的情况下，并不移动钥匙76。除非钥匙76处于绕Z轴的预定方向上，否则钥匙76并不通过钥匙孔75a。

在步骤S3之后的步骤S4中，执行显示处理。即，钥匙76以在步骤S3中所确定的新位置和姿态显示在显示屏上。通过逐帧重复步骤S4中的处理，根据控制器7的运动和旋转，钥匙76显示为移动和旋转。

接下来在步骤S42中，确定钥匙76是否位于钥匙孔75a中。通过参考存储在主存储器13内的操作目标数据64中的位置数据66以及表示钥匙孔75a位置的数据(存储在主存储器13中)，可以执行这一确定。当在步骤S42中确定钥匙76位于钥匙孔75a时，执行步骤S43中的处理。当在步骤S42中确定钥匙76不位于钥匙孔75a中时，处理返回到步骤S1且重复上述所说明的处理。

在步骤S43中，确定是否钥匙76处于绕Z轴的预定姿态。通过参考存储在主存储器13内的操作目标数据64中的姿态数据65，可以执行这个确定。当在步骤S43中确定钥匙76处于预定姿态时，执行步骤S44中的处理。当在步骤S43中确定钥匙76不处于预定姿态时，处理返回到步骤S1且重复上述所说明的处理。

在步骤S44中，在显示屏上门75显示为被打开。步骤S44之后的处理不与本发明直接相关，且因此将不详细加以说明。此后，玩家角色可以移出门75或在显示屏上显示门75之外的场景。至此，已经描述了第二实例中的游戏处理。

如上所说明，在第二实例中，控制器移动或旋转的方向与操作目标移动或旋转的方向匹配。因而，玩家可以感觉到他/她好像实际上正在移动或旋转操作目标，这在传统上是不可能的。

在上述实例中，基于图像在所拍图像中的尺寸(两个目标图像8a’和8b’的总长)，计算出成像目标(标志8a和8b)与成像装置(成像元件40)之间的距离。在其它的实施例中，在可检测到由成像装置所接收的光强度的情况下，基于由成像装置所接收的来自标志的光强度，可计算出所述距离。

(第三实例)

接下来，将说明第三实例中的游戏处理。在第三实例中，构建了三维游戏空间，并且设置用于产生游戏空间的图像的虚拟相机。在第三实例中，虚拟相机是操作目标。在这个实例中，将主要说明移动虚拟相机的处理，并且将省略其它的游戏处理。

图27示出在第三实例中的游戏空间实例。图27示出作为操作目标的旋转或沿着弧形移动的虚拟相机81。在图27中，参考数字81表示虚拟相机的移动前位置和方向，且参考数字81’表示虚拟相机的移动后位置和方向。在图27中，设置表示在游戏空间中的位置的坐标系统(X-Y-Z坐标系统)。在这个坐标系统中，地面83平行于X轴和Z轴，且Y轴垂直于地面83。虚拟相机81根据旋转操作绕玩家所指定的游戏空间中的预定点沿弧形移动。具体地，虚拟相机81平行于X-Z平面沿弧形移动，而无需改变其Y轴坐标。虚拟相机81的方向被如此控制，以便于即使当虚拟相机沿弧形移动时，也不改变虚拟相机81的注意点。在第三实例中，由虚拟相机所执行的唯一运动是沿弧形移动。

接下来，将详细说明第三实例中的游戏处理。图28示出在第三实例中存储在主存储器13中的主要数据。对于游戏处理，图11中所示的操作状态数据56中的长度数据59并不是必要的，且没有被存储在主存储器13中。对于游戏处理，操作处理数据60中的距离数据63并不是必要的，且没有被存储在主存储器13中。图11中所示的操作目标数据64表示作为操作目标的虚拟相机的位置和姿态。即，姿态数据63表示虚拟相机的姿态，且位置数据56表示游戏空间中虚拟相机的位置。

在第三实例中，除了图11中所示的数据以外，主存储器13中还存储有对应的坐标组数据67。对应的坐标组数据67表示如此三维坐标组，其指示在游戏空间中对应于指示位置的位置。在第三实例中，除了图11中所示的数据以外，主存储器13中还存储有表示基准方向的基准方向数据68。“基准方向”是相对于从所拍图像所获得的方向作为基准的方向。当确定虚拟相机的旋转量时，使用基准方向，并且基于基准方向与当前方向(由方向数据57所表示的方向)之间的角差来确定虚拟相机的旋转量。在第三实例中，在游戏开始时由玩家设置基准方向。

图29是示例第三实例中的游戏处理流程的流程图。在图29中，与图12中所示游戏处理中的步骤基本上相同的步骤具有相同的步骤编号，并且将省略其详细说明。到图29中所示的流程图中处理开始为止的处理与图12中的情况相同。

第三实例中的游戏处理按如下执行。首先在步骤S50中，构建三维游戏空间。即，CPU 10构建三维游戏空间且将对象定位于游戏空间中。CPU 10还以预定观看方向将虚拟相机设置在游戏空间中的预定位置处。事先确定所述预定位置和预定观看方向。

接下来在步骤S51中，执行设置基准方向的处理。具体地，CPU 10通过显示等催促玩家执行设置基准方向的操作。据此，玩家以相对于指示方向的任意姿态抓持控制器7，并且执行设置基准方向的操作(例如，按压A按钮)。当执行了这个操作时，通过与步骤S16中的处理基本上相同的处理，基于当执行操作时所获得的所拍图像，CPU 10计算出基准方向。表示指示经计算基准方向的矢量的数据作为基准方向数据68被存储在主存储器13中。在第三实例中，在移动虚拟相机的处理(步骤S1至S3)之前，执行步骤S51中的这种处理。

在步骤S51之后，执行上述所说明的步骤S1中的处理，并且随后执行步骤S2中的操作状态计算处理。在第三实例中的操作状态计算处理中，不执行计算两个坐标组之间的距离的处理(步骤S19)。除了步骤S19以外，第三实例中的操作状态计算处理基本上与上述参考图12所说明的处理相同。

接下来，执行步骤S3中的移动处理。图30是示例第三实例中移动处理的详细流程的流程图。第三实例中的移动处理按如下执行。首先在步骤S52和S53中，确定虚拟相机绕其移动的中心点的位置。首先在步骤S52中，计算显示屏上的指示位置。用于计算指示位置(指示坐标组)的方法与上述针对步骤S46和S22所说明的方法相同。接下来在步骤S53中，计算对应于指示坐标组的对应坐标组。在这个实例中，对应坐标组的位置是虚拟相机绕其移动的中心位置。具体地，对应坐标组的位置可以是显示在显示屏上指示位置处的目标(例如，地面)在游戏空间中存在的三维位置，或可以是基于显示屏上指示位置和预定深度方向(虚拟相机的观看方向)所设置的三维位置。有关在步骤S53中所计算的对应坐标组的数据作为对应坐标组数据67被存储在主存储器13中。步骤S52和S53中的处理对应于上述所说明的步骤S22。

在步骤S54至S56中，执行在根据控制器7绕指示方向的旋转而计算出的方向上旋转虚拟相机(即，在步骤S16所计算的方向上旋转虚拟相机)的处理。步骤S54至S56的处理对应于图2中所示的步骤S21中的处理。以下将说明第三步骤中在步骤S21中的具体处理。

首先在步骤S54中，CPU 10计算出在步骤S16中所计算的方向与基准方向所形成的角(角差)。具体地，CPU 10计算出由存储在主存储器13上的基准方向数据67所表示的矢量与由操作状态数据56中的方向数据57所表示的矢量之间所形成的角。所获得的角θ’被表示在例如-180°＜θ’≤180°的范围内。有关所计算的角差的数据作为方向处理数据61被存储在主存储器13上。

接下来在步骤S55中，CPU 10根据步骤S54中所计算的角来确定虚拟相机的旋转量(图27中所示的旋转角θ)。例如，虚拟相机的旋转量可以是所计算的角，或可通过将所计算的角乘以常数而获得。作为操作目标的虚拟相机可被设置成仅当所述角是预定值或较大时才得到旋转。与所计算的角具有负值时相比，当所计算的角具有正值时，CPU 10在不同的方向上旋转虚拟相机。

接下来在步骤S56中，计算出虚拟相机的旋转后位置和姿态。具体地，CPU 10计算出在使虚拟相机绕步骤S52中所确定的中心位置(对应坐标组的位置)旋转了步骤S55中所确定的旋转量之后的虚拟相机的位置。如上所说明，虚拟相机的方向得到如此控制，以便于注意点较旋转前没有变化。表示在步骤S56中所计算的虚拟相机位置的数据作为位置数据66被存储在主存储器13中。表示在步骤S56中所计算的虚拟相机姿态的数据作为姿态数据65被存储在主存储器13中。在步骤S56之后，CPU 10终止移动处理。

在步骤S4中，通过使用已经在步骤S3中被移动的虚拟相机的位置和姿态(观看方向)来执行显示处理。即，产生从移动后的虚拟相机所看到的游戏空间的图像，并且所产生的图像被显示在显示屏上。步骤S5中的处理基本上与上述参考图12所说明的处理相同。

如上所说明，在第三实例中，可利用从所拍图像获得的方向(在步骤S16中所计算的方向)来旋转操作目标，或可利用从所拍图像获得的方向与基准方向之间的角差来旋转。通过执行位置指定操作，可由玩家指定旋转中心。在其它的实施例中，虚拟相机的注意点可以是旋转中心。可将虚拟相机的方向如此移动，以便对应于指示坐标组的对应坐标组是注意点，在此情况下使虚拟相机绕作为旋转中心的注意点沿弧形移动，而同时注意点被固定。在这种情况下，可同时设置虚拟相机的方向和注意点。可替选地，根据角差可仅改变虚拟相机的姿态(方向)，而不改变虚拟相机的位置。

在第三实例中，虚拟相机基于角差而旋转。甚至当出现在游戏空间中的对象是操作目标的情况下，可使对象基于角差而旋转。例如，在第一和第二实例中所说明的对象(玩家对象71和钥匙76)可基于角差而得到旋转。可通过使用从所拍图像本身所获得的方向，而不是角差，来旋转虚拟相机。

在其它的实施例中，出现在游戏空间中的对象可被设置为操作目标，且被平移到对应坐标组的位置，以及在由方向数据57所表示的方向上旋转。

在第三实例中，由方向数据57所表示的方向与基准方向之间的差被计算为角差。可替选地，由方向数据57所表示的矢量与表示基准方向的矢量之间的差可被计算为矢量。可使用所计算矢量的预定分量值，而不是角差。因而，可以减轻计算角差的处理成本，而同时允许基于控制器7的倾斜度来执行控制。

(第四实例)

图31示出在第四实例中的游戏屏的实例。图31示出其中玩家可以在游戏空间中打开门的游戏场景。在图31中，构建了三维游戏空间，并且两个门85和86被置于游戏空间中。门85具有门把手85a，且门86具有门把手86a。在这个实例中，两个门把手85a和86a是对象，其每一个可以是操作目标。

在显示屏上，显示了由玩家可移动的指针87。玩家操作控制器7来移动指针87。指针87被显示在指示位置处。玩家可以使用指针87来指定要设置为操作目标的对象(门把手85a或86a)。在这个实例中，由指针87所指定的对象可以是旋转操作的操作目标。

接下来，将详细说明第四实例中的游戏处理。在第四实例中，在游戏开始时操作目标数据64并没有被存储在主存储器13中。在第四实例中，可以是操作目标的门把手仅可旋转而并不移动，并且因此操作目标数据64并不包括位置数据66。在这个实例中，对于游戏处理，在图11中所示的操作状态数据56中的长度数据59并不是必要的，且没有被存储在主存储器13中。对于游戏处理，图11中所示的操作处理数据60中的方向处理数据61和距离数据63并不是必要的，且没有被存储在主存储器13中。

图32是示例第四实例中的游戏处理流程的流程图。在图32中，与图12中所示的游戏处理中的步骤基本上相同的步骤具有相同的步骤编号，并且将省略其详细说明。到图32中所示的流程图中的处理开始为止的处理与图12中的情况相同。

第四实例中的游戏处理按如下执行。首先在步骤S61中，执行初始处理。在初始处理中，CPU 10显示处于初始状态的游戏屏。即，构建了三维游戏空间，并且门85和86等被置于其中。指针87被显示在显示屏上的预定位置处。

在步骤S61之后，执行上述所说明的步骤S1中的处理，且然后执行步骤S2中的操作状态计算处理。在第四实例中的操作状态计算处理中，并不执行计算两个坐标组之间的距离的处理(步骤S19)。除了步骤S19以外，第四实例中的操作状态计算处理基本上与上述参考图12所说明的处理相同。

在第四实例中，在步骤S2之后，执行步骤S62中的处理。在步骤S62中，计算出指示位置。步骤S62中的处理基本上与步骤S46中的处理相同。有关表示指示位置的坐标组(指示坐标组)的数据作为指示坐标组数据62被存储在主存储器13中。接下来在步骤S63中，根据指示坐标组来更新指针87的位置。将指针87的位置确定为指示坐标组的位置。

在步骤S64中，确定位置在步骤S63中得到更新的指针87是否指定了可以是操作目标的对象(门把手85a或86a)。即，确定由指针87所指示的位置是否是门把手85a或86a的显示位置(即，是否指针87处在与门把手85a或86a显示位置的预定范围内)。当在步骤S64中确定指针87指定了对象时，则执行步骤S65中的处理。当在步骤S64中确定指针87并没有指定对象时，则跳过步骤S65和S3中的处理且执行步骤S4中的处理。

在步骤S65中，在步骤S64中确定为由指针87指定的对象被设置为操作目标。具体地，表示如此对象的姿态的数据作为操作目标数据64中的姿态数据65被存储在主存储器13中。

在步骤S3中，执行移动处理。在第四实例中的移动处理中，如上所说明，执行如此处理，即在根据控制器7绕作为轴的指示方向(绕在步骤S16中所计算的方向)旋转而计算的方向上旋转操作目标(步骤S21)。在第四实例中，操作目标是所述对象，即由指针87所指定的门把手，其姿态作为操作目标数据64被存储在主存储器13中。

在步骤S4中，执行显示处理。具体地，将指针87显示在更新于步骤S63中的位置上。在执行步骤S3中的处理的情况下，将门把手85a或86a显示成被旋转。接下来在步骤S66中，确定门把手85a或86a中的任意一个是否采取预定的姿态。这个确定基本上与第二实例中步骤S43中的处理相同。当在步骤S66中确定门把手85a或86a中的任意一个采取预定的姿态时，执行步骤S67中的处理。当在步骤S66中确定门把手85a和门把手86a两者都未采取预定的姿态时，则处理返回到步骤S1并且重复上述所说明的处理。在步骤S67中，具有采取预定姿态的门把手的门在显示屏上显示为被打开。

如上所说明，在第四实例中，待由玩家旋转的操作目标并不局限于预定对象，且可以是由玩家所指定的对象。可替选地，可使用控制器7的指示位置来指定作为操作目标的对象。

在第四实例中，由控制器7指定显示屏上的位置，以便将指针移动到该位置，并且因此作为操作目标的门把手被选择。在其它的实施例中，任何方法可用于指定在显示屏上的位置。例如，可通过提供在控制器7上的十字键来移动指针。

在第四实例中，指针87被设置在显示屏上并且在显示屏的二维平面上移动。在其它实施例中，指针87可在三维游戏空间中移动。例如，以与针对第三实例中的虚拟相机相同的方式，可将指针87在三维游戏空间中移动。可将门把手设置成仅当指针87在Z轴方向上的位置与门把手在Z轴方向的位置匹配时(或当两个位置之间的距离处于预定距离之内时)才可旋转。在这种情况下，CPU 10确定是否在指针87的坐标组的Z轴方向位置处存在可以作为操作目标的任何对象(门把手)。当确定存在对象时，将该对象设置为操作目标。

(其它实例)

本发明可用于上述所说明以外的各种游戏。例如，本发明可应用于竞赛游戏。具体地，玩家所操作的赛车被设置为操作目标，且通过根据控制器绕作为轴的指示方向的旋转来旋转赛车，以便改变从上方所看到的赛车的方向。即，赛车的驱动方向得到改变。因而，赛车如图17A或图17C所示旋转。通过旋转控制器7，玩家可以改变赛车的驱动方向，好像他/她正在转动实际汽车的方向盘。玩家可以直觉地操作赛车。

在以上描述中，根据本发明的信息处理系统和程序作为游戏系统和游戏程序而得到实现。本发明并不局限于用在游戏领域，且适用于使用如下输入设备的任何信息处理系统：该输入设备用于通过使用所拍图像来确定输入设备本身的位置或方向。

本发明提供了使用由用户在抓持在他/她手中的同时使用的输入设备的信息处理系统的新颖操作，且适用于例如游戏设备或游戏程序。

虽然已经对本发明加以详细描述，但是以上描述在所有方面均是示例性的而不是限制性的。应理解可以设计众多其它的修改和变化，而不偏离本发明的范围。

Claims (111)

1.一种信息处理设备，其用于接收来自包括用于拍摄成像目标图像的成像装置的操作设备的操作数据，以及用于在显示器设备上显示通过使用所述操作数据对预定操作目标执行计算处理所获得的虚拟空间，所述信息处理设备包括：

获得装置，用于将由操作设备的成像装置拍摄的所拍图像获得为操作数据；

矢量计算装置，用于通过使用成像目标在所拍图像中的位置来计算二维矢量；以及

第一旋转装置，用于根据二维矢量的计算值来旋转操作目标；以及

显示装置，用于在显示设备的显示区域上显示根据通过第一旋转装置的操作目标旋转而变化的虚拟空间。

2.根据权利要求1所述的信息处理设备，其中所述矢量计算装置包括：

第一计算装置，用于计算成像目标图像中的两个预定点在对应于所拍图像的坐标系统中的坐标组；以及

第二计算装置，用于计算连接所述两个预定点的坐标组的二维矢量。

3.根据权利要求2所述的信息处理设备，进一步包括指示坐标组计算装置，用于计算对应于显示区域上一位置的预定指示坐标组，所述位置对应于所述两个预定点之间的中间点的坐标组，

其中所述第一旋转装置通过使用所述二维矢量和所述指示坐标组的计算来旋转操作目标。

4.根据权利要求3所述的信息处理设备，其中在由成像装置所拍摄的图像绕作为轴的图像中心旋转且二维矢量通过该旋转而指向某一方向的情况下，所述指示坐标组计算装置计算对应于显示区域上所述位置的指示坐标组，所述位置对应于成像目标的图像位置。

5.根据权利要求3所述的信息处理设备，其中

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括三维指示坐标组设置装置，其用于计算在虚拟空间中对应于由指示坐标组计算装置所计算的指示坐标组的三维坐标组，以及将所述三维坐标组设置为三维指示坐标组；以及

所述第一旋转装置通过使用所述二维矢量和所述三维指示坐标组的计算在三维空间中旋转操作目标。

6.根据权利要求5所述的信息处理设备，其中：

所述信息处理设备进一步包括对象定位装置，其用于将作为操作目标的对象定位于虚拟空间中；并且

所述第一旋转装置包括：

对象移动装置，用于将对象移动到由三维指示坐标组设置装置所计算的三维坐标组；以及

用于旋转所述对象的装置。

7.根据权利要求5所述的信息处理设备，其中：

所述信息处理设备进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中；并且

所述第一旋转装置包括：

中心坐标组设置装置，用于将由三维指示坐标组设置装置所计算的三维坐标组设置为旋转中心坐标组；以及

用于在三维空间中绕作为旋转中心的中心坐标组旋转所述对象的装置。

8.根据权利要求5所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括虚拟相机设置装置，用于将虚拟相机设置为在虚拟空间中的预定位置处指向预定方向；并且

第一旋转装置绕由三维指示坐标组设置装置所计算的作为旋转中心的三维坐标组来旋转作为操作目标的虚拟相机。

9.根据权利要求3所述的信息处理设备，进一步包括对象定位装置，用于将至少一个对象定位于虚拟空间中，

其中所述第一旋转装置包括：

确定装置，其用于确定所述至少一个对象中的任何一个是否显示在对应于指示坐标组的显示区域上的位置；

操作目标设置装置，其用于当确定所述至少一个对象之一显示在对应于指示坐标组的位置时，将所述一个对象设置为操作目标，以及

用于旋转由操作目标设置装置所设置的所述一个对象的装置。

10.根据权利要求3所述的信息处理设备，进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中，

其中所述第一旋转装置包括：

对象移动装置，用于移动所述对象，以便于使其显示在由指示坐标组计算装置所计算的指示坐标组的位置；以及

用于旋转所述对象的装置。

11.根据权利要求3所述的信息处理设备，进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中，

其中所述第一旋转装置包括：

中心坐标组设置装置，用于将由指示坐标组计算装置所计算的指示坐标组设置为旋转中心坐标组；以及

用于绕作为旋转中心的中心坐标组旋转所述对象的装置。

12.根据权利要求2所述的信息处理设备，进一步包括指示坐标组计算装置，用于将对应于显示区域上一位置的预定指示坐标组设置为指示坐标组，

其中所述第一旋转装置通过使用所述二维矢量和所述指示坐标组的计算来旋转操作目标。

13.根据权利要求2所述的信息处理设备，进一步包括长度计算装置，用于计算表示所述两个预定点的坐标组之间的距离长度的数据；以及

所述第一旋转装置通过使用所述二维矢量和由所述长度计算装置所计算的数据的计算来旋转操作目标。

14.根据权利要求13所述的信息处理设备，其中所述第一旋转装置包括：

用于根据由所述长度计算装置所计算的数据，计算表示成像装置与成像目标之间距离的距离数据的装置；以及

通过使用所述二维矢量和所述距离数据的计算来旋转操作目标的装置。

15.根据权利要求14所述的信息处理设备，其中

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括对象定位装置，用于将至少一个对象定位于虚拟空间中；并且

所述第一旋转装置包括：

深度设置装置，用于确定在虚拟空间的深度方向上与所述距离数据对应的坐标；

确定装置，用于确定在由深度设置装置所计算的深度方向上的坐标的位置是否存在所述至少一个对象中的任何一个；以及

操作目标设置装置，用于当所述确定装置确定存在所述至少一个对象之一时，将所述一个对象设置为操作目标。

16.根据权利要求14所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；并且

所述第一旋转装置包括：

深度设置装置，用于确定在虚拟空间的深度方向上与所述距离数据对应的坐标；

移动装置，用于将在深度方向上的操作目标的位置移动到由所述深度设置装置所计算的深度方向上的坐标；以及

用于根据所述二维矢量来旋转操作目标的装置。

17.根据权利要求1所述的信息处理设备，进一步包括用于计算对应于显示区域上一位置的预定指示坐标组的指示坐标组计算装置，所述位置对应于成像目标在由所述获得装置获得的所拍图像中的图像位置；以及

所述第一旋转装置通过使用所述二维矢量和所述指示坐标组的计算来旋转操作目标。

18.根据权利要求17所述的信息处理设备，其中在由成像装置所拍摄的图像绕作为轴的图像中心旋转且二维矢量通过该旋转而指向某一方向的情况下，所述指示坐标组计算装置计算对应于显示区域上所述位置的指示坐标组，所述位置对应于成像目标的图像位置。

19.根据权利要求17所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括三维指示坐标组设置装置，用于计算虚拟空间中对应于由所述指示坐标组计算装置所计算的指示坐标组的三维坐标组，并且将所述三维坐标组设置为三维指示坐标组；以及

所述第一旋转装置通过使用所述二维矢量和所述三维指示坐标组的计算在三维空间中旋转操作目标。

20.根据权利要求19所述的信息处理设备，其中：

所述信息处理设备进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中，并且

所述第一旋转装置包括：

对象移动装置，用于将所述对象移动到由所述三维指示坐标组设置装置所计算的三维坐标组处；以及

用于旋转所述对象的装置。

21.根据权利要求19所述的信息处理设备，其中：

所述信息处理设备进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中；并且

所述第一旋转装置包括：

中心坐标组设置装置，用于将由所述三维指示坐标组设置装置所计算的三维指示坐标组设置为旋转中心坐标组；以及

用于在三维空间中绕作为旋转中心的所述中心坐标组来旋转对象的装置。

22.根据权利要求19所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括虚拟相机设置装置，用于将虚拟相机设置为在虚拟空间中的预定位置处指向预定方向；以及

所述第一旋转装置绕由三维指示坐标组设置装置所计算的作为旋转中心的三维坐标组来旋转作为操作目标的虚拟相机。

23.根据权利要求17所述的信息处理设备，进一步包括对象定位装置，用于将至少一个对象定位于虚拟空间中，

其中所述第一旋转装置包括：

确定装置，其用于确定所述至少一个对象中的任何一个是否显示在对应于指示坐标组的显示区域上的位置；

操作目标设置装置，其用于当确定所述至少一个对象之一显示在对应于指示坐标组的位置时，将所述一个对象设置为操作目标，以及

用于旋转由操作目标设置装置所设置的所述一个对象的装置。

24.根据权利要求17所述的信息处理设备，进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中，

其中所述第一旋转装置包括：

对象移动装置，用于移动所述对象，以便于使其显示在由所述指示坐标组计算装置所计算的指示坐标组的位置；以及

用于旋转所述对象的装置。

25.根据权利要求17所述的信息处理设备，进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中，

其中所述第一旋转装置包括：

中心坐标组设置装置，用于将由所述指示坐标组计算装置所计算的指示坐标组设置为旋转中心坐标组；以及

用于绕作为旋转中心的中心坐标组旋转所述对象的装置。

26.根据权利要求1所述的信息处理设备，进一步包括指示坐标组计算装置，用于将对应于显示区域上一位置的预定指示坐标组设置为指示坐标组，

其中所述第一旋转装置通过使用所述二维矢量和所述指示坐标组的计算来旋转操作目标。

27.根据权利要求1所述的信息处理设备，进一步包括对象定位装置，用于将至少一个对象定位于虚拟空间中，

其中所述第一旋转装置旋转作为操作目标的位于虚拟空间中的所述至少一个对象中的任何一个。

28.根据权利要求1所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括虚拟相机设置装置，用于将虚拟相机设置为在虚拟空间中的预定位置处指向预定方向；

所述第一旋转装置旋转作为操作目标的所述虚拟相机；以及

所述显示装置在显示区域上显示从虚拟相机所看到的虚拟空间的图像。

29.根据权利要求28所述的信息处理设备，其中所述第一旋转装置绕作为旋转中心的虚拟相机注意点的位置来旋转虚拟相机。

30.根据权利要求28所述的信息处理设备，其中所述第一旋转装置如此旋转虚拟相机，使得虚拟相机的观看方向发生变化。

31.根据权利要求1所述的信息处理设备，其中所述第一旋转装置通过旋转来改变操作目标的姿态。

32.根据权利要求31所述的信息处理设备，其中所述第一旋转装置根据所计算的二维矢量方向来确定操作目标的姿态或位置。

33.根据权利要求1所述的信息处理设备，其中通过绕作为旋转中心的预定位置来旋转操作目标，所述第一旋转装置移动操作目标的位置。

34.根据权利要求33所述的信息处理设备，其中所述第一旋转装置根据所计算的二维矢量方向来确定操作目标的姿态或位置。

35.根据权利要求1所述的信息处理设备，其中所述第一旋转装置包括：

确定装置，用于确定二维矢量的方向是否已经超过预定范围；以及

用于当所述确定装置确定二维矢量的方向已经超过预定范围时，旋转操作目标的装置。

36.根据权利要求1所述的信息处理设备，进一步包括倾斜度计算装置，用于将二维矢量的方向与预定基准方向之间的差获得为角度或矢量，

其中所述第一旋转装置根据由所述倾斜度计算装置所计算的差来旋转操作目标。

37.根据权利要求36所述的信息处理设备，其中所述第一旋转装置包括：

旋转量设置装置，用于根据由所述倾斜度计算装置所计算的差的量值来设置旋转量；以及

用于将操作目标旋转所述旋转量的装置。

38.根据权利要求36所述的信息处理设备，其中所述第一旋转装置包括：

确定装置，用于确定由所述倾斜度计算装置所计算的差是否已经超过预定值；以及

用于当由所述确定装置确定所述差已经超过预定值时，旋转操作目标的装置。

39.根据权利要求1所述的信息处理设备，进一步包括尺寸计算装置，用于根据操作数据来计算表示成像目标在由获得装置获得的所拍图像中的图像尺寸的数据，

其中所述第一旋转装置通过使用所述二维矢量和由所述尺寸计算装置所计算的数据的计算来旋转操作目标。

40.根据权利要求39所述的信息处理设备，其中所述第一旋转装置包括：

用于根据由所述尺寸计算装置所计算的数据来计算距离数据的装置，所述距离数据表示成像装置与成像目标之间的距离；以及

通过通过使用所述二维矢量和所述距离数据的计算来旋转操作目标的装置。

41.根据权利要求40所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括对象定位装置，用于将至少一个对象定位于虚拟空间中，并且

所述第一旋转装置包括：

深度设置装置，用于确定在虚拟空间深度方向上对应于所述距离数据的坐标；

确定装置，用于确定在由所述深度设置装置所计算的深度方向上的坐标的位置是否存在所述至少一个对象中的任何一个；以及

操作目标设置装置，其用于当所述确定装置确定存在所述至少一个对象之一时，将所述一个对象设置为操作目标。

42.根据权利要求40所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；并且

所述第一旋转装置包括：

深度设置装置，用于确定在虚拟空间的深度方向上对应于所述距离数据的坐标；

移动装置，用于将在深度方向上的操作目标的位置移动到由所述深度设置装置所计算的深度方向上的坐标处；以及

根据所述二维矢量来旋转操作目标的装置。

43.根据权利要求1所述的信息处理设备，进一步包括用于计算对应于成像装置与成像目标之间距离的数据的距离计算装置；以及

所述第一旋转装置通过使用所述二维矢量和由距离计算装置所计算的数据的计算来旋转操作目标。

44.根据权利要求1所述的信息处理设备，其中：

所述操作设备包括用于确定操作设备倾斜度的倾斜度确定装置；并且

所述信息处理设备进一步包括：

确定装置，用于确定是否可以由矢量计算装置根据所拍图像计算出二维矢量；以及

第二旋转装置，其用于当所述确定装置确定不能计算出二维矢量时，根据由倾斜度确定装置所确定的倾斜度来旋转操作目标。

45.一种信息处理设备，其用于接收来自操作设备的操作数据，并且在显示设备上显示通过使用所述操作数据对预定操作目标进行计算处理而获得的虚拟空间，其中所述操作设备包括用于拍摄成像目标的图像的成像装置、以及第一计算装置，其用于计算在被包括在由所述成像装置拍摄的所拍图像中的成像目标图像中的两个预定点的坐标组，所述信息处理设备包括：

获得装置，用于将所述两个预定点的坐标组获得为操作数据；

矢量计算装置，用于计算连接所述两个预定点的坐标组的二维矢量；

第一旋转装置，用于根据二维矢量的计算值来旋转操作目标；以及

显示装置，用于在显示设备的显示区域上显示根据通过所述第一旋转装置的操作目标旋转而变化的虚拟空间。

46.根据权利要求45所述的信息处理设备，进一步包括指示坐标组计算装置，其用于计算对应于显示区域上一位置的预定指示坐标组，所述位置对应于所述两个预定点之间的中间点的坐标组，

其中所述第一旋转装置通过使用所述二维矢量和所述指示坐标组的计算来旋转操作目标。

47.根据权利要求46所述的信息处理设备，其中在由成像装置所拍摄的图像绕作为轴的图像中心旋转且二维矢量通过该旋转而指向某一方向的情况下，所述指示坐标组计算装置计算对应于显示区域上所述位置的指示坐标组，所述位置对应于成像目标的图像位置。

48.根据权利要求46所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括三维指示坐标组设置装置，用于计算虚拟空间中对应于由所述指示坐标组计算装置所计算的指示坐标组的三维坐标组，并且将所述三维坐标组设置为三维指示坐标组；以及

所述第一旋转装置通过使用所述二维矢量和所述三维指示坐标组的计算在三维空间中旋转操作目标。

49.根据权利要求48所述的信息处理设备，其中：

所述信息处理设备进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中；并且

所述第一旋转装置包括：

对象移动装置，用于将所述对象移动到由所述三维指示坐标组设置装置所计算的三维坐标组处；以及

用于旋转所述对象的装置。

50.根据权利要求48所述的信息处理设备，其中：

所述信息处理设备进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中；并且

所述第一旋转装置包括：

中心坐标组设置装置，用于将由所述三维指示坐标组计算装置所计算的三维指示坐标组设置为旋转中心坐标组；以及

用于在三维空间中绕作为旋转中心的所述中心坐标组来旋转对象的装置。

51.根据权利要求48所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括虚拟相机设置装置，用于将虚拟相机设置为在虚拟空间中的预定位置处指向预定方向；以及

所述第一旋转装置绕由三维指示坐标组设置装置所计算的作为旋转中心的三维坐标组来旋转作为操作目标的虚拟相机。

52.根据权利要求46所述的信息处理设备，进一步包括对象定位装置，用于将至少一个对象定位于虚拟空间中，

其中所述第一旋转装置包括：

确定装置，其用于确定所述至少一个对象中的任何一个是否显示在对应于指示坐标组的显示区域上的位置；

操作目标设置装置，其用于当确定所述至少一个对象之一显示在对应于指示坐标组的位置时，将所述一个对象设置为操作目标，以及

用于旋转由操作目标设置装置所设置的所述一个对象的装置。

53.根据权利要求46所述的信息处理设备，进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中，

其中所述第一旋转装置包括：

对象移动装置，用于移动所述对象，以便于使其显示在由所述指示坐标组计算装置所计算的指示坐标组的位置；以及

用于旋转所述对象的装置。

54.根据权利要求46所述的信息处理设备，进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中，

其中所述第一旋转装置包括：

中心坐标组设置装置，用于将由所述指示坐标组计算装置所计算的指示坐标组设置为旋转中心坐标组；以及

用于绕作为旋转中心的所述中心坐标组来旋转对象的装置。

55.根据权利要求45所述的信息处理设备，进一步包括用于将对应于显示区域上一位置的预定指示坐标组设置为指示坐标组的指示坐标组计算装置，

其中所述第一旋转装置通过使用所述二维矢量和所述指示坐标组的计算来旋转操作目标。

56.根据权利要求45所述的信息处理设备，进一步包括对象定位装置，用于将至少一个对象定位于虚拟空间中，

其中所述旋转装置旋转作为操作目标的位于虚拟空间中的所述至少一个对象中的任何一个。

57.根据权利要求45所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括虚拟相机设置装置，用于将虚拟相机设置为在虚拟空间中的预定位置处指向预定方向；

所述第一旋转装置旋转作为操作目标的虚拟相机；以及

所述显示装置在显示区域上显示从虚拟相机看到的虚拟空间的图像。

58.根据权利要求57所述的信息处理设备，其中所述第一旋转装置绕作为旋转中心的虚拟相机注意点的位置来旋转虚拟相机。

59.根据权利要求57所述的信息处理设备，其中所述第一旋转装置如此旋转虚拟相机，使得虚拟相机的观看方向发生变化。

60.根据权利要求45所述的信息处理设备，其中所述第一旋转装置通过旋转来改变操作目标的姿态。

61.根据权利要求60所述的信息处理设备，其中所述第一旋转装置根据所计算的二维矢量方向来确定操作目标的姿态或位置。

62.根据权利要求45所述的信息处理设备，其中通过绕作为旋转中心的预定位置来旋转操作目标，所述第一旋转装置移动操作目标的位置。

63.根据权利要求62所述的信息处理设备，其中所述第一旋转装置根据所计算的二维矢量方向来确定操作目标的姿态或位置。

64.根据权利要求45所述的信息处理设备，其中所述第一旋转装置包括：

确定装置，用于确定二维矢量的方向是否已经超过预定范围；以及

用于当所述确定装置确定二维矢量的方向已经超过预定范围时，旋转操作目标的装置。

65.根据权利要求45所述的信息处理设备，进一步包括用于二维矢量方向与预定基准方向之间的差获得为角度或矢量的的倾斜度计算装置，

其中所述第一旋转装置根据由所述倾斜度计算装置所计算的差来旋转操作目标。

66.根据权利要求65所述的信息处理设备，其中所述第一旋转装置包括：

旋转量设置装置，用于根据由所述倾斜度计算装置所计算的差的量值来设置旋转量；以及

用于将操作目标旋转所述旋转量的装置。

67.根据权利要求65所述的信息处理设备，其中所述第一旋转装置包括：

确定装置，用于确定由所述倾斜度计算装置所计算的差是否已经超过预定值；以及

用于当所述确定装置确定所述差已经超过预定值时，旋转操作目标的装置。

68.根据权利要求45所述的信息处理设备，进一步包括尺寸计算装置，用于根据操作数据来计算表示成像目标在由获得装置获得的所拍图像中的图像尺寸的数据，

其中所述第一旋转装置通过使用所述二维矢量和由所述尺寸计算装置所计算的数据的计算来旋转操作目标。

69.根据权利要求68所述的信息处理设备，其中所述第一旋转装置包括：

用于根据由所述尺寸计算装置所计算的数据来计算距离数据的装置，所述距离数据表示成像装置与成像目标之间的距离；以及

用于通过使用所述二维矢量和所述距离数据的计算来旋转操作目标的装置。

70.根据权利要求69所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括对象定位装置，用于将至少一个对象定位于虚拟空间中，并且

所述第一旋转装置包括：

深度设置装置，用于确定在虚拟空间深度方向上对应于所述距离数据的坐标；

确定装置，用于确定在由所述深度设置装置所计算的深度方向上的坐标的位置是否存在所述至少一个对象中的任何一个；以及

操作目标设置装置，其用于当所述确定装置确定存在所述至少一个对象之一时，将所述一个对象设置为操作目标。

71.根据权利要求69所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；并且

所述第一旋转装置包括：

深度设置装置，用于确定在虚拟空间的深度方向上对应于所述距离数据的坐标；

移动装置，用于将在深度方向上的操作目标的位置移动到由所述深度设置装置所计算的深度方向上的坐标处；以及

用于根据二维矢量来旋转操作目标的装置。

72.根据权利要求45所述的信息处理设备，进一步包括用于计算对应于成像装置与成像目标之间距离的数据的距离计算装置；以及

所述第一旋转装置通过使用所述二维矢量和由距离计算装置所计算的数据的计算来旋转操作目标。

73.根据权利要求45所述的信息处理设备，其中：

所述操作设备包括用于确定操作设备倾斜度的倾斜度确定装置；并且

所述信息处理设备进一步包括：

确定装置，用于确定是否可以由矢量计算装置根据所拍图像中计算出二维矢量；以及

第二旋转装置，其用于当所述确定装置确定不能计算出二维矢量时，根据由倾斜度确定装置所确定的倾斜度来旋转操作目标。

74.一种信息处理设备，其用于接收来自操作设备的操作数据，并且在显示设备上显示通过使用所述操作数据对预定操作目标进行计算处理而获得的虚拟空间，其中所述操作设备包括用于拍摄成像目标的图像的成像装置、以及矢量计算装置，其用于通过使用成像目标在由成像装置拍摄的所拍图像中的位置来计算二维矢量，所述信息处理设备包括：

获得装置，用于将所述二维矢量获得为操作数据；

第一旋转装置，用于根据二维矢量的所获得值来旋转操作目标；以及

显示装置，用于在显示设备的显示区域上显示根据通过所述第一旋转装置的操作目标旋转而变化的虚拟空间。

75.根据权利要求74所述的信息处理设备，其中：

所述操作数据进一步包括对应于成像目标图像位置的一个点的坐标组；

所述信息处理设备进一步包括指示坐标组设置装置，用于计算对应于显示区域上一位置的预定指示坐标组，所述位置对应于所述一个点的坐标组；以及

所述第一旋转装置通过使用所述二维矢量和所述指示坐标组的计算来旋转操作目标。

76.根据权利要求75所述的信息处理设备，其中在由成像装置所拍摄的图像绕作为轴的图像中心旋转且二维矢量通过该旋转而指向某一方向的情况下，所述指示坐标组计算装置计算对应于显示区域上所述位置的指示坐标组，所述位置对应于成像目标的图像位置。

77.根据权利要求75所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括三维指示坐标组设置装置，用于计算虚拟空间中对应于由所述指示坐标组计算装置所计算的指示坐标组的三维坐标组，并且将所述三维坐标组设置为三维指示坐标组；以及

所述第一旋转装置通过使用所述二维矢量和所述三维指示坐标组的计算在三维空间中旋转操作目标。

78.根据权利要求77所述的信息处理设备，其中：

所述信息处理设备进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中；并且

所述第一旋转装置包括：

对象移动装置，用于将所述对象移动到由所述三维指示坐标组设置装置所计算的三维坐标组处；以及

用于旋转所述对象的装置。

79.根据权利要求77所述的信息处理设备，其中：

所述信息处理设备进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中；并且

所述第一旋转装置包括：

中心坐标组设置装置，用于将由所述三维指示坐标组计算装置所计算的三维坐标组设置为旋转中心坐标组；以及

用于在三维空间中绕作为旋转中心的所述中心坐标组来旋转对象的装置。

80.根据权利要求77所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括虚拟相机设置装置，用于将虚拟相机设置为在虚拟空间中的预定位置处指向预定方向；以及

所述第一旋转装置绕由三维指示坐标组设置装置所计算的作为旋转中心的三维坐标组来旋转作为操作目标的虚拟相机。

81.根据权利要求75所述的信息处理设备，进一步包括对象定位装置，用于将至少一个对象定位于虚拟空间中，

其中所述第一旋转装置包括：

确定装置，其用于确定所述至少一个对象中的任何一个是否显示在对应于指示坐标组的显示区域上的位置；

操作目标设置装置，其用于当确定所述至少一个对象之一显示在对应于指示坐标组的位置时，将所述一个对象设置为操作目标；以及

用于旋转由操作目标设置装置所设置的所述一个对象的装置。

82.根据权利要求75所述的信息处理设备，进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中，

其中所述第一旋转装置包括：

对象移动装置，用于移动所述对象，以便于使其显示在由所述指示坐标组计算装置所计算的指示坐标组的位置；以及

用于旋转所述对象的装置。

83.根据权利要求75所述的信息处理设备，进一步包括对象定位装置，用于将作为操作目标的对象定位于虚拟空间中，

其中所述第一旋转装置包括：

中心坐标组设置装置，用于将由所述指示坐标组计算装置所计算的指示坐标组设置为旋转中心坐标组；以及

用于绕作为旋转中心的所述中心坐标组来旋转对象的装置。

84.根据权利要求74所述的信息处理设备，进一步包括用于将对应于显示区域上一位置的预定指示坐标组设置为指示坐标组的指示坐标组计算装置，

其中所述第一旋转装置通过使用所述二维矢量和所述指示坐标组的计算来旋转操作目标。

85.根据权利要求74所述的信息处理设备，进一步包括对象定位装置，用于将至少一个对象定位于虚拟空间中，

其中所述第一旋转装置旋转作为操作目标的位于虚拟空间中的所述至少一个对象中的任何一个。

86.根据权利要求74所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括虚拟相机设置装置，用于将虚拟相机设置为在虚拟空间中的预定位置处指向预定方向；

所述第一旋转装置旋转作为操作目标的虚拟相机；以及

所述显示装置在显示区域上显示从虚拟相机看到的虚拟空间的图像。

87.根据权利要求86所述的信息处理设备，其中所述第一旋转装置绕作为旋转中心的虚拟相机注意点的位置来旋转虚拟相机。

88.根据权利要求86所述的信息处理设备，其中所述第一旋转装置如此旋转虚拟相机，使得虚拟相机的观看方向发生变化。

89.根据权利要求74所述的信息处理设备，其中所述第一旋转装置通过旋转来改变操作目标的姿态。

90.根据权利要求89所述的信息处理设备，其中所述第一旋转装置根据所计算的二维矢量方向来确定操作目标的姿态或位置。

91.根据权利要求74所述的信息处理设备，其中通过绕作为旋转中心的预定位置来旋转操作目标，所述第一旋转装置移动操作目标的位置。

92.根据权利要求91所述的信息处理设备，其中所述第一旋转装置根据所计算的二维矢量方向来确定操作目标的姿态或位置。

93.根据权利要求74所述的信息处理设备，其中所述第一旋转装置包括：

确定装置，用于确定二维矢量的方向是否已经超过预定范围；以及

用于当所述确定装置确定二维矢量的方向已经超过预定范围时，旋转操作目标的装置。

94.根据权利要求74所述的信息处理设备，进一步包括用于将二维矢量方向与预定基准方向之间的差获得为角度或矢量的倾斜度计算装置，

其中所述第一旋转装置根据由所述倾斜度计算装置所计算的差来旋转操作目标。

95.根据权利要求94所述的信息处理设备，其中所述第一旋转装置包括：

旋转量设置装置，用于根据由所述倾斜度计算装置所计算的差的量值来设置旋转量；以及

用于将操作目标旋转所述旋转量的装置。

96.根据权利要求94所述的信息处理设备，其中所述第一旋转装置包括：

确定装置，用于确定由所述倾斜度计算装置所计算的差是否已经超过预定值；以及

用于当所述确定装置确定所述差已经超过预定值时，旋转操作目标的装置。

97.根据权利要求74所述的信息处理设备，其中

所述操作数据进一步包括如此数据，其表示在包括在由成像装置拍摄的所拍图像中的成像目标图像中的两个预定点的坐标组之间的距离长度；以及

所述第一旋转装置通过使用所述二维矢量和表示两个预定点的坐标组之间距离长度的数据的计算来旋转操作目标。

98.根据权利要求97所述的信息处理设备，其中所述第一旋转装置包括：

用于根据表示所述两个预定点的坐标组之间的距离长度的数据，计算表示成像装置与成像目标之间距离的距离数据的装置；以及

用于通过使用所述二维矢量和所述距离数据的计算来旋转操作目标的装置。

99.根据权利要求98所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括对象定位装置，用于将至少一个对象定位于虚拟空间中；并且

所述第一旋转装置包括：

深度设置装置，用于确定在虚拟空间的深度方向上与距离数据对应的坐标；

确定装置，用于确定在由深度设置装置所计算的深度方向上的坐标的位置是否存在所述至少一个对象中的任何一个；以及

操作目标设置装置，用于当所述确定装置确定存在所述至少一个对象之一时，将所述一个对象设置为操作目标。

100.根据权利要求98所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述第一旋转装置包括：

深度设置装置，用于确定在虚拟空间的深度方向上与所述距离数据对应的坐标；

移动装置，用于将在深度方向上的操作目标的位置移动到由所述深度设置装置所计算的深度方向上的坐标处；以及

用于根据二维矢量来旋转操作目标的装置。

101.根据权利要求74所述的信息处理设备，其中：

所述操作数据进一步包括表示成像装置和成像目标之间距离的距离数据；以及

所述第一旋转装置通过使用所述二维矢量和所述距离数据的计算来旋转操作目标。

102.根据权利要求101所述的信息处理设备，其中：

所述虚拟空间是虚拟三维空间；

所述信息处理设备进一步包括对象定位装置，用于将至少一个对象定位于虚拟空间中；并且

所述第一旋转装置包括：

深度设置装置，用于确定在虚拟空间的深度方向上与所述距离数据对应的坐标；

确定装置，用于确定在由深度设置装置所计算的深度方向上的坐标的位置是否存在所述至少一个对象中的任何一个；以及

操作目标设置装置，用于当所述确定装置确定存在所述至少一个对象之一时，将所述一个对象设置为操作目标。

103.根据权利要求101所述的信息处理设备，其中

所述虚拟空间是虚拟三维空间；并且

所述第一旋转装置包括：

深度设置装置，用于确定在虚拟空间的深度方向上与所述距离数据对应的坐标；

移动装置，用于将在深度方向上的操作目标的位置移动到由所述深度设置装置所计算的深度方向上的坐标处；以及

用于根据二维矢量来旋转操作目标的装置。

104.根据权利要求74所述的信息处理设备，进一步包括用于计算对应于成像装置与成像目标之间距离的数据的距离计算装置；以及

所述第一旋转装置通过使用所述二维矢量和由距离计算装置所计算的数据的计算来旋转操作目标。

105.根据权利要求74所述的信息处理设备，其中：

所述操作设备包括用于确定操作设备倾斜度的倾斜度确定装置；以及

所述信息处理设备进一步包括：

确定装置，用于确定是否可以由矢量计算装置根据所拍图像计算出二维矢量；以及

第二旋转装置，其用于当所述确定装置确定不能计算出二维矢量时，根据由倾斜度确定装置所确定的倾斜度来旋转操作目标。

106.一种由信息处理设备所执行的方法，所述信息处理设备用于接收来自包括用于拍摄成像目标图像的成像装置的操作设备的操作数据，以及用于在显示器设备上显示通过使用所述操作数据对预定操作目标执行计算处理所获得的虚拟空间，所述方法包括：

获得步骤，将由操作设备的成像装置拍摄的所拍图像获得为操作数据；

矢量计算步骤，通过使用成像目标在所拍图像中的位置来计算二维矢量；

第一旋转步骤，根据二维矢量的计算值来旋转操作目标；以及

显示步骤，在显示设备的显示区域上显示根据所述第一旋转步骤中的操作目标旋转而变化的虚拟空间。

107.一种由信息处理设备所执行的方法，所述信息处理设备用于接收来自操作设备的操作数据，并且在显示设备上显示通过使用所述操作数据对预定操作目标进行计算处理而获得的虚拟空间，其中所述操作设备包括用于拍摄成像目标的图像的成像装置、以及第一计算装置，其用于计算在被包括在由所述成像装置拍摄的所拍图像中的成像目标图像中的两个预定点的坐标组，所述方法包括：

获得步骤，将所述两个预定点的坐标组获得为操作数据；

矢量计算步骤，计算连接所述两个预定点的坐标组的二维矢量；

第一旋转步骤，根据二维矢量的计算值来旋转操作目标；以及

显示步骤，在显示设备的显示区域上显示根据所述旋转步骤中的操作目标旋转而变化的虚拟空间。

108.一种由信息处理设备所执行的方法，所述信息处理设备用于接收来自操作设备的操作数据，并且在显示设备上显示通过使用所述操作数据对预定操作目标进行计算处理而获得的虚拟空间，其中所述操作设备包括用于拍摄成像目标的图像的成像装置、以及矢量计算装置，其用于通过使用成像目标在由成像装置拍摄的所拍图像中的位置来计算二维矢量，所述方法包括：

获得步骤，将所述二维矢量获得为操作数据；

第一旋转步骤，根据所获得的二维矢量值来旋转操作目标；以及

显示步骤，在显示设备的显示区域上显示根据所述第一旋转步骤中的操作目标旋转而变化的虚拟空间。

109.一种由信息处理设备的计算机可执行的信息处理程序，所述信息处理设备用于接收来自包括用于拍摄成像目标图像的成像装置的操作设备的操作数据，以及用于在显示器设备上显示通过使用所述操作数据对预定操作目标执行计算处理所获得的虚拟空间，所述信息处理程序使所述计算机执行：

获得步骤，将由操作设备的成像装置拍摄的所拍图像获得为操作数据；

矢量计算步骤，通过使用成像目标在所拍图像中的位置来计算二维矢量；

第一旋转步骤，根据二维矢量的计算值来旋转操作目标；以及

显示步骤，在显示设备的显示区域上显示根据所述第一旋转步骤中的操作目标旋转而变化的虚拟空间。

110.一种由信息处理设备的计算机可执行的信息处理程序，所述信息处理设备用于接收来自操作设备的操作数据，并且在显示设备上显示通过使用所述操作数据对预定操作目标进行计算处理而获得的虚拟空间，其中所述操作设备包括用于拍摄成像目标的图像的成像装置、以及第一计算装置，其用于计算在被包括在由所述成像装置拍摄的所拍图像中的成像目标图像中的两个预定点的坐标组，所述信息处理程序使所述计算机执行：

获得步骤，将所述两个预定点的坐标组获得为操作数据；

矢量计算步骤，计算连接所述两个预定点的坐标组的二维矢量；

第一旋转步骤，根据二维矢量的计算值来旋转操作目标；以及

显示步骤，在显示设备的显示区域上显示根据所述第一旋转步骤中的操作目标旋转而变化的虚拟空间。

111.一种由信息处理设备的计算机可执行的信息处理程序，所述信息处理设备用于接收来自操作设备的操作数据，并且在显示设备上显示通过使用所述操作数据对预定操作目标进行计算处理而获得的虚拟空间，其中所述操作设备包括用于拍摄成像目标的图像的成像装置、以及矢量计算装置，其用于通过使用成像目标在由成像装置拍摄的所拍图像中的位置来计算二维矢量，所述信息处理程序使所述计算机执行：

获得步骤，将所述二维矢量获得为操作数据；

第一旋转步骤，根据所获得的二维矢量值来旋转操作目标；以及

显示步骤，在显示设备的显示区域上显示根据所述第一旋转步骤中的操作目标旋转而变化的虚拟空间。

Images