CN102600610A - 显示装置、游戏系统以及游戏处理方法 - Google Patents

Abstract

本发明提供一种能够提高对操作装置的操作的自由度的显示装置、游戏系统以及游戏处理方法。游戏系统包括安置型的游戏装置、操作装置以及便携式显示装置。操作装置通过无线向游戏装置发送操作数据，该操作数据表示对该操作装置进行的操作的数据。游戏装置从操作装置接收操作数据，根据操作数据执行游戏处理。并且，游戏装置将基于游戏处理依次生成的第一游戏图像通过无线依次发送到便携式显示装置。便携式显示装置从游戏装置依次接收第一游戏图像，并依次显示第一游戏图像。由此，能够使操作装置朝向任意的方向来使用操作装置，从而能够提高对操作装置的操作的自由度。

Description

显示装置、游戏系统以及游戏处理方法

技术领域

本发明涉及一种用于显示游戏图像等的、能够由用户拿着移动的便携式显示装置以及使用了该显示装置的游戏系统和游戏处理方法。

背景技术

以往，存在一种能够由玩家移动操作装置本身来进行游戏操作的游戏系统(例如参照专利文献1)。例如在专利文献1所记载的游戏系统中，通过利用操作装置所具备的摄像单元来拍摄标记装置并将基于拍摄到的图像(摄像图像)得到的信息用作游戏输入，从而能够进行移动操作装置本身的操作。具体地说，能够根据标记装置在摄像图像内的位置来判断操作装置的位置、姿势，因此在上述游戏系统中，获取该标记装置的位置来作为上述信息，进行与标记装置的位置相应的游戏处理。此外，在上述游戏系统中，标记装置的设置场所是任意的，但是使操作装置朝向显示游戏图像的画面的方向来使用会对用户来说较为舒适，因此通常将标记装置设置在显示装置的周围。

专利文献1：日本专利第4265814号说明书

发明内容

发明要解决的问题

如上所述，在上述游戏系统中，用户使操作装置朝向显示装置的方向来使用该操作装置。另外，在上述游戏系统中，一般来说，使用电视机这样的安置型且固定地设置的显示装置。因此，用户在要将摄像图像用作输入的情况下必须使操作装置始终朝向固定地设置的显示装置的方向来使用。即，在上述游戏系统中，能够使用操作装置的朝向有时是受限的，在对操作装置的操作的自由度上尚有改进的余地。

因此，本发明的目的在于提供一种能够提高对操作装置的操作的自由度的显示装置、游戏系统以及游戏处理方法。

用于解决问题的方案

为了解决上述问题，本发明采用下面的(1)～(14)的结构。

(1)本发明的一例是包括安置型的游戏装置、操作装置以及便携式显示装置的游戏系统。

游戏装置具备操作数据接收部、游戏处理部、游戏图像生成部以及游戏图像发送部。操作数据接收部从操作装置接收操作数据。游戏处理部根据操作数据执行游戏处理。游戏图像生成部基于游戏处理依次生成第一游戏图像。游戏图像发送部通过无线向便携式显示装置依次发送第一游戏图像。

操作装置具备操作数据发送部。操作数据发送部通过无线向游戏装置发送操作数据，该操作数据表示对该操作装置进行的操作。

便携式显示装置具备游戏图像接收部和显示部。游戏图像接收部从游戏装置依次接收第一游戏图像。显示部对第一游戏图像依次进行显示。

(2)游戏装置也可以还具备游戏图像压缩部，该游戏图像压缩部将第一游戏图像依次压缩来生成压缩图像数据，游戏图像发送部通过无线向便携式显示装置依次发送压缩图像数据，游戏图像接收部从游戏装置依次接收压缩图像数据，便携式显示装置还具备游戏图像解压缩部，该游戏图像解压缩部将压缩图像数据依次解压缩来得到第一游戏图像，显示部对通过解压缩得到的第一游戏图像依次进行显示。

(3)操作装置也可以还具备摄像部，该摄像部能够检测红外光，操作数据发送部通过无线向游戏装置发送包含表示摄像部的检测结果的数据的操作数据，便携式显示装置还具备红外发光部，该红外发光部能够发出红外光。

(4)操作装置也可以还具备惯性传感器和至少一个操作按钮。

上述“游戏装置”只要是执行游戏处理并基于游戏处理生成图像的信息处理装置，就可以是任意装置。上述游戏装置既可以是游戏专用的信息处理装置，也可以是如一般的个人计算机那样的多用途的信息处理装置。

上述“操作装置”除了具备上述结构以外，也可以还具备其它结构。例如，上述操作装置也可以还具备显示单元、声音输出单元。另外，上述“摄像部的检测结果”既可以是由摄像部拍摄到的图像本身，也可以是基于该图像得到的信息(例如后述的标记器坐标等)。

上述“便携式”意味着具有能够由用户手持移动或能够将配置位置变更为任意的位置的程度的大小。但是，“便携式显示装置”除了例如像后述的第一～第四游戏例那样在游戏中移动着使用以外，也可以例如像后述的第五游戏例那样在游戏中固定地(不移动地)配置来使用。

上述“游戏系统”只要包括游戏装置、操作装置以及便携式显示装置即可，既可以包括显示第二游戏图像的外部显示装置，也可以不包括该外部显示装置。即，既可以以不包括该外部显示装置的方式来提供游戏系统，也可以以包括该外部显示装置的方式来提供游戏系统。

根据上述(3)的结构，便携式显示装置具备红外发光部和显示部，并且，操作装置具备摄像部，根据摄像部的检测结果来执行游戏处理。因而，用户能够通过使操作装置的摄像部朝向便携式显示装置的红外发光部的方向来进行游戏操作。在此，显示装置是便携式装置，因此用户能够将显示装置配置在任意的位置上，由此能够使操作装置朝向任意的方向来使用操作装置。这样，根据上述(3)的结构，与以往的可使用操作装置的朝向有时受限的游戏系统相比，能够提高对操作装置的操作的自由度。

另外，根据上述(2)的结构，便携式显示装置只要至少执行图像数据的解压缩处理即可，而游戏处理只要在游戏装置侧执行即可。即使游戏处理复杂，也只需增加游戏装置侧的处理，而几乎不对便携式显示装置中的图像的解压缩处理的处理量产生影响，因此，即使在需要复杂的游戏处理的情况下，也能够将便携式显示装置侧的处理负荷抑制在规定范围内，从而不会对便携式显示装置要求高的信息处理能力。因此，易于将便携式显示装置小型化、轻量化，制造也变得容易。

并且，根据上述(2)的结构，第一游戏图像在被压缩后从游戏装置发送到便携式显示装置，因此能够高速地无线发送游戏图像，从而能够减少从进行游戏处理到显示游戏图像为止的延迟。

(5)游戏系统也可以还包括能够发出红外光的标记装置(marker device)。此时，游戏图像生成部基于游戏处理还生成第二游戏图像。另外，游戏装置还具备图像输出部和发光控制部。图像输出部将第二游戏图像依次输出到独立于便携式显示装置的外部显示装置。发光控制部控制标记装置的发光。

上述“外部显示装置”只要独立于便携式显示装置即可，除了后述的实施方式中的电视机2以外，只要是能够显示由游戏装置生成的第二游戏图像的装置，就可以是任意装置。例如，外部显示装置也可以与游戏装置形成为一体(在一个壳体内)。

根据上述(5)的结构，在游戏系统中，除了上述便携式显示装置的红外发光部以外还包括标记装置，并且将第二游戏图像显示在与显示第一游戏图像的便携式显示装置相独立的外部显示装置上。由此，在将标记装置设置在该外部显示装置的周边的情况下，用户能够使操作装置朝向两个显示装置中的任一个来使用操作装置。即，用户使操作装置朝向两个显示装置中的任一个都能够进行操作，因此操作装置的操作的自由度进一步变高。

并且，根据上述(5)的结构，能够自由地配置便携式显示装置，因此能够自由地设定两个显示装置的位置关系。因而，通过将两个显示装置配置在与游戏内容相应的适当位置上，能够实现利用操作装置的更具现实感的操作或实现趣味性更高的游戏(参照后述的第五游戏例)。另外，能够应对通过每次都改变两个显示装置的位置关系来使两个显示装置处于各种位置关系来使用的各种游戏。

另外，根据上述(5)的结构，能够将第二游戏图像显示在外部显示装置上，因此能够向玩家呈现两种不同的游戏图像。因而，能够利用两种游戏图像来以各种方法表现游戏空间。因而，根据上述(5)的结构，能够向玩家呈现更易于观看、易于进行游戏操作的游戏图像。

(6)游戏系统也可以包括两个操作装置。此时，游戏处理部根据从各操作装置接收到的操作数据来执行游戏处理。

根据上述(6)的结构，能够使一个操作装置朝向便携式显示装置的方向来进行游戏操作，并且能够使另一个操作装置朝向标记装置的方向来进行游戏操作。因而，在将标记装置设置在外部显示装置的周边的情况下，在将操作装置和显示装置用作一组的游戏(例如后述的第五游戏例)中，能够由两个玩家同时进行游戏。

(7)发光控制部也可以根据游戏处理的内容来控制标记装置和红外发光部的发光。

上述“根据游戏处理的内容来控制(标记装置和红外发光部的发光)”意味着包括以下情况：根据在游戏装置中执行的游戏程序的种类来控制发光，或者在执行同一游戏程序的情况下也根据游戏状况(玩家的操作对象、操作方法、或者游戏的进展状况)来控制发光。

根据上述(7)的结构，游戏装置能够根据游戏处理的内容来控制使标记装置和红外发光部中的哪一个发光(或是否使两者都发光)。在此，根据游戏的内容，有时仅使用标记装置和便携式显示装置的红外发光部这两个发光装置中的某一个。另外，在使两个发光装置都发光的情况下，由于游戏装置无法判断操作装置的摄像部检测到来自哪一个发光装置的红外光，因此还有时会无法正确地进行操作装置的操作。与此相对，根据上述(7)的结构，能够使两个发光装置中与游戏处理的内容相应的适当的发光装置进行发光，因此能够在应对各种游戏的同时防止由于错误检测而使操作装置的操作不正确的情况。

(8)发光控制部也可以生成表示针对红外发光部的发光的控制指示的控制数据。此时，数据发送部通过无线向便携式显示装置发送控制数据。便携式显示装置还具备控制数据接收部，该控制数据接收部从游戏装置接收控制数据。红外发光部按照所接收到的控制数据进行动作。

上述“数据发送部”既可以将上述“控制数据”与图像数据一起发送，也可以在与图像数据的发送时刻不同的时刻发送该“控制数据”。即，在依次发送图像数据的情况下，发送数据仅在必要的情况下进行发送，而不需要与图像数据一起依次发送。

根据上述(8)的结构，游戏装置能够通过向便携式显示装置发送控制数据来容易地控制红外发光部的发光。

(9)另外，本发明的一例是能够与游戏装置进行无线通信的便携式显示装置。游戏装置从具备能够检测红外光的摄像部的操作装置接收表示摄像部的检测结果的数据，向显示装置依次发送基于根据该数据执行的游戏处理来生成的游戏图像。

显示装置具备红外发光部、游戏图像接收部以及显示部。红外发光部能够发出红外光。游戏图像接收部从游戏装置依次接收游戏图像。显示部依次显示游戏图像。

(10)游戏装置也可以将游戏图像依次压缩来生成压缩图像数据，通过无线向便携式显示装置依次发送该压缩图像数据，显示装置还具备游戏图像解压缩部，该游戏图像解压缩部将压缩图像数据依次解压缩来得到游戏图像，显示部对通过解压缩得到的游戏图像依次进行显示。

根据上述(9)的结构，与上述(3)的结构同样地，便携式显示装置具备红外发光部和显示部，并且，操作装置具备摄像部，根据摄像部的检测结果来执行游戏处理。因而，与上述(3)的结构同样地，用户能够通过将显示装置配置在任意的位置上来使操作装置朝向任意的方向来使用操作装置，从而能够提高对操作装置的操作的自由度。

另外，根据上述(10)的结构，与上述(2)的结构同样地，不会对便携式显示装置要求高的信息处理能力。因此，易于将便携式显示装置小型化、轻量化，制造也变得容易。另外，根据上述(10)的结构，游戏图像在被压缩后从游戏装置发送到便携式显示装置，因此能够高速地无线发送游戏图像，从而能够减少从进行游戏处理到显示游戏图像为止的延迟。

(11)显示装置也可以还具备触摸面板、惯性传感器以及操作数据发送部。触摸面板设置于显示部的屏幕上。操作数据发送部通过无线向游戏装置发送包含触摸面板和惯性传感器的输出数据的操作数据。此时，游戏装置根据操作数据来执行游戏处理。

根据上述(11)的结构，上述便携式显示装置还作为操作装置而发挥功能。例如，在将上述显示装置用于游戏系统的情况下，用户还能够一边观看显示部的画面一边移动操作显示装置本身，另外，还能够用作将显示装置配置在任意的位置来使另一操作装置朝向显示装置的方向来使用的显示单元。即，根据上述(11)的结构，能够提供一种既能够用作操作装置、又能够用作显示装置的多用途的装置。

(12)便携式显示装置也可以还具备麦克风。此时，操作数据发送部通过无线向游戏装置还发送麦克风所检测到的声音的数据。

在上述(12)中，从操作装置无线发送到游戏装置的声音的数据既可以如后述的实施方式那样在被压缩后进行发送，也可以不压缩而进行发送。

根据上述(12)的结构，操作装置的麦克风所检测到的声音(麦克风声音)被发送到游戏装置。因而，游戏装置能够将麦克风声音用于游戏声音，或者将对麦克风声音进行声音识别处理后得到的结果用作游戏输入。

(13)显示装置也可以还具备摄像头和摄像头图像压缩部。摄像头图像压缩部对摄像头所拍摄到的摄像头图像进行压缩来生成压缩摄像数据。此时，操作数据发送部通过无线向游戏装置还发送压缩摄像数据。

根据上述(13)的结构，由显示装置的摄像头拍摄到的摄像头图像被发送到游戏装置。因而，游戏装置能够将摄像头图像用于游戏图像，或者将对摄像头图像进行图像识别处理后得到的结果用作游戏输入。另外，根据上述(13)的结构，摄像头图像在被压缩后进行发送，因此能够高速地无线发送摄像头图像。

(14)显示装置也可以还具备多个正面操作按钮和能够指示方向的方向输入部。多个正面操作按钮被设置在设置有显示部的屏幕的正面平面上的该屏幕的两侧。方向输入部被设置在正面平面上的屏幕的两侧。此时，操作数据还包含表示对多个正面操作按钮和方向输入部进行的操作的数据。

根据上述(14)的结构，在显示装置的屏幕两侧设置操作按钮和方向输入部。因而，玩家能够在握持显示装置的状态下(典型的是用双手的拇指)对操作按钮和方向输入部进行操作，因此即使在进行移动显示装置的操作的过程中，也能够容易地对操作按钮和方向输入部进行操作。

(15)显示装置也可以还具备多个背面操作按钮和多个侧面操作按钮。多个背面操作按钮被设置在背面平面上。背面平面是设置有显示部的屏幕和触摸面板的正面平面的相反侧的面。多个侧面操作按钮被设置在正面平面与背面平面之间的侧面上。此时，操作数据还包含表示对多个背面操作按钮和侧面操作按钮进行的操作的数据。

根据上述(15)的结构，显示装置的背面平面和侧面上设置有操作按钮。因而，玩家能够在握持显示装置的状态下(典型的是用食指或中指)对这些操作按钮进行操作，因此即使在进行移动显示装置的操作的过程中，也能够容易地对操作按钮进行操作。

(16)显示装置也可以还具备磁传感器。此时，操作数据还包含磁传感器的检测结果的数据。

根据上述(16)的结构，显示装置具备磁传感器，在游戏装置中磁传感器的输出结果被用在游戏处理中。因而，玩家能够通过移动显示装置来进行游戏操作。另外，游戏装置能够根据磁传感器的输出结果来判断显示装置在实际空间中的绝对姿势，因此能够通过使用例如惯性传感器的输出结果和磁传感器的输出结果来正确地计算出显示装置的姿势。

(17)惯性传感器可以是任意的惯性传感器，例如可以包括三轴加速度传感器和三轴陀螺仪传感器。

根据上述(17)的结构，通过将加速度传感器和陀螺仪传感器这两种传感器用作惯性传感器，能够正确地计算出便携式显示装置的移动、姿势。

(18)游戏装置也可以通过无线向显示装置发送基于游戏处理生成的游戏声音。此时，显示装置还具备：游戏声音接收部，其从游戏装置接收游戏声音；以及扬声器，其输出由游戏声音接收部接收到的游戏声音。

在上述(18)中，从游戏装置无线发送到显示装置的游戏声音既可以如后述的实施方式那样在被压缩后进行发送，也可以不压缩而进行发送。

根据上述(18)的结构，与游戏图像同样地，能够从显示装置输出游戏声音。

另外，作为本发明的另外一例，也能够以上述(1)～(8)的游戏系统中进行的游戏处理方法的方式来实施本发明。

发明的效果

根据本发明，在便携式显示装置中设置红外发光部，使显示装置显示游戏图像，由此能够使操作装置朝向任意的方向来使用操作装置，从而能够提高对操作装置的操作的自由度。

附图说明

图1是游戏系统1的外观图。

图2是表示游戏装置3的内部结构的框图。

图3是表示控制器5的外观结构的立体图。

图4是表示控制器5的外观结构的立体图。

图5是表示控制器5的内部构造的图。

图6是表示控制器5的内部构造的图。

图7是表示控制器5的结构的框图。

图8是表示终端装置7的外观结构的图。

图9是表示用户握持终端装置7的情形的图。

图10是表示终端装置7的内部结构的框图。

图11是表示在游戏处理中使用的各种数据的图。

图12是表示在游戏装置3中执行的游戏处理的流程的主流程图。

图13是表示游戏控制处理的详细流程的流程图。

图14是表示第一游戏例中的电视机2的画面和终端装置7的图。

图15是表示第二游戏例中的电视机2的画面和终端装置7的图。

图16是表示在第三游戏例中显示在电视机2上的电视机用游戏图像的一例的图。

图17是表示在第三游戏例中显示在终端装置7上的终端用游戏图像的一例的图。

图18是表示在第四游戏例中显示在电视机2上的电视机用游戏图像的一例的图。

图19是表示在第四游戏例中显示在终端装置7上的终端用游戏图像的一例的图。

图20是表示第五游戏例中的游戏系统1的使用情形的图。

图21是表示通过网络与外部装置进行连接时的游戏系统1所包括的各装置的连接关系的图。

附图标记说明

1：游戏系统；2：电视机；3：游戏装置；4：光盘；5：控制器；6：标记装置；7：终端装置；10：CPU；11e：内部主存储器；12：外部主存储器；19：控制器通信模块；28：终端通信模块；35：摄像信息运算部；37：加速度传感器；44：无线模块；48：陀螺仪传感器；51：LCD；52：触摸面板；53：类比摇杆(Analog Stick)；54：操作按钮；55：标记部；56：摄像头；62：磁传感器；63：加速度传感器；64：陀螺仪传感器；66：编解码器LSI(Large-scale integration：大规模集成电路)；67：扬声器；69：麦克风；70：无线模块；90：控制器操作数据；97：终端操作数据；98：摄像头图像数据；99：麦克风声音数据。

具体实施方式

[1.游戏系统的整体结构]

下面，参照附图来说明本发明的一个实施方式所涉及的游戏系统1。图1是游戏系统1的外观图。在图1中，游戏系统1包括以电视接收器等为代表的安置型的显示装置(下面记载为“电视机”)2、安置型的游戏装置3、光盘4、控制器5、标记装置6以及终端装置7。游戏系统1根据利用控制器5进行的游戏操作，在游戏装置3中执行游戏处理，将通过游戏处理得到的游戏图像显示在电视机2和/或终端装置7上。

在游戏装置3中可安装和拆卸地插入光盘4，该光盘4是针对该游戏装置3可更换地使用的信息存储介质的一例。光盘4中存储有用于在游戏装置3中执行的信息处理程序(典型的是游戏程序)。在游戏装置3的前表面上设置有光盘4的插入口。游戏装置3通过读取并执行插入到插入口中的光盘4所存储的信息处理程序来执行游戏处理。

游戏装置3通过连接线(cord)与电视机2相连接。电视机2显示通过在游戏装置3中执行的游戏处理而得到的游戏图像。电视机2具有扬声器2a(图2)，扬声器2a输出进行上述游戏处理的结果所得到的游戏声音。此外，在其它实施方式中，也可以将游戏装置3与安置型的显示装置形成为一体。另外，游戏装置3与电视机2之间的通信也可以是无线通信。

在电视机2的屏幕的周边(在图1中为屏幕的上侧)设置有标记装置6。用户(玩家)能够进行移动控制器5的游戏操作，标记装置6用于由游戏装置3计算控制器5的移动、位置、姿势等，详情在后面叙述。标记装置6在其两端具备两个标记器(marker)6R和6L。标记器6R(标记器6L也相同)具体来说是一个以上的红外LED(Light Emitting Diode：发光二极管)，朝向电视机2的前方输出红外光。标记装置6与游戏装置3相连接，游戏装置3能够控制标记装置6所具备的各红外LED的点亮。此外，标记装置6是便携式装置，用户能够将标记装置6设置在任意的位置处。在图1中示出了标记装置6被设置在电视机2上方的状态，但是设置标记装置6的位置和朝向是任意的。

控制器5用于对游戏装置3提供表示对该控制器5进行的操作的内容的操作数据。控制器5与游戏装置3能够通过无线通信进行通信。在本实施方式中，在控制器5与游戏装置3之间的无线通信中例如使用Bluetooth(蓝牙)(注册商标)的技术。此外，在其它实施方式中，控制器5与游戏装置3也可以通过有线方式进行连接。另外，在本实施方式中，将游戏系统1所包含的控制器5设为一个，但是游戏装置3能够与多个控制器进行通信，通过同时使用规定台数的控制器，能够多人玩游戏。控制器5的详细结构在后面叙述。

终端装置7具有用户能够握持的程度的大小，用户能够手持终端装置7来将其移动或者将终端装置7配置在任意的位置，来使用该终端装置7。终端装置7具备作为显示单元的LCD(LiquidCrystal Display：液晶显示装置)51和输入单元(后述的触摸面板52、陀螺仪传感器64等)，详细的结构在后面叙述。终端装置7与游戏装置3能够通过无线方式(也可以是有线方式)进行通信。终端装置7从游戏装置3接收在游戏装置3中生成的图像(例如游戏图像)的数据，并将图像显示在LCD 51上。此外，在本实施方式中，将LCD用作显示装置，但是终端装置7例如也可以具有利用了EL(Electro Luminescence：电致发光)的显示装置等其它任意的显示装置。另外，终端装置7将表示对该终端装置7进行的操作的内容的操作数据发送到游戏装置3。

[2.游戏装置3的内部结构]

接着，参照图2来说明游戏装置3的内部结构。图2是表示游戏装置3的内部结构的框图。游戏装置3具有CPU(CentralProcessing Unit：中央处理器)10、系统LSI 11、外部主存储器12、ROM/RTC 13、盘驱动器14以及AV-IC 15等。

CPU10通过执行存储在光盘4中的游戏程序来执行游戏处理，该CPU 10作为游戏处理器而发挥功能。CPU 10与系统LSI 11相连接。系统LSI 11上除了连接有CPU 10以外，还连接有外部主存储器12、ROM/RTC 13、盘驱动器14以及AV-IC 15。系统LSI 11进行以下处理等：对与其相连接的各结构要素之间的数据传输进行控制；生成要显示的图像；从外部装置获取数据。此外，系统LSI 11的内部结构在后面叙述。易失性的外部主存储器12用于存储从光盘4读取出的游戏程序、从快闪存储器(Flash memory)17读取出的游戏程序等程序或存储各种数据，该外部主存储器12被用作CPU 10的工作区域、缓冲区域。ROM/RTC 13具有安装有游戏装置3的启动用程序的ROM(所谓的引导ROM)和进行计时的时钟电路(RTC(Real Time Clock)：实时时钟)。盘驱动器14从光盘4读取程序数据、纹理数据等，将所读取出的数据写入到后述的内部主存储器11e或外部主存储器12中。

在系统LSI 11中，设置有输入输出处理器(I/O处理器)11a、GPU(Graphic Processor Unit：图形处理器)11b、DSP(DigitalSignal Processor：数字信号处理器)11c、VRAM(Video RAM：视频RAM)11d以及内部主存储器11e。虽然省略了图示，但是这些结构要素11a～11e是通过内部总线而相互连接。

GPU 11b形成描绘单元的一部分，按照来自CPU 10的制图命令(Graphics Command)来生成图像。VRAM 11d存储GPU 11b执行制图命令所需的数据(多边形数据、纹理数据等数据)。在生成图像时，GPU 11b使用存储在VRAM 11d中的数据来制作图像数据。此外，在本实施方式中，游戏装置3生成显示在电视机2上的游戏图像和显示在终端装置7上的游戏图像这两者。下面，有时将显示在电视机2上的游戏图像称为“电视机用游戏图像”，将显示在终端装置7上的游戏图像称为“终端用游戏图像”。

DSP 11c作为音频处理器而发挥功能，使用存储在内部主存储器11e、外部主存储器12中的语音数据(sound data)、声音波形(音色)数据来生成声音数据。此外，在本实施方式中，针对游戏声音，也与游戏图像同样地生成从电视机2的扬声器输出的游戏声音和从终端装置7的扬声器输出的游戏声音这两者。下面，有时将从电视机2输出的游戏声音称为“电视机用游戏声音”，将从终端装置7输出的游戏声音称为“终端用游戏声音”。

如上所述那样在游戏装置3中生成的图像和声音中的要在电视机2中输出的图像和声音的数据是通过AV-IC 15读取的。AV-IC 15通过AV连接器16将读取出的图像数据输出到电视机2，并且将读取出的声音数据输出到内置于电视机2的扬声器2a。由此，在电视机2上显示图像，并且从扬声器2a输出声音。

另外，在游戏装置3中生成的图像和声音中的要在终端装置7中输出的图像和声音的数据是通过输入输出处理器11a发送到终端装置7的。利用输入输出处理器11a等对终端装置7进行的数据发送在后面叙述。

输入输出处理器11a在与其相连接的结构要素之间执行数据的发送接收，或者执行从外部装置的数据下载。输入输出处理器11a与快闪存储器17、网络通信模块18、控制器通信模块19、扩展连接器20、存储卡用连接器21、编解码器(codec)LSI 27相连接。另外，网络通信模块18上连接有天线22。控制器通信模块19上连接有天线23。编解码器LSI 27与终端通信模块28相连接，终端通信模块28上连接有天线29。

游戏装置3能够连接到因特网等网络上来与外部信息处理装置(例如其它游戏装置、各种服务器等)进行通信。即，输入输出处理器11a通过网络通信模块18及天线22与因特网等网络进行连接，从而能够与连接在网络上的外部信息处理装置进行通信。输入输出处理器11a定期访问快闪存储器17，检测是否存在需要发送到网络上的数据，在存在该数据的情况下，通过网络通信模块18和天线22将该数据发送到网络上。另外，输入输出处理器11a通过网络、天线22以及网络通信模块18来接收从外部信息处理装置发送过来的数据、从下载服务器下载的数据，将接收到的数据存储在快闪存储器17中。CPU 10通过执行游戏程序来读取存储在快闪存储器17中的数据并在游戏程序中利用。在快闪存储器17中，除了存储有在游戏装置3与外部信息处理装置之间发送接收的数据以外，还可以存储有利用游戏装置3玩过的游戏的存档数据(游戏的结果数据或中途数据)。另外，在快闪存储器17中也可以存储游戏程序。

另外，游戏装置3能够接收来自控制器5的操作数据。即，输入输出处理器11a通过天线23和控制器通信模块19接收从控制器5发送的操作数据，并将该操作数据存储(暂时存储)在内部主存储器11e或外部主存储器12的缓冲区域中。

另外，游戏装置3能够与终端装置7之间发送接收图像、声音等数据。在要向终端装置7发送游戏图像(终端用游戏图像)的情况下，输入输出处理器11a将GPU 11b所生成的游戏图像的数据输出到编解码器LSI 27。编解码器LSI 27对来自输入输出处理器11a的图像数据进行规定的压缩处理。终端通信模块28与终端装置7之间进行无线通信。因而，由终端通信模块28通过天线29将被编解码器LSI 27压缩后的图像数据发送给终端装置7。此外，在本实施方式中，从游戏装置3发送到终端装置7的图像数据是用于游戏的数据，如果在游戏中显示的图像发生延迟则会对游戏的操作性造成不良影响。因此，优选的是，关于从游戏装置3向终端装置7的图像数据的发送，尽量避免发生延迟。因而，在本实施方式中，编解码器LSI 27例如使用H.264标准这一高效压缩技术来压缩图像数据。此外，也可以使用除此以外的压缩技术，在通信速度足够快的情况下还可以构成为不压缩图像数据而发送的结构。另外，终端通信模块28例如是受到Wi-Fi(wireless fidelity：无线相容性认证)认证的通信模块，既可以使用例如在IEEE802.11n标准下采用的MIMO(MultipleInput Multiple Output：多输入多输出)的技术来高速地进行与终端装置7之间的无线通信，也可以使用其它通信方式。

另外，游戏装置3除了将图像数据发送给终端装置7以外，还将声音数据发送给终端装置7。即，输入输出处理器11a通过编解码器LSI 27将DSP 11c所生成的声音数据输出到终端通信模块28。与图像数据同样地，编解码器LSI 27对声音数据也进行压缩处理。针对声音数据的压缩方式可以是任何方式，优选压缩率高且声音的劣化少的方式。另外，在其它实施方式中，也可以不压缩声音数据而发送。终端通信模块28通过天线29将压缩后的图像数据和声音数据发送给终端装置7。

并且，除了上述图像数据和声音数据以外，游戏装置3还根据需要向终端装置7发送各种控制数据。控制数据是表示对终端装置7所具备的结构要素的控制指示的数据，例如表示控制标记部(图10所示的标记部55)的点亮的指示、控制摄像头(图10所示的摄像头56)的拍摄的指示等。输入输出处理器11a与CPU 10的指示相应地将控制数据发送给终端装置7。此外，在本实施方式中编解码器LSI 27不对该控制数据进行数据的压缩处理，但是在其它实施方式中也可以对该控制数据进行压缩处理。此外，可以根据需要对从游戏装置3发送到终端装置7的上述数据进行加密，也可以不加密。

另外，游戏装置3能够从终端装置7接收各种数据。在本实施方式中，终端装置7发送操作数据、图像数据以及声音数据，详情在后面叙述。由终端通信模块28通过天线29接收从终端装置7发送的各数据。在此，来自终端装置7的图像数据和声音数据被实施与从游戏装置3发送到终端装置7的图像数据和声音数据同样的压缩处理。因而，将这些图像数据和声音数据从终端通信模块28发送到编解码器LSI 27，在由编解码器LSI 27实施解压缩处理后输出到输入输出处理器11a。另一方面，来自终端装置7的操作数据与图像、声音相比数据量较少，因此也可以不实施压缩处理。另外，可以根据需要进行加密，也可以不加密。因而，操作数据在被终端通信模块28接收之后经由编解码器LSI27输出到输入输出处理器11a。输入输出处理器11a将从终端装置7接收到的数据存储(暂时存储)在内部主存储器11e或外部主存储器12的缓冲区域中。

另外，游戏装置3能够与其它设备、外部存储介质进行连接。即，在输入输出处理器11a上连接有扩展连接器20和存储卡用连接器21。扩展连接器20是用于USB、SCSI(Small ComputerSystem Interface：小型计算机系统接口)这样的接口的连接器。能够在扩展连接器20上连接外部存储介质这样的介质、或连接其它控制器等外围设备、或通过连接有线的通信用连接器来代替网络通信模块18而与网络进行通信。存储卡用连接器21是用于连接存储卡这样的外部存储介质的连接器。例如，输入输出处理器11a能够通过扩展连接器20、存储卡用连接器21访问外部存储介质，来将数据保存在外部存储介质中或从外部存储介质读取数据。

游戏装置3上设置有电源按钮24、复位按钮25以及弹出按钮26。电源按钮24和复位按钮25与系统LSI 11相连接。当电源按钮24接通时，通过未图示的AC适配器从外部的电源对游戏装置3的各结构要素提供电力。当按下复位按钮25时，系统LSI 11将游戏装置3的启动程序重启。弹出按钮26与盘驱动器14相连接。当按下弹出按钮26时，从盘驱动器14退出光盘4。

此外，在其它实施方式中，游戏装置3所具备的各结构要素中的几个结构要素也可以构成为独立于游戏装置3的扩展设备。此时，扩展设备例如也可以通过上述扩展连接器20与游戏装置3相连接。具体地说，扩展设备例如也可以具备上述编解码器LSI27、终端通信模块28以及天线29的各结构要素，相对于扩展连接器20可安装和拆卸。由此，通过将上述扩展设备连接在不具备上述各结构要素的游戏装置上，能够使该游戏装置构成为能够与终端装置7进行通信的结构。

[3.控制器5的结构]

接着，参照图3～图7来说明控制器5。图3是表示控制器5的外观结构的立体图。图4是表示控制器5的外观结构的立体图。图3是从控制器5的上侧后方观察控制器5的立体图，图4是从控制器5的下侧前方观察控制器5的立体图。

在图3和图4中，控制器5具有例如通过塑料成型而形成的壳体31。壳体31具有以其前后方向(图3所示的Z轴方向)为长度方向的大致长方体形状，整体为大人或小孩可一只手握持的大小。用户能够通过按下设置在控制器5上的按钮以及移动控制器5本身而改变其位置、姿势(倾斜)，来进行游戏操作。

壳体31上设置有多个操作按钮。如图3所示，在壳体31的上表面，设置有十字按钮32a、1号按钮32b、2号按钮32c、A按钮32d、减(-)按钮32e、home按钮32f、加(+)按钮32g以及电源按钮32h。在本说明书中，有时将设置有这些按钮32a～32h的壳体31的上表面称为“按钮面”。另一方面，如图4所示，壳体31的下表面上形成有凹部，在该凹部的后面侧倾斜面上设置有B按钮32i。对这些各操作按钮32a～32i适当地分配与游戏装置3所执行的信息处理程序相应的功能。另外，电源按钮32h用于远程接通/断开游戏装置3主体的电源。home按钮32f和电源按钮32h被设置成其上表面低于壳体31的上表面。由此，能够防止用户错误按下home按钮32f或电源按钮32h。

壳体31的后表面上设置有连接器33。连接器33用于将其它设备(例如其它传感器单元、控制器)连接在控制器5上。另外，在壳体31的后表面上的连接器33两侧设置有卡定孔33a，以防止上述其它设备容易地脱离。

在壳体31上表面的后部设置有多个(在图3中为四个)LED34a～34d。在此，为了与其它控制器相区别，对控制器5分配控制器类别(编号)。各LED 34a～34d用于以下等目的：向用户通知对控制器5当前设定的上述控制器类别，或者向用户通知控制器5的电池余量。具体地说，在使用控制器5进行游戏操作时，与上述控制器类别相应地，多个LED 34a～34d中的某一个点亮。

另外，控制器5具有摄像信息运算部35(图6)，如图4所示，在壳体31前表面上设置有摄像信息运算部35的光入射面35a。光入射面35a由至少透射来自标记器6R和6L的红外光的材质构成。

在壳体31上表面的1号按钮32b和home按钮32f之间，形成有用于将来自内置于控制器5的扬声器47(图5)的声音放出到外部的出声孔31a。

接着，参照图5和图6来说明控制器5的内部构造。图5和图6是表示控制器5的内部构造的图。此外，图5是表示将控制器5的上壳体(壳体31的一部分)拆下的状态的立体图。图6是表示将控制器5的下壳体(壳体31的一部分)拆下的状态的立体图。图6所示的立体图为从背面观察图5所示的基板30的立体图。

在图5中，在壳体31的内部固定地设置有基板30，该基板30的上主面上设置有各操作按钮32a～32h、各LED 34a～34d、加速度传感器37、天线45以及扬声器47等。它们通过形成于基板30等上的布线(未图示)与微计算机(Micro Computer：微机)42(参照图6)相连接。在本实施方式中，加速度传感器37被配置在X轴方向上偏离控制器5的中心的位置处。由此，易于计算出使控制器5绕Z轴旋转时的控制器5的移动。另外，加速度传感器37被配置在长度方向(Z轴方向)上比控制器5的中心靠前方的位置处。另外，利用无线模块44(图7)和天线45，控制器5作为无线控制器而发挥功能。

另一方面，在图6中，在基板30的下主面上的前端边缘处设置有摄像信息运算部35。摄像信息运算部35从控制器5的前方起依次具备红外线滤波器38、透镜39、摄像元件40以及图像处理电路41。这些部件38～41分别安装在基板30的下主面上。

并且，在基板30的下主面上，设置有上述微机42和振动器46。振动器(vibrator)46例如是振动马达、螺线管(solenoid)，通过形成于基板30等上的布线与微机42相连接。振动器46根据微机42的指示来进行动作，由此使控制器5产生振动。由此，能够实现向握持控制器5的用户的手传递该振动的所谓的支持振动的游戏。在本实施方式中，振动器46配置于壳体31的略靠前方的位置。即，振动器46配置在比控制器5的中心靠端侧的位置，由此能够通过振动器46的振动使控制器5整体产生较大的振动。另外，连接器33被安装在基板30的下主面上的后端边缘处。此外，除图5和图6所示的以外，控制器5还具备生成微机42的基本时钟的晶体振子、对扬声器47输出声音信号的放大器等。

此外，图3～图6所示的控制器5的形状、各操作按钮的形状、加速度传感器和振动器的数量以及设置位置等只不过是一个例子，也可以是其它的形状、数量以及设置位置。另外，在本实施方式中，摄像单元的拍摄方向是Z轴正方向，但是拍摄方向也可以是任一个方向。即，摄像信息运算部35在控制器5中的位置(摄像信息运算部35的光入射面35a)也可以不是壳体31的前表面，只要能够从壳体31的外部取入光即可，也可以设置于其它面。

图7是表示控制器5的结构的框图。控制器5具备操作部32(各操作按钮32a～32i)、摄像信息运算部35、通信部36、加速度传感器37以及陀螺仪传感器48。控制器5将表示对该控制器5进行的操作内容的数据作为操作数据发送给游戏装置3。此外，下面，有时将控制器5所发送的操作数据称为“控制器操作数据”，将终端装置7所发送的操作数据称为“终端操作数据”。

操作部32包括上述各操作按钮32a～32i，将表示针对各操作按钮32a～32i的输入状态(是否按下了各操作按钮32a～32i)的操作按钮数据输出到通信部36的微机42。

摄像信息运算部35是用于对摄像单元拍摄到的图像数据进行分析来辨别出其中亮度高的区域并计算该区域的重心位置、尺寸等的系统。摄像信息运算部35例如具有最大200帧/秒左右的采样周期，因此即使是对较高速的控制器5的移动也能够跟踪并进行分析。

摄像信息运算部35包括红外线滤波器38、透镜39、摄像元件40以及图像处理电路41。红外线滤波器38仅使从控制器5前方入射的光中的红外线通过。透镜39将通过了红外线滤波器38的红外线会聚并使其入射到摄像元件40。摄像元件40例如是CMOS传感器或CCD传感器这样的固体摄像元件，接收由透镜39会聚的红外线并输出图像信号。在此，作为摄像对象的终端装置7的标记部55和标记装置6由输出红外光的标记器构成。因而，通过设置红外线滤波器38，摄像元件40仅接收通过了红外线滤波器38的红外线来生成图像数据，因此能够更加正确地拍摄摄像对象(标记部55和/或标记装置6)的图像。下面，将由摄像元件40拍摄到的图像称为摄像图像。在图像处理电路41中对由摄像元件40生成的图像数据进行处理。图像处理电路41计算摄像对象在摄像图像内的位置。图像处理电路41将表示计算出的位置的坐标输出到通信部36的微机42。由微机42将该坐标的数据作为操作数据发送到游戏装置3。下面，将上述坐标称为“标记器坐标”。标记器坐标与控制器5本身的朝向(倾斜角度)、位置相对应地发生变化，因此游戏装置3能够使用该标记器坐标来计算控制器5的朝向、位置。

此外，在其它实施方式中，控制器5也可以是不具备图像处理电路41的结构，也可以将摄像图像本身从控制器5发送到游戏装置3。此时，游戏装置3也可以具有与图像处理电路41具有相同功能的电路或程序，来计算上述标记器坐标。

加速度传感器37检测控制器5的加速度(包括重力加速度)，即检测施加给控制器5的力(包括重力)。加速度传感器37检测施加于该加速度传感器37的检测部的加速度中的沿传感轴方向的直线方向的加速度(直线加速度)的值。例如，在双轴以上的多轴加速度传感器的情况下，分别检测沿各轴的成分的加速度来作为施加于加速度传感器的检测部的加速度。此外，加速度传感器37例如为静电电容式的MEMS(Micro Electro MechanicalSystem：微机电系统)型加速度传感器，但是也可以使用其它方式的加速度传感器。

在本实施方式中，加速度传感器37分别检测以控制器5为基准的上下方向(图3所示的Y轴方向)、左右方向(图3所示的X轴方向)以及前后方向(图3所示的Z轴方向)这三个轴方向的直线加速度。由于加速度传感器37检测与沿各轴的直线方向有关的加速度，因此来自加速度传感器37的输出表示三轴各自的直线加速度的值。即，检测出的加速度被表示为以控制器5为基准而设定的XYZ坐标系(控制器坐标系)上的三维矢量。

表示加速度传感器37所检测到的加速度的数据(加速度数据)被输出到通信部36。此外，加速度传感器37所检测到的加速度与控制器5本身的朝向(倾斜角度)、移动相对应地发生变化，因此游戏装置3能够使用获取到的加速度数据来计算控制器5的朝向、移动。在本实施方式中，游戏装置3根据获取到的加速度数据来计算控制器5的姿势、倾斜角度等。

此外，能够由游戏装置3的处理器(例如CPU 10)或控制器5的处理器(例如微机42)等计算机根据从加速度传感器37(关于后述的加速度传感器63也相同)输出的加速度的信号来进行处理，由此推测或计算(判断)出与控制器5有关的更多的信息，本领域技术人员能够根据本说明书的说明容易地理解这些。例如，在以装载加速度传感器37的控制器5处于静止状态为前提来执行计算机侧的处理的情况下(即，在设加速度传感器检测到的加速度仅为重力加速度来执行处理的情况下)，如果控制器5实际上处于静止状态，则能够根据检测到的加速度来获知控制器5的姿势是否相对于重力方向倾斜或倾斜多少程度。具体地说，在以加速度传感器37的检测轴朝向铅垂下方向的状态为基准时，能够根据是否被施加1G(重力加速度)来获知控制器5相对于基准是否倾斜，还能够根据其大小来获知相对于基准倾斜了何种程度。另外，在多轴的加速度传感器37的情况下，能够通过进一步对各轴的加速度的信号实施处理来更加详细地获知控制器5相对于重力方向倾斜了多少程度。在这种情况下，处理器既可以根据来自加速度传感器37的输出来计算控制器5的倾斜角度，也可以不计算该倾斜角度而计算控制器5的倾斜方向。这样，通过将加速度传感器37与处理器组合使用，能够判断出控制器5的倾斜角度或姿势。

另一方面，在以控制器5处于动态的状态(控制器5正在移动的状态)为前提的情况下，加速度传感器37除了检测重力加速度以外还检测与控制器5的移动相应的加速度，因此能够通过规定的处理来从检测到的加速度中去除重力加速度的成分，由此获知控制器5的移动方向。另外，即使在以控制器5处于动态的状态为前提的情况下，也能够通过规定的处理来从检测到的加速度中去除与加速度传感器的移动相应的加速度的成分，由此获知控制器5相对于重力方向的倾斜。此外，在其它实施例中，加速度传感器37也可以具备用于在将由内置的加速度检测单元检测到的加速度信号输出到微机42之前对该加速度信号进行规定处理的嵌入式的处理装置或其它种类的专用处理装置。例如在加速度传感器37用于检测静态加速度(例如重力加速度)的情况下，嵌入式或专用处理装置也可以将加速度信号转换为倾斜角(或者其它优选参数)。

陀螺仪传感器48检测绕三个轴(在本实施方式中为XYZ轴)的角速度。在本说明书中，以控制器5的拍摄方向(Z轴正方向)为基准，将绕X轴的旋转方向称为俯仰方向(pitch direction)，将绕Y轴的旋转方向称为横摆方向(yaw direction)，将绕Z轴的旋转方向称为侧倾方向(roll direction)。陀螺仪传感器48只要能够检测绕三个轴的角速度即可，所使用的陀螺仪传感器的数量和组合可以是任意的。例如，陀螺仪传感器48可以是三轴陀螺仪传感器，也可以将双轴陀螺仪传感器与单轴陀螺仪传感器进行组合来检测绕三个轴的角速度。表示由陀螺仪传感器48检测到的角速度的数据被输出到通信部36。另外，陀螺仪传感器48也可以检测绕一个或两个轴的角速度。

通信部36包括微机42、存储器43、无线模块44以及天线45。微机42在进行处理时将存储器43用作存储区域，并且微机42对无线模块44进行控制，该无线模块44将微机42所获取到的数据无线发送给游戏装置3。

从操作部32、摄像信息运算部35、加速度传感器37以及陀螺仪传感器48输出到微机42的数据被暂时保存在存储器43中。这些数据作为操作数据(控制器操作数据)被发送给游戏装置3。即，当向游戏装置3的控制器通信模块19进行发送的发送时刻到来时，微机42将保存在存储器43中的操作数据输出到无线模块44。无线模块44例如使用蓝牙(Bluetooth)(注册商标)的技术，以操作数据调制规定频率的载波，从天线45发射该微弱电波信号。即，操作数据被无线模块44调制为微弱电波信号而从控制器5进行发送。微弱电波信号被游戏装置3侧的控制器通信模块19所接收。通过对接收到的微弱电波信号进行解调、解码，游戏装置3能够获取操作数据。然后，游戏装置3的CPU 10使用从控制器5获取到的操作数据进行游戏处理。此外，每隔规定的周期逐次进行从通信部36向控制器通信模块19的无线发送，而游戏的处理一般是以1/60秒为单位(作为一帧时间)进行的，因此优选以小于等于该时间的周期进行发送。控制器5的通信部36例如以1/200秒一次的比例将操作数据输出到游戏装置3的控制器通信模块19。

如上所述，控制器5能够发送标记器坐标数据、加速度数据、角速度数据以及操作按钮数据，来作为表示对该控制器5的操作的操作数据。另外，游戏装置3将上述操作数据用作游戏输入来执行游戏处理。因而，通过使用上述控制器5，用户除了能够进行按下各操作按钮的以往的一般的游戏操作以外，还能够进行移动控制器5本身的游戏操作。例如，能够进行以任意的姿势倾斜控制器5的操作、利用控制器5指示画面上的任意位置的操作以及移动控制器5本身的操作等。

另外，在本实施方式中，控制器5不具有显示游戏图像的显示单元，但是也可以具有用于显示例如表示电池余量的图像等的显示单元。

[4.终端装置7的结构]

接着，参照图8～图10来说明终端装置7的结构。图8是表示终端装置7的外观结构的图。图8中的(a)图是终端装置7的主视图，(b)图是俯视图，(c)图是右视图，(d)图是仰视图。另外，图9是表示用户握持终端装置7的情形的图。

如图8所示，终端装置7具备大致呈横长的长方形的板状形状的壳体50。壳体50具有用户能够握持的程度的大小。因而，用户能够拿着并移动终端装置7、或者变更终端装置7的配置位置。

终端装置7在壳体50的正面上具有LCD 51。LCD 51被设置在壳体50的正面的中央附近。因而，用户通过如图9所示那样拿着LCD 51的两侧部分的壳体50，能够一边观看LCD 51的画面一边拿着并移动终端装置。此外，在图9中，示出了用户通过拿着LCD 51的左右两侧的部分的壳体50来横向(以横向长的朝向)握持终端装置7的例子，但是也能够纵向(以纵向长的朝向)握持终端装置7。

如图8的(a)图所示，终端装置7在LCD 51的屏幕上具有触摸面板52来作为操作单元。在本实施方式中，触摸面板52是电阻膜方式的触摸面板。但是，触摸面板不限于电阻膜方式，例如也能够使用静电电容方式等任意方式的触摸面板。另外，触摸面板52既可以是单点触摸方式，也可以是多点触摸方式。在本实施方式中，作为触摸面板52，利用与LCD 51的分辨率相同分辨率(检测精确度)的触摸面板。但是，触摸面板52的分辨率与LCD 51的分辨率未必一定要一致。通常使用触控笔对触摸面板52进行输入，但是不限于触控笔，用户也能够用手指对触摸面板52进行输入。此外，在壳体50上也可以设置有收纳孔，该收纳孔用来收纳用于对触摸面板52进行操作的触控笔。这样，由于终端装置7具备触摸面板52，因此用户能够一边移动终端装置7一边操作触摸面板52。也就是说，用户能够在移动LCD 51的屏幕的同时，对该屏幕直接(通过触摸面板52)进行输入。

如图8所示，终端装置7具备两个类比摇杆53A和53B以及多个按钮54A～54L来作为操作单元。各类比摇杆53A和53B是指示方向的设备。各类比摇杆53A和53B构成为能够使通过用户的手指进行操作的摇杆部相对于壳体50的表面沿任意方向(上下左右以及斜方向的任意的角度)滑动或倾斜。另外，左类比摇杆53A设置在LCD 51的屏幕的左侧，右类比摇杆53B设置在LCD51的屏幕的右侧。因而，无论用户用左右哪只手都能够使用类比摇杆进行指示方向的输入。另外，如图9所示，各类比摇杆53A和53B设置在用户能够在握持终端装置7的左右部分的状态下对它们进行操作的位置处，因此用户即使在拿着并移动终端装置7的情况下，也能够容易地操作各类比摇杆53A和53B。

各按钮54A～54L是用于进行规定的输入的操作单元。如下面所示，各按钮54A～54L被设置在用户能够在握持终端装置7的左右部分的状态下进行操作的位置处(参照图9)。因而，用户即使在拿着并移动终端装置7的情况下，也能够容易地对这些操作单元进行操作。

如图8的(a)图所示，在壳体50的正面上设置有各操作按钮54A～54L中的十字按钮(方向输入按钮)54A以及按钮54B～54H。也就是说，这些按钮54A～54H被配置在用户能够用拇指操作的位置处(参照图9)。

十字按钮54A被设置在LCD 51的左侧且在左类比摇杆53A的下侧。也就是说，十字按钮54A被配置在用户能够用左手操作的位置处。十字按钮54A具有十字的形状，是能够指示上下左右的方向的按钮。另外，按钮54B～54D设置在LCD 51的下侧。这三个按钮54B～54D被配置在用左右两只手都能够进行操作的位置处。另外，四个按钮54E～54H被设置在LCD 51的右侧且在右类比摇杆53B的下侧。也就是说，四个按钮54E～54H被配置在用户能够用右手操作的位置处。并且，四个按钮54E～54H被配置成(相对于四个按钮54E～54H的中心位置)形成上下左右的位置关系。因而，终端装置7还能够使四个按钮54E～54H作为用于使用户指示上下左右的方向的按钮而发挥功能。

另外，如图8的(a)图、(b)图以及(c)图所示，第一L按钮54I和第一R按钮54J被设置在壳体50的斜上侧部分(左上侧部分和右上侧部分)。具体地说，第一L按钮54I被设置在板状的壳体50的上侧侧面的左端，从上侧和左侧的侧面露出。另外，第一R按钮54J被设置在壳体50的上侧侧面的右端，从上侧和右侧的侧面露出。这样，第一L按钮54I被配置在用户能够用左手食指操作的位置处，第一R按钮54J被配置在用户能够用右手食指操作的位置处(参照图9)。

另外，如图8的(b)图和(c)图所示，第二L按钮54K和第二R按钮54L被配置在突出设置于板状的壳体50的背面(即，与设置LCD 50的正面相反的面)的脚部59A和59B上。具体地说，第二L按钮54K设置在壳体50背面的左侧(从正面侧观察时的左侧)稍靠上方的位置，第二R按钮54L设置在壳体50背面的右侧(从正面侧观察时的右侧)稍靠上方的位置。换言之，第二L按钮54K设置在与被设置于正面的左类比摇杆53A大致相反侧的位置处，第二R按钮54L设置在与被设置于正面的右类比摇杆53B大致相反侧的位置处。这样，第二L按钮54K被配置在用户能够用左手中指操作的位置处，第二R按钮54L被配置在用户能够用右手中指操作的位置处(参照图9)。另外，第二L按钮54K和第二R按钮54L如图8的(c)图所示那样被设置在上述脚部59A和59B的朝向斜上方的面上，具有朝向斜上方的按钮面。一般认为在用户握持终端装置7的情况下中指沿上下方向移动，因此通过使按钮面朝向上方，易于使用户按下第二L按钮54K和第二R按钮54L。另外，通过在壳体50的背面设置脚部，用户易于握持壳体50，并且，通过在脚部上设置按钮，容易在握持壳体50的状态下进行操作。

此外，关于图8所示的终端装置7，由于第二L按钮54K和第二R按钮54L被设置在背面，因此在以LCD 51的屏幕(壳体50的正面)朝上的状态载置终端装置7的情况下，有时屏幕不完全处于水平。因此，在其它实施方式中，也可以在壳体50的背面形成三个以上的脚部。由此，在LCD 51的屏幕朝上的状态下，通过脚部接触载置面，能够将终端装置7载置在载置面上，因此能够以屏幕处于水平的方式载置终端装置7。另外，也可以通过追加可安装和拆卸的脚部，来水平地载置终端装置7。

对各按钮54A～54L适当地分配与游戏程序相应的功能。例如，十字按钮54A以及按钮54E～54H也可以用于方向指示操作、选择操作等，各按钮54B～54E也可以用于确定操作、取消操作等。

此外，虽然没有图示，但是终端装置7具有用于接通/断开终端装置7的电源的电源按钮。另外，终端装置7也可以具有用于开启/关闭LCD 51的画面显示的按钮、用于进行与游戏装置3的连接设定(配对)的按钮、用于调节扬声器(图10所示的扬声器67)的音量的按钮。

如图8的(a)图所示，终端装置7在壳体50的正面上具备由标记器55A和标记器55B构成的标记部(图10所示的标记部55)。标记部55被设置在LCD 51的上侧。各标记器55A和标记器55B与标记装置6的各标记器6R和6L同样地由一个以上的红外LED构成。与上述标记装置6同样地，在游戏装置3计算控制器5的移动等时使用标记部55。另外，游戏装置3能够控制标记部55所具备的各红外LED的点亮。

终端装置7具备作为摄像单元的摄像头56。摄像头56包括具有规定的分辨率的摄像元件(例如CCD图像传感器、CMOS图像传感器等)和透镜。如图8所示，在本实施方式中，摄像头56设置于壳体50的正面。因而，摄像头56能够拍摄拿着终端装置7的用户的脸，例如能够拍摄正在一边观看LCD 51一边进行游戏时的用户。

此外，终端装置7具备作为声音输入单元的麦克风(图10所示的麦克风69)。在壳体50的正面设置有麦克风用孔60。麦克风69设置于该麦克风用孔60内的、壳体50的内部。麦克风检测用户的声音等终端装置7周围的声音。

终端装置7具备作为声音输出单元的扬声器(图10所示的扬声器67)。如图8的(d)图所示，在壳体50的下侧侧面上设置有扬声器孔57。从该扬声器孔57输出扬声器67的输出声音。在本实施方式中，终端装置7具备两个扬声器，在左扬声器和右扬声器的位置处分别设置有扬声器孔57。

另外，终端装置7具备用于将其它装置连接在终端装置7上的扩展连接器58。在本实施方式中，如图8的(d)图所示，扩展连接器58设置在壳体50的下侧侧面上。此外，与扩展连接器58连接的其它装置可以是任意的装置，例如可以是在特定的游戏中使用的控制器(枪型的控制器等)、键盘等输入装置。如果不需要连接其它装置，则也可以不设置扩展连接器58。

此外，关于图8所示的终端装置7，各操作按钮、壳体50的形状、各结构要素的数量以及设置位置等只不过是一个单纯的例子，也可以是其它形状、数量以及设置位置。

接着，参照图10来说明终端装置7的内部结构。图10是表示终端装置7的内部结构的框图。如图10所示，终端装置7除了具备图8所示的结构以外，还具备触摸面板控制器61、磁传感器62、加速度传感器63、陀螺仪传感器64、用户接口控制器(UI控制器)65、编解码器LSI 66、扬声器67、语音IC(Integrated Circuit：集成电路)68、麦克风69、无线模块70、天线71、红外线通信模块72、快闪存储器73、电源IC 74以及电池75。这些电子部件被安装在电子电路基板上而收纳在壳体50内。

UI控制器65是用于控制对于各种输入输出部的数据的输入输出的电路。UI控制器65与触摸面板控制器61、类比摇杆53(类比摇杆53A和53B)、操作按钮54(各操作按钮54A～54L)、标记部55、磁传感器62、加速度传感器63以及陀螺仪传感器64相连接。另外，UI控制器65与编解码器LSI 66和扩展连接器58相连接。另外，UI控制器65上连接有电源IC 74，通过UI控制器65向各部分提供电力。电源IC 74上连接有内置的电池75以提供电力。另外，能够将可从外部电源获取电力的充电器76或线缆通过连接器等连接在电源IC 74上，能够使用该充电器76或线缆对终端装置7进行从外部电源的电力提供以及充电。此外，也可以通过将终端装置7安装在未图示的具有充电功能的底座(cradle)上来对终端装置7进行充电。

触摸面板控制器61与触摸面板52相连接，是对触摸面板52进行控制的电路。触摸面板控制器61根据来自触摸面板52的信号生成规定形式的触摸位置数据并输出到UI控制器65。触摸位置数据表示在触摸面板52的输入面上进行了输入的位置的坐标。此外，触摸面板控制器61以每隔规定时间进行一次的比例来读取来自触摸面板52的信号以及生成触摸位置数据。另外，从UI控制器65向触摸面板控制器61输出针对触摸面板52的各种控制指示。

类比摇杆53向UI控制器65输出表示由用户用手指进行操作的摇杆部滑动(或倾斜)的方向以及量的摇杆数据。另外，操作按钮54向UI控制器65输出表示对各操作按钮54A～54L的输入状况(是否被按下)的操作按钮数据。

磁传感器62通过检测磁场的大小和方向来检测方位。表示所检测到的方位的方位数据被输出到UI控制器65。另外，从UI控制器65向磁传感器62输出针对磁传感器62的控制指示。关于磁传感器62，有利用MI(磁阻抗)元件、磁通门传感器(Fluxgatesensor)、霍尔元件、GMR(giant magneto-resistive；巨磁电阻)元件、TMR(tunnel magneto-resistance；隧道磁电阻)元件、或者AMR(anisotropic magneto-resistance；各向异性磁电阻)元件等的传感器，但是只要能够检测方位，就可以使用任意的传感器。此外，严格来说，在产生了除地磁场以外的磁场的场所，所得到的方位数据并不表示方位，但是即使在这种情况下，由于在终端装置7进行移动时方位数据发生变化，因此也能够计算出终端装置7的姿势的变化。

加速度传感器63设置在壳体50的内部，检测沿三轴(图8的(a)图所示的xyz轴)方向的直线加速度的大小。具体地说，加速度传感器63以壳体50的长边方向为x轴，以壳体50的短边方向为y轴，以与壳体50的正面垂直的方向为z轴，来检测各轴的直线加速度的大小。表示所检测出的加速度的加速度数据被输出到UI控制器65。另外，从UI控制器65向加速度传感器63输出针对加速度传感器63的控制指示。加速度传感器63在本实施方式中例如为静电电容式的MEMS型加速度传感器，但是在其它实施方式中也可以使用其它方式的加速度传感器。另外，加速度传感器63也可以是检测单轴或双轴方向的加速度传感器。

陀螺仪传感器64设置在壳体50的内部，检测绕上述x轴、y轴以及z轴这三个轴的角速度。表示所检测出的角速度的角速度数据被输出到UI控制器65。另外，从UI控制器65向陀螺仪传感器64输出针对陀螺仪传感器64的控制指示。此外，用于检测三轴的角速度的陀螺仪传感器的数量和组合可以是任意的，陀螺仪传感器64也可以与陀螺仪传感器48同样地由双轴陀螺仪传感器和单轴陀螺仪传感器构成。另外，陀螺仪传感器64还可以是检测单轴或双轴方向的陀螺仪传感器。

UI控制器65将包含从上述各结构要素接收到的触摸位置数据、摇杆数据、操作按钮数据、方位数据、加速度数据以及角速度数据的操作数据输出到编解码器LSI 66。此外，在通过扩展连接器58将其它装置连接在终端装置7上的情况下，也可以使上述操作数据还包含表示对该其它装置进行的操作的数据。

编解码器LSI 66是对向游戏装置3发送的数据进行压缩处理以及对从游戏装置3发送的数据进行解压缩处理的电路。编解码器LSI 66上连接有LCD 51、摄像头56、语音IC 68、无线模块70、快闪存储器73以及红外线通信模块72。另外，编解码器LSI66包括CPU 77和内部存储器78。终端装置7是不进行游戏处理本身的结构，但是需要执行用于终端装置7的管理、通信的最小限度的程序。在接通电源时，通过将保存在快闪存储器73中的程序读取到内部存储器78中来由CPU 77执行该程序，从而启动终端装置7。另外，内部存储器78的一部分区域被用作用于LCD51的VRAM。

摄像头56按照来自游戏装置3的指示拍摄图像，将拍摄到的图像数据输出到编解码器LSI 66。另外，从编解码器LSI 66向摄像头56输出图像的摄像指示等针对摄像头56的控制指示。此外，摄像头56还能够进行运动图像的摄影。即，摄像头56也能够反复进行拍摄来将图像数据反复输出到编解码器LSI 66。

语音IC 68与扬声器67及麦克风69相连接，是控制针对扬声器67和麦克风69的声音数据的输入输出的电路。即，在从编解码器LSI 66接收到声音数据的情况下，语音IC 68向扬声器67输出对该声音数据进行D/A转换后得到的声音信号，从扬声器67输出声音。另外，麦克风69检测传入终端装置7的声音(用户的声音等)，将表示该声音的声音信号输出到语音IC 68。语音IC 68对来自麦克风69的声音信号进行A/D转换，将规定形式的声音数据输出到编解码器LSI 66。

编解码器LSI 66通过无线模块70将来自摄像头56的图像数据、来自麦克风69的声音数据以及来自UI控制器65的操作数据作为终端操作数据发送给游戏装置3。在本实施方式中，编解码器LSI 66对图像数据和声音数据进行与编解码器LSI 27同样的压缩处理。上述终端操作数据以及压缩后的图像数据和声音数据作为发送数据被输出到无线模块70。在无线模块70上连接有天线71，无线模块70通过天线71向游戏装置3发送上述发送数据。无线模块70具有与游戏装置3的终端通信模块28相同的功能。即，无线模块70具有例如通过遵循IEEE802.11n标准的方式与无线LAN进行连接的功能。可以根据需要对发送的数据进行加密，也可以不加密。

如上所述，从终端装置7向游戏装置3发送的发送数据包含操作数据(终端操作数据)、图像数据以及声音数据。此外，在通过扩展连接器58将其它装置连接在终端装置7上的情况下，也可以使上述发送数据还包含从该其它装置接收到的数据。另外，红外线通信模块72与其它装置之间进行例如遵照IRDA(Infrared Data Association：红外数据协会)标准的红外线通信。编解码器LSI 66也可以根据需要使通过红外线通信接收到的数据包含于上述发送数据中后发送到游戏装置3。

另外，如上所述，从游戏装置3向终端装置7发送压缩后的图像数据和声音数据。这些数据通过天线71和无线模块70被编解码器LSI 66所接收。编解码器LSI 66对接收到的图像数据和声音数据进行解压缩。解压缩后的图像数据被输出到LCD 51，从而图像被显示在LCD 51上。另外，解压缩得到的声音数据被输出到语音IC 68，语音IC 68从扬声器67输出声音。

另外，在从游戏装置3接收到的数据中包含控制数据的情况下，编解码器LSI 66和UI控制器65对各部分进行按照控制数据的控制指示。如上所述，控制数据是表示针对终端装置7所具备的各结构要素(在本实施方式中，摄像头56、触摸面板控制器61、标记部55、各传感器62～64以及红外线通信模块72)的控制指示的数据。在本实施方式中，作为控制数据所表示的控制指示，考虑使上述结构要素进行动作或使动作中止(停止)的指示。即，也可以为了抑制电力消耗而中止游戏中不使用的结构要素，在这种情况下，设为从终端装置7向游戏装置3发送的发送数据不包含来自己中止的结构要素的数据。此外，标记部55是红外LED，因此控制仅需启动/停止电力提供即可。

如上所述，终端装置7具备触摸面板52、类比摇杆53以及操作按钮54这样的操作单元，但是在其它实施方式中，也可以是代替这些操作单元而具备其它操作单元的结构或者既具备这些操作单元还具备其它操作单元的结构。

另外，终端装置7具备磁传感器62、加速度传感器63以及陀螺仪传感器64来作为用于计算终端装置7的移动(包括位置、姿势或者位置的变化、姿势的变化)的传感器，但是在其它实施方式中，也可以是仅具备这些传感器中的一个或两个传感器的结构。另外，在其它实施方式中，也可以是代替这些传感器而具备其它传感器的结构或者既具备这些传感器还具备其它传感器的结构。

另外，终端装置7是具备摄像头56和麦克风69的结构，但是在其它实施方式中，也可以不具备摄像头56和麦克风69，还可以仅具备摄像头56和麦克风69中的某一个。

另外，终端装置7构成为具备标记部55来作为用于计算终端装置7与控制器5之间的位置关系(从控制器5观察的终端装置7的位置和/或姿势等)的结构，但是在其它实施方式中，也可以构成为不具备标记部55的结构。另外，在其它实施方式中，终端装置7也可以具备其它单元来作为用于计算上述位置关系的结构。例如，在其它实施方式中，也可以构成为控制器5具备标记部而终端装置7具备摄像元件。并且在这种情况下，标记装置6也可以构成为代替红外LED而具备摄像元件的结构。

[5.游戏处理]

接着，详细说明在本游戏系统中执行的游戏处理。首先，针对在游戏处理中使用的各种数据进行说明。图11是表示在游戏处理中使用的各种数据的图。图11是表示游戏装置3的主存储器(外部主存储器12或者内部主存储器11e)中所存储的主要数据的图。如图11所示，在游戏装置3的主存储器中存储游戏程序90、接收数据91以及处理用数据106。此外，在主存储器中除了存储图11所示的数据以外，还存储游戏中出现的各种对象的图像数据、游戏中使用的声音数据等游戏所需要的数据。

在对游戏装置3接通电源后的适当的时刻从光盘4读入游戏程序90的一部分或者全部并存储到主存储器中。此外，也可以代替光盘4而从快闪存储器17或者游戏装置3的外部装置(例如经由因特网)获取游戏程序90。另外，也可以将游戏程序90中包含的一部分程序(例如用于计算控制器5和/或终端装置7的姿势的程序)预先存储到游戏装置3内。

接收数据91是从控制器5和终端装置7接收到的各种数据。接收数据91包含控制器操作数据92、终端操作数据97、摄像头图像数据104以及麦克风声音数据105。在连接多个控制器5的情况下，控制器操作数据92也变成多个。在连接多个终端装置7的情况下，终端操作数据97、摄像头图像数据104以及麦克风声音数据105也变成多个。

控制器操作数据92是表示用户(玩家)对控制器5的操作的数据。控制器操作数据92从控制器5被发送后由游戏装置3获取，并被存储到主存储器中。控制器操作数据92包含第一操作按钮数据93、第一加速度数据94、第一角速度数据95以及标记器坐标数据96。此外，在主存储器中也可以从最新的(最后获取到的)数据开始按顺序存储规定个数的控制器操作数据。

第一操作按钮数据93是表示对设置在控制器5上的各操作按钮32a～32i的输入状态的数据。具体地说，第一操作按钮数据93表示各操作按钮32a～32i是否被按下。

第一加速度数据94是表示由控制器5的加速度传感器37检测出的加速度(加速度矢量)的数据。在此，第一加速度数据94表示将与图3所示的XYZ三轴方向有关的加速度作为各成分的三维加速度，但是在其它实施方式中，只要表示与一个以上的任意的方向有关的加速度即可。

第一角速度数据95是表示由控制器5中的陀螺仪传感器48检测出的角速度的数据。在此，第一角速度数据95表示绕图3所示的XYZ三轴方向的各个角速度，但是在其它实施方式中，只要表示绕一个以上的任意的轴的角速度即可。

标记器坐标数据96是表示由摄像信息运算部35的图像处理电路41计算的坐标、即上述标记器坐标的数据。以用于表示与摄像图像相对应的平面上的位置的二维坐标系来表现标记器坐标，标记器坐标数据96表示该二维坐标系中的坐标值。

此外，控制器操作数据92只要是表示操作控制器5的用户的操作的数据即可，也可以仅包含上述各数据93～96中的一部分。另外，在控制器5具有其它输入单元(例如触摸面板、类比摇杆等)的情况下，控制器操作数据92也可以包含表示对该其它输入单元的操作的数据。此外，在如本实施方式那样将控制器5本身的移动用作游戏操作的情况下，使控制器操作数据92包含如第一加速度数据94、第一角速度数据95或者标记器坐标数据96那样值与控制器5本身的移动相应地变化的数据。

终端操作数据97是表示用户对终端装置7的操作的数据。终端操作数据97从终端装置7被发送后由游戏装置3获取，并被存储到主存储器中。终端操作数据97包含第二操作按钮数据98、摇杆数据99、触摸位置数据100、第二加速度数据101、第二角速度数据102以及方位数据。此外，在主存储器中也可以从最新的(最后获取到的)数据开始按顺序存储规定个数的终端操作数据。

第二操作按钮数据98是表示对设置在终端装置7上的各操作按钮54A～54L的输入状态的数据。具体地说，第二操作按钮数据98表示各操作按钮54A～54L是否被按下。

摇杆数据99是表示类比摇杆53(类比摇杆53A和53B)的摇杆部所滑动的(或者倾斜的)方向和量的数据。上述方向和量例如也可以表示为二维坐标或者二维矢量。

触摸位置数据100是表示在触摸面板52的输入面上进行输入的位置(触摸位置)的数据。在本实施方式中，触摸位置数据100表示用于示出上述输入面上的位置的二维坐标系上的坐标值。此外，在触摸面板52是多点触摸方式的情况下，触摸位置数据100有时也表示多个触摸位置。

第二加速度数据101是表示由加速度传感器63检测出的加速度(加速度矢量)的数据。在本实施方式中，第二加速度数据101表示将与图8所示的xyz三轴方向有关的加速度作为各成分的三维加速度，但是在其它实施方式中，只要表示与一个以上的任意方向有关的加速度即可。

第二角速度数据102是表示由陀螺仪传感器64检测出的角速度的数据。在本实施方式中，第二角速度数据102表示绕图8所示的xyz三轴的各个角速度，但是在其它实施方式中，只要表示绕一个轴以上的任意轴的角速度即可。

方位数据103是表示由磁传感器62检测出的方位的数据。在本实施方式中，方位数据103以终端装置7为基准表示规定的方位(例如北)的朝向。但是，在产生了除地磁场以外的磁场的场所中，方位数据103虽然不会严格表示绝对的方位(北等)，但是表示终端装置7相对于该场所的磁场方向的相对方向，因此在这种情况下也能够计算终端装置7的姿势变化。

此外，终端操作数据97只要是表示操作终端装置7的用户的操作的数据即可，也可以仅包含上述各数据98～103中的某一个。另外，在终端装置7具有其它输入单元(例如触控板、控制器5的摄像单元等)的情况下，终端操作数据97也可以包含表示对该其它输入单元的操作的数据。此外，在如本实施方式那样将终端装置7本身的移动用作游戏操作的情况下，使终端操作数据97包含如第二加速度数据101、第二角速度数据102或者方位数据103那样值与终端装置7本身的移动相应地变化的数据。

摄像头图像数据104是表示由终端装置7的摄像头56拍摄到的图像(摄像头图像)的数据。摄像头图像数据104是将来自终端装置7的压缩后的图像数据通过编解码器LSI 27解压缩得到的图像数据，由输入输出处理器11a将其存储到主存储器中。此外，在主存储器中也可以从最新的(最后获取到的)数据开始按顺序存储规定个数的摄像头图像数据。

麦克风声音数据105是表示由终端装置7的麦克风69检测出的声音(麦克风声音)的数据。麦克风声音数据105是将从终端装置7发送过来的压缩后的声音数据通过编解码器LSI 27解压缩得到的声音数据，由输入输出处理器11a将其存储到主存储器中。

处理用数据106是在后述的游戏处理(图12)中使用的数据。处理用数据106包含控制数据107、控制器姿势数据108、终端姿势数据109、图像识别数据110以及声音识别数据111。此外，除了图11所示的数据以外，处理用数据106还包含表示对在游戏中出现的各种对象设定的各种参数的数据等在游戏处理中使用的各种数据。

控制数据107是表示对终端装置7所具备的结构要素的控制指示的数据。控制数据107例如表示控制标记部55的点亮的指示、控制摄像头56的拍摄的指示等。控制数据107在适当的时刻被发送到终端装置7。

控制器姿势数据108是表示控制器5的姿势的数据。在本实施方式中，控制器姿势数据108是根据包含在上述控制器操作数据92中的第一加速度数据94、第一角速度数据95以及标记器坐标数据96计算出的。关于控制器姿势数据108的计算方法，稍后在步骤S23中记述。

终端姿势数据109是表示终端装置7的姿势的数据。在本实施方式中，终端姿势数据109是根据包含在上述终端操作数据97中的第二加速度数据101、第二角速度数据102以及方位数据103计算出的。关于终端姿势数据109的计算方法，稍后在步骤S24中记述。

图像识别数据110是表示对上述摄像头图像进行的规定的图像识别处理的结果的数据。该图像识别处理只要是从摄像头图像中检测某些特征并输出其结果的处理，就可以是任意的处理，例如可以是从摄像头图像中抽取规定的对象(例如用户的脸或者标记器等)并计算与抽取出的对象有关的信息的处理。

声音识别数据111是表示对上述麦克风声音进行的规定的声音识别处理的结果的数据。该声音识别处理只要是从麦克风声音中检测某些特征并输出其结果的处理，就可以是任意的处理，例如既可以是检测用户的语言的处理，也可以是仅输出音量的处理。

接着，参照图12详细说明在游戏装置3中进行的游戏处理。图12是表示在游戏装置3中执行的游戏处理的流程的主要流程图。当游戏装置3的电源被接通时，游戏装置3的CPU 10执行存储在未图示的引导ROM中的启动程序，由此将主存储器等各单元进行初始化。然后，将存储在光盘4中的游戏程序读入到主存储器中，由CPU 10开始执行该游戏程序。此外，在游戏装置3中，既可以是在电源接通后立即执行存储在光盘4中的游戏程序的结构，也可以是在电源接通后首先执行显示规定的菜单画面的内置程序并在此之后在由用户指示游戏开始时执行存储在光盘4中的游戏程序的结构。图12所示的流程图是表示在以上处理完成后进行的处理的流程图。

此外，图12所示的流程图的各步骤的处理只是一个例子，只要能够得到同样的结果，也可以改变各步骤的处理顺序。另外，变量的值、在判断步骤中使用的阈值也都只是一个例子，可以根据需要采用其它的值。另外，在本实施方式中，设为由CPU 10执行上述流程图的各步骤的处理来进行说明，但是也可以由CPU 10以外的处理器或者专用电路执行上述各步骤的一部分步骤的处理。

首先，在步骤S1中，CPU 10执行初始处理。初始处理例如是如下处理：构建虚拟的游戏空间并将在游戏空间中出现的各对象配置在初始位置处，或者对在游戏处理中使用的各种参数的初始值进行设定。

另外，在本实施方式中，在初始处理中，CPU 10根据游戏程序的种类来控制标记装置6和标记部55的点亮。在此，游戏系统1具有标记装置6和终端装置7的标记部55这两者来作为控制器5的摄像单元(摄像信息运算部35)的摄像对象。根据游戏内容(游戏程序的种类)的不同，使用标记装置6和标记部55中的某一方或者使用两方。此外，在游戏程序90中包含有表示是否使各标记装置6和标记部55点亮的数据。CPU 10读取出该数据并判断是否点亮。然后，在要使标记装置6和/或标记部55点亮的情况下，执行下面的处理。

即，在要点亮标记装置6的情况下，CPU 10向标记装置6发送表示使标记装置6所具备的各红外LED点亮的控制信号。该控制信号的发送也可以只是提供电力的意思。与此相应地标记装置6的各红外LED被点亮。另一方面，在要点亮标记部55的情况下，CPU 10生成表示将标记部55点亮的指示的控制数据并存储到主存储器中。所生成的控制数据在后述的步骤S10中被发送到终端装置7。由终端装置7的无线模块70接收到的控制数据通过编解码器LSI 66被发送到UI控制器65，UI控制器65对标记部55进行点亮的指示。由此，标记部55的红外LED点亮。此外，上述内容说明了使标记装置6和标记部55点亮的情况，但也能够通过与点亮的情况同样的处理来进行标记装置6和标记部55的熄灭。

在以上的步骤S1之后执行步骤S2的处理。以后，由步骤S2～S11的一系列处理形成的处理循环以每隔规定时间(一帧时间)进行一次的比例来重复执行。

在步骤S2中，CPU 10获取从控制器5发送过来的控制器操作数据。控制器5向游戏装置3反复发送控制器操作数据，因此在游戏装置3中，控制器通信模块19依次接收该控制器操作数据，并将接收到的控制器操作数据通过输入输出处理器11a依次存储到主存储器中。优选的是发送接收的间隔比游戏的处理时间短，例如1/200秒。在步骤S2中，CPU 10从主存储器读取最新的控制器操作数据92。在步骤S2之后执行步骤S3的处理。

在步骤S3中，CPU 10获取从终端装置7发送过来的各种数据。终端装置7向游戏装置3反复发送终端操作数据、摄像头图像数据以及麦克风声音数据，因此游戏装置3依次接收这些数据。在游戏装置3中，终端通信模块28依次接收这些数据，由编解码器LSI 27对摄像头图像数据和麦克风声音数据依次实施解压缩处理。然后，输入输出处理器11a将终端操作数据、摄像头图像数据以及麦克风声音数据依次存储到主存储器中。在步骤S3中，CPU 10从主存储器读取最新的终端操作数据97。在步骤S3之后执行步骤S4的处理。

在步骤S4中，CPU 10执行游戏控制处理。游戏控制处理是按照用户进行的游戏操作来执行使游戏空间内的对象进行动作的处理等来推进游戏的处理。在本实施方式中，用户能够利用控制器5和/或终端装置7进行各种游戏。下面，参照图13说明游戏控制处理。

图13是表示游戏控制处理的详细流程的流程图。此外，图13所示的一系列处理是在将控制器5和终端装置7用作操作装置的情况下能够执行的各种处理，但是不需要执行各处理的全部，可以根据游戏的种类、内容的不同，仅执行一部分处理。

在游戏控制处理中，首先，在步骤S21中，CPU 10判断是否变更要使用的标记器。如上所述，在本实施方式中，在开始游戏处理时(步骤S1)，执行对标记装置6和标记部55的点亮进行控制的处理。在此，还考虑到根据游戏的不同而在游戏中途变更标记装置6和标记部55之中要使用的(要点亮的)对象的情况。另外，也考虑到根据游戏的不同而使用标记装置6和标记部55这两方的情形，但是如果使两方都点亮，则有可能导致将一方的标记器错误地检测为另一方的标记器。因此，也有时优选在游戏过程中以仅点亮某一方的方式切换点亮来使用。步骤S21的处理是考虑到上述情况而判断在游戏中途是否变更要点亮的对象的处理。

例如能够通过下面的方法进行上述步骤S21的判断。即，CPU 10能够根据游戏状况(游戏的平台或者操作对象等)是否发生了变化来进行上述判断。这是因为考虑到在游戏状况发生变化的情况下，要在朝向标记装置6来操作控制器5的操作方法与朝向标记部55来操作控制器5的操作方法之间变更操作方法。另外，CPU 10能够根据控制器5的姿势进行上述判断。即，能够根据控制器5是朝向标记装置6还是朝向标记部55来进行上述判断。此外，能够根据例如加速度传感器37、陀螺仪传感器48的检测结果来计算出控制器5的姿势(参照后述的步骤S23)。另外，CPU 10也能够根据是否存在用户进行的变更指示来进行上述判断。

在上述步骤S21的判断结果是肯定的情况下，执行步骤S22的处理。另一方面，在上述步骤S21的判断结果是否定的情况下，跳过步骤S22的处理而执行步骤S23的处理。

在步骤S22中，CPU 10控制标记装置6和标记部55的点亮。即，对标记装置6和/或标记部55的点亮状态进行变更。此外，能够与上述步骤S1的情况同样地进行点亮或者熄灭标记装置6和/或标记部55的具体处理。在步骤S22之后执行步骤S23的处理。

如上所述，根据本实施方式，通过上述步骤S1的处理，能够与游戏程序的种类相应地控制标记装置6和标记部55的发光(点亮)，并且通过上述步骤S21和S22的处理，能够与游戏状况相应地控制标记装置6和标记部55的发光(点亮)。

在步骤S23中，CPU 10计算控制器5的姿势。在本实施方式中，根据第一加速度数据94、第一角速度数据95以及标记器坐标数据96来计算控制器5的姿势。下面，针对控制器5的姿势的计算方法进行说明。

首先，CPU 10根据存储在主存储器中的第一角速度数据95来计算控制器5的姿势。根据角速度计算控制器5的姿势的方法可以是任意的方法，利用前次的姿势(前次计算出的姿势)和本次的角速度(本次处理循环中的步骤S2中获取的角速度)来计算该姿势。具体地说，CPU 10通过使前次的姿势以本次的角速度旋转单位时间来计算姿势。此外，利用存储在主存储器中的控制器姿势数据108来表示前次的姿势，利用存储在主存储器中的第一角速度数据95来表示本次的角速度。因而，CPU 10从主存储器读取控制器姿势数据108和第一角速度数据95，来计算控制器5的姿势。表示如上述那样计算出的“基于角速度的姿势”的数据被存储到主存储器中。

此外，在根据角速度计算姿势的情况下，最好事先确定初始姿势。也就是说，在根据角速度计算控制器5的姿势的情况下，CPU 10最初事先计算出控制器5的初始姿势。控制器5的初始姿势可以根据加速度数据进行计算，也可以通过在将控制器5形成特定的姿势的状态下使玩家进行规定操作来将在进行了规定操作的时刻的特定姿势用作初始姿势。此外，在控制器5的姿势被计算为以空间中的规定方向为基准的绝对姿势的情况下最好计算上述初始姿势，但是例如在控制器5的姿势被计算为以游戏开始时刻的控制器5的姿势为基准的相对姿势的情况下，也可以不计算上述初始姿势。

接着，CPU 10利用第一加速度数据94来校正根据角速度计算出的控制器5的姿势。具体地说，CPU 10首先从主存储器读取第一加速度数据94，根据第一加速度数据94来计算控制器5的姿势。在此，在控制器5几乎静止的状态下，意味着对控制器5施加的加速度是重力加速度。因而，在该状态下，能够利用由加速度传感器37输出的第一加速度数据94来计算重力加速度的方向(重力方向)，因此能够根据该第一加速度数据94计算控制器5相对于重力方向的朝向(姿势)。表示如上述那样计算出的“基于加速度的姿势”的数据被存储到主存储器中。

当计算出基于加速度的姿势时，CPU 10接着利用基于加速度的姿势来校正基于角速度的姿势。具体地说，CPU 10从主存储器读取出表示基于角速度的姿势的数据和表示基于加速度的姿势的数据，进行使基于角速度数据的姿势以规定的比例向基于加速度数据的姿势接近的校正。该规定的比例可以是预先决定的固定值，也可以根据第一加速度数据94所表示的加速度等进行设定。另外，关于基于加速度的姿势，无法针对以重力方向为轴的旋转方向计算姿势，因此CPU 10也可以关于该旋转方向不进行校正。在本实施方式中，表示如上所述获得的校正后的姿势的数据被存储到主存储器中。

在如上所述那样校正了基于角速度的姿势之后，CPU 10利用标记器坐标数据96对校正后的姿势进一步进行校正。首先，CPU 10根据标记器坐标数据96来计算控制器5的姿势(基于标记器坐标的姿势)。标记器坐标数据96表示标记器6R和6L在摄像图像内的位置，因此能够根据这些位置来计算与侧倾方向(绕Z轴的旋转方向)有关的控制器5的姿势。也就是说，能够根据在摄像图像内将标记器6R的位置与标记器6L的位置连接得到的直线的斜率来计算与侧倾方向有关的控制器5的姿势。另外，在能够确定控制器5相对于标记装置6的位置的情况下(例如在能够假定为控制器5位于标记装置6的正面的情况下)，能够根据标记装置6在摄像图像内的位置，计算与俯仰方向和横摆方向有关的控制器5的姿势。例如，在摄像图像内标记器6R和6L的位置移动到左边的情况下，能够判断为控制器5将朝向(姿势)变为向右。这样，能够根据标记器6R和标记器6L的位置来计算与俯仰方向和横摆方向有关的控制器5的姿势。通过上述处理，能够根据标记器坐标数据96来计算控制器5的姿势。

当计算出基于标记器坐标的姿势时，CPU 10接着利用基于标记器坐标的姿势来对上述校正后的姿势(利用基于加速度的姿势进行校正后的姿势)进行校正。即，CPU 10进行将校正后的姿势以规定的比例向基于标记器坐标的姿势接近的校正。该规定的比例可以是预先决定的固定值。另外，利用基于标记器坐标的姿势进行的校正也可以是仅对侧倾方向、俯仰方向以及横摆方向中的任一个方向或者任意两个方向进行。例如，在利用标记器坐标数据96的情况下，能够针对侧倾方向高精确度地计算姿势，因此CPU 10也可以利用基于标记器坐标数据96的姿势仅对侧倾方向进行校正。另外，在由控制器5的摄像元件40没有拍摄到标记装置6或者标记部55的情况下，无法计算基于标记器坐标数据96的姿势，因此在这种情况下也可以不执行利用标记器坐标数据96的校正处理。

根据上述内容，CPU 10利用第一加速度数据94和标记器坐标数据96对根据第一角速度数据95计算出的控制器5的第一姿势进行了校正。在此，通过用于计算控制器5的姿势的方法中的利用角速度的方法，无论控制器5正在如何移动，都能够计算姿势。另一方面，在利用角速度的方法中，通过累加依次检测出的角速度来计算姿势，因此有可能由于误差累积等而导致精确度变差，或者由于所谓的温度漂移的问题而导致陀螺仪传感器的精确度变差。另外，利用加速度的方法不会累积误差，但是在使控制器5剧烈移动的状态下，(由于无法正确地检测重力方向)无法高精确度地计算姿势。另外，利用标记器坐标的方法能够(特别是关于侧倾方向)高精确度地计算姿势，但是在拍摄不到标记部55的状态下，无法计算姿势。对此，根据本实施方式，如上述那样利用优点不同的三种方法，因此能够更正确地计算控制器5的姿势。此外，在其它实施方式中，也可以利用上述三种方法中的任一种或者任意两种方法来计算姿势。另外，在上述步骤S1或者S22的处理中进行标记器的点亮控制的情况下，优选的是，CPU 10至少利用标记器坐标来计算控制器5的姿势。

在上述步骤S23之后执行步骤S24的处理。在步骤S24中，CPU 10计算终端装置7的姿势。即，从终端装置7获取的终端操作数据97包含第二加速度数据101、第二角速度数据102以及方位数据103，因此CPU 10根据这些数据来计算终端装置7的姿势。在此，CPU 10能够根据第二角速度数据102获知终端装置7每单位时间的旋转量(姿势的变化量)。另外，在终端装置7几乎静止的状态下，意味着对终端装置7施加的加速度是重力加速度，因此根据第二加速度数据101能够获知对终端装置7施加的重力方向(即，以重力方向为基准的终端装置7的姿势)。另外，根据方位数据103能够获知以终端装置7为基准的规定的方位(即，以规定的方位为基准的终端装置7的姿势)。此外，在产生了地磁场以外的磁场的情况下，也能够获知终端装置7的旋转量。因而，CPU 10能够根据这些第二加速度数据101、第二角速度数据102以及方位数据103来计算终端装置7的姿势。此外，在本实施方式中，根据上述三个数据计算终端装置7的姿势，但是在其它实施方式中，也可以根据上述三个数据中的一个或两个数据来计算姿势。

此外，终端装置7的姿势的具体计算方法可以是任意的方法，例如考虑利用第二加速度数据101和方位数据103来对根据第二角速度数据102所表示的角速度计算出的姿势进行校正的方法。具体地说，CPU 10首先根据第二角速度数据102计算终端装置7的姿势。此外，根据角速度计算姿势的方法可以与上述步骤S23中的方法相同。接着，CPU 10在适当的时刻(例如在终端装置7接近静止状态的情况下)，利用根据第二加速度数据101计算出的姿势和/或根据方位数据103计算出的姿势来对根据角速度计算出的姿势进行校正。此外，用基于加速度的姿势来对基于角速度的姿势进行校正的方法可以是与计算控制器5的姿势的上述情况相同的方法。另外，在用基于方位数据的姿势来对基于角速度的姿势进行校正的情况下，CPU 10也可以使基于角速度的姿势以规定的比例向基于方位数据的姿势接近。根据以上内容，CPU 10能够正确地计算终端装置7的姿势。

此外，控制器5具备作为红外线检测单元的摄像信息运算部35，因此游戏装置3能够获取标记器坐标数据96。因此，游戏装置3能够从标记器坐标数据96获知控制器5在实际空间中的绝对姿势(在实际空间设定的坐标系中控制器5处于哪种姿势)。另一方面，终端装置7不具备如摄像信息运算部35那样的红外线检测单元。因此，游戏装置3仅从第二加速度数据101和第二角速度数据102无法获知实际空间中的关于以重力方向为轴的旋转方向的绝对姿势。因此，在本实施方式中，设终端装置7为具备磁传感器62的结构，游戏装置3获取方位数据103。由此，游戏装置3能够根据方位数据103计算实际空间中的关于以重力方向为轴的旋转方向的绝对姿势，从而能够更正确地计算终端装置7的姿势。

作为上述步骤S24的具体处理，CPU 10从主存储器中读取第二加速度数据101、第二角速度数据102以及方位数据103，根据这些数据计算终端装置7的姿势。然后，将表示计算出的终端装置7的姿势的数据作为终端姿势数据109存储到主存储器中。在步骤S24之后执行步骤S25的处理。

在步骤S25中，CPU 10执行摄像头图像的识别处理。即，CPU 10对摄像头图像数据104进行规定的识别处理。该识别处理只要是从摄像头图像中检测某些特征并输出其结果的处理，就可以是任意的处理。例如，在摄像头图像包含有玩家的脸的情况下，也可以是识别脸的处理。具体地说，既可以是检测脸的一部分(眼、鼻、口等)的处理，也可以是检测脸的表情的处理。另外，表示识别处理的结果的数据作为图像识别数据110而被存储到主存储器中。在步骤S25之后执行步骤S26的处理。

在步骤S26中，CPU 10执行麦克风声音的识别处理。即，CPU 10对麦克风声音数据105进行规定的识别处理。该识别处理只要是从麦克风声音中检测某些特征并输出其结果的处理，就可以是任意的处理。例如，既可以是从麦克风声音中检测玩家的指示的处理，也可以是仅检测麦克风声音的音量的处理。另外，表示识别处理的结果的数据作为声音识别数据111被存储到主存储器中。在步骤S26之后执行步骤S27的处理。

在步骤S27中，CPU 10执行与游戏输入相应的游戏处理。在此，游戏输入只要是从控制器5或者终端装置7发送过来的数据或者根据该数据得到的数据，就可以是任意的数据。具体地说，游戏输入除了是控制器操作数据92和终端操作数据97中包含的各数据以外，还可以是根据该各数据得到的数据(控制器姿势数据108、终端姿势数据109、图像识别数据110以及声音识别数据111)。另外，步骤S27中的游戏处理的内容可以是任意的，例如可以是使出现在游戏中的对象(角色)进行动作的处理、控制虚拟摄像机的处理、或者对显示在画面上的光标进行移动的处理。另外，还可以是将摄像头图像(或者其一部分)用作游戏图像的处理、或者将麦克风声音用作游戏声音的处理等。此外，关于上述游戏处理的例子，稍后记述。在步骤S27中，例如将对出现在游戏中的角色(对象)设定的各种参数的数据、与配置在游戏空间的虚拟摄像机有关的参数的数据、得分的数据等表示游戏控制处理的结果的数据存储到主存储器中。在步骤S27之后，CPU 10结束步骤S4的游戏控制处理。

返回图12的说明，在步骤S5中，由CPU 10和GPU 11b生成用于显示在电视机2上的电视机用游戏图像。即，CPU 10和GPU11b从主存储器中读取表示步骤S4的游戏控制处理的结果的数据，另外，从VRAM 11d读取生成游戏图像所需的数据，来生成游戏图像。游戏图像只要表示步骤S4的游戏控制处理的结果，就可以通过任意的方法生成。例如，游戏图像的生成方法既可以是将虚拟摄像机配置在虚拟的游戏空间内来计算从虚拟摄像机观察到的游戏空间并由此生成三维的CG图像的方法，也可以是(不使用虚拟摄像机而)生成二维的图像的方法。所生成的电视机用游戏图像被存储到VRAM 11d中。在上述步骤S5之后执行步骤S6的处理。

在步骤S6中，由CPU 10和GPU 11b生成用于显示在终端装置7上的终端用游戏图像。终端用游戏图像也与上述电视机用游戏图像同样地只要表示步骤S4的游戏控制处理的结果，就可以通过任意的方法生成。另外，终端用游戏图像既可以通过与上述电视机用游戏图像同样的方法生成，也可以通过不同的方法生成。所生成的终端用游戏图像被存储到VRAM 11d中。此外，根据游戏内容，电视机用游戏图像与终端用游戏图像可以相同，在这种情况下，也可以不在步骤S6中执行游戏图像的生成处理。在上述步骤S6之后执行步骤S7的处理。

在步骤S7中，生成用于输出到电视机2的扬声器2a的电视机用游戏声音。即，CPU 10使DSP 11c生成与步骤S4的游戏控制处理的结果相应的游戏声音。此外，所生成的游戏声音例如可以是游戏的效果音、出现在游戏中的角色的声音、背景音(BGM)等。在上述步骤S7之后执行步骤S8的处理。

在步骤S8中，生成用于输出到终端装置7的扬声器67的终端用游戏声音。即，CPU 10使DSP 11c生成与步骤S4的游戏控制处理的结果相应的游戏声音。此外，终端用游戏声音可以与上述电视机用游戏声音相同，也可以不同。另外，例如也可以如效果音不同但BGM相同那样，仅一部分不同。此外，在电视机用游戏声音与终端用游戏声音相同的情况下，也可以不在步骤S8中执行游戏声音的生成处理。在上述步骤S8之后执行步骤S9的处理。

在步骤S9中，CPU 10向电视机2输出游戏图像和游戏声音。具体地说，CPU 10向AV-IC 15发送存储在VRAM 11d中的电视机用游戏图像的数据和在步骤S7中由DSP 11c生成的电视机用游戏声音的数据。与此相应地，AV-IC 15通过AV连接器16向电视机2输出图像和声音的数据。由此，电视机用游戏图像被显示在电视机2上，并且从扬声器2a输出电视机用游戏声音。在步骤S9之后执行步骤S10的处理。

在步骤S10中，CPU 10向终端装置7发送游戏图像和游戏声音。具体地说，由CPU 10将存储在VRAM 11d中的终端用游戏图像的图像数据和在步骤S 中由DSP 11c生成的声音数据发送到编解码器LSI 27，并由编解码器LSI 27进行规定的压缩处理。并且，被实施了压缩处理的图像和声音的数据通过终端通信模块28经由天线29发送到终端装置7。终端装置7利用无线模块70接收从游戏装置3发送过来的图像和声音的数据，由编解码器LSI 66进行规定的解压缩处理。进行了解压缩处理后的图像数据被输出到LCD 51，进行了解压缩处理后的声音数据被输出到语音IC 68。由此，终端用游戏图像被显示在LCD 51上，并且从扬声器67输出终端用游戏声音。在步骤S10之后执行步骤S11的处理。

在步骤S11中，CPU 10判断是否结束游戏。例如根据是否变成了游戏结束的状态或者用户是否进行了中止游戏的指示等来进行步骤S11的判断。在步骤S11的判断结果是否定的情况下，再次执行步骤S2的处理。另一方面，在步骤S11的判断结果是肯定的情况下，CPU 10结束图12所示的游戏处理。以后，重复执行步骤S2～S11的一系列处理直到在步骤S11中判断为结束游戏为止。

如上所述，在本实施方式中，终端装置7具备触摸面板52、加速度传感器63或者陀螺仪传感器64这样的惯性传感器，将触摸面板52和惯性传感器的输出作为操作数据发送到游戏装置3，来用作游戏的输入(步骤S3、S4)。并且，终端装置7具备显示装置(LCD 51)，将通过游戏处理得到的游戏图像显示在LCD 51上(步骤S6、S10)。因而，用户能够利用触摸面板52进行直接触摸游戏图像的操作，(由于由惯性传感器检测终端装置7的移动)还能够进行使显示游戏图像的LCD 51本身移动的操作。通过这些操作，用户能够以如直接对游戏图像进行操作那样的操作感觉进行游戏，因此例如能够提供如后述的第一和第二游戏例子那样的新式的操作感觉的游戏。

并且，在本实施方式中，终端装置7具备能够在握持终端装置7的状态下进行操作的类比摇杆53和操作按钮54，游戏装置3能够将对类比摇杆53和操作按钮54的操作用作游戏的输入(步骤S3、S4)。因而，在如上述那样对游戏图像直接进行操作的情况下，用户也能够通过按钮操作、摇杆操作来进行更详细的游戏操作。

并且，在本实施方式中，终端装置7具备摄像头56和麦克风69，将由摄像头56拍摄到的摄像头图像的数据和由麦克风69检测到的麦克风声音的数据发送到游戏装置3(步骤S3)。因而，游戏装置3能够将上述摄像头图像和/或麦克风声音用作游戏输入，因此用户还能够通过由摄像头56拍摄图像的操作、向麦克风69输入声音的操作来进行游戏操作。此外，由于能够在握持终端装置7的状态下进行这些操作，因此通过在如上所述那样对游戏图像直接进行操作的情况下进行这些操作，用户能够进行更多样的游戏操作。

另外，在本实施方式中，由于在可移动的终端装置7的LCD51上显示游戏图像(步骤S6、S10)，因此用户能够自由地配置终端装置7。因而，在将控制器5朝向标记器进行操作的情况下，用户通过将终端装置7配置在任意的位置处，能够将控制器5朝向任意的方向进行游戏，能够提高对控制器5进行操作的自由度。另外，由于能够将终端装置7配置在任意的位置处，因此例如后述的第五游戏例子那样，能够通过将终端装置7配置在适合于游戏内容的位置处来提供具有更强现实感的游戏。

另外，根据本实施方式，游戏装置3从控制器5和终端装置7获取操作数据等(步骤S2、S3)，因此用户能够将控制器5和终端装置7这两个装置用作操作单元。因而，在游戏系统1中，也能够由多位用户使用各装置来多人进行游戏，还能够由一位用户使用两个装置来进行游戏。

另外，根据本实施方式，游戏装置3生成两种游戏图像(步骤S5、S6)，能够使电视机2和终端装置7显示游戏图像(步骤S9、S10)。这样，通过使不同的装置显示两种游戏图像，能够提供对于用户来说更容易观看的游戏图像，能够提高游戏的操作性。例如，在两人进行游戏的情况下，如后述的第三或第四游戏例子那样，通过将对于其中一位用户来说容易观看的视点的游戏图像显示在电视机2上，将对于另一位用户来说容易观看的视点的游戏图像显示在终端装置7上，各玩家能够以容易观看的视点进行游戏。另外，例如即使在一人进行游戏的情况下，也如后述的第一、第二以及第五游戏例子那样，通过以不同的两个视点显示两种游戏图像，玩家能够更容易地掌握游戏空间的样子，能够提高游戏的操作性。

[6.游戏例子]

接着，针对在游戏系统1中进行的游戏的具体例进行说明。此外，在下面要说明的游戏例子中也存在不利用游戏系统1中的各装置的一部分结构的情况，还存在不执行图12和图13所示的一系列处理中的一部分处理的情况。也就是说，游戏系统1也可以不具备上述所有的结构，另外，游戏装置3也可以不执行图12和图13所示的一系列处理的一部分处理。

(第一游戏例子)

第一游戏例子是通过操作终端装置7来在游戏空间内使对象(手里剑)飞出的游戏。玩家能够通过改变终端装置7的姿势的操作和在触摸面板52上画线的操作，来指示发射手里剑的方向。

图14是表示第一游戏例子中的电视机2的屏幕和终端装置7的图。在图14中，在电视机2和终端装置7的LCD 51上显示有表示游戏空间的游戏图像。在电视机2上显示有手里剑121、控制面122以及靶123。在LCD 51上显示有控制面122(以及手里剑121)。在第一游戏例子中，玩家通过利用终端装置7的操作使手里剑121飞出并命中靶123来玩游戏。

在使手里剑121飞出的情况下，玩家首先通过操作终端装置7的姿势来改变配置在虚拟的游戏空间内的控制面122的姿势使其成为期望的姿势。即，CPU 10根据惯性传感器(加速度传感器63和陀螺仪传感器64)以及磁传感器62的输出来计算终端装置7的姿势(步骤S24)，根据计算出的姿势来改变控制面122的姿势(步骤S27)。在第一游戏例子中，控制面122的姿势被控制成与终端装置7在实际空间中的姿势相应的姿势。也就是说，玩家通过改变终端装置7(显示在终端装置7上的控制面122)的姿势，能够改变在游戏空间内控制面122的姿势。此外，在第一游戏例子中，控制面122的位置被固定在游戏空间中的规定位置。

接着，玩家利用触控笔124等在触摸面板52上进行画线的操作(参照图14所示的箭头)。在此，在第一游戏例子中，在终端装置7的LCD 51上以触摸面板52的输入面与控制面122相对应的方式显示控制面122。因而，根据在触摸面板52上画出的线，能够计算出在控制面122上的方向(该线所表示的方向)。手里剑121向通过这样决定的方向发射。根据以上内容，CPU 10根据触摸面板52的触摸位置数据100来计算在控制面122上的方向，进行使手里剑121向计算出的方向移动的处理(步骤S27)。此外，CPU 10例如也可以根据线的长度、画线的速度来控制手里剑121的速度。

如上所述，根据第一游戏例子，游戏装置3通过将惯性传感器的输出用作游戏输入，能够与终端装置7的移动(姿势)相应地移动控制面122，并且通过将触摸面板52的输出用作游戏输入，能够确定在控制面122上的方向。由此，玩家能够移动显示在终端装置7上的游戏图像(控制面122的图像)或者对该游戏图像进行触摸操作，因此能够以如对游戏图像直接进行操作那样的新式的操作感觉进行游戏。

另外，在第一游戏例子中，通过将惯性传感器和触摸面板52的传感器输出用作游戏输入，能够容易地对三维空间中的方向进行指示。即，玩家通过用一只手实际调整终端装置7的姿势，用另一只手在触摸面板52上以线的方式输入方向，能够通过如在空间内实际输入了方向那样的直观的操作容易地指示方向。并且，玩家能够同时并行地进行对终端装置7的姿势的操作和对触摸面板52的输入操作，因此能够迅速地进行对三维空间中的方向进行指示的操作。

另外，根据第一游戏例子，为了容易地对控制面122进行触摸输入的操作，在终端装置7上全屏显示控制面122。另一方面，在电视机2上显示包含整个控制面122和靶123的游戏空间的图像，使得容易掌握控制面122的姿势且容易瞄准靶123(参照图14)。即，在上述步骤S27中，用于生成电视机用游戏图像的第一虚拟摄像机被设定成将整个控制面122和靶123包含在视场范围内，并且用于生成终端用游戏图像的第二虚拟摄像机被设定成LCD 51的画面(触摸面板52的输入面)与控制面122在画面上相一致。因而，在第一游戏例子中，通过在电视机2和终端装置7上显示从不同的视点观察到的游戏空间的图像，更容易进行游戏操作。

(第二游戏例子)

此外，将惯性传感器和触摸面板52的传感器输出用作游戏输入的游戏不限于上述第一游戏例子，能够想到各种游戏例子。第二游戏例子与第一游戏例子同样地是通过操作终端装置7来在游戏空间内使对象(大炮的炮弹)飞出的游戏。玩家通过改变终端装置7的姿势的操作和指定触摸面板52上的位置的操作，能够指示发射炮弹的方向。

图15是表示第二游戏例子中的电视机2的屏幕和终端装置7的图。在图15中，在电视机2上显示有大炮131、炮弹132以及靶133。在终端装置7上显示有炮弹132和靶133。显示在终端装置7上的终端用游戏图像是从大炮131的位置观察游戏空间得到的图像。

在第二游戏例子中，玩家通过操作终端装置7的姿势，能够改变作为终端用游戏图像而显示在终端装置7上的显示范围。即，CPU 10根据惯性传感器(加速度传感器63和陀螺仪传感器64)以及磁传感器62的输出来计算终端装置7的姿势(步骤S24)，根据计算出的姿势来控制用于生成终端用游戏图像的第二虚拟摄像机的位置和姿势(步骤S27)。具体地说，第二虚拟摄像机被设置在大炮131的位置处，根据终端装置7的姿势来控制其朝向(姿势)。这样，玩家能够通过改变终端装置7的姿势，来改变显示在终端装置7上的游戏空间的范围。

另外，在第二游戏例子中，玩家通过在触摸面板52上输入点的操作(触摸的操作)来指定炮弹132的发射方向。具体地说，作为上述步骤S27的处理，CPU 10计算与触摸位置相对应的游戏空间内的位置(控制位置)，计算从游戏空间内的规定位置(例如大炮131的位置)朝向控制位置的方向来作为发射方向。然后，进行使炮弹132向发射方向移动的处理。这样，在上述第一游戏例子中，玩家进行在触摸面板52上画线的操作，但是在第二游戏例子中，进行指定触摸面板52上的点的操作。此外，能够通过设定与上述第一游戏例子相同的控制面(但在第二游戏例子中未显示控制面)来计算上述控制位置。即，通过与第二虚拟摄像机的姿势相应地配置控制面使其与终端装置7的显示范围相对应(具体地说，控制面以大炮131的位置为中心而与终端装置7的姿势的变化相应地进行旋转移动)，能够计算与触摸位置相对应的控制面上的位置来作为控制位置。

根据上述第二游戏例子，游戏装置3通过将惯性传感器的输出用作游戏输入，能够与终端装置7的移动(姿势)相应地改变终端用游戏图像的显示范围，并且通过将指定该显示范围内的位置的触摸输入用作游戏输入，能够确定游戏空间内的方向(炮弹132的发射方向)。因而，在第二游戏例子中也与第一游戏例子同样地，玩家能够移动显示在终端装置7上的游戏图像或者对该游戏图像进行触摸操作，因此能够以如对游戏图像直接进行操作那样的新式的操作感觉进行游戏。

另外，在第二游戏例子中也与第一游戏例子同样地，玩家通过用一只手实际调整终端装置7的姿势，用另一只手对触摸面板52进行触摸输入，能够通过如在空间内实际输入方向那样的直观的操作来容易地指示方向。并且，玩家能够同时并行地进行对终端装置7的姿势的操作和对触摸面板52的输入操作，因此能够迅速地进行对三维空间中的方向进行指示的操作。

此外，在第二游戏例子中，显示在电视机2上的图像也可以是从与终端装置7相同的视点观察到的图像，但是在图15中，设为游戏装置3显示从不同的视点观察到的图像。即，用于生成终端用游戏图像的第二虚拟摄像机被设定在大炮131的位置处，相对于此，用于生成电视机用游戏图像的第一虚拟摄像机被设定在大炮131后方的位置处。在此，例如通过使电视机2显示终端装置7的画面上所看不到的范围，能够实现如玩家看着电视机2的画面来瞄准在终端装置7的画面上看不到的靶133那样的游戏方式。这样，通过使电视机2和终端装置7的显示范围不同，不仅更容易掌握游戏空间内的样子，还能够进一步提高游戏的趣味性。

如上所述，根据本实施方式，由于能够将具备触摸面板52和惯性传感器的终端装置7用作操作装置，因此能够实现如上述第一和第二游戏例子那样的对游戏图像直接进行操作的操作感觉的游戏。

(第三游戏例子)

下面，参照图16和图17来说明第三游戏例子。第三游戏例子是两位玩家对战的形式的棒球游戏。即，第一玩家利用控制器5操作击球员，第二玩家利用终端装置7操作投手。另外，在电视机2和终端装置7上显示对于各玩家来说容易进行游戏操作的游戏图像。

图16是表示在第三游戏例子中显示在电视机2上的电视机用游戏图像的一例的图。图16所示的电视机用游戏图像是主要为第一玩家提供的图像。即，电视机用游戏图像表示从作为第一玩家的操作对象的击球员(击球员对象)141侧观察作为第二玩家的操作对象的投手(投手对象)142得到的游戏空间。用于生成电视机用游戏图像的第一虚拟摄像机以从击球员141朝向投手142的方式配置在击球员141后方的位置。

另一方面，图17是表示在第三游戏例子中显示在终端装置7上的终端用游戏图像的一例的图。图17所示的终端用游戏图像是主要为第二玩家提供的图像。即，终端用游戏图像表示从作为第二玩家的操作对象的投手142侧观察作为第一玩家的操作对象的击球员141得到的游戏空间。具体地说，在上述步骤S27中，CPU 10根据终端装置7的姿势来控制为了生成终端用游戏图像而使用的第二虚拟摄像机。与上述第二游戏例子同样地，与终端装置7的姿势相对应地计算第二虚拟摄像机的姿势。另外，第二虚拟摄像机的位置被固定在预先决定的规定位置。此外，终端用游戏图像包含用于表示投手142投球的方向的光标143。

此外，第一玩家对击球员141的操作方法和第二玩家对投手142的操作方法可以是任意的方法。例如，CPU 10也可以根据控制器5的惯性传感器的输出数据来检测对控制器5的挥动操作，根据挥动操作来使击球员141进行挥动球杆的动作。另外，例如CPU 10也可以按照对类比摇杆53的操作来移动光标143，在操作按钮54中的规定按钮被按下的情况下，使投手142进行朝向光标143所指示的位置投球的动作。另外，也可以代替对类比摇杆53的操作而根据终端装置7的姿势来移动光标143。

如上所述，在第三游戏例子中，通过在电视机2和终端装置7上以互不相同的视点生成游戏图像，来提供对于各玩家来说容易观看且容易操作的游戏图像。

另外，在第三游戏例子中，在一个游戏空间内设定两个虚拟摄像机，分别显示从各虚拟摄像机观察游戏空间得到的两种游戏图像(图16和图17)。因而，关于在第三游戏例子中生成的两种游戏图像，由于对游戏空间的游戏处理(游戏空间内的对象的控制等)几乎是相同的，且只要在相同的游戏空间内进行两次描绘处理就能够生成各游戏图像，因此与分别进行该游戏处理的情况相比，具有处理效率高的优点。

另外，在第三游戏例子中，表示投球方向的光标143仅显示在终端装置7侧，因此第一玩家看不到光标143所指示的位置。因此，不会产生第一玩家得知投球方向而对第二玩家不利这样的游戏上的不合理。这样，在本实施方式中，在如果一位玩家看到该游戏图像则对另一位玩家会产生游戏上的不合理的情况下，只要将该游戏图像显示在终端装置7上即可。由此，能够防止游戏的战略性下降等问题。此外，在其它实施方式中，根据游戏的内容(例如在即使被第一玩家看到终端用游戏图像也不会产生如上所述的不合理的情况下)，游戏装置3也可以将终端用游戏图像与电视机用游戏图像一起显示在电视机2上。

(第四游戏例子)

下面，参照图18和图19来说明第四游戏例子。第四游戏例子是两位玩家合作的形式的射击游戏。即，第一玩家利用控制器5进行使飞机移动的操作，第二玩家利用终端装置7进行控制飞机的大炮的发射方向的操作。在第四游戏例子中也与第三游戏例子同样地，在电视机2和终端装置7上显示对于各玩家来说容易进行游戏操作的游戏图像。

图18是表示在第四游戏例子中显示在电视机2上的电视机用游戏图像的一例的图。另外，图19是表示在第四游戏例子中显示在终端装置7上的终端用游戏图像的一例的图。如图18所示，在第四游戏例子中，在虚拟的游戏空间内出现飞机(飞机对象)151和靶(气球对象)153。另外，飞机151具有大炮(大炮对象)152。

如图18所示，作为电视机用游戏图像，显示包含飞机151的游戏空间的图像。用于生成电视机用游戏图像的第一虚拟摄像机被设定成生成从后方观察飞机151得到的游戏空间的图像。即，第一虚拟摄像机以飞机151被包含在摄影范围(视场范围)中的姿势被配置在飞机151后方的位置处。另外，控制第一虚拟摄像机使其随着飞机151的移动进行移动。也就是说，CPU 10在上述步骤S27的处理中根据控制器操作数据来控制飞机151的移动，并且控制第一虚拟摄像机的位置和姿势。这样，与第一玩家的操作相应地控制第一虚拟摄像机的位置和姿势。

另一方面，如图19所示，作为终端用游戏图像，显示从飞机151(更具体地说是大炮152)看到的游戏空间的图像。因而，用于生成终端用游戏图像的第二虚拟摄像机被配置在飞机151的位置(更具体地说是大炮152的位置)上。CPU 10在上述步骤S27的处理中，根据控制器操作数据来控制飞机151的移动，并且控制第二虚拟摄像机的位置。此外，第二虚拟摄像机也可以配置在飞机151或者大炮152周边的位置(例如比大炮152稍靠后方的位置)上。如上所述，通过(操作飞机151的移动的)第一玩家的操作来控制第二虚拟摄像机的位置。因而，在第四游戏例子中，第一虚拟摄像机和第二虚拟摄像机相联动地进行移动。

另外，作为终端用游戏图像，显示沿大炮152的发射方向的朝向观察到的游戏空间的图像。在此，以与终端装置7的姿势相对应的方式控制大炮152的发射方向。也就是说，在本实施方式中，控制第二虚拟摄像机的姿势使得第二虚拟摄像机的视线方向与大炮152的发射方向相一致。CPU 10在上述步骤S27的处理中与在上述步骤S24中计算出的终端装置7的姿势相应地控制大炮152的朝向和第二虚拟摄像机的姿势。这样，根据第二玩家的操作来控制第二虚拟摄像机的姿势。另外，第二玩家能够通过改变终端装置7的姿势来改变大炮152的发射方向。

此外，在从大炮152发射炮弹的情况下，第二玩家按下终端装置7的规定的按钮。当规定的按钮被按下时，向大炮152的朝向发射炮弹。在终端用游戏图像中，在LCD 51的画面中央显示瞄准光标154，向瞄准光标154所指示的方向发射炮弹。

如上所述，在第四游戏例子中，第一玩家主要观察电视机用游戏图像(图18)的同时操作飞机151(例如使其向期望的靶153的方向移动)，该电视机用游戏图像表示沿飞机151的行进方向观察到的游戏空间。另一方面，第二玩家主要观察终端用游戏图像(图19)的同时操作大炮152，该终端用游戏图像表示沿大炮152的发射方向观察到的游戏空间。这样，在第四游戏例子中，能够在两位玩家合作的形式的游戏中将对于各个玩家来说容易观察且容易操作的游戏图像分别显示在电视机2和终端装置7上。

另外，在第四游戏例子中，根据第一玩家的操作来控制第一虚拟摄像机和第二虚拟摄像机的位置，根据第二玩家的操作来控制第二虚拟摄像机的姿势。也就是说，在本实施方式中，根据各玩家各自的游戏操作而虚拟摄像机的位置或者姿势发生变化，其结果，显示在各显示装置上的游戏空间的显示范围发生变化。由于显示在显示装置上的游戏空间的显示范围与各玩家的操作相应地发生变化，因此各玩家能够实际感觉到自己的游戏操作被充分反映在游戏进行过程中，能够充分地享受游戏。

此外，在第四游戏例子中，从飞机151的后方观察到的游戏图像显示在电视机2上，从飞机151的大炮的位置观察到的游戏图像显示在终端装置7上。在此，在其它游戏例子中，游戏装置3也可以使终端装置7显示从飞机151的后方观察到的游戏图像，使电视机2显示从飞机151的大炮152的位置观察到的游戏图像。此时，也可以使各玩家的角色与上述第四游戏例子相互调换，第一玩家利用控制器5进行大炮152的操作，第二玩家利用终端装置7进行飞机151的操作。

(第五游戏例子)

下面，参照图20说明第五游戏例子。第五游戏例子是玩家利用控制器5进行操作的游戏，终端装置7被用作显示装置而不是操作装置。具体地说，第五游戏例子是高尔夫游戏，与玩家将控制器5像高尔夫球杆那样挥动的操作(挥杆操作)相应地，游戏装置3使虚拟的游戏空间中的玩家人物进行高尔夫的挥杆动作。

图20是表示第五游戏例子中的游戏系统1的使用情形的图。在图20中，在电视机2的屏幕上显示包含玩家人物(的对象)161和高尔夫球杆(的对象)162的游戏空间的图像。此外，在图20中，由于隐藏于高尔夫球杆162而未被显示但配置在游戏空间中的球(的对象)163也被显示在电视机2上。另一方面，如图20所示，终端装置7以LCD 51的屏幕朝铅垂向上的方式配置在电视机2的前方正面的地面上。在终端装置7上显示有表示球163的图像、表示高尔夫球杆162的一部分(具体地说是高尔夫球杆的杆头162a)的图像以及表示游戏空间的地面的图像。终端用游戏图像是从上方观察球的周围得到的图像。

在进行游戏时，玩家160站在终端装置7附近，进行将控制器5像高尔夫球杆那样挥动的挥杆操作。此时，CPU 10在上述步骤S27中与通过上述步骤S23的处理计算出的控制器5的姿势相应地控制高尔夫球杆162在游戏空间中的位置和姿势。具体地说，以如下方式控制高尔夫球杆162：在控制器5的前端方向(图3所示的Z轴正方向)朝向显示在LCD 51上的球163的图像的情况下游戏空间内的高尔夫球杆162击中球163。

另外，在控制器5的前端方向朝向LCD 51的情况下，表示高尔夫球杆162的一部分的图像(杆头图像)164被显示在LCD 51上(参照图20)。此外，关于终端用游戏图像，为了增加现实感，也可以以实物大小显示球163的图像，也可以以杆头图像164的朝向与控制器5绕Z轴的旋转相应地进行旋转的方式进行显示。另外，终端用游戏图像既可以利用设置在游戏空间中的虚拟摄像机来生成，也可以利用预先准备的图像数据来生成。在利用预先准备的图像数据生成的情况下，能够以小的处理负荷生成详细且真实的图像，而无需详细地构建高尔夫球场的地形模型。

当玩家160通过进行上述挥杆操作来挥动了高尔夫球杆162的结果为高尔夫球杆162击中球163时，球163移动(飞出)。即，CPU 10在上述步骤S27中判断高尔夫球杆162是否接触到球163，在接触到的情况下，使球163移动。在此，以包含移动后的球163的方式生成电视机用游戏图像。即，CPU 10控制用于生成电视机用游戏图像的第一虚拟摄像机的位置和姿势以使移动的球被包含在第一虚拟摄像机的摄影范围内。另一方面，在终端装置7中，当高尔夫球杆162击中球163时，球163的图像移动并立即消失在画面外。因而，在第五游戏例子中，球移动的情形主要显示在电视机2上，玩家160能够通过电视机用游戏图像来确认通过挥杆操作而飞出的球的轨迹。

如上所述，在第五游戏例子中，玩家160能够通过挥动控制器5来挥动高尔夫球杆162(使玩家人物161挥动高尔夫球杆162)。在此，在第五游戏例子中，以如下方式进行控制：在控制器5的前端方向朝向显示在LCD 51上的球163的图像的情况下，使游戏空间内的高尔夫球杆162击中球163。因而，玩家通过挥杆操作能够获得一种如同正在挥动实际的高尔夫球杆那样的感觉，从而能够更有现实感地进行挥杆操作。

在第五游戏例子中，还在控制器5的前端方向朝向终端装置7的情况下将杆头图像164显示在LCD 51上。因而，玩家通过使控制器5的前端方向朝向终端装置7，能够获得一种虚拟空间中的高尔夫球杆162的姿势与实际空间中的控制器5的姿势相对应的感觉，从而能够更有现实感地进行挥杆操作。

如上所述，第五游戏例子在将终端装置7用作显示装置的情况下，通过将终端装置7配置在合适的位置处，能够更有现实感地进行利用控制器5的操作。

另外，在上述第五游戏例子中，终端装置7配置在地面上，在终端装置7上显示有仅表示球163周边的游戏空间的图像。因此，在终端装置7上无法显示游戏空间中的高尔夫球杆162整体的位置、姿势，并且在终端装置7上无法显示挥杆操作后球163移动的情形。因此，在第五游戏例子中，在球163移动前将高尔夫球杆162整体显示在电视机2上，在球163移动后将球163移动的情形显示在电视机2上。这样，根据第五游戏例子，能够向玩家提供有现实感的操作，并且能够通过电视机2和终端装置7的两个画面来向玩家呈现容易观看的游戏图像。

另外，在上述第五游戏例子中，为了计算控制器5的姿势，而利用终端装置7的标记部55。即，CPU 10在上述步骤S1的初始处理中使标记部55点亮(标记装置6不点亮)，CPU 10在上述步骤S23中根据标记器坐标数据96计算控制器5的姿势。由此，能够正确地判断是否为控制器5的前端方向朝向标记部55的姿势。此外，在上述第五游戏例子中，也可以不执行上述步骤S21和S22，但是在其它游戏例子中，也可以通过执行上述步骤S21和S22的处理来在游戏中途变更要点亮的标记器。例如，CPU 10也可以在步骤S21中根据第一加速度数据94来判断控制器5的前端方向是否朝向重力方向，在步骤S22中进行如下控制：如果朝向重力方向，则使标记部55点亮，如果不朝向重力方向，则使标记装置6点亮。由此，在控制器5的前端方向朝向重力方向的情况下，通过获取标记部55的标记器坐标数据，能够高精确度地计算控制器5的姿势，并且在控制器5的前端方向朝向电视机2的情况下，通过获取标记装置6的标记器坐标数据，能够高精确度地计算控制器5的姿势。

如上述第五游戏例子所说明的那样，游戏系统1能够将终端装置7设置在任意的位置来用作显示装置。由此，在将标记器坐标数据用作游戏输入的情况下，除了将控制器5朝向电视机2来使用以外，还能够通过将终端装置7设定在期望的位置处来将控制器5朝向任意的方向来使用。即，根据本实施方式，能够使用控制器5的朝向不受限制，因此能够提高控制器5的操作的自由度。

[7.游戏系统的其它动作例]

上述游戏系统1能够如上述所说明的那样进行用于进行各种游戏的动作。终端装置7也能够用作可移动的显示器或者第二显示器，另一方面，也能够用作进行触摸输入、通过移动进行输入的控制器，根据上述游戏系统1，能够实施广泛的游戏。另外，还能够进行除游戏以外的用途也包括在内的如下的动作。

(玩家仅利用终端装置7玩游戏的动作例)

在本实施方式中，终端装置7作为显示装置而发挥功能，并且还作为操作装置而发挥功能。因此，不使用电视机2和控制器5而将终端装置7用作显示单元和操作单元，由此还能够像便携式的游戏装置那样使用终端装置7。

按照图12所示的游戏处理具体进行说明，CPU 10在步骤S3中从终端装置7获取终端操作数据97，在步骤S4中仅将终端操作数据97用作游戏输入(不使用控制器操作数据)，来执行游戏处理。然后，在步骤S6中生成游戏图像，在步骤S10中将游戏图像发送到终端装置7。此外，此时，也可以不执行步骤S2、S5以及S9。根据以上内容，与对终端装置7的操作相应地进行游戏处理，将表示游戏处理结果的游戏图像显示在终端装置7上。通过这样，(虽然实际上由游戏装置执行游戏处理，但是)也能够将终端装置7用作便携式的游戏装置。因而，根据本实施方式，即使在由于正在使用电视机2(例如他人正在观看电视广播)等而无法在电视机2上显示游戏图像的情况下，用户也能够利用终端装置7来进行游戏。

此外，不限于游戏图像，CPU 10也可以将关于电源接通后显示的上述菜单画面的图像发送到终端装置7进行显示。由此，玩家能够从最开始就不使用电视机2而进行游戏，很方便。

并且，在上述内容中，还能够在游戏过程中将显示游戏图像的显示装置从终端装置7变更为电视机2。具体地说，CPU 10只要进一步执行上述步骤S9，将游戏图像输出到电视机2即可。此外，在步骤S9中输出到电视机2的图像与在步骤S10中发送到终端装置7的游戏图像相同。由此，通过将电视机2的输入切换成显示来自游戏装置3的输入，就能够将与终端装置7相同的游戏图像显示在电视机2上，因此能够将显示游戏图像的显示装置变更为电视机2。此外，也可以在电视机2上显示游戏图像之后，关闭终端装置7的画面显示。

此外，在游戏系统1中，也能够从红外线输出单元(标记装置6、标记部55或者红外线通信模块72)输出针对电视机2的红外线遥控信号。由此，游戏装置3通过与对终端装置7的操作相应地从红外线输出单元输出上述红外线遥控信号，能够进行对电视机2的操作。在这种情况下，用户能够利用终端装置7操作电视机2而无需操作电视机2的遥控器，因此在如上述那样对电视机2的输入进行切换的情况等中很方便。

(经由网络与其它装置进行通信的动作例)

如上所述，游戏装置3具有与网络进行连接的功能，因此在经由网络与外部装置进行通信的情况下也能够利用游戏系统1。图21是表示经由网络与外部装置相连接的情况下的游戏系统1中包含的各装置的连接关系的图。如图21所示，游戏装置3能够经由网络200与外部装置201进行通信。

如上所述，在外部装置201与游戏装置3能够进行通信的情况下，在游戏系统1中能够将终端装置7作为接口与外部装置201之间进行通信。例如，通过在外部装置201与终端装置7之间发送接收图像和声音，能够将游戏系统1用作电视电话。具体地说，游戏装置3经由网络200接收来自外部装置201的图像和声音(电话对方的图像和声音)，并将接收到的图像和声音发送到终端装置7。由此，终端装置7将来自外部装置201的图像显示在LCD 51上，并且从扬声器67输出来自外部装置201的声音。另外，游戏装置3从终端装置7接收由摄像头56拍摄到的摄像头图像和由麦克风69检测到的麦克风声音，将摄像头图像和麦克风声音经由网络200发送到外部装置201。游戏装置3通过与外部装置201之间重复进行上述图像和声音的发送接收，能够将游戏系统1用作电视电话。

此外，在本实施方式中，终端装置7是便携式装置，因此用户能够在任意的位置处使用终端装置7、或者使摄像头56朝向任意的方向。另外，在本实施方式中，终端装置7具备触摸面板52，因此游戏装置3还能够将针对触摸面板52的输入信息(触摸位置数据100)发送到外部装置201。例如，在将来自外部装置201的图像和声音通过终端装置7输出且将用户写在触摸面板52上的文字等发送到外部装置201的情况下，也能够将游戏系统1用作在线教学系统(E-Learning System)1。

(与电视广播相联动的动作例)

另外，游戏系统1也能够在通过电视机2观看电视广播的情况下与电视广播相联动地进行动作。即，在通过电视机2正在观看电视节目的情况下，游戏系统1使终端装置7输出与该电视节目有关的信息等。下面，说明游戏系统1与电视广播相联动地进行动作时的动作例。

在上述动作例中，游戏装置3能够经由网络与服务器进行通信(换言之，图21所示的外部装置201是服务器。)。服务器针对电视广播的每个频道存储有与电视广播相关联的各种信息(电视信息)。该电视信息可以是字幕、演员信息等与节目有关的信息，还可以是EPG(电子节目表)的信息、作为数据广播进行广播的信息。另外，电视信息也可以是图像、声音、或者文字、或者它们的组合的信息。另外，服务器不需要是一个，也可以针对电视广播的每个频道、或者每个节目设置服务器，游戏装置3能够与各服务器进行通信。

在电视机2中正在输出电视广播的影像、声音的情况下，游戏装置3让用户利用终端装置7输入正在观看的电视广播的频道。然后，经由网络请求服务器发送与所输入的频道相对应的电视信息。与此相应地，服务器发送与上述频道相对应的电视信息的数据。当接收到从服务器发送过来的数据时，游戏装置3将接收到的数据输出到终端装置7。终端装置7将上述数据中的图像和文字的数据显示在LCD 51上，从扬声器输出声音的数据。根据以上内容，用户能够利用终端装置7享受与当前正在观看的电视节目有关的信息等。

如上所述，游戏系统1通过经由网络与外部装置(服务器)进行通信，还能够将与电视广播相联动的信息通过终端装置7提供给用户。特别地，在本实施方式中，终端装置7是可移动的，因此用户能够在任意的位置处使用终端装置7，从而便利性高。

如上所述，在本实施方式中，用户除了在游戏中使用终端装置7以外，还能够在各种用途、方式中使用终端装置7。

[8.变形例]

上述实施方式是实施本发明的一例，在其它实施方式中例如也能够通过下面要说明的结构来实施本发明。

(具有多个终端装置的变形例)

在上述实施方式中，游戏系统1是仅具有一个终端装置的结构，但是游戏系统1也可以是具有多个终端装置的结构。即，游戏装置3也可以是如下结构：能够与多个终端装置分别进行无线通信，将游戏图像的数据、游戏声音的数据以及控制数据发送到各终端装置，从各终端装置接收操作数据、摄像头图像数据以及麦克风声音数据。此外，游戏装置3与多个终端装置分别进行无线通信，此时，游戏装置3既可以分时地与各终端装置进行无线通信，也可以分配频带来进行通信。

在如上所述那样具有多个终端装置的情况下，能够利用游戏系统进行更多种类的游戏。例如，在游戏系统1具有两个终端装置的情况下，游戏系统1具有三个显示装置，因此能够生成分别为三位玩家提供的游戏图像，并使各显示装置进行显示。另外，在游戏系统1具有两个终端装置的情况下，在将控制器和终端装置作为一组来使用的游戏(例如上述第五游戏例子)中，两位玩家能够同时进行游戏。并且，在根据从两个控制器输出的标记器坐标数据进行上述步骤S27的游戏处理的情况下，两位玩家能够各自进行将控制器朝向标记器(标记装置6或者标记部55)进行的游戏操作。即，一位玩家能够使控制器朝向标记装置6来进行游戏操作，另一位玩家能够使控制器朝向标记部55进行游戏操作。

(与终端装置的功能有关的变形例)

在上述实施方式中，终端装置7作为不执行游戏处理的所谓的瘦客户端(thin client)而发挥功能。在此，在其它实施方式中，在上述实施方式中由游戏装置3执行的一系列游戏处理中的一部分处理也可以由终端装置7等其它装置来执行。例如，也可以使终端装置7执行一部分处理(例如终端用游戏图像的生成处理)。另外，例如在具有能够相互通信的多个信息处理装置(游戏装置)的游戏系统中，该多个信息处理装置也可以分担执行游戏处理。

产业上的可利用性

如上所述，本发明以使玩家进行新式的游戏操作等为目的，例如能够作为游戏系统、游戏系统中使用的终端装置等来利用。

Claims (21)

1.一种游戏系统，其特征在于，包括安置型的游戏装置、操作装置以及便携式显示装置，

上述游戏装置具备：

操作数据接收部，其从上述操作装置接收操作数据；

游戏处理部，其根据上述操作数据执行游戏处理；

游戏图像生成部，其基于上述游戏处理依次生成第一游戏图像；以及

游戏图像发送部，其通过无线向上述便携式显示装置依次发送上述第一游戏图像，

上述操作装置具备操作数据发送部，该操作数据发送部通过无线向上述游戏装置发送操作数据，该操作数据表示对上述操作装置进行的操作，

上述便携式显示装置具备：

游戏图像接收部，其从上述游戏装置依次接收上述第一游戏图像；以及

显示部，其对上述第一游戏图像依次进行显示。

2.根据权利要求1所述的游戏系统，其特征在于，

上述游戏装置还具备游戏图像压缩部，该游戏图像压缩部将上述第一游戏图像依次压缩来生成压缩图像数据，

上述游戏图像发送部通过无线向上述便携式显示装置依次发送上述压缩图像数据，

上述游戏图像接收部从上述游戏装置依次接收上述压缩图像数据，

上述便携式显示装置还具备游戏图像解压缩部，该游戏图像解压缩部将上述压缩图像数据依次解压缩来得到上述第一游戏图像，

上述显示部对通过解压缩得到的上述第一游戏图像依次进行显示。

3.根据权利要求1或2所述的游戏系统，其特征在于，

上述操作装置还具备摄像部，该摄像部能够检测红外光，

上述操作数据发送部通过无线向上述游戏装置发送包含表示上述摄像部的检测结果的数据的操作数据，

上述便携式显示装置还具备红外发光部，该红外发光部能够发出红外光。

4.根据权利要求3所述的游戏系统，其特征在于，

上述操作装置还具备惯性传感器和至少一个操作按钮。

5.根据权利要求3所述的游戏系统，其特征在于，

上述游戏系统还包括能够发出红外光的标记装置，

上述游戏图像生成部基于上述游戏处理还生成第二游戏图像，

上述游戏装置还具备：

图像输出部，其将上述第二游戏图像依次输出到独立于上述便携式显示装置的外部显示装置；以及

发光控制部，其控制上述标记装置的发光。

6.根据权利要求5所述的游戏系统，其特征在于，

上述游戏系统包括两个操作装置，

上述游戏处理部根据从各操作装置接收到的操作数据来执行游戏处理。

7.根据权利要求5或6所述的游戏系统，其特征在于，

上述发光控制部根据上述游戏处理的内容来控制上述标记装置和上述红外发光部的发光。

8.根据权利要求7所述的游戏系统，其特征在于，

上述发光控制部生成表示针对上述红外发光部的发光的控制指示的控制数据，

上述数据发送部通过无线向上述便携式显示装置发送上述控制数据，

上述便携式显示装置还具备控制数据接收部，该控制数据接收部从上述游戏装置接收上述控制数据，

上述红外发光部按照所接收到的控制数据进行动作。

9.一种显示装置，其特征在于，是能够与游戏装置进行无线通信的便携式显示装置，

上述游戏装置从具备能够检测红外光的摄像部的操作装置接收表示上述摄像部的检测结果的数据，向上述显示装置依次发送基于根据该数据执行的游戏处理来生成的游戏图像，

上述显示装置具备：

红外发光部，其能够发出红外光；

游戏图像接收部，其从上述游戏装置依次接收上述游戏图像；以及

显示部，其依次显示上述游戏图像。

10.根据权利要求9所述的显示装置，其特征在于，

上述游戏装置将上述游戏图像依次压缩来生成压缩图像数据，通过无线向上述便携式显示装置依次发送该压缩图像数据，

上述显示装置还具备游戏图像解压缩部，该游戏图像解压缩部将上述压缩图像数据依次解压缩来得到上述游戏图像，

上述显示部对通过解压缩得到的上述游戏图像依次进行显示。

11.根据权利要求9所述的显示装置，其特征在于，还具备：

触摸面板，其设置于上述显示部的屏幕上；

惯性传感器；以及

操作数据发送部，其通过无线向上述游戏装置发送包含上述触摸面板和上述惯性传感器的输出数据的操作数据，

上述游戏装置根据上述操作数据来执行上述游戏处理。

12.根据权利要求11所述的显示装置，其特征在于，

上述显示装置还具备麦克风，

上述操作数据发送部通过无线向上述游戏装置还发送上述麦克风所检测到的声音的数据。

13.根据权利要求11所述的显示装置，其特征在于，还具备：

摄像头；以及

摄像头图像压缩部，其对上述摄像头所拍摄到的摄像头图像进行压缩来生成压缩摄像数据，

上述操作数据发送部通过无线向上述游戏装置还发送上述压缩摄像数据。

14.根据权利要求11所述的显示装置，其特征在于，还具备：

多个正面操作按钮，上述多个正面操作按钮被设置在设置有上述显示部的屏幕的正面平面上的该屏幕的两侧；以及

方向输入部，其被设置在上述正面平面上的上述屏幕的两侧，能够指示方向，

上述操作数据还包含表示对上述多个正面操作按钮和上述方向输入部进行的操作的数据。

15.根据权利要求11所述的显示装置，其特征在于，还具备：

多个背面操作按钮，上述多个背面操作按钮被设置在背面平面上，该背面平面是设置有上述显示部的屏幕的正面平面的相反侧的平面；以及

多个侧面操作按钮，上述多个侧面操作按钮被设置在上述正面平面与上述背面平面之间的侧面上，

上述操作数据还包含表示对上述多个背面操作按钮和上述侧面操作按钮进行的操作的数据。

16.根据权利要求11所述的显示装置，其特征在于，

还具备磁传感器，

上述操作数据还包含上述磁传感器的检测结果的数据。

17.根据权利要求11所述的显示装置，其特征在于，

上述惯性传感器包括三轴加速度传感器和三轴陀螺仪传感器。

18.根据权利要求9～17中的任一项所述的显示装置，其特征在于，

上述游戏装置通过无线向上述显示装置发送基于上述游戏处理生成的游戏声音，

该显示装置还具备：

游戏声音接收部，其从上述游戏装置接收上述游戏声音；以及

扬声器，其输出由上述游戏声音接收部接收到的游戏声音。

19.一种游戏处理方法，其特征在于，是在包括安置型的游戏装置、操作装置以及便携式显示装置的游戏系统中执行的游戏处理方法，

上述操作装置执行如下的操作数据发送步骤：通过无线向上述游戏装置发送操作数据，该操作数据表示对上述操作装置进行的操作，

上述游戏装置执行以下步骤：

操作数据接收步骤，从上述操作装置接收操作数据；

游戏处理步骤，根据上述操作数据执行游戏处理；

游戏图像生成步骤，基于上述游戏处理依次生成游戏图像；以及

游戏图像发送步骤，通过无线向上述便携式显示装置依次发送上述游戏图像，

上述便携式显示装置执行以下步骤：

游戏图像接收步骤，从上述游戏装置依次接收上述游戏图像；以及

显示步骤，对上述游戏图像依次进行显示。

20.根据权利要求19所述的游戏处理方法，其特征在于，

上述游戏装置还执行游戏图像压缩步骤，在该游戏图像压缩步骤中将上述游戏图像依次压缩来生成压缩图像数据，

在上述游戏图像发送步骤中，通过无线向上述便携式显示装置依次发送上述压缩图像数据，

在上述游戏图像接收步骤中，依次接收来自上述游戏装置的上述压缩图像数据，

上述便携式显示装置还执行游戏图像解压缩步骤，在该游戏图像解压缩步骤中将上述压缩图像数据依次解压缩来得到上述游戏图像，

在上述显示步骤中，对通过解压缩得到的上述游戏图像依次进行显示。

21.根据权利要求19或20所述的游戏处理方法，其特征在于，

上述操作装置具备摄像部，该摄像部能够检测红外光，

在上述操作数据发送步骤中，通过无线向上述游戏装置发送操作数据，该操作数据包含表示上述摄像部的检测结果的数据，

上述便携式显示装置具备红外发光部，该红外发光部能够发出红外光。

Images