JP2013048924A - ゲームプログラムおよびゲーム装置 - Google Patents

Abstract

【課題】ユーザを撮像して得られる画像データに基づいてゲームを進行するとともに、ゲームをプレイ中のユーザの表情などを表示する新規なプログラムおよびゲーム装置を提供する。
【解決手段】内側カメラによる画像データの取得、および取得された画像データに基づく人体認識処理の実行が所定周期で繰返し実行される。この周期的に取得（更新）される認識結果（ユーザ画像）に基づいて、ゲームが進行する。ゲーム進行中に認識結果（ユーザ画像）が条件１，２，…をそれぞれ満足するタイミングで画像データがそれぞれキャプチャーされる。ゲーム終了後、ゲームのプレイ中にキャプチャーされた画像データ１，２，…が表示（リプレイ）される。
【選択図】図６

Description

この発明は、ユーザを撮像して得られる画像データに基づいてゲームを進行可能なゲームプログラムおよびゲーム装置に関する。

従来から、ユーザの顔を撮像し、撮像して得られる画像データに基づいてゲームを進行させるゲームプログラムが知られている（例えば、非特許文献１参照）。このゲームプログラムでは、ゲーム開始から所定時間経過したタイミングでユーザを撮像しておき、この撮像したユーザの画像は、ゲームの終了時にゲーム結果とともに表示される。

「大人のＤＳ 顔トレーニング」取扱説明書、任天堂株式会社、２００７年８月２日発売

上述の先行技術では、ゲーム開始から所定時間経過したタイミングでユーザを撮像し、そのタイミングにおけるユーザの表情をゲーム終了時に表示するのみであった。

この発明は、ユーザを撮像して得られる画像データに基づいてゲームを進行するとともに、ゲームをプレイ中のユーザの表情などを表示する新規なゲームプログラムおよびゲーム装置を提供することである。

この発明の第１の局面に従えば、撮像手段（２３：実施の形態で相当する参照符号。以下同じ。）および表示手段（１２，２２）を利用可能なゲーム装置（１００）のコンピュータで実行されるゲームプログラムを提供する。ここで、撮像手段は、ユーザを撮像するように適合されている。ゲームプログラムは、コンピュータを、撮像手段により取得される画像データに含まれるユーザ画像に基づいてゲームを進行するゲーム進行手段（１１０，１２０，１３０，１３２）、少なくとも、ユーザ画像が予め定められた条件を満足した場合に撮像手段により取得される画像データに基づく画像を表示手段に表示させる表示制御手段（１３６）として機能させる。

この第１の局面によれば、本ゲームプログラムによって提供されるゲームをユーザがプレイしているあるタイミングにおける、当該ユーザの姿を写した画像データを取得することができる。すなわち、ユーザを撮像して得られる画像データに含まれるユーザ画像が予め定められた条件を満足したタイミングで、ゲームをプレイ中のユーザを撮像することができる。そして、ゲーム終了後などに、これらの画像データを表示することで、ゲームをプレイ中のユーザの意外なあるいは面白みのなる表情などを見て楽しむことができる。なお、ユーザ画像とは、少なくとも、撮像手段により取得された画像データのうち、ユーザが被写体として写っている領域を含む画像を意味する。

好ましい第２の局面によれば、表示制御手段は、ゲーム進行手段によるゲームが進行中でないときに、少なくとも、ユーザ画像が予め定められた条件を満足した場合に、撮像手段により取得される画像データに基づく画像を表示手段に表示させる。

この第２の局面によれば、ユーザがゲームをプレイしていない期間において、ゲームをプレイ中のユーザの意外なあるいは面白みのなる表情などを見て楽しむことができる。

好ましい第３の局面によれば、表示制御手段は、ゲームの終了後に、少なくとも、ユーザ画像が予め定められた条件を満足した場合に、撮像手段により取得される画像データに基づく画像を表示手段に表示させる。

この第３の局面によれば、ゲーム終了後に、ゲームをプレイ中のユーザの意外なあるいは面白みのなる表情などを見て楽しむことができる。

好ましい第４の局面によれば、ゲーム進行手段は、ユーザ画像に基づいて、ゲームが成功したか否かを判断し、表示制御手段は、少なくとも、ゲームが成功したと判断されたときに撮像手段により取得される画像データに基づく画像を表示手段に表示させる。

この第４の局面によれば、ゲームが成功したタイミング周辺におけるユーザの表情などを撮像することができる。そのため、ゲームが成功したときのユーザの表情などを表示することができる。

好ましい第５の局面によれば、ゲーム進行手段は、ユーザ画像の位置とゲーム演出に応じて表示されるオブジェクトの位置とに基づいて、ゲームが成功したか否かを判断する。

この第５の局面によれば、ゲームが成功したタイミング周辺におけるユーザの表情などを撮像することができる。そのため、ゲーム終了後には、ゲームが成功したときのユーザの表情などを表示することができる。

また、この第５の局面によれば、ゲーム演出に応じて表示されるオブジェクトの位置に関連付けられた成功条件が満足された場合には、ユーザの顔や手などが当該成功条件に応じた位置にほぼ確実に存在すると考えられるので、いずれのユーザがゲームをプレイした場合であっても、ほぼ同様の構図の画像データを取得することができる。これにより、画像データに予め用意された画像のオブジェクトなどを重ねて表示した場合に、開発者が意図した内容をより確実に表現することができる。

より好ましい第６の局面によれば、ゲームプログラムは、コンピュータを、ユーザ画像として、画像データ内のユーザの領域を示すユーザ領域を検出する検出手段（１２６）としてさらに機能させる。ゲーム進行手段は、ゲーム演出に応じて表示されるオブジェクトの位置と、検出手段により検出されるユーザ領域の位置とに基づいて、ゲームが成功したか否かを判断する。

この第６の局面によれば、ユーザが写っている領域を的確に特定できるので、ユーザ以外の被写体による誤検出を防止することができる。

より好ましい第７の局面によれば、ゲームプログラムは、コンピュータを、ユーザ画像として、画像データ内のユーザの領域を示すユーザ領域を検出する検出手段としてさらに機能させ、ゲーム進行手段は、ゲーム演出に応じて表示されるオブジェクトの位置と、検出手段により検出されるユーザ領域の位置とに基づいて、ゲームが成功したか否かを判断する。

さらに好ましい第８の局面によれば、認識結果反映手段は、撮像手段により撮像される画像とは異なる態様でユーザ領域を表示させる。

この第８の局面によれば、ユーザがゲームをプレイ中には、撮像手段により取得されるユーザの表情などが表示されないので、ユーザは撮像されていることを意識することなく、ゲームをプレイすることができる。その結果、ゲームをプレイ中のユーザの自然な表情を写した画像データを取得することができる。

より好ましい第９の局面によれば、検出手段は、画像データ内の肌色領域を検出する肌色領域検出手段を含み、ゲーム進行手段は、ゲーム演出に応じて表示されるオブジェクトの位置と、肌色領域検出手段により検出される肌色領域の位置とに基づいて、ゲームが成功したか否かを判断する。

この第９の局面によれば、撮像手段がユーザの肌を撮像していることをより確実に判断することができるので、ユーザ以外の被写体による誤検出を防止することができる。

より好ましい第１０の局面によれば、肌色領域検出手段は、撮像手段により所定周期で取得される画像データに対して肌色領域の検出を逐次行ない、ゲームプログラムは、コンピュータを、ゲーム進行中に肌色領域検出手段により検出された肌色領域を表示させる認識結果反映手段としてさらに機能させる。

この第１０の局面によれば、ユーザは、自身を撮像して得られる画像データに対して検出される肌色領域を確認しながらゲームをプレイすることができる。

より好ましい第１１の局面によれば、認識結果反映手段は、撮像手段により撮像される画像とは異なる態様で肌色領域を表示させる。

この第１１の局面によれば、ユーザがゲームをプレイ中には、撮像手段により取得されるユーザの表情などが表示されないので、ユーザは撮像されていることを意識することなく、ゲームをプレイすることができる。その結果、ゲームをプレイ中のユーザの自然な表情を写した画像データを取得することができる。

好ましい第１２の局面によれば、ゲームプログラムは、コンピュータを、さらに、ユーザ画像として、画像データ内の人間の顔領域を検出する顔領域検出手段（１２２）として機能させる。ゲーム進行手段は、ゲーム演出に応じて表示されるオブジェクトの位置と、顔領域検出手段により検出される人間の顔領域の位置とに基づいて、ゲームが成功したか否かを判断する。

この第１２の局面によれば、人間の顔領域を特定するので、撮像手段がユーザの顔を撮像していることをより確実に判断することができる。これにより、ユーザ以外の被写体による誤検出を防止することができる。

好ましい第１３の局面によれば、ゲームプログラムは、コンピュータを、さらに、ユーザの存在を検出する存在検出手段として機能させ、ゲーム進行手段は、存在検出手段によりユーザの存在が検出されているときに、ゲームが成功したか否かを判断する。

この第１３の局面によれば、ユーザがゲーム装置の前に存在しない場合に、誤判定によりゲームが進行することを回避することができる。

好ましい第１４の局面によれば、表示制御手段は、ゲーム開始からゲーム終了までの間、当該ゲームが成功したと決定するための条件を含む複数の異なる条件が満足される毎に、画像データをそれぞれ記憶し、表示制御手段は、撮像手段により撮像された複数の画像データを所定の順序で切換えて表示させる。

この第１４の局面によれば、ゲームが成功した周辺におけるユーザの表情などだけでなく、ゲームをプレイ中の一連のユーザの表情などを適宜撮像することができる。そのため、ゲーム終了後には、ゲームをプレイ中のユーザの一連の表情を動画像ライクに表示させることができ、ユーザの意外なあるいは面白みのなる表情などを見て楽しむことができる。

好ましい第１５の局面によれば、表示制御手段は、撮像手段により撮像された画像データに所定のオブジェクトを重ねて表示させる。

この第１５の局面によれば、ゲーム終了後において、何らかの意味を持たせたオブジェクトを画像データに重ねて表示されるので、ゲームをプレイ中のユーザの表情そのものではなく、ユーザの表情を利用した各種の表現で楽しむことができる。

より好ましい第１６の局面によれば、表示制御手段は、画像データが記憶されたときのゲーム演出に対応するオブジェクトを当該画像データに重ねて表示させる。

この第１６の局面によれば、ゲーム終了後に、画像データが記憶されたときのゲーム演出を再現した画像で楽しむことができる。

あるいは、より好ましい第１７の局面によれば、表示制御手段は、画像データが記憶されたときのゲーム演出とは独立したオブジェクトを当該画像データに重ねて表示させる。

この第１７の局面によれば、ゲームをプレイ中のユーザの表情を利用して、全く別の意味を与えた表現を行なうことができる。

より好ましい第１８の局面によれば、ゲームプログラムは、コンピュータを、さらに、ゲームの進行中および撮像手段により撮像された画像データに基づく画像の表示中にオブジェクトを表示手段に表示させるオブジェクト表示手段として機能させ、オブジェクト表示手段は、ゲームの進行中に表示したオブジェクトの位置に当該オブジェクトを別のオブジェクトに入れ替えて、撮像手段により取得された画像データに基づく画像の表示中に表示させる。

この第１８の局面によれば、ゲーム中に表示されたオブジェクトとは異なるオブジェクトを、ゲーム中に取得された画像データと合わせて表示することで、ゲーム中に意味していたオブジェクトに与えられている意味とは異なる意味をもつ画像を表示することができる。

より好ましい第１９の局面によれば、ゲームプログラムは、コンピュータを、さらに、ゲームの進行中および撮像手段により撮像された画像データに基づく画像の表示中にオブジェクトを表示手段に表示させるオブジェクト表示手段として機能させ、オブジェクト表示手段は、ゲームの進行中に表示したオブジェクトとは関連しないオブジェクトを撮像手段により撮像された画像データに基づく画像の表示中に表示させる。

この第１９の局面によれば、ゲーム中に表示されたオブジェクトとは関連しないオブジェクトを、ゲーム中に取得された画像データと合わせて表示することで、ゲーム中に意味していたオブジェクトに与えられている意味とは関連しない、異なる意味をもつ画像を表示することができる。

より好ましい第２０の局面によれば、ゲーム進行手段は、予め定められた複数の段階において、各段階に対応付けられた成功条件に基づいてゲーム成功をそれぞれ判断することでゲームを進行し、ゲームプログラムは、コンピュータを、さらに、ゲームの進行に応じて、それぞれの段階に対応する成功条件に関連付けられたオブジェクトを切換えて表示手段に表示させるオブジェクト表示手段として機能させる。

この第２０の局面によれば、ゲーム進行に応じて、様々な意味をもつ複数のオブジェクトを随時表示させることができる。

より好ましい第２１の局面によれば、ゲーム進行手段は、予め定められた複数の段階において、各段階に対応付けられた成功条件に基づいてゲーム成功をそれぞれ判断することでゲームを進行し、表示制御手段は、ゲーム進行中の複数の段階のそれぞれにおいて取得されて撮像手段に撮像された複数の画像データと、各画像データが取得された段階に対応付けられた成功条件に関連付けられたオブジェクトと、を合成した画像を表示させる。

この第２１の局面によれば、一連のゲームのプレイ中に取得されたユーザの姿を写した複数の画像データを、それぞれの画像が取得されたシチュエーションに応じたオブジェクトを付加した表現を行なうことができる。

より好ましい第２２の局面によれば、ゲーム進行手段は、予め定められた複数の段階において、各段階に対応付けられた成功条件に基づいてゲーム成功をそれぞれ判断することでゲームを進行し、表示制御手段は、ゲーム進行中の複数の段階のそれぞれにおいて取得されて記憶手段に記憶された複数の画像データを連続的に表示させる。

この第２２の局面によれば、一連のゲームのプレイ中に取得されたユーザの姿を写した複数の画像データを、動画像ライクに表示することができ、ユーザの意外なあるいは面白みのなる表情などを見て楽しむことができる。

この発明の第２３の局面によれば、ユーザを撮像するように適合された撮像部（２３）と、表示部（１２，２２）と、演算処理部（３１）とを含むゲーム装置（１００）を提供する。演算処理部は、撮像部により取得される画像データに含まれるユーザ画像に基づくゲームの進行と、少なくとも、ユーザ画像が予め定められた条件を満足した場合に、撮像部により取得される画像データに基づく画像の表示部での表示とを実行可能である。

この第２３の局面によれば、本ゲーム装置によって提供されるゲームをユーザがプレイしているあるタイミングにおける、当該ユーザの姿を写した画像データを取得することができる。すなわち、ユーザを撮像して得られる画像データに対して人体認識の結果が予め定められた条件を満足したタイミングで、ゲームをプレイ中のユーザを撮像することができる。そして、ゲーム終了後に、これらの画像データを表示することで、ゲームをプレイ中のユーザの意外なあるいは面白みのなる表情などを見て楽しむことができる。

上述の記載においては、本発明の理解を助けるために後述の実施形態との対応関係を示すための参照符号および補足説明等を付したが、これらは本発明を何ら限定するものではない。

この発明によれば、ユーザは、自身を撮像して得られる画像データに基づいてゲームを進行させて楽しむことができるとともに、ゲームをプレイ中の自身の表情などを見て楽しむこともできる。

この発明の実施の形態に従うゲーム装置の外観図（開状態）である。 この発明の実施の形態に従うゲーム装置の外観図（閉状態）である。 この発明の実施の形態に従うゲーム装置の内部構成の一例を示すブロック図である。 この発明の実施の形態に従うゲーム装置へのゲームプログラムの提供形態を示す図である。 この発明の実施の形態に従うゲーム装置をプレイ中のユーザの様子を示す模式図である。 この発明の実施の形態に従うゲーム装置で実行される処理内容の一例を時間的に説明するための図である。 この発明の実施の形態に従う第１ゲームのシーンの一例を示す図（その１）である。 この発明の実施の形態に従う第１ゲームのシーンの一例を示す図（その２）である。 この発明の実施の形態に従う第１ゲームのシーンの一例を示す図（その３）である。 この発明の実施の形態に従う第１ゲーム終了後の画像の表示例を示す図である。 この発明の実施の形態に従う第２ゲームのゲーム中およびゲーム終了後のシーンの一例を示す図（その１）である。 この発明の実施の形態に従う第２ゲームのゲーム中およびゲーム終了後のシーンの一例を示す図（その２）である。 この発明の実施の形態に従う第２ゲームのゲーム中およびゲーム終了後のシーンの一例を示す図（その３）である。 この発明の実施の形態に従う第３ゲームのシーンの一例を示す図（その１）である。 この発明の実施の形態に従う第３ゲームのシーンの一例を示す図（その２）である。 この発明の実施の形態に従う第３ゲームのシーンの一例を示す図（その３）である。 この発明の実施の形態に従う第３ゲームのシーンの一例を示す図（その４）である。 この発明の実施の形態に従う第３ゲームのシーンの一例を示す図（その５）である。 この発明の実施の形態に従う第３ゲーム終了後の画像の表示例を示す図（その１）である。 この発明の実施の形態に従う第３ゲーム終了後の画像の表示例を示す図（その１）である。 本実施の形態に従うゲーム装置の制御構造を示すブロック図である。 図２１に示すレンダリングエンジンにおける処理を概念的に示す図である。 この発明の実施の形態に従う第１ゲームのゲーム進行の条件を説明するための図である。 この発明の実施の形態に従う第１ゲームの処理手順を示すフローチャートである。 この発明の実施の形態に従う第２ゲームの処理手順を示すフローチャートである。 この発明の実施の形態に従う第２ゲームに含まれる第１ミニゲームのゲーム進行の条件を説明するための図である。 この発明の実施の形態に従う第２ゲームに含まれる第１ミニゲームの処理手順を示すフローチャートである。 この発明の実施の形態に従う第２ゲームに含まれる第２ミニゲームのゲーム進行の条件を説明するための図である。 この発明の実施の形態に従う第２ゲームに含まれる第２ミニゲームの処理手順を示すフローチャートである。 この発明の実施の形態に従う第２ゲームに含まれる第３ミニゲームのゲーム進行の条件を説明するための図である。 この発明の実施の形態に従う第３ゲームの処理手順を示すフローチャートである。

この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

本発明に係るゲーム装置（コンピュータ）の代表例として、以下では、携帯型のゲーム装置１００について説明する。ゲーム装置１００は、撮像手段（もしくは、撮像部）および表示手段（もしくは、表示部）を利用可能である。また、本発明に係るゲームプログラムの一例として、コンピュータであるゲーム装置１００で実行されるゲームプログラムについて説明する。なお、本発明に係るコンピュータは、ゲーム装置に限定されることはなく、各種アプリケーションを実行可能なパーソナルコンピュータとして実現してもよい。さらに、本発明に係るゲームプログラムは、パーソナルコンピュータ上で実行される各種アプリケーションの一部の機能として組み込まれてもよい。

＜用語＞
本明細書において「利用可能な」とは、撮像手段（もしくは、撮像部）および表示手段（もしくは、表示部）などのデバイスがコンピュータ（典型的には、ゲーム装置１００）と有線または無線で接続されており、データ通信が可能であることを意味する。このとき、撮像手段（もしくは、撮像部）および表示手段（もしくは、表示部）などのデバイスは、ゲーム装置１００と一体構成されてもよいし、別体であってもよい。

＜外観＞
図１および図２は、この発明の実施の形態に従うゲーム装置１００の外観図である。

図１および図２を参照して、本実施の形態に従うゲーム装置１００は、折り畳み型の携帯ゲーム装置である。図１は、開いた状態（開状態）のゲーム装置１００を示し、図２は、閉じた状態（閉状態）のゲーム装置１００を示す。ゲーム装置１００は、開いた状態においてもユーザが両手または片手で把持することができるようなサイズで構成される。

ゲーム装置１００は、第１ハウジング１１および第２ハウジング２１を有する。第１ハウジング１１と第２ハウジング２１とは、開閉可能（折り畳み可能）に連結されている。図１に示す例では、第１ハウジング１１および第２ハウジング２１は、それぞれ長方形の板状に形成され、互いの長辺部分でヒンジによって回転可能に連結されている。

通常、ユーザがゲーム装置１００を使用する場合には、ゲーム装置１００は開状態におかれる。一方、ユーザがゲーム装置１００を使用しない場合には、ゲーム装置１００は閉状態におかれる。ゲーム装置１００では、第１ハウジング１１と第２ハウジング２１とのなす角度を、閉位置（略０度）と開位置（略１８０度）との間に必要に応じて維持することもできる。すなわち、第１ハウジング１１を第２ハウジング２１に対して任意の角度で静止させることができる。この際、第１ハウジング１１と第２ハウジング２１との連結部分に発生する摩擦力などを用いることができる。摩擦力に加えて、あるいは摩擦力に代えて、第１ハウジング１１と第２ハウジング２１との連結部にラッチ機構を採用してもよい。

第１ハウジング１１には、表示部（表示手段）として、第１ＬＣＤ（Liquid Crystal Display：液晶表示装置）１２が設けられる。第１ＬＣＤ１２は長方形状であり、その長辺方向が第１ハウジング１１の長辺方向に一致するように配置される。なお、本実施の形態では、表示部（表示手段）としてＬＣＤを採用した場合を示すが、たとえばＥＬ（Electro Luminescence：電界発光）を利用した表示装置といった、他の適切な表示装置を採用してもよい。また、表示部（表示手段）の解像度は、実行されるアプリケーションなどに応じて適切に設計することができる。

第１ハウジング１１には、入力部（入力手段）として、ゲーム装置１００に対する各種操作を行なうためのボタン１４Ａ〜１４Ｋが設けられる。ボタン１４Ａ〜１４Ｋのうち、方向入力ボタン１４Ａ、操作ボタン１４Ｂ、操作ボタン１４Ｃ、操作ボタン１４Ｄ、操作ボタン１４Ｅ、電源ボタン１４Ｆ、スタートボタン１４Ｇ、およびセレクトボタン１４Ｈは、第１ハウジング１１と第２ハウジング２１とを折り畳んだときに内側となる、第１ハウジング１１の内側主面上に設けられる。

すなわち、図１に示す配置例では、方向入力ボタン１４Ａおよび電源ボタン１４Ｆは、第１ハウジング１１の内側主面中央付近に設けられる第１ＬＣＤ１２に対して、左右一方側（図１では紙面左側）の主面上に設けられる。ボタン１４Ｂ〜１４Ｅ、スタートボタン１４Ｇ、およびセレクトボタン１４Ｈは、第１ＬＣＤ１２に対して左右他方側（図１では紙面右側）となる第１ハウジング１１の内側主面上に設けられる。

Ｌボタン１４Ｉは、第１ハウジング１１の紙面上側面の左端部に設けられ、Ｒボタン１４Ｊは、第１ハウジング１１の紙面上側面の右端部に設けられる。また、音量ボタン１４Ｋは、第１ハウジング１１の左側面に設けられる。

方向入力ボタン１４Ａ、Ｌボタン１４Ｉ、およびＲボタン１４Ｊは、たとえば選択操作等に用いられる。ボタン１４Ｂ〜１４Ｅは、たとえば決定操作やキャンセル操作等に用いられる。電源ボタン１４Ｆは、ゲーム装置１００の電源をオン／オフするために用いられる。音量ボタン１４Ｋは、ゲーム装置１００に搭載されるスピーカの音量を調整するために用いられる。

ゲーム装置１００は、ボタン１４Ａ〜１４Ｋとは別の入力部（入力手段）として、タッチパネル１３をさらに有している。タッチパネル１３は、第１ＬＣＤ１２の画面上を覆うように装着され、ユーザによる入力操作が行なわれた場合に、その座標を検出する。すなわち、タッチパネル１３は、第１ＬＣＤ１２の表示面と対応付けて配置される。

タッチパネル１３としては、たとえば抵抗膜方式のタッチパネルを採用することができるが、抵抗膜方式に限らず、各種の押圧式のタッチパネルを採用することができる。また、タッチパネル１３の解像度（検出精度）は、第１ＬＣＤ１２の解像度（表示精度）と同程度であることが好ましい。ただし、必ずしもタッチパネル１３の解像度と第１ＬＣＤ１２の解像度とが一致している必要はない。

第１ハウジング１１の紙面右側の側面には、タッチペン２７の挿入口（図１では、破線で示している）が設けられている。この挿入口には、タッチパネル１３に対する入力操作を行なうために用いられるタッチペン２７を収納することができる。なお、タッチパネル１３に対する入力操作は、通常、タッチペン２７を用いて行われるが、タッチペン２７に代えて、ユーザの指などでタッチパネル１３に対する入力操作を行なうことも可能である。

第１ハウジング１１の紙面右側の側面には、さらに、メモリカード２８を収納するための挿入口（図１では、二点鎖線で示している）が設けられている。この挿入口の内側には、ゲーム装置１００とメモリカード２８とを電気的に接続するためのコネクタ（図示せず）が設けられる。メモリカード２８は、このコネクタに着脱自在に装着される。メモリカード２８は、他の情報処理装置やゲーム装置から取得されたゲームプログラムや画像データの読出し、ならびに、ゲーム装置１００によって撮影および／または画像処理された画像データの記憶（保存）などに用いられる。メモリカード２８は、たとえばＳＤ（Secure
Digital）カードなどの不揮発性記憶媒体からなる。

第１ハウジング１１の紙面上側の側面には、メモリカード２９を収納するための挿入口（図１では、一点鎖線で示している）が設けられている。この挿入口の内側には、ゲーム装置１００とメモリカード２９とを電気的に接続するためのコネクタ（図示せず）が設けられる。メモリカード２９は、このコネクタに着脱自在に装着される。メモリカード２９は、ゲームプログラムなどを記憶する。

第１ハウジング１１と第２ハウジング２１との連結部の紙面左側には、３つのＬＥＤ１５Ａ〜１５Ｃが取り付けられる。ゲーム装置１００は、後述するように、他の機器との間で無線通信を行なうことが可能であり、第１ＬＥＤ１５Ａは、ゲーム装置１００の電源がオンである場合に点灯する。第２ＬＥＤ１５Ｂは、ゲーム装置１００の電池の状態（充電中や残量低下など）に応じて点灯する。第３ＬＥＤ１５Ｃは、無線通信の状態に応じて点灯する。したがって、３つのＬＥＤ１５Ａ〜１５Ｃによって、ゲーム装置１００の電源のオン／オフ状況、電池状況、無線通信状況をユーザに通知することができる。

第２ハウジング２１には、表示部（表示手段）として、第２ＬＣＤ２２が設けられる。第２ＬＣＤ２２は長方形状であり、その長辺方向が第２ハウジング２１の長辺方向に一致するように配置される。なお、第１ＬＣＤ１２と同様、ＬＣＤに代えて、他の適切な表示装置を採用してもよい。ゲーム装置１００では、入力手段（入力部）としてのタッチパネルが第１ＬＣＤ１２の画面上を覆うように装着されている構成を採用しているが、さらに別のタッチパネルを第２ＬＣＤ２２の画面上に装着してもよい。

第２ハウジング２１には、さらに、撮像手段（撮像装置）として、２つのカメラ（内側カメラ２３および外側カメラ２５）が設けられる。図１に示されるように、内側カメラ２３は、第２ハウジング２１の連結部付近の内側主面に取り付けられる。一方、図２に示さるように、外側カメラ２５は、内側カメラ２３が取り付けられる内側主面とは反対側の面、すなわち第２ハウジング２１の外側主面（ゲーム装置１００が閉状態となった場合に外側となる面に相当する）に取り付けられる。なお、図１においては、外側カメラ２５を破線で示している。

このような配置位置によって、内側カメラ２３は、第２ハウジング２１の内側主面が向く方向を撮像することが可能である。すなわち、内側カメラ２３は、ゲーム装置１００を把持してプレイするユーザ自身を撮像するように適合されている。一方、外側カメラ２５は、内側カメラ２３の撮像方向の逆方向、すなわち第２ハウジング２１の外側主面が向く方向を撮像することが可能である。

ゲーム装置１００の連結部の内部には、音声入力装置として、マイク（図３に示すマイク４３）が収納されている。そして、ゲーム装置１００の連結部付近の内側主面には、マイク４３がゲーム装置１００の周囲の音を検知するためのマイク用孔１６が設けられる。なお、マイク４３を収納する位置およびマイク用孔１６の位置は、ゲーム装置１００の連結部である必要はなく、たとえば、マイク４３を第１ハウジング１１内に収納し、マイク用孔１６を第１ハウジング１１上のマイク４３の収納位置に対応する位置に設けてもよい。

第２ハウジング２１の外側主面には、外側カメラ２５と近接した位置に、第４ＬＥＤ２６（図２）が設けられる。第４ＬＥＤ２６は、外側カメラ２５による撮像状態に応じて点灯する。すなわち、第４ＬＥＤ２６は、ゲーム装置１００により撮像が行われていることを被写界に存在する人やその周囲の人に通知する。より具体的には、第４ＬＥＤ２６は、外側カメラ２５によって撮像が行われている間点灯する。また、外側カメラ２５によって動画が取得されている（撮像された画像データが連続的に記憶されている）間は、第４ＬＥＤ２６を点滅させてもよい。なお、点灯によって発せられた光が撮像される画面に映り込むことを防ぐために、カメラによる撮影が指示された後、当該指示によってカメラによって取得された画像データのメモリなどへの記憶が完了するまでの間は、第４ＬＥＤ２６を消灯状態にしてもよい。

第２ハウジング２１の内側主面の中央付近に設けられる第２ＬＣＤ２２に対して、左右両側の主面に音抜き孔２４がそれぞれ設けられる。音抜き孔２４と連通する第２ハウジング２１内部には、音声出力装置として、スピーカ（図３に示すスピーカ４５）が収納されている。すなわち、音抜き孔２４は、スピーカ４５で発せられた音をゲーム装置１００の外部へ導く。

以上に説明したように、第１ハウジング１１には、ゲーム装置１００に対する操作入力を行なうための入力部（タッチパネル１３およびボタン１４Ａ〜１４Ｋ）と、各種画像を表示するための表示手段である第１ＬＣＤ１２とが設けられる。また、第２ハウジング２１には、画像データを取得するため内側カメラ２３および外側カメラ２５と、各種画像を表示するための表示手段である第２ＬＣＤ２２とが設けられる。

＜ゲーム装置の内部構成＞
図３は、この発明の実施の形態に従うゲーム装置１００の内部構成の一例を示すブロック図である。

図３を参照して、ゲーム装置１００は、ＣＰＵ３１と、メインメモリ３２と、メモリ制御回路３３と、保存用データメモリ３４と、プリセットデータ用メモリ３５と、メモリカードインターフェース（メモリカードＩ／Ｆ）３６および３７と、無線通信モジュール３８と、ローカル通信モジュール３９と、リアルタイムクロック（ＲＴＣ）４０と、電源回路４１と、インターフェース回路（Ｉ／Ｆ回路）４２等との電子部品を有している。これらの電子部品は、電子回路基板上に実装されて、第１ハウジング１１（あるいは、第２ハウジング２１）内に収納される。

ＣＰＵ３１は、各種プログラムを実行する演算処理部である。ＣＰＵ３１は、ゲーム装置１００内部のメモリ（典型的には、保存用データメモリ３４）、メモリカード２８、メモリカード２９のいずれかに格納されているゲームプログラムをメインメモリ３２に展開して実行する。ＣＰＵ３１のゲームプログラムの実行により、後述する本実施の形態に従う各種処理が提供される。後述するように、本実施の形態に従うゲームプログラムは、典型的に、ネットワーク接続された配信サーバ装置などから、有線または無線の通信回線を通じて、ゲーム装置１００に供給される。このゲーム装置１００に供給されたゲームプログラムは、保存用データメモリ３４に格納される。

また、ＣＰＵ３１は、もっぱら第１ＬＣＤ１２および第２ＬＣＤ２２での表示を制御するための不図示のＶＲＡＭ（Video Random Access Memory）を有する。このＶＲＡＭには、後述する各種画像を表示するための画像データなどが一時的に記憶される。なお、このＶＲＡＭには、メインメモリ３２に記憶されているデータが転送され、もしくは保存用データメモリ３４に格納されているファイル（データ）などが直接的に読出されて、その内容が書込まれる。

図４は、この発明の実施の形態に従うゲーム装置１００へのゲームプログラムの提供形態を示す図である。

図４を参照して、本実施の形態に従うゲームプログラムを配信する典型的なシステムは、インターネットなどのネットワークＮＷに接続された配信サーバ装置ＳＲＶと、ゲーム装置１００のネットワークＮＷへの無線通信を仲介するアクセスポイントＡＰとを含む。配信サーバ装置ＳＲＶは、本実施の形態に従うゲームプログラムを含む複数のゲームプログラムをダウンロード可能な状態に保持しており、ゲーム装置１００などからのアクセスに応じて、所定の手続きを経た後に、要求されたゲームプログラムの送信（ダウンロード）を開始する。

アクセスポイントＡＰは、ネットワークＮＷに有線接続されるとともに、無線通信モジュール３８（図３）との間で無線接続を確立する。ゲーム装置１００は、このアクセスポイントＡＰを介して、配信サーバ装置ＳＲＶへアクセスを行なう。そして、上述のように、配信サーバ装置ＳＲＶから配信されるゲームプログラムを受信すると、ゲーム装置１００のＣＰＵ３１は、その受信したゲームプログラムを保存用データメモリ３４などに格納する。このゲーム装置１００の保存用データメモリ３４に一旦格納されたゲームプログラムは、原則として、ゲーム装置１００の外部へ移動することが禁止される。そのため、ゲーム装置１００内に一旦取り込まれたゲームプログラムは、当該ゲーム装置１００においてのみ実行されることになるので、当該ゲーム装置１００の持ち主の使用実績や使用形態に応じて、各種設定やパラメータなどを当該ゲーム装置１００独自にカスタマイズもしくはアレンジするようなことも可能となる。

なお、図４に示すようなネットワーク配信の構成に代えて、ゲームプログラムを格納したメモリカード２８やメモリカード２９を販売することで、ゲームプログラムを提供してもよい。この場合、本発明に係るゲームプログラムを格納する記憶媒体としては、メモリカード２８やメモリカード２９といった半導体記憶装置に限らず、ＣＤ−ＲＯＭやＤＶＤなどの光学式記憶媒体でもよい。

再度図３を参照して、ＣＰＵ３１には、メインメモリ３２、メモリ制御回路３３、およびプリセットデータ用メモリ３５が接続される。また、メモリ制御回路３３には、保存用データメモリ３４が接続される。

メインメモリ３２は、ＣＰＵ３１のワーク領域やバッファ領域として用いられる記憶手段である。すなわち、メインメモリ３２は、各種処理に用いられるデータを一時的に記憶したり、保存用データメモリ３４、メモリカード２８、メモリカード２９などから読出したゲームプログラムを展開して一時的に記憶したりする。本実施の形態では、メインメモリ３２として、たとえばＰＳＲＡＭ（Pseudo-SRAM）を用いる。

保存用データメモリ３４は、ＣＰＵ３１によって実行されるゲームプログラムや内側カメラ２３および外側カメラ２５によって撮像される画像データなどを記憶する記憶手段である。保存用データメモリ３４は、たとえば、ＮＡＮＤ型フラッシュメモリなどの不揮発性記憶媒体からなる。メモリ制御回路３３は、ＣＰＵ３１から指示に従って、保存用データメモリ３４からのデータ読出し、および保存用データメモリ３４へのデータ書込みを制御する回路である。

プリセットデータ用メモリ３５は、ゲーム装置１００において予め設定される各種パラメータ等のデータ（プリセットデータ）を記憶する記憶手段である。プリセットデータ用メモリ３５としては、ＳＰＩ（Serial Peripheral Interface）バスによってＣＰＵ３１
と接続されるフラッシュメモリを採用することができる。

メモリカードＩ／Ｆ３６および３７は、それぞれＣＰＵ３１に接続される。メモリカードＩ／Ｆ３６は、コネクタに装着されたメモリカード２８に対するデータの読出しおよび書込みを、ＣＰＵ３１の指示に応じて行なう。また、メモリカードＩ／Ｆ３７は、コネクタに装着されたメモリカード２９に対するデータの読出しおよび書込みを、ＣＰＵ３１の指示に応じて行なう。

本実施の形態では、内側カメラ２３および外側カメラ２５によって取得された画像データや他の装置から取得された画像データは、メモリカードＩ／Ｆ３６を介してメモリカード２８へ書込まれ、メモリカード２８に記憶された画像データは、メモリカードＩ／Ｆ３６を介してメモリカード２８から読出されて保存用データメモリ３４へファイルとして書込まれる。また、メモリカード２９に格納された各種プログラムは、メモリカードＩ／Ｆ３７を介してメモリカード２９から読出されてメインメモリ３２へ書込まれる。

無線通信モジュール３８は、たとえばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュール３９は、所定の通信方式により同種のゲーム装置との間で無線通信を行なう機能を有する。無線通信モジュール３８およびローカル通信モジュール３９は、ＣＰＵ３１に接続される。ＣＰＵ３１は、無線通信モジュール３８を用いてインターネットなどのネットワーク回線を介して他の機器との間でデータを送受信したり、ローカル通信モジュール３９を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。

さらに、ＣＰＵ３１には、ＲＴＣ４０および電源回路４１が接続される。ＲＴＣ４０は、時間をカウントしてＣＰＵ３１に出力する。たとえば、ＣＰＵ３１は、ＲＴＣ４０によって計時された時間に基づいて、現在時刻（日付）等を計算することもできる。電源回路４１は、ゲーム装置１００が有する電源（典型的には電池であり、第１ハウジング１１に収納される）から供給される電力を制御し、ゲーム装置１００の各部品に電力を供給する。

ゲーム装置１００は、さらに、ＣＰＵ３１に接続されたＩ／Ｆ回路４２を有している。Ｉ／Ｆ回路４２には、マイク４３、アンプ４４、タッチパネル１３が接続される。Ｉ／Ｆ回路４２は、マイク４３ならびにアンプ４４（および、スピーカ４５）の制御を行なう音声制御回路と、タッチパネル１３の制御を行なうタッチパネル制御回路とを含む。

マイク４３は、ゲーム装置１００に向かって発声されたユーザの音声などを検知して、検知した音声を示す音声信号をＩ／Ｆ回路４２に出力する。アンプ４４は、Ｉ／Ｆ回路４２からの音声信号を増幅してスピーカ４５から出力させる。すなわち、Ｉ／Ｆ回路４２に含まれる音声制御回路は、マイク４３で検知された音声信号に対するＡ／Ｄ変換を行なって、その結果をＣＰＵ３１へ出力するとともに、ＣＰＵ３１などで生成された信号に対するＤ／Ａ変換を行なって、その結果をアンプ４４へ出力する。さらに、音声制御回路は、音声信号を記憶に適した所定形式の音声データに変換する。

また、Ｉ／Ｆ回路４２に含まれるタッチパネル制御回路は、タッチパネル１３からの検出信号に応じて、タッチ位置データを生成してＣＰＵ３１に出力する。たとえば、タッチ位置データは、タッチパネル１３の入力面に対して入力が行われた位置を示す座標値（以下、「入力座標」とも称する。）を含む。なお、タッチパネル制御回路は、タッチパネル１３からの信号の読出し、および、タッチ位置データの生成を所定周期でサイクリックに実行する。ＣＰＵ３１は、Ｉ／Ｆ回路４２（タッチパネル制御回路）を介して、タッチ位置データを取得することにより、ユーザによるタッチパネル１３に対する入力操作が行われた入力座標を検出することができる。

ボタン１４は、上述のボタン１４Ａ〜１４Ｋを総称的に示すものであり、ＣＰＵ３１に接続される。ボタン１４からＣＰＵ３１へは、ボタン１４Ａ〜１４Ｋについての入力状態（押下されたか否か）を示す操作データがそれぞれ出力される。ＣＰＵ３１は、ボタン１４から操作データを取得することによって、ボタン１４に対するユーザ操作に応じた処理を実行する。

内側カメラ２３および外側カメラ２５は、それぞれＣＰＵ３１に接続される。内側カメラ２３および外側カメラ２５は、ＣＰＵ３１の指示に応じて撮像を行ない、撮像によって取得した画像データをＣＰＵ３１に出力する。内側カメラ２３および外側カメラ２５の各々は、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）といった撮像素子と、撮像素子で取得された画像データを読出すための周辺回路とを含む。たとえば、ＣＰＵ３１は、内側カメラ２３および外側カメラ２５のいずれか一方に対して撮像を指示し、当該撮像の指示を受けたカメラが取得した画像データをＣＰＵ３１に出力する。

また、第１ＬＣＤ１２および第２ＬＣＤ２２は、いずれもＣＰＵ３１に接続される。第１ＬＣＤ１２および第２ＬＣＤ２２は、ＣＰＵ３１からの指示に従ってそれぞれ画像を表示する。ある形態として、ＣＰＵ３１は、第１ＬＣＤ１２および第２ＬＣＤ２２の一方に、内側カメラ２３または外側カメラ２５で取得された画像を表示するとともに、第１ＬＣＤ１２および第２ＬＣＤ２２の他方に、ユーザからの操作の受付けおよび／またはユーザに対する操作説明のための画面（画像）を表示させる。

＜アプリケーションの概要＞
本実施の形態に従うゲームプログラムを実行することで提供されるアプリケーションの概要について説明する。本実施の形態に従うゲーム装置１００では、ゲーム処理およびゲーム終了後の表示処理を含むアプリケーションが提供される。ゲーム処理としては、撮像部（典型的には、内側カメラ２３）を用いて主としてユーザの顔や手などを撮像し、この撮像によって得られた画像データに含まれるユーザ画像に基づいてゲームが進行される。ここで、ユーザ画像とは、少なくとも、撮像部により取得された画像データのうち、ユーザが被写体として写っている領域を含む画像を意味する。より具体的には、ユーザ画像を特定するために、取得された撮像データに対して人体認識処理（典型的には、後述する肌色領域検出処理および／または顔認識処理）が実行される。そして、この認識結果（ユーザ画像）に基づいて、ゲーム進行に応じた所定の条件が満足されるか否かが順次判断され、この判断結果に基づいてゲームをどのように進行するかが決定される。また、後述するように、撮像部により取得された画像データに含まれるユーザ画像に加えて、マイク４３により収集されるユーザの音声データに基づいて、ゲームを進行する場合もある。なお、本明細書において「ゲーム」とは、所定のシナリオに沿った一連のゲームである場合、および複数のミニゲームの集合体である場合を含む。

本実施の形態に従うゲーム装置１００では、このような一連のゲームの進行中に、ゲームを進行するための条件判定結果に関連して、あるいはそれとは独立して、撮像部によってユーザがプレイしている姿が適宜撮像される。このような撮像によって得られた画像データに基づく画像が、ゲームが進行中ではないとき（典型的には、一連のゲームが終了した後）に、表示部（典型的には、第２ＬＣＤ２２）に表示される。ユーザおよびその周囲にいる人は、この表示されるユーザのプレイ中の表情などを見て楽しむことができる。

図５は、この発明の実施の形態に従うゲーム装置１００をプレイ中のユーザの様子を示す模式図である。図５に示すように、典型的には、ゲーム装置１００は机などの上に載置され、すなわち内側カメラ２３の撮像範囲を固定した上で、ユーザ自身がその頭部、胴体部、手などをゲーム演出に応じて動かす。これにより、ゲーム装置１００における認識結果（すなわち、取得される画像データに含まれるユーザ画像）が変化し、この変化する認識結果に基づいてゲーム進行の条件が満足されるか否かが逐次判断される。

図６は、この発明の実施の形態に従うゲーム装置１００で実行される処理内容の一例を時間的に説明するための図である。図６を参照して、本実施の形態に従うゲーム装置１００では、ゲーム進行が開始されると、撮像部（内側カメラ２３）による画像データの取得、および取得された画像データに基づく人体認識処理の実行が所定周期で繰返し実行される。そして、この周期的に取得（更新）される認識結果に基づいて、ゲームが進行する。すなわち、認識結果が条件１，２，…を順次満足することで、順次ゲームが進行する。なお、所定時間内にすべての条件（あるいは、ゲームの成功条件）が満足されない場合には、当該ゲームは「失敗」という判断がなされる場合もある。なお、本明細書においては、ゲーム進行に関して予め用意されているすべての条件が満足された状態を、当該ゲームの「成功」と称することもある。

このゲーム進行と並行して、撮像部によりユーザのプレイしている姿が撮像される。なお、人体認識処理を行なうために取得された画像データは、基本的には、保存されることなく破棄される。一方、ユーザのプレイしている姿を写した画像データについては、メインメモリ３２などに保存される。そのため、その処理の差を明瞭化する観点から、ユーザのプレイしている姿を写した画像データを格納（保存）する処理については「キャプチャー」とも称する。

なお、人体認識処理およびキャプチャーのいずれについても、撮像部により取得される画像データを共通に使用するが、それぞれの処理において画像データを使用するタイミングが異なる場合がある。すなわち、人体認識処理では、一定周期で画像データに対して処理がなされるのに対して、キャプチャーでは、予め定められた条件の成立といったイベント的なタイミングで画像データが格納される。

図６に示すように、典型的には、ゲーム進行中に認識結果が条件１，２，…をそれぞれ満足するタイミングで画像データがそれぞれキャプチャーされる。すなわち、撮像部（内側カメラ２３）により取得された画像データに含まれるユーザ画像に基づいて、ゲームが成功したか否かが判断されるとともに、少なくとも、ゲームが成功したと判断されたときに撮像部により取得される画像データが保存される。なお、図６には、ゲーム進行に用いられる条件と、キャプチャーの実行タイミングを決定する条件とを同一とした場合を例示するが、両者を必ずしも一致させる必要はなく、ゲームのシナリオなどに応じて、互いに独立した条件を設定してもよい。

その後、一連のゲームが終了すると、ゲームのプレイ中にキャプチャーされた画像データ１，２，…が表示（リプレイ）される。このゲーム終了後には、ゲームの内容に対応させて、種々の態様で画像データが表示される。

本実施の形態に従うゲーム装置１００では、典型的に、以下に示する３種類のゲームが提供される。以下、これらのゲームの内容およびゲーム終了後に表示される画像の表示態様の一例について説明する。なお、これらのゲームは、ユーザ指示に従って、その一部もしくは全部が選択的に実行される。また、表示されるタイミングとしては、ゲーム終了後でなくとも、ユーザが指定した任意のタイミングで画像データをリプレイできるようにしてもよい。

＜第１ゲーム＞
まず、図７〜図１０を参照して、本実施の形態に従うゲーム装置１００で提供される第１ゲームおよび第１ゲーム終了後の画像の表示態様について説明する。この第１ゲームのプレイ中においては、ゲーム開始からゲーム終了までの間、第１ゲームが「成功」したと決定するための条件を含む複数の異なる条件が満足される毎に、ユーザがプレイしている姿がそれぞれキャプチャーされる。そして、第１ゲーム終了後に、これらのキャプチャーされた複数枚の画像データがキャプチャーされた時間順に沿って、あるいはランダムな順序で（連続的に）切換えて表示される。したがって、第１ゲーム終了後には、第１ゲームのプレイ中におけるユーザの姿が、動画像ライクな態様で表示される。すなわち、記憶された画像データに基づく画像表示として、第１ゲームでは、複数枚の画像データを所定時間で切換える動画像ライクな画像が表示される。なお、画像データの表示順序を本来の撮像順序とは異なるものに入れ替えることで、より楽しい画像表示を提供することができる。また、その表示速度（画像データの切換速度）を実際の撮像間隔より短くすることで、より動きのある画像表示を行なうことができる。

図７〜図９は、この発明の実施の形態に従う第１ゲームのシーンの一例を示す図である。図１０は、この発明の実施の形態に従う第１ゲーム終了後の画像の表示例を示す図である。

本実施の形態に従う第１ゲームは、内側カメラ２３によって取得された画像データに対する認識結果が予め定められた判定領域の大きさを超えるように、ユーザがゲーム装置１００（内側カメラ２３）に顔を近付けるゲームである。

まず、第１ゲームの開始がユーザにより指示されると、図７に示すような画面が第１ＬＣＤ１２および第２ＬＣＤ２２に表示される。なお、図７〜図９には、説明の便宜上、第１ＬＣＤ１２および第２ＬＣＤ２２にそれぞれ表示される画像全体（スクリーンショット）を一体的に並べて描いている。以後の図においても同様である。

より具体的には、図７に示すシーンにおいては、第１ＬＣＤ１２にユーザにどのような動きをすべきかを通知する通知画像ＩＮＦが表示される。すなわち、図７に示す例では、ユーザに顔を近付けることを通知する「ちかよってみて！」とのメッセージを示す画像が第１ＬＣＤ１２に表示される。一方、第２ＬＣＤ２２には、ゲーム演出上の画像オブジェクト（図７に示す例では、人間の口元の画像）が表示されるとともに、内側カメラ２３により取得された画像データに対する人体認識処理によって得られたユーザの顔の範囲を示す認識表示ＲＥＣが反映される。この認識表示ＲＥＣは、原則として、後述する肌色領域検出処理の処理周期毎に逐次更新される。

図７には、内側カメラ２３により取得された画像データにおいて、ユーザが相対的に下側の位置にのみ写っている状態を示している。そのため、撮像されたユーザの顔の位置に対応する認識表示ＲＥＣが第２ＬＣＤ２２の下側にのみ反映されている。

その後、ユーザがゲーム装置１００に顔を近付けて、内側カメラ２３により取得される画像データ内におけるユーザの写っている範囲が拡大すると、図８に示すような画面に遷移する。この図８に示す状態では、図７に比較してより拡大した人間の口元の画像オブジェクトが表示されるとともに、より広い範囲の認識表示ＲＥＣが反映される。

さらに、ユーザがゲーム装置１００に顔をさらに近付けて、内側カメラ２３により取得される画像データ内におけるユーザの写っている範囲がさらに拡大すると、図９に示すような画面に遷移する。この図９には、第１ゲームが「成功」した状態を示す。この第１ゲームが「成功」した状態では、図８に比較してより拡大した人間の口元の画像オブジェクトが表示されるとともに、歯の間から小鳥が顔を出している状態の画像オブジェクトが表示される。

以上のような、図７〜図９に示す一連のゲームにおいて、ユーザは、第２ＬＣＤ２２に表示されるゲーム演出および認識表示ＲＥＣを参照しながら、ゲーム装置１００との相対位置をゲーム進行に応じて変化させる。第１ゲームのプレイ中には、このようなユーザのゲーム中における姿が複数回にわたってキャプチャーされる。そして、第１ゲーム終了後、これらのキャプチャーされた複数の画像データが順次表示される。この画像データが表示される様子の一例を図１０に示す。

図１０（ａ）には、第１ゲームをプレイしたユーザの顔が図１０（ｂ）に比較して、より小さく写っている。これは、上述の図８に示すような状態に対応するものであり、ユーザの顔がゲーム装置１００に対して相対的に遠い位置にある場合を示す。一方、図１０（ｂ）には、図１０（ａ）に比較して、ユーザの顔がより大きな範囲に映っている。これは、上述の図９に示すような状態に対応するものであり、ユーザの顔がゲーム装置１００に対して相対的に近い位置にある場合を示す。

このような画像を連続的に切換えて表示することで、ユーザが第１ゲームをプレイしている姿を動画像ライクに表示することができる。言い換えれば、ユーザが第１ゲームをプレイしている状態をリプレイ表示することができる。

なお、図１０には、典型的に２枚の画像データが順次切換えられる例について示すが、第１ゲーム中により多くの画像データを取得しておき、これらを順次切換えて表示するようにしてもよい。

＜第２ゲーム＞
次に、図１１〜図１３を参照して、本実施の形態に従うゲーム装置１００で提供される第２ゲームおよび第２ゲーム終了後の画像の表示態様について説明する。この第２ゲームは、典型的に複数のミニゲームから構成され、各ミニゲームのプレイ中においては、所定の条件が満足されたタイミングでユーザがプレイしている姿が少なくとも１枚キャプチャーされる。そして、一連のミニゲームの終了、すなわち第２ゲーム終了後に、これらのキャプチャーされたそれぞれの画像データに対して、対応するミニゲームに関連するオブジェクト、あるいは対応するミニゲームとは異なる意味をもつオブジェクトを重ねて表示する。したがって、第２ゲーム終了後には、第２ゲームのプレイ中におけるあるタイミング（典型的には、当該ミニゲームが「成功」したタイミング周辺）におけるユーザの姿が、ゲーム演出に対応するオブジェクトとともに表現され、あるいは、ゲーム演出とは独立した（無関係な）オブジェクトとともに表現される。なお、複数のミニゲームにおいてそれぞれキャプチャーされた画像データは、所定時間毎に切換えて表示、すなわち、いわゆるスライドショーのように表示されることが好ましい。

なお、第２ゲームの開始がユーザにより指示された場合に、予め用意された複数のミニゲームのうち、いずれのミニゲームを実行するかについてランダムに決定するようにしてもよい。

図１１〜図１３は、この発明の実施の形態に従う第２ゲームのゲーム中およびゲーム終了後のシーンの一例を示す図である。

（１）第１ミニゲーム
図１１（ａ）に示す第２ゲームに含まれる第１ミニゲームでは、第２ＬＣＤ２２の予め定められた位置に「メガネ」のオブジェクトＯＢＪ１０が表示されており、ユーザは、認識される自身の目の位置がオブジェクトＯＢＪ１０と一致するように、ゲーム装置１００（内側カメラ２３）に対する自身の相対位置を調整する。

図１１（ａ）に示すシーンにおいては、第２ＬＣＤ２２に、ゲーム演出上の画像オブジェクト（オブジェクトＯＢＪ１０）が表示されるとともに、内側カメラ２３により取得された画像データに対する人体認識処理によって得られたユーザの顔の範囲を示す認識表示ＲＥＣが反映される。この認識表示ＲＥＣは、後述する肌色領域検出処理の処理周期毎に逐次更新される。また、人体認識されたユーザの瞳に位置に「目」を示す画像オブジェクトが表示される。

ユーザが、ゲーム装置１００に対する自身の相対位置を調整し、内側カメラ２３により取得される画像データ内における人体認識されたユーザの瞳の位置が、オブジェクトＯＢＪ１０の配置位置と一致したと判断されると、第１ミニゲームは「成功」となる。このように、人体認識の結果に基づいて、ゲーム演出に応じて表示されるオブジェクトの位置に関連付けられた成功条件が満足されるか否かが判断される。

図１１（ｂ）を参照して、第２ゲーム終了後、図１１（ａ）に示す第１ミニゲームのプレイ中にキャプチャーされた画像データが第２ＬＣＤ２２に表示される。この表示される画像には、典型的に、第１ミニゲームのプレイ中に表示された「メガネ」のオブジェクトＯＢＪ１０＃が重ねられる。なお、図１１（ｂ）に示す例では、対応する第１ミニゲームにおいて表示された「メガネ」と同じ「メガネ」のオブジェクトが重ねて表示されるが、別の形態の「メガネ」を重ねて表示するようにしてもよい。あるいは、「メガネ」とは全く異なる画像オブジェクトを重ねて表示するようにしてもよい。

なお、第１ＬＣＤ１２には、複数のミニゲームのそれぞれにおいてキャプチャーされた画像データの表示（スライドショー）を制御するためのボタン画像などが表示される。より具体的には、第１ＬＣＤ１２には、順序通知画像２０２、停止ボタン画像２０４、戻るボタン画像２０６、進むボタン画像２０８、および、おわるボタン画像２１０が表示される。第１ＬＣＤ１２の上にはタッチパネル１３が設けられており、ユーザが第１ＬＣＤ１２上のいずれかの位置をタッチすると、タッチパネル１３によりタッチされた座標が検出される。そして、検出された座標に上述のいずれかのボタン画像が表示されている場合には、以下に説明するような、対応するボタン画像に割当てられた処理が実行される。

順序通知画像２０２は、現在表示中の画像データがいずれのミニゲームにおいてキャプチャーされたものであるかを通知する。図１１（ｂ）に示す例では、先に５つのミニゲームがプレイされた場合を示すとともに、現在表示されている画像データが第１番目のミニゲームにおいてキャプチャーされたことが示される。停止ボタン画像２０４は、画像データの表示切り替え（スライドショー）の停止指示を受付ける。なお、スライドショーが停止状態の場合には、停止ボタン画像２０４に代えて、スライドショーの再開指示を受付けるための再生ボタン画像が表示される。戻るボタン画像２０６は、一連の画像データのうち、表示される画像データを現在表示中のものから１つ戻すための指示を受付ける。また、進むボタン画像２０８、一連の画像データのうち、表示される画像データを現在表示中のものから１つ進めるための指示を受付ける。終わるボタン画像２１０は、画像データの表示の終了指示を受付ける。

（２）第２ミニゲーム
次に、図１２（ａ）に示す第２ゲームに含まれる第２ミニゲームでは、第２ＬＣＤ２２に「蚊」を示すオブジェクトＯＢＪ１１が移動表示され、ユーザは、認識される自身の手の動きによってオブジェクトＯＢＪ１１が「つぶされる」ように、手をたたく。

図１２（ａ）に示すシーンにおいては、第２ＬＣＤ２２に、ゲーム演出上の画像（オブジェクトＯＢＪ１１）が時間的に位置を変えて表示されるとともに、ユーザに手をたたくことを促すオブジェクトＯＢＪ１２が表示される。さらに、第２ＬＣＤ２２には、内側カメラ２３により取得された画像データに対する人体認識処理によって得られたユーザの手および顔の範囲を示す認識表示ＲＥＣが反映される。この認識表示ＲＥＣは、後述する肌色領域検出処理の処理周期毎に逐次更新される。一方、第１ＬＣＤ１２には、ユーザに手をたたくことを通知する「たたけ！」とのメッセージを示す通知画像ＩＮＦが表示される。

ユーザがゲーム装置１００に対する自身の相対位置を調整した上で手をたたき、内側カメラ２３により取得される画像データに対する人体認識処理によって、オブジェクトＯＢＪ１１の位置でユーザが手をたたいたと認識されると、第２ミニゲームは「成功」となり、「蚊」が画面下側に落ちるような演出がなされる。

図１２（ｂ）を参照して、第２ゲーム終了後、図１２（ａ）に示す第２ミニゲームのプレイ中にキャプチャーされた画像データが第２ＬＣＤ２２に表示される。この表示される画像には、第２ミニゲームのプレイ中に表示された「蚊」のオブジェクトＯＢＪ１１とは独立した、異なる意味をもつオブジェクトＯＢＪ１３が重ねられる。すなわち、ユーザによる「蚊」をたたく動きを、ユーザの可愛らしい（ｌｏｖｅｌｙな）表現に置き換えて表示がなされる。

なお、第１ＬＣＤ１２には、上述の図１１（ｂ）と同様に、複数のミニゲームのそれぞれにおいてキャプチャーされた画像データの表示（スライドショー）を制御するためのボタン画像などが表示される。

図１２に示すように、第２ミニゲームの終了後の、第２ミニゲームのプレイ中にキャプチャーされた画像データに基づく画像の表示中には、第２ミニゲームの進行中に表示したオブジェクトの位置に当該オブジェクトとは別のオブジェクトに入れ替えて画像表示がなされる。特に、図１２に示す例では、第２ミニゲームの進行中に表示されたオブジェクト（図１２（ａ）に示す例では「蚊」）とは関連しないオブジェクト（図１２（ｂ）に示す例では「ハートマーク」など）が、第２ミニゲームのプレイ中にキャプチャーされた画像データとともに表示される。

（３）第３ミニゲーム
次に、図１３（ａ）に示す第２ゲームに含まれる第３ミニゲームでは、２人のユーザでのプレイが可能である。すなわち、図１３（ａ）に示す第３ミニゲームでは、第２ＬＣＤ２２に２つの「トーテムポール」のオブジェクトＯＢＪ１４およびＯＢＪ１５が表示されるとともに、内側カメラ２３により取得された画像データに対する人体認識処理によって得られたそれぞれのユーザの範囲を示す認識表示ＲＥＣが反映される。この認識表示ＲＥＣは、後述する肌色領域検出処理の処理周期毎に逐次更新される。これらの「トーテムポール」のオブジェクトＯＢＪ１４およびＯＢＪ１５には、その一部に円状の切り抜き部が設けられており、それぞれのユーザは、認識される自身の顔の位置が対応する切り抜き部と一致するように、ゲーム装置１００（内側カメラ２３）に対する相対位置を調整する。

また、第１ＬＣＤ１２には、ユーザに自身の顔を所定位置に一致させることを通知する「あわせて！」とのメッセージを示す通知画像ＩＮＦが表示される。

両ユーザが、ゲーム装置１００に対する自身の相対位置を調整し、内側カメラ２３により取得される画像データ内における人体認識された顔の位置が、対応するオブジェクトＯＢＪ１４およびＯＢＪ１５の切り抜き部と一致したと判断されると、第３ミニゲームは「成功」となる。

図１３（ｂ）を参照して、第２ゲーム終了後、図１３（ａ）に示す第３ミニゲームのプレイ中にキャプチャーされた画像データが第２ＬＣＤ２２に表示される。この表示される画像には、第３ミニゲームのプレイ中に表示された「トーテムポール」のオブジェクトＯＢＪ１４およびＯＢＪ１５とは独立した、異なる意味をもつオブジェクトＯＢＪ１６が重ねられる。すなわち、両ユーザが「トーテムポール」に設けられたそれぞれの切り抜き部に位置した姿を、大きな「鼻」から両ユーザが飛び出ている表現に置き換えて表示がなされる。

なお、第１ＬＣＤ１２には、上述の図１１（ｂ）と同様に、複数のミニゲームのそれぞれにおいてキャプチャーされた画像データの表示（スライドショー）を制御するためのボタン画像などが表示される。

上述のように、第２ゲーム（に含まれるミニゲーム）のプレイ中にキャプチャーされたユーザの姿に、対応するミニゲームのゲーム演出に対応するオブジェクト、あるいは対応するミニゲームのゲーム演出とは独立した（異なる意味をもつ）オブジェクトが重ねて表現される。これにより、ユーザがミニゲームをプレイした姿を利用したより楽しい画像で楽しむことができる。

図１３に示すように、第３ミニゲームの終了後の、第３ミニゲームのプレイ中にキャプチャーされた画像データに基づく画像の表示中には、第３ミニゲームの進行中に表示したオブジェクトとは別のオブジェクトに入れ替えて画像表示がなされる。特に、図１３に示す例では、第３ミニゲームの進行中に表示されたオブジェクト（図１３（ａ）に示す例では「トーテムポール」）とは関連しないオブジェクト（図１３（ｂ）に示す例では「鼻」など）が、第３ミニゲームのプレイ中にキャプチャーされた画像データとともに表示される。

＜第３ゲーム＞
次に、図１４〜図１９を参照して、本実施の形態に従うゲーム装置１００で提供される第３ゲームおよび第３ゲーム終了後の画像の表示態様について説明する。第３ゲームは、一連の複数のミニゲームから構成され、各ミニゲームのプレイ中においては、所定の条件が満足されたタイミングでユーザがプレイしている姿が少なくとも１枚キャプチャーされる。そして、一連のミニゲームの終了、すなわち第３ゲーム終了後に、これらのキャプチャーされたそれぞれの画像データに対して、特定の意味をもつオブジェクトを重ねて表示することで、予め用意されたシナリオに沿った漫画ライクな表現が提供される。なお、この漫画ライクな画像データは、所定時間毎に順次切換えて表示される。

図１４〜図１８は、この発明の実施の形態に従う第３ゲームのシーンの一例を示す図である。図１９および図２０は、この発明の実施の形態に従う第３ゲーム終了後の画像の表示例を示す図である。なお、以下の説明では、第３ゲームが５つのミニゲームから構成され、それぞれのミニゲームにおいてキャプチャーされた合計５つの画像データを用いて「５コマ漫画」が表示される場合について例示する。

（１）第４ミニゲーム
図１４に示す第３ゲームに含まれる第４ミニゲームでは、第２ＬＣＤ２２の予め定められた位置に、人間の頭部および背中を表わすオブジェクトＯＢＪ１７が表示されており、ユーザは、認識される自身の動きによってオブジェクトＯＢＪ１７の「肩」に相当する部分を「たたく」ように、手を動かす。

図１４に示すシーンにおいては、第２ＬＣＤ２２に、ゲーム演出上の画像（オブジェクトＯＢＪ１７）が表示されるとともに、内側カメラ２３により取得された画像データに対する人体認識処理によって得られたユーザの手の範囲を示す認識表示ＲＥＣが反映される。この認識表示ＲＥＣは、後述する肌色領域検出処理の処理周期毎に逐次更新される。

ユーザがゲーム装置１００に対する手の相対位置を調整した上で、手を上下させ、内側カメラ２３により取得される画像データに対する人体認識処理によって、ユーザがオブジェクトＯＢＪ１７の所定位置（「肩」に対応する位置）を「たたいた」と所定回数にわたって判断されると、第４ミニゲームは「成功」となる。なお、ゲーム進行中において、「肩」を「たたいた」と判断されると、そのことを示すオブジェクトＯＢＪ１８が表示される。さらに、第２ＬＣＤ２２には、ゲームが「成功」となるために必要な肩を「たたく」残り回数を示すオブジェクトＯＢＪ１９も表示される。

（２）第５ミニゲーム
図１５に示す第３ゲームに含まれる第５ミニゲームでは、第２ＬＣＤ２２に別れのシーンを表わすオブジェクトＯＢＪ２０が表示されており、ユーザは、手を左右に動かして、「バイバイ」の動作を行なう。

図１５に示すシーンにおいては、第２ＬＣＤ２２に、ゲーム演出上の画像（オブジェクトＯＢＪ２０）が表示されるとともに、内側カメラ２３により取得された画像データに対する人体認識処理によって得られたユーザの手の範囲を示す認識表示ＲＥＣが反映される。この認識表示ＲＥＣは、後述する肌色領域検出処理の処理周期毎に逐次更新される。

ユーザがゲーム装置１００に対する手の相対位置を調整した上で手を左右に動かし、内側カメラ２３により取得される画像データに対する人体認識処理によって、ユーザがその手を所定回数にわたって左右に動かしたと認識されると、第５ミニゲームは「成功」となる。なお、ゲーム進行中において、ユーザに手をふることを促すオブジェクトＯＢＪ２１が表示される。

（３）第６ミニゲーム
図１６に示す第３ゲームに含まれる第６ミニゲームでは、第２ＬＣＤ２２に「鼻」を表わすオブジェクトＯＢＪ２２が表示されており、ユーザは、認識される自身の人差し指および中指が「鼻」を表わすオブジェクトＯＢＪ２２の「穴」に相当する位置に「差し込まれる」ように、手を動かす。

図１６に示すシーンにおいては、第２ＬＣＤ２２に、ゲーム演出上の画像（オブジェクトＯＢＪ２２）が表示されるとともに、内側カメラ２３により取得された画像データに対する人体認識処理によって得られたユーザの手の範囲を示す認識表示ＲＥＣが反映される。この認識表示ＲＥＣは、後述する肌色領域検出処理の処理周期毎に逐次更新される。

ユーザがゲーム装置１００に対する手の相対位置を調整した上で手の位置を調整し、内側カメラ２３により取得される画像データに対する人体認識処理によって、ユーザの人差し指および中指がオブジェクトＯＢＪ２２の「穴」に相当する位置に差し込まれたと認識されると、第６ミニゲームは「成功」となる。

（４）第７ミニゲーム
図１７に示す第３ゲームに含まれる第７ミニゲームでは、第２ＬＣＤ２２に「マントを羽織ったキャラクター」を表わすオブジェクトＯＢＪ２３が表示されており、ユーザは、内側カメラ２３に顔を近付けるとともに、内側カメラ２３に近接配置されているマイク用孔１６（およびその中に収納されるマイク４３）に向けて息を吹きかける。

図１７に示すシーンにおいては、第２ＬＣＤ２２に、ゲーム演出上の画像（オブジェクトＯＢＪ２３）が表示されるとともに、内側カメラ２３により取得された画像データに対する人体認識処理によって得られたユーザの手の範囲を示す認識表示ＲＥＣが反映される。この認識表示ＲＥＣは、後述する肌色領域検出処理の処理周期毎に逐次更新される。

ユーザがゲーム装置１００に対する自身の顔の相対位置を調整した上で息を吹きかけ、これにより、ユーザの顔の認識領域が所定のしきい値を超え、かつ息を吹きかける際の音圧が所定のしきい値を超えると、第７ミニゲームは「成功」と判断される。なお、ゲーム進行中において、息を吹きかけたと判定されると、その判定に応じて、表示されるオブジェクトＯＢＪ２３が「吹き飛ばされる」ような演出がなされる。

（５）第８ミニゲーム
図１８に示す第３ゲームに含まれる第８ミニゲームでは、第２ＬＣＤ２２に「泣いている赤ちゃん」を表わすオブジェクトＯＢＪ２４が表示されており、ユーザは、顔を両手で覆うような動作および顔から両手を離す動作を繰返す、いわゆる「いないいないばあ」をする。

図１８に示すシーンにおいては、第２ＬＣＤ２２に、ゲーム演出上の画像（オブジェクトＯＢＪ２４）が表示されるとともに、内側カメラ２３により取得された画像データに対する人体認識処理によって得られたユーザの手の範囲を示す認識表示ＲＥＣが反映される。この認識表示ＲＥＣは、後述する肌色領域検出処理の処理周期毎に逐次更新される。

ユーザが自身の顔を両手で覆う動作および両手を離す動作を所定回数にわたって繰返したと認識されると、第８ミニゲームは「成功」と判断される。

（６）ゲーム終了後の表示例
上述のような第４〜第８ミニゲーム（第３ゲーム）終了後に、図１９および図２０に示すような予め用意されたシナリオに沿った漫画ライクな表現が提供される。

第３ゲーム終了後、第２ＬＣＤ２２には、図１９（ａ）に示すような予め用意されたタイトル画面が表示され、続いて、図１９（ｂ）に示すような画面が表示される。この図１９（ｂ）に示す画面は、ユーザが第３ゲームに含まれる第４ミニゲーム（図１４）をプレイ中にキャプチャーされた画像データに、予め用意されたシナリオに沿った画像オブジェクトを重ねたものである。その後、図１９（ｂ）に示す画面に引き続いて、図１９（ｃ）に示す画面が表示される。この図１９（ｃ）に示す画面は、ユーザが第３ゲームに含まれる第５ミニゲーム（図１５）をプレイ中にキャプチャーされた画像データに、予め用意されたシナリオに沿った画像オブジェクトを重ねたものである。

以下同様にして、図１９（ｃ）に示す画面に引き続いて、第２ＬＣＤ２２には、図２０（ａ）に示す画面、図２０（ｂ）に示す画面、図２０（ｃ）に示す画面が順次表示される。図２０（ａ）に示す画面、図２０（ｂ）に示す画面、および図２０（ｃ）に示す画面は、それぞれ第３ゲームに含まれる第６ミニゲーム（図１６）、第７ミニゲーム（図１７）、および第８ミニゲーム（図１８）をユーザがプレイ中にキャプチャーされた画像データに、予め用意されたシナリオに沿ったそれぞれの画像オブジェクトを重ねたものである。

図１９および図２０に示すように、一連のミニゲームのプレイ中にそれぞれキャプチャーされたユーザの姿に、予め用意されたシナリオに沿ったオブジェクトが重ねて表現される。これにより、第３ゲームをプレイしたユーザを主人公にした漫画ライクな画像で楽しむことができる。

上述の図１４〜図１８に示すように、第３ゲームにおいては、予め定められた複数の段階（第４〜第８ミニゲーム）において、各段階（ミニゲーム）に対応付けられた成功条件に基づいてゲーム成功をそれぞれ判断することでゲームが進行される。このとき、各ミニゲームでは、それぞれに対応する成功条件に関連付けられたオブジェクトが切換えて表示される。

また、上述の図１９および図２０に示すように、第３ゲームにおいては、予め定められた複数の段階（第４〜第８ミニゲーム）において、各段階（ミニゲーム）に対応付けられた成功条件に基づいてゲーム成功をそれぞれ判断することでゲームが進行される。この第３ゲームの終了後、ゲーム進行中の複数の段階（ミニゲーム）のそれぞれにおいて取得されて画像記憶部１１６に記憶された複数の画像データと、各画像データが取得された段階（ミニゲーム）に対応付けられた成功条件に関連付けられたオブジェクトと、を合成した画像が表示される。

＜制御構造＞
次に、上述のような処理を提供するための制御構造について説明する。

図２１は、本実施の形態に従うゲーム装置１００の制御構造を示すブロック図である。
図２１を参照して、ゲーム装置１００は、その制御構造として、音声データバッファ１０２と、音声認識部１０４と、判定部１１０と、画像データバッファ１１２と、キャプチャーコントローラ１１４と、画像記憶部１１６と、人体認識部１２０と、ゲーム画像コントローラ１３０と、ゲーム画像ＤＢ（Data Base）１３２と、認識結果反映部１３４と、
リプレイコントローラ１３６と、リプレイ画像ＤＢ１３８と、レンダリングエンジン１４０とを含む。なお、図２１に示す制御構造は、典型的には、ＣＰＵ３１がメインメモリ３２などのハードウェアを利用してゲームプログラムを実行することが提供される。代替的に、その全部もしくは一部をハードウェア回路によって具現化してもよい。

音声データバッファ１０２は、マイク４３（図３）により取得された音声がＩ／Ｆ回路４２（図３）でＤ／Ａ変換されて得られるデジタル形式の音声信号を所定時間分だけ蓄積する。この音声データバッファ１０２は、メインメモリ３２の一部の領域として提供される。

音声認識部１０４は、音声データバッファ１０２に蓄積された音声データに対して、公知の音声認識を行なう。典型的には、音声認識部１０４は、上述の図１７に示す第３ゲームに含まれる第７ミニゲームにおけるユーザが息を吹きかけているか否かを判断する。なお、マイク４３により取得された音声が所定の音圧以上であるか否かに基づいて、ユーザが息を吹きかけているか否かを判断してもよい。音声認識部１０４による認識結果は、判定部１１０へ送られる。

画像データバッファ１１２は、カメラ（内側カメラ２３および外側カメラ２５）より取得される画像データを所定コマ数分蓄積する。なお、上述の各ゲームにおいては、基本的に内側カメラ２３が使用されるので、画像データバッファ１１２には、内側カメラ２３で撮像された画像データが随時蓄積される。メインメモリ３２の一部の領域として提供される。また、画像データバッファ１１２は、キャプチャーコントローラ１１４および人体認識部１２０と接続される。

キャプチャーコントローラ１１４は、画像データバッファ１１２と画像記憶部１１６との間に配置され、後述する判定部１１０からのキャプチャー指令に応じて、画像データバッファ１１２に蓄積されている画像データを画像記憶部１１６へ出力する。すなわち、ゲームのプレイ中（内側カメラ２３が有効化されている間）には、内側カメラ２３により撮像される画像データが周期的に画像データバッファ１１２に書込まれ、これらの画像データのうち、必要なものが選択的に画像記憶部１１６に格納される。

画像記憶部１１６は、本実施の形態に従うゲーム終了後に表示される画像データを格納する。この画像記憶部１１６は、メインメモリ３２もしくは保存用データメモリ３４の一部の領域として提供される。なお、この画像記憶部１１６に格納された画像データを、外部からゲーム装置１００に装着されるメモリカード２８に格納するように構成してもよい。

人体認識部１２０は、内側カメラ２３により取得される画像データに対して人体認識を行なうとともに、その認識結果を判定部１１０へ出力する。より具体的には、顔認識部１２２と、色座標変換部１２４と、肌色領域検出部１２６とを含む。

顔認識部１２２は、画像データバッファ１１２に蓄積される画像データに対して、顔認識処理を実行する。すなわち、顔認識部１２２は、ユーザ画像として、撮像された画像データの中から人間の顔領域を検出する。このとき、顔認識部１２２は、顔領域に含まれる顔の特徴点なども抽出する。顔認識部１２２は、これらの顔認識結果を判定部１１０へ出力する。より具体的には、顔領域として特定された範囲を示す座標値および瞳などの中心座標などが検出結果として出力される。なお、顔認識部１２２における顔認識処理については、公知の技術であるので、ここでは詳細な説明は行なわない。

色座標変換部１２４は、後述する肌色領域検出部１２６での前処理として、ＲＧＢ表色系で記述された画像データをＨＶＣ表色系に変換する。すなわち、カメラで撮像される画像データでは、各画素の色情報がＲ（赤）、Ｇ（緑）、Ｂ（青）の階調値で表現されており、色座標変換部１２４は、これらの各画素の色情報を色相（Ｈｕｅ）、輝度（Ｖａｌｕｅ）、彩度（Ｃｈｒｏｍａ）の座標系に変換する。

肌色領域検出部１２６は、色座標変換部１２４から出力されるＨＶＣ座標系の色情報に基づいて、内側カメラ２３により取得される画像データ内の肌色領域を検出する（肌色領域検出処理）。すなわち、肌色領域検出部１２６は、ユーザ画像として、内側カメラ２３により取得される画像データ内の肌色領域を検出する。これにより、肌色領域検出部１２６は、画像データ内のユーザの領域を示すユーザ領域を検出する。より具体的には、肌色領域検出部１２６は、各画素について、色相、輝度、および彩度がそれぞれ対応するしきい範囲に含まれているか否かを判断し、いずれのしきい範囲に含まれている画素について「肌色」であると判定する。なお、周辺の照明環境によって、ユーザの肌の部分を撮像して得られる色情報は変動するので、予め、ユーザを１回もしくは複数回にわたって撮像し、これらの撮像によって得られた画像データに基づいて肌色とすべきしきい範囲を動的に決定することが好ましい。肌色領域検出部１２６は、このように検出した肌色領域（肌色であると判断された各画素の座標値および／または画素の数）を判定部１１０へ出力する。

判定部１１０は、音声認識部１０４および人体認識部１２０（顔認識部１２２および肌色領域検出部１２６）からの認識結果に基づいて、ゲーム進行中に各ゲームに固有に設定された条件が満足されているか否かを逐次判断する。すなわち、判定部１１０は、認識結果に基づいて、進行中のゲーム演出に応じて表示されるオブジェクトの位置に関連付けられた条件が満足されるか否かを判断する。より具体的には、判定部１１０は、それぞれのゲームに対応付けて予め複数の条件からなる条件群１１０ａを格納しており、ユーザ指令に応じて選択されるゲームに応じて、対応する条件を選択して、入力される認識結果が当該条件を満足するか否かを判断する。そして、判定部１１０は、各ゲームが成功であると判断される条件（成功条件）が満足された場合に、ゲームが成功したと決定する。

なお、判定部１１０は、肌色領域検出部１２６および／または顔認識部１２２によりユーザの存在が検出されているときに限って、ゲームが成功したか否かを判断するようにしてもよい。ここで、ユーザの存在が検出されたか否かの判断基準としては、肌色領域検出部１２６によって所定面積以上の肌色領域が検出されている場合や、顔認識部１２２により顔領域が検出されている場合などを含む。このような条件を付加することで、ユーザがゲーム装置１００の前に存在していないにもかかわらず、ゲームが誤判定によって進行するといった事態を回避できる。

さらに、判定部１１０は、ゲームが成功であるか否かを決定するための成功条件に加えて、キャプチャーコントローラ１１４へ対してキャプチャー指令を出力するための条件が満足されるか否かについても判断する。

また、この判定部１１０による判定結果は、ゲーム画像コントローラ１３０および認識結果反映部１３４へ出力される。また、判定部１１０は、人体認識部１２０からの認識結果を認識結果反映部１３４へ出力する。

ゲーム画像コントローラ１３０およびゲーム画像ＤＢ１３２は、判定部１１０からの認識結果に基づいて、ゲームを進行する。より具体的には、ゲーム画像ＤＢ１３２には、予め用意された複数のゲームにそれぞれ対応する画像オブジェクトが格納されており、ゲーム画像コントローラ１３０は、判定部１１０からの認識結果に基づいて、ゲーム画像ＤＢ１３２から必要な画像オブジェクトをレンダリングエンジン１４０へ適宜のタイミングで出力する。このように、判定部１１０、ゲーム画像コントローラ１３０、およびゲーム画像ＤＢ１３２は、人体認識の結果に基づいてゲームを進行する。

認識結果反映部１３４は、ゲーム進行中に人体認識部１２０により検出された肌色領域（ユーザ画像）を、ユーザの顔や手であると認識された領域として表示する（図７などに示す認識表示ＲＥＣ）。認識結果反映部１３４は、上述の図７などに示すように、検出された肌色領域を「影」として表示する。すなわち、認識結果反映部１３４は、ゲーム進行中に検出された肌色領域（ユーザ画像）を、内側カメラ２３により撮像される画像とは異なる態様で表示する。

リプレイコントローラ１３６およびリプレイ画像ＤＢ１３８は、上述のゲーム終了後の画像表示（リプレイ動作）を行なう。より具体的には、リプレイ画像ＤＢ１３８には、ゲーム終了後の画像データに重ね合わせる画像オブジェクトが格納されており、リプレイコントローラ１３６は、ゲーム終了後に、画像記憶部１１６に格納される画像データを読み出すとともに、必要に応じて、リプレイ画像ＤＢ１３８から対応する画像オブジェクトを読み出して、両者をレンダリングエンジン１４０へ出力する。なお、図１０に示すように、複数の画像データを何らの画像オブジェクトを重ねることなく表示する場合には、リプレイコントローラ１３６は、画像記憶部１１６に格納されている画像データのみをレンダリングエンジン１４０へ出力する。

レンダリングエンジン１４０は、第１ＬＣＤ１２および第２ＬＣＤ２２における画像表示を制御する。より具体的には、レンダリングエンジン１４０は、ゲーム進行中においては、ゲーム画像コントローラ１３０からの画像オブジェクトと、認識結果反映部１３４からの認識された領域を示す画像とを重ねて表示する。また、レンダリングエンジン１４０は、ゲーム終了後においては、リプレイコントローラ１３６からの画像データおよび画像オブジェクトとを重ねて表示する。

図２２は、図２１に示すレンダリングエンジンにおける処理を概念的に示す図である。なお、図２２には、図１１（ｂ）に示す第２ＬＣＤ２２における表示を実現する場合の例を示す。

図２２を参照して、レンダリングエンジン１４０では、第１ＬＣＤ１２および第２ＬＣＤ２２に画像を表示するための映像信号は、複数のレイヤーを用いて生成される。より具体的には、レンダリングエンジン１４０は、少なくとも、画像データＩＭＧを表示するための第１レイヤーＬＹＲ１と、画像オブジェクトを表示するための第２レイヤーＬＹＲ２とを有する。第１レイヤーＬＹＲ１には画像データＩＭＧが展開され、第２レイヤーＬＹＲ２にはオブジェクトＯＢＪ１０＃が展開される。なお、レイヤーＬＹＲ１およびＬＹＲ２の各々は、第１ＬＣＤ１２または第２ＬＣＤ２２での表示に十分な大きさのメモリ領域をＣＰＵ３１内のＶＲＡＭ（図示しない）に形成することで提供される。これらのレイヤーＬＹＲ１およびＬＹＲ２を合成することで、映像信号が生成される。

このように、第２レイヤーＬＹＲ２に必要なオブジェクトを展開することで、ゲームの進行中および画像記憶部１１６に保存された画像データに基づく画像の表示中に、任意のオブジェクトを切換えて表示させることができる。

＜第１ゲームの処理内容および処理手順＞
次に、上述の第１ゲーム（図７〜図１０）を提供するための処理内容および処理手順について説明する。第１ゲームでは、主として、ゲーム演出に応じて表示されるオブジェクトの位置と、肌色領域検出部１２６（図２２）により検出される肌色領域の位置および大きさとに基づいてゲームが進行される。

図２３は、この発明の実施の形態に従う第１ゲームのゲーム進行の条件を説明するための図である。図２３を参照して、第１ゲームでは、図７〜図９に示す第２ＬＣＤ２２に表示されるオブジェクトの位置に対応付けて、内側カメラ２３により取得される画像データに設定した基準点ＲＰ１を中心として、同心円状に区分された複数の判定領域ＡＲＥＡ１〜ＡＲＥＡ５が設定される。そして、これらの判定領域ＡＲＥＡ１〜ＡＲＥＡ５に含まれる画素のうち、「肌色」であると検出された画素数（比率）をゲーム進行の条件とする。

より具体的には、第１ゲームでは、ゲーム進行が第１段階から第５段階に区分されており、それぞれ判定領域ＡＲＥＡ１〜ＡＲＥＡ５に含まれる画素のうち「肌色」であると検出された画素数についての対応する判定領域に含まれる全画素数に対する比率が算出され、算出された比率がそれぞれ対応するしきい値を超えることを条件に、順次段階を進める。これは、第１ゲームでは、ユーザがゲーム装置１００に顔を徐々に近付けることが想定されており、このようなユーザの動きによって、「肌色」であると検出された画素が徐々に広がると想定されるためである。

すなわち、第１ゲームの開始後、まず、判定領域ＡＲＥＡ１に含まれる画素のうち「肌色」であると検出された画素数の判定領域ＡＲＥＡ１に含まれる全画素数に対する比率が所定のしきい値Ｔｈ１を超えると、第２段階に進む。第２段階においては、判定領域ＡＲＥＡ２に含まれる画素のうち「肌色」であると検出された画素数の判定領域ＡＲＥＡ２に含まれる全画素数に対する比率が所定のしきい値Ｔｈ２を超えるか否かが継続的に判断され、しきい値Ｔｈ２を超えると、第３段階に進む。

以下、同様にして、第３段階では、判定領域ＡＲＥＡ３に含まれる画素のうち「肌色」であると検出された画素数の判定領域ＡＲＥＡ３に含まれる全画素数に対する比率が所定のしきい値Ｔｈ３を超えるか否かが継続的に判断され、しきい値Ｔｈ３を超えると、第４段階に進む。続く第４段階では、判定領域ＡＲＥＡ４に含まれる画素のうち「肌色」であると検出された画素数の判定領域ＡＲＥＡ４に含まれる全画素数に対する比率が所定のしきい値Ｔｈ４を超えるか否かが継続的に判断され、しきい値Ｔｈ４を超えると、第５段階に進む。さらに続く、続く第５段階では、判定領域ＡＲＥＡ５に含まれる画素のうち「肌色」であると検出された画素数の判定領域ＡＲＥＡ５に含まれる全画素数に対する比率が所定のしきい値Ｔｈ５を超えるか否かが継続的に判断され、しきい値Ｔｈ５を超えると、第１ゲームは「成功」となる。

なお、しきい値Ｔｈ１〜Ｔｈ５は、いずれも５０％以上に設定することが好ましい。また、上述の説明では、各判定領域について、「肌色」であると検出された画素数の比率で判定する場合について例示したが、「肌色」であると検出された画素の絶対数で判定するようにしてもよい。

上述のように、各段階では、対応する判定領域に含まれる画素に基づいて条件が満足されているか否かの判断がなされる。本来予想されるユーザの動きとは異なった検出結果、たとえば、第１ゲーム開始直後において、内側の判定領域において「肌色」であると検出された画素数が少ないにもかかわらず、より外側の判定領域において「肌色」であると検出された画素数が多いような場合において、いきなり第１ゲームが「成功」といった誤った判断を避けることができる。

また、上述のゲーム進行の段階に応じて、ゲーム演出が変更される。たとえば、第１〜第３段階までは、図７に示すような画像オブジェクトを表示させるとともに、第３段階から第４段階に進んだタイミングで、図８に示すような画像オブジェクトに表示を切換える。さらに、第５段階における条件が満足されて、第１ゲームが「成功」と判断されると、図１０に示すような画像オブジェクトに表示を切換える。

本実施の形態に従うそれぞれのゲームにおいては、所定の条件が満足されるタイミングで、ユーザのプレイ中の姿をキャプチャーされる。第１ゲームにおいては、上述の第１〜第５段階における条件が満足されたタイミングで、内側カメラ２３により取得される画像データがキャプチャーされる。すなわち、キャプチャーされる画像データは、それぞれゲーム進行の段階が変化するタイミング周辺におけるユーザの姿を含むことになる。

なお、上述の基準点ＲＰ１および判定領域ＡＲＥＡ１〜ＡＲＥＡ５の位置は、ゲーム演出上で表示されるオブジェクトの位置によって適宜変更される。

上述したように、第１ゲームでは、予め定められた複数の段階において、各段階に対応付けられた成功条件に基づいてゲーム成功をそれぞれ判断することでゲームが進行される。第１ゲームの終了後、ゲーム進行中の複数の段階のそれぞれにおいて取得されて画像記憶部１１６に記憶された複数の画像データが連続的に表示される。

図２４は、この発明の実施の形態に従う第１ゲームの処理手順を示すフローチャートである。図２４に示すフローチャートは、第１ゲームの開始がユーザにより指示されると実行される。

図２４を参照して、まず、ステップＳ１００において、ＣＰＵ３１は、内側カメラ２３により撮像される画像データを取得する。続くステップＳ１０２において、ＣＰＵ３１は、取得した画像データ内の肌色領域を検出する。さらに続くステップＳ１０４において、ＣＰＵ３１は、図２３に示す判定領域ＡＲＥＡ１に含まれる画素のうち「肌色」であると検出された画素数の判定領域ＡＲＥＡ１に含まれる全画素数に対する比率がしきい値Ｔｈ１を超えているか否かを判断する。比率がしきい値Ｔｈ１を超えていない場合（ステップＳ１０４においてＮＯの場合）には、ステップＳ１００の処理が繰返される。一方、比率がしきい値Ｔｈ１を超えている場合（ステップＳ１０４においてＹＥＳの場合）には、処理はステップＳ１０６へ進む。

ステップＳ１０６において、ＣＰＵ３１は、最も直近に取得された画像データをメインメモリ３２もしくは保存用データメモリ３４に格納する。すなわち、ＣＰＵ３１は、ユーザのプレイしている姿をキャプチャーする。そして、処理はステップＳ１０８へ進む。すなわち、第１ゲームの進行は、第１段階から第２段階へ進む。

ステップＳ１０８において、ＣＰＵ３１は、内側カメラ２３により撮像される画像データを取得する。続くステップＳ１１０において、ＣＰＵ３１は、取得した画像データ内の肌色領域を検出する。さらに続くステップＳ１１２において、ＣＰＵ３１は、図２３に示す判定領域ＡＲＥＡ２に含まれる画素のうち「肌色」であると検出された画素数の判定領域ＡＲＥＡ２に含まれる全画素数に対する比率がしきい値Ｔｈ２を超えているか否かを判断する。比率がしきい値Ｔｈ２を超えていない場合（ステップＳ１１２においてＮＯの場合）には、ステップＳ１０８の処理が繰返される。一方、比率がしきい値Ｔｈ２を超えている場合（ステップＳ１１２においてＹＥＳの場合）には、処理はステップＳ１１４へ進む。

ステップＳ１１４において、ＣＰＵ３１は、最も直近に取得された画像データをメインメモリ３２もしくは保存用データメモリ３４に格納する。すなわち、ＣＰＵ３１は、ユーザのプレイしている姿をキャプチャーする。そして、処理はステップＳ１１６へ進む。すなわち、第１ゲームの進行は、第２段階から第３段階へ進む。

ステップＳ１１６において、ＣＰＵ３１は、内側カメラ２３により撮像される画像データを取得する。続くステップＳ１１８において、ＣＰＵ３１は、取得した画像データ内の肌色領域を検出する。さらに続くステップＳ１２０において、ＣＰＵ３１は、図２３に示す判定領域ＡＲＥＡ３に含まれる画素のうち「肌色」であると検出された画素数の判定領域ＡＲＥＡ３に含まれる全画素数に対する比率がしきい値Ｔｈ３を超えているか否かを判断する。比率がしきい値Ｔｈ３を超えていない場合（ステップＳ１２０においてＮＯの場合）には、ステップＳ１１６の処理が繰返される。一方、比率がしきい値Ｔｈ３を超えている場合（ステップＳ１２０においてＹＥＳの場合）には、処理はステップＳ１２２へ進む。

ステップＳ１２２において、ＣＰＵ３１は、最も直近に取得された画像データをメインメモリ３２もしくは保存用データメモリ３４に格納する。すなわち、ＣＰＵ３１は、ユーザのプレイしている姿をキャプチャーする。さらに続くステップＳ１２４において、ＣＰＵ３１は、図７に示す画像オブジェクトから図８に示す画像オブジェクトに、表示する画像オブジェクトを切換える。そして、処理はステップＳ１２６へ進む。すなわち、第１ゲームの進行は、第３段階から第４段階へ進む。

ステップＳ１２６において、ＣＰＵ３１は、内側カメラ２３により撮像される画像データを取得する。続くステップＳ１２８において、ＣＰＵ３１は、取得した画像データ内の肌色領域を検出する。さらに続くステップＳ１３０において、ＣＰＵ３１は、図２３に示す判定領域ＡＲＥＡ４に含まれる画素のうち「肌色」であると検出された画素数の判定領域ＡＲＥＡ４に含まれる全画素数に対する比率がしきい値Ｔｈ４を超えているか否かを判断する。比率がしきい値Ｔｈ４を超えていない場合（ステップＳ１３０においてＮＯの場合）には、ステップＳ１２６の処理が繰返される。一方、比率がしきい値Ｔｈ４を超えている場合（ステップＳ１３０においてＹＥＳの場合）には、処理はステップＳ１３２へ進む。

ステップＳ１３２において、ＣＰＵ３１は、最も直近に取得された画像データをメインメモリ３２もしくは保存用データメモリ３４に格納する。すなわち、ＣＰＵ３１は、ユーザのプレイしている姿をキャプチャーする。そして、処理はステップＳ１３４へ進む。すなわち、第１ゲームの進行は、第４段階から第５段階へ進む。

ステップＳ１３４において、ＣＰＵ３１は、内側カメラ２３により撮像される画像データを取得する。続くステップＳ１３６において、ＣＰＵ３１は、取得した画像データ内の肌色領域を検出する。さらに続くステップＳ１３８において、ＣＰＵ３１は、図２３に示す判定領域ＡＲＥＡ５に含まれる画素のうち「肌色」であると検出された画素数の判定領域ＡＲＥＡ５に含まれる全画素数に対する比率がしきい値Ｔｈ５を超えているか否かを判断する。比率がしきい値Ｔｈ５を超えていない場合（ステップＳ１３８においてＮＯの場合）には、ステップＳ１３４以下の処理が繰返される。一方、比率がしきい値Ｔｈ５を超えている場合（ステップＳ１３８においてＹＥＳの場合）には、処理はステップＳ１４０へ進む。

ステップＳ１４０において、ＣＰＵ３１は、最も直近に取得された画像データをメインメモリ３２もしくは保存用データメモリ３４に格納する。すなわち、ＣＰＵ３１は、ユーザのプレイしている姿をキャプチャーする。さらに続くステップＳ１４２において、ＣＰＵ３１は、図８に示す画像オブジェクトから図９に示す画像オブジェクトに、表示する画像オブジェクトを切換える。そして、処理はステップＳ１４４へ進む。すなわち、第１ゲームは「成功」と判断され、第１ゲームの進行は終了する。

なお、上述のステップＳ１００〜Ｓ１４２までの一連の処理が、予め定められた時間内に終了しない場合には、第１ゲームが「失敗」に終わったと判断してもよい。この場合には、ステップＳ１４４以降の処理に代えて、第１ゲームが「失敗」であることを示す画面が表示される。

ステップＳ１４４において、ＣＰＵ３１は、キャプチャーした複数の画像データをメインメモリ３２もしくは保存用データメモリ３４から読出して、所定の順序で第２ＬＣＤ２２に順次切換えて表示する。すなわち、ＣＰＵ３１は、ゲームプレイ中のユーザの姿をリプレイ表示する。なお、この画像データの表示順は、キャプチャーされた時間順であってもよいし、あるいはキャプチャーされた時間順とは独立したランダムな順序であってもよい。

続くステップＳ１４６において、ＣＰＵ３１は、ユーザにより終了が指示されたか否かを判断する。ユーザにより終了が指示されていない場合（ステップＳ１４６においてＮＯの場合）には、ステップＳ１４４の処理が繰返される。一方、ユーザにより終了が指示された場合（ステップＳ１４６においてＹＥＳの場合）には、第１ゲームについての処理は終了する。

＜第２ゲームの処理内容および処理手順＞
上述したように、本実施の形態に従う第２ゲームは、複数のミニゲームを含む。各ミニゲームでは、ゲーム進行と並行して、ユーザのプレイ中の姿がキャプチャーされる。そして、一連のミニゲームが終了すると、各ミニゲームにおいてキャプチャーされた画像データに、さまざまなオブジェクトを重ねて表示する。

（１）全体処理
図２５は、この発明の実施の形態に従う第２ゲームの処理手順を示すフローチャートである。図２５に示すフローチャートは、第２ゲームの開始がユーザにより指示されると実行される。

図２５を参照して、まず、ステップＳ２０において、ＣＰＵ３１は、ミニゲームを実行する。この実行されるミニゲームにおいては、ゲーム進行および画像データのキャプチャーが並列的に実行される。続くステップＳ３０において、ＣＰＵ３１は、予め用意されているすべてのミニゲームの実行が完了したか否かを判断する。すべてのミニゲームの実行が完了していない場合（ステップＳ３０においてＮＯの場合）には、ステップＳ２０の処理が繰返される。すなわち、予め用意されているミニゲームの数だけ、ステップＳ２０の処理が繰返される。すべてのミニゲームの実行が完了している場合（ステップＳ３０においてＹＥＳの場合）、すなわち第２ゲーム終了後には、処理はステップＳ３２以下のリプレイ処理に移行する。

ステップＳ３２において、ＣＰＵ３１は、先のミニゲームにおいてそれぞれキャプチャーされた画像データのうち、１つの画像データを読出す。続くステップＳ３４において、ＣＰＵ３１は、読出した画像データに応じたオブジェクトを読出す。さらに続くステップＳ３６において、ＣＰＵ３１は、ステップＳ３２において読出した画像データにステップＳ３４において読出したオブジェクトを重ねて表示する。所定時間の経過後、処理はステップＳ３８へ進む。

ステップＳ３８において、ＣＰＵ３１は、ユーザにより終了が指示されたか否かを判断する。ユーザにより終了が指示されていない場合（ステップＳ３８においてＮＯの場合）には、ステップＳ３２の処理が繰返される。一方、ユーザにより終了が指示された場合（ステップＳ３８においてＹＥＳの場合）には、第２ゲームについての処理は終了する。

次に、上述の第２ゲームに含まれる第１〜第３ミニゲーム（図１１〜図１３）を提供するための処理内容および処理手順について説明する。

（２）第１ミニゲーム
第２ゲームに含まれる第１ミニゲームでは、主として、ゲーム演出に応じて表示されるオブジェクトの位置と、顔認識部１２２（図２２）により検出される顔特徴量の位置とに基づいてゲームが進行される。より具体的には、顔認識部１２２により認識される顔特徴量のうち、「瞳」のそれぞれの中心座標に基づいて、ゲーム進行に係る条件が満足されるか否かが判断される。

図２６は、この発明の実施の形態に従う第２ゲームに含まれる第１ミニゲームのゲーム進行の条件を説明するための図である。図２６を参照して、第１ミニゲームでは、図１１（ａ）に示す第２ＬＣＤ２２に表示される「メガネ」のオブジェクトＯＢＪ１０の中心点に対応付けて、内側カメラ２３により取得される画像データに基準点ＲＰ２が設定される。そして、この基準点ＲＰ２を中心として、左右対称に判定領域ＤＴＬおよびＤＴＲが設定される。これらの判定領域ＤＴＬおよびＤＴＲは、「メガネ」のオブジェクトＯＢＪ１０のレンズの部分に対応するように設定される。なお、図２６には、判定領域ＤＴＬおよびＤＴＲを矩形状としたが、これに限らず円状や楕円状であってもよい。さらに、これらの判定領域ＤＴＬおよびＤＴＲのそれぞれに認識された「瞳」の中心座標の値が含まれる度合いをゲーム進行の条件とする。

より具体的には、第１ミニゲームでは、判定周期毎に、認識された「瞳」の中心座標ＤＥＰがそれぞれ判定領域ＤＴＬおよびＤＴＲに含まれているか否かが判定され、含まれていれば所定の点数を加算し、含まれていなければ所定の点数を減算する。この結果、累積点が所定のしきい値を超えた時点で、第１ミニゲームは「成功」となる。

また、第２ゲームに含まれる第１ミニゲームでは、初期値（典型的には、ゼロ）から「成功」と判定されるしきい値までの間に複数の中間的なしきい値が予め設定されており、累積点がこれらの中間的なしきい値をはじめて超えるタイミングで、ユーザのプレイ中の姿をキャプチャーされる。典型的には、Ｔｈ１１，Ｔｈ１２，Ｔｈ１３，Ｔｈ１４，Ｔｈ１５（但し、Ｔｈ１１＜Ｔｈ１２＜Ｔｈ１３＜Ｔｈ１４＜Ｔｈ１５）の５つのしきい値が予め設定されており、累積値がそれぞれのしきい値をはじめて超えるタイミングで画像データがキャプチャーされるとともに、累積値がしきい値Ｔｈ５を超えると、第１ミニゲームは「成功」となる。したがって、キャプチャーされる画像データは、累積値がそれぞれしきい値を超えるタイミングにおけるユーザの姿を含むことになる。

なお、上述の基準点ＲＰ２の位置ならびに判定領域ＤＴＬおよびＤＴＲの位置および大きさは、ゲーム演出上で表示されるオブジェクトの種類および位置によって適宜変更される。

図２７は、この発明の実施の形態に従う第２ゲームに含まれる第１ミニゲームの処理手順を示すフローチャートである。

図２７を参照して、まず、ステップＳ２００において、ＣＰＵ３１は、累積値Ｓを初期化（累積値Ｓに「ゼロ」をセット）する。続くステップＳ２０２において、ＣＰＵ３１は、しきい値ＴｈＳを初期化（しきい値ＴｈＳに最も小さいしきい値であるＴｈ１１をセット）する。

ステップＳ２０４において、ＣＰＵ３１は、内側カメラ２３により撮像される画像データを取得する。続くステップＳ２０６において、ＣＰＵ３１は、取得した画像データ内における左右それぞれの「瞳」の中心座標を認識する。さらに続くステップＳ２０８において、認識した左右それぞれの「瞳」の中心座標が判定領域ＤＴＬおよびＤＴＲ（図２６）に含まれているか否かを判断する。左右それぞれの「瞳」の中心座標が判定領域ＤＴＬおよびＤＴＲに含まれている場合（ステップＳ２０８においてＹＥＳの場合）には、累積値Ｓに一定値αを加算する（ステップＳ２１０）。一方、左右それぞれの「瞳」の中心座標が判定領域ＤＴＬおよびＤＴＲに含まれていない場合（ステップＳ２０８においてＮＯの場合）には、累積値Ｓから一定値βを減算する（ステップＳ２１２）。その後、処理はステップＳ２１４へ進む。

ステップＳ２１４において、ＣＰＵ３１は、累積値Ｓがしきい値ＴｈＳを超えているか否かを判断する。累積値Ｓがしきい値ＴｈＳを超えていない場合（ステップＳ２１４においてＮＯの場合）には、ステップＳ２０２以下の処理が繰返される。一方、累積値Ｓがしきい値ＴｈＳを超えている場合（ステップＳ２１４においてＹＥＳの場合）には、処理はステップＳ２１６へ進む。

ステップＳ２１６において、ＣＰＵ３１は、最も直近に取得された画像データをメインメモリ３２もしくは保存用データメモリ３４に格納する。すなわち、ＣＰＵ３１は、ユーザのプレイしている姿をキャプチャーする。続くステップＳ２１８において、ＣＰＵ３１は、現在のしきい値ＴｈＳに最も大きなしきい値であるしきい値Ｔｈ１５がセットされているか否かを判断する。現在のしきい値ＴｈＳにしきい値Ｔｈ１５がセットされていない場合（ステップＳ２１８においてＮＯの場合）には、ＣＰＵ３１は、しきい値ＴｈＳに現在セットされているしきい値の次に大きなしきい値をセットし（ステップＳ２２０）、ステップＳ２０２以下の処理を繰返す。

一方、現在のしきい値ＴｈＳにしきい値Ｔｈ１５がセットされている場合（ステップＳ２１８においてＹＥＳの場合）には、第１ミニゲームは「成功」と判断され、第１ミニゲームの進行は終了する。

なお、上述のステップＳ２００〜Ｓ２２０までの一連の処理が、予め定められた時間内に終了しない場合には、第１ミニゲームが「失敗」に終わったと判断してもよい。また、累積値Ｓの最低値（たとえば、「ゼロ」）を定めておくことが好ましい。

（３）第２ミニゲーム
第２ゲームに含まれる第２ミニゲームでは、主として、ゲーム演出に応じて表示されるオブジェクトの位置と、肌色領域検出部１２６（図２２）により検出される肌色領域の位置および大きさとに基づいてゲームが進行される。

図２８は、この発明の実施の形態に従う第２ゲームに含まれる第２ミニゲームのゲーム進行の条件を説明するための図である。図２８を参照して、第２ミニゲームでは、図１２（ａ）に示す第２ＬＣＤ２２に表示される「蚊」のオブジェクトＯＢＪ１１の中心点に対応付けて、内側カメラ２３により取得される画像データに基準点ＲＰ３が設定される。この基準点ＲＰ３を中心として、基準点ＲＰ３を含む判定領域ＤＴ３１が設定されるとともに、この判定領域ＤＴ３１より広い範囲に、基準点ＲＰ３を含む判定領域ＤＴ３２が設定される。さらに、基準点ＲＰ３を始点として、上下左右および斜め方向の計８方向に判定線ＤＬ１〜ＤＬ８が設定される。そして、これらの判定領域ＤＴ３１およびＤＴ３１ならびに判定線ＤＬ１〜ＤＬ８に含まれる画素のうち、「肌色」であると検出された画素数（比率）をゲーム進行の条件とする。

より具体的には、第２ミニゲームでは、以下の（ｉ）〜（ｉｉｉ）の条件がすべて満足された場合に、ゲームが「成功」と判断される。

（ｉ）判定領域ＤＴ３２に含まれる画素のうち「肌色」であると検出された画素数の判定領域ＤＴ３２に含まれる全画素数に対する比率が所定のしきい値Ｔｈ３２を超えること
（ｉｉ）判定線ＤＬ１〜ＤＬ８上の画素のうち「肌色」であると検出された画素数の判定線ＤＬ１〜ＤＬ８上の全画素数に対する比率がいずれも所定のしきい値Ｔｈ３３を超えること
（ｉｉｉ）判定領域ＤＴ３１に含まれる画素のうち「肌色」であると検出された画素数の判定領域ＤＴ３１に含まれる全画素数に対する比率が所定のしきい値Ｔｈ３１を超えないこと
上述の（ｉ）および（ｉｉ）については、表示される「蚊」のオブジェクトＯＢＪ１１の近傍にユーザの「手」があることを判断するための条件である。また、（ｉｉｉ）については、ユーザの顔などを「手」として誤認識することを回避するための条件である。

また、第２ゲームに含まれる第２ミニゲームでは、画像データが周期的に取得され、直近のものから所定枚数分だけ蓄積される。そして、第２ミニゲームが「成功」したタイミングにおいて、その画像データの取得（更新）が停止される。そのため、第２ミニゲームが「成功」したタイミングから、所定期間前の間におけるユーザのプレイ中の姿をキャプチャーすることができる。

なお、上述の基準点ＲＰ３の位置ならびに判定領域ＤＴ３１およびＤＴ３２の大きさは、ゲーム演出上で表示されるオブジェクトの位置および数によって適宜変更される。

図２９は、この発明の実施の形態に従う第２ゲームに含まれる第２ミニゲームの処理手順を示すフローチャートである。

図２９を参照して、まず、ステップＳ２４０において、ＣＰＵ３１は、内側カメラ２３により撮像される画像データを取得する。続くステップＳ２４２において、ＣＰＵ３１は、メインメモリ３２もしくは保存用データメモリ３４に既に規定数の画像データが格納済であるか否かを判断する。規定数の画像データが格納済ではない場合（ステップＳ２４２においてＮＯの場合）には、処理はステップＳ２４６へ進む。既に規定数の画像データが格納済である場合（ステップＳ２４２においてＹＥＳの場合）には、ＣＰＵ３１は、格納済の画像データのうち、最も古く取得された画像データを削除し（ステップＳ２４４）、新たに取得した画像データをメインメモリ３２もしくは保存用データメモリ３４に格納する（ステップＳ２４６）。そして、処理はステップＳ２４８へ進む。

ステップＳ２４８において、ＣＰＵ３１は、取得した画像データ内の肌色領域を検出する。続くステップＳ２５０において、ＣＰＵ３１は、上述の判定条件（ｉ）〜（ｉｉｉ）がすべて満足されているか否かを判断する。上述の判定条件（ｉ）〜（ｉｉｉ）のいずれかが満足されていない場合（ステップＳ２５０においてＮＯの場合）には、ステップＳ２４０以下の処理が繰返される。上述の判定条件（ｉ）〜（ｉｉｉ）がすべて満足されていない場合（ステップＳ２５０においてＹＥＳの場合）には、第２ミニゲームは「成功」と判断され、第２ミニゲームの進行は終了する。

（４）第３ミニゲーム
第２ゲームに含まれる第３ミニゲームでは、主として、ゲーム演出に応じて表示されるオブジェクトの位置と、顔認識部１２２（図２２）により検出される顔領域の位置とに基づいてゲームが進行される。

図３０は、この発明の実施の形態に従う第２ゲームに含まれる第３ミニゲームのゲーム進行の条件を説明するための図である。図３０を参照して、第３ミニゲームでは、図１３（ａ）に示す第２ＬＣＤ２２に表示される「トーテムポール」のオブジェクトＯＢＪ１４およびＯＢＪ１５の切抜き部に対応付けて、内側カメラ２３により取得される画像データにそれぞれ基準点ＲＰ４１およびＲＰ４２が設定される。基準点ＲＰ４１を中心として、基準点ＲＰ４１を含む判定領域ＤＴ４１が設定されるとともに、基準点ＲＰ４２を中心として、基準点ＲＰ４２を含む判定領域ＤＴ４２が設定される。そして、これらの判定領域ＤＴ４１およびＤＴ４２に、それぞれ認識された顔領域ＤＦＡ１およびＤＦＡ２が含まれているか否かが判定され、含まれていれば所定の点数を加算し、含まれていなければ所定の点数を減算する。この結果、累積点が所定のしきい値を超えた時点で、第３ミニゲームは「成功」となる。

すなわち、「トーテムポール」のオブジェクトＯＢＪ１４およびＯＢＪ１５の切抜き部のいずれにも、ユーザの顔が位置していると判断できる場合に、第３ミニゲームは「成功」と判断される。

また、第２ゲームに含まれる第３ミニゲームでは、画像データが周期的に取得され、直近のものから所定枚数分だけ蓄積される。そして、第３ミニゲームが「成功」したタイミングにおいて、その画像データの取得（更新）が停止される。そのため、第３ミニゲームが「成功」したタイミングから、所定期間前の間におけるユーザのプレイ中の姿をキャプチャーすることができる。

なお、上述の基準点ＲＰ４１およびＲＰ４２の位置ならびに判定領域ＤＴ４１およびＤＴ４２の大きさは、ゲーム演出上で表示されるオブジェクトの位置および数によって適宜変更される。

第２ゲームに含まれる第３ミニゲームの処理手順については、上述の図２７に示す第１ミニゲームの処理手順と同様であるので、詳細な説明は繰返さない。

＜第３ゲームの処理内容および処理手順＞
上述したように、本実施の形態に従う第３ゲームは、一連に実行される複数のミニゲームを含む。各ミニゲームでは、ゲーム進行と並行して、所定の条件が満足されたタイミングでユーザがプレイしている姿が少なくとも１枚キャプチャーされる。そして、一連のミニゲームが終了すると、これらのキャプチャーされたそれぞれの画像データに対して、特定の意味をもつオブジェクトを重ねて表示することで、予め用意されたシナリオに沿った漫画ライクな表現が提供される。

なお、本実施の形態に従うゲーム装置１００では、複数のシナリオが予め用意されており、第３ゲームの実行毎に選択された１つのシナリオに沿って、複数のミニゲームが所定の順序で実行される。

なお、各ミニゲームにおいては、人体認識処理（肌色領域検出処理および顔認識処理）の結果に基づいてゲーム進行の条件が満足されるか否かが判断される。これらのゲーム進行の条件については、上述の第２ゲームに含まれる各ミニゲームにおける条件と同一もしくは類似であるので、詳細な説明は繰返さない。

図３１は、この発明の実施の形態に従う第３ゲームの処理手順を示すフローチャートである。図３１に示すフローチャートは、第３ゲームの開始がユーザにより指示されると実行される。

図３１を参照して、まず、ステップＳ３００において、ＣＰＵ３１は、予め用意されている複数のシナリオのうち、ランダムに１つのシナリオを選択する。続くステップＳ３０２において、ＣＰＵ３１は、ステップＳ３００において選択されたシナリオに沿った実行すべき複数のミニゲームの特定、およびそれらの実行順を決定する。そして、処理はステップＳ３０４へ進む。

ステップＳ３０４において、ＣＰＵ３１は、第１番目に設定されたミニゲームを実行する。ＣＰＵ３１は、人体認識処理（肌色領域検出処理および顔認識処理）の結果に基づいてミニゲームを進行する。続くステップＳ３０６において、ＣＰＵ３１は、第１番目のミニゲームが「成功」したか否かを判断する。第１番目のミニゲームが「成功」した場合（ステップＳ３０６においてＹＥＳの場合）には、ＣＰＵ３１は、第１番目のミニゲームにおける画像データをキャプチャーする（ステップＳ３０８）。一方、第１番目のミニゲームが「成功」しなかった場合（ステップＳ３０６においてＮＯの場合）には、ＣＰＵ３１は、第１番目のミニゲームが「失敗」に終わったことを示すフラグをセットする（ステップＳ３１０）。

以下、第２番目〜第５番目のミニゲームの各々について、ステップＳ３０４〜Ｓ３１０と同様の処理が繰返し実行される。一連のミニゲームが終了すると、処理はステップＳ３１２へ進む。

ステップＳ３１２において、ＣＰＵ３１は、選択されたシナリオに対応するタイトル画像を読出して表示する（図１９（ａ）参照）。続くステップＳ３１４において、ＣＰＵ３１は、第１番目のミニゲームにおいて取得した画像データおよび対応する画像オブジェクトを読出して表示する（図１９（ｂ）参照）。なお、対応のミニゲームについて、当該ミニゲームが「失敗」に終わったことを示すフラグがセットされている場合には、ＣＰＵ３１は、ゲーム失敗であったことを示す画像を表示する。

続くステップＳ３１６において、ＣＰＵ３１は、第２番目のミニゲームにおいて取得した画像データおよび対応する画像オブジェクトを読出して表示する（図１９（ｃ）参照）。以下同様にして、ステップＳ３１８〜Ｓ３２２において、ＣＰＵ３１は、第３番目〜第５番目のミニゲームにおいてそれぞれ取得した画像データおよび対応する画像オブジェクトを順次読出して表示する（図２０（ａ）〜（ｃ）参照）。

続くステップＳ３２４において、ＣＰＵ３１は、ユーザにより終了が指示されたか否かを判断する。ユーザにより終了が指示されていない場合（ステップＳ３２４においてＮＯの場合）には、ステップＳ３１２以下の処理が繰返される。一方、ユーザにより終了が指示された場合（ステップＳ３２４においてＹＥＳの場合）には、第３ゲームについての処理は終了する。

なお、上述したように、ゲーム中に所定の条件が満たされたときに撮像を行なうことで取得した複数の画像データをすべて表示するようにしてもよいし、あるいは、ゲーム中に撮像される複数の画像データを逐次取得しておき、ゲーム終了後などに、取得した複数の画像データのうち所定の条件を満たすものを抽出して表示してもよい。

また、上述の実施の形態においては、撮像部により取得された画像データが含む情報量をそのまま利用して表示するようにしたが、取得した画像データの１画素あたりの情報量を低減して画像表示をおこなってもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１１ 第１ハウジング、１２ 第１ＬＣＤ、１３ タッチパネル、１４Ａ〜１４Ｋ ボタン、１５Ａ 第１ＬＥＤ、１５Ｂ 第２ＬＥＤ、１５Ｃ 第３ＬＥＤ、１６ マイク用孔、２１ 第２ハウジング、２２ 第２ＬＣＤ、２３ 内側カメラ、２４ 音抜き孔、２５ 外側カメラ、２６ 第４ＬＥＤ、２７ タッチペン、２８，２９ メモリカード、３２ メインメモリ、３３ メモリ制御回路、３４ 保存用データメモリ、３５ プリセットデータ用メモリ、３６，３７ メモリカードＩ／Ｆ、３８ 無線通信モジュール、３９
ローカル通信モジュール、４１ 電源回路、４２ インターフェース回路（Ｉ／Ｆ回路）、４３ マイク、４４ アンプ、４５ スピーカ、１００ ゲーム装置、１０２ 音声データバッファ、１０４ 音声認識部、１１０ 判定部、１１０ａ 条件群、１１２ 画像データバッファ、１１４ キャプチャーコントローラ、１１６ 画像記憶部、１２０ 人体認識部、１２２ 顔認識部、１２４ 色座標変換部、１２６ 肌色領域検出部、１３０ ゲーム画像コントローラ、１３２ ゲーム画像ＤＢ、１３４ 認識結果反映部、１３６ リプレイコントローラ、１３８ リプレイ画像ＤＢ、１４０ レンダリングエンジン、ＡＰ アクセスポイント、ＮＷ ネットワーク、ＳＲＶ 配信サーバ装置。

Claims (23)

1. 撮像手段および表示手段を利用可能なゲーム装置のコンピュータで実行されるゲームプログラムであって、前記撮像手段は、ユーザを撮像するように適合されており、前記ゲームプログラムは、前記コンピュータを
   前記撮像手段により取得される画像データに含まれるユーザ画像に基づいてゲームを進行するゲーム進行手段、および
   少なくとも、前記ユーザ画像が予め定められた条件を満足した場合に前記撮像手段により取得される画像データに基づく画像を前記表示手段に表示させる表示制御手段、として機能させる、ゲームプログラム。
2. 前記表示制御手段は、前記ゲーム進行手段によるゲームが進行中でないときに、少なくとも、前記ユーザ画像が予め定められた条件を満足した場合に、前記撮像手段により取得される画像データに基づく画像を前記表示手段に表示させる、請求項１に記載のゲームプログラム。
3. 前記表示制御手段は、前記ゲームの終了後に、少なくとも、前記ユーザ画像が予め定められた条件を満足した場合に、前記撮像手段により取得される画像データに基づく画像を前記表示手段に表示させる、請求項１または２に記載のゲームプログラム。
4. 前記ゲーム進行手段は、前記ユーザ画像に基づいて、前記ゲームが成功したか否かを判断し、
   前記表示制御手段は、少なくとも、前記ゲームが成功したと判断されたときに前記撮像手段により取得される画像データに基づく画像を前記表示手段に表示させる、請求項１〜３のいずれか１項に記載のゲームプログラム。
5. 前記ゲーム進行手段は、前記ユーザ画像の位置とゲーム演出に応じて表示されるオブジェクトの位置とに基づいて、前記ゲームが成功したか否かを判断する、請求項４に記載のゲームプログラム。
6. 前記ゲームプログラムは、前記コンピュータを、さらに
   前記ユーザ画像として、前記画像データ内のユーザの領域を示すユーザ領域を検出する検出手段として機能させ、
   前記ゲーム進行手段は、前記ゲーム演出に応じて表示されるオブジェクトの位置と、前記検出手段により検出されるユーザ領域の位置とに基づいて、前記ゲームが成功したか否かを判断する、請求項５に記載のゲームプログラム。
7. 前記検出手段は、前記撮像手段により所定周期で取得される画像データに対して前記ユーザ領域の検出を逐次行ない、
   前記ゲームプログラムは、前記コンピュータを、さらに
   前記ゲーム進行中に前記検出手段により検出されたユーザ領域を表示させる認識結果反映手段として機能させる、請求項６に記載のゲームプログラム。
8. 前記認識結果反映手段は、前記撮像手段により撮像される画像とは異なる態様で前記ユーザ領域を表示させる、請求項７に記載のゲームプログラム。
9. 前記検出手段は、前記画像データ内の肌色領域を検出する肌色領域検出手段を含み、
   前記ゲーム進行手段は、前記ゲーム演出に応じて表示されるオブジェクトの位置と、前記肌色領域検出手段により検出される肌色領域の位置とに基づいて、前記ゲームが成功したか否かを判断する、請求項６に記載のゲームプログラム。
10. 前記肌色領域検出手段は、前記撮像手段により所定周期で取得される画像データに対して前記肌色領域の検出を逐次行ない、
    前記ゲームプログラムは、前記コンピュータを、さらに
    前記ゲーム進行中に前記肌色領域検出手段により検出された肌色領域を表示させる認識結果反映手段として機能させる、請求項９に記載のゲームプログラム。
11. 前記認識結果反映手段は、前記撮像手段により撮像される画像とは異なる態様で前記肌色領域を表示させる、請求項１０に記載のゲームプログラム。
12. 前記ゲームプログラムは、前記コンピュータを、さらに
    前記ユーザ画像として、前記画像データ内の人間の顔領域を検出する顔領域検出手段として機能させ、
    前記ゲーム進行手段は、前記ゲーム演出に応じて表示されるオブジェクトの位置と、前記顔領域検出手段により検出される人間の顔領域の位置とに基づいて、ゲームが成功したか否かを判断する、請求項１〜１１のいずれか１項に記載のゲームプログラム。
13. 前記ゲームプログラムは、前記コンピュータを、さらに
    ユーザの存在を検出する存在検出手段として機能させ、
    前記ゲーム進行手段は、前記存在検出手段によりユーザの存在が検出されているときに、ゲームが成功したか否かを判断する、請求項４〜１２いずれか１項に記載のゲームプログラム。
14. 前記表示制御手段は、
    ゲーム開始からゲーム終了までの間、当該ゲームが成功したと決定するための条件を含む複数の異なる条件が満足される毎に、前記画像データをそれぞれ記憶し、
    記憶された複数の前記画像データを所定の順序で切換えて表示させる、請求項１〜１３のいずれか１項に記載のゲームプログラム。
15. 前記表示制御手段は、前記撮像手段により取得された前記画像データに所定のオブジェクトを重ねて表示させる、請求項１〜１４のいずれか１項に記載のゲームプログラム。
16. 前記表示制御手段は、前記画像データが記憶されたときのゲーム演出に対応するオブジェクトを当該画像データに重ねて表示させる、請求項１５に記載のゲームプログラム。
17. 前記表示制御手段は、前記画像データが記憶されたときのゲーム演出とは独立したオブジェクトを当該画像データに重ねて表示させる、請求項１５または１６に記載のゲームプログラム。
18. 前記ゲームプログラムは、前記コンピュータを、さらに
    前記ゲームの進行中および前記撮像手段により取得された画像データに基づく画像の表示中にオブジェクトを前記表示手段に表示させるオブジェクト表示手段として機能させ、
    前記オブジェクト表示手段は、前記ゲームの進行中に表示したオブジェクトの位置に当該オブジェクトを別のオブジェクトに入れ替えて、前記撮像手段により取得された画像データに基づく画像の表示中に表示させる、請求項１〜１３のいずれか１項に記載のゲームプログラム。
19. 前記ゲームプログラムは、前記コンピュータを、さらに
    前記ゲームの進行中および前記撮像手段により取得された画像データに基づく画像の表示中にオブジェクトを前記表示手段に表示させるオブジェクト表示手段として機能させ、
    前記オブジェクト表示手段は、前記ゲームの進行中に表示したオブジェクトとは関連しないオブジェクトを前記撮像手段により取得された画像データに基づく画像の表示中に表示させる、請求項１〜１３のいずれか１項に記載のゲームプログラム。
20. 前記ゲーム進行手段は、予め定められた複数の段階において、各段階に対応付けられた成功条件に基づいてゲーム成功をそれぞれ判断することでゲームを進行し、
    前記ゲームプログラムは、前記コンピュータを、さらに
    前記ゲームの進行に応じて、それぞれの段階に対応する成功条件に関連付けられたオブジェクトを切換えて前記表示手段に表示させるオブジェクト表示手段として機能させる、請求項１〜１３のいずれか１項に記載のゲームプログラム。
21. 前記ゲーム進行手段は、予め定められた複数の段階において、各段階に対応付けられた成功条件に基づいてゲーム成功をそれぞれ判断することでゲームを進行し、
    前記表示制御手段は、ゲーム進行中の前記複数の段階のそれぞれにおいて取得されて前記撮像手段により取得された複数の画像データと、各画像データが取得された段階に対応付けられた成功条件に関連付けられたオブジェクトと、を合成した画像を表示させる、請求項１〜１３のいずれか１項に記載のゲームプログラム。
22. 前記ゲーム進行手段は、予め定められた複数の段階において、各段階に対応付けられた成功条件に基づいてゲーム成功をそれぞれ判断することでゲームを進行し、
    前記表示制御手段は、ゲーム進行中の前記複数の段階のそれぞれにおいて取得されて前記撮像手段により取得された複数の画像データを連続的に表示させる、請求項１〜１３のいずれか１項に記載のゲームプログラム。
23. ゲーム装置であって、
    ユーザを撮像するように適合された撮像部と、
    表示部と、
    演算処理部とを備え、
    前記演算処理部は、
    前記撮像部により取得される画像データに含まれるユーザ画像に基づくゲームの進行と、
    少なくとも、前記ユーザ画像が予め定められた条件を満足した場合に、前記撮像部により取得される画像データに基づく画像の前記表示部での表示とを実行可能である、ゲーム装置。