JP2012014680A - 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 - Google Patents

Abstract

【課題】ユーザが手書きした画像を現実世界に存在するように表示する。
【解決手段】ゲーム装置の情報処理部は、外側カメラの画像を取得するステップ（Ｓ１）と、マーカの検出が完了すると（Ｓ２にてＹＥＳ）マーカ検出結果に基づいて仮想カメラの位置及び姿勢を算出するステップ（Ｓ４）と、手書きデータを取得するステップ（Ｓ５）と、テクスチャが貼り付けられた基本ポリゴンを仮想カメラで撮影して手書き画像を生成して、手書き画像とカメラ画像とが重ね合わせられた画像を上側ＬＣＤに表示するステップ（Ｓ８）と、下側ＬＣＤに手書き入力画像を表示するステップ（Ｓ９）とを含むプログラムを実行する。
【選択図】図９

Description

本発明は、ユーザが視認可能な現実空間に画像を重ね合わせて表示する情報処理技術に関し、より具体的には、ユーザが視認可能な現実空間に、ユーザが作成中の画像又はユーザが作成した画像を重ね合わせて表示する情報処理技術に関する。

近年、ユーザの画像を撮影して、予め準備されたタッチペン等の編集デバイスを用いて撮像した画像を編集して印刷する画像プリント作成装置が提案されている。例えば、特許文献１に開示された画像プリント作成装置においては、ユーザが、自分を撮影した画像に化粧処理を施して、自分好みのプリント画像を印刷する。

特開２０００−０６９４０４号公報

しかしながら、特許文献１に開示された画像プリント作成装置においては、ユーザの画像に手書きで化粧処理を施しているものの、手書き処理対象の画像は静止画に過ぎない。すなわち、この画像プリント作成装置は、ユーザが撮像された平面的な静止画像に、ユーザが入力した化粧画像を重畳して表示するものに過ぎない。そのため、ユーザが入力した化粧画像が、撮像した画像が示す現実空間にあたかもあるような感覚をユーザに与えることができず、別々の空間にあるものが単に重ね合わせられて表示されているという感覚をユーザに与えることになる。したがって、特許文献１に開示されたものでは、ユーザが作成したオブジェクトを現実世界（現実空間又は現実環境ともいう）に存在するような表現ができないため、自然な拡張現実感を実現することはできなかった。

それ故、本発明の目的は、ユーザが作成したオブジェクトを現実世界に存在するように表現して、自然な拡張現実感を実現することができる情報処理技術を提供することである。

本発明は、上述の課題を解決するために、以下の構成を採用した。

本発明の第１の局面に係る情報処理プログラムは、撮像手段と入力手段と画面上において現実空間を視認可能な表示手段とに接続された情報処理装置のコンピュータを、撮像画像データ取得手段、入力データ取得手段、検出手段、算出手段、仮想カメラ設定手段、生成手段及び表示制御手段として機能させる。撮像画像データ取得手段は、撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する。入力データ取得手段は、入力手段により入力された入力画像を示す入力データを逐次取得する。検出手段は、撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する。算出手段は、特定対象物の検出結果に基づいて、撮像手段と特定の対象物との相対的位置を算出する。仮想カメラ設定手段は、算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する。生成手段は、入力データ取得手段により逐次入力された入力データにより示される仮想空間内のオブジェクトを仮想カメラで撮像して、オブジェクトのオブジェクト画像を生成する。表示制御手段は、画面上の現実空間に生成手段により生成され
たオブジェクト画像を重ね合わせた重畳画像を表示手段に逐次表示させる。

この構成によると、画面上の現実空間にオブジェクト画像が重ね合わせられた重畳画像が表示手段に表示される。この場合において、オブジェクト画像は、ポインティングデバイス等の入力手段からユーザが逐次入力した入力画像であって、例えば手書き画像である。このオブジェクト画像は、仮想カメラで撮像されて生成されたオブジェクト画像データで構成される。この仮想カメラの仮想空間内における設定が、撮像画像に含まれるマーカ等の特定対象物の検出（認識）結果に基づいて、逐次変更される。このため、撮像方向が変化することによるマーカ等の見え方の変化に対応して、仮想カメラの設定が変更される。したがって、仮想カメラにより撮影されたオブジェクト画像データの表示は、このような撮像方向の変化に対応して変更される。その結果、ユーザが手書き等で作成したオブジェクト画像を現実世界に存在するように表示し、自然な拡張現実感を実現することができる。

好ましくは、入力手段を、ポインティングデバイスで構成することができる。この場合において、入力データ取得手段は、ポインティングデバイスへ入力された手書きの軌跡で構成されるオブジェクトを示す入力データを所定の時間間隔で取得するように構成することができる。表示制御手段は、所定の時間間隔における手書きの進捗を反映させた重畳画像を表示手段に表示させるように構成することができる。

この構成によると、ポインティングデバイスに手書き入力された軌跡で構成されるオブジェクト画像が背景画像に重ね合わせられて、現実空間に存在するように表示される。このとき、オブジェクトを示す入力データを所定の時間間隔で取得されるので、ユーザの手書き操作に比較して所定時間を短く設定すれば、手書き途中のオブジェクトを表示させることができる。このため、ユーザは、表示される手書き途中のオブジェクト画像を確認しながら、オブジェクト画像を完成させることができる。

好ましくは、表示手段は、重畳画像が表示される第１の画面領域とは別の第２の画面領域を含むように構成することができる。この場合において、表示制御手段は、第１の領域に重畳画像を表示させるとともに、第２の表示領域に入力画像を表示させるように構成することができる。

この構成によると、第１の画面領域に重畳画像が表示され、第２の画面領域に入力画像が表示される。このため、第１の画面領域に表示された重畳画像では入力画像を識別することが困難な場合であっても、第２の画面領域に表示された入力画像で確認することができる。

好ましくは、このプログラムは、コンピュータを、オブジェクトの表示態様を変化させる変化手段としてさらに機能させるように構成することができる。この場合において、表示制御手段は、撮像画像データと、変化手段により表示態様が変化したオブジェクトを示すオブジェクト画像データとを重ね合わせた重畳画像を前記表示手段に逐次表示させるように構成することができる。

現実空間に重ね合わせられて、現実空間に存在するように表示されるオブジェクトは、その表示態様（表示位置、表示形状）が変化して表示される。このため、例えば、より強く現実感をユーザに与えるように表示態様を変化させることができたり、ユーザがより強く興味を引くように表示態様を変化させたりすることができる。

好ましくは、変化手段は、オブジェクトの表示位置を所定の規則に応じて変化させるように構成することができる。

オブジェクトが表示される位置を変化させることにより、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。このような変化の例として、オブジェクトを上下又は左右に揺らして表示させることが挙げられる。

好ましくは、変化手段は、オブジェクトの表示位置を時間の経過に応じて変化させるように構成することができる。

オブジェクトが表示される位置を時間の経過に応じて変化させることにより、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。このような変化の例として、予め設定された時間が経過すると（すなわち周期的に）オブジェクトを上下又は左右に動かすことが挙げられる。

好ましくは、変化手段は、オブジェクトの表示形状を変化させるように構成することができる。

オブジェクトの表示形状を変化させることにより、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。このような変化の例として、オブジェクトを拡大したり縮小したり、オブジェクトを縦方向又は横方向に拡張又は伸縮したりすることが挙げられる。さらに、このとき、周期的に形状を変化させるようにしても構わない。

好ましくは、変化手段は、オブジェクトの影をオブジェクトに付加した表示形状に変化させるように構成することができる。

オブジェクトの影をオブジェクトに付加することにより、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。

好ましくは、変化手段は、オブジェクトの厚みを変化させるように構成することができる。

オブジェクトに厚みを持たせることにより、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。

好ましくは、変化手段は、複数のオブジェクトを並べて配置することにより、オブジェクトの厚みを変化させるように構成することができる。

平面画像であるオブジェクト画像を並べて配置することにより、オブジェクトに厚みを与えて、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。

本発明の第２の局面に係る情報処理装置は、撮像画像を撮像する撮像手段と、ユーザにより入力画像が入力される入力手段と、画面上において現実空間を視認可能な表示手段と、撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得手段と、入力手段により入力された入力画像を示す入力データを逐次取得する入力データ取得手段と、撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する検出手段と、特定対象物の検出結果に基づいて、撮像手段と特定の対象物との相対的位置を算出する算出手段と、算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段と、入力データ取得手段により逐次入力された入力データにより示される仮想空間内のオブジェクトを仮想カメラで撮像して
、オブジェクトのオブジェクト画像を生成する生成手段と、画面上の現実空間に生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を表示手段に逐次表示させる表示制御手段とを含む。

本発明の第３の局面に係る情報処理システムは、撮像画像を撮像する撮像手段と、ユーザにより入力画像が入力される入力手段と、画面上において現実空間を視認可能な表示手段と、撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得手段と、入力手段により入力された入力画像を示す入力データを逐次取得する入力データ取得手段と、撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する検出手段と、特定対象物の検出結果に基づいて、撮像手段と特定の対象物との相対的位置を算出する算出手段と、算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段と、入力データ取得手段により逐次入力された入力データにより示される仮想空間内のオブジェクトを仮想カメラで撮像して、オブジェクトのオブジェクト画像を生成する生成手段と、画面上の現実空間に生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を表示手段に逐次表示させる表示制御手段とを含む。

本発明の第４の局面に係る情報処理方法は、撮像手段により撮像画像を撮像する撮像ステップと、ユーザにより入力画像が入力される入力ステップと、画面上において現実空間を視認可能な表示ステップと、撮像ステップにて撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得ステップと、入力ステップにて入力された入力画像を示す入力データを逐次取得する入力データ取得ステップと、撮像画像データ取得ステップにて逐次取得された撮像画像データから特定対象物を検出する検出ステップと、特定対象物の検出結果に基づいて、撮像手段と特定の対象物との相対的位置を算出する算出ステップと、算出ステップによる算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定ステップと、入力データ取得ステップにて逐次入力された入力データにより示される仮想空間内のオブジェクトを仮想カメラで撮像して、オブジェクトのオブジェクト画像を生成する生成ステップと、画面上の現実空間に生成ステップにて生成されたオブジェクト画像を重ね合わせた重畳画像を表示ステップにて逐次表示させる表示制御ステップとを含む。

本発明の第２の局面に係る情報処理装置、第３の局面に係る情報処理システム及び第４の局面に係る情報処理方法によると、第１の局面に係る情報処理プログラムと同様の作用効果を発現する。

本発明によれば、ユーザが作成したオブジェクトを現実世界に存在するように表現して、自然な拡張現実感を実現することができる。

開状態におけるゲーム装置１０の正面図 開状態におけるゲーム装置１０の側面図 閉状態におけるゲーム装置１０の左側面図、正面図、右側面図及び背面図 上側ハウジング２１の内側面からスクリーンカバー２７を分離した状態を示す図 図１に示す上側ハウジング２１のＡ−Ａ’線断面図 ３Ｄ調整スイッチ２５のスライダ２５ａが最下点（第３の位置）に存在する様子を示す図 ３Ｄ調整スイッチ２５のスライダ２５ａが最下点よりも上方位置（第１の位置）に存在する様子を示す図 ３Ｄ調整スイッチ２５のスライダ２５ａが最上点（第２の位置）に存在する様子を示す図 ゲーム装置１０の内部構成を示すブロック図 ゲーム装置１０のメインメモリ３２のメモリマップを示す図 本実施形態に係る手書きオブジェクト表示処理の詳細を示すメインフローチャート 下側ＬＣＤ１２における手書きデータ取得処理（ステップＳ５）の詳細を示すフローチャート 上側ＬＣＤ２２の表示処理（ステップＳ８）の詳細を示すフローチャート タッチパネル１３を用いて上側ＬＣＤ２２上に表示されるオブジェクトを手書きする状態を示す図（その１） タッチパネル１３を用いて上側ＬＣＤ２２上に表示されるオブジェクトを手書きする状態を示す図（その２） ゲーム装置１０の位置が変更された場合の表示画像の一例を示す図 手書き画像（オブジェクト画像）の表示形状の変化の一例を示す図（その１） 手書き画像（オブジェクト画像）の表示形状の変化の一例を示す図（その２） 手書き画像（オブジェクト画像）の表示形状の変化の一例を示す図（その３）

（ゲーム装置の構成）
以下、本発明の一実施形態に係る情報処理装置であるゲーム装置について説明する。なお、本発明は、このような装置に限定されるものではなく、このような装置において実行される情報処理プログラムであっても、このような装置に関係がある情報処理システムであっても構わない。さらに、本発明は、このような装置における情報処理方法であっても構わない。

図１〜図３は、ゲーム装置１０の外観を示す平面図である。ゲーム装置１０は携帯型のゲーム装置であり、図１〜図３に示すように折り畳み可能に構成されている。図１及び図２は、開いた状態（開状態）におけるゲーム装置１０を示し、図３は、閉じた状態（閉状態）におけるゲーム装置１０を示している。図１は、開状態におけるゲーム装置１０の正面図であり、図２は、開状態におけるゲーム装置１０の右側面図である。ゲーム装置１０は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置１０は、交換可能なメモリカード内に記憶され、又は、サーバーや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。

まず、図１〜図３を参照して、ゲーム装置１０の外観構成について説明する。図１〜図３に示されるように、ゲーム装置１０は、下側ハウジング１１及び上側ハウジング２１を有する。下側ハウジング１１と上側ハウジング２１とは、開閉可能（折り畳み可能）に接続されている。本実施形態では、各ハウジング１１及び２１はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。

図１及び図２に示されるように、下側ハウジング１１の上側長辺部分には、下側ハウジング１１の内側面（主面）１１Ｂに対して垂直な方向に突起する突起部１１Ａが設けられる。また、上側ハウジング２１の下側長辺部分には、上側ハウジング２１の下側面から当該下側面に垂直な方向に突起する突起部２１Ａが設けられる。下側ハウジング１１の突起
部１１Ａと上側ハウジング２１の突起部２１Ａとが連結されることにより、下側ハウジング１１と上側ハウジング２１とが、折り畳み可能に接続される。

（下側ハウジングの説明）
まず、下側ハウジング１１の構成について説明する。図１〜図３に示すように、下側ハウジング１１には、下側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）１２、タッチパネル１３、各操作ボタン１４Ａ〜１４Ｌ（図１、図３）、アナログスティック１５、ＬＥＤ１６Ａ〜１６Ｂ、挿入口１７、及び、マイクロフォン用孔１８が設けられる。以下、これらの詳細について説明する。

図１に示すように、下側ＬＣＤ１２は下側ハウジング１１に収納される。下側ＬＣＤ１２は横長形状であり、長辺方向が下側ハウジング１１の長辺方向に一致するように配置される。下側ＬＣＤ１２は下側ハウジング１１の中央に配置される。下側ＬＣＤ１２は、下側ハウジング１１の内側面（主面）に設けられ、下側ハウジング１１に設けられた開口部から当該下側ＬＣＤ１２の画面が露出される。ゲーム装置１０を使用しない場合には閉状態としておくことによって、下側ＬＣＤ１２の画面が汚れたり傷ついたりすることを防止することができる。下側ＬＣＤ１２の画素数は、例えば、２５６ｄｏｔ×１９２ｄｏｔ（横×縦）であってもよい。下側ＬＣＤ１２は、後述する上側ＬＣＤ２２とは異なり、画像を（立体視可能ではなく）平面的に表示する表示装置である。なお、本実施形態では表示装置としてＬＣＤを用いているが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置など、他の任意の表示装置を利用してもよい。また、下側ＬＣＤ１２として、任意の解像度の表示装置を利用することができる。

図１に示されるように、ゲーム装置１０は、入力装置として、タッチパネル１３を備えている。タッチパネル１３は、下側ＬＣＤ１２の画面上に装着されている。なお、本実施形態では、タッチパネル１３は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。本実施形態では、タッチパネル１３として、下側ＬＣＤ１２の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル１３の解像度と下側ＬＣＤ１２の解像度が一致している必要はない。また、下側ハウジング１１の上側面には挿入口１７（図１及び図３（ｄ）に示す点線）が設けられている。挿入口１７は、タッチパネル１３に対する操作を行うために用いられるタッチペン２８を収納することができる。なお、タッチパネル１３に対する入力は通常タッチペン２８を用いて行われるが、タッチペン２８に限らずユーザの指でタッチパネル１３に対する入力をすることも可能である。

各操作ボタン１４Ａ〜１４Ｌは、所定の入力を行うための入力装置である。図１に示されるように、下側ハウジング１１の内側面（主面）には、各操作ボタン１４Ａ〜１４Ｌのうち、十字ボタン１４Ａ（方向入力ボタン１４Ａ）、ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅ、電源ボタン１４Ｆ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、及びスタートボタン１４Ｌが、設けられる。十字ボタン１４Ａは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅは、十字状に配置される。ボタン１４Ａ〜１４Ｅ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、及びスタートボタン１４Ｌには、ゲーム装置１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン１４Ａは選択操作等に用いられ、各操作ボタン１４Ｂ〜１４Ｅは例えば決定操作やキャンセル操作等に用いられる。また、電源ボタン１４Ｆは、ゲーム装置１０の電源をオン／オフするために用いられる。

アナログスティック１５は、方向を指示するデバイスであり、下側ハウジング１１の内側面の下側ＬＣＤ１２より左側領域の上部領域に設けられる。図１に示すように、十字ボ
タン１４Ａは下側ＬＣＤ１２より左側領域の下部領域に設けられるので、アナログスティック１５は、十字ボタン１４Ａの上方に設けられる。また、アナログスティック１５、及び、十字ボタン１４Ａは、下側ハウジングを把持した左手の親指で操作可能な位置に設計される。また、アナログスティック１５を上部領域に設けたことにより、下側ハウジング１１を把持する左手の親指が自然と位置するところにアナログスティック１５が配され、十字ボタン１４Ａは、左手の親指を少し下にずらした位置に配される。アナログスティック１５は、そのキートップが、下側ハウジング１１の内側面に平行にスライドするように構成されている。アナログスティック１５は、ゲーム装置１０が実行するプログラムに応じて機能する。例えば、３次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置１０によって実行される場合、アナログスティック１５は、当該所定のオブジェクトを３次元仮想空間内で移動させるための入力装置として機能する。この場合において、所定のオブジェクトはアナログスティック１５のキートップがスライドした方向に移動される。なお、アナログスティック１５として、上下左右及び斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。

十字状に配置される、ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅの４つのボタンは、下側ハウジング１１を把持する右手の親指が自然と位置するところに配置される。また、これらの４つのボタンと、アナログスティック１５とは、下側ＬＣＤ１２を挟んで、左右対称に配置される。これにより、ゲームプログラムによっては、例えば、左利きの人が、これらの４つのボタンを使用して方向指示入力をすることも可能である。

また、下側ハウジング１１の内側面には、マイクロフォン用孔１８が設けられる。マイクロフォン用孔１８の下部には後述する音声入力装置としてのマイク（図７参照）が設けられ、当該マイクがゲーム装置１０の外部の音を検出する。

図３（ａ）は閉状態におけるゲーム装置１０の左側面図であり、図３（ｂ）は閉状態におけるゲーム装置１０の正面図であり、図３（ｃ）は閉状態におけるゲーム装置１０の右側面図であり、図３（ｄ）は閉状態におけるゲーム装置１０の背面図である。図３（ｂ）及び（ｄ）に示されるように、下側ハウジング１１の上側面には、Ｌボタン１４Ｇ及びＲボタン１４Ｈが設けられている。Ｌボタン１４Ｇは、下側ハウジング１１の上面の左端部に設けられ、Ｒボタン１４Ｈは、下側ハウジング１１の上面の右端部に設けられる。後述のように、Ｌボタン１４Ｇ及びＲボタン１４Ｈは、撮像部のシャッターボタン（撮影指示ボタン）として機能する。また、図３（ａ）に示されるように、下側ハウジング１１の左側面には、音量ボタン１４Ｉが設けられる。音量ボタン１４Ｉは、ゲーム装置１０が備えるスピーカの音量を調整するために用いられる。

図３（ａ）に示されるように、下側ハウジング１１の左側面には開閉可能なカバー部１１Ｃが設けられる。このカバー部１１Ｃの内側には、ゲーム装置１０とデータ保存用外部メモリ４５とを電気的に接続するためのコネクタ（図示せず）が設けられる。データ保存用外部メモリ４５は、コネクタに着脱自在に装着される。データ保存用外部メモリ４５は、例えば、ゲーム装置１０によって撮像された画像のデータを記憶（保存）するために用いられる。なお、上記コネクタ及びそのカバー部１１Ｃは、下側ハウジング１１の右側面に設けられてもよい。

また、図３（ｄ）に示されるように、下側ハウジング１１の上側面には、ゲーム装置１０とゲームプログラムを記録した外部メモリ４４を挿入するための挿入口１１Ｄが設けられ、その挿入口１１Ｄの内部には、外部メモリ４４と電気的に着脱自在に接続するためのコネクタ（図示せず）が設けられる。当該外部メモリ４４がゲーム装置１０に接続されることにより、所定のゲームプログラムが実行される。なお、上記コネクタ及びその挿入口１１Ｄは、下側ハウジング１１の他の側面（例えば、右側面等）に設けられてもよい。

また、図１及び図３（ｃ）に示されるように、下側ハウジング１１の下側面にはゲーム装置１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する第１ＬＥＤ１６Ａ、下側ハウジング１１の右側面にはゲーム装置１０の無線通信の確立状況をユーザに通知する第２ＬＥＤ１６Ｂが設けられる。ゲーム装置１０は他の機器との間で無線通信を行うことが可能であり、第１ＬＥＤ１６Ｂは、無線通信が確立している場合に点灯する。ゲーム装置１０は、例えば、ＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。下側ハウジング１１の右側面には、この無線通信の機能を有効／無効にする無線スイッチ１９が設けられる（図３（ｃ）参照）。

なお、図示は省略するが、下側ハウジング１１には、ゲーム装置１０の電源となる充電式電池が収納され、下側ハウジング１１の側面（例えば、上側面）に設けられた端子を介して当該電池を充電することができる。

（上側ハウジングの説明）
次に、上側ハウジング２１の構成について説明する。図１〜図３に示すように、上側ハウジング２１には、上側ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）２２、外側撮像部２３（外側撮像部（左）２３ａ及び外側撮像部（右）２３ｂ）、内側撮像部２４、３Ｄ調整スイッチ２５、及び、３Ｄインジケータ２６が設けられる。以下、これらの詳細について説明する。

図１に示すように、上側ＬＣＤ２２は上側ハウジング２１に収納される。上側ＬＣＤ２２は、横長形状であり、長辺方向が上側ハウジング２１の長辺方向に一致するように配置される。上側ＬＣＤ２２は上側ハウジング２１の中央に配置される。上側ＬＣＤ２２の画面の面積は、下側ＬＣＤ１２の画面の面積よりも大きく設定される。また、上側ＬＣＤ２２の画面は、下側ＬＣＤ１２の画面よりも横長に設定される。すなわち、上側ＬＣＤ２２の画面のアスペクト比における横幅の割合は、下側ＬＣＤ１２の画面のアスペクト比における横幅の割合よりも大きく設定される。

上側ＬＣＤ２２の画面は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、上側ハウジング２１に設けられた開口部から当該上側ＬＣＤ２２の画面が露出される。また、図２及び図４に示すように、上側ハウジング２１の内側面は、透明なスクリーンカバー２７によって覆われている。図４は、上側ハウジング２１の内側面からスクリーンカバー２７を分解した状態を示す分解図である。当該スクリーンカバー２７は、上側ＬＣＤ２２の画面を保護するとともに、上側ＬＣＤ２２と上側ハウジング２１の内側面と一体的にさせ、これにより統一感を持たせている。上側ＬＣＤ２２の画素数は、例えば、６４０ｄｏｔ×２００ｄｏｔ（横×縦）であってもよい。なお、本実施形態では上側ＬＣＤ２２は液晶表示装置であるとしたが、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置などが利用されてもよい。また、上側ＬＣＤ２２として、任意の解像度の表示装置を利用することができる。

上側ＬＣＤ２２は、立体視可能な画像を表示することが可能な表示装置である。また、本実施例では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される。具体的には、左目用画像と右目用画像が所定単位で（例えば、１列ずつ）横方向に交互に表示される方式の表示装置である。又は、左目用画像と右目用画像とが交互に表示される方式の表示装置であってもよい。また、本実施例では、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像と右目用画像とを左目及び右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側ＬＣＤ２２はパララックスバリア方式のものとする。上側ＬＣＤ２２は、右目用画像と左目用画像とを用いて、裸眼で立体視可能
な画像（立体画像）を表示する。すなわち、上側ＬＣＤ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示することができる。また、上側ＬＣＤ２２は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる（上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである）。このように、上側ＬＣＤ２２は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する（平面視画像を表示する）平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、後述する３Ｄ調整スイッチ２５によって行われる。

外側撮像部２３は、上側ハウジング２１の外側面（上側ＬＣＤ２２が設けられた主面と反対側の背面）２１Ｄに設けられた２つの撮像部（２３ａ及び２３ｂ）の総称である。外側撮像部（左）２３ａと外側撮像部（右）２３ｂの撮像方向は、いずれも当該外側面２１Ｄの外向きの法線方向である。また、これらの撮像部はいずれも、上側ＬＣＤ２２の表示面（内側面）の法線方向と１８０度反対の方向に設計される。すなわち、外側撮像部（左）２３ａの撮像方向及び外側撮像部（右）２３ｂの撮像方向は、平行である。外側撮像部（左）２３ａと外側撮像部（右）２３ｂとは、ゲーム装置１０が実行するプログラムによって、ステレオカメラとして使用することが可能である。また、プログラムによっては、２つの外側撮像部（２３ａ及び２３ｂ）のいずれか一方を単独で用いて、外側撮像部２３を非ステレオカメラとして使用することも可能である。また、プログラムによっては、２つの外側撮像部（２３ａ及び２３ｂ）で撮像した画像を合成して又は補完的に使用することにより撮像範囲を広げた撮像をおこなうことも可能である。本実施形態では、外側撮像部２３は、外側撮像部（左）２３ａ及び外側撮像部（右）２３ｂの２つの撮像部で構成される。外側撮像部（左）２３ａ及び外側撮像部（右）２３ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。

図１の破線及び図３（ｂ）の実線で示されるように、外側撮像部２３を構成する外側撮像部（左）２３ａ及び外側撮像部（右）２３ｂは、上側ＬＣＤ２２の画面の横方向と平行に並べられて配置される。すなわち、２つの撮像部を結んだ直線が上側ＬＣＤ２２の画面の横方向と平行になるように、外側撮像部（左）２３ａ及び外側撮像部（右）２３ｂが配置される。図１の破線で示す２３ａ及び２３ｂは、上側ハウジング２１の内側面とは反対側の外側面に存在する外側撮像部（左）２３ａ及び外側撮像部（右）２３ｂをそれぞれ表している。図１に示すように、ユーザが上側ＬＣＤ２２の画面を正面から視認した場合に、外側撮像部（左）２３ａは左側に外側撮像部（右）２３ｂは右側にそれぞれ位置している。外側撮像部２３をステレオカメラとして機能させるプログラムが実行されている場合、外側撮像部（左）２３ａは、ユーザの左目で視認される左目用画像を撮像し、外側撮像部（右）２３ｂは、ユーザの右目で視認される右目用画像を撮像する。外側撮像部（左）２３ａ及び外側撮像部（右）２３ｂの間隔は、人間の両目の間隔程度に設定され、例えば、３０ｍｍ〜７０ｍｍの範囲で設定されてもよい。なお、外側撮像部（左）２３ａ及び外側撮像部（右）２３ｂの間隔は、この範囲に限らない。

なお、本実施例においては、外側撮像部（左）２３ａ及び外側撮像部（右）２３はハウジングに固定されており、撮像方向を変更することはできない。

また、外側撮像部（左）２３ａ及び外側撮像部（右）２３ｂは、上側ＬＣＤ２２（上側ハウジング２１）の左右方向に関して中央から対称となる位置にそれぞれ配置される。すなわち、外側撮像部（左）２３ａ及び外側撮像部（右）２３ｂは、上側ＬＣＤ２２を左右に２等分する線に対して対称の位置にそれぞれ配置される。また、外側撮像部（左）２３
ａ及び外側撮像部（右）２３ｂは、上側ハウジング２１を開いた状態において、上側ハウジング２１の上部であって、上側ＬＣＤ２２の画面の上端よりも上方の位置の裏側に配置される。すなわち、外側撮像部（左）２３ａ及び外側撮像部（右）２３ｂは、上側ハウジング２１の外側面であって、上側ＬＣＤ２２を外側面に投影した場合、投影した上側ＬＣＤ２２の画面の上端よりも上方に配置される。

このように、外側撮像部２３の２つの撮像部（２３ａ及び２３ｂ）が、上側ＬＣＤ２２の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側ＬＣＤ２２を正視した場合に、外側撮像部２３の撮像方向をユーザの視線方向と一致させることができる。また、外側撮像部２３は、上側ＬＣＤ２２の画面の上端より上方の裏側の位置に配置されるため、外側撮像部２３と上側ＬＣＤ２２とが上側ハウジング２１の内部で干渉することがない。従って、外側撮像部２３を上側ＬＣＤ２２の画面の裏側に配置する場合と比べて、上側ハウジング２１を薄く構成することが可能となる。

内側撮像部２４は、上側ハウジング２１の内側面（主面）２１Ｂに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部２４は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。

図１に示すように、内側撮像部２４は、上側ハウジング２１を開いた状態において、上側ハウジング２１の上部であって、上側ＬＣＤ２２の画面の上端よりも上方に配置され、上側ハウジング２１の左右方向に関して中央の位置（上側ハウジング２１（上側ＬＣＤ２２の画面）を左右に２等分する線の線上）に配置される。具体的には、図１及び図３（ｂ）に示されるように、内側撮像部２４は、上側ハウジング２１の内側面であって、外側撮像部２３の左右の撮像部（外側撮像部（左）２３ａ及び外側撮像部（右）２３ｂ）の中間の裏側の位置に配置される。すなわち、上側ハウジング２１の外側面に設けられた外側撮像部２３の左右の撮像部を上側ハウジング２１の内側面に投影した場合、当該投影した左右の撮像部の中間に、内側撮像部２４が設けられる。図３（ｂ）で示される破線２４は、上側ハウジング２１の内側面に存在する内側撮像部２４を表している。

このように、内側撮像部２４は、外側撮像部２３とは反対方向を撮像する。内側撮像部２４は、上側ハウジング２１の内側面であって、外側撮像部２３の左右の撮像部の中間位置の裏側に設けられる。これにより、ユーザが上側ＬＣＤ２２を正視した際、内側撮像部２４でユーザの顔を正面から撮像することができる。また、外側撮像部２３の左右の撮像部と内側撮像部２４とが上側ハウジング２１の内部で干渉することがないため、上側ハウジング２１を薄く構成することが可能となる。

３Ｄ調整スイッチ２５は、スライドスイッチであり、上述のように上側ＬＣＤ２２の表示モードを切り替えるために用いられるスイッチである。また、３Ｄ調整スイッチ２５は、上側ＬＣＤ２２に表示された立体視可能な画像（立体画像）の立体感を調整するために用いられる。図１〜図３に示されるように、３Ｄ調整スイッチ２５は、上側ハウジング２１の内側面及び右側面の端部に設けられ、ユーザが上側ＬＣＤ２２を正視した場合に、当該３Ｄ調整スイッチ２５を視認できる位置に設けられる。また、３Ｄ調整スイッチ２５の操作部は、内側面及び右側面の両方に突出しており、どちらからも視認及び操作することができる。なお、３Ｄ調整スイッチ２５以外のスイッチは全て下側ハウジング１１に設けられる。

図５は、図１に示す上側ハウジング２１のＡ−Ａ’線断面図である。図５に示すように、上側ハウジング２１の内側面の右端部には、凹部２１Ｃが形成され、当該凹部２１Ｃに３Ｄ調整スイッチ２５が設けられる。３Ｄ調整スイッチ２５は、図１及び図２に示される
ように、上側ハウジング２１の正面及び右側面から視認可能に配置される。３Ｄ調整スイッチ２５のスライダ２５ａは、所定方向（上下方向）の任意の位置にスライド可能であり、当該スライダ２５ａの位置に応じて上側ＬＣＤ２２の表示モードが設定される。

図６Ａから図６Ｃは、３Ｄ調整スイッチ２５のスライダ２５ａがスライドする様子を示す図である。図６Ａは、３Ｄ調整スイッチ２５のスライダ２５ａが最下点（第３の位置）に存在する様子を示す図である。図６Ｂは、３Ｄ調整スイッチ２５のスライダ２５ａが最下点よりも上方位置（第１の位置）に存在する様子を示す図である。図６Ｃは、３Ｄ調整スイッチ２５のスライダ２５ａが最上点（第２の位置）に存在する様子を示す図である。

図６Ａに示すように、３Ｄ調整スイッチ２５のスライダ２５ａが最下点位置（第３の位置）に存在する場合、上側ＬＣＤ２２は平面表示モードに設定され、上側ＬＣＤ２２の画面には平面画像が表示される（なお、上側ＬＣＤ２２を立体表示モードのままとして、左目用画像と右目用画像を同一の画像とすることにより平面表示してもよい）。一方、図６Ｂに示す位置（最下点より上側の位置（第１の位置））から図６Ｃに示す位置（最上点の位置（第２の位置））までの間にスライダ２５ａが存在する場合、上側ＬＣＤ２２は立体表示モードに設定される。この場合、上側ＬＣＤ２２の画面には立体視可能な画像が表示される。スライダ２５ａが第１の位置から第２の位置の間に存在する場合、スライダ２５ａの位置に応じて、立体画像の見え方が調整される。具体的には、スライダ２５ａの位置に応じて、右目用画像及び左目用画像の横方向の位置のずれ量が調整される。なお、立体表示モードにおける立体画像の見え方の調整については後述する。３Ｄ調整スイッチ２５のスライダ２５ａは、第３の位置で固定されるように構成されており、第１の位置と第２の位置との間では上下方向に任意の位置にスライド可能に構成されている。例えば、スライダ２５ａは、第３の位置において、３Ｄ調整スイッチ２５を形成する側面から図６Ａに示す横方向に突出した凸部（図示せず）によって固定されて、所定以上の力が上方に加わらないと第３の位置よりも上方にスライドしないように構成されている。第３の位置から第１の位置にスライダ２５ａが存在する場合、立体画像の見え方は調整されないが、これはいわゆるあそびである。他の例においては、あそびをなくして、第３の位置と第１の位置とを同じ位置としてもよい。また、第３の位置を第１の位置と第２の位置の間としてもよい。その場合、スライダを第３の位置から第１の位置の方向に動かした場合と、第２の方向に動かした場合とで、右目用画像及び左目用画像の横方向の位置のずれ量の調整する方向が逆になる。

なお、本実施例のゲーム装置が実行するプログラムには、立体写真を表示するためのプログラムと、立体的なＣＧ画像を表示するためのプログラムがある。後者のプログラムでは、左目用の仮想カメラと右目用の仮想カメラで仮想空間を撮影して、左目用画像と右目用画像を生成する。本実施例のゲーム装置は、このようなプログラムの実行時において、３Ｄ調整スイッチ２５のスライダ２５ａの位置に応じて、２つの仮想カメラの間隔を変更することにより、立体感を調整する。

３Ｄインジケータ２６は、上側ＬＣＤ２２が立体表示モードか否かを示す。３Ｄインジケータ２６は、ＬＥＤであり、上側ＬＣＤ２２の立体表示モードが有効の場合に点灯する。なお、３Ｄインジケータ２６は、上側ＬＣＤ２２が立体表示モードになっており、かつ、立体視画像を表示するプログラム処理が実行されているとき（すなわち、３Ｄ調整スイッチが上記第１の位置から上記第２の位置にあるときに、左目用画像と右目用画像が異なるような画像処理が実行されているとき）に限り、点灯するようにしてもよい。図１に示されるように、３Ｄインジケータ２６は、上側ハウジング２１の内側面に設けられ、上側ＬＣＤ２２の画面近傍に設けられる。このため、ユーザが上側ＬＣＤ２２の画面を正視した場合、ユーザは３Ｄインジケータ２６を視認しやすい。従って、ユーザは上側ＬＣＤ２２の画面を視認している状態でも、上側ＬＣＤ２２の表示モードを容易に認識することが
できる。

また、上側ハウジング２１の内側面には、スピーカ孔２１Ｅが設けられる。後述するスピーカ４３からの音声がこのスピーカ孔２１Ｅから出力される。

（ゲーム装置１０の内部構成）
次に、図７を参照して、ゲーム装置１０の内部の電気的構成について説明する。図７は、ゲーム装置１０の内部構成を示すブロック図である。図７に示すように、ゲーム装置１０は、上述した各部に加えて、情報処理部３１、メインメモリ３２、外部メモリインターフェイス（外部メモリＩ／Ｆ）３３、データ保存用外部メモリＩ／Ｆ３４、データ保存用内部メモリ３５、無線通信モジュール３６、ローカル通信モジュール３７、リアルタイムクロック（ＲＴＣ）３８、加速度センサ３９、電源回路４０、及びインターフェイス回路（Ｉ／Ｆ回路）４１等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング１１（又は上側ハウジング２１でもよい）内に収納される。

情報処理部３１は、所定のプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１、画像処理を行うＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１２等を含む情報処理手段である。本実施形態では、所定のプログラムがゲーム装置１０内のメモリ（例えば外部メモリＩ／Ｆ３３に接続された外部メモリ４４やデータ保存用内部メモリ３５）に記憶されている。情報処理部３１のＣＰＵ３１１は、当該所定のプログラムを実行することによって、後述する手書きオブジェクト表示処理（図９）を実行する。なお、情報処理部３１のＣＰＵ３１１によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部３１は、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）３１３を含む。情報処理部３１のＧＰＵ３１２は、情報処理部３１のＣＰＵ３１１からの命令に応じて画像を生成し、ＶＲＡＭ３１３に描画する。そして、情報処理部３１のＧＰＵ３１２は、ＶＲＡＭ３１３に描画された画像を上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に出力し、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に当該画像が表示される。なお、本実施形態においては、ＶＲＡＭ３１３には、下側ＬＣＤ１２用記憶領域（以下、タッチパネル用ＶＲＡＭと記載）と、上側ＬＣＤ２２用記憶領域（以下、テクスチャ用ＶＲＡＭと記載）とがある。

情報処理部３１には、メインメモリ３２、外部メモリＩ／Ｆ３３、データ保存用外部メモリＩ／Ｆ３４、及び、データ保存用内部メモリ３５が接続される。外部メモリＩ／Ｆ３３は、外部メモリ４４を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリＩ／Ｆ３４は、データ保存用外部メモリ４５を着脱自在に接続するためのインターフェイスである。

メインメモリ３２は、情報処理部３１（のＣＰＵ３１１）のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリ３２は、上記手書きオブジェクト表示処理に用いられる各種データを一時的に記憶したり、外部（外部メモリ４４や他の機器等）から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリ３２として例えばＰＳＲＡＭ（Ｐｓｅｕｄｏ−ＳＲＡＭ）を用いる。

外部メモリ４４は、情報処理部３１によって実行されるプログラムを記憶するための不揮発性の記憶手段である。外部メモリ４４は、例えば読み取り専用の半導体メモリで構成される。外部メモリ４４が外部メモリＩ／Ｆ３３に接続されると、情報処理部３１は外部メモリ４４に記憶されたプログラムを読み込むことができる。情報処理部３１が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリ４５は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリ４５に
は、外側撮像部２３で撮像された画像や他の機器で撮像された画像が記憶される。データ保存用外部メモリ４５がデータ保存用外部メモリＩ／Ｆ３４に接続されると、情報処理部３１はデータ保存用外部メモリ４５に記憶された画像を読み込み、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に当該画像を表示することができる。

データ保存用内部メモリ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成され、所定のデータを格納するために用いられる。例えば、データ保存用内部メモリ３５には、無線通信モジュール３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。

無線通信モジュール３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。また、ローカル通信モジュール３７は、所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュール３６及びローカル通信モジュール３７は情報処理部３１に接続される。情報処理部３１は、無線通信モジュール３６を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュール３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。

また、情報処理部３１には、加速度センサ３９が接続される。加速度センサ３９は、３軸（ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速度センサ３９は、下側ハウジング１１の内部に設けられる。加速度センサ３９は、図１に示すように、下側ハウジング１１の長辺方向をｘ軸、下側ハウジング１１の短辺方向をｙ軸、下側ハウジング１１の内側面（主面）に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。なお、加速度センサ３９は、例えば静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ３９は１軸又は２軸方向を検出する加速度センサであってもよい。情報処理部３１は、加速度センサ３９が検出した加速度を示すデータ（加速度データ）を受信して、ゲーム装置１０の姿勢や動きを検出することができる。

また、情報処理部３１には、ＲＴＣ３８及び電源回路４０が接続される。ＲＴＣ３８は、時間をカウントして情報処理部３１に出力する。情報処理部３１は、ＲＴＣ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路４０は、ゲーム装置１０が有する電源（下側ハウジング１１に収納される上記充電式電池）からの電力を制御し、ゲーム装置１０の各部品に電力を供給する。

また、情報処理部３１には、Ｉ／Ｆ回路４１が接続される。Ｉ／Ｆ回路４１には、マイク４２及びスピーカ４３が接続される。具体的には、Ｉ／Ｆ回路４１には、図示しないアンプを介してスピーカ４３が接続される。マイク４２は、ユーザの音声を検知して音声信号をＩ／Ｆ回路４１に出力する。アンプは、Ｉ／Ｆ回路４１からの音声信号を増幅し、音声をスピーカ４３から出力させる。また、タッチパネル１３はＩ／Ｆ回路４１に接続される。Ｉ／Ｆ回路４１は、マイク４２及びスピーカ４３（アンプ）の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するＡ／Ｄ変換及びＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネル１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部３１に出力する。タッチ位置データは、タッチパネル１３の入力面において入力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネル１３からの信号の読み込み、及び、タッチ位置データの生成を所定時間に１回の割合で行う。情報処理部３１は、タッチ位置データを取得することにより、タッチパネル１３に対して入力が行われた位置を知ることができる。

操作ボタン１４は、上記各操作ボタン１４Ａ〜１４Ｌからなり、情報処理部３１に接続される。操作ボタン１４から情報処理部３１へは、各操作ボタン１４Ａ〜１４Ｉに対する入力状況（押下されたか否か）を示す操作データが出力される。情報処理部３１は、操作ボタン１４から操作データを取得することによって、操作ボタン１４に対する入力に従った処理を実行する。

下側ＬＣＤ１２及び上側ＬＣＤ２２は情報処理部３１に接続される。下側ＬＣＤ１２及び上側ＬＣＤ２２は、情報処理部３１（のＧＰＵ３１２）の指示に従って画像を表示する。本実施形態では、情報処理部３１は、操作用の画像を下側ＬＣＤ１２に表示させ、各撮像部２３及び２４のいずれかから取得した画像を上側ＬＣＤ２２に表示させる。すなわち、情報処理部３１は、上側ＬＣＤ２２に外側撮像部２３で撮像した右目用画像と左目用画像とを用いた立体画像（立体視可能な画像）を表示させたり、内側撮像部２４で撮像した平面画像を上側ＬＣＤ２２に表示させたりする。

具体的には、情報処理部３１は、上側ＬＣＤ２２のＬＣＤコントローラ（図示せず）と接続され、当該ＬＣＤコントローラに対して視差バリアのＯＮ／ＯＦＦを制御する。上側ＬＣＤ２２の視差バリアがＯＮになっている場合、情報処理部３１のＶＲＡＭ３１３に格納された（外側撮像部２３で撮像された）右目用画像と左目用画像とが、上側ＬＣＤ２２に出力される。より具体的には、ＬＣＤコントローラは、右目用画像について縦方向に１ライン分の画素データを読み出す処理と、左目用画像について縦方向に１ライン分の画素データを読み出す処理とを交互に繰り返すことによって、ＶＲＡＭ３１３から右目用画像と左目用画像とを読み出す。これにより、右目用画像及び左目用画像が、画素を縦に１ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側ＬＣＤ２２の画面に表示される。そして、上側ＬＣＤ２２の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側ＬＣＤ２２の画面には立体視可能な画像が表示される。

外側撮像部２３及び内側撮像部２４は、情報処理部３１に接続される。外側撮像部２３及び内側撮像部２４は、情報処理部３１の指示に従って画像を撮像し、撮像した画像データを情報処理部３１に出力する。本実施形態では、情報処理部３１は外側撮像部２３及び内側撮像部２４のいずれか一方に対して撮像指示を行い、撮像指示を受けた撮像部が画像を撮像して画像データを情報処理部３１に送る。具体的には、本実施形態では、ユーザによるタッチパネル１３を用いたタッチ操作によって使用する撮像部が選択される。撮像部が選択されたことを情報処理部３１（ＣＰＵ３１１）が検知し、情報処理部３１が外側撮像部２３又は内側撮像部２４に対して撮像指示を行う。

３Ｄ調整スイッチ２５は、情報処理部３１に接続される。３Ｄ調整スイッチ２５は、スライダ２５ａの位置に応じた電気信号を情報処理部３１に送信する。

また、３Ｄインジケータ２６は、情報処理部３１に接続される。情報処理部３１は、３Ｄインジケータ２６の点灯を制御する。本実施形態では、情報処理部３１は、上側ＬＣＤ２２が立体表示モードである場合、３Ｄインジケータ２６を点灯させる。以上がゲーム装置１０の内部構成の説明である。

（手書きオブジェクト表示処理の詳細）
次に、図８から図１１を参照して、本実施形態に係る手書きオブジェクト表示処理の詳細について説明する。まず、手書きオブジェクト表示処理の際にメインメモリ３２に記憶される主なデータについて説明する。図８は、ゲーム装置１０のメインメモリ３２のメモリマップを示す図である。図８に示されるように、メインメモリ３２には、データ記憶領
域７０が設けられる。データ記憶領域７０には、カメラ選択データ７１、左目用画像位置データ７２、右目用画像位置データ７３、加速度データ７４、表示モードデータ７５、操作データ７６、ボタン操作フラグ７７、仮想カメラデータ（位置、姿勢）７８、手書きペン設定データ７９等が記憶される。これらのデータの他、メインメモリ３２には、上記撮影処理を実行するプログラムやタッチパネル１３へのタッチ位置を示すデータ、下側ＬＣＤ１２に表示されるカメラ選択のための画像を示すデータ、下側ＬＣＤ１２に表示される手書き入力された画像データ等が記憶される。なお、以下においては、「撮像部」を「カメラ」という文言で代用して記載する場合がある。

カメラ選択データ７１は、現在選択されている撮像部を示すデータである。カメラ選択データ７１は、現在選択されている撮像部が外側撮像部２３か内側撮像部２４かを示すデータである。

左目用画像位置データ７２は、外側撮像部（左）２３ａによって撮像された左目用画像の上側ＬＣＤ２２上の表示位置を示すデータであり、左目用画像の画像中心の座標値を示すデータである。右目用画像位置データ７３は、外側撮像部（右）２３ｂによって撮像された右目用画像の上側ＬＣＤ２２上の表示位置を示すデータであり、右目用画像の画像中心の座標値を示すデータである。

加速度データ７４は、加速度センサ３９によって検出された最新の加速度を示すデータである。具体的には、加速度データ７４は、加速度センサ３９によって検出されたｘ軸方向、ｙ軸方向、及びｚ軸方向の加速度の値を示す。加速度センサ３９は所定時間に１回の割合で加速度を検出し、情報処理部３１（ＣＰＵ３１１）に送信する。情報処理部３１は、加速度センサ３９が加速度を検出するたびにメインメモリ３２の加速度データ７４を更新する。

表示モードデータ７５は、上側ＬＣＤ２２の表示モードが立体表示モードか平面表示モードかを示すデータである。

操作データ７６は、各操作ボタン１４Ａ〜Ｅ、Ｇ〜Ｈ、及び、アナログスティック１５に対して行われた操作を示すデータである。

ボタン操作フラグ７７は、２値のデータであり、特定のタイミングで操作ボタン１４Ｂ〜１４Ｅのいずれかが押下されたときに更新して記憶されるようになっている。ボタン操作フラグ７７として「０」（オフ）が記憶されている状態で、例えば操作ボタン１４Ｂが押下されると、ボタン操作フラグ７７を「０」（オフ）から「１」（オン）へ更新して記憶する。なお、以下においては、操作された状態を「１」（オン）で記憶し、操作されていない状態を「０」（オフ）で記憶するものとするが、他の操作ボタンであってもよいし、別の態様（「０」及び「１」以外）のフラグであっても構わない。

仮想カメラデータ７８は、後述するマーカ認識結果に基づいて算出された、マーカ座標系における仮想カメラの位置データ及び姿勢データである。

手書きペン設定データ７９は、タッチパネル１３にタッチペン２８を用いて手書きオブジェクトを入力する場合の、タッチペン２８の色及び太さである。初期値（例えば黒及び太線）を記憶しておいて、ユーザの十字ボタン１４Ａの操作によりカーソルが移動して色指定アイコン又は太さ指定アイコンが選択されると、ユーザがタッチペン２８の色又は太さを変更することを要求したと判定されて、ユーザが要求したとタッチペン２８の色又は太さが変更される。変更された色又は太さが手書きペン設定データ７９として記憶される。

次に、手書きオブジェクト表示処理の詳細について、図９から図１１を参照して説明する。図９は、本実施形態に係る手書きオブジェクト表示処理の詳細を示すメインフローチャートである。ゲーム装置１０の電源が投入されると、ゲーム装置１０の情報処理部３１（ＣＰＵ３１１）は、図示しないＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ３２等の各ユニットが初期化される。次に、データ保存用内部メモリ３５に記憶された手書きオブジェクト表示処理プログラムがメインメモリ３２に読み込まれ、情報処理部３１のＣＰＵ３１１によって当該プログラムの実行が開始される。

図１０に示すフローチャートは、図９の手描きデータ取得処理（ステップＳ５）における詳細なフローチャートである。図１１に示すフローチャートは、図９の上側ＬＣＤ表示処理（ステップＳ８）における詳細なフローチャートである。なお、図９に示すステップＳ１〜ステップＳ９の処理ループは、１フレーム（例えば１／３０秒。フレーム時間という）毎に繰り返し実行される。また、以下においては、外側撮像部２３が選択され、立体表示モードが選択されているとして説明する。なお、本発明の適用は、立体表示モードに限定されるものではなく、平面表示モードであっても構わない。以下に示す立体表示モードにおける右目用処理又は左目用処理のいずれか一方のみを行うように変更すれば、平面表示モードでの処理となる。

まず、図９を参照して、手書きオブジェクト表示処理のメインルーチンについて説明する。ステップＳ１にて、情報処理部３１は、カメラ画像データを取得する。具体的には、情報処理部３１は、現在選択されているカメラによって撮像された画像を示す画像データを取得し、ＶＲＡＭ３１３に格納する。ここでは、外側撮像部２３が選択されているため、情報処理部３１は、外側撮像部２３によって撮像された右目用画像と左目用画像とを示す右目用画像データと左目用画像データを取得する。

ステップＳ２にて、情報処理部３１は、取得したカメラ画像データに基づいて、外側撮像部２３により撮像された画像の中からマーカを検出することができたか否かを判定する。ここでは、このマーカは、白色の紙片の中央付近の黒色の四辺形が印刷され、その四辺形の中にローマ字の「Ｍ」が白抜きで印刷されたものとする。しかしながら、マーカはこのような形状、模様、色彩に限定されないで、マーカの位置（ここでは４点の位置）と方向とが認識できるものであればよい。具体的には、情報処理部３１は、まず、外側撮像部２３により撮像された画像の中から４本の線分によって連結される連結領域を抽出し、抽出した連結領域の内部のパターン画像を取得する。そして、情報処理部３１は、取得したパターン画像を示すパターン画像データと外部メモリ４４に予め記憶されているパターン画像データとの類似度を計算し、計算した結果としての類似度を示す値が予め定められた閾値以上である場合（ステップＳ２にてＹＥＳ）、処理はステップＳ３に移され、類似度を示す値が予め定められた閾値未満である場合（ステップＳ２にてＮＯ）、処理はステップＳ５へ移される。

ステップＳ３にて、情報処理部３１は、マーカ検出結果に基づいて、外側撮像部２３（ゲーム装置１０）とマーカとの位置関係を算出する。ここで、位置関係とは、例えば、外側撮像部２３とマーカの一方を基準としたときの他方の３次元の位置及び姿勢として表される。なお、位置関係を算出する処理は、従来の拡張現実感技術における処理と同様な処理で実現できる。

ステップＳ４にて、情報処理部３１は、外側撮像部２３とマーカとの位置関係に基づいて、仮想カメラの位置及び姿勢を決定する。このとき、立体表示モードが選択されているので、情報処理部３１は、外側撮像部（左）２３ａによるカメラ画像データに基づいて左目用の仮想カメラの位置及び姿勢を算出して、外側撮像部（右）２３ｂによるカメラ画像
データに基づいて右目用の仮想カメラの位置及び姿勢を算出する。なお、仮想カメラの位置及び姿勢は、外側撮像部２３とマーカとの位置関係から仮想カメラのビュー行列を求め、求めた仮想カメラのビュー行列により求められる。決定した仮想カメラの位置及び姿勢は、メインメモリ３２のデータ記憶領域７０の仮想カメラデータ７８として記憶される。

ステップＳ５にて、情報処理部３１は、手書きデータ取得処理を実行する。なお、このステップＳ５の手書きデータ取得処理はサブルーチン化されており、その詳細については、後述する。

ステップＳ６にて、情報処理部３１は、所定のボタンが押下されたか否かを判定する。このとき、ユーザが、例えば操作ボタン１４Ｂを押下すると、所定のボタンが押下されたと判定する。所定のボタンが押下されたと判定されると（ステップＳ６にてＹＥＳ）、処理はステップＳ７へ移される。もしそうでないと（ステップＳ６にてＮＯ）、この処理はステップＳ８へ移される。なお、所定のボタンは操作ボタン１４Ｂに限定されず、他の操作ボタンであっても構わないし、別のイベントであっても構わない。イベントの一例として、ユーザによる手書き終了（一定時間以上タッチパネル１３へのタッチ入力なし）が挙げられる。

ステップＳ７にて、情報処理部３１は、ボタン操作フラグ７７を更新する。このとき、上述したように操作ボタン１４Ｂが押下される毎に「０」が「１」に書き換えられて更新され、「１」が「０」に書き換えられて更新される。

ステップＳ８にて、情報処理部３１は、上側ＬＣＤ表示処理を実行する。なお、このステップＳ８の上側ＬＣＤ表示処理はサブルーチン化されており、その詳細については、後述する。

ステップＳ９にて、情報処理部３１は、下側ＬＣＤ１２に手書き入力画像を表示する。このとき、情報処理部３１は、タッチパネル用ＶＲＡＭに記憶された手書き入力データに基づいて下側ＬＣＤ１２に手書き入力画像を表示する。

次に、図１０を参照して、手書きデータ取得処理のサブルーチンについて説明する。ステップＳ５１にて、情報処理部３１は、手書きペンの色及び／又は太さの変更要求がユーザにより入力されたか否かを判定する。手書きペンの色及び／又は太さの変更要求が入力されたと判定されると（ステップＳ５１にてＹＥＳ）、処理はステップＳ５２へ移される。もしそうでないと（ステップＳ５１にてＮＯ）、この処理はステップＳ５３へ移される。

ステップＳ５２にて、情報処理部３１は、ユーザの要求に応じて、手書きペンの色及び／又は太さを変更する。変更した手書きペンの色及び／又は太さは、メインメモリ３２のデータ記憶領域７０の手書きペン設定データ７９として保持される。その後、処理はステップＳ５４へ移される。

ステップＳ５３にて、情報処理部３１は、メインメモリ３２のデータ記憶領域７０の手書きペン設定データ７９を読み出して、手書きペンの色及び／又は太さを設定する。このとき、手書きペンの色及び／又は太さは、手書きペン設定データ７９として記憶された初期値又は保持値に設定される。

ステップＳ５４にて、情報処理部３１は、ユーザがタッチパネル１３にタッチ入力したか否かを判定する。タッチパネル１３にタッチ入力したと判定されると（ステップＳ５４にてＹＥＳ）、処理はステップＳ５５へ移される。もしそうでないと（ステップＳ５４に
てＮＯ）、この処理はステップＳ５１へ戻されて、手書きペンの設定処理及びタッチ検出処理が行われる。

ステップＳ５５にて、情報処理部３１は、タッチパネル１３へのタッチ位置を示す座標を検出する。ステップＳ５６にて、情報処理部３１は、検出した座標と、前回の処理時に検出した座標とに基づいて、タッチパネル１３上での軌跡を算出する。この軌跡を繰り返し算出することにより手書きオブジェクトの画像データを検出できる。

ステップＳ５７にて、情報処理部３１は、手書きペンの移動速度を算出する。具体的には、情報処理部３１は、軌跡の距離とこのプログラムのサイクルタイム（フレーム時間）とに基づいて、手書きペンの移動速度を算出する。

ステップＳ５８にて、情報処理部３１は、手書きペンの移動速度に基づいて、手書きペンの色を変更する。このとき、移動速度が速いと、明度を上げたり（又は下げたり）、彩度を上げたり（又は下げたり）する。また、移動速度が速いほど、太さを細くするようにしても構わない。

ステップＳ５９にて、情報処理部３１は、手書き入力データをメインメモリ３２へ記憶する。このとき、座標、色情報及び太さ情報が付加情報として記憶される。ステップＳ６０にて、情報処理部３１は、手書き入力データ（軌跡データ）を画像データ（ビットマップデータ）へ変換して、変換したデータをＶＲＡＭ３１３のタッチパネル用ＶＲＡＭとテクスチャ用ＶＲＡＭとに転送する。その後、この処理は終了する（メインルーチンへ戻る）。

次に、図１１を参照して、上側ＬＣＤ表示処理のサブルーチンについて説明する。ステップＳ８１にて、情報処理部３１は、外側撮像部２３により撮像した画像の中から、マーカを一定時間以上検出できていないか否かを判定する。このとき、ユーザがゲーム装置１０を傾けることにより、マーカの位置が外側撮像部２３の撮像範囲外である時間が一定時間以上になると、マーカを一定時間以上検出できていないと判定される。マーカを一定時間以上検出できていないと判定されると（ステップＳ８１にてＹＥＳ）、処理はステップＳ９２へ移される。もしそうでないと、すなわち、ユーザがゲーム装置１０を傾けた場合に一定時間が経過するまでに外側撮像部２３によりマーカを検出できると（ステップＳ８１にてＮＯ）、この処理はステップＳ８２へ移される。なお、マーカの検出方法は、ステップＳ２で説明した処理と同様な処理で行えばよい。

ステップＳ８２にて、情報処理部３１は、ボタン操作フラグがオンであるか否かを判定する。ボタン操作フラグがオンであると判定されると（ステップＳ８２にてＹＥＳ）、処理はステップＳ８３へ移される。もしそうでないと（ステップＳ８２にてＮＯ）、この処理はステップＳ８５へ移される。

ステップＳ８３にて、情報処理部３１は、経過時間に基づいて基本ポリゴンの位置を変化させて設定する。ここで、基本ポリゴンの位置の変化の一例としては、基本ポリゴンのマーカ座標系における位置を周期的に（一定の時間が経過するたびに）変化させることが挙げられる。このようにすると、基本ポリゴンは、例えば上下方向又は左右方向に飛び跳ねるように設定される。ここで、経過時間とは、例えば、ボタン操作フラグ７７がオフからオンになったときからの経過時間とする。

ステップＳ８４にて、情報処理部３１は、経過時間により基本ポリゴンの形状を変化する。ここで、基本ポリゴンの形状の変化の一例としては、基本ポリゴンの縦横比を周期的に（一定の時間が経過するたびに）変化させることが挙げられる。このようにすると、基
本ポリゴンが、横方向及び／又は縦方向に伸びたり縮んだりするように設定される。その後、処理はステップＳ８６へ移される。ここで、経過時間とは、例えば、ボタン操作フラグ７７がオフからオンになったときからの経過時間とする。

ステップＳ８５にて、情報処理部３１は、マーカ座標系原点に基本ポリゴンの位置を設定する。ここで、マーカ座標系原点は、例えば、マーカの中心位置とする。

ステップＳ８６にて、情報処理部３１は、設定された基本ポリゴンの位置及び形状に応じた影表示用のポリゴンを設定する。このとき、情報処理部３１は、基本ポリゴンを９０度倒した位置に影表示用のポリゴンを設定する。なお、情報処理部３１は、基本ポリゴンの位置が変化されるように設定されている場合には、その変化に従った位置に影表示用のポリゴンを設定する。

ステップＳ８７にて、情報処理部３１は、設定された基本ポリゴンの位置及び形状に応じた厚み表示用のポリゴンを設定する。このとき、情報処理部３１は、基本ポリゴンを予め定められた枚数だけ、基本ポリゴンの法線方向（基本ポリゴンは薄板形状とする）に並べて配置する。なお、情報処理部３１は、基本ポリゴンの位置が変化されるように設定されている場合には、その変化に従った位置に厚み表示用のポリゴンを設定する。

ステップＳ８８にて、情報処理部３１は、ポリゴン（基本、影表示用、厚み表示用）に手書き画像テクスチャを貼り付ける。なお、手書き画像テクスチャを示すテクスチャデータは、手書き入力データから変換された画像データであり、テクスチャ用ＶＲＡＭから読み出される。このとき、影表示用ポリゴンについては、手書き画像テクスチャの明度を所定の度合いで下げるようテクスチャデータを変更して手書き画像テクスチャを貼り付けるようになっている。また、厚み表示用のポリゴンについては、基本ポリゴンから離れるにしたがって、手書き画像テクスチャの明度を徐々に下げていくようにテクスチャデータを変更して手書き画像テクスチャを貼り付けるようになっている。

ステップＳ８９にて、情報処理部３１は、仮想カメラで、手書き画像テクスチャが貼り付けられたポリゴンを撮影して手書き画像（手書きオブジェクト画像）データを生成する。このとき、立体表示モードが選択されているので、左目用の仮想カメラの位置及び姿勢に基づいて左目用の手書き画像を生成するとともに、右目用の仮想カメラの位置及び姿勢に基づいて右目用の手書き画像を生成する。

ステップＳ９０にて、情報処理部３１は、手書き画像データとカメラ画像データとに基づいて、手書き画像とカメラ画像とを重ね合わせる。このとき、立体表示モードが選択されているので、情報処理部３１は、左目用の手書き画像と外側撮像部（左）２３ａにより撮影されたカメラ画像とを重ね合わせて左目用の重畳画像が作成され、右目用の手書き画像と外側撮像部（右）２３ｂにより撮影されたカメラ画像とを重ね合わせて右目用の重畳画像が作成される。

ステップＳ９１にて、情報処理部３１は、上側ＬＣＤ２２に、手書き画像とカメラ画像とを重ね合わせた重畳画像を表示する。このとき、立体視可能なように、左目用の重畳画像と右目用の重畳画像とが合成される。その後、この処理は終了する（メインルーチンへ戻る）。

ステップＳ９２にて、情報処理部３１は、上側ＬＣＤ２２にカメラ画像を表示する。その後、この処理は終了する（メインルーチンへ戻る）。

以上のような構造及びフローチャートに基づく、本実施形態に係るゲーム装置１０の動
作について、図１２から図１７を参照して説明する。これらの図においては、手書き画像が表示される上側ＬＣＤ２２において、手書き画像とマーカとが重畳する部分は、本来はマーカも手書き画像も表示されている。しかしながら、図における表現を明確にするために、マーカの一部を表示していない。また、以下においては、マーカを動かさないでユーザがゲーム装置１０を傾ける場合について説明するが、マーカはユーザにより動かされても構わない。さらに、マーカがユーザにより動かされて、かつ、ユーザがゲーム装置１０を傾けても構わない。

（手書きオブジェクトの基本的な表示）
ユーザが、外側撮像部２３を選択して、立体表示モードを選択して、上述したプログラムが実行されるように設定する。ユーザが、例えば机の上に置いたマーカを含めた範囲を外側撮像部２３で撮影することにより、カメラ画像データが取得される（ステップＳ１）。マーカが検出されると（ステップＳ２にてＹＥＳ）、マーカの検出結果に基づいて、外側撮像部２３とマーカとの位置関係が算出され（ステップＳ３）、算出された位置関係に基づいて、仮想カメラの位置及び姿勢が決定される（ステップＳ４）。

このような状態で、図１２に示すように、ユーザが下側ＬＣＤ１２に人物の顔を手書きする。なお、手書きペンの色及び太さの変更をユーザが要求しないで、初期値で手書きされるものとする（ステップ５１にてＮＯ）。図１２は、顔を途中まで描いた状態を示す。ユーザがタッチペン２８を下側ＬＣＤ１２にタッチすると（ステップＳ５４）、座標が検出され（ステップＳ５５）、軌跡が検出され（ステップＳ５６）、ペンの移動速度が算出されて（ステップＳ５７）、その移動速度に応じて手書きペンの色が変更される（ステップＳ５８）。手書き入力データが画像データへ変換され、メインメモリ３２へ記憶されて（ステップＳ５９）、タッチパネル用ＶＲＡＭ及びテクスチャ用ＶＲＡＭへ転送される（ステップＳ６０）。

このような手書きの途中であっても、図９から図１１に示すプログラムが周期的に（所定のサイクルタイムで）繰り返し動作しているので、図１２に示すように、上側ＬＣＤ２２に手書き途中の手書きオブジェクトが表示される。

この図１２のように手書きオブジェクトが表示されている場合のゲーム装置１０の動作についてさらに説明する。なお、以下においては、所定のボタンが押下されていない場合の動作を説明した後に、所定のボタンが押下されている場合の動作を説明する。

所定のボタンが押下されていないので（ステップＳ６にてＮＯ）、ボタン操作フラグが更新されないで「０」（オフ）が維持される。一定時間以上経過する前にマーカが検出されると（ステップＳ８１にてＮＯ）、ボタン操作フラグがオフであるので（ステップＳ８２にてＮＯ）、マーカ座標系原点に基本ポリゴンの位置が設定される（ステップＳ８５）。

必要に応じて、手書きオブジェクトに、影が付加されたり、厚みが付加されたりする。この場合の動作については後述する。基本ポリゴンに手書き画像テクスチャが貼り付けられて（ステップＳ８８）、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴンが撮影されて手書き画像（手書きオブジェクト画像）データが生成される（ステップＳ８９）。手書き画像とカメラ画像とが重ね合わせられて（ステップＳ９０）、上側ＬＣＤ２２に重畳画像が表示される（ステップＳ９１）。このとき、図１２に示すように、上側ＬＣＤ２２に、手書き途中のオブジェクトが、マーカ座標系の原点に配置されて表示される。なお、マーカ座標系及びその原点は予め設定されているものとする。また、図１２に示すように、下側ＬＣＤ１２にも手書きオブジェクトが表示される（ステップＳ９）。

さらに、ユーザが手書きを進めると、上述の動作が繰り返して行われて、図１３に示すように、上側ＬＣＤ２２に、ユーザが手書きしたオブジェクトが３次元仮想空間に存在するように立体表示モードで表示され、下側ＬＣＤ１２に手書きオブジェクトが平面的に表示される。

（ゲーム装置１０を傾けた場合）
図１４（ａ）（この図は図１３からタッチペン２８を削除した図）に示すように、上側ＬＣＤ２２に、ユーザが手書きしたオブジェクトが３次元仮想空間に存在するように表示されている場合に、マーカが外側撮像部２３で撮像される範囲内において、ユーザがゲーム装置１０を傾ける。ここでは、ゲーム装置１０を、マーカを中心にして時計回りに約９０度傾けた（回転させた）ものとする。

ゲーム装置１０が傾けられても、図９から図１１に示すプログラムが周期的に（サイクルタイムで）繰り返し動作しているので、外側撮像部２３で撮影することにより、カメラ画像データが逐次取得され（ステップＳ１）、マーカが検出され（ステップＳ２にてＹＥＳ）、マーカの検出結果に基づいて、外側撮像部２３とマーカとの位置関係が逐次算出され（ステップＳ３）、算出された位置関係に基づいて、仮想カメラの位置及び姿勢が逐次決定される（ステップＳ４）。マーカ座標系原点に基本ポリゴンの位置が逐次設定され（ステップＳ８５）、基本ポリゴンに手書き画像テクスチャが貼り付けられて（ステップＳ８８）、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴンが撮影されて手書き画像（手書きオブジェクト画像）データが生成され（ステップＳ８９）、手書き画像とカメラ画像とが重ね合わせられて（ステップＳ９０）、上側ＬＣＤ２２に重畳画像が逐次表示される（ステップＳ９１）。

図１４（ａ）に示す状態からゲーム装置１０を、マーカを中心にして時計回りに約９０度傾けると、図１４（ｂ）に示す状態に上側ＬＣＤ２２の表示が変更される。これらの図に示すように、仮想カメラと基本ポリゴンとの相対的位置は、外側撮像部２３により逐次撮像される画像に含まれる、マーカの認識結果に基づいて、変更される。このため、ゲーム装置１０を傾けることにより撮像方向が変化すると、マーカの見え方の変化に対応して、仮想カメラと基本ポリゴンとの相対的位置が変更される。このため、ゲーム装置１０を傾けることによる撮像方向の変化に対応して、仮想カメラにより撮影された手書き画像の表示が変更される。このように、ユーザが手書きした画像を現実世界に存在するように表示し、拡張現実感を実現することができる。

（所定のボタンが押下されている場合：基本ポリゴンの位置変化）
所定のボタンが押下されると（ステップＳ６にてＹＥＳ）、ボタン操作フラグが更新されて「１」（オン）に変更される（ステップＳ７）。一定時間以上経過する前にマーカが検出されると（ステップＳ８１にてＮＯ）、ボタン操作フラグがオンであるので（ステップＳ８２にてＹＥＳ）、経過時間に基づいて基本ポリゴンの位置（マーカ座標系原点に対する相対位置及び相対姿勢）が設定される（ステップＳ８３）。

このとき、基本ポリゴンの表示位置が、例えば周期的に上下方向に往復移動するように変化される。このような基本ポリゴンに手書き画像テクスチャが貼り付けられて（ステップＳ８８）、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴンが撮影されて手書き画像（手書きオブジェクト画像）データが生成される（ステップＳ８９）。手書き画像とカメラ画像とが重ね合わせられて（ステップＳ９０）、上側ＬＣＤ２２に重畳画像が表示される（ステップＳ９１）。このとき、手書き画像は、上下方向又は左右方向に飛び跳ねるように表示される。このため、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することができる。

（所定のボタンが押下されている場合：基本ポリゴンの形状変化）
上述したように、所定のボタンが押下される場合に、基本ポリゴンの形状が変化する場合の動作について説明する。

ボタン操作フラグがオンであるので（ステップＳ８２にてＹＥＳ）、経過時間により基本ポリゴンの形状が変化される（ステップＳ８４）。例えば、基本ポリゴンの縦横比が周期的に（一定の時間が経過するたびに）変化される。このような基本ポリゴンに手書き画像テクスチャが貼り付けられて（ステップＳ８８）、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴンが撮影されて手書き画像（手書きオブジェクト画像）データが生成される（ステップＳ８９）。手書き画像とカメラ画像とが重ね合わせられて（ステップＳ９０）、上側ＬＣＤ２２に重畳画像が表示される（ステップＳ９１）。このとき、手書き画像は、横方向及び／又は縦方向に伸びたり縮んだりするように表示される。

このときの上側ＬＣＤ２２における表示例を図１５（ａ）及び図１５（ｂ）に示す。図１５（ａ）に示す表示例は、基本ポリゴンが縦方向に伸びた状態（横方向に縮んだ状態）であって、図１５（ｂ）に示す表示例は、基本ポリゴンが横方向に伸びた状態（縦方向に縮んだ状態）を、それぞれ示している。実際には、基本ポリゴンの縦横比が周期的に変化するので、図１５（ａ）に示す表示例と図１５（ｂ）に示す表示例とが、短い時間周期で繰り返し表示される。このため、手書き画像である顔の表情が変化するように表示される。このように動作するので、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することができる。

なお、このように基本ポリゴンの形状が変化することに加えて、上述したように基本ポリゴンの位置が変化するようにしても構わない。この場合、手書き画像である顔の表情が変化しながら、上下方向又は左右方向に飛び跳ねるように表示される。このため、さらに自然な拡張現実感を実現することができる。

（影及び厚みが付与される場合）
所定のボタンが押下されているか否かに関わらず、基本ポリゴンに影及び厚みが付与される場合の動作について説明する。

ボタン操作フラグがオンであるのかオフであるのかに関わらず、基本ポリゴンの位置及び形状に応じた影表示用のポリゴンが設定される（ステップＳ８６）。このとき、基本ポリゴンの位置が変化されている場合には、その変化に従った位置に影表示用のポリゴンが設定される。このため、手書き画像が上下方向又は左右方向に飛び跳ねるように表示されるように基本ポリゴンの位置が変化される場合には、その飛び跳ねる手書き画像に対応する影が表示される。

さらに、基本ポリゴンの位置及び形状に応じた厚み表示用のポリゴンが設定される（ステップＳ８７）。このとき、予め定められた枚数だけの厚み表示用のポリゴンが並べて配置される。このため、基本ポリゴンの位置が変化されている場合には、その変化に従った位置に厚み表示用のポリゴンが設定される。このため、手書き画像が上下方向又は左右方向に飛び跳ねるように表示されるように基本ポリゴンの位置が変化される場合には、その飛び跳ねる手書き画像に対応する厚みが表示される。

このような基本ポリゴン、影表示用のポリゴン及び厚み表示用のポリゴンにテクスチャが貼り付けられて（ステップＳ８８）、仮想カメラでテクスチャが貼り付けられたポリゴンが撮影されて手書き画像（手書きオブジェクト画像）データが生成される（ステップＳ８９）。手書き画像とカメラ画像とが重ね合わせられて（ステップＳ９０）、上側ＬＣＤ２２に重畳画像が表示される（ステップＳ９１）。

影が表示される場合の、上側ＬＣＤ２２における表示例を図１６（ａ）及び図１６（ｂ）に示す。これらの図に示すように、手書き画像に対応する影が表示される。このため、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することができる。

また、厚みが表示される場合の、上側ＬＣＤ２２における表示例を図１７（ａ）及び図１７（ｂ）に示す。これらの図に示すように、手書き画像に厚みが示される。このため、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することができる。

（マーカが一定時間以上検出できない場合）
例えば、ユーザがゲーム装置１０を傾け過ぎると、外側撮像部２３でマーカが撮像できない場合がある。この場合には、撮像した画像の中から、マーカを一定時間以上検出できないので（ステップＳ８１にてＹＥＳ）、基本ポリゴンの設定等を実行しないで、カメラ画像を上側ＬＣＤ２２に表示する（ステップＳ９２）。このとき、上側ＬＣＤ２２には、マーカも手書き画像も表示されないで、外側撮像部２３で撮像した風景だけが単に表示される。

以上のように、本実施形態に係るゲーム装置１０によると、外側撮像部２３で撮像した風景（背景）に、タッチパネルにユーザが手書きした画像を、表示位置を変化させたり、形状を変化させたり、影を付与したり、厚みを付与したりすることにより、自然な拡張現実感を実現した画像を上側ＬＣＤ２２に表示することができる。このため、手書き画像について、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。この場合において、タッチパネルに手書きしている途中の画像であっても、上側ＬＣＤ２２に表示することができる。このため、拡張現実感を確認しながら、手書き画像を完成させることができる。

（変形例）
上記したステップＳ８６においては、基本ポリゴンの形状を変化させて、変化させた基本ポリゴンにテクスチャを貼り付けることにより、手書きオブジェクトの形状を変形させていた。しかしながら、本発明はこれに限定されず、テクスチャを変形させるようにしても構わない。

また、本実施形態に係るゲーム装置１０が所定のゲームを実行するようにしても構わない。例えば、所定のゲームプログラムがデータ保存用内部メモリ３５や外部メモリ４４に記憶され、ゲーム装置１０が当該プログラムを実行することによりゲームが行われる。例えば、当該ゲームにおいて、ユーザが下側ＬＣＤ１２で作成した手書きオブジェクトが上側ＬＣＤ２２に表示される。

また、本発明は、本実施形態に係るゲーム装置に限らず、任意の携帯型電子機器（例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）又は携帯電話）、パーソナルコンピュータ、カメラ等に適用することが可能である。

また、本実施形態に係るゲーム装置１０の情報処理部３１が所定のプログラムを実行することによって、上述したフローチャートによる手書きオブジェクト表示処理が行われた。これに限定されず、手書きオブジェクト表示処理の一部又は全部は、ゲーム装置１０が備える専用回路によって行われてもよい。

また、上述した処理を１台のゲーム装置（情報処理装置）だけで処理するのではなく、
互いに通信可能に接続された複数の情報処理装置で分担して処理するようにしても構わない。

また、１枚のポリゴンに手書き画像をテクスチャとして貼り付けるのではなく、手書き画像に応じた形状の３Ｄポリゴンモデルを逐次生成して、これを基本ポリゴンの代わりに配置するようにしても構わない。

また、本実施形態においては、手書きの軌跡で構成される手書きオブジェクトを示す手書きデータを入力する入力手段をタッチパネル１３として説明したが、本発明はこれに限定されない。例えば、この入力手段は、マウスやタッチパッド等のポインティングデバイスであっても構わない。また、カメラや加速度センサによって入力装置の姿勢を検出し、入力装置が指し示す所定の面上の位置を当該姿勢に基づいて算出することにより、手書きデータを入力するようになっていても構わない。さらに、ボタン１４Ｃを押下しつつ、十字ボタン１４Ａで下側ＬＣＤ１２に表示されるカーソルを移動させた場合に、移動するカーソルに追従するような軌跡を手書きデータとして入力するようになっていても構わない。

また、本実施形態においては、外側撮像部２３により撮像したカメラ画像と手書き画像とを重ね合わせて上側ＬＣＤ２２に表示させるビデオシースルー方式を説明したが、本発明はこれに限定されない。例えば、光学シースルー方式を実現する構成であってもよい。この場合には、少なくともカメラを備えたヘッドマウンドディスプレイで構成され、ユーザはメガネのレンズ部分に相当するディスプレイ部を通して現実空間を視認できるようになっている。このディプレイ部は、現実空間を透過してユーザの目に直接導くことが可能な素材によって構成されている。さらに、このディスプレイ部にはコンピュータにより生成した仮想オブジェクトの画像を表示させることができるようになっている。これにより、ユーザは、現実空間と仮想オブジェクトの画像とが重ね合わせられた像を視認することができる。なお、ヘッドマウンドディスプレイに備えられたカメラは現実空間に配置されたマーカを検出するために用いられる。

１０ ゲーム装置
１１ 下側ハウジング
１２ 下側ＬＣＤ
１３ タッチパネル
１４ 操作ボタン
１５ アナログスティック
１６ ＬＥＤ
２１ 上側ハウジング
２２ 上側ＬＣＤ
２３ 外側撮像部
２３ａ 外側撮像部（左）
２３ｂ 外側撮像部（右）
２４ 内側撮像部
２５ ３Ｄ調整スイッチ
２６ ３Ｄインジケータ
２８ タッチペン
３１ 情報処理部
３１１ ＣＰＵ
３１２ ＧＰＵ
３２ メインメモリ

Claims (13)

1. 撮像手段と入力手段と画面上において現実空間を視認可能な表示手段とに接続された情報処理装置のコンピュータを、
   前記撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得手段、
   前記入力手段により入力された入力画像を示す入力データを逐次取得する入力データ取得手段、
   前記撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する検出手段、
   前記特定対象物の検出結果に基づいて、前記撮像手段と前記特定の対象物との相対的位置を算出する算出手段、
   前記算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段、
   前記入力データ取得手段により逐次入力された入力データにより示される仮想空間内のオブジェクトを前記仮想カメラで撮像して、前記オブジェクトのオブジェクト画像を生成する生成手段、及び
   前記画面上の現実空間に前記生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を前記表示手段に逐次表示させる表示制御手段として機能させる情報処理プログラム。
2. 前記入力手段は、ポインティングデバイスで構成され、
   前記入力データ取得手段は、前記ポインティングデバイスへ入力された手書きの軌跡で構成されるオブジェクトを示す入力データを所定の時間間隔で取得し、
   前記表示制御手段は、前記所定の時間間隔における手書きの進捗を反映させた重畳画像を前記表示手段に表示させる、請求項１に記載の情報処理プログラム。
3. 前記表示手段は、前記重畳画像が表示される第１の画面領域とは別の第２の画面領域を含み、
   前記表示制御手段は、前記第１の領域に前記重畳画像を表示させるとともに、前記第２の表示領域に前記入力画像を表示させる、請求項１又は請求項２に記載の情報処理プログラム。
4. 前記オブジェクトの表示態様を変化させる変化手段として前記コンピュータをさらに機能させ、
   前記表示制御手段は、前記撮像画像データと、前記変化手段により表示態様が変化したオブジェクトを示すオブジェクト画像データとを重ね合わせた重畳画像を前記表示手段に逐次表示させる、請求項１〜請求項３のいずれかに記載の情報処理プログラム。
5. 前記変化手段は、前記オブジェクトの表示位置を所定の規則に応じて変化させる、請求項４に記載の情報処理プログラム。
6. 前記変化手段は、前記オブジェクトの表示位置を時間の経過に応じて変化させる、請求項５に記載の情報処理プログラム。
7. 前記変化手段は、前記オブジェクトの表示形状を変化させる、請求項４に記載の情報処理プログラム。
8. 前記変化手段は、前記オブジェクトの影を前記オブジェクトに付加した表示形状に変化させる、請求項７に記載の情報処理プログラム。
9. 前記変化手段は、前記オブジェクトの厚みを変化させる、請求項４に記載の情報処理プログラム。
10. 前記変化手段は、複数のオブジェクトを並べて配置することにより、前記オブジェクトの厚みを変化させる、請求項９に記載の情報処理プログラム。
11. 撮像画像を撮像する撮像手段と、
    ユーザにより入力画像が入力される入力手段と、
    画面上において現実空間を視認可能な表示手段と、
    前記撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得手段と、
    前記入力手段により入力された入力画像を示す入力データを逐次取得する入力データ取得手段と、
    前記撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する検出手段と、
    前記特定対象物の検出結果に基づいて、前記撮像手段と前記特定の対象物との相対的位置を算出する算出手段と、
    前記算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段と、
    前記入力データ取得手段により逐次入力された入力データにより示される仮想空間内のオブジェクトを前記仮想カメラで撮像して、前記オブジェクトのオブジェクト画像を生成する生成手段と、
    前記画面上の現実空間に前記生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を前記表示手段に逐次表示させる表示制御手段とを含む情報処理装置。
12. 撮像画像を撮像する撮像手段と、
    ユーザにより入力画像が入力される入力手段と、
    画面上において現実空間を視認可能な表示手段と、
    前記撮像手段により撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得手段と、
    前記入力手段により入力された入力画像を示す入力データを逐次取得する入力データ取得手段と、
    前記撮像画像データ取得手段により逐次取得された撮像画像データから特定対象物を検出する検出手段と、
    前記特定対象物の検出結果に基づいて、前記撮像手段と前記特定の対象物との相対的位置を算出する算出手段と、
    前記算出手段による算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定手段と、
    前記入力データ取得手段により逐次入力された入力データにより示される仮想空間内のオブジェクトを前記仮想カメラで撮像して、前記オブジェクトのオブジェクト画像を生成する生成手段と、
    前記画面上の現実空間に前記生成手段により生成されたオブジェクト画像を重ね合わせた重畳画像を前記表示手段に逐次表示させる表示制御手段とを含む情報処理システム。
13. 撮像手段により撮像画像を撮像する撮像ステップと、
    ユーザにより入力画像が入力される入力ステップと、
    画面上において現実空間を視認可能な表示ステップと、
    前記撮像ステップにて撮像された撮像画像を示す撮像画像データを逐次取得する撮像画像データ取得ステップと、
    前記入力ステップにて入力された入力画像を示す入力データを逐次取得する入力データ取得ステップと、
    前記撮像画像データ取得ステップにて逐次取得された撮像画像データから特定対象物を検出する検出ステップと、
    前記特定対象物の検出結果に基づいて、前記撮像手段と前記特定の対象物との相対的位置を算出する算出ステップと、
    前記算出ステップによる算出結果に基づいて、仮想空間内の仮想カメラを逐次設定する仮想カメラ設定ステップと、
    前記入力データ取得ステップにて逐次入力された入力データにより示される仮想空間内のオブジェクトを前記仮想カメラで撮像して、前記オブジェクトのオブジェクト画像を生成する生成ステップと、
    前記画面上の現実空間に前記生成ステップにて生成されたオブジェクト画像を重ね合わせた重畳画像を前記表示ステップにて逐次表示させる表示制御ステップとを含む情報処理方法。

Images