JP2013122708A - プログラム、情報記憶媒体、端末及びサーバ - Google Patents

Abstract

【課題】撮像画像における所定の画像パターンの認識結果に応じて、仮想空間内のオブジェクトの移動。動作をインタラクティブに変化させ、面白みのある拡張現実画像を提供すること。
【解決手段】本プログラムは、撮像部を有する端末の表示部に表示する拡張現実画像を生成するプログラムであって、前記撮像部１５０によって撮像された撮像画像について所定の画像パターンを認識する処理を行う画像認識処理部１１２と、所定の画像パターンの認識結果に基づいて、オブジェクトが配置される仮想空間に制御点を設定する制御点設定部１１２と、所定の画像パターンが認識された場合には、前記制御点に基づいて、仮想空間におけるオブジェクトの移動及び動作の少なくとも一方を制御するオブジェクト制御部１１３と、前記仮想空間において、仮想カメラから見える仮想画像を生成し、前記撮像画像と前記仮想画像とを合成して拡張現実画像を生成する処理を行う画像生成部１３０として、コンピュータを機能させる。
【選択図】図１４

Description

本発明は、プログラム、情報記憶媒体、端末及びサーバに関する。

従来から、撮像画像と仮想画像とを合成した拡張現実画像（ＡＲ）を生成して、ゲーム処理を行うゲーム装置が存在する。また、特許文献１に開示される従来技術では、ユーザ周囲のレイアウトを求め、求めたレイアウトに対して仮想的なコンテンツを関連づけるとともに、ゲームのルールとコンテンツに基づいて、ゲーム処理を行う。（特許文献１の図１、図２参照）。

特開２００９−１９５７０７号公報

しかし、従来技術は、拡張現実との結びつきが低いゲームが多く、面白みに欠けるという課題があった。

本発明は、上記課題に鑑みてなされたものであり、本発明の幾つかの態様によれば、撮像画像における所定の画像パターンの認識結果に応じて、仮想空間内のオブジェクトの移動。動作をインタラクティブに変化させ、面白みのある拡張現実画像を提供するプログラム、情報記憶媒体、端末及びサーバを提供することにある。

（１）本発明は、
撮像部を有する端末の表示部に表示する拡張現実画像を生成するプログラムであって、
前記撮像部によって撮像された撮像画像について所定の画像パターンを認識する処理を行う画像認識処理部と、
所定の画像パターンの認識結果に基づいて、オブジェクトが配置される仮想空間に制御点を設定する制御点設定部と、
所定の画像パターンが認識された場合には、前記制御点に基づいて、仮想空間におけるオブジェクトの移動及び動作の少なくとも一方を制御するオブジェクト制御部と、
前記仮想空間において、仮想カメラから見える仮想画像を生成し、前記撮像画像と前記仮想画像とを合成して拡張現実画像を生成する処理を行う画像生成部として、コンピュータを機能させるプログラムに関する。また、本発明は、上記プログラムを記憶した情報記憶媒体、上記各部として構成する端末に関する。

また本発明は、撮像部を有する端末の表示部に表示する拡張現実画像を生成するサーバであって、
ネットワークを介して端末から撮像画像情報を受信する通信制御部と、
受信した撮像画像について所定の画像パターンを認識する処理を行う画像認識処理部と、
所定の画像パターンの認識結果に基づいて、オブジェクトが配置される仮想空間に制御点を設定する制御点設定部と、
所定の画像パターンが認識された場合には、前記制御点に基づいて、仮想空間におけるオブジェクトの移動及び動作の少なくとも一方を制御するオブジェクト制御部と、
前記仮想空間において、仮想カメラから見える仮想画像を生成し、前記撮像画像と前記仮想画像とを合成して拡張現実画像を生成する処理を行う画像生成部と、を含むサーバに関する。

所定の画像パターンとは、顔画像や手や足等の部位画像やマーク画像等でもよい。

移動制御や向き制御の対象となるオブジェクトは、移動や動作を行う移動体オブジェクトでもよい。

制御点は、撮像画像における所定の画像パターンの位置に応じて設定されるようにしてもよい。

オブジェクトの動作の制御とは、オブジェクトの向きやモーションの制御でもよい。

本発明によれば、撮像画像における所定の画像パターンの認識結果に応じて、仮想空間内のオブジェクトの移動。動作をインタラクティブに変化させ、面白みのある拡張現実画像を生成することができる。

（２）また、本発明のプログラム、情報記憶媒体、端末及びサーバは、
前記仮想カメラの動きを撮像部の動きに連動させる仮想カメラ制御部としてさらにコンピュータを機能させてもよい。

例えば仮想カメラの向き及び位置の少なくとも一方を撮像部の向き及び位置の少なくとも一方に連動させるようにしてもよい。この様にすると、プレーヤに仮想空間の中を撮像部で撮像しているような感覚を与えることができる。

（３）また、本発明のプログラム、情報記憶媒体、端末及びサーバは、
前記オブジェクト制御部は、
前記所定の画像パターンが認識された場合には、前記制御点に向かって前記オブジェクトを移動させる移動制御を行ってもよい。

例えば目標点を設定して移動制御を行うアルゴリズムを採用している場合には、制御点を目標点に設定するようにしてもよい。

（４）また、本発明のプログラム、情報記憶媒体、端末及びサーバは、
前記オブジェクト制御部は、
前記制御点に基づき制御範囲を設定する処理を行い、前記オブジェクトが前記制御範囲外に位置するように前記オブジェクトの位置を制御してもよい。

例えば前記制御点に向かって前記オブジェクトを移動させる移動制御を行うが、制御範囲内には入れないように前記オブジェクトの位置を制御してもよい。この様にすると撮像画像の所定の画像パターンに対応する画像と仮想空間内のオブジェクトの画像とを違和感のなく合成することができる。

（５）また、本発明のプログラム、情報記憶媒体、端末及びサーバは、
前記制御点設定部は、
所定の画像パターンの認識結果に基づき決定される２次元座標値と所定の奥行き値とに基づいて前記制御点を設定してもよい。

２次元座標値は、撮像画像における所定の画像パターンに対応する画像の位置座標に基づき決定してもよい。

所定の奥行き値は、予め設定された値でもよい。また画像パターンの大きさ等によって設定された値でもよい。例えば撮像画像に対する所定の画像パターンに対応する距離（例えば所定の画像パターンが顔画像である場合の左眼と右眼の距離等）の比率等によって奥行き値を変化させてもよい。

この様にすると、撮像画像に含まれる所定の画像パターンに対応して、仮想空間における制御点の位置座標を設定することができる。

（６）また、本発明のプログラム、情報記憶媒体、端末及びサーバは、
前記オブジェクト制御部は、
前記所定の画像パターンが認識されない場合には、前記制御点を用いたオブジェクトの移動及び動作の制御を行わないようにしてもよい。

前記所定の画像パターンが認識されない場合には、オブジェクトに対して前記制御点を用いない移動／動作制御を行い、前記所定の画像パターンが認識された場合には、オブジェクトに対して前記制御点を用いた移動制御を行うようにしてもよい。

（７）また、本発明のプログラム、情報記憶媒体、端末及びサーバは、
前記オブジェクト制御部は、
前記所定の画像パターンが認識されている状態が所定時間継続すると、前記制御点を用いたオブジェクトの移動及び動作の制御を中止してもよい。

（８）また、本発明のプログラム、情報記憶媒体、端末及びサーバは、
ゲーム上の入力が行われた時に、前記オブジェクトと仮想カメラの位置関係に基づいて、前記ゲーム上の入力の評価を行う評価部として、コンピュータを機能させてもよい。

（９）また、本発明のプログラム、情報記憶媒体、端末及びサーバは、
前記オブジェクト制御部は、
前記所定の画像パターンが認識された場合には、前記制御点の方角又は制御点と所定の角度をなす方角へ前記オブジェクトの向き変化させてもよい。

制御点の方角とは制御点とオブジェクトを結ぶ方向において制御点の向きの方角でもよい。また制御点と所定の角度をなす方角とは、例えば制御点と逆の方角等でもよい。この様にすると、オブジェクトに制御点のほうを向かせたり、制御点と反対のほうを向かせたりする制御を行うことができる。

（１０）また、本発明のプログラム、情報記憶媒体、端末及びサーバは、
前記オブジェクト制御部は、
前記所定の画像パターンが認識された場合には、移動している前記オブジェクトを静止させてもよい。

（１１）また、本発明のプログラム、情報記憶媒体、端末及びサーバは、
前記所定の画像パターンは顔の画像パターンでもよい。

画像認識処理部は顔認識を行うようにしてもよい。

（１２）また、本発明のプログラム、情報記憶媒体、端末及びサーバは、
前記オブジェクト制御部は、
仮想空間の基準点に端末が位置すると仮定して、前記制御点の座標及びオブジェクトの座標を基準点に対する相対位置で与えてもよい。

基準点とは仮想空間の原点でもよい。シングルプレーゲームの場合には、プレーヤの端末が仮想空間の基準点（例えば原点）にあると考えることができる。この様にするとプレーヤが仮想空間の中心にいて拡張現実画像を見ているような感じを与える拡張現実画像を生成することができる。

（１３）また、本発明のプログラム、情報記憶媒体、端末及びサーバは、
前記オブジェクト制御部は、
位置検出部が検出した複数の端末の現在位置に基づき、複数の端末の代表点を演算し、複数の端末の代表点が仮想空間の基準点が位置すると仮定して、前記制御点の座標及びオブジェクトの座標を基準点に対する相対位置で与えてもよい。

この様にすると、複数のプレーヤの現実世界における相対的な位置関係を反映させて仮想空間の設定に基づき仮想空間の基準点（例えば原点）を設定することができる。

本実施形態の端末の機能ブロック図の一例。 図２（Ａ）、（Ｂ）は、本実施形態の端末の一例。 図３（Ａ）、（Ｂ）は、本実施形態の端末の一例。 端末の撮像部が撮影した撮像画像が表示部に表示されている様子を示した図。 拡張現実画像について説明するための図。 本実施の形態の仮想空間に設定された水槽空間を示した図。 本実施の形態の仮想空間に設定された水槽空間のｘｚ平面図。 端末の撮像部の撮像範囲内に人がいる様子を示した図 端末を持つプレーヤと人の位置関係を示した図。 撮像画像の顔認識結果に基づき決定される２次元座標値について説明するための図。 仮想空間に制御点を設定する様子を示した図。 図１２（Ａ）（Ｂ）（Ｃ）は、制御点に基づく、オブジェクトの移動制御について説明するための図。 撮像画像に顔が認識された場合の拡張現実画像について説明するための図。 拡張現実画像生成処理の流れを示すフローチャート図。 金魚すくいゲームについて説明するための図。 拡張現実画像にエフェクト画像を表示している例。 図１７（Ａ）（Ｂ）は、各端末の現在位置に基づき仮想空間の基準点を設定する手法について説明するための図。 図１８は、ネットワークシステムの説明図。 図１９は、ネットワークシステムの説明図。 図２０は、ネットワークシステムの説明図。 図２１は、サーバの構成図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．構成
図１に本実施形態の端末１０（ゲーム装置、スマートフォン、携帯電話、携帯端末、携帯型ゲーム装置、画像生成装置）の機能ブロック図の例を示す。なお本実施形態の端末は図１の構成要素（各部）の一部を省略した構成としてもよい。

撮像部１５０は、撮像部１６２は、被写体を撮像するものであり、ＣＣＤやＣＭＯＳセンサなどの撮像素子や、レンズ等の光学系により実現できる。

入力部１６０は、プレーヤ（操作者）からの入力情報を入力するための入力機器（コントローラ）であり、プレーヤの入力情報を処理部に出力する。本実施形態の入力部１６０は、プレーヤの入力情報（入力信号）を検出する検出部１６２を備える。入力部１６０は、例えば、アナログレバー、ボタン、ステアリング、マイク、タッチパネル型ディスプレイなどがある。また、入力部１６０は、振動信号に基づいて振動させる処理を行う振動部を備えていてもよい。

また、入力部１６０は、３軸の加速度を検出する加速度センサや、角速度を検出するジャイロセンサ、撮像部を備えた入力機器でもよい。例えば、入力部１６０は、プレーヤが把持して動かすものであってもよいし、プレーヤが身につけて動かすものであってもよい。また入力部１６０は、入力機器と一体化されている端末（携帯電話、携帯端末、携帯型ゲーム装置、スマートフォン）なども含まれる。

記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＶＲＡＭ）などにより実現できる。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、あるいはメモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。情報記憶媒体１８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）を記憶することができる。

表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、タッチパネル型ディスプレイ、あるいはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。

音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、あるいはヘッドフォンなどにより実現できる。

通信部１９６は外部（例えば他の端末、サーバ）との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。

なお、サーバ２０が有する情報記憶媒体や記憶部に記憶されている本実施形態の各部としてコンピュータを機能させるためのプログラムやデータを、ネットワークを介して受信し、受信したプログラムやデータを情報記憶媒体１８０や記憶部１７０に記憶してもよい。このようにプログラムやデータを受信して端末を機能させる場合も本発明の範囲内に含む。

処理部１００（プロセッサ）は、入力部１６０からの入力データやプログラムなどに基づいて、ゲーム処理、画像生成処理、あるいは音生成処理などの処理を行う。

この処理部１００は記憶部１７０内の主記憶部１７１をワーク領域として各種処理を行う。処理部１００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。

処理部１００は、情報取得部１１０、画像認識処理部１１１、制御点設定部１１２、オブジェクト制御部１１３、ゲーム処理部１１８，表示制御部１１９，仮想カメラ制御部１２０、通信制御部１２１、画像生成部１３０、音処理部１４０を含む。なお、これらの一部を省略する構成としてもよい。

情報取得部１１０は、プレーヤの入力情報を受け付ける処理を行う。

また、情報取得部１１０は、入力部からの入力情報（加速度値）を受け付ける処理を行う。

画像認識処理部１１１は、撮像部１５０によって撮像された撮像画像について所定の画像パターンを認識する処理を行い、制御点設定部１１２は、所定の画像パターンの認識結果に基づいて、オブジェクトが配置される仮想空間に制御点を設定し、オブジェクト制御部１１３は、所定の画像パターンが認識された場合には、前記制御点に基づいて、仮想空間におけるオブジェクトの移動及び動作の少なくとも一方を制御し、画像生成部１３０は、前記仮想空間において、仮想カメラから見える仮想画像を生成し、前記撮像画像と前記仮想画像とを合成して拡張現実画像を生成する処理を行う。所定の画像パターンは顔の画像パターンでもよい。

仮想カメラ制御部１２０は、前記仮想カメラの動きを撮像部の動きに連動させてもよい。オブジェクト制御部１１３は、所定の画像パターンが認識された場合には、前記制御点に向かって前記オブジェクトを移動させる移動制御を行ってもよい。またオブジェクト制御部１１３は、制御点に基づき制御範囲を設定する処理を行い、前記オブジェクトが前記制御範囲外に位置するように前記オブジェクトの位置を制御してもよい。

制御点設定部１１２は、所定の画像パターンの認識結果に基づき決定される２次元座標値と所定の奥行き値とに基づいて制御点を設定してもよい。

オブジェクト制御部１１３は、所定の画像パターンが認識されない場合には、前記制御点を用いたオブジェクトの移動及び動作の制御を行わないようにしてもよい。

オブジェクト制御部１１３は、所定の画像パターンが認識されている状態が所定時間継続すると、前記制御点を用いたオブジェクトの移動及び動作の制御を中止してもよい。

評価部１１８ｂは、ゲーム上の入力が行われた時に、前記オブジェクトと仮想カメラの位置関係に基づいて、前記ゲーム上の入力の評価を行ってもよい。

オブジェクト制御部１１３は、所定の画像パターンが認識された場合には、前記制御点の方角又は制御点と所定の角度をなす方角へ前記オブジェクトの向き変化させてもよい。

オブジェクト制御部１１３は、所定の画像パターンが認識された場合には、移動している前記オブジェクトを静止させてもよい。

オブジェクト制御部１１３は、仮想空間の基準点に端末が位置すると仮定して、前記制御点の座標及びオブジェクトの座標を基準点に対する相対位置で与えてもよい。

オブジェクト制御部１１３は、位置検出部が検出した複数の端末の現在位置に基づき、複数の端末の代表点を演算し、複数の端末の代表点が仮想空間の基準点が位置すると仮定して、前記制御点の座標及びオブジェクトの座標を基準点に対する相対位置で与えてもよい。

オブジェクト制御部１１２は、仮想空間におけるキャラクタ等のオブジェクトの位置制御、移動制御、攻撃制御、防御制御等を行う。例えば、オブジェクト制御部１１２は、オブジェクト空間にあるオブジェクトの移動・動作演算を行う。すなわち入力部１６０から受け付けた入力情報や、プログラム（移動・動作アルゴリズム）や、各種データ（モーションデータ）などに基づいて、オブジェクトをオブジェクト空間内で移動させたり、オブジェクトを動作（モーション、アニメーション）させたりする処理を行う。

オブジェクト制御部１１２は、オブジェクト空間において、キャラクタ等のオブジェクトの移動を制御する。また、オブジェクト制御部１１２は、オブジェクトの動作（回転、向きの変更）を制御する。例えば、オブジェクト制御部１１２は、１フレーム（例えば、１／６０秒）毎にオブジェクトのモデル座標系のＸ軸、Ｙ軸、Ｚ軸回りの回転角度（向き）を求める。なお、フレームは、オブジェクトの移動・動作制御や画像生成処理を行う時間の単位である。

例えば、オブジェクト制御部１１２は、ワールド座標系にオブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェスなどのプリミティブで構成されるオブジェクト）を配置する。また、例えば、ワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）に基づき、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。

ここで仮想空間とは、仮想的なゲーム空間であり、例えば、ワールド座標系、仮想カメラ座標系のように、３次元座標（Ｘ，Ｙ，Ｚ）においてオブジェクトが配置される空間である。

ゲーム処理部１１８は、種々のゲーム処理を行う。例えば、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム終了条件が満たされた場合にゲームを終了する処理、最終ステージをクリアした場合にはエンディングを進行させる処理などがある。なお、３次元グラフィックス（仮想３次元空間）を用いたゲームに限らず、２次元グラフィックスを用いたゲーム等でもよい。

例えば、ゲーム処理部１１８は、各オブジェクトのパラメータを更新する処理を行う。

表示制御部１１９は、画像生成部１３０において生成された画像（拡張現実画像）を表示部１９０に表示させる処理、予め記憶部１７０や情報記憶媒体１８０に記憶された画像を表示する処理等を行う。例えば、表示制御部１１７は、プレーヤキャラクタ、敵キャラクタを含む画像を表示部１９０に表示させる処理を行う。

仮想カメラ制御部１２０は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点）の制御処理を行う。具体的には、３次元の画像を生成する場合には、ワールド座標系における仮想カメラの位置（Ｘ、Ｙ、Ｚ）、回転角度（例えば、Ｘ、Ｙ、Ｚ軸の各軸の正方向から見て時計回りに回る場合における回転角度）を制御する処理を行う。要するに、仮想カメラ制御部１２０は、仮想カメラの視点位置、視線方向、画角、移動方向、移動速度の少なくとも１つを制御する処理を行う。

通信制御部１２１は、端末（例えば第１の端末）が他の端末（例えば第２の端末）又はサーバ２０とネットワークを介して相互にデータを送受信する処理を行うようにしてもよい。

なお、本実施形態の端末１０では、通信制御で必要となるネットワーク情報をサーバから取得し、管理する処理等を行うようにしてもよい。例えば、端末は、各端末に個別に付与される端末の識別情報（オンラインゲームに参加できる端末を識別するために個別に付与されたデータ、ＩＤ）と、端末の識別情報に対応づけられたパケットの送信先を指定する宛先情報（ＩＰアドレスなど）とを取得し、管理する処理を行うようにしてもよい。

通信制御部１２１は、他の端末（第２の端末）又はサーバ２０に送信するパケットを生成する処理、パケット送信先の端末のＩＰアドレスやポート番号を指定する処理、受信したパケットに含まれるデータを記憶部１７０に保存する処理、受信したパケットを解析する処理、その他のパケットの送受信に関する制御処理等を行う。

また、通信制御部１２１は、複数の端末間、又はサーバ２０においての接続（第１の端末と第２の端末との接続）が確立されてから接続が切断されるまで、データを所定周期（例えば、１秒周期で）互いに送受信する処理を行う。ここで、端末間で送受信されるデータは、入力部の入力情報としてもよいし、各端末の操作対象のオブジェクト（キャラクタ、移動体）の位置情報、移動情報としてもよい。

また、本実施形態の通信制御部１２１は、他の端末（第２の端末）又はサーバ２０から送信されたパケットを受信すると、受信したパケットを解析し、パケットに含まれる他の端末の操作対象のオブジェクトの位置情報などのデータを記憶部に記憶する処理を行う。

なお、複数の端末で構成されるネットワークシステムの場合は、複数の端末間でデータの送受信を行いながらオンラインゲームを実行するピア・ツー・ピア（いわゆるＰ２Ｐ）方式としてもよいし、サーバ２０を介して各端末がデータ（情報）の送受信を行いながらオンラインゲームを実行するクライアント・サーバ方式によるものであってもよい。また、本実施形態のネットワークシステムでは、有線通信のみならず無線通信でデータを送受信してもよい。

また、通信制御部１２１は、サーバ２０に、端末１０の入力部からの入力情報（加速度値）を送信する処理を行うようにしてもよい。

なお、通信制御部１２１は、ゲーム端末１０の表示部１９０に表示させるための種々の画像を受信してもよい。

画像生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。

例えば、画像生成部１３０は、オブジェクト（モデル）の各頂点の頂点データ（頂点の位置座標、テクスチャ座標、色データ、法線ベクトルあるいはα値等）を含むオブジェクトデータ（モデルデータ）が入力され、入力されたオブジェクトデータに含まれる頂点データに基づいて、頂点処理（頂点シェーダによるシェーディング）が行われる。なお頂点処理を行うに際して、必要に応じてポリゴンを再分割するための頂点生成処理（テッセレーション、曲面分割、ポリゴン分割）を行うようにしてもよい。

頂点処理では、頂点処理プログラム（頂点シェーダプログラム、第１のシェーダプログラム）に従って、頂点の移動制御や、座標変換、例えばワールド座標変換、視野変換（カメラ座標変換）、クリッピング処理、透視変換（投影変換）、ビューポート変換等のジオメトリ処理が行われ、その処理結果に基づいて、オブジェクトを構成する頂点群について与えられた頂点データを変更（更新、調整）する。

そして、頂点処理後の頂点データに基づいてラスタライズ（走査変換）が行われ、ポリゴン（プリミティブ）の面とピクセルとが対応づけられる。そしてラスタライズに続いて、画像を構成するピクセル（表示画像を構成するフラグメント）を描画するピクセル処理（ピクセルシェーダによるシェーディング、フラグメント処理）が行われる。ピクセル処理では、ピクセル処理プログラム（ピクセルシェーダプログラム、第２のシェーダプログラム）に従って、テクスチャの読出し（テクスチャマッピング）、色データの設定／変更、半透明合成、アンチエイリアス等の各種処理を行って、画像を構成するピクセルの最終的な描画色を決定し、透視変換されたオブジェクトの描画色を画像バッファ１７２（ピクセル単位で画像情報を記憶できるバッファ。ＶＲＡＭ、レンダリングターゲット、フレームバッファ）に出力（描画）する。すなわち、ピクセル処理では、画像情報（色、法線、輝度、α値等）をピクセル単位で設定あるいは変更するパーピクセル処理を行う。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。

なお、頂点処理やピクセル処理は、シェーディング言語によって記述されたシェーダプログラムによって、ポリゴン（プリミティブ）の描画処理をプログラム可能にするハードウェア、いわゆるプログラマブルシェーダ（頂点シェーダやピクセルシェーダ）により実現される。プログラマブルシェーダでは、頂点単位の処理やピクセル単位の処理がプログラム可能になることで描画処理内容の自由度が高く、従来のハードウェアによる固定的な描画処理に比べて表現力を大幅に向上させることができる。

そして画像生成部１３０は、オブジェクトを描画する際に、ジオメトリ処理、テクスチャマッピング、隠面消去処理、αブレンディング等を行う。

ジオメトリ処理では、オブジェクトに対して、座標変換、クリッピング処理、透視投影変換、あるいは光源計算等の処理が行われる。そして、ジオメトリ処理後（透視投影変換後）のオブジェクトデータ（オブジェクトの頂点の位置座標、テクスチャ座標、色データ（輝度データ）、法線ベクトル、あるいはα値等）は、記憶部１７０に保存される。

テクスチャマッピングは、記憶部１７０に記憶されるテクスチャ（テクセル値）をオブジェクトにマッピングするための処理である。具体的には、オブジェクトの頂点に設定（付与）されるテクスチャ座標等を用いて記憶部１７０からテクスチャ（色（ＲＧＢ）、α値などの表面プロパティ）を読み出す。そして、２次元の画像であるテクスチャをオブジェクトにマッピングする。この場合に、ピクセルとテクセルとを対応づける処理や、テクセルの補間としてバイリニア補間などを行う。

隠面消去処理としては、描画ピクセルのＺ値（奥行き情報）が格納されるＺバッファ（奥行きバッファ）を用いたＺバッファ法（奥行き比較法、Ｚテスト）による隠面消去処理を行うことができる。すなわちオブジェクトのプリミティブに対応する描画ピクセルを描画する際に、Ｚバッファに格納されるＺ値を参照する。そして参照されたＺバッファのＺ値と、プリミティブの描画ピクセルでのＺ値とを比較し、描画ピクセルでのＺ値が、仮想カメラから見て手前側となるＺ値（例えば小さなＺ値）である場合には、その描画ピクセルの描画処理を行うと共にＺバッファのＺ値を新たなＺ値に更新する。

αブレンディング（α合成）は、α値（Ａ値）に基づく半透明合成処理（通常αブレンディング、加算αブレンディング又は減算αブレンディング等）のことである。

例えば、αブレンディングでは、これから画像バッファ１７２に描画する描画色（上書きする色）Ｃ１と、既に画像バッファ１７２（レンダリングターゲット）に描画されている描画色（下地の色）Ｃ２とを、α値に基づいて線形合成処理を行う。つまり、最終的な描画色をＣとすると、Ｃ＝Ｃ１＊α＋Ｃ２＊（１−α）によって求めることができる。

なお、α値は、各ピクセル（テクセル、ドット）に関連づけて記憶できる情報であり、例えば色情報以外のプラスアルファの情報である。α値は、マスク情報、半透明度（透明度、不透明度と等価）、バンプ情報などとして使用できる。

なお、画像生成部１３０は、他の端末（第２の端末）とネットワークを介してデータを送受信するマルチプレーヤオンラインゲームを行う場合は、端末（第１の端末）の操作対象のオブジェクトの移動に追従する仮想カメラ（端末（第１の端末）で制御される仮想カメラ）から見える画像を生成する処理を行う。つまり、各端末が独立した描画処理を行う。

音処理部１４０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。

なお、本実施形態の端末は、１人のプレーヤのみがプレイできるシングルプレーヤモード、あるいは、複数のプレーヤがプレイできるマルチプレーヤモードでゲームプレイできるように制御してもよい。例えば、マルチプレーヤモードで制御する場合には、ネットワークを介して他の端末とデータを送受信してゲーム処理を行うようにしてもよいし、１つの端末が、複数の入力部からの入力情報に基づいて処理を行うようにしてもよい。

２．本実施の形態の手法
２−１．概要
本実施形態では、端末１０の撮像部１５０によって撮像された撮像画像と仮想空間の仮想画像を合成して拡張現実画像を生成して端末１０の表示部１９０に表示する。例えば、端末１０は、図２（Ａ）（Ｂ）に示すようなゲーム装置でもよいし、図３（Ａ）（Ｂ）に示すような携帯端末（スマートフォン）でもよい。図２（Ａ）（Ｂ）図３（Ａ）（Ｂ）に示すように撮影部１５０は、端末１０の背面（端末に対してプレーヤと反対側）に設けられていてもよい。

２−２．ゲームへの適用例
本実施の形態について金魚すくいゲームを例に取り説明する。

図１５は、金魚すくいゲームについて説明するための図である。

ゲームが開始されたら、端末１０の撮像部（端末の背面に設けられている）からリアルタイムで撮像画像を取り込み上画面（表示部１９０）に表示する。表示する画像は半透明やゆがみのエフェクトを追加した画像（水中であるかのような画像）でもよい。下画面には掬った魚オブジェクトを入れるボウルが表示されてもよい。

所定のタイミングで上画面の水中（仮想空間の一例）４００に魚オブジェクト４１０を放ち、所定のアルゴリズムで魚オブジェクト４１０を移動・動作させる。端末はジャイロセンサを内蔵しており、ジャイロセンサにより撮像部の動きを検出できるので、ジャイロセンサの検出結果に基づき、仮想カメラを撮像部と連動して動かし、水中（仮想空間の一例）の仮想画像を生成する。そして前記撮像画像と前記仮想画像とを合成して拡張現実画像を生成して表示部に表示する。

プレーヤは、端末で魚オブジェクトを掬う動きをすることで、「金魚を掬う」というゲーム上の入力を行うことができる。端末に内蔵されたジャイロセンサや加速度センサ等の出力値に基づき「金魚を掬う」というゲーム上の入力が行われたか否かを判断する。例えば、掬い操作における開始の検出と終わりのタイミングの検出を、加速度センサの動作の開始/停止検出によって行ってもよい。「金魚を掬う」というゲーム上の入力が行われた時に、前記オブジェクト（ここでは魚オブジェクト）と仮想カメラの位置関係に基づいて、前記ゲーム上の入力の評価を行ってもよい。例えばゲーム上の入力が行われた時に、拡張現実画像の中央エリア（例えば上画面中央を中心とした所定の範囲内）に魚オブジェクトがいた場合には、ゲーム上の入力により、その魚オブジェクトが掬われたと評価してもよい。ゲーム上の入力が行われた時に、拡張現実画像の中央エリアに魚オブジェクトが1匹もいない場合は何もすくうことはできない。

２−３．拡張現実画像
図４は、端末１０の撮像部が撮影した撮像画像が表示部に表示されている様子を示した図である。撮像部は端末１０の背面に設けられているので、端末１０の表示部１９０には、端末の背後の景色（ここでは家具や観葉植物が置かれた部屋の景色）３１０の画像が表示されている。

図５は拡張現実画像について説明するための図である。

本実施の形態では、端末の撮像部が撮影した撮像画像３２０と、仮想空間において仮想カメラから見える仮想画像３３０を合成して拡張現実画像３４０を生成する。

本実施の形態では、撮像画像について所定の画像パターン（顔画像や手や足等の部位画像やマーク画像）を認識する処理を行い、所定の画像パターンに対応づけて仮想空間に制御点を設定し、前記制御点に基づいて、仮想空間におけるオブジェクトの移動制御及び向き制御の少なくとも一方を行う。このようにすることにより、仮想空間４００内のオブジェクト４１０の移動や向きが、撮像画像３２０によって影響を受ける拡張現実画像を生成することができる。

例えば所定の画像パターンとして顔や手や足等の身体の一部や身体そのもの、又は特定のマークや文字や特定の形状の物体や特定の色の物体等を認識してもよい。

端末の周囲に所定の画像パターンとして認識されるもの（例えば顔や手等）があり、それらが端末の撮像部に撮像されると、その画像パターン等の位置に基づき制御点が設定される。そして仮想空間内のオブジェクトを、制御点に向けて移動させたり、制御点から離れるほうに移動したりさせてもよい。また仮想空間内の制御点のほうにオブジェクトの向きを変化させてもよいし、制御点と反対のほうにオブジェクトの向きを変化させてもよい。

この様にすると、現実の撮像画像に応じて仮想空間内のオブジェクトの移動方向や向きを変化させることができる。従って、仮想的なオブジェクトが端末の周りの人や物やマークに近づく拡張現実画像、又は仮想的なオブジェクトが端末の周りの人や物やマークから離れる拡張現実画像、又は仮想的なオブジェクトの向きが端末の周りの人や物やマークのほうに変化する拡張現実画像、又は仮想的なオブジェクトの向きが端末の周りの人や物やマークのほうと反対側に変化する拡張現実画像等を生成することができる。

また例えば仮想カメラの向き及び位置の少なくとも一方を撮像部の向き及び位置の少なくとも一方に連動させるようにしてもよい。この様にすると、仮想空間の中を撮像部で撮像しているような感覚をプレーヤに与えることができる。

図６は本実施の形態の仮想空間に設定された水槽空間４６０を示した図であり、図７は本実施の形態の仮想空間に設定された水槽空間４６０のｘｚ平面図である。

金魚すくいゲームでは、仮想空間は水槽をイメージしており、仮想空間の原点Ｏに位置する仮想プレーヤＰを多層構造の水槽空間４６０が取り囲んでいる。水槽空間４６０は、仮想プレーヤＰから半径ｄ１の円のエリア４７２を底面とする第１の空間４６２、仮想プレーヤＰから半径ｄ１の円と半径ｄ２の円に囲まれたドーナツ状のエリア４７４を底面とする第２の空間４６４、仮想プレーヤＰから半径ｄ２の円と半径ｄ３の円に囲まれたドーナツ状のエリア４７６を底面とする第３の空間４６６、仮想プレーヤＰから半径ｄ３の円と半径ｄ４の円に囲まれたドーナツ状のエリア４７８を底面とする第４の空間４６８の多層構造となっている。

第１の空間（例えば仮想プレーヤＰから１ｍ以内）には何も表示せず、第２の空間（例えば仮想プレーヤＰから１ｍ〜２ｍ）を近距離空間、第３の空間（例えば仮想プレーヤＰから２ｍ〜３ｍ）を中距離空間、第４の空間（例えば仮想プレーヤＰから３ｍ〜４ｍ）を遠距離空間として扱う。

近距離空間では魚オブジェクト、水草、泡の表示は通常通り行い、中距離空間では各モデルの青い半透明の表示を重ねて水中の遠近法の表現を行い、遠距離空間では完全にシルエットのみの表示としさらにぼかしの表現を加えて、何のモデルかをはっきり分からなくするようにしてもよい。水槽空間４６０には魚オブジェクト以外のオブジェクトを配置してもよい。

本実施の形態で移動及び向きの制御対象となるのは移動体オブジェクトである魚オブジェクトである。魚オブジェクトは、ゲームのミッションごとに設定されている金魚の登場数と登場確率に従って登場するようにしてもよい。なお時刻に応じて登場させる金魚の種類を変化させるようにしてもよい。魚オブジェクトの移動パターンは魚オブジェクトの種類によって異なる設定でもよい。

２−４．画像認識による制御点の設定手法
図８〜図１１を用いて、撮像画像に対して顔認識（所定の画像パターンが顔の画像パターンである場合）を行い、撮像画像の顔認識結果に基づき決定される２次元座標値と所定の奥行き値とに基づいて仮想空間に制御点を設定する手法について説明する。

図８は、端末１０の撮像部１５０の撮像範囲内に人３１２がいる様子を示した図である。図９は、端末を持つプレーヤと人３１２の位置関係（Ｘ軸方向から見た位置関係）を示した図である。図８、図９に示すように端末１０の背後に人３１２がいる場合には、端末１０の表示部１９０には、人３１２をふくむ端末１０の背景３１０の撮像画像と魚オブジェクトが泳ぐ水槽空間の仮想画像とを合成した拡張現実画像が表示される。

図１０は、撮像画像の顔認識結果に基づき決定される２次元座標値について説明するための図である。

撮像画像３２０について顔認識を行うことにより、撮像画像における右眼Ｅ１、左眼Ｅ２、鼻Ｎ、口Ｍを検出する。ここで右眼Ｅ１の撮像画像における位置座標を（ｘ１、ｙ１）、左眼Ｅ２の撮像画像における位置座標を（ｘ２、ｙ２）、顔の代表点Ｆの位置座標（２次元座標値）を（ｘｆ、ｙｆ）とすると、ｘｆ＝（ｘ１＋ｘ２）／２、ｙｆ＝（ｙ１＋ｙ２）／２としてもよい。ここで仮想空間における制御点Ｐの位置座標を（ｘｐ、ｙｐ、ｚｐ）とすると、ｘｐ＝ｘｆ、ｙｐ＝ｙｆとなる。このようにして仮想空間における制御点Ｐのｘ座標とｙ座標を決定する。

図１１は、仮想空間に制御点を設定する様子を示した図である。制御点Ｐのｚ座標ｚｐを所定の奥行き値ｋに基づいて設定する。所定の奥行き値は中距離空間（例えば仮想プレーヤＰから２ｍ〜３ｍ）に属する値ｋでもよく、ｚｐ＝ｋとなる。この様にして仮想空間内に制御点Ｐ（ｘｐ、ｙｐ、ｚｐ）（ｘｐ＝ｘｆ、ｙｐ＝ｙｆ、ｚｐ＝ｋ）を設定することができる。

図１２（Ａ）（Ｂ）（Ｃ）は、制御点に基づく、オブジェクトの移動制御について説明するための図である。図１２（Ａ）は仮想空間のｘｚ平面図であり、図１２（Ｂ）は仮想空間のｘｙ平面図であり、図１２（Ｃ）は仮想空間のｙｚ平面図である。

撮像画像に顔が認識されない間は、魚オブジェクト４１０−１〜４１０−４に対して制御点Ｐとは無関係な移動制御を行い、顔が認識された場合には、魚オブジェクト４１０−１〜４１０−４を制御点のほうに移動させる移動制御（前記制御点を用いた移動制御の一例）を行うようにしてもよい。

撮像画像に顔が認識されてから所定時間は、魚オブジェクト４１０−１〜４１０−４を制御点Ｐのほうに移動させる移動制御（前記制御点を用いた移動制御の一例）を行い、所定時間経過後は、魚オブジェクト４１０−１〜４１０−４に対して制御点Ｐとは無関係な移動制御を行うようにしてもよい。

また制御点Ｐを中心として半径ｌの球Ｒ（制御範囲の一例）を設定し、魚オブジェクト４１０−１〜４１０−４が球Ｒ（制御範囲の一例）外に位置するように魚オブジェクト４１０−１〜４１０−４の位置を制御してもよい。

例えば制御点Ｐに向かって魚オブジェクト４１０−１〜４１０−４を移動させる移動制御を行うが、球Ｒ（制御範囲の一例）内には入れないように魚オブジェクト４１０−１〜４１０−４の位置を制御してもよい。この様にすると魚オブジェクト４１０−１〜４１０−４が人の顔に当たらないように移動する拡張現実画像を生成することができる。

上記実施例では制御範囲が球状に設定された場合を例に取り説明したがこれに限られない。制御範囲は円筒形でもよいし直方体でもよいし、その他の形状でもよい。

図１３は、撮像画像に顔が認識された場合の拡張現実画像について説明するための図である。

端末の撮像部が撮影した撮像画像３２０に人３１２が入っている場合には、人３１２の顔が認識される。そして仮想空間に制御点Ｐと制御範囲Ｒが設定され、仮想空間内の魚オブジェクトが制御範囲Ｒの周りに移動してくる仮想画像３３０が生成される。そして人３１２の顔が入っている撮像画像３２０と魚オブジェクトが泳ぐ水槽空間の仮想画像３３０を合成して拡張現実画像３４０（人３１２の顔の周りに魚オブジェクトが近づいてくる拡張現実画像）を生成する。

制御点Ｐや制御範囲Ｒの設定はフレーム毎に行われるようにしてもよい。例えば人３１２が移動したり、端末１０が移動したり、撮像部１５０の向きが変わったりすることにより制御点Ｐや制御範囲Ｒが変化してもよい。フレーム毎に設定される制御点Ｐに基づき、フレーム毎に魚オブジェクト４１０の移動方向を求める用にしてもよい。又はフレーム毎に設定された制御点Ｐを魚オブジェクト４１０の目標移動位置として、魚オブジェクト４１０を目標移動位置に向かって移動させる制御を行ってもよい。

また例えば人３１２が移動したり、端末１０が移動したり、撮像部１５０の向きが変わったりすることにより撮像画像３２０に人の顔が入っていない状態になった場合には、制御点Ｐや制御範囲Ｒの設定を解除して、魚オブジェクト４１０を制御点Ｐとは無関係な通常の移動パターンで移動させてもよい。また人３１２の顔が認識されている状態が所定時間継続すると、前記制御点を用いたオブジェクトの移動及び動作の制御を中止し、魚オブジェクト４１０を制御点Ｐとは無関係通常の移動パターンで移動させてもよい。

また顔認識で顔を認識した場合、図１６に示すように顔付近にエフェクト画像４９０を表示してもよい。また撮像画像に顔が複数ある場合は魚オブジェクトは最寄りの顔に向かって移動するようにしてもよい。顔部分に到達した魚オブジェクトは、えさをついばむように、顔部分をつつく動作を行うようにしてもよい。顔が画面内を移動した場合は、魚オブジェクトは顔に追従して移動するようにしてもよい。

２−５．マルチプレーヤゲームにおける仮想空間の設定
本実施の形態の金魚すくいゲームは、一人プレイモード（シングルプレーゲーム）にも適用可能であるし、複数プレーヤによる通信対戦モード（マルチプレーゲーム）にも適用可能である。一人プレイモードの場合には、図６に示すように仮想空間の原点（基準点の一例）に端末が位置すると仮定して、図１１に示すように当該基準点に基づき前記制御点を設定してもよい。一人プレイモード（シングルプレーゲーム）の場合には、プレーヤの端末が仮想空間の基準点（例えば原点）にあると考えて仮想空間を設定することができる。

また複数プレーヤによる通信対戦モード（マルチプレーゲーム）の場合には、各プレーヤの端末が内蔵する位置検出機能（例えばグローバル・ポジショニング・システムＧＰＳ（Global Positioning System )）を利用して各端末の現在位置を検出し各端末の現在位置に基づき、仮想空間の基準点を設定してもよい。

図１７（Ａ）（Ｂ）は、各端末の現在位置に基づき仮想空間の基準点を設定する手法について説明するための図である。

図１７（Ａ）は、二人のプレーヤで通信対戦を行う場合の基準点の設定手法について説明するための図である。Ｐ１とＰ２は第１のプレーヤと第２のプレーヤの端末の実世界における現在位置の相対的な位置関係に対応して配置された点である。この様な場合、Ｐ１とＰ２の中点Ｍを仮想空間の原点（基準点の一例）としてもよい。

図１７（Ｂ）は、三人のプレーヤで通信対戦を行う場合の基準点の設定手法について説明するための図である。Ｐ１、Ｐ２、Ｐ３は第１のプレーヤ、第２のプレーヤ、第３のプレーヤの端末の実世界における現在位置の相対的な位置関係に対応して配置された点である。この様な場合、例えばＰ１とＰ２の中点Ｍ１とＰ３を結ぶ線分を１：２で按分する点Ｍ２（Ｐ１、Ｐ２、Ｐ３頂点とする三角形の重心）を仮想空間の原点（基準点の一例）としてもよい。

この様にすると、複数のプレーヤの現実世界における現在位置に基づき仮想空間の基準点（例えば原点）を設定することができる。

３．本実施の形態の処理
図１４は本実施の形態の、拡張現実画像生成処理の流れを示すフローチャート図である。以下の処理をフレーム毎に行い、仮想空間の移動体オブジェクトの位置を制御してもよい。

撮像画像を取得し、顔認識を行う（ステップＳ１０）。

撮像画像に顔を認識しなかった場合には（ステップＳ２０でＮ）、顔認識継続時間ｔをリセットし（ステップＳ４０）、予め決められた移動情報に基づいて、移動体オブジェクトを制御する（ステップＳ１００）。

撮像画像に顔を認識した場合には（ステップＳ２０でＹ）、顔認識継続時間ｔをカウントアップする（ステップＳ３０）。

顔認識継続時間ｔが制限時間以下でない場合（ステップＳ５０でＮ）、予め決められた移動情報に基づいて、移動体オブジェクトを制御する（ステップＳ１００）。顔認識継続時間ｔが制限時間以下である場合（ステップＳ５０でＹ）、顔認識により得られた左眼、右眼の中間の位置座標（ｘｐ、ｙｐ）と、所定の奥行き値ｚｐに基づいて制御点を仮想空間に設定する（ステップＳ６０）。次に制御点Ｐを中心とする制御範囲を設定する（ステップＳ７０）。そして移動体オブジェクトを制御点Ｐに向かって移動させる（ステップＳ８０）。移動体オブジェクトが制御範囲外に位置するように移動体オブジェクトの位置を補正する（ステップＳ９０）。

次に撮像部の動きに基づき仮想カメラの位置、向きを設定し（ステップＳ１１０）、仮想空間を仮想カメラから見た仮想画像を設定する（ステップＳ１２０）。そして撮像画像と仮想画像を合成して拡張現実画像を生成する（ステップＳ１３０）。

４．ネットワークシステム
４−１． オンラインゲームの処理例１
本実施形態では、複数の端末１０とネットワークを介して相互にデータの送受信を行い、対戦ゲームを実現可能としてもよい。つまり、本実施形態では、ピア・ツー・ピア方式のオンラインゲームに適用してもよい。
図１８及び図１９は、本実施形態のネットワークシステムの構成を示す図である。例えば、本実施形態のネットワークシステムでは、複数の端末１０Ａ〜１０Ｃの間で無線通信を行って、各端末１０Ａ〜１０Ｃの所有者が対戦プレイや協力プレイを行うことができる。なお、本実施形態のネットワークシステムでは、複数の端末１０Ａ〜１０Ｃの間で有線通信を行ってもよい。

無線通信の態様としては、図１８に示すように、各端末１０Ａ〜１０Ｃが自律分散的にネットワークを構築し、直接的にゲーム情報等を含むパケットの送受信を行うアドホックモードと、図１９に示すように、端末１０ＡがアクセスポイントＡＣＳＰ１を介し、端末１０Ｂ、１０ＣがアクセスポイントＡＣＳＰ２を介して、間接的にゲーム情報等を含むパケットの送受信を行うインフラストラクチャモードとがある。インフラストラクチャモードでは、アクセスポイントＡＣＳＰ１又はＡＳＣＰ２を介してインターネットＩｎｅｔ（公衆通信網）にアクセスすることができる。そして、各端末１０Ａ〜１０Ｃは、インターネットＩｎｅｔに接続されたサーバ２０との間でゲーム情報あるいはファームウェアのアップデート情報等を含むパケットを、アクセスポイントＡＣＳＰ１又はＡＣＳＰ２を介して送受信することができる。

本実施形態のネットワークシステムは、端末１０Ａのキャラクタが、他の端末１０Ｂのキャラクタと対戦するゲーム処理を行うようにしてもよい。また、本実施形態のネットワークシステムは、複数の端末１０Ａ、１０Ｂそれぞれの操作対象のキャラクタによって構成される第１のグループと、複数の端末１０Ｃ、１０Ｄそれぞれの操作対象のキャラクタによって構成される第２のグループとが対戦を行うゲーム処理を行うようにしてもよい。

また、本実施形態では、各端末が相互にネットワークを介して移動情報等のデータに基づいて、端末のオブジェクト空間に配置される他のキャラクタ（他の端末を操作するプレーヤの操作対象のキャラクタ）を移動・動作させる。つまり、各端末１０は、ネットワークを介して、キャラクタの位置制御、移動制御などを含むデータ、アナログレバー、ボタンの入力情報、加速度値などのデータを送受信する。

例えば、描画のフレームレートで（例えば、１／６０秒毎）、端末１０Ａが、端末１０Ａの操作対象のキャラクタの位置を端末１０Ｂに送信する。一方、端末１０Ｂにおいても、端末１０Ａと同じように、描画のフレームレートで端末１０Ｂの操作対象のキャラクタの位置を端末１０Ａに送信する。

また、各端末は、各端末のオブジェクト空間における仮想カメラから見える画像を、ゲーム画像として生成する処理を行う。従って、端末毎に、その端末が操作するキャラクタの挙動に応じた画像が生成される。

４−２． オンラインゲームの処理例２
また、本実施形態では、クライアント・サーバ方式のオンラインゲームに適用してもよい。つまり、サーバ２０が、端末１０で行う一部の処理（例えば、処理部１００の少なくとも１つの処理）を行うようにしてもよい。図２０に示すように、サーバ２０が、ネットワーク（例えば、インターネット）を介して複数の端末１０Ａ〜１０Ｃと接続され、サーバ２０が、端末１０から入力情報を受信する。そして、サーバ２０が、受信した第１、第２、第３の入力情報に基づいて画像を生成し、生成した画像を端末１０に送信してもよい。

例えば、サーバ２０は、ソーシャル・ネットワーキング・サービス（以下、「ＳＮＳ」という。）と呼ばれる、コミュニティ型のサービスをユーザに提供するサーバとして機能してもよい。

また、サーバ２０は、Ｗｅｂサーバ機能を備えていてもよい。例えば、端末１０がＷｅｂページ（ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式のデータ）を閲覧可能なウェブブラウザを備えていている場合には、サーバ２０は端末１０にブラウザゲームを提供してもよい。例えば、サーバ２０は、端末１０に対して、Ｗｅｂページ（例えば、ゲームサービスを提供するためのアドレス（ＵＲＬ：Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を公開する。そして、サーバ２０が、端末１０から当該Ｗｅｂページのアドレスへの要求を受信した場合には、当該端末１０に対して当該Ｗｅｂページのゲームデータを送信し、端末１０から受信した入力情報に基づいてゲーム処理を行うようにしてもよい。なお、ゲームデータは、ブラウザゲーム処理で用いる各種パラメータのほか、画像データ（入れ替え画面用の画像データや、キャラクタＣＨ、敵キャラクタＥを含む画像データ、ゲーム結果画像等）、音声データ等を含む。

図２１は、サーバ２０の機能ブロック図の例を示す。なお本実施形態のサーバ２０は図２１の構成要素（各部）の一部を省略した構成としてもよい。

記憶部２７０は、処理部２００や通信部２９６などのワーク領域となるもので、その機能はＲＡＭ（ＶＲＡＭ）などにより実現できる。オブジェクトデータ記憶部２７３には、オブジェクトに関する各種データが記憶されている。

情報記憶媒体２８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、あるいはメモリ（ＲＯＭ）などにより実現できる。処理部２００は、情報記憶媒体２８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。情報記憶媒体２８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）を記憶することができる。

通信部２９６は外部（例えば端末１０、他のサーバ）との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。

なお、他のサーバが有する情報記憶媒体や記憶部に記憶されている本実施形態の各部としてコンピュータを機能させるためのプログラムやデータを、ネットワークを介して受信し、受信したプログラムやデータを情報記憶媒体２８０や記憶部２７０に記憶してもよい。このようにプログラムやデータを受信してサーバ２０を機能させる場合も本発明の範囲内に含む。

処理部２００（プロセッサ）は、受信したデータやプログラムなどに基づいて、ゲーム処理、画像生成処理、音処理などの処理を行う。

この処理部２００は記憶部２７０内の主記憶部２７１をワーク領域として各種処理を行う。処理部２００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。

処理部２００は、情報取得部２１０、画像認識処理部２１１、制御点設定部２１２、オブジェクト制御部２１３、ゲーム処理部２１８，表示制御部２１９，仮想カメラ制御部２２０、通信制御部２２１、画像生成部２３０、音処理部２４０を含む。なお、これらの一部を省略する構成としてもよい。

情報取得部２１０は、端末から撮像画像情報やプレーヤの入力情報や端末の入力部からの入力情報（加速度値）を取得する処理を行う。

画像認識処理部２１１は、撮像部２５０によって撮像された撮像画像について所定の画像パターンを認識する処理を行い、制御点設定部２１２は、所定の画像パターンの認識結果に基づいて、オブジェクトが配置される仮想空間に制御点を設定し、オブジェクト制御部１１３は、所定の画像パターンが認識された場合には、前記制御点に基づいて、仮想空間におけるオブジェクトの移動及び動作の少なくとも一方を制御し、画像生成部１３０は、前記仮想空間において、仮想カメラから見える仮想画像を生成し、前記撮像画像と前記仮想画像とを合成して拡張現実画像を生成する処理を行う。所定の画像パターンは顔の画像パターンでもよい。

仮想カメラ制御部２２０は、前記仮想カメラの動きを撮像部の動きに連動させてもよい。オブジェクト制御部２１３は、所定の画像パターンが認識された場合には、前記制御点に向かって前記オブジェクトを移動させる移動制御を行ってもよい。またオブジェクト制御部２１３は、制御点に基づき制御範囲を設定する処理を行い、前記オブジェクトが前記制御範囲外に位置するように前記オブジェクトの位置を制御してもよい。

制御点設定部２１２は、所定の画像パターンの認識結果に基づき決定される２次元座標値と所定の奥行き値とに基づいて制御点を設定してもよい。

オブジェクト制御部２１３は、所定の画像パターンが認識されない場合には、前記制御点を用いたオブジェクトの移動及び動作の制御を行わないようにしてもよい。

オブジェクト制御部２１３は、所定の画像パターンが認識されている状態が所定時間継続すると、前記制御点を用いたオブジェクトの移動及び動作の制御を中止してもよい。

評価部２１８ｂは、ゲーム上の入力が行われた時に、前記オブジェクトと仮想カメラの位置関係に基づいて、前記ゲーム上の入力の評価を行ってもよい。

オブジェクト制御部２１３は、所定の画像パターンが認識された場合には、前記制御点の方角又は制御点と所定の角度をなす方角へ前記オブジェクトの向き変化させてもよい。

オブジェクト制御部２１３は、所定の画像パターンが認識された場合には、移動している前記オブジェクトを静止させてもよい。

オブジェクト制御部２１３は、仮想空間の基準点に端末が位置すると仮定して、前記制御点の座標及びオブジェクトの座標を基準点に対する相対位置で与えてもよい。

オブジェクト制御部２１３は、位置検出部が検出した複数の端末の現在位置に基づき、複数の端末の代表点を演算し、複数の端末の代表点が仮想空間の基準点が位置すると仮定して、前記制御点の座標及びオブジェクトの座標を基準点に対する相対位置で与えてもよい。

オブジェクト空間設定部２１１は、オブジェクト（キャラクタなど）をオブジェクト空間（仮想的３次元空間）に配置する処理を行う。例えば、オブジェクト空間設定部２１１は、端末１０のオブジェクト空間設定部１１１と同様の処理を行う。

オブジェクト制御部２１２は、オブジェクトの位置制御、移動制御、攻撃制御、防御制御等を行う。例えば、オブジェクト制御部２１２は、端末１０のオブジェクト制御部１１２と同様の処理を行う。

ゲーム処理部２１８は、端末１０のゲーム処理部１１８と同様な処理を行う。
また、特にサーバ２０のゲーム処理部２１８は、端末１０にブラウザゲームを提供するための処理を行うようにしてもよい。例えば、ゲーム処理部２１８は、端末１０からゲームサービスを提供するＷｅｂページのアドレスへの要求を受信した場合には、当該端末１０に対して当該Ｗｅｂページのゲームデータを送信し、端末１０から受信した入力情報に基づいてゲーム処理を行うようにしてもよい。

仮想カメラ制御部２２０は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点）の制御処理を行う。例えば、仮想カメラ制御部２２０は、端末１０の行動決定部１２０と同様の処理を行う。
通信制御部２２１は、端末１０とネットワークを介して相互にデータを送受信する処理を行うようにしてもよい。

なお、本実施形態のサーバ２０は、通信制御で必要となるネットワーク情報を端末１０に送信してもよい。なお、例えば、サーバ２０は、各端末に個別に付与される端末の識別情報と、端末の識別情報に対応づけられたパケットの送信先を指定する宛先情報を管理する。

サーバ２０の通信制御部２２１は、端末１０に送信するパケットを生成する処理、パケット送信先の端末のＩＰアドレスやポート番号を指定する処理、受信したパケットに含まれるデータを記憶部２７０に保存する処理、受信したパケットを解析する処理、その他のパケットの送受信に関する制御処理等を行う。

また、本実施形態の通信制御部２２１は、端末と接続が確立されてから接続が切断されるまで、データを所定周期（例えば、１秒周期で）互いに送受信する処理を行う。ここで、端末１０から送信されるデータは、端末１０の入力部１６０からの入力情報としてもよいし、各端末１０の操作対象のオブジェクト（キャラクタ、移動体）の位置情報、移動情報としてもよい。

また、本実施形態の通信制御部２２１は、端末１０から送信されたパケットを受信すると、受信したパケットを解析し、パケットに含まれる他の端末の操作対象のオブジェクトの位置情報などのデータを主記憶部２７１に記憶する処理を行う。

特に、本実施形態の通信制御部２２１は、プレーヤの入力情報を受信する処理を行う。
また、通信制御部２２１は、端末１０から、端末１０の入力部からの入力情報（加速度値）を受信する処理を行うようにしてもよい。

また、通信制御部２２１は、端末１０に各種ゲームデータを送信する。なお、通信制御部２２１は、ゲーム端末１０の表示部１９０に表示させるための種々の画像（例えば拡張現実画像）を送信してもよい。

画像生成部２３０は、処理部２００で行われる種々の処理の結果に基づいて描画処理を行い、これにより画像を生成する。画像生成部２３０の処理は、端末１０の画像生成部１３０と同様な処理を行う。

また本発明は、個人用または業務用等の種々のゲームシステムに適用できる。また、本実施形態では、優劣判定ゲーム、対戦ゲーム、ロールプレイングゲーム、アクションゲーム等に限らず、種々のゲームに応用してもよい。例えば、これらの種々のゲームを提供するサーバで行うようにしてもよい。

なお、本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。例えば、明細書又は図面中の記載において広義や同義な用語として引用された用語は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。

本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。なお、本実施形態で説明した実施例は、自由に組み合わせることができる。

１００ 処理部、１１０ 情報取得部、１１１ 画像認識処理部、
１１２ 制御点設定部、１１３ オブジェクト制御部、
１１８ ゲーム処理部、１１８ａ 判定部、１１８ｂ 評価部
１１９ 表示制御部、１２０ 仮想カメラ制御部、１２１ 通信制御部、
１３０ 画像生成部、１４０ 音処理部、１６０ 入力部、１６２ 検出部、
１７０ 記憶部、１７１ 主記憶部、１７２ 画像バッファ、
１７３ オブジェクトデータ記憶部、
２００ 処理部、２１０ 情報取得部、２１１ 画像認識処理部、
２１２ 制御点設定部、２１３ オブジェクト制御部、
２１８ ゲーム処理部、２１８ａ 判定部、２１８ｂ 評価部
２１９ 表示制御部、２２０ 仮想カメラ制御部、２２１ 通信制御部、
２３０ 画像生成部、２４０ 音処理部

Claims (16)

1. 撮像部を有する端末の表示部に表示する拡張現実画像を生成するプログラムであって、
   前記撮像部によって撮像された撮像画像について所定の画像パターンを認識する処理を行う画像認識処理部と、
   所定の画像パターンの認識結果に基づいて、オブジェクトが配置される仮想空間に制御点を設定する制御点設定部と、
   所定の画像パターンが認識された場合には、前記制御点に基づいて、仮想空間におけるオブジェクトの移動及び動作の少なくとも一方を制御するオブジェクト制御部と、
   前記仮想空間において、仮想カメラから見える仮想画像を生成し、前記撮像画像と前記仮想画像とを合成して拡張現実画像を生成する処理を行う画像生成部として、コンピュータを機能させるプログラム。
2. 請求項１において、
   前記仮想カメラの動きを撮像部の動きに連動させる仮想カメラ制御部と、してさらにコンピュータを機能させるプログラム。
3. 請求項１又は２において、
   前記オブジェクト制御部は、
   前記所定の画像パターンが認識された場合には、前記制御点に向かって前記オブジェクトを移動させる移動制御を行うプログラム。
4. 請求項１乃至３のいずれかにおいて、
   前記オブジェクト制御部は、
   前記制御点に基づき制御範囲を設定する処理を行い、前記オブジェクトが前記制御範囲外に位置するように前記オブジェクトの位置を制御するプログラム。
5. 請求項１乃至４のいずれかにおいて、
   前記制御点設定部は、
   所定の画像パターンの認識結果に基づき決定される２次元座標値と所定の奥行き値とに基づいて前記制御点を設定するプログラム。
6. 請求項１乃至５のいずれかにおいて、
   前記オブジェクト制御部は、
   前記所定の画像パターンが認識されない場合には、前記制御点を用いたオブジェクトの移動及び動作の制御を行わないプログラム。
7. 請求項１乃至６のいずれかにおいて、
   前記オブジェクト制御部は、
   前記所定の画像パターンが認識されている状態が所定時間継続すると、前記制御点を用いたオブジェクトの移動及び動作の制御を中止するプログラム。
8. 請求項１乃至７のいずれかにおいて、
   ゲーム上の入力が行われた時に、前記オブジェクトと仮想カメラの位置関係に基づいて、前記ゲーム上の入力の評価を行う評価部として、コンピュータを機能させるプログラム。
9. 請求項１乃至８のいずれかにおいて、
   前記オブジェクト制御部は、
   前記所定の画像パターンが認識された場合には、前記制御点の方角又は制御点と所定の角度をなす方角へ前記オブジェクトの向き変化させるプログラム。
10. 請求項１乃至９のいずれかにおいて、
    前記オブジェクト制御部は、
    前記所定の画像パターンが認識された場合には、移動している前記オブジェクトを静止させるプログラム。
11. 請求項１乃至１０のいずれかにおいて、
    前記所定の画像パターンは顔の画像パターンであることを特徴とするプログラム。
12. 請求項１乃至１１のいずれかにおいて、
    前記オブジェクト制御部は、
    仮想空間の基準点に端末が位置すると仮定して、前記制御点の座標及びオブジェクトの座標を基準点に対する相対位置で与えるプログラム。
13. 請求項１乃至１２のいずれかにおいて、
    前記オブジェクト制御部は、
    位置検出部が検出した複数の端末の現在位置に基づき、複数の端末の代表点を演算し、複数の端末の代表点が仮想空間の基準点が位置すると仮定して、前記制御点の座標及びオブジェクトの座標を基準点に対する相対位置で与えるプログラム。
14. コンピュータ読み取り可能な情報記憶媒体であって、請求項１〜１３のいずれかのプログラムを記憶したことを特徴とする情報記憶媒体。
15. 撮像部を有する端末であって、
    前記撮像部によって撮像された撮像画像について所定の画像パターンを認識する処理を行う画像認識処理部と、
    所定の画像パターンの認識結果に基づいて、オブジェクトが配置される仮想空間に制御点を設定する制御点設定部と、
    所定の画像パターンが認識された場合には、前記制御点に基づいて、仮想空間におけるオブジェクトの移動及び動作の少なくとも一方を制御するオブジェクト制御部と、
    前記仮想空間において、仮想カメラから見える仮想画像を生成し、前記撮像画像と前記仮想画像とを合成して拡張現実画像を生成する処理を行う画像生成部とを含む端末。
16. 撮像部を有する端末の表示部に表示する拡張現実画像を生成するサーバであって、
    ネットワークを介して端末から撮像画像情報を受信する通信制御部と、
    受信した撮像画像について所定の画像パターンを認識する処理を行う画像認識処理部と、
    所定の画像パターンの認識結果に基づいて、オブジェクトが配置される仮想空間に制御点を設定する制御点設定部と、
    所定の画像パターンが認識された場合には、前記制御点に基づいて、仮想空間におけるオブジェクトの移動及び動作の少なくとも一方を制御するオブジェクト制御部と、
    前記仮想空間において、仮想カメラから見える仮想画像を生成し、前記撮像画像と前記仮想画像とを合成して拡張現実画像を生成する処理を行う画像生成部と、を含むサーバ。