JP2006260602A - 画像処理装置 - Google Patents

Abstract

【課題】実オブジェクトと仮想オブジェクトとを関連付けて表示させる画像処理技術を提供する。
【解決手段】本発明の画像処理装置は、実オブジェクトの現実の動きに応じて、仮想オブジェクトの動作パターンを変化させる。変化検出部１１０が、撮像装置が撮像した実オブジェクトの画像の時間的な状態変化を検出し、表示制御部１２０が、画像の状態変化により発生したイベントに基づいて、動作パターン格納部１２２から動作パターンを選択して読み出す。表示制御部１２０は、読み出した動作パターンによりディスプレイ上の仮想オブジェクトを表示制御する。
【選択図】図４

Description

本発明は、画像処理技術に関し、特に実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術に関する。

近年、２次元コードをカメラで撮像して認識し、２次元コードのパターンに基づいた所定の処理を実行する技術が普及している。そのような技術の１つとして、２次元バーコードをビデオカメラで撮像して、２次元バーコードに対応する３次元画像を表示装置に表示させる画像処理技術が提案されている（例えば、特許文献１参照）。特許文献１では、撮像した２次元バーコードの座標およびＣＣＤビデオカメラの焦点距離をもとに、３次元オブジェクトを表示する空間上の座標を決定し、２次元バーコードに３次元オブジェクトを重畳させて表示する。
特開２０００−３２２６０２号公報

特許文献１に開示された技術は、実世界のオブジェクトと仮想のオブジェクトとを組み合わせて表示させることで、優れた視覚効果を実現可能とする。しかしながら、特許文献１は、２次元バーコードが静止した状態における仮想オブジェクトの表示技術を開示するのみであり、２次元バーコードを動かしたときの仮想オブジェクトの表示処理について意識するものではない。本発明者は、２次元バーコードを動かしたときの表示処理に注目し、このときの仮想オブジェクトの表示処理に工夫を凝らすことで、例えば、ゲーム分野などの動画像を処理する分野に応用して、さらに優れた視覚効果を実現する可能性が秘められていることを見出した。

本発明は、実オブジェクトと仮想オブジェクトとを関連付けて表示させる技術を提供することを目的とし、特に、動画像表示を行うゲームなどの分野において、実オブジェクトの動きに関連して仮想オブジェクトの表示態様を制御する技術を提供することを目的とする。

上記課題を解決するために、本発明のある態様の画像処理装置は、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる実オブジェクト画像の識別情報に対応付けられた仮想オブジェクトの３次元画像データを格納部から読み出す読出部と、読み出された３次元画像データを用いて、仮想オブジェクトを、実オブジェクトの表示位置に関連付けて表示装置に表示させる表示制御部と、撮像装置により撮像された実オブジェクト画像の時間的な状態変化を検出する変化検出部と、を備える。変化検出部は、撮像装置において撮像される、平面上に置かれた実オブジェクトの移動方向を監視する移動量監視部を有する。移動量監視部が時間的に前後の移動ベクトルの向きを比較し、移動ベクトルの向きが実質的に反転する状態を所定時間内に複数回検出すると、実オブジェクトが平面上における往復運動をしていることが検出され、表示制御部は、仮想オブジェクトの動作パターンを変化させるように仮想オブジェクトの表示態様を制御する。ここで、実オブジェクトは、現実空間において有体物として存在する実在オブジェクトであり、また、仮想オブジェクトは、現実空間には存在せず、仮想空間においてデータで表現されるものを意味する。

本発明の別の態様もまた、画像処理装置である。この装置は、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる実オブジェクト画像の識別情報に対応付けられた仮想オブジェクトの３次元画像データを格納部から読み出す読出部と、読み出された３次元画像データを用いて、仮想オブジェクトを、実オブジェクトの表示位置に関連付けて表示装置に表示させる表示制御部と、撮像装置により撮像された実オブジェクト画像の時間的な状態変化を検出する変化検出部と、を備える。変化検出部は、所定数の連続したフレーム画像において実オブジェクトが認識されない場合に、実オブジェクトが撮像装置により撮像されていないことを判断し、実オブジェクトが認識されないフレーム画像が連続して所定数以上続かなければ、実オブジェクトが撮像装置により撮像されていることを判断する存在確認部を有する。表示制御部は、存在確認部において実オブジェクトが撮像されていないことが判断された場合に、仮想オブジェクトを表示装置の画面から消すように仮想オブジェクトの表示態様を制御する。

本発明のさらに別の態様は、画像処理装置である。この画像処理装置 は、実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部と、撮像装置により撮像されたフレーム画像に含まれる実オブジェクト画像の識別情報に対応付けられた仮想オブジェクトの３次元画像データを格納部から読み出す読出部と、読み出された３次元画像データを用いて、仮想オブジェクトを、実オブジェクトの表示位置に関連付けて表示装置に表示させる表示制御部と、撮像装置により撮像された実オブジェクト画像の時間的な状態変化を検出する変化検出部と、実オブジェクトの姿勢を決定する姿勢決定部と、決定された姿勢から、実オブジェクトの平面に対して傾斜した方向を定める方向決定部と、を備える。表示制御部は、仮想オブジェクトとともに、仮想オブジェクトとは別の仮想オブジェクトを表示させ、方向決定部において決定された方向に、仮想オブジェクトから離れるように、別の仮想オブジェクトを移動させるように仮想オブジェクトの表示態様を制御する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、実オブジェクトの動きに関連して仮想オブジェクトの表示態様を制御する技術を提供することができる。

本発明は、撮像装置により撮像された実オブジェクトの画像の時間的な状態変化を検出し、検出した状態変化に基づいて仮想オブジェクトの表示態様を制御する技術を提供する。実オブジェクトは、実在する１次元オブジェクト、２次元オブジェクトまたは３次元オブジェクトのいずれであってもよく、実オブジェクト自身を識別させるための特徴部分を有して構成されることが好ましい。例えば、実オブジェクトは、２次元で表現されたコード情報を特徴部分として有するカードなどの２次元オブジェクトであってもよく、またユニークな立体形状を特徴部分として有する３次元オブジェクトであってもよい。なお、２次元オブジェクトの２次元形状がユニークな特徴部分を構成してもよく、また３次元オブジェクトに特徴部分となるコード情報が貼り付けられていてもよい。仮想オブジェクトは、仮想空間において３次元的に表現される人、動物、物などの所謂キャラクタであってもよい。以下に示す実施例は、ゲームアプリケーションにおける画像処理技術に関し、ゲームアプリケーションに登場するゲームキャラクタを、仮想オブジェクトして採用している。

図１は、本発明の実施例にかかるゲームシステム１の構成を示す。ゲームシステム１は、撮像装置２、画像処理装置１０および出力装置６を備える。画像処理装置１０は、画像解析装置２０およびゲーム装置３０を備える。画像解析装置２０およびゲーム装置３０は別装置として構成されてもよいが、一体として構成されてもよい。撮像装置２は、ＣＣＤ撮像素子またはＭＯＳ撮像素子などから構成されるビデオカメラである。撮像装置２は実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像領域５は撮像装置２により撮像される範囲であり、撮像装置２の高さや向きを調整することで、撮像領域５の位置や大きさが調整される。ゲームプレイヤは、撮像領域５において、実オブジェクトであるゲームカード４を指で動かす。ゲームカード４は、自身を一意に識別するための特徴部分を有して構成される。

出力装置６は、表示装置であるディスプレイ７を有する。出力装置６は、さらにスピーカ（図示せず）を有して構成されてもよい。基本的に画像処理装置１０は、撮像装置２により撮像されたフレーム画像をディスプレイ７に表示させ、その際に、ゲームカード４上に仮想オブジェクトであるキャラクタを重畳するように表示制御する。プレイヤは、ディスプレイ７を見ることで、ゲームカード４が撮像領域５に入っているか容易に確認でき、入っていない場合には、ゲームカード４の位置をずらしたり、また撮像装置２の向きを調整して、撮像装置２にゲームカード４を撮像させるようにする。

実施例のゲームアプリケーションでは、プレイヤがゲームカード４に対して所定の操作を施すことにより、キャラクタを動作させる。このゲームアプリケーションの性質上、プレイヤにゲームカード４とキャラクタとの一体性を認識させることが好ましく、そのため、キャラクタの画像を、ゲームカード４に重ね合わせて表示させている。撮像領域５内でゲームカード４をゆっくりと移動させると、キャラクタは、ゲームカード４の上に乗った状態を維持しながら、ゲームカード４の動きに追従して一緒に移動する。

以上のキャラクタの動きは、画像処理装置１０により制御される。まず、画像解析装置２０は、撮像装置２において取得されたフレーム画像から、ゲームカード４の画像情報を抽出する。さらに、画像解析装置２０は、ゲームカード４の画像情報から、ゲームカード４を識別するためのユニークな特徴部分を抽出する。このとき、画像解析装置２０は、ゲームカード４の画像情報から、ゲームカード４の空間における姿勢情報、方向情報、距離情報などを決定する。

図２は、ゲームカード４の表面の一例を示す。ゲームカード４の表面には、方向指示部１１と識別部１２とが印刷されている。方向指示部１１は、ゲームカード４の前部を示すために設けられ、識別部１２は、ゲームカード４を一意に識別するための特徴部分を表現するために設けられる。識別部１２は、所定の区画内に複数のブロックを印刷して作成されたコード情報である。複数のブロックのうち、４角のブロックは複数のゲームカード４に共通して付与され、実質的には４角以外のブロックにより、特徴部分が形成される。４角のブロックは、撮像装置２からの距離を測定するために利用される。

図１に戻って、画像解析装置２０は、フレーム画像中のゲームカード４を認識すると、ゲームカード４の画像における４角のブロック間の長さをもとに、撮像装置２とゲームカード４との距離を計算して求める。また、画像解析装置２０は、ゲームカード４の方向指示部１１を検出して、フレーム画像においてゲームカード４が向いている方向を求める。この場合、方向指示部１１が存在する方向が前方となり、キャラクタは、ゲームカード４上にて前方を向くように表示制御される。さらに、画像解析装置２０は、識別部１２の４角以外のブロックから、ゲームカード４の識別情報を取得する。

図１では、ゲームカード４が台３に単に置かれている状態を示しているが、ゲームカード４は、例えば台３に対して斜めに傾けられたり、また台３よりも上に持ち上げられたりしてもよい。画像解析装置２０は、ゲームカード４が傾斜された状態、または、台３からの高さを変化された状態を画像解析により認識する機能をもつ。画像解析装置２０において画像解析された結果は、ゲーム装置３０に送られる。なお、撮像装置２において撮像されたフレーム画像が、ゲーム装置３０に送られて、ゲーム装置３０側で画像解析を行ってもよい。この場合、画像処理装置１０は、ゲーム装置３０のみで構成されることになる。

ゲーム装置３０は、画像解析装置２０における画像解析結果をもとに、ディスプレイ７の表示画面上で、キャラクタをゲームカード４の上に位置するように表示制御する。キャラクタは、ゲームカード４に対してゲームシーンごとに適宜割り当てられてもよい。この場合、ゲームシーンが切り替わると、表示されるキャラクタも切り替わることになる。本実施例では、ゲーム装置３０が、画像解析結果をもとに、ゲームカード４の時間的な撮像状態の変化を検出し、この状態変化に基づいて、キャラクタの表示態様を制御する。

図３は、画像解析装置２０の構成を示す。画像解析装置２０は、フレーム画像取得部４０、実オブジェクト抽出部４２、状態決定部４４、識別情報取得部４６、識別情報格納部４８および送出部５０を備える。識別情報格納部４８は、実オブジェクトを識別するための特徴部分の情報と、実オブジェクトを識別するための識別情報とを対応付けて記憶する。具体的には、図２におけるゲームカード４の識別部１２のパターン情報と、識別情報とを１対１に対応付けて記憶している。識別情報は、ゲーム装置３０においてキャラクタの割当てに利用される。特に、複数のゲームカード４の存在を許可するゲームアプリケーションにおいては、ゲームカード４のそれぞれを識別情報と紐付けすることで、ゲームカード４を認識可能となる。状態決定部４４は、設定した座標系における実オブジェクトの状態を決定し、具体的には、姿勢を決定する姿勢決定部５２、方向を決定する方向決定部５４および撮像装置２からの焦点距離を決定する距離決定部５６を有する。

フレーム画像取得部４０が、撮像装置２にて撮像された実空間のフレーム画像を取得する。ここでは、図１に示すように、撮像領域５に１枚のゲームカード４が配置されている状態を想定する。撮像装置２は、周期的にフレーム画像を取得し、好適には１／６０秒間隔でフレーム画像を生成する。

実オブジェクト抽出部４２は、フレーム画像から実オブジェクト画像、すなわちゲームカード４の画像を抽出する。この処理は、画像情報を２進数のビット表現に変換し、このビット表現からゲームカード４の画像を抽出することで行われる。いわゆるドット処理であり、ビットのオンとオフを検出することで、画像抽出処理が行われてもよい。また、この処理は、既知の画像マッチング技術によって行ってもよい。その場合、実オブジェクト抽出部４２は、マッチング処理のために、使用する実オブジェクトの画像情報を、メモリ（図示せず）に予め登録しておく。予め登録した画像情報と撮像した画像情報とのマッチングをとることで、ゲームカード４の画像をフレーム画像から切り出すことができる。

姿勢決定部５２は、実オブジェクト画像の姿勢を決定する。具体的には、フレーム画像における実オブジェクト画像の中心点の座標、実オブジェクト画像の台３からの傾き、および実オブジェクト画像の台３からの高さなどを定める。そのために、状態決定部４４は、ゲームカード４を置いて動かすための台３のジオメトリ情報を予め検出しておき、さらに台３の表面を基準面として、その基準面上にゲームカード４を載せた姿勢のジオメトリ情報をゲームカード４の姿勢の初期状態として記録しておく。このジオメトリ情報は、撮像装置２を基準として生成されてもよい。状態決定部４４は、台３に関して取得したジオメトリ情報から、台３の位置、姿勢などを撮像空間における座標データとして把握しておく。姿勢決定部５２は、ゲームカード４の基準面に対するゲームカード４の傾きおよび高さを、初期状態として記録したゲームカード４の姿勢からの相対的な状態量の差分、すなわち撮像空間における座標値の差分として求める。プレイヤがゲームカード４を手で持ち上げたり、傾けたりした場合に、ゲームカード４の初期状態の姿勢に対して状態量の変化が発生し、台３に対する実オブジェクト画像の高さや傾きが変化する。

方向決定部５４は、実オブジェクト画像の方向を定める。方向決定部５４は、実オブジェクト画像の中から図２に示す方向指示部１１を検出して、実オブジェクトの向きを定めてもよい。また、方向決定部５４は、姿勢決定部５２において実オブジェクトが傾斜されていることが認識された場合に、その傾斜した方向を実オブジェクトの向きとして定めてもよい。

距離決定部５６は、ゲームカード４の画像における識別部１２の４角間の長さをもとに、撮像装置２とゲームカード４との距離を決定する。

識別情報取得部４６は、実オブジェクト画像から特徴部分を抽出して、識別情報格納部４８から対応する識別情報を取得する。図１の例では、１つのゲームカード４しか示していないが、本実施例のゲームシステム１は、複数の異なるゲームカード４にも対応することが可能である。例えば、５枚のゲームカード４の同時使用を許可する場合、それぞれのゲームカード４に対して、１から５までの識別情報がそれぞれ対応付けられていてもよい。

状態決定部４４において決定された姿勢情報、方向情報、距離情報、および識別情報取得部４６において取得された識別情報は、それぞれ関連付けされて送出部５０からゲーム装置３０に送られる。なお、複数のゲームカード４が撮像領域５に存在する場合には、それぞれのゲームカード４ごとに、姿勢情報、方向情報、距離情報、識別情報が関連付けされて送出部５０からゲーム装置３０に送られる。また、本実施例では、撮像装置２により撮像されたフレーム画像をディスプレイ７に表示させるため、フレーム画像自体も送出部５０からゲーム装置３０に送られる。

図４は、ゲーム装置３０の構成を示す。ゲーム装置３０は、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ決定部１０４、キャラクタ格納部１０６、変化検出部１１０、表示制御部１２０および動作パターン格納部１２２を備える。変化検出部１１０は、移動量監視部１１２、回転検出部１１４および存在確認部１１６を有し、撮像装置２が撮像した実オブジェクト画像の時間的な状態変化を検出する。

本実施例におけるゲーム装置３０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置３０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。図示の例では、ゲーム装置３０のＣＰＵが、解析情報取得部１００、ゲーム進行処理部１０２、キャラクタ決定部１０４、変化検出部１１０、表示制御部１２０としての機能をもつ。

解析情報取得部１００は、画像解析装置２０から、解析結果を受け取る。この解析結果は、実オブジェクトであるゲームカード４の姿勢情報、方向情報、距離情報、識別情報を含む。解析情報取得部１００は、受け取った解析結果をゲーム進行処理部１０２に渡す。なお、解析情報取得部１００は、撮像装置２からフレーム画像のデータを直接取得してもよい。この場合は、ゲーム装置３０が、画像解析装置２０における機能を有して、画像解析装置２０に関して説明した処理と同様の処理を実行すればよい。

ゲーム進行処理部１０２は、ゲームアプリケーション全体の処理を制御する。本実施例におけるゲームアプリケーションは、ゲーム進行が複数のステージから構成され、各ステージにおいて異なるゲームシーンが設定されている。プレイヤは、各ステージの終了条件をそれぞれ段階的にクリアしていき、最終ステージをクリアしたところで、ゲーム終了となる。ゲーム進行処理部１０２は、ゲームの進行状況を管理し、ゲームの開始直後やゲームステージの切替の時点において、キャラクタ決定部１０４に、次に開始されるゲームステージ名と、解析情報取得部１００から送られてきた識別情報を伝える。

キャラクタ格納部１０６は、ゲームステージごとに、ゲームカード４の識別情報とキャラクタの３次元画像データとを対応付けて記憶する。キャラクタ決定部１０４は、ゲームステージ名と識別情報をもとに、この識別情報に対応付けられたキャラクタの３次元画像データをキャラクタ格納部１０６から読み出し、ゲーム進行処理部１０２に供給する。なお、読み出した３次元画像データは、直接表示制御部１２０に供給されてもよい。ゲーム進行処理部１０２は表示制御部１２０に、３次元画像データと、ゲームカード４の姿勢情報、方向情報、距離情報を供給する。表示制御部１２０は、３次元画像データを用いて、キャラクタをゲームカード４の表示位置に関連付けてディスプレイ７に表示させる。

具体的に、表示制御部１２０は、画像解析装置２０から送られるフレーム画像を受け取り、ディスプレイ７に表示させる。また、表示制御部１２０は、ゲームカード４の姿勢情報、方向情報、距離情報をもとにゲームカード４の姿勢、向き、距離を認識し、３次元画像データを用いてディスプレイ７に表示するキャラクタの姿勢、向き、および大きさを決定する。例えば、ゲームカード４が台３に対して傾けられていれば、ゲームカード４の法線ベクトルに沿うようにキャラクタが傾けられて表示されてもよい。表示制御部１２０は、ゲームカード４に重なるのであれば、キャラクタをどの位置に配置してもよいが、通常の表示態様では、ゲームカード４の中心点の上方に位置するように、キャラクタの表示位置を定める。キャラクタは、プレイヤの操作履歴により、感情、調子などを表現した内部パラメータを有してもよい。

動作パターン格納部１２２は、通常の操作状態におけるキャラクタの動作パターンを格納している。具体的に、動作パターン格納部１２２は、動作パターンを、キャラクタ、ゲームステージ、さらには内部パラメータに対応付けて設定している。したがって、表示制御部１２０は、キャラクタ名、現在プレイしているゲームステージ、およびキャラクタの内部パラメータをもとに、動作パターン格納部１２２から動作パターンを選択し、ディスプレイ７におけるキャラクタを表示制御する。

プレイヤがゲームカード４をゆっくりと動かすと、フレーム画像の解析結果が画像解析装置２０から解析情報取得部１００に逐次送られる。以下に示すゲームカード４の状態変化に対して、ゆっくりと動かす操作や全く動かさない操作を、通常の操作状態と呼ぶことができる。表示制御部１２０は、ゲーム進行処理部１０２からキャラクタの３次元画像データと、ゲームカード４の姿勢情報、方向情報、距離情報を受け取り、ディスプレイ７におけるゲームカード４の表示位置にキャラクタの画像が重なるように、キャラクタをゲームカード４の動きに追従させる。これにより、ディスプレイ７では、キャラクタがゲームカード４に常に乗っている表示態様となり、キャラクタとゲームカード４との一体感をプレイヤに認識させることができる。以上のように、表示制御部１２０は、ゲームカード４の通常の操作状態では、キャラクタをゲームカード４に重ね合わせて表示させる。

以下では、ゲームカード４がプレイヤの操作により所定の撮像状態をとる場合、表示制御部１２０が、キャラクタをゲームカード４の動きに単純に追従させるのではなく、キャラクタの表示態様を制御して、キャラクタの動作パターンに変化をもたせる。プレイヤによるゲームカード４へのアクションを、キャラクタの動作パターンを変化させるトリガとすることで、通常のゲームコントローラなどによる操作とは違った楽しみをプレイヤに与えることができる。ゲーム進行処理部１０２は、通常の操作状態であるか否かを検出するために、ゲームカード４の姿勢情報、方向情報、距離情報を、変化検出部１１０に引き渡す。変化検出部１１０は、フレーム画像におけるゲームカード４の画像の時間的な状態変化を検出する。

移動量監視部１１２は、撮像装置２において撮像されるゲームカード４の移動量を監視する。具体的に、移動量監視部１１２は、ゲームカード４の姿勢情報に含まれる中心座標および距離情報をもとに、ゲームカード４の移動速度を測定する。移動量監視部１１２は、ゲームカード４の中心座標および距離情報をフレームごとにメモリ（図示せず）に保存し、所定数のフレームにおけるゲームカード４の距離変化および中心座標の差分から、移動ベクトルを計算する。これにより、移動速度が測定される。なお、中心座標を３次元空間の座標値としてもつ場合には、単純に中心座標値の差分をとることで、移動ベクトルを算出することできる。移動量監視部１１２は、撮像装置２において撮像されるゲームカード４の移動量を監視し、設定した仮想空間における移動量を監視してもよく、また実際の移動量を監視してもよい。

移動量監視部１１２は、ゲームカード４の移動速度が所定の基準速度を超えていることを判断すると、その判断結果をゲーム進行処理部１０２に通知する。ゲームカード４の移動速度は、撮像されたゲームカード４の仮想空間における移動速度であってもよく、またゲームカード４の実際の移動速度であってもよい。ゲーム進行処理部１０２は、その判断結果を受けると、プレイヤによりゲームカード４が素早く動かされたことを認識する。このイベントを「スライドイベント」と呼ぶと、ゲーム進行処理部１０２は、キャラクタ名およびスライドイベントの発生を表示制御部１２０に通知する。表示制御部１２０は、スライドイベントの発生通知を受けると、当該キャラクタに対して設定されているスライドイベントに対応する動作パターンを、動作パターン格納部１２２から検索する。

動作パターン格納部１２２は、既述した通常の操作状態における動作パターンだけでなく、イベントの発生時におけるキャラクタの動作パターンも格納している。動作パターン格納部１２２は、動作パターンを、キャラクタ、ゲームステージ、内部パラメータに対応付けるとともに、イベント名にも対応付けて設定している。したがって、表示制御部１２０は、キャラクタ名、現在プレイしているゲームステージ、およびキャラクタの内部パラメータ、イベント名をもとに、動作パターン格納部１２２から動作パターンを選択し、ディスプレイ７におけるキャラクタを表示制御する。

表示制御部１２０は、スライドイベントの発生を通知されると、キャラクタをゲームカード４の移動に追従させずに、その場で転ばせる動作パターンを動作パターン格納部１２２から読み出し、実行する。ゲームカード４を高速に動かすと、プレイヤは直観的に、キャラクタがその動きについていくことができずに取り残されるイメージを抱くことになるが、そのイメージを具体化する動作パターンを選択して、ディスプレイ７の画面中に表現することで、プレイヤの意識に合わせた画像処理が実現される。

図５は、スライドイベントが発生したときにディスプレイ上で表現されるキャラクタの動作を示す。図５（ａ）は、ゲームカード４にキャラクタが重ねあわされて表示されている状態を示す。この状態は、通常の操作状態に相当し、キャラクタは、内部パラメータなどに応じた動作パターンで表示制御されている。

図５（ｂ）において、画面中で、ゲームカード４がプレイヤにより左方向に動かされる。なお、ディスプレイ７上では、ゲームカード４を操作するプレイヤの指が表示されることになるが、ここでは図示を省略している。移動量監視部１１２が、ゲームカード４の移動速度が所定の基準速度を超えていることを判断すると、ゲーム進行処理部１０２がスライドイベントの発生を表示制御部１２０に通知する。表示制御部１２０は、画像解析装置２０から周期的に送られるフレーム画像をもとに、ゲームカード４をディスプレイ７において左方向に移動させる。

このとき表示制御部１２０は、図５（ｃ）に示すように、キャラクタをゲームカード４の移動に追従させずに、スライドイベントの発生を検出した時点でキャラクタを転ばせる。すなわち、表示制御部１２０は、スライドイベントが発生したときには、キャラクタがゲームカード４の表示位置に重ならないように、キャラクタの移動をその場で停止させる。これにより、ゲームカード４の表示位置とキャラクタの表示位置とが、瞬間的に離れることになる。

表示制御部１２０は、図５（ｄ）に示すように、所定のタイミングでキャラクタを起き上がらせ、キャラクタをゲームカード４の表示位置まで移動させる。このタイミングは、例えばゲームカード４の高速移動が終わった後のタイミングであってもよく、またスライドイベントの発生後、所定時間が経過した時点であってもよい。このとき、表示制御部１２０は、ゲームカード４の中心座標を移動目標点として、キャラクタの移動モーションをディスプレイ７上に再生する。図５（ａ）〜図５（ｄ）に示す一連のキャラクタの動作は、表示制御部１２０により選択された動作パターンにおいて定められている。図５（ｅ）は、キャラクタがゲームカード４の表示位置まで戻った状態を示す。本実施例のゲームアプリケーションによると、プレイヤは、ゲームカード４を動かすことによって、以上の一連の３次元キャラクタの動きを楽しむことができる。ゲームシステム１では、プレイヤがゲームカード４の操作方法を色々と試してみることで、ディスプレイ上でキャラクタに新たな動きをさせることができ、ゲームアプリケーションの興趣を高めることができる。

移動量監視部１１２は、移動速度だけでなく、撮像装置２において撮像されるゲームカード４の移動方向を監視する。具体的に、移動量監視部１１２は、ゲームカード４の中心座標をフレームごとにメモリ（図示せず）に保存し、フレーム間におけるゲームカード４の中心座標の差分から、移動ベクトルを計算する。これにより、移動ベクトルの向きを検出することができる。

移動量監視部１１２は、時間的に前後の移動ベクトルの向きを比較し、移動ベクトル間のなす角度が実質的に１８０度となる状態を所定時間内に複数回検出すると、その検出結果をゲーム進行処理部１０２に通知する。例えば、２秒の間に移動ベクトルの向きが３回反転したことを通知の条件としてもよい。ゲーム進行処理部１０２は、その検出結果を受けると、ゲームカード４が往復運動されていることを認識する。このイベントを「往復イベント」と呼ぶと、ゲーム進行処理部１０２は、キャラクタ名および往復イベントの発生を表示制御部１２０に通知する。表示制御部１２０は、往復イベントの発生通知を受けると、当該キャラクタに対して設定されている往復イベントに対応する動作パターンを、動作パターン格納部１２２から検索する。

図６は、往復イベントが発生したときにディスプレイ上で表現されるキャラクタの動作を示す。図６（ａ）は、ゲームカード４を往復運動させることで、キャラクタを叱った状態を示す。移動量監視部１１２が、ゲームカード４が所定の基準を満たす往復運動をされていることを判断すると、ゲーム進行処理部１０２が往復イベントの発生を表示制御部１２０に通知する。表示制御部１２０は、ゲームカード４の往復運動をディスプレイ７に表示させるとともに、動作パターン格納部１２２から検索された動作パターンに基づいてキャラクタの動作パターンを変化させる。この例では、ゲームカード４の往復運動は、キャラクタを叱る動作パターンを実行するトリガとなり、キャラクタは、叱られたことによりショックを受けた表情を見せている。なお、ゲームカード４の往復運動中、キャラクタは、ゲームカード４の往復運動に追従させずに、ゲームカード４の範囲にある限りにおいて、表示位置を固定としてもよい。なお、往復運動の振幅が大きく、ゲームカード４の範囲からキャラクタが外れる場合には、キャラクタをゲームカード４に追従させることが好ましい。

図６（ｂ）は、ゲームカード４を往復運動させることで、キャラクタが巨大化した状態を示す。このように、ゲームカード４の往復運動に対して、動作パターン格納部１２２は複数種類の動作パターンを対応付けて記憶してもよい。既述のように、動作パターン格納部１２２は、ゲームステージに対応付けて動作パターンを記憶してもよく、さらにはキャラクタの内部パラメータに対応付けて動作パターンを記憶してもよい。

図４に戻って、回転検出部１１４は、ゲームカード４の回転を検出する。具体的に、回転検出部１１４は、ゲームカード４の姿勢情報に含まれる中心座標および方向情報をもとに、ゲームカード４の回転動作を検出する。回転検出部１１４は、ゲームカード４の中心座標および方向情報をフレームごとにメモリ（図示せず）に保存する。方向情報により特定されるゲームカード４の向きが実質的な平面上で時間的に変化し、その変化中、ゲームカード４の中心座標の位置がほとんどずれない場合、回転検出部１１４は、ゲームカード４が回転されていることを検出する。このとき、ゲームカード４の向きが３６０度以上、同じ回転方向に変化していることを、回転検出の条件としてもよい。

回転検出部１１４は、ゲームカード４が回転していることを判断すると、その判断結果をゲーム進行処理部１０２に通知する。ゲーム進行処理部１０２は、その判断結果を受けると、ゲームカード４が回転されていることを認識する。このイベントを「回転イベント」と呼ぶと、ゲーム進行処理部１０２は、キャラクタ名および回転イベントの発生を表示制御部１２０に通知する。表示制御部１２０は、回転イベントの発生通知を受けると、当該キャラクタに対して設定されている回転イベントに対応する動作パターンを、動作パターン格納部１２２から検索する。

表示制御部１２０は、現在プレイ中のゲームステージに対してキャラクタに設定されている動作パターンを選択する。表示制御部１２０が、選択した動作パターンを用いてキャラクタの動作パターンを変化させ、具体的には、キャラクタの目を回す動作パターンを読み出し実行する。

図７は、ゲームカードを回転させたことで、キャラクタが目を回している状態を示す。目を回した状態は所定の時間が経過すると元に戻り、通常の状態に復帰する。ゲームカード４を回転させると、キャラクタの目が回ることは、回転という点で同一であり、プレイヤも直観的に理解しやすい。本実施例のゲームアプリケーションでは、ゲームコントローラを使用しないため、カード操作に対応するキャラクタの動作パターンが、カード操作の行為自体と感覚的にリンクしていることが好ましい。このようにカード操作とキャラクタの動作パターンを対応付けることで、プレイヤによる操作性を容易にすることができる。カード操作により３次元キャラクタの動作パターンを決定することで、これまでにないゲームアプリケーションを実現でき、プレイヤに新たな体感を与えることができる。

図４に戻って、存在確認部１１６は、撮像領域５中にゲームカード４が存在しているか否かを確認する。ゲームカード４が撮像領域５に存在することは、画像解析装置２０からゲームカード４の情報が解析されているか否かに基づいて判断される。ゲームカード４がプレイヤにより隠される場合には、画像解析装置２０はゲームカード４の画像を認識できず、ゲームカード４の画像解析結果はゲーム装置３０に送られない。

存在確認部１１６は、所定数の連続したフレーム画像において実オブジェクトが認識されない場合に、実オブジェクトが撮像装置２により撮像されていないことを判断する。逆に、存在確認部１１６は、実オブジェクトが認識されないフレーム画像が連続して所定数以上続かなければ、実オブジェクトが撮像装置２により撮像されていることを判断する。ここで、所定数の連続フレーム画像において実オブジェクトが認識されないことを条件とするのは、照明の影響などで偶然にもゲームカード４を検出できない状況を無視するためである。

存在確認部１１６は、ゲームカード４が撮像されていないことを判断すると、その判断結果をゲーム進行処理部１０２に通知する。ゲーム進行処理部１０２は、その判断結果を受けると、ゲームカード４が撮像領域５中に存在しないことを認識する。このイベントを「隠しイベント」と呼ぶと、ゲーム進行処理部１０２は、キャラクタ名および隠しイベントの発生を表示制御部１２０に通知する。なお、プレイヤはゲームカード４を手で隠したり、ゲームカード４を撮像領域５の外に移動させることで、隠しイベントを発生させることができる。表示制御部１２０は、隠しイベントの発生通知を受けると、当該キャラクタに対して設定されている隠しイベントに対応する動作パターンを、動作パターン格納部１２２から検索する。

ここでは、表示制御部１２０は、選択した動作パターンを用いて、キャラクタをディスプレイ７の画面から消す。これも、プレイヤにとっては理解しやすいキャラクタの動作パターンであり、プレイヤはゲームのプレイ方法を十分に理解しなくても、直観的にキャラクタを操作することができる。

なお、存在確認部１１６は、ゲームカード４が撮像されている状態と撮像されていない状態とが繰り返されていることを判定してもよい。プレイヤは、ゲームカード４上に手をかざすことでゲームカード４の非撮像状態を作り、また手をどけることで撮像状態を作りだす。非撮像状態と撮像状態とが所定時間内に、所定の回数繰り返されると、存在確認部１１６は、その撮像状態の変化を検出し、その検出結果をゲーム進行処理部１０２に通知する。ゲーム進行処理部１０２は、その判断結果を受けると、ゲームカード４が撮像装置２によりキャプチャされる状態とキャプチャされない状態とが交互に生じていることを認識する。このイベントを「スイッチイベント」と呼ぶと、ゲーム進行処理部１０２は、キャラクタ名およびスイッチイベントの発生を表示制御部１２０に通知する。表示制御部１２０は、スイッチイベントの発生通知を受けると、当該キャラクタに対して設定されているスイッチイベントに対応する動作パターンを、動作パターン格納部１２２から検索する。

ここでは、表示制御部１２０は、選択した動作パターンを用いて、新たな仮想オブジェクトをディスプレイ７に表示させる。この新たな仮想オブジェクトは、通常の操作状態では非表示とされていたものであり、スイッチイベントの発生をトリガとして、仮想オブジェクトの全体を新たに表示させる。ゲーム業界でいう「隠れキャラクタ」の出現に相当し、新たなキャラクタを登場させることで、ゲーム進行に変化をもたらすことが可能となる。

ゲームシステム１において、プレイヤは、カード操作に対して割り当てられている動作パターンを必ずしも覚えておく必要はなく、ゲームカード４を色々と操作してみることでキャラクタを動かしてみればよい。本実施例のゲームアプリケーションは、新たなゲームの楽しみ方をプレイヤに提供することができる。

図８は、実施例の画像処理フローを示す。ゲーム装置３０において、解析情報取得部１００が、画像解析装置２０からゲームカード４の識別情報を取得する（Ｓ１０）。キャラクタ決定部１０４は、この識別情報を受け取ると、キャラクタ格納部１０６から、現在のステージおよび識別情報に対応付けられたキャラクタの３次元画像データを読み出す（Ｓ１２）。表示制御部１２０は、ディスプレイ７におけるゲームカード４の表示位置に、読み出したキャラクタの３次元画像データを重畳表示させる（Ｓ１４）。

変化検出部１１０は、ゲームカード４の時間的な状態変化を監視する（Ｓ１６）。所定の状態変化を検出すると（Ｓ１６のＹ）、表示制御部１２０が、その状態変化に対応付けられた動作パターンを、動作パターン格納部１２２から読み出し（Ｓ１８）、その動作パターンにしたがってキャラクタを表示制御する（Ｓ２０）。ステージが継続する場合（Ｓ２２のＮ）、表示制御部１２０は、キャラクタの表示態様を元に戻し、キャラクタをゲームカード４に重畳表示させる。なお、所定の状態変化を検出しない場合（Ｓ１６のＮ）、ステージの切替がなければ、重畳表示の状態を維持する。ステージが切り替わると（Ｓ２２のＹ）、このフローは終了する。次のステージが開始すると、ステージに応じたキャラクタの３次元画像データが読み出され、上記したフローが実行される。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では、キャラクタの動作パターンを変化させる例について説明したが、例えば、ゲームカード４の撮像状態の変化に基づいて、メインキャラクタとは別の新たな仮想オブジェクトを発生させ、メインキャラクタから離れる方向に、その新たな仮想オブジェクトを移動させる表示制御を行うことも可能である。

変形例として、表示制御部１２０は、キャラクタとともに、キャラクタとは別の仮想オブジェクトを表示させ、変化検出部１１０においてゲームカード４の状態変化が検出されたことをトリガとして、画像解析装置２０の方向決定部５４において決定された方向に、キャラクタから離れるように、別の仮想オブジェクトを移動させてもよい。別の仮想オブジェクトは、ゲーム進行に用いるアイテムであってよく、例えばキャラクタが投げる「ボール」などの仮想オブジェクトであってよい。

図９（ａ）は、キャラクタがボールを投げて、ボーリングをする表示例を示す。既述のように、方向決定部５４は、実空間におけるゲームカード４の方向指示部１１の位置に応じて、ゲームカード４の方向を決定する。ディスプレイ７における仮想的なボーリングピンの表示位置を固定とすると、プレイヤは、ディスプレイ７を見ながらゲームカード４を動かして、キャラクタがボールを投げる位置および方向を調整する。なお、ボーリングピンは他のゲームカード４上に表示される仮想オブジェクトであってよい。キャラクタ決定部１０４は、他のゲームカード４上にボーリングピンが表示されたことを条件として、ボールの３次元画像データをキャラクタ格納部１０６から読み出し、ゲーム進行処理部１０２に供給する。表示制御部１２０は、ゲーム進行処理部１０２からボールの３次元画像データを受け取り、キャラクタにボールをもたせるように表示制御する。プレイヤによるカード移動によりキャラクタが所望の位置に表示されると、プレイヤは、ゲームカード４を操作して、ボールを投げるトリガとして設定されているイベントを発生させる。このイベントは、プレイヤに対して画面上またはスピーカを通じて告知されるのが好ましい。表示制御部１２０は、そのイベントの発生通知を受けると、方向決定部５４により定められた方向にボールを転がし、方向に応じてボーリングピンの倒れる本数を所定の演算により算出する。このとき、表示制御部１２０は、ボーリングピンおよびキャラクタの座標系を同じ座標系に統一し、移動物体であるボールとボーリングピンとの接触判定を行うことで、この表示処理が可能となる。なお、ボーリングは一つの例であり、キャラクタから仮想オブジェクトを発射させることで、キャラクタ以外のオブジェクトを用いた新たなゲームストーリを展開することができる。

方向決定部５４は、ゲームカード４に印刷された方向指示部１１から方向を決定することもできるが、傾けられた状態では、その傾けられた傾斜面に沿ったベクトルを、ゲームカード４の方向として決定することもできる。

図９（ｂ）は、キャラクタがボールを投げて、ボーリングをする別の表示例を示す。方向決定部５４は、実空間におけるゲームカード４の傾斜した方向を決定する。この傾斜方向は、台３において、台３に接触するゲームカード４の一辺に垂直な方向として定められる。図９（ａ）の例と異なり、この場合は、ボールを投げる方向がゲームカード４と台３との接線に応じて決定される。プレイヤは、ゲームカード４を所望の位置に配置して傾斜させる。このとき、ゲームカード４を傾斜させたことが、ボールを投げるトリガとして設定されていてもよい。ゲーム進行処理部１０２は、姿勢情報からゲームカード４が傾斜されたことを検出すると、その旨を表示制御部１２０に通知し、表示制御部１２０は、動作パターンを読み出して、方向決定部５４により定められた方向にボールを転がす。

上記した実施例および変形例では、ゲームカード４の状態変化に基づいて、キャラクタの表示態様を制御した。ゲームアプリケーションの興趣を高めるために、キャラクタの表示態様だけでなく、音声などによる演出を行ってもよい。この場合、変化検出部１１０においてゲームカード４の状態変化が検出されると、ゲーム進行処理部１０２は、その旨を図示しない音声制御部に通知して、音声制御部がスピーカを通じてキャラクタの聴覚的な演出を行ってもよい。このとき、ゲーム装置３０は、画像処理装置として機能するだけでなく、音声処理装置としても機能するため、ゲーム装置３０を、画像および音声の両方を制御可能な処理装置と呼ぶこともできる。なお、ゲーム装置３０は、ゲームカード４の状態変化に基づいて、音声制御のみを行ってもよい。

実施例にかかるゲームシステムの構成を示す図である。 ゲームカードの表面の一例を示す図である。 画像解析装置の構成を示す図である。 ゲーム装置の構成を示す図である。 スライドイベントが発生したときにディスプレイ上で表現されるキャラクタの動作を示す図である。 往復イベントが発生したときにディスプレイ上で表現されるキャラクタの動作を示す図である。 キャラクタが目を回している状態を示す図である。 画像処理のフローチャートである。 キャラクタがボーリングをする表示例を示す図である。

符号の説明

１・・・ゲームシステム、２・・・撮像装置、４・・・ゲームカード、５・・・撮像領域、７・・・ディスプレイ、１０・・・画像処理装置、２０・・・画像解析装置、３０・・・ゲーム装置、４０・・・フレーム画像取得部、４２・・・実オブジェクト抽出部、４４・・・状態決定部、４６・・・識別情報取得部、４８・・・識別情報格納部、５０・・・送出部、５２・・・姿勢決定部、５４・・・方向決定部、５６・・・距離決定部、１００・・・解析情報取得部、１０２・・・ゲーム進行処理部、１０４・・・キャラクタ決定部、１０６・・・キャラクタ格納部、１１０・・・変化検出部、１１２・・・移動量監視部、１１４・・・回転検出部、１１６・・・存在確認部、１２０・・・表示制御部、１２２・・・動作パターン格納部。

Claims (3)

1. 実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部と、
   撮像装置により撮像されたフレーム画像に含まれる実オブジェクト画像の識別情報に対応付けられた仮想オブジェクトの３次元画像データを前記格納部から読み出す読出部と、
   読み出された３次元画像データを用いて、前記仮想オブジェクトを、前記実オブジェクトの表示位置に関連付けて表示装置に表示させる表示制御部と、
   前記撮像装置により撮像された実オブジェクト画像の時間的な状態変化を検出する変化検出部と、
   を備え、
   前記変化検出部は、前記撮像装置において撮像される、平面上に置かれた前記実オブジェクトの移動方向を監視する移動量監視部を有し、
   前記移動量監視部が時間的に前後の移動ベクトルの向きを比較し、移動ベクトルの向きが実質的に反転する状態を所定時間内に複数回検出すると、前記実オブジェクトが平面上における往復運動をしていることが検出され、前記表示制御部は、前記仮想オブジェクトの動作パターンを変化させるように前記仮想オブジェクトの表示態様を制御することを特徴とする画像処理装置。
2. 実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部と、
   撮像装置により撮像されたフレーム画像に含まれる実オブジェクト画像の識別情報に対応付けられた仮想オブジェクトの３次元画像データを前記格納部から読み出す読出部と、
   読み出された３次元画像データを用いて、前記仮想オブジェクトを、前記実オブジェクトの表示位置に関連付けて表示装置に表示させる表示制御部と、
   前記撮像装置により撮像された実オブジェクト画像の時間的な状態変化を検出する変化検出部と、
   を備え、
   前記変化検出部は、所定数の連続したフレーム画像において前記実オブジェクトが認識されない場合に、前記実オブジェクトが前記撮像装置により撮像されていないことを判断し、前記実オブジェクトが認識されないフレーム画像が連続して所定数以上続かなければ、前記実オブジェクトが前記撮像装置により撮像されていることを判断する存在確認部を有し、
   前記表示制御部は、前記存在確認部において前記実オブジェクトが撮像されていないことが判断された場合に、前記仮想オブジェクトを表示装置の画面から消すように前記仮想オブジェクトの表示態様を制御することを特徴とする画像処理装置。
3. 実オブジェクトを識別するための識別情報と、仮想オブジェクトの３次元画像データとを対応付けて記憶する格納部と、
   撮像装置により撮像されたフレーム画像に含まれる実オブジェクト画像の識別情報に対応付けられた仮想オブジェクトの３次元画像データを前記格納部から読み出す読出部と、
   読み出された３次元画像データを用いて、前記仮想オブジェクトを、前記実オブジェクトの表示位置に関連付けて表示装置に表示させる表示制御部と、
   前記撮像装置により撮像された実オブジェクト画像の時間的な状態変化を検出する変化検出部と、
   前記実オブジェクトの姿勢を決定する姿勢決定部と、
   決定された姿勢から、前記実オブジェクトの平面に対して傾斜した方向を定める方向決定部と、
   を備え、
   前記表示制御部は、前記仮想オブジェクトとともに、前記仮想オブジェクトとは別の仮想オブジェクトを表示させ、前記方向決定部において決定された方向に、前記仮想オブジェクトから離れるように、前記別の仮想オブジェクトを移動させるように前記仮想オブジェクトの表示態様を制御することを特徴とする画像処理装置。
   

Images