JP2005261642A - エンタテインメント装置 - Google Patents

Abstract

【課題】 画像処理によってカードを認識することにより、カードによる入力を受け付ける。
【解決手段】
撮影手段により撮影された画像を取り込み、取り込まれた画像を解析して、前記画像に写っているカードを認識する（Ｓ３１〜Ｓ３３）。つぎに、その画像のフレーム間差分をとって、カードの動きを検出する（Ｓ３４、Ｓ３５）。そして、認識されたカードおよび所定時間内に検出された動きの量に基づいて定まる処理を実行する（Ｓ３６）。
【選択図】 図１０

Description

本発明は、画像処理によりカードを認識して入力を受け付け、認識結果に応じた処理を実行するための技術に関する。

ビデオカメラで撮影した撮影画像と、所定のオブジェクトを含むオブジェクト画像とを重畳してディスプレイ装置に表示し、撮影画像をコマンド入力のためのインタフェースとして使用する画像処理装置がある（例えば、特許文献１）。

特開２００２−１９６８５５号公報

特許文献１では、メニューを含むオブジェクト画像を撮影画像と重畳して表示し、フレーム間差分を使って撮影画像の動きを検出して入力を受け付ける。

本発明の目的は、画像処理によってカードを認識してカードによる入力を受け付けるための技術を提供することである。

本発明の他の目的は、画像処理によって認識したカードと、他の入力との組み合わせに応じた処理を実行するための技術を提供することである。

本発明の一つの態様に従うエンタテインメント装置は、撮影手段により撮影された画像を取り込む手段と、取り込まれた前記画像を解析して、前記画像に写っているカードを認識する手段と、前記画像を解析して、前記カードの動きを検出する手段と、前記認識手段が認識した前記カードおよび前記動き検出手段が検出した動きの量に基づいて定まる処理を実行する手段と、を備える。

好適な実施形態では、前記処理実行手段は、前記認識されたカードと対応するキャラクタを選択し、前記動き検出手段が検出した動きの量に基づいて、前記キャラクタの能力に関するパラメータを決定して、前記キャラクタを登場させるための処理を実行することができる。

好適な実施形態では、前記認識手段は、前記カードに付されているバーコードを検出して前記カードを認識するようにしてもよい。

本発明の一つの態様に従うエンタテインメント装置は、入力を受け付けるための第１の領域と第２の領域とを含むコンピュータ画像を生成する手段と、プレーヤーを撮影したビデオ画像を取り込む手段と、前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、前記コンピュータ画像の第１の領域と対応する、前記ビデオ画像の第１の対応領域の画像を解析し、前記第１の対応領域に前記プレーヤーが提示したカードを認識する手段と、前記コンピュータ画像の第２の領域と対応する、前記ビデオ画像の第２の対応領域の画像を解析し、前記第２の対応領域に前記プレーヤーが仮想的にタッチしたことを検出する手段と、前記タッチ検出手段により前記タッチが検出されると、前記カード認識手段による認識結果に基づいて処理を実行する手段と、を備える。

好適な実施形態では、前記タッチ検出手段は、前記第２の対応領域内の動きを検出し、その動き量が所定以上であればタッチしたと判定するようにしてもよい。

好適な実施形態では、前記タッチ検出手段は、前記第２の対応領域内の所定の色の画素数が所定数以上であればタッチがあると判定することができる。

好適な実施形態では、前記第２の領域にはキャラクタが表示されていて、前記処理実行手段は、前記タッチ検出手段により前記タッチが検出されると、前記キャラクタに対して、前記カード認識手段が認識したカードに対応する手段で攻撃するための処理を実行するようにしてもよい。

以下、本発明の一実施形態に係るエンタテインメントシステムについて、図面を用いて説明する。

本実施形態に係るエンタテインメントシステムの構成の一例を図１に示す。このエンタテインメントシステムは、ディスプレイ装置３に向き合った位置にいるプレーヤー４をアナログまたはデジタルのビデオカメラ１が撮影し、これにより得られた動画像をエンタテインメント装置２が連続的に取り込んで、エンタテインメント装置２が生成したコンピュータ画像（ＣＧ）と、ビデオカメラ１から取り込んだビデオ画像の鏡面動画像とを重ね合わせた重畳画像をディスプレイ装置３上にリアルタイムに表示させるものである。従って、重畳画像ではプレーヤー４の動作がリアルタイムに反映されている。プレーヤー４はこの重畳画像でプレーを楽しむことができる。鏡面動画像は、ビデオカメラ１から取り込んだ動画像をエンタテインメント装置２で鏡面処理（画像の左右反転処理）することにより生成することができるが、ビデオカメラ１の前に鏡を置き、操作者を映した鏡面の動画像をビデオカメラ１で撮影することによって鏡面動画像を生成するようにしてもよい。いずれにしても、ディスプレイ装置３上には、ターゲットの動きに応じてその表示形態がリアルタイムに変化する合成画像が表示されるようにする。

エンタテインメント装置２は、コンピュータプログラムにより所要の機能を形成するコンピュータにより実現される。この実施形態によるコンピュータは、例えば図２にそのハードウエア構成を示すように、それぞれ固有の機能を有する複数の半導体デバイスが接続されたメインバスＢ１とサブバスＢ２の２本のバスを有している。これらのバスＢ１、Ｂ２は、バスインタフェースＩＮＴを介して互いに接続され又は切り離されるようになっている。

メインバスＢ１には、主たる半導体デバイスであるメインＣＰＵ１０と、ＲＡＭで構成されるメインメモリ１１と、メインＤＭＡＣ（Direct Memory Access Controller）１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）１３と、描画用メモリとなるフレームメモリ１５を内蔵する描画処理装置（Graphic Processing Unit、以下、「ＧＰＵ」）１４が接続される。ＧＰＵ１４には、フレームメモリ１５に描画されたデータをディスプレイ装置３で表示できるようにするためのビデオ信号を生成するＣＲＴＣ（CRT Controller）１６が接続される。

メインＣＰＵ１０は、コンピュータの起動時にサブバスＢ２上のＲＯＭ２３から、バスインタフェースＩＮＴを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ２７を制御するとともに、このメディアドライブ２７に装着されたメディア２８からアプリケーションプログラムやデータを読み出し、これをメインメモリ１１に記憶させる。さらに、メディア２８から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された３次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、オブジェクトの形状や動き等を表現するためのジオメトリ処理（座標値演算処理）を行い、そして、ジオメトリ処理によるポリゴン定義情報（使用するポリゴンの形状及びその描画位置、ポリゴンを構成する素材の種類、色調、質感等の指定）をその内容とするディスプレイリストを生成する。

ＧＰＵ１４は、描画コンテクスト（ポリゴン素材を含む描画用のデータ）を保持しており、メインＣＰＵ１０から通知されるディスプレイリストに従って必要な描画コンテクストを読み出してレンダリング処理（描画処理）を行い、フレームメモリ１５にポリゴンを描画する機能を有する半導体デバイスである。フレームメモリ１５は、これをテクスチャメモリとしても使用できる。そのため、フレームメモリ上のピクセルイメージをテクスチャとして、描画するポリゴンに貼り付けることができる。

メインＤＭＡＣ１２は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェースＩＮＴの状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ１３は、メインＣＰＵ１０と並列に動作し、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。

サブバスＢ２には、マイクロプロセッサなどで構成されるサブＣＰＵ２０、ＲＡＭで構成されるサブメモリ２１、サブＤＭＡＣ２２、オペレーティングシステムなどの制御プログラムが記憶されているＲＯＭ２３、サウンドメモリ２５に蓄積された音データを読み出してオーディオ出力として出力する音声処理用半導体デバイス（ＳＰＵ（Sound Processing Unit））２４、図示しないネットワークを介して外部装置と情報の送受信を行う通信制御部（ＡＴＭ）２６、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア２８を装着するためのメディアドライブ２７及び入力部３１が接続されている。

サブＣＰＵ２０は、ＲＯＭ２３に記憶されている制御プログラムに従って各種動作を行う。サブＤＭＡＣ２２は、バスインタフェースＩＮＴがメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う半導体デバイスである。入力部３１は、操作装置３５からの入力信号が入力される接続端子３２、ビデオカメラ１からの画像信号が入力される接続端子３３、及びビデオカメラ１からの音声信号が入力される接続端子３４を備える。なお、本明細書では、画像についてのみ説明を行い、便宜上、音声についての説明は省略する。

このように構成されるコンピュータは、メインＣＰＵ１０、サブＣＰＵ２０、ＧＰＵ１４が、ＲＯＭ２３及びメディア２８等の記録媒体から所要のコンピュータプログラムを読み込んで実行することにより、エンタテインメント装置２として動作する。このエンタテインメント装置２の機能ブロック図を図３に示す。すなわち、エンタテインメント装置２には、ビデオ画像入力部１０１と、画像反転部１０２と、画像認識部１０３と、主制御部１０４と、ＣＧ生成部１０６と、重畳画像生成部１０７と、表示制御部１０８と、カードデータ記憶部１０９とが形成される。

ビデオ画像入力部１０１は、ビデオカメラ１で撮影された２次元のビデオ画像を取り込む。ビデオ画像は動画像であり、ビデオ画像入力部１０１はビデオカメラ１から送られてくる画像を連続的に取り込む。

画像反転部１０２は、ビデオ画像入力部１０１が取り込んだビデオ画像を鏡面処理、すなわち左右反転処理を行う。プレーヤーを撮影した鏡面処理されたビデオ画像２００の一例を図４（ａ）に示す。これ以降の処理は、鏡面処理がされたビデオ画像に対して行われる。

主制御部１０４は、エンタテインメントシステム全体の制御を行う。例えば、エンタテインメント装置２がゲームプログラムを実行しているときは、主制御部１０４がそのプログラムに従った処理を実行し、ゲームのストーリーを進行する。そして、主制御部１０４がゲームのストーリーの進行に合わせたＣＧ画面の生成をＣＧ画像生成部１０６へ指示する。また、主制御部１０４は、後述するようなカードを使った入力を受け付けるためにゲームのストーリーの進行を一時中断し、入力されたカードに応じてゲームのストーリーを再開する。

ＣＧ生成部１０６は、主制御部１０４の指示に従って、ゲームのストーリーに沿った種々のコンピュータ画像を生成する。例えば、図４（ｂ）、図１２、図１５に示すような、プレーヤーからのリクエストを受け付けるためのインタフェース用のコンピュータ画像（インタフェース画像）３００を生成する。ここで、例えば、インタフェース画像３００には、カード入力枠３１０が含まれている。

重畳画像生成部１０７は、画像反転部１０２で鏡面処理されたビデオ画像とＣＧ生成部１０６で生成されたコンピュータ画像とを重ね合わせた重畳画像を生成する。例えば、重畳画像生成部１０７が図４（ａ）のビデオ画像２００と図４（ｂ）のインタフェース画像３００とを重畳すると、図４（ｃ）の重畳画像４００が生成される。

表示制御部１０７は、重畳画像生成部１０７で生成された重畳画像をディスプレイ装置３に表示させる。

カードデータ記憶部１０９は、本エンタテインメントシステムで利用可能な専用のカードに関する情報が格納されている。ここで、カードとは、例えば、本システムで実行可能な対戦型ゲームにおいて、キャラクタを登場させるため、あるいは攻撃または防御の技を出すための入力に用いられるカードである。このカードの例を図５（ａ）に示す。

すなわち、同図に示すように、カード３０は矩形形状を有し、面上にはバーコード３１と、カード画像３２とが印刷されている。

バーコード３１は、矩形形状のカード３０の短い方の一辺に沿って印刷されている１次元バーコードである。バーコード３１は、それぞれのカード３０を一意に識別するためのカードＩＤを示している。例えば、バーコード３１には、図５（ｂ）に示すように、バーコードの開始を示すスタートパターン３１１と、バーコードの終了を示すエンドパターン３１３と、各カードに固有のカードパターン３１２とを含む。スタートパターン３１１およびエンドパターン３１３は、それぞれ、バー３１ａおよびスペース３１ｂによって構成される、予め定められたパターンを有する。カードパターン３１２のバーおよびスペースにより構成されるパターンがカードＩＤと対応する。

なお、バーコードは２次元バーコードであってもよい。この場合、後述するバーコード検出の際、バーコードの回転を検出してからバーコードの認識を行う。

また、本実施形態のバーコード３１は、後述するように画像処理によって認識するためのバーコードである。従って、バーコードを構成するバーおよびスペースの最小幅は、それぞれ、（光源を備えていない）ビデオカメラ１が撮影したビデオ画像を使って認識できる程度の幅である。本実施形態では、バーの最小幅は２〜３ｍｍ程度である。

カード画像３２は、それぞれのカード３０の種別をプレイヤーが識別可能な画像であり、例えば、それぞれのキャラクタなどを示す図画、記号、文字などである。従って、各カードのカードＩＤとカード画像３２、あるいはカードＩＤとキャラクタはそれぞれ１対１に対応する。プレイヤー４は、例えば、図１に示すようにこのカード３０をビデオカメラ１へ向かって提示することにより、カード３０に示されている内容がゲームに対する入力となる。

なお、バーコード３１およびカード画像３２は、何らかの方法でカード３０に付されていてばよく、直接印刷されている他に、シールなどのようにカード３０に貼付されていても良い。また、図５（ａ）の例ではバーコード３１およびカード画像３２は、同一面に印刷されているが、互いに異なる面に印刷されていても良い。さらに、カード３０の形状は矩形でなくてもよく、任意の形状（例えば、多角形、円形、楕円形など）でよい。

このようなカードのデータが記憶されているカードデータ記憶部１０９は、例えば、図６に例示するようなデータ項目を有する。すなわち、カードデータ記憶部１０９は、カードＩＤ１０９１と、バーコードパターン１０９２と、バージョン１０９３と、カード画像１０９４と、カテゴリ１０９５とを含む。

カードＩＤ１０９１は、上述のように、各カードを一意に識別するための識別情報である。

バーコードパターン１０９２は、カードＩＤ１０９１と１対１に対応し、各カードに付されているバーコード３１のカードパターン３１２（図５（ｂ）参照）を示す。

バージョン１０９３は、各カード３０のバージョンを示す。例えば、同一キャラクタのカードでも、カード画像３２、背景部分３３の色、あるいはカード形状の異なる複数のバージョンが存在する場合がある。

カード画像１０９４は、カード３０に印刷されているカード画像３２を示す。データの形式は、例えば、ベクトルデータ、あるいはイメージデータなどでもよい。

カテゴリ１０９５は、各カードのカテゴリを示す。例えば、バトルゲームで使用されるカードであれば、カテゴリには、攻撃用カード、防御用カードなどがある。攻撃用、防御用の各カードには、さらに、キャラクタ、武器、魔法などの種別がある。

画像認識部１０３は、ビデオ画像について、フレームごとに以下のような画像認識を行う。本実施形態では、画像認識部１０３は、１フレームの画像に撮影されているカードに関する認識を行う。画像認識部１０３は、例えば、カードに付されているバーコードを検出してカードを認識する。

ＣＧ画像に図４（ｂ）に示すようなカード入力枠３１０が提示されているときは、画像認識部１０３は、カード入力枠３１０の位置を示す座標データなどを主制御部１０４から受け付け、カード入力枠３１０に対応する領域のビデオ画像について、後述する認識処理を行う。また、カード入力枠３１０が複数設けられているときは、それぞれのカード入力枠３１０について、ＣＧ画像にカード入力枠３１０がないときは、ビデオ画像の全領域に対して、後述する認識処理を行う。

以下に、本システムが、プレイヤーからのカード入力の受け付けを待っているときに、プレーヤーが提示するカードの認識などを行い、それに基づいて実行される処理の種々のパターンについて説明する。

（入力パターン１）
まず、プレーヤーが提示するカード及びカードの向きを識別し、識別結果に基づいて処理を行うときの処理手順を、図７のフローチャートで説明する。

ＣＧ画像生成部１０６が生成した図４（ｂ）に示すような、一つのカード入力枠３１０を有するインタフェース画面３００を含む重畳画像がディスプレイ装置３に表示されている（Ｓ１１）。このときに、画像認識部１０３がビデオ画像を取り込んで画像認識を行い、バーコードを検出することによりカードを認識する処理を行う（Ｓ１２，Ｓ１３）。

ここで、バーコード検出によるカード認識について、図８を用いて説明する。

画像認識部１０３は、画像反転部１０２から取得したビデオ画像を２値化する（Ｓ２１）。そして、２値化された画像を所定の方向に走査して、２値化画像の中から、バーコード３０のスタートパターン３１１（図５（ｂ）参照）を探す（Ｓ２２、Ｓ２３）。ここでは、例えば、相対的な長さの比が黒２：白１：黒１となるスタートパターン３１１を検索する。そして、スタートパターン３１１が検出されると（Ｓ２３：Ｙｅｓ）、２値化画像におけるスタートパターンの絶対的な長さ、およびスタートパターンが検出された位置を基準にして、スタートパターン３１１に続く位置のバーとスペースの黒白のパターンが、カードデータ記憶部１０９に記憶されているバーコードパターン１０９２のいずれかと一致するかを判定する（Ｓ２３）。一致しない場合には（Ｓ２３：Ｎｏ）、ステップＳ２２へ戻る。一致した場合には（Ｓ２３：Ｙｅｓ）、バーコード３１のカードパターン３１２（図５（ｂ）参照）が認識されたことになるが、このカードパターン３１２に続いてエンドパターン３１３（図５（ｂ）参照）が検出されない場合は（Ｓ２５：Ｎｏ）、ステップＳ２２へ戻る。

従って、ステップＳ２３でスタートパターン３１１が検出され、ステップＳ２４で登録済みのバーコードパターン１０９２と対応するカードパターン３１２が検出され、かつステップＳ２５でエンドパターン３１３が検出されると、ステップＳ２４で特定されたバーコードパターン１０９２に対応するカードＩＤ１０９１のカードが、ビデオ画像に写っているものと認識される。

再び図７に戻ると、画像認識部１０３は、カード入力枠３１０に対応するビデオ画像を横方向へ走査し、上述のバーコード検出によるカード認識処理を行う（Ｓ１２）。これによりバーコードが検出できない場合（Ｓ１２：Ｎｏ）、画像認識部１０３は、カード入力枠３１０に対応するビデオ画像を縦方向へ走査し、上述のバーコード検出によるカード認識処理を行う（Ｓ１３）。ステップＳ１２とＳ１３とは、いずれを先に行ってもよい。

ここで、プレーヤー４がビデオカメラ１に対して図９の（ａ）に示すように、矩形のカードの長手方向が上下方向を向くように提示している場合（カードの向きが縦）は、ステップＳ１２でバーコードの検出が可能となる。一方、プレーヤー４がビデオカメラ１に対して図９の（ｂ）に示すように、矩形のカードの長手方向が左右方向を向くように（（ａ）から９０°回転した状態：カードの向きが横）提示している場合は、ステップＳ１３でバーコードの検出が可能となる。

ステップＳ１２またはＳ１３でバーコードの検出によりカードが認識されると、画像認識部１０３は、認識されたカードのカードＩＤおよびカードの向きを主制御部１０４へ通知する。そして、この通知を受けた主制御部１０４が、カードＩＤおよびカードの向きに基づいて、所定の処理を実行する（Ｓ１４，Ｓ１５）。つまり、同一のカードであっても、カードの向きにより異なる処理が実行される。

なお、ここではカードの向き（縦と横）がいずれの場合でも受け付け、カードの向きに応じて異なる処理を行っているが、いずれか一方の向きしか受け付けないようにしても良い。

（入力パターン２）
次に、カードの認識およびカード入力枠３１０内の動きの検出を組み合わせた入力受け付けについて、図１０のフローチャートを用いて説明する。

カード入力枠３１０を一つ有するインタフェース画面３００を含む重畳画像が表示装置３に表示されている（Ｓ３１）。このとき、画像認識部１０３は、上述のバーコード検出によるカード認識処理を行う（Ｓ３２）。そして、カード入力枠３１０内のカードが認識されると（Ｓ３２：Ｙｅｓ）、ＣＧ画像生成部１０６は、インタフェース画面３００のカード入力枠３１０またはその枠内の色を所定の色に変化させる（Ｓ３３）。これにより、プレーヤーはカードが認識されたことを知ることができる。

画像認識部１０３は、カード入力枠３１０内のビデオ画像について、フレーム間差分を用いて動きを検出し、動きのあった画素数（動き量）をカウントする（Ｓ３４）。そして、画像認識部１０３は、ステップＳ３４において所定時間の間動き量をカウントし（Ｓ３５）、ここでカウントされた値（カウント数）とカードＩＤとを主制御部１０４へ通知する。主制御部１０４は、カードＩＤおよびカウント数に基づいて処理を実行する（Ｓ３６）。

ステップＳ３６の処理は、例えば、カードＩＤに基づいて実行する処理（例えば、攻撃または防御のキャラクタまたは方法）を決定し、カウント数に応じて実行する処理のパラメータ（例えば、攻撃または防御の強度）を定めても良い。攻撃または防御の方法は、例えば、キャラクタ、武器または魔法などである。また、ステップＳ３４の動きの検出は、所定の色（例えば、予め定められたカードの色）について動きを検出しても良い。色を限定することにより、誤検出の可能性を減らすことができる。

なお、上記の例とは異なり、フレーム間差分を用いた動き量の検出を先に行い、その後にカード認識を行ってもよいし、動きを検出するための領域は、カード入力枠３１０とは異なる領域でも良い。

（入力パターン３）
次に、複数のカード入力枠を有するインタフェース画面での入力パターンについて、図１１のフローチャートで説明する。

図１２（ａ）に示すような、カード入力枠３１０ａ、３１０ｂが複数あるインタフェース画面３０１を含む重畳画像がディスプレイ装置３に表示されている（Ｓ４１）。ここで、インタフェース画面３０１は、プレーヤーＡとプレーヤーＢの対戦型ゲームで用いた場合、カード入力枠３１０ａがプレーヤーＡの入力用、カード入力枠３１０ｂがプレーヤーＢの入力用とする。

カード認識部１０３は、カード入力枠３１０ａ、３１０ｂの双方について、それぞれ対応領域のビデオ画像を解析し、バーコード検出処理を行って、カードを認識する（Ｓ４２）。そして、両方の入力枠３１０ａ、３１０ｂについて、それぞれバーコードが検出されて、カードが認識されると（Ｓ４２：Ｙｅｓ）、それぞれのカードＩＤがカード入力枠３１０ａ、３１０ｂと対応付けられて主制御部１０４へ通知される。主制御部１０４は、カード入力枠３１０ａで認識されたカードＩＤに対応するキャラクタと、ガード入力枠３１０ｂで認識されたカードＩＤに対応するキャラクタとを登場させて、対戦させるための処理を行う（Ｓ４３）。ステップＳ４３では、キャラクタを登場させる代わりに、カードＩＤに対応する武器や魔法などの技を使った戦いを行わせてもよい。

（入力パターン４）
次に、攻撃のターゲットを指定してカードによる入力を行う入力パターンを説明する。すなわち、図１２（ｂ）に示すインタフェース画面３０２は、カード入力枠３１０とキャラクタ３２０が表示されている。そして、この画面３０２を含む重畳画像が表示装置３に表示されているとき、プレーヤーが手などでキャラクタ３２０に対して仮想的にタッチしながらカード入力枠３１０へカードを提示すると、タッチされているキャラクタ３２０をターゲットとして、提示したカードに対応する手段で攻撃を加えることができる。以下、処理の詳細について、図１３のフローチャートで説明する。

まず、インタフェース画面３０２を含む重畳画像がディスプレイ装置３に表示されている（Ｓ５１）。このとき、画像認識部１０３がカード入力枠３１０に対応する領域のビデオ画像を解析して、バーコード検出によりカードの認識処理を行う（Ｓ５２）。カードが認識されると（Ｓ５２：Ｙｅｓ）、画像認識部１０３はキャラクタ３２０に対して仮想的なタッチがあるかを判定する（Ｓ５３）。このタッチの判定は、キャラクタ３２０が表示されている領域およびその近傍に対応する領域のビデオ画像について、フレーム間差分による動き検出を行う。そして、所定数以上の画素について動きを検出したときにタッチがあったと判定する。このほかに、例えば、対象領域の所定数以上の画素が特定色であるかときにタッチがあったと判定しても良いし、あるいは、特定色の画素について動きを検出してタッチ判定しても良い。

タッチがあったと判定されたときは（Ｓ５３：Ｙｅｓ）、ステップＳ５２で認識されたカードのカードＩＤ、およびタッチあったことを主制御部１０４へ通知し、キャラクタ３２０に対してカードＩＤに対応する攻撃を行う（Ｓ５４）。

なお、カードの認識とタッチ判定の順序はいずれが先でも良いし、同時でも良い。

また、図１２（ｃ）に示すようなカード入力枠がないインタフェース画面３０４を用いたときは、以下のようにしてもよい。例えば、キャラクタ３２０の近傍にプレーヤーがカードを提示すると、このカードのバーコードが認識される。このとき、画像認識部１０３は、インタフェース画面３０４の中で、バーコードを検出した位置を特定する。そして、バーコードが検出された位置に、このカードに対応する画像（例えば、武器やモンスターなど）を表示させるようにしてもよい。その後、プレーヤーがカードまたは手でキャラクタ３２０へ仮想的にタッチすると、主制御部１０４はキャラクタ３２０に対して提示したカードに対応する攻撃を行うように制御してもよい。キャラクタへのタッチの判定は、例えば、フレーム間差分などにより動きを検出した、画面上での位置を特定し、その位置とキャラクタ３２０が表示されている位置とが一定の距離であるかに基づいて判定してもよい。

さらに、画面３０２、３０４に煙幕がかかってカード入力枠３１０及びキャラクタ３２０が見えない状態の重畳画像を表示し、プレーヤーが煙幕に仮想的にタッチを繰り返すと、そのタッチされた部分の煙幕が晴れて隠れていたカード入力枠３１０及びキャラクタ３２０が見えるようにすれば、よりエンタテインメント性が高まる。

（入力パターン５）
次に、複数のカード入力枠を有するインタフェース画面での他の入力パターンについて、図１４のフローチャートで説明する。

図１２（ａ）に示す複数のカード入力枠３１０を有するインタフェース画面３０１を含む重畳画面がディスプレイ装置３に表示されている（Ｓ６１）。このとき、カード入力枠３１０ａが攻撃用カードの受け付けエリア、カード入力枠３１０ｂが防御用カードの受け付けエリアとする。

画像認識部１０３は、カード入力枠３１０ａ，３１０ｂの双方に対応する領域のビデオ画像について、それぞれ、バーコード検出によるカードの認識処理を行う（Ｓ６２）。画像認識部１０３が、入力枠３１０ａ，３１０ｂの双方についてカードを認識すると（Ｓ６２：Ｙｅｓ）、認識されたカードＩＤがそれぞれの入力枠３１０ａ，３１０ｂと対応付けて主制御部１０４へ通知される。

主制御部１０４は、カードデータ記憶部１０９のカテゴリ１０９５（図６参照）を参照して、攻撃用のカード入力枠３１０ａのカードＩＤが攻撃用カードであるか判定する（Ｓ６３）。そのカードが攻撃用カードである場合は（Ｓ６３：Ｙｅｓ）、カードＩＤに基づいて定まる攻撃処理を実行する（Ｓ６４）。攻撃用カードでないときは（Ｓ６３：Ｎｏ）、ステップＳ６４をスキップする。次に、同様に、主制御部１０４はカードデータ記憶部１０９のカテゴリ１０９５を参照して、防御用のカード入力枠３１０ｂのカードＩＤが防御用カードであるか判定する（Ｓ６５）。防御用カードである場合は（Ｓ６５：Ｙｅｓ）、カードＩＤに基づいて定まる防御処理を実行する（Ｓ６６）。防御用カードでないときは（Ｓ６５：Ｎｏ）、ステップＳ６６をスキップする。

これにより、入力枠と対応するカテゴリのカードが提示されたときに、そのカードに応じた処理を実行することができる。さらには、防御用のカード入力枠に攻撃用カードを提示してしまったときのように、入力枠とカードのカテゴリとが対応しない場合は処理が行われないので、入力ミスを防ぐこともできる。

（入力パターン６）
次に、図１５に示すような、複数の攻撃用カード入力枠３１０ｃ〜ｅと、複数の防御用カード入力枠３１０ｆ〜ｈとを備えたインタフェース画面３０３での入力パターンについて説明する。

同図に示す例では、インタフェース画面３０３は、攻撃用カード入力枠３１０ｃ〜ｅを３つ、防御用カード入力枠３１０ｆ〜ｈを３つ、それぞれ有する。図１４の場合と同様、攻撃用及び防御用の入力枠３１０ｃ〜ｅ、３１０ｆ〜ｈには、それぞれ攻撃用カード及び防御用カードをそれぞれ受け付ける。従って、図１５の例では、攻撃用及び防御用のカードをそれぞれ３枚ずつ受け付けることができる。これにより、プレーヤーは、攻撃及び防御のためのカードを３種類指定できる。このため、１枚のカードで定まる攻撃または防御手段を、他の１枚または２枚により定まる態様で実行させることができる。

例えば、プレーヤーは、入力枠３１０ｄに攻撃を行うキャラクタのカード、入力枠３１０ｃにキャラクタが攻撃に使用する手段（例えば武器）のカード、および入力枠３１０ｆにキャラクタが用いる魔法のカードを提示する。さらに、入力枠３１０ｇに防御を行うキャラクタのカード、入力枠３１０ｆにキャラクタが防御に使用する手段のカード、および入力枠３１０ｈにキャラクタが用いる魔法のカードを提示する。

なお、複数の入力枠に対する入力受け付け順を定め、入力待ちの入力枠を点滅表示させるなどして、受け付け順をプレーヤーに知らせるようにしても良い。

また、ある入力枠にカードが提示されてバーコードが認識されると、何らかの方法（例えばカード入力枠を点滅させる、カードに対応するキャラクタを表示する、など）でバーコードが認識されたことをユーザに知らせる。ただし、この時点ではこの入力は未確定とし、バーコード認識から所定時間カードが提示され続けると、このカード入力が確定するようにしてもよい。これにより、カードを誤って提示したときなど、入力が確定する前に変更が可能となる。なお、カードが所定時間提示され続けたかどうかは、バーコードが認識され続けた時間が所定時間以上であるかにより判断し、あるいは、フレーム間差分による動き量が所定値以下であるかどうかにより判断してもよい。

それぞれのカードが認識されると、各入力枠とカードＩＤとが対応付けられて主制御部１０４へ通知される。主制御部１０４は、それぞれの入力枠とカードＩＤとの対応に基づいて、キャラクタ、攻撃防御手段などの組み合わせによる攻撃、防御のための処理を実行する。

なお、攻撃用及び防御用のカード入力枠は、それぞれ３つづつでなくてもよい。例えば、攻撃用防御用でそれぞれ一つずつの入力枠を用意し、それぞれに対して順番にカードを入力しても良い。また、複数の入力枠の一部を重ねたカスケード表示にして、入力待ちの入力枠を最前面に表示してもよい。

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。

例えば、カードの向きに応じて処理内容を変化させる入力パターン１は、他の入力パターンと組み合わせても良い。

本発明の一実施形態に係るエンタテインメントシステムの全体構成図である。 エンタテインメント装置の構成図である。 エンタテインメント装置の機能構成図である。 ビデオ画像、コンピュータ画像および重畳画像の例を示す図である。 本実施形態に係るカードおよびバーコードの説明図である。 カードデータ記憶部のデータ項目の一例を示す図である。 プレーヤーが提示するカードの向きに応じた処理を行うフローチャートである。 カード認識処理を示すフローチャートである。 プレーヤーがカードを提示するときの様子を示す図である。 カードの認識と、カードの動きとを組み合わせた処理のフローチャートである。 複数カードを認識し、各カードに対応するキャラクタを対戦させる処理のフローチャートである。 インタフェース画面の変形例を示す図である。 カード入力枠に対応するカードを認識したときの処理のフローチャートである。 ビデオ画像、コンピュータ画像および重畳画像の例を示す図である。 インタフェース画面の変形例を示す図である。

本実施形態に係るカードおよびバーコードの説明図である。

符号の説明

１…ビデオカメラ、２…エンタテインメント装置、３…ディスプレイ装置、４…プレーヤー、１０１…ビデオ画像入力部、１０２…画像反転部、１０３…画像認識部、１０４…主制御部、１０６…ＣＧ生成部、１０７…重畳画像生成部、１０８…表示制御部、１０９…カードデータ記憶部。

Claims (11)

1. 撮影手段により撮影された画像を取り込む手段と、
   取り込まれた前記画像を解析して、前記画像に写っているカードを認識する手段と、
   前記画像を解析して、前記カードの動きを検出する手段と、
   前記認識手段が認識した前記カードおよび前記動き検出手段が検出した動きの量に基づいて定まる処理を実行する手段と、を備えるエンタテインメント装置。
2. 前記処理実行手段は、
   前記認識されたカードと対応するキャラクタを選択し、
   前記動き検出手段が検出した動きの量に基づいて、前記キャラクタの能力に関するパラメータを決定して、前記キャラクタを登場させるための処理を実行する請求項１記載のエンタテインメント装置。
3. 前記認識手段は、前記カードに付されているバーコードを検出して前記カードを認識する請求項１記載のエンタテインメント装置。
4. 入力を受け付けるための第１の領域と第２の領域とを含むコンピュータ画像を生成する手段と、
   プレーヤーを撮影したビデオ画像を取り込む手段と、
   前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させる表示制御手段と、
   前記コンピュータ画像の第１の領域と対応する、前記ビデオ画像の第１の対応領域の画像を解析し、前記第１の対応領域に前記プレーヤーが提示したカードを認識する手段と、
   前記コンピュータ画像の第２の領域と対応する、前記ビデオ画像の第２の対応領域の画像を解析し、前記第２の対応領域に前記プレーヤーが仮想的にタッチしたことを検出する手段と、
   前記タッチ検出手段により前記タッチが検出されると、前記カード認識手段による認識結果に基づいて処理を実行する手段と、を備えるエンタテインメント装置。
5. 前記タッチ検出手段は、前記第２の対応領域内の動きを検出し、その動き量が所定以上であればタッチしたと判定する請求項３記載のエンタテインメント装置。
6. 前記タッチ検出手段は、前記第２の対応領域内の所定の色の画素数が所定数以上であればタッチがあると判定する請求項４記載のエンタテインメント装置。
7. 前記第２の領域にはキャラクタが表示されていて、
   前記処理実行手段は、前記タッチ検出手段により前記タッチが検出されると、前記キャラクタに対して、前記カード認識手段が認識したカードに対応する手段で攻撃するための処理を実行する請求項４記載のエンタテインメント装置。
8. 撮影手段により撮影された画像を取り込み、
   取り込まれた前記画像を解析して、前記画像に写っているカードを認識し、
   前記画像を解析して、前記カードの動きを検出し、
   認識された前記カードおよび検出された前記動きの量に基づいて定まる処理を実行する、カードによる入力を受け付けて処理を実行する方法。
9. コンピュータに実行されると、
   撮影手段により撮影された画像を取り込み、
   取り込まれた前記画像を解析して、前記画像に写っているカードを認識し、
   前記画像を解析して、前記カードの動きを検出し、
   認識された前記カードおよび検出された前記動きの量に基づいて実行する処理を決定する、カードによる入力を受け付けて実行する処理を決定するためのコンピュータプログラム。
10. 入力を受け付けるための第１の領域と第２の領域とを含むコンピュータ画像を生成し、
    プレーヤーを撮影したビデオ画像を取り込み、
    前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させ、
    前記コンピュータ画像の第１の領域と対応する、前記ビデオ画像の第１の対応領域の画像を解析し、前記第１の対応領域に前記プレーヤーが提示したカードを認識し、かつ、
    前記コンピュータ画像の第２の領域と対応する、前記ビデオ画像の第２の対応領域の画像を解析し、前記第２の対応領域に前記プレーヤーが仮想的にタッチしたことを検出すると、認識された前記カードに基づいて定まる処理を実行する、情報処理方法。
11. コンピュータに実行されると、
    入力を受け付けるための第１の領域と第２の領域とを含むコンピュータ画像を生成し、
    撮影手段がプレーヤーを撮影したビデオ画像を取り込み、
    前記ビデオ画像と、前記コンピュータ画像とを重ねて表示装置に表示させ、
    前記コンピュータ画像の第１の領域と対応する、前記ビデオ画像の第１の対応領域の画像を解析し、前記第１の対応領域に前記プレーヤーが提示したカードを認識し、
    前記コンピュータ画像の第２の領域と対応する、前記ビデオ画像の第２の対応領域の画像を解析し、前記第２の対応領域に前記プレーヤーが仮想的にタッチしたことを検出し、
    前記タッチが検出されると、認識された前記カードに基づいて処理を実行する、情報処理のためのコンピュータプログラム。
    

Images