JP2004348459A

JP2004348459A - マーク、マーク検出装置およびその方法と画面位置指示装置

Info

Publication number: JP2004348459A
Application number: JP2003145041A
Authority: JP
Inventors: Takashi Kojima; 崇司小島
Original assignee: Tamura Corp
Current assignee: Tamura Corp
Priority date: 2003-05-22
Filing date: 2003-05-22
Publication date: 2004-12-09

Abstract

【課題】撮像画像を基に高い精度で検出可能なマークを提供する。
【解決手段】光源１４が出射した光のうち、発光領域１２に入射した光は発光領域１２を透過してガン型コントローラに達するが、非発光領域１３に入射した光は非発光領域１３で遮光されてガン型コントローラには達しない。従って、ガン型コントローラの側から見ると、マーク１０は、白色の領域の内部に黒色の領域があるパターンとして視認される。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像画像を基に検出されるマーク、当該マークを検出するマーク検出装置およびその方法と画面位置指示装置に関する。
【０００２】
【従来の技術】
下記特許文献１には、カメラが撮像する場所において画像処理対象のエリアを他のエリアと区切る際に、画像処理対象のエリアにマーカーを配置し、そのマーカーの位置を特定する装置が開示されている。
この装置では、マーカーとして赤外線を反射する反射テープを用い、撮像領域に照射された赤外線による上記反射テープからの反射光を撮像画像上で特定している。
撮像画像上では、反射テープの部分が明るくなり、その周囲が影になるため、撮像画像上で黒色の領域の内部に白色の領域がある部分をマークとして検出している。
【０００３】
【特許文献１】
特開２００１−２４３４７２号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来の装置では、太陽光や蛍光灯、あるいはその他の光源からの直接光あるいは間接光が撮像領域に入ると、その部分が撮像画像上で黒色の領域の内部に白色の領域があるパターンとして映し出され、そのパターンをマーカーのパターンとして誤って検出する場合があり、マーカーの検出精度が低下するという問題がある。
なお、同様な問題は、ガン型コントローラなどの画面位置指示装置において、画面の周囲に位置検出用のマークを設けた場合にも生じる。
【０００５】
本発明は上述した従来技術の問題点に鑑みてなされ、撮像画像を基に高い精度で検出可能なマーク、並びに当該マークを検出するマーク検出装置およびその方法と、当該マークを用いた画面位置指示装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明のマークは、撮像装置による被撮像領域に配設され、撮像画像を基に検出されるマークであって、前記撮像装置に向けて光を出射して前記撮像画像上で前記出射した光に応じた第１の領域を形成し、前記撮像装置に対向して位置する発光手段と、前記撮像画像上で前記第１の領域の内部に位置し当該第１の領域に比べて低輝度の第２の領域を形成し、前記発光手段が位置する領域の内部に前記撮像装置に対向して位置する非発光手段とを有する。
【０００７】
第１の発明のマークの作用は以下のようになる。
当該マークが撮像装置で撮像されると、撮像画像上でマークの発光手段に対応した部分が第１の領域として形成される。また、当該撮像画像上でマークの非発光領域に対応した部分が前記第１の領域に比べて低輝度の第２の領域として形成される。この第２の領域は、第１の領域の内部に位置する。
そして、上記撮像画面を基に、所定の領域内に、当該領域よりも輝度の低い領域を有するパターンがマークとして検出される。
【０００８】
第１の発明のマークは、好ましくは、前記発光手段は、被撮像側の面に対して前記撮像装置と反対側に位置する発光部と、前記面上に位置し前記発光部からの光を透過して前記撮像装置に向けて出射する第１の部材とを有し、前記非発光手段は、前記面上に位置し、前記発光部からの光を遮光する第２の部材によって構成される。
また、第１の発明のマークは、好ましくは、前記発光手段は、被撮像側の面上に設けられた複数の発光部を有する。
【０００９】
第２の発明のマーク検出装置は、発光領域と当該発光領域の内側に位置する非発光領域とを被撮像側に有するマークを検出するマーク検出装置であって、前記マークを含む撮像領域を撮像して得られた撮像画像内にある第１の領域の内部に当該第１の領域に比べて輝度が低い第２の領域があるパターンを、前記マークの像として検出する検出手段を有する。
【００１０】
第３の発明の画面位置指示装置は、表示装置の画面を撮像する撮像手段と、前記表示装置の前記画面の周囲部に設けられたマークであって、非発光領域と当該発光領域の内側に位置する非発光領域とを被撮像側に有する前記マークの像を、前記撮像手段による撮像画像内で検出するマーク検出手段と、前記撮像画像内で前記検出されたマークの像の位置に基づいて、前記撮像画像内に規定された所定の指示位置に対応する前記画面上の位置の位置データを生成する位置算出手段とを有する。
【００１１】
第４の発明のマーク検出方法は、発光領域と当該発光領域の内側に位置する非発光領域とを被撮像側に有するマークを検出するマーク検出方法であって、前記マークを含む撮像領域を撮像して得られた撮像画像内にある第１の領域の内部に当該第１の領域に比べて輝度が低い第２の領域があるパターンを、前記マークの像として検出する。
【００１２】
【発明の実施の形態】
以下、本発明のマーク、マーク検出装置およびその方法と画面位置指示装置を適用した本発明の実施形態に係わるゲームシステムについて説明する。
図１は、本発明の実施形態のゲームシステム１の全体構成図である。
図１に示すように、ゲームシステム１は、例えば、ガン型コントローラ２、表示装置４およびゲーム機６を有する。
ここで、ガン型コントローラ２が本発明の画面位置指示装置およびマーク検出装置に対応し、表示装置４が本発明の表示装置に対応している。
【００１３】
図１に示すように、表示装置４の入力端子ＩＮと、ゲーム機６の出力端子ＯＵＴとが、ビデオケーブル７を介して接続されている。
また、ガン型コントローラ２とゲーム機６とが、ＵＳＢケーブル９を介して接続されている。
【００１４】
〔表示装置４〕
表示装置４は、ゲーム機６から入力したゲーム用の画像信号に応じた画像を画面５に表示する。
本実施形態では、表示装置４の表示方式は、走査線を用いるものの他、液晶テレビやプラズマディスプレイパネルなどの走査線を用いないものでもよい。
【００１５】
図１および図２に示すように、表示装置４の画面５の外周部（外枠）１１の４隅にはマーク１０（本発明のマーク）が設けられている。
図３は、マーク１０を説明するための図である。
図３に示すように、ガン型コントローラ２に内蔵されたイメージセンサによって撮像される面上（被撮像側）に、発光領域１２（本発明の発光手段）と非発光領域１３（本発明の非発光手段）とを有する。
非発光領域１３は、発光領域１２の内側に配設され、例えば、円形の領域である。
発光領域１２および非発光領域１３は、表示装置４の表面に露出している。
発光領域１２は、光透過性の部材を用いて構成されている。
非発光領域１３は、遮光性の部材を用いて構成され、例えば矩形の領域である。
また、上記面面に対して所定の距離を隔ててＬＥＤなどの光源１４（本発明の発光部）が配設されている。
光源１４が出射した光のうち、発光領域１２に入射した光は発光領域１２を透過してガン型コントローラ２に達するが、非発光領域１３に入射した光は非発光領域１３で遮光されてガン型コントローラ２には達しない。
従って、ガン型コントローラ２の側から見ると、マーク１０は、発光領域１２に対応した白色（本発明の第１の色）の領域の内部に、非発光領域１３に対応した黒色（本発明の第２の色）の領域があるパターンとして視認される。
なお、本発明の第１の色および第２の色は、第２の色が第１の色に比べて低い輝度として視覚されるものであれば特に限定されない。
【００１６】
なお、本実施形態では、外周部１１の４隅に同じパターンのマーク１０を設けた場合を例示したが、外周部１１に設けられるマーク１０の数は任意であり、また、４隅に設けられるマーク１０のパターンを相互に異ならせてもよい。
【００１７】
〔ガン型コントローラ２〕
図４は、図１に示すガン型コントローラ２の機能ブロック図である。
図１および図４に示すように、ガン型コントローラ２は、銃の形を模して形成された本体の握り部に設けられたトリガ２７と、銃口付近に内蔵されるレンズ２１と、ＣＭＯＳやＣＣＤなどのイメージセンサなどを内蔵した撮像データ生成部２２と、マーク検出部２３と、位置演算部２４と、通信部２６とを有する。
ここで、マーク検出部２３が本発明の検出手段およびマーク検出手段に対応している。また、位置演算部２４が本発明の位置算出手段に対応している。
【００１８】
撮像データ生成部２２は、レンズ２１を介して入力した光に応じた撮像データを生成し、これをマーク検出部２３に出力する。
【００１９】
マーク検出部２３は、撮像データ生成部２２から入力した撮像データに応じた撮像画像内の４つのマーク１０の像を、例えば、パターン認識などによって検出する。
図５は、マーク検出部２３の処理を説明するためのフローチャートである。
以下、図５に示す各ステップについて説明する。
ステップＳＴ１：
マーク検出部２３は、撮像データ生成部２２から撮像データを入力する。
ステップＳＴ２：
マーク検出部２３は、ステップＳＴ１で入力した撮像データを輝度について規定された所定のしきい値を基に２値化して、白色および黒色で構成される白黒画像の画像データを生成する。
【００２０】
ステップＳＴ３：
マーク検出部２３は、ステップＳＴ２で生成された白黒画像の画像データを基に、当該白黒画像内にある黒色領域を特定する。
そして、当該特定された黒色領域が複数ある場合には、各黒色領域について順に以下の処理を行う。
ステップＳＴ４：
マーク検出部２３は、ステップＳＴ３で特定された黒色領域のうち処理対象とする上記黒色領域（本発明の第１の領域）内に白色領域（本発明の第２の領域）があるか否かを判断し、黒色領域内に白色領域があると判断すると、これはマーク１０の像ではないため、ステップＳＴ７の処理に進み、黒色領域内に白色領域がないと判断するとマーク１０の像である可能性があるためステップＳＴ５の処理に進む。
【００２１】
ステップＳＴ５：
マーク検出部２３は、ステップＳＴ４で検出した黒色領域を、マーク１０の像の候補として記憶する。
ステップＳＴ６：
マーク検出部２３は、ステップＳＴ３で特定した全ての黒色領域についてステップＳＴ４，ＳＴ５の処理を終了したか否かを判断し、終了したと判断するとステップＳＴ８の処理に進み、そうでない場合にはステップＳＴ７の処理に進む。
【００２２】
ステップＳＴ７：
マーク検出部２３は、ステップＳＴ４，ＳＴ５の処理を未だ行っていない黒色領域について、ステップＳＴ４の処理を行う。
ステップＳＴ８：
マーク検出部２３は、ステップＳＴ５でマーク１０の像の候補として記憶した黒色領域について、予め保持しているマーク１０の形状等の特徴とのパターンマッチングなどの処理を行って、マーク１０の像を検出する。
【００２３】
位置演算部２４は、先ず、画面５上に規定された撮像画像座標系ｘ−ｙ内における、ステップＳＴ８でマーク検出部２３が検出したマーク１０の像の座標（位置）を求める。
そして、位置演算部２４は、上記マーク１０の像の座標と、ガン型コントローラ２の銃口が指し示す指定位置との位置関係を基に当該銃口による画面５上の指定位置を検出し、その結果を示す位置データを通信部２６に出力する。
【００２４】
通信部２６は、位置演算部２４から入力した位置データを図１に示すＵＳＢケーブル９を介してゲーム機６に出力する。
【００２５】
以下、図４に示すガン型コントローラ２の動作例を説明する。
先ず、表示装置４の画面５からの光が撮像データ生成部２２のフォトセンサに結像して撮像データが生成され、これがマーク検出部２３に出力される。
そして、マーク検出部２３において、撮像データ生成部２２から入力した撮像データに応じた撮像画像５０内のマーク１０の像が、例えば、パターン認識などによって検出される。
【００２６】
そして、位置演算部２４によって、前述したように、マーク検出部２３が検出したマーク１０の像との撮像画像内での位置関係を基に、ガン型コントローラ２による指示位置に対応する画面５上の位置データが生成され、ユーザがトリガ２７を引くことで入力した操作信号Ｓ２７を基に、これが通信部２６に出力される。
【００２７】
〔ゲーム機６〕
ゲーム機６は、所定のゲーム用プログラムに基づいて処理を行って画像信号を生成し、これをビデオケーブル７を介して表示装置４に出力する。
また、ゲーム機６は、ＵＳＢケーブル９を介してガン型コントローラ２から入力した位置データに基づいて、ゲームに係わる処理の流れにおいて、ガン型コントローラ２を走査しているユーザが、画面５上の標的オブジェクトを当てたか、あるいは外したかを判断し、その判断結果に基づいて画像信号を生成する。
【００２８】
以下、ゲームシステム１の全体動作を説明する。
ゲーム機６が、所定のゲーム用プログラムに基づいて処理を行って画像信号を生成し、これをビデオケーブル７を介して表示装置４に出力する。
そして、表示装置４の画面５上に、ゲーム機６からの画像信号に応じた画像が表示される。
そして、プレーヤが、ガン型コントローラ２を持ち、表示装置の画面５上に映し出される標的オブジェクトを狙ってトリガ２７を引く。
これにより、ガン型コントローラ２において、前述したガン型コントローラ２の動作例で説明した処理が行われ、ユーザによる画面５の指示位置が正確に求められ、その位置データがゲーム機６に出力される。
ゲーム機６は、ガン型コントローラ２の指示位置が画面上に表示された標的オブジェクトの位置と一致した場合には、当たりと判定し、一致しなかった場合には外れと判定し、その判定結果に基づいてゲーム用のプログラムの進行を決定する。
【００２９】
以上説明したように、ゲームシステム１では、被撮像側で発光領域１２の内側に非発光領域１３を設けたマーク１０を用いると共に、図４に示すマーク検出部２３が図５に示す手順に従ってマーク１０の像を検出する。すなわち、撮像画像内で白色領域内に黒色領域があるパターンをマーク１０の像の候補とし、黒色領域内に白色領域があるとマーク１０の像ではないと判断する。
そのため、太陽光や蛍光灯、あるいはその他の光源からの直接光あるいは間接光が撮像領域に入り、その部分が撮像画像上で黒色の領域の内部に白色の領域があるパターンとして映し出されても、それをマーク１０の像として誤検出することはなく、マーク１０の検出精度を従来に比べて高めることができる。
【００３０】
本発明は上述した実施形態には限定されない。
例えば、本発明のマークとして、例えば、図６に示すように、ガン型コントローラ２によって撮像される面（被撮像面）上に、中央部５１を除いて、複数のＬＥＤなどの発光部５０を配設したマーク１０ａを用いてもよい。
このようにして、ガン型コントローラ２によってマーク１０ａを撮像しても、マーク１０の像は、白色の領域の内部に黒色の領域があるパターンとして検出される。
【００３１】
また、図２に示す例の他に、例えば、図７に示すように、左隅等にのみ２つ（複数）のマーク１０を並べて配設することで、ガン型コントローラ２において撮像画像から画面５の上下左右を検出できる。
【００３２】
また、上述した実施形態では、光源１４および発光部５０としてＬＥＤを例示したが、これらは特に限定されず、例えば、有機ＥＬなどであってもよい。
【００３３】
例えば、上述した実施形態では、ゲーム用のガン型コントローラ２に本発明の画面位置指示装置を適用した場合を例示したが、画面に向けることで、マウスの移動、画面選択などを行う装置にも適用可能である。
また、本発明は、ポイントマーカや、マウスのような従来のポインタデバイスに加え、双方向テレビジョン対応のリモコンにも適用可能である。
【００３４】
【発明の効果】
以上説明したように、本発明のマークによれば、撮像画像を基に高い精度で検出可能である。
また、本発明のマーク検出装置およびその方法によれば、マークを含む撮像領域の撮像画像から当該マークの像を高い精度で検出できる。
また、本発明の画面位置指示装置によれば、画面上の指定位置を高い精度で検出できる。
【図面の簡単な説明】
【図１】図１は、本発明の実施形態のゲームシステムの全体構成図である。
【図２】図２は、図１に示す表示装置の外周部に配設されたマークを説明するための図である。
【図３】図３は図２に示すマークの構成を説明するための図である。
【図４】図４は、図１に示すガン型コントローラの構成図である。
【図５】図５は、図４に示すマーク検出部の処理を説明するためのフローチャートである。
【図６】図６は、図２に示すマークの変形例を説明するための図である。
【図７】図７は、本発明のその他の実施形態を説明するための図である。
【符号の説明】
１…ゲームシステム、２…ガン型コントローラ、４…表示装置、５…画面、６…ゲーム機、７…ビデオケーブル、９…ＵＳＢケーブル、１０，１０ａ…マーク、１１…外周部、１２…発光領域、１３…非発光領域、１４…光源、２１…レンズ、２２…撮像データ生成部、２３…マーク検出部、２４…位置演算部、２６…通信部，２７…トリガ、Ｓ２７…操作信号、５０…発光部、５１…中央部

Claims

撮像装置による被撮像領域に配設され、撮像画像を基に検出されるマークであって、
前記撮像装置に向けて光を出射して前記撮像画像上で前記出射した光に応じた第１の領域を形成し、前記撮像装置に対向して位置する発光手段と、
前記撮像画像上で前記第１の領域の内部に位置し当該第１の領域に比べて低輝度の第２の領域を形成し、前記発光手段が位置する領域の内部に前記撮像装置に対向して位置する非発光手段と
を有するマーク。
表示装置の画面上あるいはその周囲に形成され、撮像されて得られた撮像画像を基に前記画面上の位置を検出するために用いられる
請求項１に記載のマーク。
前記発光手段は、被撮像側の面に対して前記撮像装置と反対側に位置する発光部と、前記面上に位置し前記発光部からの光を透過して前記撮像装置に向けて出射する第１の部材とを有し、
前記非発光手段は、前記面上に位置し、前記発光部からの光を遮光する第２の部材によって構成される
請求項１または請求項２に記載のマーク。
前記発光手段は、被撮像側の面上に設けられた複数の発光部を有する
請求項１または請求項２に記載のマーク。
発光領域と当該発光領域の内側に位置する非発光領域とを被撮像側に有するマークを検出するマーク検出装置であって、
前記マークを含む撮像領域を撮像して得られた撮像画像内にある第１の領域の内部に当該第１の領域に比べて輝度が低い第２の領域があるパターンを、前記マークの像として検出する検出手段
を有するマーク検出装置。
輝度について規定された所定のしきい値を基に、前記撮像画像から第１の色および第２の色で構成される画像を生成する２値化手段
をさらに有し、
前記検出手段は、前記２値化手段が生成した画像にある前記第１の領域に対応した前記第１の色の領域の内部に、前記第２の領域に対応した前記第２の色の領域がある前記パターンを、前記マークの像として検出する
請求項５に記載のマーク検出装置。
前記検出手段は、前記マークを含む撮像領域を撮像して得られた撮像画像内にある前記第１の色の領域の内部に前記第２の色の領域がある前記パターンと予め規定した前記マークの特徴とを比較し、当該比較の結果を基に当該パターンが前記マークの像であるか否かを判断する
請求項６に記載のマーク検出装置。
表示装置の画面を撮像する撮像手段と、
前記表示装置の前記画面の周囲部に設けられたマークであって、発光領域と当該発光領域の内側に位置する非発光領域とを被撮像側に有する前記マークの像を、前記撮像手段による撮像画像内で検出するマーク検出手段と、
前記撮像画像内で前記検出されたマークの像の位置に基づいて、前記撮像画像内に規定された所定の指示位置に対応する前記画面上の位置の位置データを生成する位置算出手段と
を有する画面位置指示装置。
前記マーク検出手段は、前記撮像画像内にある第１の領域の内部に当該第１の領域に比べて輝度が低い第２の領域があるパターンを、前記マークの像として検出する
請求項８に記載の画面位置指示装置。
前記位置算出手段は、前記検出されたマークの像の前記撮像画像上での位置データと、前記撮像画像上での前記指示位置の位置データとを用いて、前記撮像画像上の指示位置に対応する前記画面上の位置の位置データを生成する
請求項８に記載の画面位置指示装置。
発光領域と当該発光領域の内側に位置する非発光領域とを被撮像側に有するマークを検出するマーク検出方法であって、
前記マークを含む撮像領域を撮像して得られた撮像画像内にある第１の領域の内部に当該第１の領域に比べて輝度が低い第２の領域があるパターンを、前記マークの像として検出する
マーク検出方法。