JP2003140832A - 画面位置指示装置およびその方法と画像システム - Google Patents

Abstract

(57)【要約】 【課題】 表示装置の表示形式に係わらず、画面上の指
定された位置を特定可能な画面位置指示装置を提供す
る。 【解決手段】 表示装置の画面を撮像する映像処理部２
２と、前記表示装置の画面の４隅あるいは前記表示装置
の前記画面の周囲部の４隅にそれぞれ形成されたマーク
であって、各マークを回転させても個々のマークを識別
可能であり、かつ、マーク単体で当該マークに対しての
画面中心側の向きを特定可能なパターンを有する４個の
マークのうち少なくとも一つのマークの像を、撮像画像
内で検出するマーク検出部２３と、前記撮像画像内にお
ける前記検出されたマークの像の位置に基づいて、前記
撮像画像内に規定された所定の指示位置に対応する前記
画面上の位置の位置データを生成する位置演算部２４と
を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、表示装置の表示形
式に係わらず、画面上の指定された位置を特定可能な画
面位置指示装置およびその方法と画像システムに関す
る。

【０００２】

【従来の技術】ガン型コントローラなどの画面位置指示
装置を用いて、標的オブジェクトをシューティングでき
るゲームシステムが開発および実用化されている。この
ようなゲームシステムでは、プレーヤが、ガン型コント
ローラを持ち、表示装置の画面上に映し出される標的オ
ブジェクトを狙ってトリガを引く。これにより、ガン型
コントローラによる画面上の指示位置が、ガン型コント
ローラに内蔵される光センサにより光学的に検出され
る。そして、ガン型コントローラの指示位置が画面上に
表示された標的オブジェクトの位置と一致した場合に
は、当たりと判定され、一致しなかった場合には外れと
判定され、その判定結果に基づいてゲームが進行され
る。

【０００３】このようなガン型コントローラは、画面か
らの映像信号が含む同期信号を用いて、ガン型コントロ
ーラが内蔵する光センサからの光検出信号の出力タイミ
ングを測定することで、画面上の指示位置を演算して求
めている。

【０００４】

【発明が解決しようとする課題】しかしながら、近年、
例えば、液晶テレビや、プラズマディスプレイパネルな
どの走査線を用いずに表示を行う表示装置が普及してい
るが、このような表示装置には、前述した従来のガン型
コントローラを用いた画面位置検出を行うことができな
いという問題がある。

【０００５】本発明は上述した従来技術の問題点に鑑み
てなされ、表示装置の表示形式に係わらず、画面上の指
定された位置を特定可能な画面位置指示装置およびその
方法と画像システムを提供することを目的とする。

【０００６】

【課題を解決するための手段】上述した従来技術の問題
点を解決し、上述した目的を達成するために、第１の発
明の画面位置指示装置は、表示装置の画面を撮像する撮
像手段と、前記画面の４隅あるいは前記表示装置の前記
画面の周囲部の４隅にそれぞれ形成されたマークであっ
て、各マークを回転させても個々のマークを識別可能で
あり、かつ、マーク単体で当該マークに対しての画面中
心側の向きを特定可能なパターンを有する４個のマーク
のうち少なくとも一つのマークの像を、前記撮像手段に
よる撮像画像内で検出するマーク検出手段と、前記撮像
画像内における前記検出されたマークの像の位置に基づ
いて、前記撮像画像内に規定された所定の指示位置に対
応する前記画面上の位置の位置データを生成する位置算
出手段とを有する。

【０００７】第１の発明の画面位置指示装置の作用は以
下のようになる。撮像手段によって、表示装置の画面が
撮像される。次に、マーク検出手段によって、前記画面
の４隅あるいは前記表示装置の前記画面の周囲部の４隅
にそれぞれ形成されたマークであって、各マークを回転
させても個々のマークを識別可能であり、かつ、マーク
単体で当該マークに対しての画面中心側の向きを特定可
能なパターンを有する４個のマークのうち少なくとも一
つのマークの像が、前記撮像手段による撮像画像内で検
出される。次に、位置算出手段によって、前記撮像画像
内における前記検出されたマークの像の位置に基づい
て、前記撮像画像内に規定された所定の指示位置に対応
する前記画面上の位置の位置データが生成される。

【０００８】また、第１の発明の画面位置指示装置は、
好ましくは、前記位置算出手段は、前記検出されたマー
クの像の前記撮像画像上での位置データ、前記撮像画像
上での前記指示位置の位置データとを用いて、前記撮像
画像上の指示位置に対応する前記画面上の位置の位置デ
ータを生成する。また、第１の発明の画面位置指示装置
は、好ましくは、前記位置算出手段は、前記検出された
マークの像の前記位置データによって特定される前記検
出されていないマークの位置データをさらに用いて前記
指示位置に対応する前記画面上の位置の位置データを生
成する。また、第１の発明の画面位置指示装置は、好ま
しくは、前記撮像手段は、前記表示装置の画面と相似し
た形状の前記撮像画像を生成し、前記位置算出手段は、
前記撮像画像に対して、前記表示装置の画面の像が傾い
ている場合に、前記検出されたマークの前記撮像画像上
での位置に基づいて、前記傾きを補正するように、前記
検出されたマークの像の前記撮像画像上での位置データ
を補正する。

【０００９】また、第２の発明の画面位置指示方法は、
表示装置の画面上の位置を指示する画面位置指示方法で
あって、各マークを回転させても個々のマークを識別可
能であり、かつ、マーク単体で当該マークに対しての画
面中心側の向きを特定可能なパターンを有する４個のマ
ークが、画面の４隅あるいは前記画面の周囲部の４隅に
形成された表示装置を撮像し、撮像画像内で前記マーク
の像を検出し、前記撮像画像内における前記検出された
マークの像の位置に基づいて、前記撮像画像内に規定さ
れた所定の指示位置に対応する前記画面上の位置の位置
データを生成する。

【００１０】また、第３の発明の画像システムは、各マ
ークを回転させても個々のマークを識別可能であり、か
つ、マーク単体で当該マークに対しての画面中心側の向
きを特定可能なパターンを有する４個のマークが、画面
の４隅あるいは前記画面の周囲部の４隅に形成された表
示装置と、前記表示装置の画面に表示する画像信号を生
成する画像処理装置と、前記画面上の位置を指示するた
めの画面位置指示装置とを有する画像システムであっ
て、前記画面位置指示装置は、前記表示装置の画面を撮
像する撮像手段と、前記前記４個のマークのうち少なく
とも一つのマークの像を、前記撮像手段による撮像画像
内で検出するマーク検出手段と、前記撮像画像内におけ
る前記検出されたマークの像の位置に基づいて、前記撮
像画像内に規定された所定の指示位置に対応する前記画
面上の位置の位置データを生成する位置算出手段と、前
記生成された位置データを前記画像処理装置に出力する
出力手段とを有する。

【００１１】

【発明の実施の形態】以下、本発明の実施形態に係わる
ゲームシステムについて説明する。図１は、本発明の実
施形態のゲームシステム１の全体構成図である。図１に
示すように、ゲームシステム１は、例えば、ガン型コン
トローラ２、表示装置４およびゲーム機６を有する。こ
こで、ガン型コントローラ２が本発明の画面位置指示装
置に対応し、表示装置４が本発明の表示装置に対応し、
表示装置４が本発明の画像処理装置に対応している。

【００１２】図１に示すように、表示装置４の入力端子
ＩＮと、ゲーム機６の出力端子ＯＵＴとが、ビデオケー
ブル７を介して接続されている。また、ガン型コントロ
ーラ２とゲーム機６とが、ＵＳＢケーブル９を介して接
続されている。

【００１３】〔表示装置４〕表示装置４は、ゲーム機６
から入力したゲーム用の画像信号に応じた画像を画面５
に表示する。本実施形態では、表示装置４の表示方式
は、走査線を用いるものの他、液晶テレビやプラズマデ
ィスプレイパネルなどの走査線を用いないものでもよ
い。なお、本実施形態では、例えば、画面５の水平分解
能数を４２０、垂直分解能数を２４０とする。

【００１４】図２は、表示装置４が画面５上に表示する
マークを説明するための図である。表示装置４は、後述
するように、ガン型コントローラ２の処理に用いられる
図２に示すマークＡ，Ｂ，Ｃ，Ｄ（本発明のマーク）を
画面５内の４隅に表示する。表示装置４は、マークＡ，
Ｂ，Ｃ，Ｄを画面５内に常に表示してもよいし、ガン型
コントローラ２が使用されるときにのみ表示してもよい
し、あるいは、ガン型コントローラ２のトリガ２７が引
かれたときにのみ表示してもよい。マークＡ，Ｂ，Ｃ，
Ｄの各々は、回転させても個々のマークを識別可能であ
り、かつ、マーク単体で当該マークに対しての画面中心
側の向きを特定可能なパターンを有している。

【００１５】具体的には、図３（Ａ）に示すように、画
面５の左上隅に表示されるマークＡは、凸状のパターン
３０ａの向き（図３中右側）および凸状のパターン３１
ａの向き（図３中下側）に画面５の中心側があることを
示唆している。また、図３（Ｂ）に示すように、画面５
の右上隅に表示されるマークＢは、凸状のパターン３０
ｂの向き（図３中左側）および凸状のパターン３１ｂの
向き（図３中下側）に画面５の中心側があることを示唆
している。また、図３（Ｃ）に示すように、画面５の左
下隅に表示されるマークＣは、凸状のパターン３０ｃの
向き（図３中右側）および凸状のパターン３１ｃの向き
（図３中上側）に画面５の中心側があることを示唆して
いる。また、図３（Ｄ）に示すように、画面５の右下隅
に表示されるマークＤは、凸状のパターン３０ｄの向き
（図３中左側）および凸状のパターン３１ｄの向き（図
３中上側）に画面５の中心側があることを示唆してい
る。

【００１６】図３（Ａ）〜（Ｄ）に示すように、マーク
Ａ，Ｂ，Ｃ，Ｄは、相互に大きさ、形状が異なる矩形パ
ターンを有している。

【００１７】〔ガン型コントローラ２〕図４は、図１に
示すガン型コントローラ２の機能ブロック図である。図
１および図４に示すように、ガン型コントローラ２は、
銃の形を模して形成された本体の握り部に設けられたト
リガ２７と、銃口付近に内蔵されるレンズ２１と、ＣＭ
ＯＳやＣＣＤなどの光センサなどを内蔵した映像処理部
２２と、マーク検出部２３と、位置演算部２４と、回転
補正処理部２５と、通信部２６とを有する。ここで、映
像処理部２２が本発明の撮像手段に対応し、マーク検出
部２３が本発明のマーク検出手段に対応し、位置演算部
２４および回転補正処理部２５が本発明の位置算出手段
に対応し、通信部２６が本発明の出力手段に対応してい
る。

【００１８】映像処理部２２は、レンズ２１を介して入
力した光に応じた撮像データを生成し、これをマーク検
出部２３に出力する。なお、映像処理部２２は、マーク
検出部２３においてマークＡ，Ｂ，Ｃ，Ｄのパターンを
検出できれば良いため、白黒の撮像データを生成すれば
よい。図５は、ガン型コントローラ２の映像処理部２２
が生成した撮像データに応じた撮像画像５０の一例を説
明するための図である。図５に示すように、撮像画像５
０は、例えば、画面５と同様に水平分解能数が４２０、
垂直分解能数が２４０であり、画面５上のマークＡ，
Ｂ，Ｃ，Ｄの像であるマーク像ａ，ｂ，ｃ，ｄが映し出
されている。

【００１９】マーク検出部２３は、映像処理部２２から
入力した撮像データに応じた撮像画像５０内のマーク像
ａ，ｂ，ｃ，ｄを、例えば、パターン認識などによって
検出する。

【００２０】位置演算部２４は、先ず、画面５上に規定
された撮像画像座標系ｘ−ｙにおける、位置演算部２４
が検出したマーク像ａ，ｂ，ｃ，ｄの座標（位置）を求
める。例えば、撮像画像座標系ｘ−ｙにおけるマーク像
ａの座標（ａ（ｘ），ａ（ｙ））、マーク像ｂの座標
（ｂ（ｘ），ｂ（ｙ））、マーク像ｂの座標（ｃ
（ｘ），ｃ（ｙ））、マーク像ｄの座標（ｄ（ｘ），ｄ
（ｙ））を求める。そして、画面５上での指示位置Ｐの
座標（ｘｐ，ｙｐ）と、座標（ａ（ｘ），ａ（ｙ）），
（ｂ（ｘ），ｂ（ｙ）），（ｃ（ｘ），ｃ（ｙ）），
（ｄ（ｘ），ｄ（ｙ））のうち必要な座標と用いて、画
面５の像５ａ内における指示位置Ｐの位置を特定する。
具体的には、位置演算部２４は、ｘ方向において、（ｘ
ｐ−ａ（ｘ））：（ｂ（ｘ）−ｘｐ）を求め、その結果
と、画面５のＸ方向（水平方向）の分解能数４２０を考
慮して、画面５内の指示位置ＰのＸ方向左端からの位置
を分解能数で示す。図５に示す例では、（ｘｐ−ａ
（ｘ））：（ｂ（ｘ）−ｘｐ）＝１：３となるので、画
面５内の指示位置ＰのＸ方向左端からの位置は、４２０
×１／４＝１０５となる。

【００２１】具体的には、位置演算部２４は、ｙ方向に
おいて、（ｙｐ−ａ（ｙ））：（ｃ（ｙ）−ｙｐ）を求
め、その結果と、画面５のＹ方向（垂直方向）の分解能
数２４０を考慮して、画面５内の指示位置ＰのＹ方向上
端からの位置を分解能数で示す。図５に示す例では、
（ｙｐ−ａ（ｙ））：（ｃ（ｙ）−ｙｐ）＝３：１とな
るので、画面５内の指示位置ＰのＹ方向上端からの位置
は、２４０×３／４＝１８０となる。

【００２２】位置演算部２４は、上述したようにして求
めた画面５上の座標（Ｘ，Ｙ）を示す位置データを通信
部２６に出力する。なお、位置演算部２４は、図６に示
すように、画面５の像５ａが、撮像画像５０に対して傾
いている場合に、後述する回転補正処理部２５による回
転補正処理を経た後の座標（ａ（ｘ），ａ（ｙ）），
（ｂ（ｘ），ｂ（ｙ）），（ｃ（ｘ），ｃ（ｙ）），
（ｄ（ｘ），ｄ（ｙ））を用いて上述した演算を行う。

【００２３】また、位置演算部２４は、図７に示すよう
に、撮像画像５０内にマーク像ａ，ｂ，ｃ，ｄのうち、
例えば、一つのマーク像（当該例では、マーク像ｃ）し
か映し出されていない場合でも、当該マーク像のパター
ンから、当該マーク像がマーク像ａ，ｂ，ｃ，ｄのいず
れであるかを特定し、図３に示す凸部３０ａ〜３０ｄ，
３１ａ〜３１ｄの向きから画面中心側の向きを特定し、
その結果に基づいて、他の映し出されていないマーク像
の位置を仮想的に特定して前述したのと同様の処理を行
う。

【００２４】回転補正処理部２５は、例えば、図６に示
すように、位置演算部２４が求めた座標（ａ（ｘ），ａ
（ｙ）），（ｂ（ｘ），ｂ（ｙ）），（ｃ（ｘ），ｃ
（ｙ）），（ｄ（ｘ），ｄ（ｙ））が、ａ（ｘ）＝ｃ
（ｘ）、ａ（ｙ）＝ｂ（ｙ）、ｂ（ｘ）＝ｄ（ｘ）、ｃ
（ｙ）＝ｄ（ｙ）の全ての条件を満たしていない場合
に、撮像画像５０内で、画面５の像５ａを回転補正し
て、上記条件を満たす新たな座標を生成し、これを位置
演算部２４に出力する。

【００２５】通信部２６は、位置演算部２４から入力し
た位置データを図１に示すＵＳＢケーブル９を介してゲ
ーム機６に出力する。

【００２６】以下、図４に示すガン型コントローラ２の
動作例を説明する。先ず、ユーザがトリガ２７を引くこ
とで、表示装置４の画面５からの光が映像処理部２２の
フォトセンサに結像して撮像データが生成され、これが
マーク検出部２３に出力される。そして、マーク検出部
２３において、映像処理部２２から入力した撮像データ
に応じた撮像画像５０内のマーク像ａ，ｂ，ｃ，ｄが、
例えば、パターン認識などによって検出される。

【００２７】そして、位置演算部２４および回転補正処
理部２５によって、前述したように、ガン型コントロー
ラ２による指示位置に対応する画面５上の位置データが
生成され、これが通信部２６に出力される。

【００２８】〔ゲーム機６〕ゲーム機６は、所定のゲー
ム用プログラムに基づいて処理を行って画像信号を生成
し、これをビデオケーブル７を介して表示装置４に出力
する。また、ゲーム機６は、ＵＳＢケーブル９を介して
ガン型コントローラ２から入力した位置データに基づい
て、ゲームに係わる処理の流れにおいて、ガン型コント
ローラ２を走査しているユーザが、画面５上の標的オブ
ジェクトを当てたか、あるいは外したかを判断し、その
判断結果に基づいて画像信号を生成する。

【００２９】以下、ゲームシステム１の全体動作を説明
する。ゲーム機６が、所定のゲーム用プログラムに基づ
いて処理を行って画像信号を生成し、これをビデオケー
ブル７を介して表示装置４に出力する。そして、表示装
置４の画面５上に、ゲーム機６からの画像信号に応じた
画像が表示される。このとき、画面５上には、図２に示
すように、マークＡ，Ｂ，Ｃ，Ｄが表示される。そし
て、プレーヤが、ガン型コントローラ２を持ち、表示装
置の画面５上に映し出される標的オブジェクトを狙って
トリガ２７を引く。これにより、ガン型コントローラ２
において、前述したガン型コントローラ２の動作例で説
明した処理が行われ、ユーザによる画面５の指示位置が
正確に求められ、その位置データがゲーム機６に出力さ
れる。ゲーム機６は、ガン型コントローラ２の指示位置
が画面上に表示された標的オブジェクトの位置と一致し
た場合には、当たりと判定し、一致しなかった場合には
外れと判定し、その判定結果に基づいてゲーム用のプロ
グラムの進行を決定する。

【００３０】以上説明したように、ゲームシステム１に
よれば、図２に示すように、表示装置４の画面５上にマ
ークＡ，Ｂ，Ｃ，Ｄを表示し、ガン型コントローラ２に
おいて、マークＡ，Ｂ，Ｃ，Ｄのマーク像ａ，ｂ，ｃ，
ｄを用いて前述した処理を行うことで、表示装置４の走
査線を用いずに、ガン型コントローラ２によって指示さ
れた画面５上の位置を検出できる。そのため、走査線を
用いない、液晶テレビやプラズマディスプレイパネルな
どの多様な表示方式を用いた表示装置４にも、ガン型コ
ントローラ２を使用できる。

【００３１】本発明は上述した実施形態には限定されな
い。例えば、上述した実施形態では、ゲーム用のガン型
コントローラ２に本発明の画面位置指示装置を適用した
場合を例示したが、画面に向けることで、マウスの移
動、画面選択などを行う装置にも適用可能である。ま
た、本発明は、ポイントマーカや、マウスのような従来
のポインタデバイスに加え、双方向テレビジョン対応の
リモコンにも適用可能である。

【００３２】また、上述した実施形態では、表示装置４
の画面５内にマークＡ，Ｂ，Ｃ，Ｄを表示した場合を例
示したが、図８に示すように、表示装置４の画面５の周
囲部８０の四隅にマークＡ，Ｂ，Ｃ，Ｄを形成してもよ
い。

【００３３】

【発明の効果】以上説明したように、本発明によれば、
表示装置の表示形式に係わらず、画面上の指定された位
置を特定可能な画面位置指示装置およびその方法と画像
システムを提供することができる。

【図面の簡単な説明】

【図１】図１は、本発明の実施形態のゲームシステムの
全体構成図である。

【図２】図２は、図１に示す表示装置の画面上に表示す
るマークを説明するための図である。

【図３】図３は図２に示すマークを説明するための図で
ある。

【図４】図４は、図１に示すガン型コントローラの画像
位置指示機能の機能ブロック図である。

【図５】図５は、図４に示す位置演算部の処理を説明す
るための図である。

【図６】図６は、図４に示す回転補正処理部の処理を説
明するための図である。

【図７】図７は、図４に示す位置演算部の処理を説明す
るための図である。

【図８】図８は、マークを表示装置の画面の周囲部に形
成した場合を説明するための図である。

【符号の説明】

１…ゲームシステム、２…ガン型コントローラ、４…表
示装置、５…画面、６…ゲーム機、７…ビデオケーブ
ル、９…ＵＳＢケーブル、Ａ，Ｂ，Ｃ，Ｄ…マーク、
ａ，ｂ，ｃ，ｄ…マーク像、２１…レンズ、２２…映像
処理部、２３…マーク検出部、２４…位置演算部、２５
…回転補正処理部、２６…通信部、５０…撮像画像

Claims (6)

【特許請求の範囲】
1. 【請求項１】表示装置の画面を撮像する撮像手段と、 前記画面の４隅あるいは前記表示装置の前記画面の周囲
   部の４隅にそれぞれ形成されたマークであって、各マー
   クを回転させても個々のマークを識別可能であり、か
   つ、マーク単体で当該マークに対しての画面中心側の向
   きを特定可能なパターンを有する４個のマークのうち少
   なくとも一つのマークの像を、前記撮像手段による撮像
   画像内で検出するマーク検出手段と、 前記撮像画像内における前記検出されたマークの像の位
   置に基づいて、前記撮像画像内に規定された所定の指示
   位置に対応する前記画面上の位置の位置データを生成す
   る位置算出手段とを有する画面位置指示装置。
2. 【請求項２】前記位置算出手段は、前記検出されたマー
   クの像の前記撮像画像上での位置データ、前記撮像画像
   上での前記指示位置の位置データとを用いて、前記撮像
   画像上の指示位置に対応する前記画面上の位置の位置デ
   ータを生成する請求項１に記載の画面位置指示装置。
3. 【請求項３】前記位置算出手段は、前記検出されたマー
   クの像の前記位置データによって特定される前記検出さ
   れていないマークの位置データをさらに用いて前記指示
   位置に対応する前記画面上の位置の位置データを生成す
   る請求項２に記載の画面位置指示装置。
4. 【請求項４】前記撮像手段は、前記表示装置の画面と相
   似した形状の前記撮像画像を生成し、 前記位置算出手段は、前記撮像画像に対して、前記表示
   装置の画面の像が傾いている場合に、前記検出されたマ
   ークの前記撮像画像上での位置に基づいて、前記傾きを
   補正するように、前記検出されたマークの像の前記撮像
   画像上での位置データを補正する請求項１〜３のいずれ
   かに記載の画面位置指示装置。
5. 【請求項５】表示装置の画面上の位置を指示する画面位
   置指示方法であって、 各マークを回転させても個々のマークを識別可能であ
   り、かつ、マーク単体で当該マークに対しての画面中心
   側の向きを特定可能なパターンを有する４個のマーク
   が、画面の４隅あるいは前記画面の周囲部の４隅に形成
   された表示装置を撮像し、 撮像画像内で前記マークの像を検出し、 前記撮像画像内における前記検出されたマークの像の位
   置に基づいて、前記撮像画像内に規定された所定の指示
   位置に対応する前記画面上の位置の位置データを生成す
   る画面位置指示方法。
6. 【請求項６】各マークを回転させても個々のマークを識
   別可能であり、かつ、マーク単体で当該マークに対して
   の画面中心側の向きを特定可能なパターンを有する４個
   のマークが、画面の４隅あるいは前記画面の周囲部の４
   隅に形成された表示装置と、 前記表示装置の画面に表示する画像信号を生成する画像
   処理装置と、 前記画面上の位置を指示するための画面位置指示装置と
   を有する画像システムであって、 前記画面位置指示装置は、 前記表示装置の画面を撮像する撮像手段と、 前記前記４個のマークのうち少なくとも一つのマークの
   像を、前記撮像手段による撮像画像内で検出するマーク
   検出手段と、 前記撮像画像内における前記検出されたマークの像の位
   置に基づいて、前記撮像画像内に規定された所定の指示
   位置に対応する前記画面上の位置の位置データを生成す
   る位置算出手段と、 前記生成された位置データを前記画像処理装置に出力す
   る出力手段とを有する画像システム。