JP2000259340A - 入力装置および方法、入力システム、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 単純で、規模の小さな装置で、３次元の位置
および角度が検出できるようにする。 【解決手段】 発光ダイオード２１−１乃至２１−４
は、相互に位置が既知で、所定の発光パターンで発光す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力装置および方
法、入力システム、並びに提供媒体に関し、特に、情報
処理装置に所定の指令を入力する入力装置および方法、
入力システム、並びに提供媒体に関する。

【０００２】

【従来の技術】コンピュータゲームまたはバーチャルリ
アリティなど所定のアプリケーションプログラムにおい
て、コンピュータが利用者の動作または操作に応じて反
応する、いわゆるインタラクティブな処理が一般的にな
りつつある。

【０００３】このようなアプリケーションプログラム
は、３次元空間を基にした画像を表示させるのものが多
い。例えば、画面に表示された３次元の仮想空間で、利
用者の操作に対応させ、所定の飛行機またはキャラクタ
ーなどを動作させ、３次元の仮想空間の中の敵の飛行
機、基地、または生物などを攻撃するコンピュータゲー
ムには、多数の例がある。

【０００４】ところで、このような仮想的な３次元空間
で、飛行機またはキャラクターなどを操縦などするため
には、所定の数の入力を同時に入力する必要がある。例
えば、ジョイスティックなどは、前後左右の方向および
移動量を入力し、ゲーム専用機などで広く用いられてい
るゲームコントローラは、前後左右の方向および移動量
に加えて、更に、複数のスイッチ（ボタン）が押された
か否かを入力する。

【０００５】一方、バーチャルリアリティにおいては、
一般に、磁気センサおよびジャイロを利用して、利用者
の所定の部位（頭部であることが多い）の位置および角
度が検出され、その６種類の検出量（例えば、直交座標
を基に、ｘ，ｙ、およびｚで表される位置、並びにＲｘ
（いわゆる、ロール），Ｒｙ（いわゆる、ピッチ）、お
よびＲｚ（いわゆる、ヨー）で表される角度）を基に、
表示する画像が算出される。

【０００６】一般に、コンピュータゲームまたはバーチ
ャルリアリティなどにおいて、同時に入力される指示ま
たは検出量が、多いほど、きめ細かな処理が可能とな
り、インタラクティブ性が向上する。このような観点か
ら、種々のコントローラまたは入力デバイスが利用さ
れ、提案されている。

【０００７】例えば、多数の赤外線センサを配置したマ
ット、および赤外線を発するパッドを組み合わせ、パッ
ドの３次元の位置を検出する入力デバイスの発明が、特
開平１０−２９３６４６号公報で開示されている。ま
た、特許番号２６１３８４３号特許に係る発明において
は、所定の位置に配置された複数の光源の光を、４分割
フォトディテクタを利用した検出器が検出し、光源に対
する検出器の位置および角度が算出される。

【０００８】更に、特開平８−３４０４７５号公報にお
いて、それぞれ所定の偏光方向に偏光された光を発する
複数の光源を含む光源部と、所定の偏光方向に偏光され
た光を検出する検出部を組み合わせて、光源部の角度を
検出する発明が開示されている。

【０００９】

【発明が解決しようとする課題】特開平１０−２９３６
４６号公報で開示されている入力デバイスは、パッドの
角度が検出できない。磁気センサおよびジャイロを利用
するとき、または特開平１０−２９３６４６号公報で開
示されている発明においては、３次元の位置および角度
が検出できるが、装置が大掛かりとなる。特許番号２６
１３８４３号特許に係る検出装置は、光源の発光と検出
器の検出のタイミングとを同期させなければならず、装
置が複雑になる。

【００１０】以上のいずれの装置においても、入力デバ
イスに設けられた複数のスイッチが押されたか否かを検
出するには、所定の機構を追加しなければならない。

【００１１】本発明はこのような状況に鑑みてなされた
ものであり、単純で、規模の小さな装置で、３次元の位
置および角度が検出できるようにすることを目的とす
る。

【００１２】また、特別な機構を追加しなくても、入力
デバイスの３次元の位置および角度を検出すると同時
に、入力デバイスに設けられた複数のスイッチが押され
たか否かを検出できるようにすることを目的とする。

【００１３】

【課題を解決するための手段】請求項１に記載の入力装
置は、相互に位置が既知で、所定の発光パターンで発光
する４個以上の発光手段を含むことを特徴とする。

【００１４】請求項４に記載の入力方法は、相互に位置
が既知の４つ以上の点で、所定の発光パターンで発光す
る発光ステップを含むことを特徴とする。

【００１５】請求項５に記載の提供媒体は、入力装置
に、相互に位置が既知の４つ以上の点で、所定の発光パ
ターンで発光する発光ステップを含む処理を実行させる
コンピュータが読み取り可能なプログラムを提供するこ
とを特徴とする。

【００１６】請求項６に記載の入力システムは、入力装
置が、相互に位置が既知で、所定の発光パターンで発光
する４個以上の発光手段を含み、撮像装置が、流し撮像
により、入力装置の画像を撮像する撮像手段を含み、画
像処理装置が、撮像手段が撮像した、入力装置の発光手
段の点滅パターンを検出する検出手段と、撮像手段が撮
像した、入力装置の発光手段の画像上の位置から、入力
装置の３次元空間上の傾きを算出する第１の算出手段
と、入力手段の発光手段の距離および第１の算出手段が
算出した入力手段の３次元空間上の傾きから、入力装置
の３次元空間上の位置を算出する第２の算出手段とを含
むことを特徴とする。

【００１７】請求項１に記載の入力装置、請求項４に記
載の入力方法、および請求項５に記載の提供媒体におい
ては、４つ以上の発光点が、相互に位置が既知で、所定
の発光パターンで発光される。

【００１８】請求項６に記載の入力システムにおいて
は、４つ以上の発光点が、相互に位置が既知で、所定の
発光パターンで発光され、流し撮像により、画像が撮像
され、点滅パターンが検出され、画像上の位置から、３
次元空間上の傾きが算出され、距離および３次元空間上
の傾きから、３次元空間上の位置が算出される。

【００１９】

【発明の実施の形態】図１は、本発明に係るコンピュー
タゲームシステムの一実施の形態を説明する図である。
コントローラ１は、自動車のステアリングホイールを模
した形状を有し、コンピュータゲームをしている利用者
６に把持され、移動または回転される。また、コントロ
ーラ１の所定の位置に設けられた、後述するスイッチ１
１乃至１３は、所定のタイミングで利用者６に押され
る。

【００２０】撮像装置２は、コントローラ１の画像を撮
像し、コントローラ１の画像を含む所定の方式の画像の
信号を画像処理装置３に供給する。画像処理装置３は、
撮像装置２から供給されたコントローラ１の画像を基
に、コントローラ１の３次元の位置および角度を検出す
るとともに、スイッチ１１乃至１３のいずれかが押され
たか否かを検出し、コントローラ１の３次元の位置およ
び角度を示すデータ、並びにスイッチ１１乃至１３のい
ずれかが押されたか否かを示すデータ（後述するコー
ド）をパーソナルコンピュータ４に供給する。

【００２１】パーソナルコンピュータ４は、コントロー
ラ１の３次元の位置および角度を示すデータ、並びにコ
ードを基に、ゲームプログラムを動作させ、所定の画像
を表示させる信号をディスプレイ５に供給する。ディス
プレイ５は、パーソナルコンピュータ４から供給された
信号を基に、コントローラ１の３次元の位置および角度
を示すデータ、並びにコードに対応した画像を表示す
る。

【００２２】図２は、コントローラ１の外観を示す図で
ある。コントローラ１の表側には、図２（Ａ）に示すよ
うに、スイッチ１１、スイッチ１２、およびスイッチ１
３が設けられている。コントローラ１の裏側には、図２
（Ｂ）に示すように、所定の位置に発光ダイオード２１
−１乃至２１−４が設けられている。この実施の形態の
コントローラ１においては、発光ダイオード２１−１乃
至２１−４は、長辺の長さがＬａで、短辺の長さがＬｂ
である長方形の頂点に位置するように固定され、それぞ
れ所定の発光パターンで、赤外線を発光する。

【００２３】図３は、コントローラ１の構成を説明する
ブロック図である。スイッチ１１は、利用者６に押され
たとき、所定の信号を制御部３１に供給し、利用者６に
押されていないとき、他の信号を制御部３１に供給す
る。スイッチ１２は、利用者６に押されたとき、所定の
信号を制御部３１に供給し、利用者６に押されていない
とき、他の信号を制御部３１に供給する。スイッチ１３
は、利用者６に押されたとき、所定の信号を制御部３１
に供給し、利用者６に押されていないとき、他の信号を
制御部３１に供給する。

【００２４】基準クロック発生部３２は、発光ダイオー
ド２１−１乃至２１−４の発光の基準となる所定の周期
のクロック信号を発生し、制御部３１に供給する。制御
部３１は、スイッチ１１乃至１３から供給された信号を
基に、基準クロック発生部３２から供給されたクロック
信号を基準とした、発光ダイオード２１−１乃至２１−
４それぞれの点滅パターンを指示する信号を発光ダイオ
ード点灯部３３−１乃至３３−４に供給する。

【００２５】発光ダイオード点灯部３３−１は、制御部
３１から供給された信号を基に、所定の電力を供給し、
発光ダイオード２１−１を所定の点滅パターンで点灯さ
せる。発光ダイオード点灯部３３−２は、制御部３１か
ら供給された信号を基に、所定の電力を供給し、発光ダ
イオード２１−２を所定の点滅パターンで点灯させる。
発光ダイオード点灯部３３−３は、制御部３１から供給
された信号を基に、所定の電力を供給し、発光ダイオー
ド２１−３を所定の点滅パターンで点灯させる。発光ダ
イオード点灯部３３−４は、制御部３１から供給された
信号を基に、所定の電力を供給し、発光ダイオード２１
−４を所定の点滅パターンで点灯させる。

【００２６】発光ダイオード２１−１は、発光ダイオー
ド点灯部３３−１から供給された電力で、所定の点滅パ
ターンを有する赤外線を発光する。発光ダイオード２１
−２は、発光ダイオード点灯部３３−２から供給された
電力で、所定の点滅パターンを有する赤外線を発光す
る。発光ダイオード２１−３は、発光ダイオード点灯部
３３−３から供給された電力で、所定の点滅パターンを
有する赤外線を発光する。発光ダイオード２１−４は、
発光ダイオード点灯部３３−４から供給された電力で、
所定の点滅パターンを有する赤外線を発光する。

【００２７】図４は、発光ダイオード２１−１乃至２１
−４の発光パターンを説明する図である。図４（Ａ）の
表に示すように、スイッチ１１が押されたとき、状態Ａ
１が選択され、スイッチ１１が押されていないとき、状
態Ａ０が選択される。状態Ａ１のとき、例えば、発光ダ
イオード２１−２は、図４（Ｂ）に示すように、状態Ａ
１に対応する点滅パターン”１１１１１０００１００１
０００１１００００”で発光する。状態Ａ０のとき、例
えば、発光ダイオード２１−２は、図４（Ｂ）に示すよ
うに、状態Ａ０に対応する点滅パターン”１１１１１０
０００１１０００１０００１１０”で発光する。

【００２８】図４（Ａ）の表に示すように、スイッチ１
２が押されたとき、状態Ｂ１が選択され、スイッチ１２
が押されていないとき、状態Ｂ０が選択される。状態Ｂ
１のとき、例えば、発光ダイオード２１−３は、図４
（Ｂ）に示すように、状態Ｂ１に対応する点滅パター
ン”１１１１１０００１１１０１０１００１０１１”で
発光する。状態Ｂ０のとき、例えば、発光ダイオード２
１−３は、図４（Ｂ）に示すように、状態Ｂ０に対応す
る点滅パターン”１１１１１０００１０１１１００１０
０１１０”で発光する。

【００２９】同様に、図４（Ａ）の表に示すように、ス
イッチ１３が押されたとき、状態Ｃ１が選択され、スイ
ッチ１３が押されていないとき、状態Ｃ０が選択され
る。状態Ｃ１のとき、例えば、発光ダイオード２１−４
は、図４（Ｂ）に示すように、状態Ｃ１に対応する点滅
パターン”１１１１１００１０１０１００００１１０１
０”で発光する。状態Ｃ０のとき、例えば、発光ダイオ
ード２１−４は、図４（Ｂ）に示すように、状態Ｃ０に
対応する点滅パターン”１１１１１００１００１０００
１１１００００”で発光する。

【００３０】図５は、撮像装置２の構成を説明するブロ
ック図である。CCD(Charge CoupledDevice)ビデオカメ
ラ５２は、流し撮り駆動回路５１により駆動され、いわ
ゆる、流し撮像で、コントローラ１の発光ダイオード２
１−１乃至２１−４の発光点を撮像する。CCDビデオカ
メラ５２は、流し撮像により得られたコントローラ１の
発光ダイオード２１−１乃至２１−４の発光点の点滅パ
ターンの画像データを画像処理装置３に出力する。フィ
ルタ５３は、コントローラ１の発光ダイオード２１−１
乃至２１−４から発光される発光点以外の光がCCDビデ
オカメラ５２に入射されるのを抑制する光学フィルタ
で、CCDビデオカメラ５２のレンズ部（図示せず）の前
段に設けられている。

【００３１】図６は、画像処理装置３の構成を説明する
ブロック図である。画像キャプチャ部７１は、撮像装置
２から供給される点滅パターンの画像データに所定の処
理を施し、画像処理部７２が所定の画像処理を実行でき
るような画像データを生成し、画像処理部７２に出力す
る。

【００３２】画像処理部７２は、画像キャプチャ部７１
から供給された、時間経過に対応する輝度の変化として
表されているコントローラ１の発光ダイオード２１−１
乃至２１−４の点滅パターンの画像データを、２次元空
間、すなわち、ｘ軸およびｙ軸の各座標で表される空間
的パターン（後述）の画像データに変換し（フレームメ
モリに書き込み）、その画像データから、発光ダイオー
ド２１−１乃至２１−４の画像上の位置、および発光ダ
イオード２１−１乃至２１−４の点滅パターンを検出
し、発光ダイオード２１−１乃至２１−４の画像上の位
置、および発光ダイオード２１−１乃至２１−４の点滅
パターンを座標演算部７３に供給する。

【００３３】座標演算部７３は、画像処理部７２から供
給された発光ダイオード２１−１乃至２１−４の画像上
の位置、および発光ダイオード２１−１乃至２１−４の
点滅パターンを基に、コントローラ１の３次元空間上の
位置および角度を算出し、発光ダイオード２１−１乃至
２１−４の点滅パターンに対応するコード（すなわち、
スイッチ１１乃至スイッチ１３のいずれかが押されたこ
とに対応する）を生成し、パーソナルコンピュータ４に
供給する。

【００３４】次に、画像処理装置３の座標演算部７３
が、コントローラ１の３次元空間上の位置および角度を
算出する処理について説明する。始めに、座標演算部７
３は、消失点を算出する。座標演算部７３が発光ダイオ
ード２１−１乃至２１−４の画像から、消失点を算出処
理を図７を参照して説明する。以下の説明において、画
像座標系は、ＣＣＤビデオカメラ５２の視点を原点とす
る座標系である。点ａは、発光ダイオード２１−１の画
像面上の位置（２次元空間で表される位置、すなわち、
ｘ軸およびｙ軸の各座標で表される）に対応し、点ｂ
は、発光ダイオード２１−２の画像の中での位置に対応
し、点ｃは、発光ダイオード２１−３の画像の中での位
置に対応し、点ｄは、発光ダイオード２１−４の画像の
中での位置に対応する。

【００３５】まず、図７に示すように、消失点Ｕ
（ｘ_u，ｙ_u）は、画像面上の点ａおよび点ｂを通る直線
ａｂ、並びに点ｃおよび点ｄを通る直線ｃｄの交点であ
り、消失点Ｖ（ｘ_v，ｙ_v）は、点ａおよび点ｄを通る直
線ａｄ、並びに点ｂおよび点ｃを通る直線ｂｃの交点で
ある。直線ａｂは、式（１）で表され、直線ｃｄは、式
（２）で表され、直線ａｄは、式（３）で表され、直線
ｂｃは、式（４）で表される。 α₁ｘ＋β₁ｙ＝γ₁ （１） α₂ｘ＋β₂ｙ＝γ₂ （２） α₃ｘ＋β₃ｙ＝γ₃ （３） α₄ｘ＋β₄ｙ＝γ₄ （４）

【００３６】従って、消失点Ｕ（ｘ_u，ｙ_u）の座標は、
式（５）および式（６）で算出され、消失点Ｖ（ｘ_v，
ｙ_v）の座標は、式（７）および式（８）で算出され
る。 ｘ_u＝（β₂γ₁−β₁γ₂）／（α₁β₂−α₂β₁） （５） ｙ_u＝（α₁γ₂−α₂γ₁）／（α₁β₂−α₂β₁） （６） ｘ_v＝（β₄γ₃−β₃γ₄）／（α₃β₄−α₄β₃） （７） ｙ_v＝（α₃γ₄−α₄γ₃）／（α₃β₄−α₄β₃） （８）

【００３７】ここで、画像面上での点ａの座標が
（ｘ₁，ｙ₁）、点ｂの座標が（ｘ₂，ｙ₂）、点ｃの座標
が（ｘ₃，ｙ₃）、および点ｄの座標が（ｘ₄，ｙ₄）であ
れば、α₁，β₁，γ₁，α₂，β₂，γ₂，α₃，β₃，
γ₃，α₄，β₄、およびγ₄は、それぞれ式（９）、式
（１０）、式（１１）、式（１２）、式（１３）、式
（１４）、式（１５）、式（１６）、式（１７）、式
（１８）、式（１９）、および式（２０）で算出され
る。 α₁＝ｙ₁−ｙ₂ （９） β₁＝−（ｘ₁−ｘ₂） （１０） γ₁＝ｘ₂ｙ₁−ｘ₁ｙ₂ （１１） α₂＝ｙ₃−ｙ₄ （１２） β₂＝−（ｘ₃−ｘ₄） （１３） γ₂＝ｘ₄ｙ₃−ｘ₃ｙ₄ （１４） α₃＝ｙ₁−ｙ₄ （１５） β₃＝−（ｘ₁−ｘ₄） （１６） γ₃＝ｘ₄ｙ₁−ｘ₁ｙ₄ （１７） α₄＝ｙ₂−ｙ₃ （１８） β₄＝−（ｘ₂−ｘ₃） （１９） γ₄＝ｘ₃ｙ₂−ｘ₂ｙ₃ （２０）

【００３８】次に、座標演算部７３は、消失点Ｕ（ｘ
ｕ，ｙｕ）および消失点Ｖ（ｘｖ，ｙｖ）からコントロ
ーラ１の傾きを算出する。図８に示すように、画像座標
系上の座標点がレンズの焦点距離ｆで規格化できるよう
に、画像座標系のｚ軸が画像面に垂直で、かつ、画像座
標系のｚ＝１に画像面が位置するように、画像座標系を
設定する。空間中の点Ｐ_a（ｘ_a，ｙ_a，ｚ_a）は、透視変
換によって、画像面上の点ｐ_a（ｘ_a／ｚ_a，ｙ_a／ｚ_a）
に投影される。

【００３９】点Ｐを通り、方向ベクトルｖ＝（ｖ_x，
ｖ_y，ｖ_z）を有する空間中の直線Ｌ上の点Ｐ_lは、式
（２１）で表され、点Ｐ_lを画像面に投影した点ｐ_lは、
式（２２）で表される。 Ｐ_l＝Ｐ_a＋ｔｖ ＝（ｘ_a＋ｔｖ_x，ｙ_a＋ｔｖ_y，ｚ_a＋ｔｖ_z） （２１） ｐ_l＝（（ｘ_a＋ｔｖ_x）／（ｚ_a＋ｔｖ_z），（ｙ_a＋ｔｖ_y）／（ｚ_a＋ｔｖ_z） ） ＝（（ｘ_a／ｔ＋ｖ_x）／（ｚ_a／ｔ＋ｖ_z）， （ｙ_a／ｔ＋ｖ_y）／（ｚ_a／ｔ＋ｖ_z）） （２２）

【００４０】消失点は、ある方向ベクトルを有する直線
を無限遠に伸ばしたときの投影像であるから、ｔ→∞と
したときのｐ_lが消失点であり、式（２３）で表され
る。

【数１】

【００４１】空間中のある平面πの法線ベクトルｎ（ｐ
_s，ｑ_s，−１）は、平面π上の任意の直線の方向ベクト
ルｕ＝（ｕ_x，ｕ_y，ｕ_z）と直交するので、式（２４）
が成立し、式（２４）を変形すれば式（２５）が求ま
る。（以下、式中の”→”を付した変数は、ベクトルで
あることを示す）

【数２】 ｐ_s（ｕ_x／ｕ_z）＋ｑ_s（ｕ_y／ｕ_z）＝１ （２５）

【００４２】式（２５）の（ｕ_x／ｕ_z）および（ｕ_y／
ｕ_z）は、式（２３）に示されるように、消失点を表
す。また、方向ベクトルｕは、任意であるから、式（２
５）は、画像面上の消失点の集合、すなわち、消失線を
表す。逆に、消失線ａｘ＋ｂｙ＝１があるとき、この消
失線を有する平面の傾きは、（ａ，ｂ，−１）である。
従って、四角形ＡＢＣＤの投影像である四角形ａｂｃｄ
から求められる消失点Ｕ（ｘ_u，ｙ_u）および消失点Ｖ
（ｘ_v，ｙ_v）を用いると、消失線は、式（２６）で算出
される。 （（−ｙ_u＋ｙ_v）／（ｘ_uｙ_v−ｘ_vｙ_u））ｘ ＋（（ｘ_u−ｘ_v）／（ｘ_uｙ_v−ｘ_vｙ_u））ｙ＝１ （２６）

【００４３】これより、四角形ＡＢＣＤの法線ベクトル
ｎ_abcdは、式（２７）で表現できる。

【数３】

【００４４】法線ベクトルｎ_abcdを正規化して、ベクト
ルＮを求める。

【数４】 ただし、演算子||ベクトル||は、ベクトルの絶対値を求
める演算子である。

【００４５】以上のように、座標演算部７３は、コント
ローラ１の発光ダイオード２１−１乃至２１−４の画像
から、コントローラ１の傾きを算出する。

【００４６】次に、座標演算部７３は、コントローラ１
の傾きを基に、ＣＣＤビデオカメラ５２からコントロー
ラ１までの距離を求める。図９は、ＣＣＤビデオカメラ
５２およびコントローラ１を横から見た図である。点ａ
を基準に算出される、画像座標系の原点ｏとコントロー
ラ座標系の原点Ｏ（発光ダイオード２１−１および発光
ダイオード２１−２を通る直線、並びに発光ダイオード
２１−３および発光ダイオード２１−４を通る直線の交
点）との距離ｄ_aは、式（２９）で算出される。 ｄ_a＝（‖ＡＥ‖ｓｉｎθ_a）／（ｓｉｎ（θ_a＋φ_a） （２９） ここで、‖ＡＥ‖は既知である。θ_aは、式（３０）で
定義され、φ_aは、式（３１）で定義される角度であ
る。 θ_a＝ ｏＡＥ （３０） φ_a＝ ｏＥＡ （３１）

【００４７】同様に、点ｂを基準に算出される、画像座
標系の原点ｏとコントローラ座標系の原点Ｏとの距離ｄ
_b、点ｃを基準に算出される、画像座標系の原点ｏとコ
ントローラ座標系の原点Ｏとの距離ｄ_c、および点ｄを
基準に算出される、画像座標系の原点ｏとコントローラ
座標系の原点Ｏとの距離ｄ_dを算出し、距離ｄ_a、距離ｄ
_b、距離ｄ_c、および距離ｄ_dの平均が、画像座標系の原
点ｏからコントローラ座標系の原点Ｏまでの距離ｄ_ave
とされる。

【００４８】画像座標系の原点ｏからコントローラ座標
系の原点Ｏ（長方形ＡＢＣＤの中心）へと向かう平行移
動ベクトルｔは、式（３２）で算出される。

【数５】

【００４９】以上のように、画像の中のコントローラの
位置から、３次元上のコントローラ１の位置(X_m,Y_m,Z_m)
および角度(Rx_m,Ry_m,Rz_m)が計算される。このコントロ
ーラ１の位置および角度を計算する処理の説明では、画
像座標系のｚ＝１に画像面が位置するとして説明した
が、ｐｓおよびｑｓをＣＣＤビデオカメラ５２の焦点距
離ｆで補正すれば、ＣＣＤビデオカメラ５２の焦点距離
ｆが１以外でも、正確な位置および角度が算出できる。

【００５０】次に、画像処理装置３が、発光ダイオード
２１−１乃至２１−４の点滅パターンに対応するコード
を生成する処理について説明する。先ず、ＣＣＤビデオ
カメラ５２が行う流し撮像について説明する。流し撮像
とは、ＣＣＤビデオカメラ５２に内蔵されるＣＣＤ撮像
素子において、各画素を構成するホトダイオードの出力
を、同一フィールドの期間中に、複数回、垂直転送ＣＣ
Ｄに転送する撮像方法を意味する。これに対して、通常
の撮像方法では、各画素を構成するホトダイオードの出
力が、同一フィールドの期間中に、１回だけ、垂直転送
ＣＣＤに転送される。

【００５１】従って、例えば、図１０（Ａ）に示すよう
に、１フィールドの期間中に、発光ダイオード２１−１
乃至４のいずれかに対応する輝点が、１２ＨＤ（ＨＤは
水平走査周期）の期間、点灯し、次の１２ＨＤの期間、
消灯するパターンを、２回繰り返すような場合、これを
通常の撮像方法で撮像すると、１個の発光点が撮像され
るだけである。しかしながら、これをＣＣＤビデオカメ
ラ５２が流し撮像し、図１０（Ｂ）に示すように、２Ｈ
Ｄに１回の割合で、各画素を構成するホトダイオードの
出力を、垂直転送ＣＣＤに転送するようにすると、その
結果得られる画像には、図１０（Ｃ）に示すように、同
一のフィールドに、複数の発光点が現れる。なお、この
例の場合、発光点は、撮像画面上で、３ライン分の大き
さを有するものとする。

【００５２】そこで、ＣＣＤビデオカメラ５２から出力
された、図１０（Ｃ）に示すような画像が画像処理装置
３の画像キャプチャ部７１に供給されると、画像キャプ
チャ部７１は、その画像にキャプチャ処理を施し、図１
１に示すような画像を生成する。上述したように、発光
点が３ラインで表されることから、各出力の像が前後の
像と一部重なるようになり、キャプチャされた画像の画
素の輝度が段階的に変化している。

【００５３】さらに、画像キャプチャ部７１から出力さ
れた、図１１に示すような画像が画像処理部７２に供給
されると、画像処理部７２は、その画像に２値化処理を
施し、図１２に示すような画像を生成する。この場合、
図１１に示す画像の輝度Ａおよび輝度Ｂで表される輝度
は、輝度Ｌ、そして輝度Ｃおよび輝度Ｄで表される輝度
は、輝度Ｈとされる。また、輝度Ｈの画素の画素値は、
“１”に、輝度Ｌの画素の画素値は“０”に符号化され
る。

【００５４】このように、流し撮像することにより、１
フィールド期間中の２回の輝度の時間的変化が、２個の
空間的変化に変換される。本発明の実施の形態において
は、この原理に基づいて、輝点の状態が観察される。

【００５５】次に、同期ずれ補正処理を行う場合の画像
処理装置３の処理手順について説明する。

【００５６】図１０（Ｃ）、図１１、および図１２に示
した画像は、輝点の点滅パターンのタイミングとＣＣＤ
ビデオカメラ５２の流し撮像の撮像タイミングとが同期
している状態において、撮像された画像である。これに
対して、例えば、０．５ライン分だけ同期ずれが発生す
ると、図１０（Ｃ）に示したような画像に代わり、例え
ば、図１３に示すような画像が撮像される。

【００５７】図１３に示したような画像は、画像キャプ
チャ部７１によりキャプチャ処理が施されると、図１４
に示すような画像に変換され、さらに、図１４に示した
ような画像が、画像処理部７２により２値化処理される
と、図１５に示すような画像に変換される。すなわち、
輝点の点滅パターンは図１２に示すように、６ライン分
の間、輝度Ｌ、６ライン分の間、輝度Ｈとなっている
が、撮像された結果、図１５に示すように、５ライン分
の間、輝度Ｌ、次の７ライン分の間、輝度Ｈと変化する
輝点であるように撮像されている。なお、この場合、図
１５に示す画像の輝度Ａおよび輝度Ｂで表される輝度
は、輝度Ｌ、そして輝度Ｃ、輝度Ｄ、および輝度Ｅで表
される輝度は、輝度Ｈとされる。また、同様に、輝度Ｈ
の画素の画素値は、“１”に、輝度Ｌの画素の画素値
は、“０”に符号化される。

【００５８】画像処理部７２は、図１５に示したような
画像に、同期ずれ補正処理を施し、図１０（Ｃ）に示す
ように、輝点の点滅パターンを正確に表す画像に変換さ
れる。このため、画像処理部７２は、図１５の一部を拡
大して表示する図１６に示すように、例えば、ラインＬ
５の図１５に示した画像の画素値“０”を読み出し、そ
して、その一つ前のラインＬ４に対応する画素値“０”
を読み出す。

【００５９】画像処理部７２は、読み出した２つの画素
値“０”と画素値“０”との論理積を求め、その結果の
“０”を、ラインＬ５の新たな画像（同期ずれ補正後の
画像）の画素値とする。

【００６０】また、画像処理部７２は、ラインＬ６に対
応する図１５に示した画像の画素値“１”を読み出し、
そしてその１つ前のラインＬ５に対応する画素値“０”
を読み出す。画像処理部７２は、読み出した２つの画素
値“１”と画素値“０”との論理積を求め、その結果の
“０”をラインＬ６に対応する同期ずれ補正後の画像の
画素値とする。

【００６１】このように、画像処理部７２は、各ライン
の画素値を読み取り、１つ前のラインの画素値との論理
積を求め、その結果を新たな画像の画素値とすること
で、図１３に示した画像を、図１０（Ｃ）に示した画像
に変換することができる。

【００６２】なお、以上においては、１つ前のラインに
対応する画素値との論理積を求め、その結果を新たな画
素値としたが、１つ後のラインに対応する画素値との論
理積を求め、それを新たな画素値とすることもできる。

【００６３】次に、以上のようにして求められた空間的
パターンに変換された画像データから、輝点の位置を検
出する場合の画像処理部７２の処理手順を説明する。

【００６４】図１７（Ａ）は、図１８に示すように配置
されている３個の輝点Li１，Li２，Li３の点滅パターン
の画像データが、空間的パターンに変換された例を示し
ている。輝点Li１，Li２，Li３の位置を求める場合、画
像処理部７２は、走査線上に配置された輝点の画素値
“１”を図１７（Ａ）に示すように、流し撮り撮像され
た方向に（この例の場合、ｙ軸方向）に加算し、その加
算の中からピークを求め、そのピークの位置するｘ軸上
の座標を画像上の輝点のｘ座標とする。この表示例の場
合、輝点Li１，Li２，Li３の画像表示部上のｘ座標値
は、それぞれＸ１，Ｘ２，Ｘ３となる。

【００６５】一方、ｙ座標値は、最初に発光した輝点の
ｙ座標値が輝点の画像表示上でのｙ座標値となる。この
表示例の場合、流し撮り撮像の方向が負方向であること
から、輝点１、輝点２、輝点３が最初に光り始めた輝点
であり、このことにより、輝点１、輝点２、輝点３のｙ
座標値である、Ｙ１，Ｙ２，Ｙ３が輝点Li１，Li２，Li
３のｙ座標となる。

【００６６】このようにして、画像処理部７２は、輝点
Li１，Li２，Li３の画像表示上のｘ座標およびｙ座標、
（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），（Ｘ３，Ｙ３）を求
める。そして、これらの座標に対応した、輝点Li１，Li
２，Li３が実際に存在する位置を検出する。

【００６７】次に、輝点の状態を検知する場合の画像処
理部７２の処理手順を図１９を用いて説明する。

【００６８】図１９（Ａ）は、図１７の輝点Li１の空間
的パターンを取り出して表示している。輝点Li１の状態
を検出する場合、画像処理部７２はｘ座標Ｘ１に対する
あらかじめ定められたばらつき範囲内（Ｘ−ΔＸ≦ｘ≦
Ｘ＋ΔＸ）の輝点を選択し、ｘ軸方法に加算し、図１９
（Ｂ）に示すように、そのピークを求める。次に、求め
られたピークを所定の閾値で２値化し、図１９（Ｃ）に
示すようなビットパターン（例えば、１０１０１０１
０）の情報を生成する。この例の場合、輝点Li１は、８
ビット情報が抽出されるような点滅パターンで、点滅さ
れている。

【００６９】なお、ｘ座標値に対する所定の範囲内の輝
点を選択することは、より精度の高いビットパターンを
得るために行われる。例えば、隣接した他の空間的パタ
ーンの画像により、ビットパターンが変化することを防
止する。

【００７０】画像処理部７２は、このようにして得られ
た、ビットパターンを座標演算部７３に送り、座標演算
部７３は、供給されたビットパターンに対応するコード
を生成し、パーソナルコンピュータ４に出力する。

【００７１】このように、画像処理装置３は、撮像装置
２が流し撮り撮像を行うため、１フィールド内で、輝点
の位置及び輝点の点滅パターンを同時に検出することが
できる。

【００７２】次に、本発明に係るコンピュータゲームシ
ステムの処理を、図２０のフローチャートを参照して説
明する。ステップＳ１１において、撮像装置２は、コン
トローラ１の発光ダイオード２１−１乃至２１−４を撮
像する。ステップＳ１２において、画像処理装置３の画
像処理部７２は、画像キャプチャ部７１から供給された
撮像装置２が撮像した画像を基に、画像面上の発光ダイ
オード２１−１乃至２１−４の位置を算出し、発光ダイ
オード２１−１乃至２１−４の点滅パターンに対応する
ビットパターンを求める。

【００７３】ステップＳ１３において、座標演算部７３
は、画像処理部７２から供給された画像面上の発光ダイ
オード２１−１乃至２１−４の位置を基に、コントロー
ラ１の位置および角度を算出し、画像処理部７２から供
給されたビットパターンに対応するコードを生成し、パ
ーソナルコンピュータ４に出力する。ステップＳ１４に
おいて、パーソナルコンピュータ４は、画像処理装置３
から供給されたコントローラ１の位置および角度、並び
にコードに対応し、ゲームプログラムの処理を実行し、
所定の画像を表示させる信号をディスプレイ５に供給す
る。

【００７４】ステップＳ１５において、ディスプレイ５
は、パーソナルコンピュータ４から供給された信号を基
に、所定の画像を表示する。

【００７５】ステップＳ１６において、パーソナルコン
ピュータ４は、所定の終了コマンドが入力されたか否か
を判定し、所定の終了コマンドが入力されていないと判
定された場合、ステップＳ１１に戻り、コントローラ１
の位置および角度、並びに点滅パターンに対応したコー
ドを算出する処理を繰り返す。ステップＳ１６におい
て、所定の終了コマンドが入力されたと判定された場
合、処理は終了する。

【００７６】以上のように、パーソナルコンピュータ４
は、コントローラ１の位置および角度、並びにスイッチ
１１、スイッチ１２、またはスイッチ１３の操作に対応
する点滅パターンに対応したコードに基づき、ゲームプ
ログラムの処理ができる。コントローラ１は、所定の処
理と発光ダイオード２１−１乃至２１−４を動作させる
だけなので、その動作に必要な電力が微量であり、電池
を内蔵することにより、電源ケーブルは必要せず、自由
に且つ楽に操作できる。

【００７７】なお、パーソナルコンピュータ４が、撮像
装置２から信号を受信し、コントローラ１の位置および
角度、並びに点滅パターン（スイッチ１１、スイッチ１
２、またはスイッチ１３の操作に対応する）に対応した
コードを算出する処理を行うようにしてもよい。

【００７８】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものとす
る。

【００７９】なお、上記したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。

【００８０】

【発明の効果】請求項１に記載の入力装置、請求項４に
記載の入力方法、および請求項５に記載の提供媒体によ
れば、４個以上の発光点が、相互に位置が既知で、所定
の発光パターンで発光されるようにしたので、単純で、
規模の小さな装置で、３次元の位置および角度が検出で
きるようになる。

【００８１】請求項６に記載の入力システムによれば、
４つ以上の発光点が、相互に位置が既知で、所定の発光
パターンで発光され、流し撮像により、画像が撮像さ
れ、点滅パターンが検出され、画像上の位置から、３次
元空間上の傾きが算出され、距離および３次元空間上の
傾きから、３次元空間上の位置が算出されるようにした
ので、単純で、規模の小さな装置で、３次元の位置およ
び角度が検出できるようになる。

【図面の簡単な説明】

【図１】本発明に係るコンピュータゲームシステムの一
実施の形態を説明する図である。

【図２】コントローラ１の外観を示す図である。

【図３】コントローラ１の構成を説明するブロック図で
ある。

【図４】発光ダイオード２１−１乃至２１−４の発光パ
ターンを説明する図である。

【図５】撮像装置２の構成を説明するブロック図であ
る。

【図６】画像処理装置３の構成を説明するブロック図で
ある。

【図７】消失点を説明する図である。

【図８】コントローラ１の傾きを算出する演算を説明す
る図である。

【図９】ＣＣＤビデオカメラ５２およびコントローラ１
の位置関係を説明する図である。

【図１０】流し撮像された画像を説明する図である。

【図１１】流し撮像された画像をキャプチャした画像を
説明する図である。

【図１２】キャプチャした画像を２値化した画像を説明
する図である。

【図１３】同期がずれているときの、流し撮像された画
像を説明する図である。

【図１４】同期がずれているときの、流し撮像された画
像をキャプチャした画像を説明する図である。

【図１５】同期がずれているときの、キャプチャした画
像を２値化した画像を説明する図である。

【図１６】同期ずれ補正処理を説明する図である。

【図１７】輝点の座標を算出する処理を説明する図であ
る。

【図１８】輝点の配置を説明する図である。

【図１９】輝点の点滅パターンを算出する処理を説明す
る図である。

【図２０】コンピュータゲームシステムの処理を説明す
るフローチャートである。

【符号の説明】

１ コントローラ， ２ 撮像装置， ３ 画像処理装
置， ４ パーソナルコンピュータ， ５ ディスプレ
イ， １１乃至１３ スイッチ， ２１−１乃至２１−
４ 発光ダイオード， ３１ 制御部， ５１ 流し撮
り駆動回路，５２ ＣＣＤビデオカメラ， ７１ 画像
キャプチャ部， ７２ 画像処理部，７３ 座標演算部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2C001 AA00 AA09 BC00 BC04 CA00 CA03 CA04 CA06 CA08 CB01 CC02 CC03 5B087 AA07 AE00 BC12 BC13 BC16 BC26 BC32 DD02 DD03 9A001 GZ01 HH29 HZ32 JJ76

Claims (6)

【特許請求の範囲】
1. 【請求項１】 所定の情報処理装置に指令を入力する入
   力装置において、 相互に位置が既知で、所定の発光パターンで発光する４
   個以上の発光手段を含むことを特徴とする入力装置。
2. 【請求項２】 前記発光手段は、赤外線を発光すること
   を特徴とする請求項１に記載の入力装置。
3. 【請求項３】 指令を入力するとき操作され、操作に対
   応する信号を生成する操作手段を更に含み、 前記発光手段は、前記操作手段からの信号に対応して、
   前記発光パターンを変更することを特徴とする請求項１
   に記載の入力装置。
4. 【請求項４】 所定の情報処理装置に指令を入力する入
   力装置の入力方法において、 相互に位置が既知の４つ以上の点で、所定の発光パター
   ンで発光する発光ステップを含むことを特徴とする入力
   方法。
5. 【請求項５】 所定の情報処理装置に指令を入力する入
   力装置に、 相互に位置が既知の４つ以上の点で、所定の発光パター
   ンで発光する発光ステップを含む処理を実行させるコン
   ピュータが読み取り可能なプログラムを提供することを
   特徴とする提供媒体。
6. 【請求項６】 利用者の操作を入力する入力装置、前記
   入力装置を撮像する撮像装置、および前記撮像装置が撮
   像した画像から所定の指令を生成し、情報処理装置に供
   給する画像処理装置からなる入力システムにおいて、 前記入力装置は、 相互に位置が既知で、所定の発光パターンで発光する４
   個以上の発光手段を含み、 前記撮像装置は、 流し撮像により、前記入力装置の画像を撮像する撮像手
   段を含み、 前記画像処理装置は、 前記撮像手段が撮像した、前記入力装置の前記発光手段
   の点滅パターンを検出する検出手段と、 前記撮像手段が撮像した、前記入力装置の前記発光手段
   の画像上の位置から、前記入力装置の３次元空間上の傾
   きを算出する第１の算出手段と、 前記入力手段の前記発光手段の距離および前記第１の算
   出手段が算出した前記入力手段の３次元空間上の傾きか
   ら、前記入力装置の３次元空間上の位置を算出する第２
   の算出手段とを含むことを特徴とする入力システム。