JP2000172431A

JP2000172431A - 情報入力装置及びゲーム装置

Info

Publication number: JP2000172431A
Application number: JP10350495A
Authority: JP
Inventors: Takeshi Hayakawa; 健早川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-12-09
Filing date: 1998-12-09
Publication date: 2000-06-23

Abstract

(57)【要約】【課題】ハンドコントローラなどの情報入力ツールの位
置を画像処理系で容易に認識できるようにすると共に、
その情報入力ツールの仮想画像に画像表示装置などの仮
想画像を合成できるようにする。【解決手段】撮像可能な基準面設定機能付きのハンドコ
ントローラ１であって、その操作ボタン５２、５３、５
５、５６の周辺領域の特定位置に取付けられた４個の発
光ダイオードＬＥＤ１〜ＬＥＤ４と、その発光ダイオー
ドＬＥＤ１〜ＬＥＤ４の入出力を制御する点滅制御回路
１３とを備え、この点滅制御回路１３は、発光ダイオー
ドＬＥＤ１〜ＬＥＤ４の点滅パターンが異なるように点
滅制御するものである。この構成によって、流し撮りＣ
ＣＤ装置のような特殊撮影装置でそのハンドコントロー
ラ１を撮像した場合に、発光ダイオードＬＥＤ１〜ＬＥ
Ｄ４の点灯パターンを非点滅制御した場合に比べてその
発光ダイオードＬＥＤ１〜ＬＥＤ４の位置を容易に特定
することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、操作ボタン付き
の情報入力ツールなどの存在位置を画像処理系などに認
識させる位置認識機構及びこれを応用したキャラクタコ
ントローラなどに適用して好適な情報入力装置及びゲー
ム装置に関する。

【０００２】詳しくは、撮像可能な操作ボタン付きの情
報入力ツールなどの特定の位置に点滅パターンの異なる
複数の光源を取付け、その光源に基づいてその情報入力
ツールの位置を画像処理系で容易に認識できるようにす
ると共に、その情報入力ツールの仮想画像に画像表示装
置などの仮想画像を合成できるようにしたものである。

【０００３】

【従来の技術】近年、バーチャル・リアリティ（仮想現
実感）に基づく表示技術の向上に伴い、複数の画像表示
面に跨って仮想現実感を操作者に提供するためのゲーム
装置が出現している。

【０００４】この種の立体表示装置は、特開平９−２３
７３５３号の技術文献に見られる。この技術文献によれ
ば、縦横数ｍ程度の大きさの映写空間が設けられ、各々
の面に表示装置が配置され、各々の表示装置から恐竜、
怪獣や武器などの仮想体の画像が立体表示される。そし
て、操作者は液晶シャッター付きの眼鏡をかけ、その映
写空間に立つと、あたかも、各々の表示装置で表示され
た仮想体と同じ場所に居るようなされる。

【０００５】また、操作者が仮想空間上で手にする武器
がカメラによって撮像され、その武器の動きによって仮
想体が反応するように画像処理されている。これによ
り、操作者は数千年前の原始時代にタイムスリップし
て、恐竜退治などをゲーム感覚で行うことができる。

【０００６】

【発明が解決しようとする課題】ところで、従来方式の
情報入力装置の認識方法によれば、操作者が実空間上で
手にする武器などの情報入力装置を画像処理系に認識さ
せようとした場合に、その情報入力装置を含む背景画像
を撮像してその情報入力装置の輪郭部を抽出し、予め格
納されたその情報入力装置に関する基準パターンとその
情報入力装置の輪郭パターンとを比較している。

【０００７】従って、その情報入力装置だけを画像処理
系で認識させて、仮想空間上の情報入力装置に仮想体画
像などの合成しようとした場合に、その画像処理系のパ
ターン認識に係る計算量が多くなったり、その演算器の
負担が重くなる。

【０００８】これにより、例えば、操作者の属する実空
間のハンドコントローラなどの操作ボタン付きの情報入
力ツール上に、画像表示装置としての液晶ディスプレイ
や、ＣＲＴ装置などを仮想的に存在させ、その実空間上
の情報入力ツールの操作に基づいて仮想空間上の画像表
示装置のキャラクタ表示制御をするようなゲーム装置を
構成しようとした場合に、従来方式のパターン認識方法
をそのまま適用すると、画像処理系で情報入力装置を容
易に認識することが困難なことから、そのパターン認識
処理が大がかりとなったり、基準面を認識するための画
像処理が複雑になったり、その時の計算量が多くなった
りして、ゲーム装置などのコストアップにつながるとい
う問題がある。

【０００９】そこで、本発明は上記の課題に鑑み創作さ
れたものであり、ハンドコントローラなどの撮像可能な
操作ボタン付きの情報入力ツールを画像処理系で容易に
認識できるようにすると共に、その情報入力ツールの仮
想画像に画像表示装置などの仮想画像を合成できるよう
にした情報入力装置及びゲーム装置を提供することを目
的とする。

【００１０】

【課題を解決するための手段】上述した課題は、情報入
力用の操作ボタンを有した撮像可能な情報入力装置であ
って、少なくとも、操作ボタンの周辺領域の特定位置に
取付けられた複数の光源と、その光源の入出力を制御す
る制御手段とを備え、その制御手段は光源の点滅パター
ンが異なるように点滅制御することを特徴とする情報入
力装置によって解決する。

【００１１】本発明の情報入力装置によれば、操作ボタ
ンの周辺領域の特定位置に取付けられた複数の光源が、
制御手段によって点滅パターンを異ならせるように点滅
制御されるので、流し撮りＣＣＤ装置のような特殊撮影
装置でその情報入力装置を撮像した場合に、複数の光源
の点灯パターンを非点滅制御した場合に比べてその光源
の位置を容易に特定することができる。

【００１２】従って、その光源の位置から情報入力装置
の位置を画像処理系に容易に認識させることができるの
で、仮想空間上で情報入力装置に任意の画像表示装置の
イメージ画像を合成するようなゲーム装置などに十分に
応用することができる。

【００１３】本発明に係るゲーム装置は、操作者の属す
る外界像に仮想体の画像を立体的に合成する装置であっ
て、情報入力用の操作ボタンを有した撮像可能な情報入
力手段と、その操作者の属する実空間上で情報入力手段
を認識する位置認識手段と、その位置認識手段により認
識された情報入力手段の仮想空間上の画像に任意の仮想
画像を合成する合成手段とを備え、位置認識手段はその
情報入力手段の特定の位置に取付けられた、少なくと
も、点滅パターンが異なるように点滅する３点以上の光
源と、その光源を所定の撮像方向に流すように撮像する
流し撮り用の撮像手段と、その撮像手段による点滅パタ
ーンの輝度信号を画像処理してその光源の３点の位置を
求め、その後、その３点の光源の位置を結んで基準面を
求める演算手段とを有することを特徴とするものであ
る。

【００１４】本発明に係るゲーム装置によれば、上述の
情報入力装置が応用され、操作ボタンの周辺領域の特定
位置に取付けられた光源の位置から情報入力手段の位置
を画像処理系に容易に認識させることができるので、仮
想空間上で情報入力手段に対してモニタとして任意のＣ
ＲＴ装置や、液晶ディスプレイなどの仮想画像を合成し
たりしてキャラクタをコントロールするようなバーチャ
ルキャラクタコントローラなどを構成することができ
る。

【００１５】

【発明の実施の形態】以下、図面を参照しながら、この
発明の実施形態としての情報入力装置及びゲーム装置に
ついて説明をする。

【００１６】（１）実施形態としての情報入力装置図１は本発明に係る各実施形態としての情報入力装置の
構成例を示す斜視図である。この実施形態では撮像可能
な操作ボタン付きの情報入力ツールの特定の位置に点滅
パターンの異なる複数の光源を取付け、その光源に基づ
いてその情報入力ツールの位置を画像処理系で容易に認
識できるようにすると共に、その情報入力ツールの仮想
画像に画像表示装置などの仮想画像を合成できるように
したものである。

【００１７】この発明に係る情報入力装置は操作ボタン
を有した撮像可能な情報入力ツールであって、操作者の
属する外界像に仮想体の画像を立体的に合成するゲーム
装置などの画像処理系で認識し易くしたものである。こ
こで、撮像可能な情報入力装置１とは、空間を仕切る形
状を有する情報入力ツールにおいて、流し撮りＣＣＤ装
置などの特殊撮像装置で流し撮りできるものをいう。こ
の流し撮りとは、流し撮りＣＣＤ装置において、同一フ
ィールド期間中に複数回、光電変換素子（フォトダイオ
ードなど）から信号電荷を読み出す撮影モードをいう。

【００１８】この情報入力装置は図１に示す両手操作型
の情報入力ツール（以下ハンドコントローラという）１
を成している。この例のハンドコントローラ１では、本
体部が図１に示す取手を対称的に配置したような形状を
成しており、プレーステーション（ソニー：登録商標）
などのキャラクタコントローラを構成する。

【００１９】このハンドコントローラ１の本体部は左手
操作部５７、右手操作部５８及び中間部５９に区分され
ており、例えば、図示しない射出整形金型装置などでＡ
ＢＳ樹脂を上述した所定の筐体形状に一体整形したもの
である。左手操作部５７は円柱状の操作パネル部５７Ａ
及び棒状の握手部５７Ｂを有している。操作パネル部５
７Ａには２つの操作ボタン５２及び５３が設けられる。
操作ボタン５２や５３は左手親指で操作され、これらの
操作ボタン５２や５３が押下されると、キャラクタ指示
情報が発生される。

【００２０】このキャラクタ指示情報は表示画面上のキ
ャラクタの動きを制御するためのものであり、例えば、
キャラクタを左に動かしたり、キャラクタを飛び跳ねさ
せたり、キャラクタの保持する、例えば武器などから相
手キャラクタに向けて弾丸などを発射する際のコマンド
である。左手操作部５７の側面にはジョグダイヤル５４
が設けられ、キャラクタ指示情報以外の制御情報などが
そのジョグダイヤル５４を回転することにより発生され
る。

【００２１】また、右手操作部５８も円柱状の操作パネ
ル部５８Ａ及び棒状の握手部５８Ｂを有している。操作
パネル部５８Ａには２つの操作ボタン５５及び５６が設
けられる。操作ボタン５５や５６は右手親指で操作さ
れ、これらの操作ボタン５５や５６が押下されると、キ
ャラクタ指示情報が発生される。キャラクタ指示情報は
表示画面上のキャラクタの動きを制御するためのもので
ある。

【００２２】この右手操作部５７と右手操作部５８との
間は中間部５９によって連絡されている。この例で中間
部５９の上面に送信部１４を設け、操作ボタンによるキ
ャラクタ指示情報を所定の伝送信号に変調して送信する
ようにしてもよい。送信部１４には無線送信器や赤外線
発光器などを使用する。

【００２３】この例で、ハンドコントローラ１の特定位
置には、点滅パターンの異なった４つの発光ダイオード
ＬＥＤ１〜ＬＥＤ４が設けられる。この４つの発光ダイ
オードＬＥＤ１〜ＬＥＤ４はハンドコントローラ１の基
準面を成すものであり、好ましくは凹凸の無い平坦部分
に取り付けるとよい。この例では、発光ダイオードＬＥ
Ｄ１は右手操作部５７の上端に取付けられ、発光ダイオ
ードＬＥＤ２及びＬＥＤ３は中間部５９に取付けられ、
発光ダイオードＬＥＤ４は右手操作部５８の上端に取付
けられる。

【００２４】このハンドコントローラ１の基準面を設定
するための４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の
座標としてそれぞれ（ｘ１，ｙ１）、（ｘ２，ｙ２）、
（ｘ３，ｙ３）、（ｘ４，ｙ４）が与えられる（仮想空
間上では液晶ディスプレイ５や、ＣＲＴ装置などの仮想
画像を合成しようとする基準面に相当する）。

【００２５】この４個の発光ダイオードＬＥＤ１〜ＬＥ
Ｄ４は、そのマーク部としての機能を発揮するために、
つまり、ハンドコントローラ１の位置が明らかになるよ
うに、少なくとも、点滅パターンが異なるように点滅制
御される。この発光ダイオードＬＥＤ１〜ＬＥＤ４の点
滅パターンは特殊グラストロンと呼ばれる仮想画像立体
合成装置などに取付けられた流し撮りＣＣＤ装置によ
り、所定の撮像方向に流すように撮像される。この流し
撮りは４個の発光ダイオードＬＥＤ１〜ＬＥＤ４の取付
け位置から上述の基準面を特定するためである。この基
準面の特定については図１０及び図１１で説明をする。

【００２６】上述の中間部５９内には制御手段として点
滅制御回路１３が設けられ、発光ダイオードＬＥＤ１〜
ＬＥＤ４の入出力が制御される。例えば、図２に示す点
滅制御回路１３では、画像処理系に当該ハンドコントロ
ーラ１の位置を再現性良く認識させるために、発光ダイ
オードＬＥＤ１〜ＬＥＤ４の点滅パターンが異なるよう
に点滅制御される。

【００２７】この例では、点滅制御回路１３がＩＣチッ
プ化され、このＩＣチップがハンドコントローラ１の中
間部５９に組込まれ、４個の発光ダイオードＬＥＤ１〜
ＬＥＤ４に所定の電圧が印加されて点滅制御される。こ
の点滅制御回路１３は例えばクロック発生部６１を有し
ている。クロック発生部６１には１／２分周回路６２、
１／３分周回路６３及び１／４分周回路６４が接続され
ており、所定周波数のクロック信号ＣＬＫ１と、このク
ロック信号ＣＬＫ１を１／２分周回路６２で１／２分周
したクロック信号ＣＬＫ２と、１／３分周回路６３で１
／３分周したクロック信号ＣＬＫ３と、１／４分周回路
６４で１／４分周したクロック信号ＣＬＫ４とが出力さ
れる。

【００２８】各々のクロック信号ＣＬＫ１〜ＣＬＫ４は
安定化用の抵抗Ｒを通して各々の発光ダイオードＬＥＤ
１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４に供給される。こ
の例でハンドコントローラ１が有線方式のインタフェー
ス形式を採る場合には、上位の画像処理装置などからク
ロック発生部６１へ電源を供給するようにする。無線方
式の場合には、クロック発生部６１に電源スイッチＳＷ
を介在して直流電源Ｅが接続される。この電源Ｅには小
型の乾電池やボタン電池などが使用される。

【００２９】図３は発光ダイオードＬＥＤ１、ＬＥＤ
２、ＬＥＤ３及びＬＥＤ４の点滅パターン例を示す波形
図である。この例では、発光ダイオードＬＥＤ１には非
分周のクロック信号ＣＬＫ１が供給され、発光ダイオー
ドＬＥＤ２にはクロック信号ＣＬＫ１を１／２分周した
クロック信号ＣＬＫ２が供給され、発光ダイオードＬＥ
Ｄ３にはクロック信号ＣＬＫ１を１／３分周したクロッ
ク信号ＣＬＫ３が供給され、発光ダイオードＬＥＤ４に
はクロック信号ＣＬＫ１を１／４分周したクロック信号
ＣＬＫ４が供給される。従って、４つの発光ダイオード
ＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４の点滅パタ
ーンを異なるように制御することができる。

【００３０】このように、本実施の形態としてのハンド
コントローラ１によれば、その右手操作部５７の上端に
取付けられた発光ダイオードＬＥＤ１と、その右手操作
部５８の上端に取付けられた発光ダイオードＬＥＤ４
と、その中間部５９に取付けられた発光ダイオードＬＥ
Ｄ２及びＬＥＤ３が、点滅制御回路１３によって点滅パ
ターンを異ならせるように点滅制御されるので、流し撮
りＣＣＤ装置のような特殊撮影装置でそのハンドコント
ローラ１を撮像した場合に、複数の光源の点灯パターン
を非点滅制御した場合に比べてその４つの発光ダイオー
ドＬＥＤ１〜ＬＥＤ４の位置を容易に特定することがで
きる。

【００３１】従って、その４つの発光ダイオードＬＥＤ
１〜ＬＥＤ４の位置からハンドコントローラ１の位置を
画像処理系に容易に認識させることができるので、仮想
空間上でハンドコントローラ１に液晶ディスプレイ５
や、ＣＲＴ装置などの任意の画像表示装置のイメージ画
像を合成するようなゲーム装置に十分に応用することが
できる。

【００３２】（２）第１の実施形態としてのゲーム装置図４は本発明に係る第１の実施形態としてのゲーム装置
１００の構成例を示す斜視図である。この実施形態で
は、撮像可能な情報入力装置の特定の面に、点滅パター
ンが異なる複数の光源を取付け、その情報入力装置の光
源を所定の撮像方向に流すように撮像し、この流し撮像
による光源の輝度信号を画像処理して光源の位置を求
め、この光源の位置を仮想空間上で結んだ情報入力装置
の基準面に画像表示装置の仮想画像を合成するようにな
されたものである。

【００３３】図４に示すゲーム装置１００は操作者（以
下プレーヤという）の属する外界像に、液晶ディスプレ
イや、ＣＲＴ装置などの任意の画像表示装置のイメージ
画像を立体的に合成表示する装置であって、ハンドコン
トローラによって仮想空間上の液晶ディスプレイの表示
制御をするものである。このゲーム装置１００は基準面
設定機能付きのハンドコントローラ１、特殊グラストロ
ン２及び画像処理装置３を有している。

【００３４】この情報入力装置としてのハンドコントロ
ーラ１は、例えば、プレーヤの前で両手に持って使用さ
れる。この例では、左手操作部５７、右手操作部５８及
び中間部５９が特殊グラストロン２の撮影範囲内に入る
ようにハンドコントローラ１をプレーヤの前の左右の手
で持って操作される。この特殊グラストロン２の本体部
２１にはベルト２２が設けられ、眼鏡をかけるように本
体部２１がプレーヤの顔面に装着されると共に、そのプ
レーヤの頭部外周部に沿ってベルト２２が固定される。

【００３５】また、特殊グラストロン２には少なくとも
流し撮りＣＣＤ装置２３及び表示手段２４が設けられ
る。特殊グラストロン２の機種によっては通常のＣＣＤ
撮像装置２５が設けられる。このハンドコントローラ
１、流し撮りＣＣＤ装置２３及び画像処理装置３によっ
て位置認識手段としての位置認識機構４が構成され、プ
レーヤの属する実空間上でそのハンドコントローラ１の
基準面を認識できるようになされている。

【００３６】この例で流し撮りＣＣＤ装置２３として垂
直転送部を有するインターライン転送方式の二次元撮像
デバイスを使用した場合には、同一フィールド期間中に
複数回、光電変換素子から垂直転送部に信号電荷が読み
出される。また、流し撮りＣＣＤ装置２３として電荷蓄
積部を有するフレーム転送方式の二次元撮像デバイスを
使用した場合には、同一フィールド期間中に複数回、光
電変換素子から電荷蓄積部に信号電荷が読み出される。

【００３７】更に、特殊グラストロン２には画像処理装
置３が接続され、流し撮りＣＣＤ装置２３から出力され
た画像データに基づいて基準面などを認識する画像処理
がなされる。この例では予め画像処理装置３には液晶デ
ィスプレイ５やＣＲＴ装置などの仮想画像を表示するた
めの画像データが準備されている。

【００３８】この画像処理装置３には表示手段２４が接
続され、位置検出機構４により認識されたハンドコント
ローラ１が表示される。この例では、実空間上のハンド
コントローラ１の基準面の属する位置又はその周辺領域
に、あたかも、画像表示装置としての液晶ディスプレイ
５の立体仮想画像が存在するようになされる。

【００３９】図５に示す特殊グラストロン２は非透過型
のヘッドマウントディスプレイを構成しており、通常の
ＣＣＤ撮像装置２５と、上述した流し撮りＣＣＤ装置２
３と、右眼表示用の液晶表示装置（以下ＬＣＤという）
２６と、左眼表示用のＬＣＤ２７とを有している。

【００４０】つまり、プレーヤの眉間に相当する位置に
は、通常のＣＣＤ撮像装置２５と、流し撮りＣＣＤ装置
２３とが並べて配置され、前者によってプレーヤの属す
る外界像が撮像され、後者によってハンドコントローラ
１の４個の発光ダイオードＬＥＤ１〜ＬＥＤ４が流し撮
りされる。従って、プレーヤが基準面設定機能付きのハ
ンドコントローラ１に目を向けると、その基準面の方向
に流し撮りＣＣＤ装置２３が向くようになる。

【００４１】そして、特殊グラストロン２内のプレーヤ
の右目に相対する位置にはＬＣＤ２６が取付けられ、例
えば、通常のＣＣＤ撮像装置２５により撮影したプレー
ヤのハンドコントローラ１と、予め準備された液晶ディ
スプレイ５の仮想画像とを合成したステレオ画像の一方
が表示される。そのプレーヤの左目に相対する位置には
ＬＣＤ２７が取付けられ、上述のハンドコントローラ１
と、液晶ディスプレイ５の仮想画像とを合成したステレ
オ画像の他方が表示される。

【００４２】この特殊グラストロン２はプレーヤの顔面
又は頭部に装着され、上述のＬＣＤ２６のステレオ画像
と、ＬＣＤ２７のステレオ画像とがプレーヤの眼球に導
くようになされている。これにより、プレーヤの属する
背景像としてのハンドコントローラ１と、液晶ディスプ
レイ５の仮想画像とは頭の中で合成される。

【００４３】図６に示す特殊グラストロン２０は透過型
のヘッドマウントディスプレイを構成しており、通常の
ＣＣＤ撮像装置２５は搭載されていない。従って、透過
型のヘッドマウントディスプレイは、流し撮りＣＣＤ装
置２３と、外界像取り込み用の液晶シャッタ２８と、画
像表示素子としてのＬＣＤ２９を有している。

【００４４】例えば、プレーヤの眉間に相当する位置に
は、流し撮りＣＣＤ装置２３が配置され、プレーヤが基
準面設定機能付きのハンドコントローラ１に目を向ける
と、ハンドコントローラ１の４個の発光ダイオードＬＥ
Ｄ１〜ＬＥＤ４が流し撮りされる。そして、プレーヤの
左目及び右目に相当する位置には液晶シャッタ２８が設
けられ、例えば、液晶シャッタ２８が開かれると、その
液晶シャッタ２８を通過したプレーヤの前に置いたハン
ドコントローラ１の実像が直接眼球に導かれる。

【００４５】また、特殊グラストロン２内のプレーヤの
左目及び右目の脇に位置する部分には、ＬＣＤ２９が取
付けられ、上述の特殊グラストロン２と同様にして液晶
ディスプレイ５の仮想画像及び液晶ディスプレイ５の仮
想画像とが表示される。図示しないが、液晶シャッタ２
８と、ＬＣＤ２９との間には偏光ビームスプリッタなど
の光学手段が設けられ、プレーヤのハンドコントローラ
１の実像と、液晶ディスプレイ５の仮想画像及び液晶デ
ィスプレイ５の仮想画像とがプレーヤの眼球に導くよう
になされている。これにより、プレーヤの属する背景像
としてのハンドコントローラ１と、液晶ディスプレイ５
の仮想画像とは頭の中で合成される。

【００４６】続いて、インターライン転送方式の流し撮
りＣＣＤ装置２３の内部構成について説明する。図７に
示す流し撮りＣＣＤ装置２３は基板３１を有している。
その基板３１上には、１画素を構成する光電変換素子と
してフォトダイオードＰＨｉｊ（ｉ＝１〜ｎ、ｊ＝１〜
ｍ）がｎ列×ｍ行のマトリクス状に配置されている。

【００４７】この基板の列方向には電荷転送部としてｍ
本の垂直転送部３２が設けられ、フォトダイオードＰＨ
ｉｊから読み出した信号電荷が垂直読み出し信号Ｓ１に
基づいて垂直方向（流し撮り方向）に転送される。この
垂直転送部３２には水平転送部３３が接続され、その信
号電荷が水平読み出し信号Ｓ２に基づいて水平方向に転
送されるので、出力端子３４には流し撮り信号ＳOUTが
出力される。この例では、流し撮りをするために、少な
くとも、同一フィールド期間中に複数回、フォトダイオ
ードＰＨｉｊから垂直転送部３２に信号電荷が読み出さ
れる。

【００４８】また、流し撮りＣＣＤ装置２３は図８に示
す魚眼レンズ３５を有している。魚眼レンズ３５は例え
ばＣＣＤ撮像素子３６の光軸上に設けられる。この魚眼
レンズ３５によってプレーヤの基準面設定機能付きのハ
ンドコントローラ１などを広範囲に撮像できるようにな
されている。もちろん、通常のレンズでも構わないが、
視野が狭くなるので、プレーヤはハンドコントローラ１
に向けてより多く頭部を傾けなければならない。

【００４９】続いて、ゲーム装置１００の回路構成につ
いて説明する。図９に示すゲーム装置１００は大きく分
けて３つの回路ブロックから成る。この例では、ハンド
コントローラ１と画像処理装置３とをリード線で接続す
る有線方式の場合を挙げて説明をする。第１の回路ブロ
ックは基準面設定機能付きのハンドコントローラ１であ
り、上述した４つの発光ダイオードＬＥＤ１〜ＬＥＤ
４、点滅制御回路１３、ジョグダイヤル５４、操作ボタ
ン５２、５３、５５、５６及びその制御系が設けられ
る。

【００５０】このハンドコントローラ１の制御系は内部
バス１８を有している。内部バス１８にはインタフェー
ス（Ｉ／Ｏ）８，９、ＣＰＵ１５、ＲＯＭ１６及びＲＡ
Ｍ１７が接続されている。上述したジョグダイヤル５４
にはインタフェース８が接続され、プレーヤによる操作
情報が制御系に入力される。また、操作ボタン５２、５
３、５５、５６にはインタフェース９が接続され、プレ
ーヤによって押下された操作ボタン５２、５３、５５、
５６によるキャラクタ指示情報が制御系に入力される。

【００５１】更に、内部バス１８にはＲＯＭ１６が接続
され、このハンドコントローラ１を制御するためのシス
テムプログラムや、メモリの読み出し手順などの制御情
報などが格納される。内部バス１８にはワーキング用の
ＲＡＭ１７が接続され、システムプログラムや、操作ボ
タン５２、５３、５５、５６によるキャラクタ指示情報
やジョグダイヤル５４による操作情報が一時記録され
る。

【００５２】また、ＲＡＭ１７から読み出された操作ボ
タン５２、５３、５５、５６によるキャラクタ指示情報
やジョグダイヤル５４による操作情報はインタフェース
９を介して画像処理装置３に伝送される。この内部バス
１８にはＣＰＵ１５が接続され、インタフェース８，
９、ＲＯＭ１６及びＲＡＭ１７の入出力制御が行われ
る。

【００５３】なお、ハンドコントローラ１と画像処理装
置３とを無線方式で接続する場合には、内部バス１８に
送信部１４を接続し、ＣＰＵ１５の制御を受けてＲＡＭ
１７から読み出された操作ボタン５２、５３、５５、５
６によるキャラクタ指示情報やジョグダイヤル５４によ
る操作情報が所定の伝送信号に変調されて送信される。
その際には送信部１４には無線送信器が使用される。送
信部１４には赤外線発光器を使用することもできる。

【００５４】第２の回路ブロックは特殊グラストロン２
であり、非透過型の場合には上述した流し撮りＣＣＤ装
置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣ
Ｄ２６及び左眼表示用のＬＣＤ２７を有している。

【００５５】第３の回路ブロックは画像処理装置３であ
り、内部バス４１を有している。内部バス４１にはイン
タフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画
像処理部４４、ＣＰＵ４５、ＲＯＭ４６、ＲＡＭ４７及
びＥ²ＰＲＯＭ（電気的な書き込み及び消去が可能な読
み出し専用メモリ）４８が接続されている。流し撮りＣ
ＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用
のＬＣＤ２６及び左眼表示用のＬＣＤ２７はインタフェ
ース４２を介して内部バス４１に接続される。

【００５６】この内部バス４１にはＥ²ＰＲＯＭ４８が
接続され、プレーヤの属する外界像に仮想体の画像を立
体的に合成するアルゴリズムが格納される。この例で
は、少なくとも、プレーヤの属する実空間上で撮像可能
なハンドコントローラ１を認識し、そこで認識されたハ
ンドコントローラ１の仮想空間上の画像に任意の画像表
示装置の仮想画像を合成するようなアルゴリズムが格納
される。この例では、液晶ディスプレイ５、又はＣＲＴ
装置などの画像表示装置の仮想画像を表示するための画
像データが予めＥ²ＰＲＯＭ４８に格納されている。

【００５７】このようなアルゴリズム及び画像データを
Ｅ²ＰＲＯＭ４８を格納して置くと、例えば、ゲーム装
置１００を制御する際に、当該アルゴリズムがＥ²ＰＲ
ＯＭ４８から読み出され、プレーヤの属する実空間上で
撮像可能なハンドコントローラ１が認識されると、そこ
で認識されたハンドコントローラ１の仮想画像又は実画
像に、Ｅ²ＰＲＯＭ４８から読み出された画像データに
基づいて、液晶ディスプレイ５、又はＣＲＴ装置などの
画像表示装置の仮想画像が合成される。

【００５８】従って、プレーヤの操作するハンドコント
ローラ１の外界像に、液晶ディスプレイ５の仮想画像を
立体的に合成して映像表示制御を実行するような仮想画
像立体合成処理を再現性良く行うことができるので、バ
ーチャルキャラクタコントローラなどのゲーム装置１０
０を再現性良く構成することができる。

【００５９】更に、内部バス４１にはＲＯＭ４６が接続
され、このゲーム装置１００を制御するためのシステム
プログラムや、メモリの読み出し手順などの制御情報な
どが格納される。内部バス４１にはワーキング用のＲＡ
Ｍ４７が接続され、システムプログラムや、液晶ディス
プレイ５、又はＣＲＴ装置などの仮想画像を表示する表
示情報が一時記録される。

【００６０】なお、ハンドコントローラ１と画像処理装
置３とを無線方式で接続する場合には、内部バス４１に
受信部４９を接続し、ハンドコントローラ１の送信部１
４から送信されてくる伝送信号が受信され、その後、伝
送信号が操作ボタン５２、５３、５５、５６によるキャ
ラクタ指示情報や、ジョグダイヤル５４による操作情報
に復調される。復調後のキャラクタ指示情報や操作情報
はＲＡＭ４７に一旦格納される。受信部４９には無線受
信器が使用される。もちろん、受信部４９には赤外線受
信器を使用してもよい。

【００６１】この内部バス４１にはＣＰＵ４５が接続さ
れ、インタフェース４２、画像キャプチャ部４３、画像
処理部４４、ＲＯＭ４６、ＲＡＭ４７、Ｅ²ＰＲＯＭ４
８及び受信部４９などの入出力の制御や、流し撮りＣＣ
Ｄ装置２３、ＣＣＤ撮像装置２５、ＬＣＤ２６及びＬＣ
Ｄ２７の入出力の制御が行われる。例えば、ＲＡＭ４７
からキャラクタ指示情報や操作情報を読み出して液晶デ
ィスプレイ５、又はＣＲＴ装置などの仮想画像を変化さ
せるような表示制御がＣＰＵ４５によって行われる。

【００６２】このインタフェース４２には画像処理部４
４が接続され、例えば、通常のＣＣＤ撮像装置２５で撮
像された図１０に示すハンドコントローラ１の４つの発
光ダイオードＬＥＤ１〜ＬＥＤ４の通常画像が、ＣＰＵ
４５の制御命令と共にインタフェース４２を介して、画
像処理部４４に取り込まれ、そこで所定の画像処理がな
され、再び、インタフェース４２を介して特殊グラスト
ロン２内のＬＣＤ２６及びＬＣＤ２７などに転送され
る。

【００６３】また、インタフェース４２には画像キャプ
チャ部４３が接続され、ＣＰＵ４５の制御命令を受け
て、流し撮りＣＣＤ装置２３から入力した点滅パターン
の画像データを獲得する所定のキャプチャ処理がなされ
る。この点滅パターンの画像データは時間経過に対応す
る輝度の変化として表現されている。画像キャプチャ部
４３には演算手段としての画像処理部４４が接続され、
所定の画像処理が施された画像データに関して、点滅パ
ターンの同期ずれが補正されたり、プレーヤの属するハ
ンドコントローラ１の基準面が求められる。

【００６４】例えば、画像処理部４４では流し撮りＣＣ
Ｄ装置２３から出力された流し撮り信号（輝度信号）Ｓ
OUTの点滅パターンに関して、図１１に示すウインドウ
Ｗにより画定された画像領域内で、４つの流し撮り輝点
Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターン
に変換される。その後、その配置パターン上を走査し
て、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ
１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ
４，Ｙ４）が求められる。この４つの輝点Ｐ１〜Ｐ４は
プレーヤの前に置かれたハンドコントローラ１の４つの
発光ダイオードＬＥＤ１〜ＬＥＤ４である。実空間上の
４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置座標は
既知であり、その位置座標は（ｘ１，ｙ１）、（ｘ２，
ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）である。

【００６５】従って、上述の実空間上のハンドコントロ
ーラ１の基準面は４つの発光ダイオードＬＥＤ１〜ＬＥ
Ｄ４の取付け位置に射影する変換行列を演算することに
より得られる。ここで実空間の平面上の点（ｘｉ，ｙ
ｉ，０）をある並進・回転運動によって移動し、それを
透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で
示すと、両者の間には（１）式なる関係がある。

【００６６】

【数１】

【００６７】但し、ａ１・・・・ａ６は未知の係数でＣ
ＣＤ撮像装置２５などの外部パラメータ（位置と方向）
及び焦点距離などの内部パラメータである。これらのパ
ラメータは実空間の既知の４つの点の位置座標（ｘ１，
ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ
４）と、それらに対応する４組の画像処理系の位置座標
（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、
（Ｘ４，Ｙ４）が存在すれば、（２）式の方程式を解く
ことにより得られる。

【００６８】

【数２】

【００６９】ここで得られた４点の位置座標（Ｘ１，Ｙ
１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ
４）を結ぶことにより、図１０に示した実空間上のハン
ドコントローラ１の基準面が認識される。

【００７０】具体的には、図１１に示す配置パターン上
で流し撮像方向をＹ軸とし、そのＹ軸に直交する方向を
Ｘ軸としたときに、画像処理部４４によって流し撮像方
向と同一方向又はその反対方向に輝度信号値が加算され
る。この加算値がＸ軸上にプロットされると、そのＸ軸
にプロットされた輝度信号値が最大となる４つの位置が
検出され、この４つの位置に対応したＸ座標値Ｘ１、Ｘ
２、Ｘ３、Ｘ４が求められる。また、その配置パターン
上で取得画像をＹ方向に走査したときに、そのＹ方向に
並んだ複数の輝点のうち、最初に発光した輝点位置が各
々Ｘ座標値に対応したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４
として求められる。

【００７１】ここで、実空間上の４つの発光ダイオード
ＬＥＤ１〜ＬＥＤ４の位置座標をｗｉ（ｉ＝１〜４）と
し、その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位
置座標ｗｉのカメラ座標系上での表現ベクトルをＣｉと
し、その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４のＬ
ＣＤ画面上での位置座標をＰｉとし、流し撮りＣＣＤ装
置２３の回転マトリクスをＲ、その移動ベクトルをＴと
すると、（３）式、すなわち、Ｃｉ＝Ｒ・ｗｉ＋Ｔ・・・（３）但し、Ｃｉ＝Ｐｉ・ｋｉ（ｋｉはスカラー）という関係がある。従って、通常のＣＣＤ撮像装置２５
の回転マトリクスＲとその移動ベクトルＴとを演算し、
これをパラメータとして実空間と仮想空間との間で座標
変換を容易に行うことができるので、仮想空間上のハン
ドコントローラ１の基準面に、液晶ディスプレイ５、又
はＣＲＴ装置などの画像表示装置の仮想画像を合成する
ことができる。

【００７２】次に、本実施の形態としてのゲーム装置１
００の動作を説明する。この例では、撮像可能な基準面
設定機能付きのハンドコントローラ１の所定の面に点滅
パターンが異なる４つの発光ダイオードＬＥＤ１〜ＬＥ
Ｄ４を取付け、これらの発光ダイオードＬＥＤ１〜ＬＥ
Ｄ４を所定の撮像方向に流すように撮像し、ここで撮像
された発光ダイオードＬＥＤ１〜ＬＥＤ４の輝度情報を
画像処理して４点の輝点位置を求め、仮想空間上でその
輝点位置を結んだハンドコントローラ１の基準面にプレ
ーヤの属する外界像と、液晶ディスプレイ５の仮想画像
を立体的に合成する場合を想定する。

【００７３】例えば、プレーヤは図５に示した特殊グラ
ストロン２を頭部に装着し、まず、図１２に示すフロー
チャートのステップＡ１でプレーヤの属する実空間上で
ハンドコントローラ１の基準面を画像処理系に認識させ
るために、プレーヤは、例えば、ハンドコントローラ１
の操作ボタン５２、５３、５５、５６側が上に向くよう
に、ハンドコントローラ１を机の上などに配置する。そ
の後、ハンドコントローラ１を動作させて点滅制御回路
１３から４つの発光ダイオードＬＥＤ１〜ＬＥＤ４に所
定の電圧を供給して所定の点滅パターンで点滅する。

【００７４】この例では、所定周波数のクロック信号Ｃ
ＬＫ１が抵抗Ｒを通して発光ダイオードＬＥＤ１に供給
され、このクロック信号ＣＬＫ１を１／２分周したクロ
ック信号ＣＬＫ２が抵抗Ｒを通して発光ダイオードＬＥ
Ｄ２に供給され、そのＣＬＫ１を１／３分周したクロッ
ク信号ＣＬＫ３が抵抗Ｒを通して発光ダイオードＬＥＤ
３に供給され、そのＣＬＫ１を１／４分周したクロック
信号ＣＬＫ４が抵抗Ｒを通して発光ダイオードＬＥＤ４
に供給される。

【００７５】次に、ステップＡ２において、一方で通常
のＣＣＤ撮像装置２５を使用して実空間上のハンドコン
トローラ１の基準面を撮影してＬＣＤ２６及びＬＣＤ２
７にステレオ画像を表示する。他方で、流し撮りＣＣＤ
装置２３を使用して実空間上のハンドコントローラ１の
基準面を流し撮りする。例えば、ハンドコントローラ１
と液晶ディスプレイ５との仮想画像を合成させようとす
る位置に取付けられた４つの発光ダイオードＬＥＤ１〜
ＬＥＤ４が、点滅パターンが異なるように点滅されるの
で、その点滅パターンが所定の撮像方向に流すように撮
像される。

【００７６】その後、ステップＡ３でプレーヤの属する
実空間上に任意に設定された基準面を認識するために画
像処理する。画像処理部４４では、例えば、図１３に示
すサブルーチンをコールしてステップＢ１でビデオキャ
プチャ処理を実行する。その後、ステップＢ２でハンド
コントローラ１の４つの発光ダイオードＬＥＤ１〜ＬＥ
Ｄ４を認識する。具体的には、流し撮りＣＣＤ装置２３
で撮像された４つの発光ダイオードＬＥＤ１〜ＬＥＤ４
による輝度信号の点滅パターンが、４つの輝点Ｐ１〜Ｐ
４を含むＸＹ平面を成す空間的な配置パターンに変換さ
れる。

【００７７】その後、その配置パターン上を走査して、
少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，
Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ
４）が求められ、上述した（１）式及び（２）式が演算
され、実空間上のハンドコントローラ１の４つの発光ダ
イオードＬＥＤ１〜ＬＥＤ４の取付け位置と、画像処理
系の４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、
（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）との関係が求められ、
この４点を結ぶことにより基準面が求められる。そし
て、ステップＢ３で画像処理部４４では上述の（３）式
に基づいて演算処理が行われ、流し撮りＣＣＤ装置２３
とハンドコントローラ１の基準面との位置関係が検出さ
れる。

【００７８】その後、図１２のメインルーチンのステッ
プＡ４にリターンして仮想空間のハンドコントローラ１
の基準面上に液晶ディスプレイ５の仮想画像を重ね合わ
せて合成する。このとき、プレーヤが装着した特殊グラ
ストロン２では、ＬＣＤ２６による実空間のハンドコン
トローラ１の外界像と、液晶ディスプレイ５の仮想画像
とを合成したステレオ画像の一方がプレーヤの右の眼球
に導くようになされる。ＬＣＤ２７による実空間のハン
ドコントローラ１の外界像と、液晶ディスプレイ５の仮
想画像とを合成したステレオ画像の他方がプレーヤの左
の眼球に導くようになされる。

【００７９】従って、図１４Ａに示す実空間上ではハン
ドコントローラ１の左手操作部５７、右手操作部５８及
び中間部５９（基準面）上には、実際には液晶ディスプ
レイ５が設備されていないのに、図１４Ｂに示す仮想空
間ではそのハンドコントローラ１の基準面上に液晶ディ
スプレイ５の仮想画像を出現させることができる。

【００８０】これにより、プレーヤの属する実空間上の
ハンドコントローラ１の背景画像と、仮想空間上に出現
した液晶ディスプレイ５の仮想画像とが頭の中で合成さ
れるので、実空間上のハンドコントローラ１の基準面の
属する位置に、あたかも、液晶ディスプレイ５が存在す
るようにできる。

【００８１】この例では、図１４Ａに示す操作ボタン５
２，５３，５５又は５６などを押下することによって、
ハンドコントローラ１から特殊グラストロン２へにキャ
ラクタ指示情報が出力される。このキャラクタ指示情報
は無線方式又は有線方式により、図示しない特殊グラス
トロン２などの画像処理装置３に出力される。

【００８２】従って、ハンドコントローラ１からのキャ
ラクタ指示情報を受信した特殊グラストロン２では、図
１４Ｂに示す液晶ディスプレイ５の仮想画面上でキャラ
クタの動きを制御すべく次のような画像処理が行われ
る。例えば、ハンドコントローラ１から送信されてくる
キャラクタ指示情報に基づいてキャラクタを左に動かし
たり、キャラクタを飛び跳ねさせたり、キャラクタの保
持する、例えば武器などから相手キャラクタに向けて発
射された弾丸などの仮想画像を合成表示するような画像
処理が実行される。この表示制御の結果、図１４Ｂに示
す液晶ディスプレイ５上でキャラクタの動きをコントロ
ールすることができる。

【００８３】このように、第１の実施形態としてのゲー
ム装置１００によれば、ハンドコントローラ１の左手操
作部５７、右手操作部５８及び中間部５９に取付けられ
た４つの発光ダイオードＬＥＤ１〜ＬＥＤ４による点滅
パターンを流し撮りすることによって、４つの発光ダイ
オードＬＥＤ１〜ＬＥＤ４の位置からハンドコントロー
ラ１の位置を画像処理系に容易に認識させることができ
る。しかも、プレーヤの属する実空間上のハンドコント
ローラ１の基準面を簡易に、しかも、少ない計算量で画
像処理系に認識させることができる。

【００８４】従って、仮想空間上でハンドコントローラ
１に対するモニタとして任意のＣＲＴ装置や、液晶ディ
スプレイ５などの仮想画像を合成してキャラクタ表示制
御を行うようなバーチャルキャラクタコントローラなど
を構成することができる。また、従来方式に比べて画像
処理部４４における演算負担を軽減できると共に、これ
らのバーチャルキャラクタコントローラなどのコストダ
ウンを図ることができる。

【００８５】（３）第２の実施形態としてのゲーム装置図１５は本発明に係る第２の実施形態としてのゲーム装
置２００の回路ブロック例を示す図である。この例で
は、ハンドコントローラ７１と画像処理装置３’とを光
で接続することにより、ワイヤレス化を図ったものであ
る。

【００８６】図１５に示すゲーム装置１００は大きく分
けて３つの回路ブロックから成る。第１の回路ブロック
は基準面設定機能付きのハンドコントローラ７１であ
り、４つの発光ダイオードＬＥＤ１〜ＬＥＤ４、点滅制
御回路１３’、ジョグダイヤル５４、操作ボタン５２、
５３、５５、５６及びその制御系が設けられる。

【００８７】このハンドコントローラ７１の制御系は図
９に示した回路とほぼ同様な構成を採るが、ＲＯＭ７２
が設けられる共に、この制御系によって点滅制御回路１
３’が制御される点で異なっている。なお、第１の実施
形態と同じ符号及び名称のものはその機能が同じである
ためその説明を省略する。

【００８８】つまり、ハンドコントローラ７１の内部バ
ス１８に接続されたＲＯＭ７２にはジョグダイヤル５４
及び操作ボタン５２、５３、５５、５６による入力情報
に基づいて発光ダイオードＬＥＤ１〜ＬＥＤ４の点滅を
制御するための制御データＤｐが格納されている。この
例では、予め制御データＤｐが参照テーブル化されてＲ
ＯＭ７２に格納され、ジョグダイヤル５４及び操作ボタ
ン５２、５３、５５、５６による入力情報をアドレスに
して制御データＤｐが読み出される。

【００８９】この制御データＤｐはＣＰＵ１５の制御を
受けてインタフェース９を通って点滅制御回路１３’に
出力される。この点滅制御回路１３’ではジョグダイヤ
ル５４及び操作ボタン５２、５３、５５、５６による入
力情報に基づいて発光ダイオードＬＥＤ１〜ＬＥＤ４の
点滅パターンが制御される。この点滅制御回路１３’に
ついては図１６で説明をする。発光ダイオードＬＥＤ１
〜ＬＥＤ４による点滅パターンは第２の回路ブロックの
特殊グラストロン２によって検出される。例えば、非透
過型の場合には上述した流し撮りＣＣＤ装置２３又は、
通常のＣＣＤ撮像装置２５によって検出される。

【００９０】この流し撮りＣＣＤ装置２３又は通常のＣ
ＣＤ撮像装置２５によって得られた光検出信号は第３の
回路ブロックの画像処理装置３’で認識される。この画
像処理装置３’にはＲＯＭ４６の他にＲＯＭ７３が設け
られ、上述のジョグダイヤル５４及び操作ボタン５２、
５３、５５、５６による入力情報がこの光検出信号から
求めるようになされる。例えば、予め、ＲＯＭ７３には
光検出信号に対応付けられたジョグダイヤル５４及び操
作ボタン５２、５３、５５、５６による入力情報が参照
テーブル化されて格納されており、この光検出信号をア
ドレスにしてジョグダイヤル５４及び操作ボタン５２、
５３、５５、５６による入力情報が読み出される。

【００９１】このＲＯＭ７３から読み出されたジョグダ
イヤル５４及び操作ボタン５２、５３、５５、５６によ
る入力情報は、ＣＰＵ４５の制御を受けてＲＡＭ４７に
一時記憶される。また、第１の実施形態と同様にして４
つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置に関する
画像データもＲＡＭ４７に一時記憶される。この発光ダ
イオードＬＥＤ１〜ＬＥＤ４の位置に関する画像データ
及びジョグダイヤル５４及び操作ボタン５２、５３、５
５、５６による入力情報は、ＲＡＭ４７から画像処理部
４４、Ｅ²ＰＲＯＭ４８又はＲＯＭ４６などに切り分け
て読み出される。

【００９２】続いて、ハンドコントローラ７１の点滅制
御回路１３’について説明する。図１６は点滅制御回路
１３’の内部構成例を示すブロック図である。この点滅
制御回路１３’は例えばクロック発生部６１を有してお
り、所定周波数のクロック信号ＣＬＫ０が発生される。
クロック発生部６１には４つの分周回路８１〜８４が接
続されており、インタフェース９を通して入力される制
御データＤｐに基づいて各々の分周回路８１〜８４にお
いてクロック信号ＣＬＫ０が所定の分周比で分周され
る。

【００９３】例えば、ジョグダイヤル５４に係る制御デ
ータＤｐが分周回路８１〜８４に供給された場合には、
第１パターンの分周比に基づいてクロック信号ＣＬＫ０
が分周される。操作ボタン５２に係る制御データＤｐが
分周回路８１〜８４に供給された場合には、第２パター
ンの分周比に基づいてクロック信号ＣＬＫ０が分周さ
れ、操作ボタン５３に係る制御データＤｐが分周回路８
１〜８４に供給された場合には、第３パターンの分周比
に基づいてクロック信号ＣＬＫ０が分周され、操作ボタ
ン５５に係る制御データＤｐが分周回路８１〜８４に供
給された場合には、第４パターンの分周比に基づいてク
ロック信号ＣＬＫ０が分周され、操作ボタン５６に係る
制御データＤｐが分周回路８１〜８４に供給された場合
には、第５パターンの分周比に基づいてクロック信号Ｃ
ＬＫ０が分周される。

【００９４】各々の分周回路８１〜８４から出力される
クロック信号ＣＬＫ１〜ＣＬＫ４は安定化用の抵抗Ｒを
通して各々の発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥ
Ｄ３及びＬＥＤ４に供給される。従って、発光ダイオー
ドＬＥＤ１〜ＬＥＤ４はクロック信号ＣＬＫ１〜ＣＬＫ
４に基づいて点滅パターンが異なるように点滅する。

【００９５】このように、第２の実施形態としてのゲー
ム装置２００によれば、ジョグダイヤル５４及び操作ボ
タン５２、５３、５５、５６による入力情報に基づいた
点滅パターンで発光ダイオードＬＥＤ１〜ＬＥＤ４を点
滅させることができる。しかも、ＲＡＭ４７に記憶され
た発光ダイオードＬＥＤ１〜ＬＥＤ４の位置に関する画
像データ及びジョグダイヤル５４及び操作ボタン５２、
５３、５５、５６による入力情報を切り分けて画像処理
部４４、Ｅ²ＰＲＯＭ４８又はＲＯＭ４６などに読み出
すことができる。

【００９６】従って、ハンドコントローラ７１から送ら
れてくるジョグダイヤル５４及び操作ボタン５２、５
３、５５、５６などによるキャラクタ指示情報に基づい
てキャラクタを左右に動かしたり、キャラクタを飛び跳
ねさせたりする画像処理を実行することができる。しか
も、ハンドコントローラ７１には第１の実施形態のよう
な煩わしい配線コードなどが一切接続されないので、自
由な感覚でハンドコントローラ７１を操作することがで
きる。

【００９７】また、各実施形態では液晶ディスプレイ５
又はＣＲＴ装置は特殊グラストロン２内のＬＣＤ２６及
びＬＣＤ２７等の表示手段２４に表示されるので、ディ
スクトップのＣＲＴ装置やノートサイズの液晶ディスプ
レイなどの実物が不要となる。更に、仮想空間上の液晶
ディスプレイ及びＣＲＴ装置の画面の大きさは自由に決
めることができる。

【００９８】上述した各実施形態では情報入力装置に関
してハンドコントローラ１及び７１について説明した
が、これに限られることはなく、発光ダイオード付きの
情報入力装置であれば、その位置が認識できるので、ど
んな種類の情報入力装置であってもよい。

【００９９】また、各実施形態では仮想空間上のハンド
コントローラ１及び７１に液晶ディスプレイ５の仮想画
像を合成する場合について説明したが、これに限られる
ことはなく、任意のキャラクタをイメージする仮想画像
を合成するようにしてもよい。その際のキャラクタの例
としては、雪だるまなどの３Ｄポリゴン、台座ポリゴン
や、光、炎、あるいは、氷のポリゴン、更に、鎧のよう
なポリゴンが対象となる。

【０１００】なお、この実施形態では非透過型の特殊グ
ラストロン２又は透過型の特殊グラストロン２０を使用
する場合について説明したが、これに限られることはな
く、透過型と非透過型を切換え可能な兼用タイプの特殊
グラストロンを用いても、もちろん構わない。

【０１０１】この実施形態のゲーム装置１００は、特開
平１０−１２３４５３号、特開平９−３０４７２７号、
特開平９−３０４７３０号、特開平９−２１１３７４
号、特開平８−１６０３４８号、特開平８−９４９６０
号、特開平７−３２５２６５号、特開平７−２７０７１
４号及び特開平７−６７０５５号に記載される透過型の
ヘッドマウントディスプレイに適用することができる。

【０１０２】この実施形態では流し撮りＣＣＤ２３に関
してインターライン転送方式の二次元撮像デバイスを使
用する場合について説明したが、これに限られることは
なく、フレーム転送方式の二次元撮像デバイスを使用す
る場合であっても同様な効果が得られる。

【０１０３】

【発明の効果】以上説明したように、本発明の情報入力
装置によれば、操作ボタンの周辺領域の特定位置に取付
けられた複数の光源の点滅パターンを異なるように点滅
制御する制御手段が設けられるものである。

【０１０４】この構成によって、流し撮りＣＣＤ装置の
ような特殊撮影装置で情報入力装置を撮像した場合に、
複数の光源の点灯パターンを非点滅制御した場合に比べ
てその光源の位置を容易に特定することができる。従っ
て、その光源の位置から情報入力装置の位置を画像処理
系に容易に認識させることができるので、仮想空間上で
情報入力装置に任意の画像表示装置のイメージ画像を合
成するようなゲーム装置などに十分に応用することがで
きる。

【０１０５】本発明に係るゲーム装置によれば、上述の
情報入力装置が応用されるものである。この構成によっ
て、仮想空間上で情報入力装置に対するモニタとして任
意のＣＲＴ装置や、液晶ディスプレイなどの仮想画像を
合成してキャラクタを表示制御するようなバーチャルキ
ャラクタコントローラなどを構成することができる。こ
の発明は、操作ボタン付きの情報入力ツールなどの存在
位置を画像処理系などに認識させる位置認識機構及びこ
れを応用したゲーム装置などに適用して極めて好適であ
る。

【図面の簡単な説明】

【図１】本発明に係る実施形態としての情報入力装置１
の構成例を示す斜視図である。

【図２】その点滅制御回路１３の内部構成例を示すブロ
ック図である。

【図３】４つの発光ダイオードＬＥＤ１〜ＬＥＤ４への
電圧供給例を示す波形図である。

【図４】情報入力装置を応用した第１の実施形態として
のゲーム装置１００の構成例を示す斜視図である。

【図５】各ゲーム装置で使用する特殊グラストロン２の
構成例を示す正面から見た概念図である。

【図６】各ゲーム装置で使用する他の特殊グラストロン
２０の構成例を示す正面から見た概念図である。

【図７】その特殊グラストロン２の流し撮りＣＣＤ装置
２３の内部構成例を示す平面図である。

【図８】その流し撮りＣＣＤ装置２３の光学系の構成例
を示す断面図である。

【図９】ゲーム装置１００の回路ブロック例を示す図で
ある。

【図１０】その基準面を成す左手操作部５７、右手操作
部５８及び中間部５９の通常画像例を示すイメージ図で
ある。

【図１１】その基準面の位置座標の算出例を示す模式図
である。

【図１２】ゲーム装置１００の動作例（その１）を示す
メインルーチンのフローチャートである。

【図１３】ゲーム装置１００の動作例（その２）を示す
サブルーチンのフローチャートである。

【図１４】Ａは、実空間上のハンドコントローラ１の実
像例であり、Ｂは、仮想空間上の液晶ディスプレイ５の
合成例を示すイメージ図である。

【図１５】他の情報入力装置を応用した第２の実施形態
としてのゲーム装置２００の回路ブロック例を示す図で
ある。

【図１６】その点滅制御回路１３’の内部構成例を示す
ブロック図である。

【符号の説明】

１，７１・・・ハンドコントローラ（情報入力装置）、
２，２０・・・特殊グラストロン（合成手段）、３・・
・画像処理装置（演算手段）、４・・・位置認識機構、
１３・・・点滅制御回路（制御手段）、２３・・・流し
撮りＣＣＤ装置（撮像装置）、２４・・・表示手段、２
５・・・ＣＣＤ撮像装置、２６・・・右眼表示用のＬＣ
Ｄ、２７・・・左眼表示用のＬＣＤ、３２・・・垂直転
送部（電荷転送部）、３３・・・水平転送部、１００，
２００・・・ゲーム装置、ＬＥＤ１〜ＬＥＤ４・・・発
光ダイオード（光源）

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2C001 BA00 BA05 BB00 BB10 BC00 BC04 BC08 CA00 CA01 CA08 CC03 5B087 AA07 AD02 AE00 BC05 BC12 BC13 BC16 BC17 BC19 BC32 DJ01 DJ03 9A001 HH34 JJ76

Claims

【特許請求の範囲】

【請求項１】情報入力用の操作ボタンを有した撮像可
能な情報入力装置であって、少なくとも、前記操作ボタンの周辺領域の特定位置に取
付けられた複数の光源と、前記光源の入出力を制御する制御手段とを備え、前記制御手段は、前記光源の点滅パターンが異なるように点滅制御するこ
とを特徴とする情報入力装置。
【請求項２】前記操作ボタンが設けられる場合であっ
て、前記操作ボタンを左手で操作させる左手操作部と、前記操作ボタンを右手で操作させる右手操作部とを有し
た両手操作型の入力ツールを成すことを特徴とする請求
項１に記載の情報入力装置。
【請求項３】前記操作ボタン及び光源が設けられる場
合であって、前記操作ボタンによる入力情報を前記光源による点滅パ
ターンに変換して画像処理系へ送る制御手段が設けられ
ることを特徴とする請求項１に記載の情報入力装置。
【請求項４】操作者の属する外界像に仮想体の画像を
立体的に合成する装置であって、情報入力用の操作ボタンを有した撮像可能な情報入力手
段と、前記操作者の属する実空間上で前記情報入力手段を認識
する位置認識手段と、前記位置認識手段により認識された情報入力手段の仮想
空間上の画像に任意の仮想画像を合成する合成手段とを
備え、前記位置認識手段は、前記情報入力手段の特定の位置に取付けられた、少なく
とも、点滅パターンが異なるように点滅する３点以上の
光源と、前記光源を所定の撮像方向に流すように撮像する流し撮
り用の撮像手段と、前記撮像手段による点滅パターンの輝度信号を画像処理
して前記光源の３点の位置を求め、その後、前記３点の
光源の位置を結んで基準面を求める演算手段とを有する
ことを特徴とするゲーム装置。
【請求項５】前記情報入力手段に操作ボタンが設けら
れる場合であって、前記情報入力手段は、前記操作ボタンを左手で操作させる左手操作部と、前記操作ボタンを右手で操作させる右手操作部とを有し
た両手操作型の入力ツールを成すことを特徴とする請求
項４に記載のゲーム装置。
【請求項６】前記位置認識手段及び合成手段が設けら
れる場合であって、前記合成手段は、前記位置認識手段により認識された仮想空間の情報入力
手段に任意の画像表示装置をイメージする仮想画像を合
成するようになされたことを特徴とする請求項４に記載
のゲーム装置。
【請求項７】前記位置認識手段及び合成手段が設けら
れる場合であって、前記合成手段は、前記位置認識手段により認識された仮想空間上の情報入
力手段に、任意のキャラクタをイメージする仮想画像を
合成するようになされたことを特徴とする請求項４に記
載のゲーム装置。
【請求項８】前記流し撮り用の撮像手段には、各画素を構成する複数の光電変換素子を有した二次元撮
像デバイスが使用され、前記光電変換素子から得られた信号電荷を所定の方向に
転送するときに、少なくとも、同一フィールド期間中に複数回、前記光電
変換素子から前記信号電荷を読み出すようになされたこ
とを特徴とする請求項４に記載のゲーム装置。
【請求項９】前記撮像手段及び演算手段が設けられる
場合であって、前記演算手段は、前記撮像手段による輝度信号の点滅パターンに関して、
３つの輝点を含むＸＹ平面を成す空間的な配置パターン
に変換し、前記配置パターン上を走査して、少なくとも、３つの輝
点の位置座標を求め、前記３点の位置座標を結ぶことにより前記基準面を認識
するようになされたことを特徴とする請求項４に記載の
ゲーム装置。
【請求項１０】前記演算手段は、３つの輝点を含むＸＹ平面を成す配置パターン上で流し
撮像方向をＹ軸とし、該Ｙ軸に直交する軸をＸ軸とした
ときに、前記流し撮像方向に輝度信号値を加算してＸ軸上にプロ
ットし、前記Ｘ軸上にプロットされた輝度信号値が最大となる位
置を検出して３つのＸ座標値を求め、かつ、前記配置パターン上でＹ軸方向に走査したときに、前記流し撮像方向に並んだ複数の輝点のうち、最初に発
光した輝点位置を各々Ｘ座標値に対応したＹ座標値とし
て求めることを特徴とする請求項４に記載のゲーム装
置。
【請求項１１】前記合成手段は、操作者の属する外界像を撮像する撮像手段と、前記撮像手段による外界像と予め準備された画像表示手
段の仮想画像と合成したステレオ画像の一方を表示する
第１の画像表示素子と、前記ステレオ画像の他方を表示する第２の画像表示素子
とを有したヘッドマウントディスプレイであり、前記ヘッドマウントディスプレイは、操作者の顔面又は
頭部に装着され、前記第１の画像表示素子によるステレオ画像と、前記第
２の画像表示素子によるステレオ画像とを重ね合わせて
操作者の眼球に導くようになされたことを特徴とする請
求項４に記載のゲーム装置。
【請求項１２】前記合成手段は、操作者の属する外界像を取り込むために入射光の開閉を
する液晶シャッタと、前記外界像に合成するための仮想体の画像を表示する画
像表示素子と、前記画像表示素子による仮想体の画像と、前記液晶シャ
ッタを通過した操作者の属する外界像とをその操作者の
眼球に導く光学手段とを有したヘッドマウントディスプ
レイであり、前記ヘッドマウントディスプレイは、操作者の顔面又は
頭部に装着され、前記液晶シャッタを開いたときは、前記液晶シャッタを通過した操作者の属する実空間上の
外界像に、前記画像表示素子による仮想体の画像を重ね
合わせて操作者の眼球に導くようになされたことを特徴
とする請求項４に記載のゲーム装置。
【請求項１３】前記操作ボタン及び光源が設けられる
場合であって、前記操作ボタンによる入力情報を前記光源による点滅パ
ターンに変換する制御手段と、前記制御手段によって変換された前記入力情報に係る点
滅パターンを撮像する撮像手段と、前記撮像手段により撮像された点滅パターンによる光検
出信号を画像処理して前記操作ボタンによる入力情報を
求める画像処理手段とが設けられることを特徴とする請
求項４に記載のゲーム装置。