JP2001356875A

JP2001356875A - ポインタ表示システム

Info

Publication number: JP2001356875A
Application number: JP2000177098A
Authority: JP
Inventors: Tsuyoshi Nishikawa; 川剛志西
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-06-13
Filing date: 2000-06-13
Publication date: 2001-12-26

Abstract

(57)【要約】【課題】入力範囲が広く、操作性が良く、かつ故障の
少ないコンピュータシステムにおけるポインタ表示シス
テムを提供する。【解決手段】操作者が手に持ったポインティングマー
カ（１８）を追跡装置（１４、１５、１６）で追跡して
少なくともその位置を認識してヘッドマウントディスプ
レイ装置（１１）の表示部（１２）に肉眼で見たのと同
じような位置に表示するようにしているので、体感的に
手を伸ばしたところにポインタが動くような操作感を実
現することができる。測距装置（２１、２２）をさらに
有し、距離情報を得るようにすると良い。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータシス
テムにおけるポインタ表示システムに関するもので、特
にヘッドマウントディスプレイ装置とともに使用してコ
ンピュータの操作やデータ入力を行うのに適したもので
ある。

【０００２】

【従来の技術】コンピュータ装置のポインティングデバ
イスとしては、マウス、タブレット、ライトペン、トラ
ックボール、ジョイスティックなどが開発され、実際に
使用されている。

【０００３】一方、小型、軽量を極限まで追求してあた
かも衣服を着るかのような携帯性を追求したいわゆるウ
ェアラブルコンピュータが提案されており、このような
ウェアラブルコンピュータにおいては、ディスプレイ装
置を小型軽量にするため、めがねあるいはゴーグルのよ
うな形状を有するヘッドマウントディスプレイ装置（Ｈ
ＭＤ）が一般的に採用される。

【０００４】図４４に、従来提案されているウェアラブ
ルコンピュータシステム１０の一例を示す。

【０００５】このシステムでは、全体としてめがねのフ
レーム状の形状をなすとともにレンズに相当する位置に
２つの液晶ディスプレイ２を配設したヘッドマウントデ
ィスプレイ１をケーブルでコンピュータ（ＰＣ）４に接
続するととともに、入力装置としてのタブレット３をこ
のコンピュータ４に接続したものである。

【０００６】このシステムではタブレット３上で指ある
いはタッチペン（図示せず）等を接触させることにより
出力されたポインタ座標情報がコンピュータ４内で処理
され、画像信号としてヘッドマウントディスプレイ１に
与えられ、液晶ディスプレイ２上にポインタ２ａとして
表示される。

【０００７】同様のポインタ表示はマウス、トラックポ
ール等のポインティングデバイスを用いても行われる。

【０００８】

【発明が解決しようとする課題】しかしながら、上述し
たような通常のコンピュータ用のポインティングデバイ
スは、単にヘッドマウントディスプレイ装置とポインテ
ィングデバイスとを組み合わせたのみであり、このよう
なウェアラブルコンピュータにおける入力装置としては
必ずしも適していない。

【０００９】すなわち、タブレット等の複雑な入力デバ
イスは操作ミスを誘発しやすく、マウスやトラックボー
ル等では摩擦率の低下等の機械的な構造に伴う故障の原
因となり、また入力範囲の制限があり、使いにくい。

【００１０】また、多くの入力デバイスでは視野と異な
る部分に手を伸ばして操作することが多いのに対して、
タブレット等では操作をその範囲内でしか行うことがで
きないため、一体感に欠ける入力になる。

【００１１】さらに、ライトペンやスティック等におい
て視野と同じ位置に手を伸ばして操作する場合は、自分
の手で画面の一部が見えなくなることがあるという問題
もある。

【００１２】本発明はこのような問題を解決するために
なされたもので、入力範囲が広く、操作性が良く、かつ
故障の少ない、コンピュータシステムにおけるポインタ
表示システムを提供することを目的とする。

【００１３】

【課題を解決するための手段】本発明によれば、操作者
の頭部に装着することにより操作者の眼前に設置される
表示部を有するヘッドマウントディスプレイ装置と、操
作者の手により保持され、移動されるポインティングマ
ーカと、前記ポインティングマーカの移動情報から、前
記ディスプレイ装置を装着しない場合の操作者の視界で
の位置と同様の位置に見えるように前記表示部上の座標
位置にポインタを表示させる表示制御装置とを備えたこ
とを特徴とするコンピュータシステムにおけるポインタ
表示システムが提供される。

【００１４】このポインタ表示システムでは操作者が体
感的にわかりやすい指示位置入力が可能となる。

【００１５】前記表示制御装置は、前記ポインティング
マーカの移動情報を得るポインティングマーカ追跡装置
と、前記ポインティングマーカ追跡装置から得られた追
跡情報を解析する追跡情報解析装置と、この追跡情報解
析装置で得られた解析情報をもとに前記表示部に対する
前記ポインタの表示座標を補正する座標補正装置とを備
えることが好ましい。

【００１６】これによりポインティングマーカの追跡が
可能となり、本発明のポインタ表示システムの具体的な
実施が可能となる。

【００１７】前記ポインティングマーカ追跡装置、前記
追跡情報解析装置、前記座標補正装置を前記ヘッドマウ
ントディスプレイ装置上に搭載すると良い。

【００１８】これにより、必要部品が一つにまとまるこ
とで、操作者が配線をする手間が軽減し、充電などに要
する手間も減る。

【００１９】前記操作者と前記ポインティングマーカと
の間の距離を計測する測距装置と、距離を算出する測距
情報解析装置をさらに備え、視野の面内にポインティン
グマーカの距離情報を前記表示部に表示するようにする
と良く、この場合、前記測距装置および前記測距情報解
析装置を前記ヘッドマウントディスプレイ装置上に搭載
することが好ましい。

【００２０】距離情報を加えることで、操作者が体感的
にわかりやすい三次元情報入力が可能となる。

【００２１】ポインティングマーカの位置情報に加え、
測距装置による奥行き方向の情報を画面上に出力するこ
ともできる。

【００２２】これにより、操作者が距離情報を知ること
ができるため、後続の操作に対する判断を的確に行うこ
とが可能とする。

【００２３】前記ポインティングマーカは特定色および
または特定形状を有し、前記ポインティングマーカ追跡
装置はビデオカメラ装置とすることが好ましい。

【００２４】この場合にはポインティングマーカは電力
を全く必要としないため、ポインティングマーカの構成
が簡単となり、メンテナンスも容易となる。

【００２５】前記ポインティングマーカは特定周波数の
電磁波又は音波を発するものであり、前記ポインティン
グマーカ追跡装置はこの電磁波又は音波を検出するもの
とすることができる。

【００２６】光、電波、音等各種の電磁波又は音波が利
用可能であるが、自ら電磁波又は音波を発する構成であ
るので、ポインティングマーカを小型化することが可能
となる。

【００２７】前記表示制御装置はヘッドマウントディス
プレイの画面上に前記ポインタの画像と前記ポインティ
ングマーカ追跡装置として用いる前記ビデオカメラで得
られた画像とを重ねて表示するものであると良い。

【００２８】この場合、操作者がビデオカメラで得られ
た画像により外部状況を確認しながら操作できるため、
現実感や臨場感が増す。

【００２９】前記ビデオカメラは操作者の片目の位置に
対応して前記ヘッドマウントディスプレイ画面の反対面
に装着することができる。

【００３０】これにより、ビデオカメラは１個で済み、
ヘッドマウントディスプレイの軽量化を図ることができ
る。

【００３１】前記ビデオカメラは操作者の両目間の中央
の位置に対応して１個設けることができる。

【００３２】この場合、裸眼で見た視野と近似し、より
現実的な操作感が得られる。

【００３３】前記ビデオカメラは操作者の両目の位置に
対応して前記ヘッドマウントディスプレイ装置の２つの
画面の反対側に装着され、これらのカメラ間の視差によ
りマーカの距離を測量し、距離情報を得るようにすると
良い。

【００３４】これにより、光学的な距離測量が可能とな
るとともに、裸眼に近い視野が得られる。

【００３５】前記ビデオカメラは操作者の両目に対応す
る位置よりも広いカメラ間距離を有して前記ヘッドマウ
ントディスプレイ装置上に装着され、これらのカメラ間
の視差によりマーカーの距離を測量し、距離情報を得る
ようにすることもできる。

【００３６】この場合には同様に光学的な距離測量が可
能になる上、より広い視野が得られ、ヘッドマウントデ
ィスプレイにおける重量のバランスがより均衡し、装着
感がより安定になる。

【００３７】前記ビデオカメラは前方方向に向くものの
他、前方以外の複数方向に向いたものをさらに含むこと
もできる。

【００３８】この場合、より自由度の高いポインティン
グが可能となる。

【００３９】前記各ビデオカメラの位置は摺動機構によ
り微調整可能とすると良く、また、前記ビデオカメラの
少なくとも１つは自在継ぎ手機構によりヘッドマウント
ディスプレイ装置に固着されると良い。

【００４０】これらの場合、ビデオカメラのより正確な
位置や角度の調整が可能となる。

【００４１】前記ビデオカメラにより得られ、前記ヘッ
ドマウントディスプレイのディスプレイに表示されたポ
インティングマーカの大きさから操作者とポインティン
グマーカの距離を算出する距離算出手段あるいは前記ビ
デオカメラにより得られたポインティングマーカの光強
度から操作者とポインティングマーカーの距離を算出す
る距離算出手段をさらに備えると良い。

【００４２】これらの距離算出手段は安価に実現でき
る。

【００４３】前記ポインティングマーカはその先端を操
作者から離して操作者による操作を容易にする握り部を
有すると良い。

【００４４】これにより、ポインティングマーカを操作
者の手からある程度離れるため、操作者の手でポインテ
ィングマーカが隠れるのを防止でき、カメラによるポイ
ンティングマーカの認識がより容易になる。

【００４５】前記握り部と前記ポインティングマーカ先
端部とは変形自在のフレキシブル部材により連結される
と良い。

【００４６】これにより、ポインティングマーカを最も
操作しやすい形状とすることができ、操作性が向上す
る。

【００４７】前記握部には操作用の少なくとも１つのス
イッチあるいは回転により指令を与えるホイールが設け
られると良い。

【００４８】これにより、カーソルの移動、描画線の始
まり、終わり、画面移動等を操作性が向上する。

【００４９】前記スイッチ押下情報およびまたはホイー
ル回転情報は電気信号線あるいは光通信線等の有線伝送
媒体により伝送することができる。

【００５０】この場合、確実な情報伝送が可能となり、
特に光通信線ではより雑音の小さい情報伝達が可能にな
る。

【００５１】前記スイッチ押下情報およびまたはホイー
ル回転情報は赤外線、電波、音波等を用いる無線方式で
伝送するようにしても良い。

【００５２】この場合、線がないため、ポインティング
マーカの取り回しが容易になる。

【００５３】前記ポインティングマーカの全体形状とし
て処理目的に応じた形状を採用すると良く、棒状あるい
は弧状をなして線情報あるいは輪郭情報を出力するも
の、鋏状をなし、カット処理に関する情報を出力するも
のとすることができる。

【００５４】これにより、図形を整形する際、より体感
的な操作が可能になり、操作目的に応じた操作性の向上
が期待できる。

【００５５】前記ポインティングマーカの全体形状を変
形可能としたことが好ましい。

【００５６】このようにすることにより、曲率など、形
状の異なるマーカを複数用意する煩雑さがなくなる。

【００５７】前記ポインティングマーカを輪郭情報を出
力するようにしたものでは輪郭線の内側あるいは外側を
判別するためのマークを備えると良い。

【００５８】ポインティングマーカの輪郭を利用して図
形を整形する際、領域の判別が容易になる。

【００５９】認識原理を異にする複数種類のポインティ
ングマーカおよびポインティングマーカ追跡装置の対を
備えると良い。しこれにより、複数のポインティングマ
ーカを混信なく認識することができ、例えば両手で操作
することが可能となる。

【００６０】前記ポインティングマーカで空間に描かれ
た線分の組み合わせにより文字を認識する認識装置をさ
らに備えることが好ましい。

【００６１】この場合、文字にして情報を送ることによ
り、より少ない符号量で伝達が可能になる。

【００６２】前記ポインティングマーカは電波発振装置
を含み、ポインティングマーカ追跡装置がアンテナであ
り、追跡情報解析装置がレーダ装置である場合、前記ポ
インティングマーカは電波反射体を含み、ポインティン
グマーカ追跡装置は電波発信装置及びアンテナの組み合
わせであり、追跡情報解析装置はレーダ装置である場
合、前記ポインティングマーカは硬質の材料で形成さ
れ、ポインティングマーカ追跡装置は超音波発振装置お
よび受信装置の組み合わせであり、追跡情報解析装置は
ソナー装置である場合等の形態とすることができ、いず
れも距離、方向を判定する有効な手段となる。

【００６３】前記ヘッドマウントディスプレイ装置は少
なくともスイッチおよびホイールのいずれかの入力機構
をさらに備えると良い。

【００６４】この場合、追跡情報解析装置に近い場所に
スイッチやホイールを配置すことによって、信号線の接
続などがより容易になる。

【００６５】前記ヘッドマウントディスプレイ装置は音
声入力装置およびこの音声入力装置で入力された操作者
の音声を認識して制御司令に変換する音声認識装置をさ
らに備えると良く、この音声認識結果を外部出力可能と
することができる。

【００６６】この場合、ポインティングマーカにボタン
やホイールを組み込まなくても同様の操作ができ、外部
出力された音声情報は再利用することができる。

【００６７】前記ヘッドマウントディスプレイ装置は全
体の処理を行うコンピュータをさらに内蔵すると良く、
配線が少なく、コンパクトに利用できるシステムを得る
ことができる。

【００６８】前記ポインティングマーカ追跡装置は操作
者の指の画像情報を予め登録し、これと照合することで
操作者の指をポインティングマーカとして用いるように
することができる。

【００６９】この場合、ポインティングマーカが不要と
なり、特に携帯時に有利である。

【００７０】また、本発明を応用して、上述したポイン
タ表示システムを採用するヘッドマウントディスプレイ
を複数個相互接続し、外部から与えられた共通の表示空
間を各ヘッドマウントディスプレイに表示させることに
より、各操作者の発言をその共通の表示空間に表示させ
るようにした会議システムを得ることができる。

【００７１】これにより、複数人で場所の制約を受けず
にかかわらず会議の開催が可能となる。

【００７２】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。

【００７３】図１は本発明の第１の実施の形態にかかる
ポインタ表示システムを示す模式図である。コンピュー
タシステム２０はヘッドマウントディスプレイ１１とポ
インティングデバイス１８の複合装置となっている。

【００７４】ヘッドマウントディスプレイ１１は従来と
同様に２つの液晶ディスプレイ１２を有するめがね状を
なしているが、従来と異なり、フレームの上にはポイン
ティングマーカの位置情報を得るポインティングマーカ
追跡装置１４、得られた位置情報を解析する追跡情報解
析装置１５、液晶ディスプレイ上へのポインタの表示の
ための座標補正を行う座標補正装置１６が搭載されてい
る。

【００７５】ポインティングマーカ１８は従来のものと
異なり、この部分からは位置に関する情報が出力され
ず、この結果コンピュータ１７には接続されてはいな
い。

【００７６】ポインティングマーカ１８は操作者が手に
持って操作するものであり、このポインティングマーカ
１８の位置情報はポインティングマーカ追跡装置１４に
より得られる。この位置情報を得る方式としては後述す
るように、画像認識、光追跡、電波追跡、音波追跡など
種々の方式を利用することができる。

【００７７】このポインティングマーカ追跡装置１４に
より得られた位置情報は、追跡情報解析装置１５で解析
され、座標補正装置１６で画像歪み等が補正されてポイ
ンタ座標情報としてコンピュータ１７に送られる。な
お、このポインタ座標情報は２次元座標のものである。

【００７８】コンピュータ１７で処理されたポインティ
ングマーカ１８の位置情報は、画像信号としてヘッドマ
ウントディスプレイ１１に送られ、液晶ディスプレイ１
２上にポインタ１３として表示される。

【００７９】このような構成を採用することにより、ポ
インティングマーカを持った手を動かせば、ヘッドマウ
ントディスプレイ中でユーザが見たとおりに体感的に同
一に見える位置までポインタを移動させる制御を行うこ
とが可能であり、従来のマウス、タブレット、トラック
ボールなどでは得られなかった操作感覚が得られる。ま
た、入力可能範囲が可視範囲に近く、摩擦による抵抗も
ないため、入力もスムーズなものとなり、故障も少なく
なる。また、ライトペンと違って、自分の手で画面の一
部が見えなくなるということもない。

【００８０】図２は本発明の第２の実施の形態にかかる
ポインタ表示システムを示す模式図である。コンピュー
タシステム３０において、ヘッドマウントディスプレイ
１１に測距機能を持たせ、３次元情報の入力を可能とし
たものである。なお、以下の説明において基本となるシ
ステムと同じ構成要素には同じ参照番号を付してその詳
細な説明を省略する。

【００８１】このシステムは図１に示したコンピュータ
システムにおけるポインティングマーカ追跡装置１４に
距離測定のための測距装置機能を与えたポインティング
マーカ追跡装置兼測距装置２１、測距情報解析装置２２
をさらに組み込んだものである。

【００８２】ポインティングマーカ追跡装置兼測距装置
２１で得られた信号を測距情報解析装置２２で解析する
ことにより、ポインタ距離情報を得ることができ、ヘッ
ドマウントディスプレイ１１の画面に距離情報２３とし
て表示される。

【００８３】このシステムではマウスポインタの位置だ
けではなく、奥行きをもった３Ｄ情報としてのデータ入
力装置として利用可能となる。

【００８４】ここで、ポインタの空間座標位置の求め方
について詳述する。ここでは単純化のため、単眼で平面
ディスプレイを見る場合について述べる。

【００８５】まず、図３に示すように、操作者の目の位
置を甲とする。ヘッドマウントディスプレイの画面は、
操作者の目の位置からＬメートル離れたところにＭイン
チのＴＶを置いた場合と同じに見えるように、光学的な
調整をあらかじめ行なう。

【００８６】したがって、この仮想的な画面に関する位
置情報は既知のものであり、このヘッドマウントディス
プレイ画面を含む平面を乙とすれば、平面乙は通常のデ
カルト座標系においてＡ・ｘ＋Ｂ・ｙ＋Ｃ・ｚ＝Ｄ・・・・・・・・・・・・・式１と表現される。ここでＡ，Ｂ，Ｃ，Ｄは定数である。

【００８７】次に、図４に示すように、操作者が用いる
ポインタの位置を丙とする。操作者の目の位置甲の座標
（ａ，ｂ，ｃ）と、ポインタ位置丙の座標（ｇ，ｈ，
ｉ）が測定よって既知であるものとすれば、点甲と点乙
を含む直線は、式２のようなベクトル式によって表現で
きる。

【００８８】（ｘ，ｙ，ｚ）＝（ａ，ｂ，ｃ）＋ｔ・（ｄ，ｅ，ｆ）・・式２ただし、（ｄ，ｅ，ｆ）は（ｄ，ｅ，ｆ）＝（ｇ，ｈ，ｉ）−（ａ，ｂ，ｃ）・・・・式３によって求められるベクトルである。

【００８９】本発明のシステムではポインタ丙を平面乙
に表示しようとするものであるので、図５のように甲と
丙を結ぶ直線と、平面乙が交差する交点丁に、ポインタ
が表示されるべきである。

【００９０】式１と式２の変換から、次の式４を得るこ
とができる。

【００９１】ｔ＝（Ｄ−（Ａ・ａ＋Ｂ・ｂ＋Ｃ・ｃ））／（ｄ・Ａ＋ｅ・Ｂ＋ｆ・Ｃ）・・・・・・・・・・・・・・・・・・・式４この式により確定されたｔを式２に代入することによ
り、交点丁の座標（Ｘ，Ｙ，Ｚ）を求めることができ
る。

【００９２】なお、式３において、（ｄ・Ａ＋ｅ・Ｂ＋
ｆ・Ｃ）＝０となる場合は、直線甲丙と平面乙が平行で
交点丁が確定できないということを表しており、この場
合は例外処理を行う必要がある。

【００９３】交点丁の座標（Ｘ，Ｙ，Ｚ）が算出された
後、ヘッドマウントディスプレイ画面と同じ平面上に存
在する２次元座標系である（ｐ，ｑ）座標系において、
交点丁の位置する座標を求める手順を次に示す。

【００９４】図６は、長方形のＨＭＤ画面を想定し、そ
の４隅をα、β、γ、δとし、座標系の原点をα、ｐ軸
をα−δ直線上、ｑ軸をα−β直線上に設定している。

【００９５】ここで、３次元座標系（ｘ，ｙ，ｚ）に戻
って考えてみると、ヘッドマウントディスプレイ画面の
距離、サイズの設定は、ヘッドマウントディスプレイ装
置が設定するものであり、α、β、γ、δの各座標は既
知のものである。丁の座標（Ｘ，Ｙ，Ｚ）は算出済みで
ある。したがって、ベクトルαβ、ベクトルαδ、ベク
トルα丁（以後それぞれ、αβ、αδ、α丁と表記）の
３ベクトルは既知のものとなっている。

【００９６】図６で説明したように、四角形α、β、
γ、δは長方形なので、αβとαδは垂直である。この
場合図４の丁の座標（Ｐ，Ｑ）を構成するＰは、α丁
の、αδへの射影と等しくなり、同様にＱも、α丁の、
αβへの射影と等しい。すなわち、Ｐ，Ｑは、式５、式
６のように算出できる。

【００９７】

【数１】以上の手順で、図６における丁の座標（Ｐ，Ｑ）が算出
できる。本装置からヘッドマウントディスプレイ上の対
応する画素に換算した座標を出力する時は、次の式７で
求められる変換座標（Ｐ′，Ｑ′）を小数点以下四捨五
入した値を出力すればよい。（Ｐ′，Ｑ′）＝（ｇ・Ｐ，ｈ・Ｑ）・・・・・・式７ただし、ｇは横方向ピクセル数への変換係数、ｈは縦方
向ピクセル数への変換係数である。

【００９８】図８は本発明の第３の実施の形態にかかる
ポインタ表示システムを示す模式図である。このシステ
ムでは、コンピュータシステム４０においてポインティ
ングマーカ追跡装置兼測距装置３１、追跡情報解析装置
１５、座標補正装置１６、測距情報解析装置３２はヘッ
ドマウントディスプレイ１１に内蔵し、一体化させたも
のである。ポインティングマーカ追跡装置兼測距装置３
１、追跡情報解析装置１５、座標補正装置１６、測距情
報解析装置３２はマイクロプロセッサとして実現できる
ため、一体化がヘッドマウントディスプレイ装置の大き
さや重量に及ぼす影響は少ない。

【００９９】この実施の形態では、コンピュータ１７と
の接続配線が少なくなって、電源供給を円滑に行うこと
ができるとともにヘッドマウントディスプレイとしての
装着感も向上する。

【０１００】図９は本発明の第４の実施の形態にかかる
ポインタ表示システムを示す模式図である。

【０１０１】この実施の形態においては、コンピュータ
システム５０におけるポインティングマーカ５１を特定
の色、形状等としている。ここでは、ポインティングマ
ーカは先端が円形をなしており、ここに示された例では
赤色の円と十字形のマークとの組み合わせとして表され
る。

【０１０２】このマークをポインティングマーカ追跡装
置および測距装置に相当するビデオカメラ５２で追跡
し、追跡情報解析装置および測距情報解析装置に相当す
る画像処理装置５３で画像処理を行い、さらに座標補正
装置５４により必要な補正を行ってポインタ座標情報お
よびポインタ距離情報を出力している。なお、ビデオカ
メラ５２、画像処理装置５３、座標補正装置５４はいず
れもヘッドマウントディスプレイ上に搭載されているも
のとする。

【０１０３】図示しないコンピュータで処理され、出力
された映像信号はヘッドマウントディスプレイ装置のデ
ィスプレイ部５５に表示される。

【０１０４】この実施の形態ではポインティングマーカ
５１はそれ自体発光機能を有していないため、電力が不
要であり、全体の消費電力を抑制できるという利点があ
る。なお、ビデオカメラを用いて目標物の追跡を行う手
法は種々提案されているのでその説明は省略する。

【０１０５】図１０は本発明の第５の実施の形態にかか
るポインタ表示システムを示す模式図である。

【０１０６】この実施の形態は図９に示したものとほと
んど同じであるが、コンピュータシステム６０において
使用するポインティングマーカ６１は特定波長で発光す
る光源、例えば青色ＬＥＤを有している点が異なる。こ
の例では青色ＬＥＤを使用しているが、他の色のＬＥＤ
や小型のランプなども使用できる。特定波長の光である
ので、画像処理装置側にも特別の周波数特性を与えるこ
とにより、より正確な処理が可能となる。

【０１０７】このようなポインティングマーカを用いる
ことにより、ポインティングマーカを小型化でき、精度
の高い追跡が可能となる。

【０１０８】図９および１０に示したような型式のヘッ
ドマウントディスプレイを使用してヘッドマウントディ
スプレイにポインタを表示する様子を図１１から図１４
までに示す。

【０１０９】図１１にはヘッドマウントディスプレイ５
５の左右のディスプレイの間にビデオカメラ５２が取り
付けられ、その下にこのビデオカメラで得られる像と入
力画像を重ねあわせるオーパーラップ装置６２が搭載さ
れた様子が示されている。

【０１１０】ビデオカメラ５２で人物６３を撮影してい
る場合、この画像とポインティングマーカ６１の画像が
オーバーラップ装置６２で重ね合わされ、ヘッドマウン
トディスプレイ５５上にはこの重ねあわされた画像が表
示される。すなわち、ビデオカメラ５２で撮影された背
景画像と、ビデオカメラ５２をポインティングマーカ追
跡装置として使用して得られた追跡情報とが重ね合わさ
れる。

【０１１１】なお、オーバーラップ装置６２では２つの
画像の合成比を自由に変えることができる。例えば、人
物の画像を０．７５，ポインタの画像を０．２５の割合
でオーバーラップさせることができる。

【０１１２】図１２は図１、２、８に示した実施の形態
においてポインティングマーカ追跡装置の較正機能を与
え、画面上で実行する様子を示している。

【０１１３】この例では画面中央に基準点が映し出さ
れ、画面上部には例えば「画面中央にマーカを合わせて
ください。」とのメッセージ６４が表示される。

【０１１４】これに応じて操作者がマーカを画面中央位
置に合わせると、その位置が基準位置となり、ポインテ
ィングマーカの位置検出パラメータの較正を行うことが
できる。したがって、以後この位置が操作および測長の
原点となる。

【０１１５】図１３は図９に示したシステムにおいて、
表示されたポインティングマーカのサイズを使用して、
操作者からの距離を計測する装置の例を示す。

【０１１６】この例では図９に示すポインティングマー
カ５１を用い、これをビデオカメラで撮影したときのヘ
ッドマウントディスプレイの画面上の入力画像５６の大
きさがポインティングのマーカの距離により変化するこ
とを利用する。すなわち、画像処理装置５３はポインテ
ィングマーカの中心を所定の原点位置に合わせたときの
マーカ直径を検出して基準値としておき、検出されたポ
インティングマーカの大きさから距離情報に変換する。
具体的にはマーカの直径が画面上で何個の画素に相当し
ているかが画像処理装置上で計測される。例えば、マー
カ端部の直径が５０ピクセルであれば、距離３０ｃｍと
認識できる。そして、この関係をもとに比例関係により
距離を求めることができる。

【０１１７】したがって、画像処理装置５３が測距情報
解析装置の機能を果たしていることになる。

【０１１８】図１４は図１０に示す装置を用いた距離測
定の様子を示しており、青色ＬＥＤよりなるポインティ
ングマーカ６１の輝度を求め、輝度が距離の自乗に反比
例して減少する関係を利用し、基準位置での輝度と、ポ
インティングマーカの平均輝度との比較からポインティ
ングマーカの距離を求めるものである。例えば、ある位
置でのポインティングマーカの輝度が０ｘ８Ｆであった
場合、距離５０ｃｍと判断するようにしている。この場
合も輝度がわかれば距離は一義的に決定される。

【０１１９】図１５はポインティングマーカ自体の形状
を改良した種々の例を示す。

【０１２０】前述した例におけるポインティングマーカ
は図１および２に示されるように、棒状体の一端にに指
示を行うための先端部が設けられる形式となっているこ
とが多かったため、操作者の手によって先端部が隠され
てしまい、操作性が著しく損なわれることが多かった。

【０１２１】このため、図１５（ａ）に示すように、ポ
インティングマーカ１８はマーカ部１８ａが短い接ぎ手
１８ｂで握り１８ｃに取り付けられるようにすることに
より、操作者の手によってマーカが隠れてしまうという
不都合を著しく減少させることができる。

【０１２２】また、図１５（ｂ）に示すように、ポイン
ティングマーカ６５をマーカ部６５ａと握り６５ｃとが
比較的長いフレキシブル接ぎ手６５ｂにより連結される
ようにすることもできる。

【０１２３】このようにマーカ部６５ａを握り６５ｃか
ら離すことにより、マーカ部６５ｂが操作者の手によっ
て隠されてしまうことが少なくなり、快適な操作性を得
ることができる。

【０１２４】また、フレキシブル接ぎ手６５ｂの形状を
自由に変形させることにより、手によって隠れる度合い
の最も少ない形状にすることができる。

【０１２５】図１６もポインティングマーカの改良に関
するもので、このポインティングマーカ６６は先端にマ
ーカ部６６ａを取り付けた握り６６ｂに少なくとも１つ
のスイッチ６６ｃを設けたものである。このスイッチ６
６ｃはマウスのボタンに相当するものであり、スイッチ
が２つの場合、上のスイッチをマウスの左ボタン、下の
スイッチをマウスの右ボタンに対応させることができ
る。

【０１２６】これらのスイッチ６６ｃの押下状況を表す
スイッチ押下情報はケーブルを介してパーソナルコンピ
ュータ１７に送られ、パーソナルコンピュータ１７で必
要な処理が行われる。

【０１２７】図１７はポインティングマーカのさらに他
の改良例６７を示すもので、先端にマーカ部６７ａを取
り付けた握り６７ｂにマウスのホイールに相当するホイ
ール６７ｃおよびこのホイールの回転を検知する回転セ
ンサ６７ｄを組み込んだ例を示す。回転センサ６７ｄで
得られたホイール６７ｃの回転情報はケーブルを介して
パーソナルコンピュータ１７に送られ、パーソナルコン
ピュータ１７で画面スクロール等の処理が行われる。

【０１２８】図１８は図１６で説明した、情報出力機能
を有するポインティングマーカ６６で得られた信号を有
線情報通信で出力する代表的形態につき説明する図であ
る。図１８（ａ）は信号線１９ａにより出力する例、図
１８（ｂ）は光ファイバケーブル１９ｂにより出力する
例を示している。図１７に示したホイールを有するポイ
ンティングマーカ６７の場合も同様の有線出力が可能で
ある。このような有線伝送はノイズ等の影響を受けにく
く確実な伝送が可能である。ただし、このような有線出
力であると、ケーブルが操作上障害になる場合があり、
また、ポインティングマーカの自由な動きがケーブル長
により制限される場合もある。

【０１２９】図１９は、このような問題を解決するもの
で、ポインティングマーカからの信号を無線情報通信で
出力する代表的形態につき説明する図である。

【０１３０】図１９（ａ）はポインティングマーカ６６
の先端部６６ａをランプ、ＬＥＤ等の発光体とし、これ
を点滅させることより通信を行うもの、図１９（ｂ）は
ポインティングマーカの握り部６６ｂから赤外線を発生
させて通信を行うもの、図１９（ｃ）はポインティング
マーカの握り部６６ｂから無線電波を発生させて通信を
行うもの、図１９（ｄ）はポインティングマーカの握り
部６６ｂに発音体を設け、音波（超音波を含む）により
通信を行うものである。これらの各例においては、特に
図示はされていないが、スイッチやホイールによる情報
により光、電波、音波を変調する必要があり、このため
の回路およびこの回路を駆動するための電池等の電源を
有している。

【０１３１】このような無線方式伝送はポインティング
マーカの操作性を著しく向上させる。また、ノイズの影
響等は適当なエラー訂正を行うことにより排除すること
ができる。

【０１３２】図２０はポインティングマーカを従来の点
状の形状ではなく、種々の輪郭を持たせて輪郭情報を出
力できるようにした例を示す。これらは特にコンピュー
タグラフィック作成作業においては有効である。

【０１３３】例えば、図２０（ａ）はポインティングマ
ーカの形状を棒状にしたもの、図２０（ｂ）はポインテ
ィングマーカの形状を弧状にしたもの、図２０（ｃ）は
ポインティングマーカの形状をはさみ状にして、輪郭情
報を伝達するようにしたものを示している。これらの例
では、図２０（ａ）における一辺、図２０（ｂ）におけ
る弧、図２０（ｃ）におけるはさみの刃部をそれぞれポ
インティング部分として用いることができ、この結果操
作内容を直感的に把握しやすくすることができる。例え
ば、はさみ形状のものは、ＣＡＤなどのアプリケーショ
ンソフト実行時に、画像をカットして整形するトリミン
グ操作等に使用すると直感的に何をしようとしているか
が把握しやすくなり、操作ミスの発生を未然に防止する
ことができる。

【０１３４】図２１はポインティングマーカの形状を変
更可能にした場合の例を示す。このような可変形状のポ
インティングマーカは例えば、軟鉄の鉄心や鉛の棒等の
可撓性金属材料７１を塩化ビニル樹脂のような伸縮自在
の樹脂材料７２で被覆した構造を採用している。この構
成により自由に変形が可能なマーカを得ることができ、
例えば、図２１（ａ）に示す棒状のポインティングマー
カを曲げることにより、図２１（ｂ）に示すような湾曲
状のポインティングマーカを得ることができる。このよ
うなポインティングマーカは適用するソフトウェアに応
じて最適な形状にすることができ、図２０に示した輪郭
情報用ポインティングマーカの種類を減少させることが
できる。

【０１３５】図２２は図１９に示した輪郭情報用ポイン
ティングマーカに、領域の内外を判定するための印をつ
けた例を示す。ここでは図１９（ａ）に対応する棒状の
ものを示しており、図２２（ａ）では三角状の識別マー
ク７３、図２２（ｂ）では棒状の辺全体を識別マーク７
４としたものである。なお、ここで示した棒状のもの以
外の他の形状にも同様の識別マークを設けることができ
る。

【０１３６】このような構成を採用することにより、領
域の内か外かを容易に指定することが可能となる。

【０１３７】図２３は３つのポインティングマーカを混
信なく同時に使用する例を示している。例えば左右両手
で作業する必要が場合などには同一画面内で２つ以上の
ポインティングマーカを使用する必要が生じる。両手で
取り扱われる対象物にも１つのポインティングマーカが
必要であるとすれば、３つのポインティングマーカを追
跡する必要がある。しかし、ポインティングマーカがす
べて同じであると、１つのポインティングマーカ追跡装
置ではそれぞれの区別が不可能であり、誤認識が発生す
る。

【０１３８】このため、この例では３つのポインティン
グマーカ７５、７６、７７の先端部を赤色ＬＥＤ７５
ａ、青色ＬＥＤ７６ａ、赤外発光素子７７ａのように異
なる発光源としている。このように各ポインティングマ
ーカから発せられる光はそれぞれ波長の異なるものであ
るので、１つのポインティングマーカ追跡装置でも混信
を起こすことなく追跡を行うことができる。

【０１３９】図２４はこれまで説明したポインティング
マーカを用いて空中黒板を構成し、文字入力を行う例を
示す模式的説明図である。ここに示されたものはポイン
ティングマーカ８１で空中に描かれた文字（Ａ）の軌跡
８５を追跡することにより、文字を認識し、文字情報と
して出力する。すなわち、ポインティングマーカ８１の
動きを追跡情報解析装置並びに測距情報解析装置として
の機能を果たす画像処理装置８２で追跡するとともに移
動距離を求めて平面上での線分情報に変換する。この場
合、文字の部分である線分を単なる移動部分から区別し
て指定するために、文字を構成する線分の開始点と終了
点とはスイッチ等で入力される。このように指定される
各線分は必ずしも同一平面上にはないため、これらは仮
想平面に投影されたものとして文字認識が行われる。こ
の仮想平面上の線分により構成される文字が文字認識装
置８３により文字として認識される。この手書き文字の
認識については公知の種々のアルゴリズムが従来提案さ
れており、そのいずれかを用いることができる。

【０１４０】このようにして、ポインティングマーカ８
１を手書き文字入力装置として用いることが可能とな
る。

【０１４１】図２５は前述したコンピュータシステムを
複数台接続して会議システムを構築した様子を示す模式
図である。

【０１４２】この会議システムにおいては、図１または
図２において説明した構成の、ポインティングマーカ追
跡装置、追跡情報解析装置、座標補正装置等を含むヘッ
ドマウントディスプレイ１０１および１１１、並びにこ
れらにそれぞれ組み合わせて使用されるポインティング
マーカ１０２および１１２を有している。２つのヘッド
マウントディスプレイの画面には同一の広い会議用画面
の一部が表示される。なお、各操作者が見ている各ヘッ
ドマウントディスプレイの表示範囲はそれぞれ異なって
おり、適当に左右、上下のスクロールを行うことにより
任意の範囲を見ることができる。各ヘッドマウントディ
スプレイの画面に表示されるポインタ１０３、１１３は
その操作者のポインティングマーカ１０２，１１２によ
り動かすことができる。

【０１４３】次にこのような会議システムの使用法につ
いて述べる。

【０１４４】各操作者はヘッドマウントディスプレイの
画面を見ながら、自分の発言内容を適当な文字入力装置
を用いて会議用画面に書込むことにより会議に参加す
る。参加者が書き込んだ発言内容は有線あるいは無線で
接続されたコンピュータにより会議用画面に表示され
る。

【０１４５】各操作者はこの会議用画面に新たに表示さ
れた発言の部分を見ているとは限らないため、コンピュ
ータは新たに発言が表示されたときにはその旨のマーク
やメッセージを各操作書の見ている画面内に表示するこ
とが好ましい。各操作者はこのメッセージに従って画面
をスクロールさせ、最新の発言を読むことになる。

【０１４６】図２６はポインティングマーカ追跡装置の
変形例を示す。

【０１４７】この例ではポインティングマーカ１２１と
して電波発振源を備えたものを用い、レーダシステムを
用いてこの電波発振源から送出された電波の位相差から
発振源の方向および距離を特定するようにしている。す
なわち、ポインティングマーカ追跡装置１２２は所定の
距離だけ離れて配置された複数の位相差測定用アンテナ
１２３を有しており、このアンテナ１２３で受信した電
波によりポインティングマーカ１２１の距離よび移動方
向を求めるようにしている。ここに示す例では、位相差
測定用アンテナ１２３は４本のアンテナを長方形の４つ
の角部に配置したもので、各アンテナで受ける電波の位
相差により電波発信源であるポインティングマーカ１２
１の方向と距離を特定することができる。この方向と距
離の情報は追跡情報解析装置により解析することによ
り、ポインティングマーカの位置が求められ、必要に応
じてレーダ表示させることができる。

【０１４８】図２７は図２６の変形例を示してお、ポイ
ンティングマーカ１２６は電波反射体のみにより構成さ
れており、このポインティングマーカ１２６に対して電
波を送出するサーチ用電波発振装置１２５をさらに設け
たものである。この結果、サーチ用電波発振装置１２５
から発せられ、ポインティングマーカ１２６の電波反射
体で反射された電波がポインティングマーカ追跡装置の
複数の位相差測定用アンテナ１２３で検出され、図２６
と同様の位置特定を行うことができる。

【０１４９】図２７の例では、ポインティングマーカに
電波発振源を必要としないため、小型軽量化を図ること
ができるが、別個にサーチ用電波発振装置を設置する必
要がある。また、電波反射体による反射効率は必ずしも
高くないため、ポインティングマーカ追跡装置の感度を
高くする必要がある。

【０１５０】図２８は図２７の更なる変形例を示す。こ
の例では図２７における電波の代わりに音波を用いるソ
ナーシステムとしたものである。すなわち、ポインティ
ングマーカとして音波反射体１３２を用い、これにサー
チ用音波発振装置１３１から音波を放射し、反射した音
波を位相差測定用マイクを含むポインティングマーカ追
跡装置１３２で追跡し、この結果得られる信号を処理装
置としてのソナーシステムである追跡情報解析装置１３
４を用いている。

【０１５１】この例の場合、レーダからソナーに置換し
たのみで測定原理等は同じである。同様の置換は図２６
の例において、レーダをソナーに、アンテナをマイク
に、電波を音波に置き換えることもできる。

【０１５２】図２９は、図９あるいは図１０に示したよ
うなポインティングマーカ追跡装置および処理装置とし
て２台のビデオカメラを用いた例の改良例を示すもので
ある。この例では、ビデオカメラのレンズ部分１４２を
ヘッドマウントディスプレイ１４１における操作者の両
目の直前位置に相当する部分に配置している。

【０１５３】この場合、カメラ位置が両目の位置と同じ
であるため、操作者の裸眼に近い視界が得られ、違和感
が少ない映像が得られる。

【０１５４】図３０も同様にポインティングマーカ追跡
装置および処理装置として２台のビデオカメラを用いた
例の改良例を示すものであるが、ビデオカメラのレンズ
の配置位置が異なっている。すなわち、レンズ１５２の
配置位置は通常の操作者の両目の位置よりも外側の位置
となっている。図３０の例ではめがね形状をなすヘッド
マウントディスプレイ１５１のレンズに相当する部分と
つるに相当する部分１５１ａの接続部近傍にレンズ１５
２が配設されている。

【０１５５】このような構成では、２つのカメラの視点
間距離が通常の人間の目よりも広くなるため、より広い
視界が得られるとともに、ポインティングマーカの距離
計測の精度を向上させることができる。

【０１５６】図３１はポインティングマーカ追跡装置お
よび処理装置としてヘッドマウントディスプレイ１６１
の２つの表示部の中間位置に１つのカメラ１６２を配置
した構成を示す。

【０１５７】この場合にはビデオカメラ１６２は１つだ
け設置されるが、両目の中間位置であるので、図２９の
場合のように両目で見た場合と比較しても違和感はな
い。また、コスト面でも有利である。ただし、ビデオカ
メラが１つである以上、立体視は不可能である。

【０１５８】図３２はポインティングマーカ追跡装置と
してビデオカメラを用いたさらなる変形例を示す斜視図
である。

【０１５９】この例ではヘッドマウントディスプレイは
操作者がその頭部にかぶるヘルメット形状をなす支持部
１７１とこの支持部から操作者の片目の眼前に位置する
表示部１７２およびこの表示部の外側に向けて設置され
たビデオカメラのレンズ１７３を有している。

【０１６０】このような構成では片目使用仕様とし片側
に機能を集中しており、カメラ、ディスプレイ部ともに
一つですむため、より低コストになる。

【０１６１】また、支持部が頭部にかぶる型式となって
いるため、片目使用のような重量的なにアンバランスな
構成でも装着感は良好である。

【０１６２】図３３は図３２と同様にヘルメット形状を
なす支持部１８１を使用する。この支持部１８１には操
作者の両目に対する表示部１８２、１８３、これらに対
応して設けられたビデオカメラのレンズ１８４、１８５
が設けられ、さらに支持部の前面上方を向いたビデオカ
メラのレンズ１８６、中央上方を向いたビデオカメラの
レンズ１８７，後面上方を向いたビデオカメラのレンズ
１８８を備えている。このようにビデオカメラを増やす
ことにより、ポインティングマーカの入力可能範囲およ
び視野を広げることができ、入力、周囲状況確認の自由
度が増加するという利点がある。

【０１６３】図３４はポインティングマーカ追跡装置の
位置を微調整するための機構を示す説明図である。

【０１６４】同図（ａ）は、ポインティングマーカ追跡
装置の主要部であるカメラ１９２が取付板１９１にねじ
１９３で固着される様子を、同図（ｂ）はこの取付板１
９１がヘッドマウントディスプレイの一部である液晶パ
ネル等のディスプレイ（図示せず）の前面に配置された
枠体１９４中を横方向に摺動可能とされたことを示して
いる。ディスプレイとカメラとの相対位置関係を微調整
後、枠体１９４を締め付けることによりこれらの相対位
置関係を固定する。

【０１６５】このような構成では、ディスプレイとカメ
ラの相対位置関係を簡便に微調整することができる。

【０１６６】図３５は他の微調整機構を示しており、ヘ
ッドマウントディスプレイのディスプレイ２００の一部
に自在接ぎ手（ユニバーサルジョイント）２０１を介し
てカメラ２０２を固定するようにしたもので、カメラの
角度およびディスプレイからの位置を自在に調整するこ
とができる。なお、調整後自在接ぎ手はねじ２０３で固
定される。

【０１６７】図３６はヘッドマウントディスプレイ２１
０に取り付けられたポインティングマーカ追跡装置とし
てのビデオカメラ２１１で得られた画像情報を処理コン
ピュータ等に対して出力できるようにした例を示す。こ
れはもともとビデオカメラ２１１では画像情報が得られ
ており、複数の画像のマッチング等によりポインティン
グマーカの軌跡を認識することにより追跡情報を得てい
るものであるため、追跡情報とは別個に撮像画像そのも
のも出力するようにしたものである。なお、ビデオカメ
ラ２１１からは画像情報のみを出力し、ポインティング
マーカの追跡はこの画像情報が入力されるコンピュータ
（図示せず）において行うようにしても良い。

【０１６８】図３７は図１６および図１７に示したスイ
ッチおよびホイールをヘッドマウントディスプレイに組
み込んだ例を示す。ここではスイッチ２２１およびホイ
ール２２２がヘッドマウントディスプレイのディスプレ
イ部上方に設けられている。このような構成ではスイッ
チやホイールをポインティングマーカ２２３に内蔵する
必要がなく、ポインティングマーカをより簡便な構成と
することができる。

【０１６９】図３８は音声による操作も可能とした実施
の形態を示す。

【０１７０】この実施の形態ではヘッドマウントディス
プレイ２３０の一部、例えばつるの一部にマイク２３１
およぴこのマイクで得られた音声情報を認識する音声認
識装置２３２を備えている。この音声認識装置２３２に
より認識結果に基づいてポインティングマーカ２３４に
よるポインタに関する操作をヘッドマウントディスプレ
イ２３０のディスプレイ上で行っている。

【０１７１】この構成によれば、スイッチの押下やホイ
ールの回転操作に関する命令を操作者が言葉で言えばよ
く、スイッチやホイールの操作を行う必要がない。した
がって、操作者の操作が容易になる他、身体障害者でも
使いこなすことが可能となる。なお、音声認識装置は、
スイッチ押下情報、ホイール回転情報以外の複雑な操
作、単語を認識するようにしても良い。

【０１７２】図３９は図３８と類似しており、図３８の
場合とは、音声認識装置による認識情報は外部のコンピ
ュータに対して出力される点が異なっている。

【０１７３】この場合は音声認識情報を画面内のポイン
ティングマーカの制御に限ることなく、種々の制御に用
いることができる。

【０１７４】図４０は操作者の指先をポインティングマ
ーカ、あるいはスイッチとして用いる実施の形態を示
す。

【０１７５】これまで説明した実施の形態ではすべてポ
インティングマーカとして専用の棒状体を用いていた
が、操作者の体の一部を認識することによってポインテ
ィングマーカの代わりとする事が可能である。

【０１７６】図４０（ａ）においては、操作者の右手の
うち、突き出した人差し指をポインティングマーカとし
て用いる。この場合、図４０（ｃ）に示されるように、
ポインティングマーカ追跡装置としてのビデオカメラ２
５０でこの人差し指の画像を得、追跡情報解析装置とし
ての画像処理装置２５１で人差し指の画像を追跡するこ
とにより人差し指の移動に応じてヘッドマウントディス
プレイのディスプレイ上にポインタを表示させることが
できる。

【０１７７】この場合、厳密には人差し指の爪の先端を
マーカの制御ポイントとすることができ、より正確な制
御を行うために爪を着色したり、爪を鋭利形状に整える
ことも有効である。

【０１７８】この考え方を拡張すると、図４０（ｂ）に
示すように、親指２４０ａ、人差し指２４０ｂ、中指２
４０ｃ、薬指２４０ｄ、小指２４０ｅのそれぞれを認識
するようにしてポインティングマーカおよびスイッチや
ホイールとして画面上での種々の操作を行うことができ
る。

【０１７９】図４１〜図４３は上述した種々の構成を組
み合わせたものを示す。

【０１８０】図４１に示す実施の形態の場合、片眼用の
ディスプレイを有する形式のヘッドマウントディスプレ
イ３００を示している。このヘッドマウントディスプレ
イは、一方側端部が一方側の側頭部に位置し、頭頂部で
支持され、他方側の側頭部でさらに支持され、さらに延
出して操作者の口の前に達する他方側端部を有する湾曲
部材３０１を有している。この湾曲部材の一方側端部に
はバッテリ３０２が内蔵され、この湾曲部材の他方側の
側頭部で支持される部分の近傍にはプロセッサ３０３が
内蔵されている。この部分には操作者の眼前に位置する
ディスプレイ３０４がアーム３０５により固着されてい
る。このビデオカメラ３０６は前述したように、操作者
が手に持つポインティングマーカ３０９を追跡するのに
用いられる。ディスプレイ３０４の裏面、すなわち操作
者の前面側にはビデオカメラのレンズ３０６が取り付け
られている。さらに、湾曲部材の他方側の端部にはマイ
クロフォン３０７が内蔵されている。これらの構成要素
のうち、ビデオカメラ３０６はポインティングマーカ追
跡装置と測距装置の機能を兼用し、マイクロフォン３０
７は音声入力装置であり、プロセッサ３０３はポインテ
ィングマーカ追跡情報解析装置、測距情報解析装置、音
声認識装置を兼ねる。このプロセッサによる処理で、前
述したようなポインティングマーカ３０９の追跡により
ヘッドマウントディスプレイのディスプレイ部３０４に
ポインタ表示が行われる。

【０１８１】プロセッサで得られた情報信号は伝送線３
０８を用いた有線方式により処理コンピュータ３１０に
送られるが、電波を用いた無線方式による伝送を行うこ
ともできる。

【０１８２】この実施の形態ではヘッドマウントディス
プレイにほとんどの構成要素をまとめているので、非常
にコンパクトなヘッドマウントディスプレイシステムを
得ることができる。

【０１８３】図４２はヘッドマウントディスプレイ装置
４００として両目に対応する２つのディスプレイ４０
４、４０５を備え、ポインティングマーカ４１１の追跡
にレーダシステムを採用したものである。

【０１８４】すなわち、操作者の両側の側頭部と頭頂部
で支持される湾曲部材４０１の一方側端部にはバッテリ
ー４０２と第１のレーダ装置４０６が内蔵され、他方側
端部にはプロセッサ４０３およぴ第２のレーダ装置４０
７が内蔵される。これら両端部間には２つのディスプレ
イ４０４、４０５が架設される。また、他方側端部には
第１の無線送受信機４０８が設けられる。この第１の無
線送受信機４０８から送信された情報は第２の無線送受
信機４０９で受信され、これに接続されたコンピュータ
４１０により必要な演算が行われる。

【０１８５】この構成ではレーダ装置４０６および４０
７はポインティングマーカ追跡装置と測距装置を兼ねて
おり、電波を発射してポインティングマーカ４１１から
の反射電波を検出してポインティングマーカを追跡す
る。レーダ装置４０６および４０７で検出された追跡情
報および測距情報に基づいて、ポインティングマーカ追
跡情報解析装置と、測距情報解析装置を兼ねるプロセッ
サ４０３で解析が行われ、その情報は第１の無線送受信
機から第２の無線送受信機に送られ、コンピュータ４１
０で画像再構成が行われて再び第２の無線送受信機４０
９から第１の無線送受信機４０８に送られてディスプレ
イ４０４、４０５に表示される。ポインティングマーカ
４１１のスイッチ４１２は前述した例と同じくマウスの
ボタンに相当する制御を行うことを可能とする。

【０１８６】このような構成では無線で接続されるコン
ピュータを操作者の近傍、例えばベルト付近に装着する
ことができるため、コンビュータ設置場所との距離を気
にすることなく、自由に操作者の位置を変えることがで
きる。

【０１８７】図４３は、全体としては図４１に類似した
形状のヘッドマウントディスプレイ５００を示してお
り、一方側端部が一方側の側頭部に位置し、頭頂部で支
持され、他方側の側頭部ででさらに支持され、さらに延
出して操作者の口の前に達する他方側端部を有する湾曲
部材５０１を有し、この湾曲部材５０１の一方側端部に
はバッテリ５０２および超音波ソナーが内蔵され、この
湾曲部材の他方側の側頭部で支持される部分の近傍には
プロセッサ５０３、コンピュータ５０６および超音波ソ
ナー５０９が内蔵されている。この部分には操作者の眼
前に位置する片目用のディスプレイ５０４がアーム５０
５により取り付けられている。湾曲部材５０１の他方側
端部にはマイクロフォン５０７が内蔵されている。

【０１８８】超音波ソナー５０８および５０９は操作者
が手に持つポインティングマーカ５１０を追跡するポイ
ンティングマーカ追跡装置と測距装置を兼用し、マイク
ロフォン５０７は音声入力装置であり、プロセッサ５０
３はポインティングマーカ追跡情報解析装置と、測距情
報解析装置と、音声認識装置を兼ねる。このプロセッサ
による処理で、前述したようなポインティングマーカ５
１０の追跡によりヘッドマウントディスプレイのディス
プレイ部５０４にポインタ表示が行われる。

【０１８９】この実施の形態ではコンピュータ５０６も
ヘッドマウントディスプレイ５００内に内蔵しているの
で、非常にコンパクトなヘッドマウントディスプレイシ
ステムを得ることができる。

【０１９０】以上説明した各実施の形態は適宜変更し、
あるいは組み合わせを変えることもできる。

【０１９１】

【発明の効果】以上のように、本発明にかかるコンピュ
ータシステムにおけるポインタ表示システムにおいて
は、操作者が手に持ったポインティングマーカの少なく
とも位置を認識してヘッドマウントディスプレイ装置の
表示部に肉眼で見たのと同じような位置に表示するよう
にしているので、体感的に手を伸ばしたところにポイン
タが動くような操作感を実現することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態にかかるヘッドマウ
ントディスプレイにおけるポインタ表示システムの構成
を示す模式図である。

【図２】本発明の第２の実施の形態にかかるポインタ表
示システムにおける構成を示す模式図である。

【図３】操作者の目と表示画面との関係を示す図であ
る。

【図４】操作者の目とポインティングマーカとの関係を
示す図である。

【図５】図３に示した位置関係を表示画面上で実現する
ために表示画面上で表示すべき座標を示す説明図であ
る。

【図６】ヘッドマウントディスプレイの表示画面内の２
次元座標系を示す説明図である。

【図７】ヘッドマウントディスプレイの表示画面におけ
る３次元座標系を示す説明図である。

【図８】本発明の第３の実施の形態にかかるポインタ表
示システムを示す模式図である。

【図９】特定色、形状のものをポインティングマーカと
して使用した、本発明の第４の実施の形態を示す模式図
である。

【図１０】特定波長の発光体をポインティングマーカと
して使用した、本発明の第５の実施の形態を示す模式図
である。

【図１１】ビデオカメラの映像をポインタとともにヘッ
ドマウントディスプレイに表示するようにした例を示す
模式図である。

【図１２】ビデオカメラの映像をヘッドマウントディス
プレイに表示して、ポインティングマーカの原点位置の
較正を行う様子を示す模式図である。

【図１３】表示されたポインティングマーカの画像サイ
ズを用いて、操作者からの距離を計測する様子を示す模
式図である。

【図１４】表示されたポインティングマーカの輝度を用
いて、操作者からの距離を計測する様子を示す模式図で
ある。

【図１５】ポインティングマーカに適応な握り部分を設
けた例を示す正面図である。

【図１６】ポインティングマーカにスイッチを設けた例
を示す模式図である。

【図１７】ポインティングマーカにホイールを設けた例
を示す模式図である。

【図１８】ポインティングマーカからの有線形態での情
報通信を行う様子を示す模式図である。

【図１９】ポインティングマーカからの無線形態での情
報通信を行う様子を示す模式図である。

【図２０】輪郭情報を取り出すことができるポインティ
ングマーカの例を示す正面図である。

【図２１】変形可能な輪郭用ポインティングマーカの例
を示す正面図である。

【図２２】輪郭情報を取り出すポインティングマーカに
おいて領域識別用の印をつけた例を示す正面図である。

【図２３】認識原理の異なる複数種類のポインティング
マーカを同時使用する例を示す模式図である。

【図２４】上述したポインティングマーカを用いて空中
黒板に文字を描き、これを文字情報として取り出す例を
示す模式図である。

【図２５】本発明を応用した簡易会議システムの構成を
示す模式図である。

【図２６】ポインティングマーカを電波発振信源とし、
これをレーダ装置で追跡するポインティングマーカ追跡
装置の変形例を示す模式図である。

【図２７】ポインティングマーカを電波反射体とし、サ
ーチ用電波発振装置とレーダ装置で追跡するポインティ
ングマーカ追跡装置の変形例を示す模式図である。

【図２８】ポインティングマーカを音波反射体とし、サ
ーチ用音波発振装置とソナー装置で追跡するポインティ
ングマーカ追跡装置の変形例を示す模式図である。

【図２９】操作者の両目に対応する位置に二つのビデオ
カメラを配設したポインティングマーカ追跡装置の例を
示す斜視図である。

【図３０】操作者の両目よりも外側位置にビデオカメラ
を配設したポインティングマーカ追跡装置の例を示す斜
視図である。

【図３１】操作者の両目の中間点に一つのビデオカメラ
を配設したポインティングマーカ追跡装置の例を示す斜
視図である。

【図３２】ヘッドマウントディスプレイおよびビデオカ
メラを単眼仕様にして、このビデオカメラをポインティ
ングマーカ追跡装置として用いる例を示す斜視図であ
る。

【図３３】ビデオカメラを操作者の前方以外の方向にも
向けた複数個をさらに備えた例を示す斜視図である。

【図３４】ビデオカメラの位置を微調整可能な機構を説
明する斜視図である。

【図３５】ビデオカメラを自在継ぎ手により任意の角度
を持つように取り付ける機構の例を示す斜視図である。

【図３６】ビデオカメラで取り込んだ画像もそのまま出
力できるようにした例を示す模式図である。

【図３７】スイッチおよびホイールをヘッドマウントデ
ィスプレイに組込んだ例を示す模式図である。

【図３８】マイクと音声認識装置を備えて、スイッチ押
下情報及びホイール回転情報を音声入力するようにした
ヘッドマウントディスプレイの例を示す模式図である。

【図３９】音声認識装置における認識情報を外部出力可
能としたヘッドマウントディスプレイの例を示す模式図
である。

【図４０】操作者の指先をポインティングマーカとして
用いる、ポインティングマーカ追跡装置および追跡情報
解析装置の例を示す模式図である。

【図４１】片眼用のディスプレイを有し、バッテリやプ
ロセッサまで複合させたヘッドマウントディスプレイの
例を示す模式図である。

【図４２】両眼用のディスプレイを有し、バッテリ、プ
ロセッサ、レーダ装置等を複合させたヘッドマウントデ
ィスプレイの例を示す模式図である。

【図４３】片眼用のディスプレイを有し、バッテリやプ
ロセッサ、コンピュータまで複合させたヘッドマウント
ディスプレイの例を示す模式図である。

【図４４】従来のウェアラブルコンピュータシステムに
おけるポインタ表示の様子を示す模式図である。

【符号の説明】

１、１１、１０１，１１１、２１０ヘッドマウントデ
ィスプレイ２、１２、３０４、４０４，４０５ディスプレイ２ａ。１３、１０３，１１３ポインタ３タブレット４、１７、１００、４１０、５０６コンビュータ１４、１２２，１３３ポインティングマーカ追跡装置１５追跡情報解析装置１６座標補正装置１８、５１、６１、６５、７５，７６，７７、１０２，
１１２、２３３，２３４、３０９、４１１、５１０ポ
インティングマーカ２１、３１測距装置２２、３２測距情報解析装置５２、１４２、１５２、１６２、１７３、１８４，１８
５，１８６，１８７，１８８、２１１、２５０，３０６
ビデオカメラ５３、８２画像処理装置５４座標補正装置５５ヘッドマウントディスプレイ表示部６２オーバラップ装置６５ｂフレキシブル継ぎ手６５ｃ、６６ｂ握り６６ｃ、２２１、４１２スイッチ６７ｃ、２２２ホイール７３，７４マーク８３文字認識装置１２１電波発振源１２３位相差測定用アンテナ１２４、４０６，４０７、５０８，５０９レーダ装置１２５サーチ用電波発振装置１２６電波反射体１３１サーチ用音波発振装置１３２音波反射体３０２、４０２、５０２バッテリ３０３、４０３、５０３プロセッサ３０７、５０７マイク

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０９Ｇ 3/20 ６６０Ｇ０９Ｇ 3/20 ６６０Ｇ６８０６８０Ａ６９１６９１Ｆ 5/00 ５１０ 5/00 ５１０ＨＦターム(参考） 5B068 AA05 AA11 BB18 BD09 BE08 CC17 CC19 CD05 CD06 DD12 5B087 AA09 AD01 AE00 BC05 BC12 BC13 BC19 BC26 BC32 DD03 DD17 DE07 5C080 AA10 BB05 CC04 DD01 EE27 FF09 GG02 JJ01 JJ02 JJ06 KK52 5C082 AA24 BA12 BA43 BB42 CA02 CA56 CB05 DA42 MM09 MM10 5E501 AA30 AC37 BA05 CB14 CC01 FA02 FA14 FB42

Claims

【特許請求の範囲】

【請求項１】操作者の頭部に装着することにより操作者
の眼前に設置される表示部を有するヘッドマウントディ
スプレイ装置と、操作者の手により保持され、移動されるポインティング
マーカと、前記ポインティングマーカの移動情報から、前記ディス
プレイ装置を装着しない場合の操作者の視界での位置と
同様の位置に見えるように前記表示部上の座標位置にポ
インタを表示させる表示制御装置とを備えたことを特徴
とするコンピュータシステムにおけるポインタ表示シス
テム。
【請求項２】前記表示制御装置は、前記ポインティング
マーカの移動情報を得るポインティングマーカ追跡装置
と、前記ポインティングマーカ追跡装置から得られた追
跡情報を解析する追跡情報解析装置と、この追跡情報解
析装置で得られた解析情報をもとに前記表示部に対する
前記ポインタの表示座標を補正する座標補正装置とを備
えたことを特徴とする請求項１に記載のコンピュータシ
ステムにおけるポインタ表示システム。
【請求項３】前記ポインティングマーカ追跡装置、前記
追跡情報解析装置、前記座標補正装置を前記ヘッドマウ
ントディスプレイ装置上に搭載したことを特徴とする請
求項２に記載のコンピュータシステムにおけるポインタ
表示システム。
【請求項４】前記操作者と前記ポインティングマーカと
の間の距離を計測する測距装置と、距離を算出する測距
情報解析装置をさらに備え、視野の面内にポインティン
グマーカの距離情報を前記表示部に表示するようにした
ことを特徴とする請求項１ない３のいずれかに記載のコ
ンピュータシステムにおけるポインタ表示システム。
【請求項５】前記表示制御装置はヘッドマウントディス
プレイの画面上に前記ポインタの画像と前記ポインティ
ングマーカ追跡装置として用いるビデオカメラで得られ
た画像とを重ねて表示するものであることを特徴とする
請求項２ないし４のいずれかに記載のコンピュータシス
テムにおけるポインタ表示システム。
【請求項６】前記ポインティングマーカで空間に描かれ
た線分の組み合わせにより文字を認識する認識装置をさ
らに備えたことを特徴とする請求項２に記載のコンピュ
ータシステムにおけるポインタ表示システム。