JP2000029619A

JP2000029619A - コンピュータ装置

Info

Publication number: JP2000029619A
Application number: JP10195587A
Authority: JP
Inventors: Shigeru Tajima; 茂田島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-07-10
Filing date: 1998-07-10
Publication date: 2000-01-28

Abstract

(57)【要約】【課題】ウェアラブル・コンピュータにおいて、直感
性と視認性にすぐれ、使い勝手が良好な、仮想マウスを
実現する。【解決手段】ビデオカメラ１１とヘッドマウント・デ
ィスプレイ１２とを一体化して、使用者の腰部に装着し
たウェアラブルコンピュータ本体２０に接続する。使用
者の手指に装着した３個のＬＥＤ３１，３２，３３をコ
ンピュータに接続し、適宜のコード信号で駆動して、互
いに異なるパターンで点滅するＬＥＤをビデオカメラで
撮像して、各ＬＥＤの空間位置をコンピュータに取り込
む。通常のマウスボタンの入力操作に対応させた手指の
動きに応じて変化する、各ＬＥＤの空間位置を、ビデオ
カメラを介して、コンピュータに取り込み、手指の動き
に対応する仮想マウスの入力操作を判別する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、使用者が装着し
て使用するいわゆるウェアラブルコンピュータに好適
な、コンピュータ装置に関する。

【０００２】

【従来の技術】従来、デスクトップコンピュータや、い
わゆるノート型コンピュータでは、グラフィカル・ユー
ザ・インターフェイス（ＧＵＩ）が広く使用されてお
り、このＧＵＩに対応する制御入力手段（ポインティン
グデバイス）として、直感性および視認性にすぐれたマ
ウスが広く使用されている。

【０００３】一方、例えば、航空機の整備などで、主と
して、所要の情報を読み出すために、いわゆる、ウェア
ラブルコンピュータが使用されることがある。

【０００４】このウェアラブルコンピュータは、使用者
の頭部に装着される、ヘッドマウント・ディスプレイ
（Ｈｅａｄ−ＭｏｕｎｔｅｄＤｉｓｐｌａｙ，以下、
ＨＭＤと略称する）と、例えば、ベルトによって使用者
の腰部に装着されるなどで携帯が可能な、小型のコンピ
ュータ本体とを有する。

【０００５】上述のような、ウェアラブルコンピュータ
に対する、コマンドないしは制御操作の入力は、文字入
力の必要性は少なく、音声によるもの、片手キーボード
や空間マウスによるもの、あるいは、コンピュータ本体
に組み込まれた小型のポインティング装置によるものな
どがある。

【０００６】

【発明が解決しようとする課題】ところが、前述のよう
なウェアラブルコンピュータでは、音声による入力の場
合、使用者の音声をコンピュータプログラムが理解し、
それにより必要な制御を実行するという形態であるた
め、制御に要する時間が長くなると共に、その正確さに
おいてまだ十分ではないという問題があった。

【０００７】また、片手キーボードや空間マウスなどを
用いる場合は、コンピュータ本体、ＨＭＤおよび情報入
力機構部という３つの部分からの構成となり、いずれ
も、実使用状態での使い勝手が必ずしも良好とはいえな
いという問題があった。コンピュータ本体に組み込まれ
た小型のポインティング装置による場合も、同様の問題
があった。

【０００８】かかる点に鑑み、この発明の目的は、現実
のマウスと同等の、すぐれた直感性および視認性を有
し、実使用状態での使い勝手が良好な制御入力手段を備
えた、コンピュータ装置を提供するところにある。

【０００９】

【課題を解決するための手段】前記課題を解決するた
め、請求項１の発明によるコンピュータ装置は、使用者
の操作入力に応じて空間を移動する発光体と、上記発光
体の上記空間上の位置を検出するための上記発光体を撮
像する撮像素子と、上記撮像素子からの映像信号に基づ
いて、上記発光体の位置情報をコンピュータ本体に入力
する位置情報入力手段と、上記コンピュータ本体により
生成した画像を表示するディスプレイと、上記発光体の
上記空間上の位置情報の所定の変化を検出して、この検
出した変化に相当する上記使用者の操作に対応した制御
入力を判別する制御入力判別手段と、を有することを特
徴とする。

【００１０】かかる構成の請求項１の発明によるコンピ
ュータ装置においては、制御入力判別手段によって、発
光体の位置情報の所定の変化が検出されると共に、この
変化に相当する、使用者の操作入力に応じた制御入力が
判別されて、発光体の位置情報を所定のように変化させ
ることにより、現実のマウスと同等の制御機能を備えた
仮想マウスが容易に実現される。

【００１１】また、請求項２の発明によるコンピュータ
装置は、請求項１に記載のコンピュータ装置において、
上記ディスプレイがヘッドマウント型ディスプレイであ
ると共に、上記撮像素子として半導体撮像素子が上記ヘ
ッドマウント型ディスプレイに装着されていることを特
徴とするものである。

【００１２】かかる構成の請求項２の発明によるコンピ
ュータ装置においては、小型軽量の半導体撮像素子がヘ
ッドマウント型ディスプレイに取り付けられて両者が一
体的に構成されて使用者の頭部に装着可能となり、実使
用状態での使い勝手が向上する。

【００１３】また、請求項３の発明によるコンピュータ
装置は、請求項１に記載のコンピュータ装置において、
上記コンピュータ本体を携帯可能とすると共に、ベルト
などで使用者に装着可能としたことを特徴とするもので
ある。

【００１４】かかる構成の請求項３の発明によるコンピ
ュータ装置においては、コンピュータ本体が使用者の腰
部などに装着可能となって、実使用状態での使い勝手が
更に向上する。

【００１５】また、請求項４の発明によるコンピュータ
装置は、請求項１に記載のコンピュータ装置において、
上記発光体を備える制御入力手段が使用者の手に装着可
能とされたことを特徴とするものである。

【００１６】かかる構成の請求項４の発明によるコンピ
ュータ装置においては、使用者が手に持って、制御入力
手段を操作することにより発光体の発光状態などを変位
させることができて、実使用状態での使い勝手が一段と
向上する。

【００１７】また、請求項５の発明によるコンピュータ
装置は、請求項１に記載のコンピュータ装置において、
上記発光体を使用者の指に装着可能としたことを特徴と
するものである。

【００１８】かかる構成の請求項５の発明によるコンピ
ュータ装置においては、使用者が手指を動かすことによ
り、その手指に装着された発光体を自在に変位させるこ
とができて、実使用状態での使い勝手が格段に向上す
る。

【００１９】また、請求項６の発明によるコンピュータ
装置は、請求項５に記載のコンピュータ装置において、
上記発光体は単一の発光ダイオードで構成され、上記制
御入力判別手段は、この発光ダイオードの上記位置情報
の変化による動きの違いにより、種々の制御入力を判別
することを特徴とするものである。

【００２０】かかる構成の請求項６の発明によるコンピ
ュータ装置においては、発光ダイオードの駆動が簡単に
なって、スタンドアローン構成も可能となる。

【００２１】また、請求項７の発明によるコンピュータ
装置は、請求項５に記載のコンピュータ装置において、
上記発光体は複数の発光ダイオードで構成され、上記制
御入力判別手段は、上記複数の発光ダイオードの位置関
係により、種々の制御入力を判別することを特徴とする
ものである。

【００２２】かかる構成の請求項７の発明によるコンピ
ュータ装置においては、複数の発光ダイオードの駆動が
簡単になって、装置の構成が簡単になる。

【００２３】また、請求項８の発明によるコンピュータ
装置は、請求項５に記載のコンピュータ装置において、
上記発光体が複数の発光ダイオードであって、各発光ダ
イオードが上記コンピュータ本体からの駆動信号により
互いに異なるパターンで点滅すると共に、上記位置情報
が上記複数の発光ダイオードの相対位置を含むことを特
徴とするものである。

【００２４】かかる構成の請求項８の発明によるコンピ
ュータ装置においては、複数の発光ダイオードの識別が
確実になって、現実のマウスと同等の多様な制御機能を
備えた仮想マウスが容易に実現される。

【００２５】

【発明の実施の形態】以下、図１〜図８を参照しなが
ら、この発明によるコンピュータ装置をウェアラブルコ
ンピュータに適用した実施の形態について説明する。

【００２６】［実施の形態の構成］この発明の実施の形
態の機械的構成を図１に示すと共に、その電気的構成を
図２に示す。

【００２７】図１において、ウェアラブルコンピュータ
は、使用者の頭部Ｋに装着する載頭部１０と、例えば、
ベルト（図示は省略）により腰部Ｗに装着する、小型の
コンピュータ本体２０と、入力操作のために、手部Ｈの
指先などに装着する発光部３０とから構成される。

【００２８】載頭部１０は、ＣＣＤ撮像素子を用いたビ
デオカメラ１１と、液晶表示素子を用いたヘッドマウン
ト・ディスプレイ（ＨＭＤ）１２とが一体に構成され
て、ケーブル１３により、コンピュータ本体２０に接続
される。

【００２９】また、発光部３０は、３つの発光ダイオー
ド（ＬＥＤ）３１，３２，３３を含んで構成され、ケー
ブル３４により、コンピュータ本体２０に接続される。

【００３０】各発光ダイオード３１〜３３は、例えば、
赤外光を発するものであり、それぞれ指輪状に成形され
て、人差し指、中指および薬指のような、３本の指に装
着することができる。また、一体的に手袋状に形成する
こともできる。

【００３１】上述のような発光部３０に対応して、この
実施の形態のビデオカメラ１１では、通常は装着されて
いる赤外カットフィルタが取り外される。

【００３２】そして、ビデオカメラ１１により撮像され
た発光部３０の映像が、コンピュータ２０に供給され
て、後述のような処理が施され、コンピュータ２０から
出力された映像がＨＭＤ１２に表示される。

【００３３】図２に示すように、コンピュータ本体２０
は、ＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３を備え、
それぞれがシステムバス２４に接続される。ＲＯＭ２２
には、ＢＩＯＳ（ＢａｓｉｃＩ／ＯＳｙｓｔｅｍ）
等の制御プログラムが格納され、ＲＡＭ２３は主に演算
のための作業領域として利用される。

【００３４】また、システムバス２４には、適宜のイン
ターフェイスないしはポート（いずれも図示は省略）を
介して、補助記憶のためのハードディスク装置（ＨＤ
Ｄ）２５と、ビデオキャプチャ回路２６および表示制御
・駆動回路２７とが接続されると共に、タイマ２８がバ
ス２４に接続される。

【００３５】ビデオキャプチャ回路２６および表示制御
・駆動回路２７には、ケーブル１３を介して、載頭部１
０のビデオカメラ１１およびヘッドマウント・ディスプ
レイ１２が接続される。

【００３６】なお、ビデオキャプチャ回路２６は、例え
ば、ＰＣＭＣＩＡ方式のビデオキャプチャカードや、あ
るいは、コンピュータ２０に含まれるマザーボード（図
示は省略）に実装されるボード形式のものが用いられ
る。

【００３７】そして、この実施の形態では、図３に示す
ような、コード発生・駆動回路４０がバス２４に接続さ
れて、この発生・駆動回路４０の出力が、ケーブル３４
を介して、発光部３０に供給される。

【００３８】即ち、図３において、基準クロック発生回
路４１からのクロックを計数するカウンタ４２と、ＲＯ
Ｍ４３とがリング状に接続され、ＲＯＭ４３の出力が、
ＬＥＤ駆動回路４４とケーブル３４を介して、発光部３
０に供給される。

【００３９】なお、ハードディスク装置（ＨＤＤ）中に
記憶されていた固定パターンが、ＲＡＭ２３に展開され
て、このＲＡＭパターンによりＬＥＤ駆動回路４４を介
して発光部３０が駆動されるようにしてもよい。この場
合、コード発生・駆動回路４０は、発光部３０のＬＥＤ
３１〜３３の駆動のみを受け持つ。さらに、図３に示す
部分にバスを接続せずに、バッテリー駆動として単独動
作させることも可能である。

【００４０】上述のようなコンピュータ本体２０の各部
へは、直流電源２９から所要の電力が供給されると共
に、ケーブル１３を介して、電源２９からの電力が載頭
部１０にも供給される。

【００４１】［実施の形態の撮像処理］次に、図４およ
び図５をも参照しながら、この発明の実施の形態の撮像
処理について説明する。

【００４２】この実施の形態では、図３に示すような、
コード発生・駆動回路４０において、基準クロック発生
回路４１からのクロックを計数するカウンタ４２によ
り、ＲＯＭ４３のアドレスが指定されて、その指定され
たアドレスから、バイト単位で出力されるデータのう
ち、適宜数のビットにより、発光部３０の特定の発光ダ
イオードが駆動される。

【００４３】例えば、図４に示すような、「１１０１１
０１」のコードが発光ダイオード３１に供給されると、
この発光ダイオード３１は、コードの「１」で点灯し、
コードの「０」で消灯する。なお、図４に示したコード
は、ヘッダに３ビット、アドレスに４ビットを使用して
いる。

【００４４】この実施の形態では、発光ダイオード３１
〜３３の点滅パターンをビデオカメラ１１で撮影する際
に、電気的な「流し撮り」をすることにより、発光ダイ
オード３１〜３３の時間的な点滅パターンが、垂直方向
の空間的パターンとして撮像される。

【００４５】例えば、図４に示すような「１１０１１０
１」のコードに対応する点滅パターンは、図５に示すよ
うな、５つの輝点ＢＰｓ〜ＢＰｍが垂直方向に整列し
た、空間的パターンとして撮像される。

【００４６】コンピュータ本体２０のコード発生・駆動
回路４０から、互いにパターンが異なる３つのコード
が、発光部３０の発光ダイオード３１〜３３に供給され
ることにより、発光ダイオード３１〜３３の点滅パター
ンが互いに異なる。これにより、後述のＬＥＤ検出処理
や入力操作検出処理においては、発光部３０からの赤外
信号をビデオカメラ１１で撮影した画像中の、各発光ダ
イオード３１〜３３（に対応する空間的パターン）を識
別することができる。図４に示したコードは、アドレス
に４ビットを使用しているので、１６個までのＬＥＤを
識別することができる。

【００４７】なお、上述のような撮影の際に、発光ダイ
オードの点滅周期を、例えば、４Ｈ（水平期間）オン、
４Ｈオフの点滅に設定すると共に、流し撮りの垂直転送
パルスの周期を２Ｈとすることにより、同期ずれによる
パターンの誤認識を回避することができる。

【００４８】また、上述のような点滅パターンに対応す
るコードは、シリアルポート（ＲＳ２３２Ｃ）を通じて
供給されるが、ＵＳＢポート、パラレルポートなどを通
じて、所要のコードを供給することもできる。

【００４９】上述のような流し撮りによる、ビデオカメ
ラ１１からのビデオ信号出力は、コンピュータ本体２０
のビデオキャプチャ回路２６によって、ビデオフレーム
周期でキャプチャ（capture:捕捉）される。即ち、１フ
レームごとに、デジタルのデータファイルとして取り込
まれて、次に述べるような、ＬＥＤ検出処理や入力操作
検出処理が施される。

【００５０】［実施の形態のＬＥＤ検出処理］次に、図
７をも参照しながら、この発明の実施の形態のＬＥＤ検
出処理について説明する。

【００５１】図７のＬＥＤ検出処理ルーチン１００がス
タートすると、最初のステップ１０１で、前出図５に示
すような、空間的パターンの画像が、１フレーム分ずつ
取り込まれて、次のステップ１０２では、所定のスレシ
ョルドレベルと比較されて２値化、つまり、デジタル化
される。

【００５２】そして、ステップ１０３において、３個の
ＬＥＤが検出されたか否かが判断され、３個のＬＥＤが
検出された場合、処理はステップ１０４に進んで、ＬＥ
Ｄの空間座標が計算される。この実施の形態では、発光
部３０の各ＬＥＤの空間座標として、前出図５に示し
た、１番目の輝点ＢＰｓの座標（ｘｓ、ｙｓ）が充当さ
れる。

【００５３】次のステップ１０５では、フレーム番号
（時間）が特定される。このフレーム番号は、フレーム
間の変化計算や、ノイズ除去のためのフレーム間平均に
使用される。フレーム番号は最大１秒程度の時間に亘っ
ての処理を考慮した場合、３２程度で循環すればよく、
この場合５ビットで十分である。

【００５４】一方、ステップ１０３において、３個のＬ
ＥＤが検出されなかった場合には、ステップ１０６に移
行して、ＬＥＤ不検出のフラグを立ててから、ステップ
１０５に進んで、フレーム番号（時間）が特定される。

【００５５】次のステップ１０７では、ＬＥＤ検出の有
無、ＬＥＤのアドレス、ＬＥＤのｘ座標，ｙ座標が出力
されて、ステップ１０１に戻る。

【００５６】上述のような処理がフレームごとに（例え
ば、３０Ｈｚサンプリングで）繰り返されて、ＬＥＤの
空間座標の最大時間分解能は、例えば、約１６ｍｓ＝１
／１５Ｈｚとなる。

【００５７】一方、空間の分解能は、ビデオカメラ１１
の撮像素子の画素数により定まり、例えば、垂直×水平
が３６２×４９２の分解能が得られる。

【００５８】なお、この実施の形態では、３個の発光ダ
イオードが指に装着されて、通常、交叉させることなく
使用されるので、ＬＥＤ検出処理ソフトウェアの基本設
計方針として、ＬＥＤの交叉はないとすることができ
る。この場合、意識的交叉や、何らかの障害により、Ｌ
ＥＤの検出が不能となった時は、上述のようなステップ
１０６におけるように、上位ソフトウェアに対して、検
出不能信号を出力する。

【００５９】［実施の形態の入力操作検出処理］次に、
図６および図８をも参照しながら、この発明の実施の形
態の入力操作検出処理について説明する。

【００６０】初期状態で、前出図１に示した、手部Ｈの
５本の指は軽く開いた形で、平らな机（図示は省略）の
上におかれて、人差し指、中指および薬指には、発光部
３０の発光ダイオード３１，３２，３３が装着されてお
り、これをビデオカメラ１１で見下ろしているものとす
る。また、前述の空間座標は、ビデオカメラ１１に垂直
な机の面におけるものとする。

【００６１】定常状態では、中指および人差し指は、等
間隔を保ったまま机上に静止している。

【００６２】そして、この実施の形態で構成される、２
ボタンの仮想マウスの機能「シングルクリック」、「ダ
ブルクリック」、「ドラッグ」の操作は、例えば、中指
を基準として、人差し指または薬指の、次のような動き
に対応させてある。

【００６３】［Ｌ１］．左ボタンの「シングルクリッ
ク」の操作は、中指を机の上につけたまま、人差し指を
持ち上げて、所定時間内に、もとの位置に戻す。

【００６４】［Ｌ２］．左ボタンの「ダブルクリック」
の操作は、Ｌ１のシングルクリックの操作を２回繰り返
す。

【００６５】［Ｌ３］．左ボタン押しでの「ドラッグ」
の操作は、所定時間以上、人差し指を持ち上げたままに
しておく。

【００６６】［Ｒ１］．右ボタンの「シングルクリッ
ク」の操作は、中指を机の上につけたまま、薬指を持ち
上げて、所定時間内に、もとの位置に戻す。

【００６７】［Ｒ２］．右ボタンの「ダブルクリック」
の操作は、Ｒ１のシングルクリックの操作を２回繰り返
す。

【００６８】［Ｒ３］．右ボタン押しでの「ドラッグ」
の操作は、所定時間以上、薬指を持ち上げたままにして
おく。

【００６９】そして、「カーソル移動」の操作では、中
指および人差し指が、等間隔状態を保ったまま、机上を
移動する。換言すれば、この実施の形態では、基準とし
ての中指（に装着される発光ダイオード）が、ポインテ
ィング装置に相当する。

【００７０】なお、上述の所定時間は、例えば、デバイ
スドライバのようなプログラムで適宜に設定が可能であ
って、例えば、約５００ｍＳに設定される。

【００７１】また、仮想デバイスドライバ（ＶｘＤ）で
ｘ，ｙ検出を実施する場合、ビデオキャプチャカード
（図２参照）は汎用品で対応することができるが、ＣＰ
Ｕの負担が大きくなり、高性能のＣＰＵが要求される。

【００７２】一方、ビデオキャプチャカードを専用と
し、この中にｘ，ｙ位置検出ソフトウェアまでを実装す
る場合、ビデオキャプチャカードからは位置情報のみが
入力されて、ＣＰＵの負担が軽くなる。

【００７３】上述のような指の動きに伴って、基準にな
る中指と、人差し指または薬指と（に装着された各発光
ダイオード）の相対距離は、例えば、図６に示すように
変化するので、この実施の形態入力操作検出処理では、
指（に対応する画面上の輝点）が動いた距離および時間
をパラメータとして、上述のような各種の操作を判別す
る。

【００７４】以下、簡単のために、中指を基準として、
人差し指による左ボタンの入力操作の場合について説明
する述べる。なお、右ボタンについては、以下の説明に
おいて、人差し指（に装着のＬＥＤ３２）を薬指（に装
着のＬＥＤ３３）と読み替えることにより、対応するこ
とができる。

【００７５】図８の入力操作検出処理ルーチン２００が
スタートすると、最初のステップ２０１では、前述のよ
うなＬＥＤ検出処理ルーチンによって、ＬＥＤの検出に
成功したか否かが判断され、検出失敗の場合は、ステッ
プ２０２に移行して、ＬＥＤ検出失敗のフレーム番号を
出力した後、ステップ２０１に戻る。

【００７６】また、ステップ２０１でＬＥＤの検出に成
功した場合、処理はステップ２０３に進んで、ＬＥＤの
アドレスとｘ，ｙ座標とが入力される。

【００７７】次のステップ２０４では、複数の（Ｎ）フ
レームに亘って、過去のデータが移動されて（ｄ（Ｎ−
１）→ｄＮ）、記憶される。

【００７８】そして、ステップ２０５では、現在のフレ
ームにおける、基準ＬＥＤとの距離ｄ０が計算され、次
のステップ２０６で、前のフレームとの差（ΔＮ＝ｄ
（Ｎ−１）−ｄＮ）が計算されて、仮想のマウスボタン
の操作に対応する、人差し指のＬＥＤ３２の「動き」の
検出に先だって、ノイズが除去される。

【００７９】処理はステップ２０７に進んで、｜ΔＮ｜
＜Ｔｈ２であるか否か、即ち、前フレームとの差の絶対
値がノイズ除去のためのスレショルドレベルＴｈ２より
小さいか否かが判断され、前フレームとの差の絶対値が
スレショルドレベルより小さい場合は、ステップ２０１
に戻って、ステップ２０７までの処理が繰り返される。

【００８０】なお、対象とするフレーム数のＮは、プロ
グラム上で任意に設定することができるので、Ｎ＝１と
すれば、単純に、直前のフレームとの差だけを見ること
になる。

【００８１】そして、Ｎ個のフレームでノイズがなくな
り、人差し指のＬＥＤ３２の位置が安定した時点で、ス
テップ２０７において、その「動き」が検出された場合
は、ステップ２１１に進んで、（ｄ−ｒ）＞０であるか
否かが判断される。

【００８２】定数ｒは、ＬＥＤの装着部位に対応する、
適宜のバイアスであって、基準のＬＥＤ３１との距離ｄ
からバイアスｒを差し引くことにより、ステップ２１１
では、ＬＥＤ３２が、その装着部位に拘わらず、人差し
指を持ち上げた状態での「オン位置」にあるか「オフ位
置」にあるかを判断することができる。

【００８３】なお、ｒ＝Ｔｈ１とすれば、図６に示すよ
うに、点ａ，ｂの間は必ず正となり、点ｂ，ｃの間は必
ず負となって、ＬＥＤ３２が「オン状態」にあるか「オ
フ状態」にあるかを判断することができる。

【００８４】上述のようにして、ステップ２１１で、Ｌ
ＥＤ３２が「オン位置」にある場合は、ステップ２１２
に進んで、ＬＥＤ３２のオン状態が検出される。

【００８５】次のステップ２１３では、オン状態の期間
Ｔｏｎが、例えば、約５００ｍＳの所定時間ｋより長い
か否が判断され、オン状態の期間Ｔｏｎが所定時間ｋよ
り短い場合は、ステップ２１４に進んで、タイマ・スタ
ートの後、ステップ２０１に戻る。

【００８６】また、ステップ２１３で、オン状態の期間
Ｔｏｎが所定時間ｋより長い場合には、ステップ２１５
に移行して、ドラッグモードがスタートした後、ステッ
プ２０１に戻る。

【００８７】なお、このドラッグモードでは、ボタンが
押された状況がラッチされて、基準のＬＥＤ３１の動き
に伴い、上述のようなカーソルで指示されたオブジェク
トが画面上を移動する。

【００８８】一方、ステップ２１１で、ＬＥＤ３２が
「オフ位置」にある場合には、ステップ２２１に移行し
て、このＬＥＤ３２のオフ状態が検出される。

【００８９】次のステップ２２２では、オフ状態の期間
Ｔｏｆｆが、例えば、約５００ｍＳの所定時間ｋより長
いか否が判断され、オフ状態の期間Ｔｏｆｆが所定時間
ｋより長い場合は、ステップ２２３に進んで、ドラッグ
モードが終了する。

【００９０】また、ステップ２２２で、オフ状態の期間
Ｔｏｆｆが所定時間ｋより短い場合には、ステップ２２
４に移行して、左ボタンのクリックが検出される。

【００９１】このステップ２２４と上述のステップ２２
３の処理の次は、ステップ２２５で、タイマ・リセット
されて後、ステップ２０１に戻る。

【００９２】なお、上述のようなドラッグモードでは、
基準のＬＥＤ３１の動きに伴い、上述のカーソルで指示
されたオブジェクトが画面上を移動する。

【００９３】また、ダブルクリックは、上述のようなク
リック操作を２回検出した時点で、ダブルクリックと判
断される。

【００９４】上述の実施の形態では、手指の先などに小
型軽量の発光体を装着し、その指を所定のように動かす
だけで、その所定の動きが、ビデオカメラを介して、コ
ンピュータに取り込まれ判別されることにより、通常の
２ボタンマウスと同等の入力操作が可能となり、コンピ
ュータを人体に装着し、両手を用いての作業状態でも、
現実のマウスと同等の制御機能を備えた仮想マウスを自
在に操作して、コンピュータを制御することができて、
使い勝手のよいコンピュータ装置を実現することができ
る。

【００９５】［他の実施の形態］前述の実施の形態で
は、発光部の３個の赤外線発光ダイオードに、互いに異
なるパターンの駆動信号を供給して用いたが、発光ダイ
オードの発光パターンをどれに対応させるかは、ソフト
ウェアで簡単に変更可能なので、右利き、左利き、ある
いは、装着する指の種類など、自由な組み合わせが可能
である。

【００９６】また、例えば、赤色や、緑色の可視光ＬＥ
Ｄなど、カメラが良好に識別できるものを用いることも
できる。この場合、互いに異なるパターンでの点滅は必
要なく、ＬＥＤの駆動が簡単になる。

【００９７】そして、前述の実施の形態では、３個の発
光ダイオードを用いたが、単一の発光ダイオードを用い
ることもできる。この場合、指の動きの速さをも含め
て、カーソルを動かす動作、左ボタンクリック、左ボタ
ンダブルクリック、右ボタンクリックの判別を行なう。

【００９８】単一の発光ダイオードを用いる場合は、単
純に点灯するだけでよく、特別の発光パターンは必要と
しないので、ＬＥＤの駆動がきわめて簡単になる。

【００９９】また、リチウム電池のような小型電池を電
源とすることにより、前述のような接続コードは不要と
なって、発光部が、いわゆる、スタンド・アローンでの
動作が可能となり、使い勝手が一段とよくなる。

【０１００】

【発明の効果】以上説明したように、請求項１の発明に
よれば、現実のマウスと同等の制御機能を備えた仮想マ
ウスを容易に実現することができる。

【０１０１】また、請求項２〜請求項５の発明によれ
ば、実使用状態での使い勝手を向上させることができ
る。

【０１０２】また、請求項６の発明によれば、発光ダイ
オードの駆動が簡単になって、スタンドアローン構成も
可能となる。

【０１０３】また、請求項７の発明によれば、複数の発
光ダイオードの駆動が簡単になって、装置の構成が簡単
になる。

【０１０４】また、請求項８の発明によれば、複数の発
光ダイオードの識別が確実になって、現実のマウスと同
等の多様な制御機能を備えた仮想マウスが容易に実現さ
れる。

【図面の簡単な説明】

【図１】この発明によるコンピュータ装置をウェアラブ
ルコンピュータに適用した実施の形態の機械的構成を示
す概念図である。

【図２】この発明の実施の形態の電気的構成を示すブロ
ック図である。

【図３】この発明の実施の形態の要部の構成を示すブロ
ック図である。

【図４】この発明の実施の形態の撮像処理を説明するた
めの波形図である。

【図５】この発明の実施の形態の撮像処理を説明するた
めの概念図である。

【図６】この発明の実施の形態の入力操作検出処理を説
明するための概念図である。

【図７】この発明の実施の形態のＬＥＤ検出処理を説明
するための流れ図である。

【図８】この発明の実施の形態の入力操作検出処理を説
明するための流れ図である。

【符号の説明】

１０…載頭部、１１…ビデオカメラ、１２…ヘッドマウ
ント・ディスプレイ（ＨＭＤ）、１３…接続ケーブル、
２０…コンピュータ本体、２１…ＣＰＵ、２２…ＲＯ
Ｍ、２３…ＲＡＭ、２５…ハードディスク装置（ＨＤ
Ｄ）、２６…ビデオキャプチャ回路、２７…表示制御・
駆動回路、２８…タイマ、２９…直流電源、３０…発光
部、３１，３２，３３…発光ダイオード（ＬＥＤ）、３
４…接続ケーブル、４０…コード発生・駆動回路、４１
…クロック発生回路、４２…カウンタ、４３…ＲＯＭ、
４４…ＬＥＤ駆動回路、１００…ＬＥＤ検出処理ルーチ
ン、２００…入力操作検出処理ルーチン

Claims

【特許請求の範囲】

【請求項１】使用者の操作入力に応じて空間を移動する
発光体と、上記発光体の上記空間上の位置を検出するための上記発
光体を撮像する撮像素子と、上記撮像素子からの映像信号に基づいて、上記発光体の
位置情報をコンピュータ本体に入力する位置情報入力手
段と、上記コンピュータ本体により生成した画像を表示するデ
ィスプレイと、上記発光体の上記空間上の位置情報の所定の変化を検出
して、この検出した変化に相当する上記使用者の操作に
対応した制御入力を判別する制御入力判別手段と、を有するコンピュータ装置。
【請求項２】請求項１に記載のコンピュータ装置におい
て、上記ディスプレイがヘッドマウント型ディスプレイであ
ると共に、上記撮像素子として半導体撮像素子が上記ヘ
ッドマウント型ディスプレイに装着されていることを特
徴とするコンピュータ装置。
【請求項３】請求項１に記載のコンピュータ装置におい
て、上記コンピュータ本体を携帯可能とすると共に、ベルト
などで使用者に装着可能としたことを特徴とするコンピ
ュータ装置。
【請求項４】請求項１に記載のコンピュータ装置におい
て、上記発光体を備える制御入力手段が使用者の手に装着可
能とされたことを特徴とするコンピュータ装置。
【請求項５】請求項１に記載のコンピュータ装置におい
て、上記発光体を使用者の指に装着可能としたことを特徴と
するコンピュータ装置。
【請求項６】請求項５に記載のコンピュータ装置におい
て、上記発光体は単一の発光ダイオードで構成され、上記制
御入力判別手段は、この発光ダイオードの上記位置情報
の変化による動きの違いにより、種々の制御入力を判別
することを特徴とするコンピュータ装置。
【請求項７】請求項５に記載のコンピュータ装置におい
て、上記発光体は複数の発光ダイオードで構成され、上記制
御入力判別手段は、上記複数の発光ダイオードの位置関
係により、種々の制御入力を判別することを特徴とする
コンピュータ装置。
【請求項８】請求項５に記載のコンピュータ装置におい
て、上記発光体が複数の発光ダイオードであって、各発光ダ
イオードが上記コンピュータ本体からの駆動信号により
互いに異なるパターンで点滅すると共に、上記位置情報
が上記複数の発光ダイオードの相対位置を含むことを特
徴とするコンピュータ装置。
【請求項９】請求項５〜請求項８に記載のコンピュータ
装置において、上記発光ダイオードが赤外発光ダイオードであることを
特徴とするコンピュータ装置。
【請求項１０】請求項５、請求項７または請求項８に記
載のコンピュータ装置において、上記発光ダイオードが可視光を発光するものであって、
複数の発光ダイオードのそれぞれを発光スペクトラムの
違いにより認識するようにすることを特徴とするコンピ
ュータ装置。