JP2002525769A - 携帯型データディスプレイの直接的コントロール方法 - Google Patents

携帯型データディスプレイの直接的コントロール方法

Info

Publication number
JP2002525769A
JP2002525769A JP2000571431A JP2000571431A JP2002525769A JP 2002525769 A JP2002525769 A JP 2002525769A JP 2000571431 A JP2000571431 A JP 2000571431A JP 2000571431 A JP2000571431 A JP 2000571431A JP 2002525769 A JP2002525769 A JP 2002525769A
Authority
JP
Japan
Prior art keywords
computer
user
implemented method
head
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000571431A
Other languages
English (en)
Other versions
JP2002525769A5 (ja
Inventor
エル． ツウェルン，アーサー
ファテ，シナ
フラック，ジェームズ
Original Assignee
ヴェガ ヴィスタ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴェガ ヴィスタ インコーポレイテッド filed Critical ヴェガ ヴィスタ インコーポレイテッド
Publication of JP2002525769A publication Critical patent/JP2002525769A/ja
Publication of JP2002525769A5 publication Critical patent/JP2002525769A5/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 ユーザーの前方へ仮想的に生成された大ディスプレイ(20)を提供することによって、大容量の仮想データへの瞬間的且つ直接的な視覚アクセスを可能とする仮想コンピュータモニタが開示されている。ユーザーは、ヘッド・マウント・ディスプレイ(26)を装着し、且つ、ヘッドトラッカー(28)又は他の動作トラッカーを備えた携帯型ディスプレイを有している。これらは、ユーザーに対し、所望方向を視るために回転することによって、前記大仮想ディスプレイ(20)内の所望位置において直接ビューポートを位置させることを許容する。該直接ビューポート(22)は、さらに、ユーザーのヘッドを回転させ又は携帯型ディスプレイを移動させることによって位置決めされ、若しくは、マウス又は他の類似コントロール装置を使用することによってさらに位置決めされるマウスポインターを含んでいる。仮想コンピュータモニタの特に有利な効果は、視覚身障者に対し、拡大された大コンピュータ出力への直接的なアクセスを提供することである。

Description

【発明の詳細な説明】
【０００１】 （発明の背景） 本発明は、画像データについての人間／コンピュータ間のインターフェースに
関し、より詳しくは、従来の単一のコンピュータディスプレイで表示されていた
よりも、大きい画像データを表示するシステムに関する。本発明は、画像データ
の大フィールドへの瞬間的且つ直接的なアクセスを提供し、且つ、視覚身障者に
対して拡大画像データへの向上されたアクセスを提供する為に、バーチャル・リ
アリティ技術を用いている。
【０００２】 視覚身障者にとって、コンピュータアクセスに対する最も一般的なアプローチ
は、コンピュータディスプレイ上に表示される画像を拡大する特化されたソフト
ウエア及び／又はハードウエアである。モニターへの近接，より大きなモニター
の使用，光学的拡大スクリーンの追加又は望遠システムの使用等のより簡便な解
決方法は、制限された拡大又は極度に制限されたビジュアルフィールドしか提供
しない。市販されているスクリーン拡大装置には、Optelec (Westford,MA)によ
るLP-DOS，AI Squared (Manchester Center,VT)によるZoomtext，Microsystems Software (Framingham,MA)によるMAGic，Arctic Technologies (Troy,MI)による
Magnum等がある。さらに、簡易なスクリーン拡大モジュールは、Microsoft Wind
ows 及びApple Macintosh オペレーティングシステムの双方に含まれている。
【０００３】 これらの従来のコンピュータディスプレイ拡大方法は、ソフトウエアアプリケ
ーション出力のオリジナル画像を、物理的なモニターよりもかなり大きなサイズ
を有する「仮想ページ(virtual page)」に拡大させている。例えば、１０倍の拡
大率の場合、8.5インチ×１１インチの標準ページは、横が約７フィートで縦が
約９フィートになる。その後、視覚身障者は、マウス，ジョイスティック又はカ
ーソルキーを使用してコンピュータを操作し、その時点において前記仮想ページ
のどの部分をモニターに表示させるかをコントロールする。モニターの大きさは
固定されているから、ユーザーは、基本的に、ブックページ(book page)を拡大
させる為に閉回路テレビで使用されている方法と同様の方法で、モニターを横切
るように前記仮想ページを移動しなければならない。
【０００４】 多くの場合、通常のスクリーン拡大は、ホストコンピュータの中央処理装置(C
PU)上で実行されるソフトウエア内で完全に処理される。この方法は、大変に低
コストな解決方法を提供するものではあるが、ユーザーが前記拡大画像内の新し
い位置を選択する毎に、ディスプレイ上に表示されるべき全てのデータが完全に
読み出されなければならない。従って、選択する為のコンピュータへのコマンド
送信と新しい画像の視認との間にタイムラグを招くことになる。斯かる問題点を
解決する為に、全ての画像データを引き出し、ビデオディスプレイバッファに収
納させることができる。そして、ユーザーが視認の為に画像データの一部を選択
すると、画像データのうちの要求された部分を前記ディスプレイバッファから迅
速に読み出して、前記ディスプレイ装置へ送信するように構成し得る。斯かるハ
ードウエア的に処理速度を促進させたスクリーン拡大装置(hardware-accelerate
d screen magnifier)の例としては、Telesensory, INC.(Mountain View,CA)によ
るVista がある。該技術は、画像偏向として公知のハードウエア促進形態である
。
【０００５】 ハードウエア・アクセレータを用いたとしても、不運にも、前記従来のアプロ
ーチには２つの基本的な欠点がある。第１の問題は、ある時間においてユーザー
の視点が前記仮想ページ上のどの方向を向いているかを決定するのが困難である
という空間方向性の問題である。この問題は、モニターが移動せず、且つ、前記
仮想ページ上でユーザーの視線がどこを向いているかを示す視覚的な手掛かりが
存在しないことに起因する。この空間方向性の問題は、大拡大率の場合や、小デ
ィスプレイモニターを採用する携帯システムの場合に悪化する。例えば、(Goodr
ichその他による）一つの研究によると、閉回路テレビの使用者にとって、１５
．４８倍の拡大は、１００倍を意味している。即ち、拡大率１５倍においては、
１５インチのモニターは８．５インチ×１１．５インチの標準ページの約１％し
か表示できず、ユーザーにとって殆どのコンピュータワークを実質的に不可能に
する。この問題は、個々のグラフィック要素が瞬間的な視野よりも大きく拡大さ
れ得る，又はユーザーが認識することなしに該ユーザーの瞬間的な視野を外れた
場所に生成され得るマイクロソフトウインドウズやインターネットワールドワイ
ドウエブ等の画像集約処理体制の出現によってさらに悪化されている。
【０００６】 前記従来のアプローチにおける第２の基本的な問題は、前記仮想ページを探索
する為の種々の制御方法の全てが、扱いにくく、複雑で、且つ遅いというダイナ
ミックコントロールに関する問題である。これは、探索方法が、「スクリーン上
でカーソルを移動させる為にジョイスティックを使用し、カーソルがスクリーン
のエッジに到達すると、情報におけるその方向の次の部分が表示される」という
論理に依存した間接的な方法であることに起因している。この方法に変えて、あ
るスクリーン拡大装置は、スクリーンの中央にカーソルを維持しておき、ユーザ
ーに対し、マウス又はジョイスティックを用いてカーソルを越える所望の挿入ポ
イントを指定させ、これにより、仮想ページ全体を移動させる方法を採用してい
る。しかしながら、全てのケースにおいて、ダイナミックコントロールは、直接
的でないばかりではなく、少なくとも片手の使用を必要とし、これにより、効率
性が害され、さらに、身体身障者による使用を困難又は不可能にしている。
【０００７】 これらの空間方向性及びダイナミックコントロールの問題は合わせて、Nation
al Advisory Eye Council's 1994-1998 National Plan(Legge,et al.)において
「フィールド・ナビゲーション(field navigation)」問題と記されている。前記
プランにおいて、視力低下及び回復問題に関するパネラーはこの分野を新技術に
対する将来有望な分野であると特定している。
【０００８】 現在、完成されかけている一つの有望な新技術としては、一般的にコンピュー
タが生成する３次元の環境として定義されるバーチャル・リアリティが存在する
。前記コンピュータが生成する３次元環境は、該環境を探索し、ユーザーの頭脳
を前記環境を見渡すように回転させ、且つ、コントロール周辺装置を使用して前
記環境内のシミュレートされた対象物と相互作用する能力を提供する。
【０００９】 前記バーチャル・リアリティシステムにおいて、ユーザーは、仮想対象物がユ
ーザーの物理的空間の何れの場所へも配置され得る合成環境内に置かれる("imme
rsed")。ユーザーは、ブラウン管や液晶ディスプレイ等の小さな表示源をユーザ
ーの前に存在する数フィートの大表示スクリーンとして現せる光学システムを使
用するヘッド・マウント・ディスプレイ(head-mounted display(HMD))を装着す
ることによって、仮想対象物を視認する。前記表示源（２つの目の場合における
表示源）はユーザーの頭部に固定されているから、ユーザーが視線をどこへ向け
ているかに拘わらず、ディスプレイは視認可能となる。ユーザーは、さらに、該
ユーザーが向いている方向を感知し、該情報をホストコンピュータへ送信するヘ
ッドトラッカー(head-tracker)を装着する。コンピュータは、仮想環境における
ユーザーの視線に対応したグラフィックを生成する為に、前記情報を使用する。
人間／コンピュータ・インターフェースへの斯かるアプローチは、まず、軍事シ
ミュレータ用として１９９６年にIvan Sutherlandによって着想され、その後、
１９８０年代後半にVPR ResearchによってEyephone head-mounted displayの形
態で最初に市販化された。
【００１０】 この分野の従来技術には、HMDやヘッドトラッカー等の低視力補助装置や改良
されたバーチャル・リアリティシステム及び装置を開示する広範囲に亘る関連特
許があるが、何れも本発明を具現化し又は予期させるものではない。
【００１１】 低視力補助装置の分野においては、１９８０年１０月１０日に発行された米国
特許第4,227,209号には、イメージセンサー及びディスプレイアレイを含む視覚
身障者用の電子感知式補助装置が開示されている。該電子感知式補助装置におい
て、前記ディスプレイアレイが提供する拡大の程度は、各センサーアレイ素子に
対応するディスプレイ素子の数を変更することによって調整され得るようになっ
ている。１９９４年６月２８日に発行された米国特許第5,325,132号には、大焦
点深度を要求する電子感知式補助装置用の向上されたイメージ・キャプチャー方
法が開示されている。該イメージ・キャプチャー方法において、イメージングカ
メラは、小開口を備えた不透明停止部材(opaque stop)を備えており、これによ
り、該カメラを拡大すべき対象物に向かって移動又は離間させることにより、拡
大率が調整され得るようになっている。又、１９８５年１０月２２日に発行され
た米国特許第4,548,485号には、拡大する為に原型部材の一部を取り込む光学視
認システムを横断して前記原型部材を移動させる為にＸＹステージを採用した非
電子感知式補助装置が開示されている。
【００１２】 さらに、１９９２年６月２３日に発行された米国特許第5,125,046号、及び１
９９３年１１月３０日に発行された米国特許第5,267,331号には、イメージが取
り込まれ、デジタル化され、且つ、表示される前に、コントラストを増加させる
べく該イメージが電気的に強調されるように構成された，視覚身障者用の向上さ
れたイメージング強調装置が開示されている。ヘッド・マウント・ディスプレイ
（HMD）を使用する該方法に対する改良は、１９９４年１０月２５日に発行され
た米国特許第5,359,675号に開示されている。
【００１３】 バーチャル・リアリティシステムの分野においては、Biseyに対し１９９４年
１１月２２日に発行された米国特許第5,367,614号が、ユーザーのヘッドの動き
に応じてイメージを斜視的に変化させるべく３次元ディスプレイをコントロール
する為の超音波トランシーバヘッドトラッキングシステムを使用する３次元コン
ピュータイメージディスプレイを開示している。さらに、Murakamiに対して１９
９５年８月１５日に発行された米国特許第5,442,734号は、ヘッド・マウント・
ディスプレイ，ヘッドトラッカー及びイメージ処理システムを組み込んだバーチ
ャル・リアリティシステムを開示しており、該バーチャル・リアリティシステム
においては、ユーザーの視認フィールドの中央に対応したディスプレイフィール
ドの一部をより迅速にデータ更新すべく、該ディスプレイフィールドの一部を区
別して更新する為に予測トラッキングアルゴリズム(predictive tracking algor
ithm)が使用されている。VPL Research,Inc.によって出願され（係属中の）米国
特許出願第07/621,446号には、センサーを載置したグローブ型入力装置(sensor-
laden glove input device)を使用した仮想対象物の取り込み等の手動操作の完
了に基づいて、ユーザーに対しリアルタイムのフィードバック信号を提供する為
に、空間的に広がりを有する音声合図が生成されるように構成されたバーチャル
・リアリティシステムが開示されている。
【００１４】 又、ヘッド・マウント・ディスプレイの分野においては、Wellsに対して１９
９１年３月２６日に付与された米国特許第5,003,300号が、一方の目にイメージ
を表示する為に使用されるラスター方式のヘッド・マウント・ディスプレイ(ras
ter-based head-mounted display)を開示している。さらに、Massofに対して１
９９２年９月２９日に付与された米国特許第5,151,722号は、眼鏡のように装着
される新規な折り畳み式光学構造物を特徴とするビデオ方式のヘッド・マウント
・ディスプレイ(videor-based head-mounted display)が開示されている。さら
に、Schoolmanに対し１９９４年１月２５日に付与された米国特許第5,281,957号
は、物理的環境を視る為に完全に折り畳まれ得るように、眼鏡フレームにヒンジ
連結されたヘッド・マウント・ディスプレイを組み込んだ携帯型コンピュータシ
ステムを開示している。ヘッド・マウント・ディスプレイに対し特定構成を改良
する追加の特許は広範囲に亘って存在する。しかしながら、画質，明度，コント
ラスト及び快適さが高レベルに維持される限り、本発明の効果を奏する為に用い
られるヘッド・マウント・ディスプレイの特定構成は重要では無い。
【００１５】 ここ数年の間、ヘッド・マウント・ディスプレイを視覚身障者に対する向上画
像の問題に適用する為になされた幾つかの試みが存在する。斯かる努力の一つは
、Johns Hopkins Universityによって開発され且つVisions(Minneapolis,MN)に
よって商品化された低視力向上システム(Low-Vision Enhancement System (ＬＶ
ＥＳ))をもたらした。該ＬＶＥＳ装置は、カメラ及び画像処理システムが一体化
されたヘッド・マウント・ディスプレイを組み込んでいる。前記カメラは、ユー
ザーの前方に何が位置しているかに関するイメージを生成し、前記画像処理シス
テムは、該イメージを拡大し且つコントラスト強調等の向上機能を実行する。前
記ＬＥＶＳは、ある視覚身障者に対しリアルワールドの対象物の拡大されたイメ
ージを提供し得るが、本発明と対比すると幾つかの欠点を有している。第１に、
前記ＬＥＶＳは、コンピュータデータ探索用のハンドフリー手段を提供する為の
ヘッドトラッカーを組み込んでいない。さらに、該ＬＥＶＳは、双眼鏡又は望遠
鏡の使用者が経験するものにまさに類似した振動問題(jitter problem)を有して
いる。即ち、ユーザーの視線の何れの振動もイメージと同じ関数によって拡大さ
れ、これによって、ユーザーに対して提供される画像が不安定な状態で現れる。
【００１６】 Peliに対して１９９２年４月２８日に付与された米国特許第５，１０９，２８
２号は、連続したグレイトーンのイメージを高解像度のハーフトーンイメージに
変換する為の新規な画像処理方法を開示しており、ヘッド・マウント・ディスプ
レイを介して視覚身障者に対する拡大画像の提示を可能とする方法の実施の形態
を説明している。この方法に使用する装置において、画像は、視覚身障者用の閉
回路テレビでは通常行われているように、印刷されたテキストを横断するように
手動でスキャンされる一般的なカメラによって生成されている。ここで使用され
ているヘッド・マウント・ディスプレイは、Reflection Technologies(Waltham,
WA)によるPrivate Eyeであり、該装置は、走査ミラーによって２次元配列の画像
に変換される１次元配列の発行ダイオードを採用している。この開示された装置
においては、印刷された対象物への低視力者のアクセス用として携帯可能なヘッ
ド・マウント・ディスプレイを使用することの利益が説明されている。該利益に
は、従来の携帯型テレビモニターと比較した場合における，HMDにより得られる
より大きな視野、高画質な視覚コントラスト、低重量、及び物理的な小サイズが
含まれている。しかしながら、コンピュータが生成したイメージを視認する為の
コンピュータとの接続に関しては開示も示唆もしておらず、又、ヘッド・マウン
ト・ディスプレイの組込についても開示も示唆もしていない。
【００１７】 トラッカー分野においては、種々のトラッキング方法及びトラッキング装置が
着想され且つ製造されている。Traversに対して１９９４年１２月１２日に付与
された米国特許第5,373,857号には、角度に関する変位信号，及び地球の磁界に
関するヘッド位置の変位信号を生成する為に、ヘッドセットに配設された磁気セ
ンサーを備えたバーチャル・リアリティシステムにおける横方向への首振り角度
の自由度を向上させることを目的としたヘッドトラッキングシステムが開示され
ている。より洗練されたシステムは、Massachusetts Institute of Technology(
MIT)によって開発されている。該システムにおいては、加速時計等の，より高速
の作動センサにおける偏差を補正する為に類似の磁気センサが使用されている。
該作動センサ及び磁気センサは共に、一つのパッケージ内において超高速反応及
び高精度を提供している。特許出願中であると思われる前記ＭＩＴのシステムは
、さらに、自由度に関するピッチ及び回転角の変化を検知する為の作動センサを
組み込んでいる。該作動センサは、液体容量チルトセンサ(liquid-filled capac
itive tilt sensor)等の低速の絶対センサ(absolute sensor)を使用することに
よって、補正され得る。
【００１８】 さらに、トラッカー(tracker)分野においては、通常のディスプレイモニタの
視認部分内においてカーソル又はマウスポインタの位置をコントロールすること
を目的として、頭部の動きを検出するように構成された多くの装置が開示されて
いる。
【００１９】 Heynauに対して１９８０年６月２４日に付与された米国特許第4,209,255号に
は、パイロット用のシステムが開示されている。該システムは、パイロットの頭
部に装着された発光ダイオードを備え、且つ、受光ダイオードは、ディスプレイ
内におけるパイロットの目的地点を決定すべく、前記発行ダイオードから出射さ
れる先細エネルギーフィールドを検知し得るように該ディスプレイ上に配置され
ている。
【００２０】 Kingに対して１９８６年１月２８日に付与された米国特許第4,565,999号には
、ユーザーの頭部近傍に配設された一連の水銀スイッチを備えた身体障害者によ
るビデオ又はコンピュータ入力用方向制御装置が開示されている。該方向制御装
置において、ユーザーの頭部の動きは検知され、カーソル制御信号に変換される
。該装置は、さらに、マウスボタンをクリックすることによって生成されると同
様のさらなる制御信号を提供する，ユーザーの口によって起動される圧力スイッ
チを備えている。
【００２１】 Davisionに対して１９８７年７月２７日に付与された米国特許第4,682,159号
には、ユーザーによって装着されるヘッドセットと、該ヘッドセット内のレジー
バによって受信される音波を発生する為の固定型超音波送信器とを備えた，コン
ピュータディスプレイ上でのカーソル制御装置及びカーソル制御方法が開示され
ている。前記音波は、カーソルコントロール用の位置変化データに変換されるフ
ェーズ変化を検出する為に比較される。
【００２２】 Panに対して１９９４年１１月２２日に付与された米国特許第5,367,315号には
、ユーザーが目又は頭を移動させることによってディスプレイ上でカーソルの動
きをコントロールすることを可能とするように、頭又は目の位置をリアルタイム
で示す赤外光型システムが開示されている。該装置は、標準型のマウスと競合す
ることを意図されており、それ故、現在使用可能なソフトウエア及びハードウエ
アの使用を可能とするように構成されている。
【００２３】 前記従来技術の例示は、頭部の動きを介してコンピュータカーソルをコントロ
ールする技術が盛んに開発されていることを示すものではあるが、ヘッド・マウ
ント・ディスプレイ内の頭部によって制御されるカーソルの移動方法を開示する
ものでも示唆するものでもない。さらに、これらの従来技術は、カーソルはディ
スプレイ内の特定位置に固定され、一方、該カーソルの代わりに表示データが移
動するように構成された本発明の方法又は構成を開示するものでも示唆するもの
でもない。これまで、頭部の動きに応じたヘッド・マウント・ディスプレイ内で
の表示データの動きは、３次元コンピュータシミュレーション内での感覚(senso
ry immersion)をシミュレートするように構成されたバーチャル・リアリティシ
ステム内でのみ使用されてきた。斯かる方法においては、カーソル又はマウスポ
インタ（矢印）は、頭部の動きによってコントロールされるのではなく、別体の
手動入力装置を介して要求された時に生成される。
【００２４】 バーチャル・リアリティは、魅力的な外形のハードウエア，特化されたソフト
ウエア，及び長期間に亘る一体化サイクル(long integrated cycle)を含み、発
展途上の技術であるが、ヘッドトラッカーとＨＭＤとの間の制御ループを閉塞す
るという概念は、専用に構成された仮想環境の代わりに、任意のコンピュータデ
ータを視ることを擬似的に実行し得る。通常の視力を有する人にとって、これは
、ユーザーの回りに備えられる多くの仮想コンピュータデスクトップを得るとい
う効果を奏する。このような多くの仮想コンピュータデスクトップの提供は、マ
ッキントッシュやウインドウズ等の一般的なコンピュータプラットフォーム上で
現在提供されている少数の仮想デスクトップを使用して得られるよりも、より大
量の画像データへの同時アクセスを可能とする。視覚身障者にとって、ヘッドト
ラックＨＭＤディスプレイ技術は、拡大された仮想ページへ有利にアクセルさせ
る為に使用され得る。それ故、約１００万人にものぼる新しいユーザーによる生
産的なコンピュータの使用が可能となる。
【００２５】 （発明の概要） 本発明の目的は、視覚身障者用の新規で且つ直接的なディスプレイインターフ
ェースを提供する為に、本来、軍事フライトシミュレーション用に開発されたバ
ーチャル・リアリティディスプレイ技術にスクリーン拡大技術を組み合わせるこ
とによって、フィールドナビゲーション問題を解決することである。
【００２６】 本発明の他の目的は、ユーザーの頭の方向を、拡大されたバーチャルページの
表示部分へ直接的に連結させることによって、ユーザーが適切な空間方向性を自
動的に得ることを可能とする，直接的なコンピュータディスプレイインターフェ
ースを提供することである。
【００２７】 本発明のさらに他の目的は、ユーザーの頭の動きを、コンピュータが生成した
バーチャルページを横切るカーソル又はマウスポインターの動きに直接的に連結
させることによって、ユーザーが前記バーチャルページ上でカーソル又はマウス
ポインターを自動的に制御することを可能とし、これにより、ユーザーの手を他
の仕事の為にフリーな状態とし得る，直接的なコンピュータディスプレイインタ
ーフェースを提供することである。
【００２８】 さらに、本発明の他の目的は、ユーザーの視線を一のアプリケーションウイン
ドウの仮想位置から他のアプリケーションウインドウの仮想位置へ変化させるこ
とによって、現在、使用されている複数のコンピュータアプリケーションからの
ハンドフリーな瞬間選択を提供することである。
【００２９】 本発明のさらに他の目的は、網膜における障害等の視覚障害者によるバーチャ
ルコンピュータディスプレイの使用を補助する為に、ユーザーの視野内のユーザ
ー選択可能な位置にカーソルを提供し且つ維持し得るコンピュータ実行方法を提
供することである。
【００３０】 本発明のさらに他の目的は、ユーザーの直接的視野の外方での出来事の発生方
向を認識させる空間音響警報を介して、ユーザーに直接的視野の外方で出来事が
発生したことを知らせ、これにより、該ユーザーにその出来事の方向へ視線を向
けさせるコンピュータ実行方法を提供することである。
【００３１】 本発明のさらに他の目的は、空間圧縮に関する新技術を用いて、固定モニター
を使用した場合に可能な拡大率よりも大きな拡大率での効果的な操作を提供し得
るコンピュータ実行方法を提供することである。
【００３２】 本発明のさらに他の目的は、ユーザーの直接視野を示す生データへのリスポン
スを向上させる為に、補整，閾値，予測及び振動比較のアルゴリズムのアプリケ
ーションを介して、ユーザーの視野を横断するイメージのスクロール制御を向上
させ得るコンピュータ実行方法を提供することである。
【００３３】 本発明のさらに他の目的は、性能を悪化させること無く、利便性，軽量性，低
コスト，省電力及び携帯操作性を向上させた，視覚障害者用のコンピュータディ
スプレイを提供することである。
【００３４】 本発明のさらに他の目的は、拡張視野上で、視覚障害者がリアルタイムに拡大
映像イメージ視ることを可能とし、これにより、ヘッドマウント閉回路テレビよ
りもジッターを減少させ得る手段を提供することである。
【００３５】 本発明に従ったバーチャル・コンピュータ・モニター（“virtual computer m
onitor”(ＶＣＭ))は、基本的に、ユーザーが装着するヘッド・マウント・ディ
スプレイ手段と、ユーザーが装着するヘッド方向検知手段と、これらの手段をホ
ストコンピュータに接続し、これにより、ユーザーのヘッド方向データが任意の
ソフトウエアアプリケーションの出力イメージの何れの部分を表示させるかを決
定する為に処理されるようにするソフトウエア手段とを備えている。ヘッド回転
角度を、拡大されたイメージ上をスクロールする範囲に合致させることによって
、イメージは空間内に固定状態で現れるように作成される。ユーザーによって実
際に視認されている仮想イメージの一部の特定位置は、ユーザーが視ている方向
に依存する。ユーザーが右方向を視ると、ユーザーによって視認される仮想イメ
ージの部分は、該ユーザーによってそれまで視認されていた仮想イメージの部分
の右へ移行する。同様に、ユーザーが上方を視ると、ユーザーによって視認され
る仮想イメージの部分は、該ユーザーによってそれまで視認されていた仮想イメ
ージの部分の上方へ移行する。ＶＣＭ装置の始動に基づいて、ユーザーは、ユー
ザーの視線と仮想ページの中心との間の補整を誘発する。その後、ユーザーは、
ヘッドを左，右，上及び下へ回転させ、これにより、方向に応じてページをスク
ロールさせることができる。全体的な印象は、新聞紙上を通常の人がスキャンす
るのに類似している。
【００３６】 視覚障害者用のコンピュータインターフェース装置へ適用された場合、ＶＣＭ
ソフトウエアは、各ユーザーが不必要に直接視野を狭めること無く、適切な視覚
変換を達成することを可能とする拡大調整機能を提供する。該ソフトウエアは、
さらに、目的位置を向くように回転することによって、カーソルが仮想ページ上
の何れの場所への配置され得るように、ヘッド移動に拘わらず、通常はＨＭＤ物
理的視野の中心に保持されるカーソルを提供する。追加の調整は、ＨＭＤ装置の
物理的視野内の任意位置への前記固定カーソル位置の設定を可能とし、これによ
り、視野に使用できない部分を有するユーザーが、中心の代わりに好ましい焦点
位置を選択することが可能となる。さらに、ソフトウエアの選択によって、全体
フィールド内に直接視野の外形ラインを強調ブラックボックスで表示した状態で
、仮想ページ全体の縮小イメージを示すオーバービューディスプレイを提供する
。
【００３７】 さらなる重要な特徴は、ジョイスティック又はマウス等のコントローラ周辺機
器を使用して、リアルタイムにカーソル位置を一時的に調整する機能である。該
特徴は、小区画内でカーソルを移動させるためにコントローラを使用しつつ、物
理的ディスプレイ上の仮想ページの位置をフリーズする為に、ヘッドトラッキン
グシステムを一時的にロックすることによって、フィールド内におけるカーソル
の微調整を可能とする。
【００３８】 さらなる重要な特徴は、物理的ディスプレイ内の固定点におけるカーソルに加
えて、イメージ構成要素を表示する機能であり、これにより、メニュー又はアイ
コンを常にユーザーの直接視野内に位置させたままで、イメージを横断するスク
ロールが可能となる。
【００３９】 他の重要な特徴は、イメージ偏向，閾値，補整，予測及び不完全なヘッド方向
検知が表示イメージをリアルスペース内に固定状態で表示させない「揺れ“swim
ming”を減少させるための新規な振動圧縮技術を使用することによって、ヘッド
動作と新しい方向のイメージ表示との間のラグを減少させる能力である。
【００４０】 さらなる重要な特徴は、ディスプレイされたイメージが、ヘッドを回転させる
よりも速い速度で物理的フィールドを横断してスクロールされる空間フィールド
圧縮を使用して、極端に大きな倍率でイメージを拡大させる能力である。これは
、限定されたヘッド動作の人々の使用を可能とし、且つ、イメージの端部を視る
為に要求される完全なヘッド回転に代わり得るレベルまでの拡大を可能とする。
【００４１】 さらなる重要特徴は、現実の対象物がディスプレイの１又はそれ以上の端部回
りに視認されるから、ユーザーに対し物理的世界との関連性を維持することを許
容することによって、シミュレーション病を回避する部分的なＨＭＤを使用する
ことにある。
【００４２】 以上のように、本発明の効果は、覚身障者用の新規で且つ直接的なディスプレ
イインターフェースを提供する為に、本来、軍事フライトシミュレーション用に
開発されたバーチャル・リアリティディスプレイ技術にスクリーン拡大技術を組
み合わせることによって、フィールドナビゲーション問題を解決することである
。
【００４３】 本発明の他の効果は、ユーザーのヘッド方向を拡大された仮想ページの表示部
分に直接的に連結させることによって、ユーザーに対し適切な空間指向の達成を
自動的に許容させる直接的なコンピュータディスプレイインターフェースを提供
することである。
【００４４】 本発明のさらなる効果は、ユーザーのヘッド動作をコンピュータが生成した仮
想ページ上を横断するカーソルの動作に直接的に連結させることによって、ユー
ザーに対し、該仮想ページ上でのカーソル又はマウスポインターの自動的な位置
制御を可能ならしめ、これにより、ユーザーの手を他の仕事の為に自由にするこ
とができる直接的なコンピュータディスプレイインターフェースを提供すること
である。
【００４５】 本発明の他の効果は、ユーザーの視線を一のアプリケーションウインドウの仮
想位置から他のアプリケーションウインドウの仮想位置へ変化させることによっ
て、現在、使用されている複数のコンピュータアプリケーションからのハンドフ
リーな瞬間選択を提供することである。
【００４６】 本発明のさらに他の効果は、網膜における障害等の視覚障害者によるバーチャ
ルコンピュータディスプレイの使用を補助する為に、ユーザーの視野内のユーザ
ー選択可能な位置にカーソルを提供し且つ維持し得るコンピュータ実行方法を提
供することである。
【００４７】 本発明のさらに他の効果は、ユーザーの直接的視野の外方での出来事の発生方
向を認識させる空間音響警報を介して、ユーザーに直接的視野の外方で出来事が
発生したことを知らせ、これにより、該ユーザーにその出来事の方向へ視線を向
けさせることである。
【００４８】 本発明のさらに他の効果は、空間圧縮に関する新技術を用いて、固定モニター
を使用した場合に可能な拡大率よりも大きな拡大率での効果的な操作を提供し得
ることである。
【００４９】 本発明のさらに他の効果は、ユーザーの直接視野を示す生データへのリスポン
スを向上させる為に、補整，閾値，予測及び振動比較のアルゴリズムのアプリケ
ーションを介して、ユーザーの視野を横断するイメージのスクロール制御を向上
させたことである。
【００５０】 本発明のさらに他の効果は、性能を悪化させること無く、利便性，軽量性，低
コスト，省電力及び携帯操作性を向上させた，視覚障害者用のコンピュータディ
スプレイを提供することである。
【００５１】 本発明のさらに他の効果は、拡張視野上で、視覚障害者がリアルタイムに拡大
映像イメージ視ることを可能とし、これにより、ヘッドマウント閉回路テレビよ
りもジッターを減少させ得る手段を提供することである。
【００５２】 本発明の前記及び他の目的，特徴及び効果は、添付の図面を参照しつつ、下記
の好ましい実施の形態の説明を参酌することによって、より明確に理解され得る
であろう。しかしながら、実施の形態及び図面は、本発明を説明することのみを
目的とするものであって、本発明に対する限定と解釈されるべきものではない。
【００５３】 （発明を実施するための最良の形態） 本発明に係るシステム１０は、キーボード１４及び入力コントローラ１６等の
一般的な手段を介してユーザーによって制御され、且つ、出力がディスプレイモ
ニタ１８上に表示されるコンピュータ１２に関する。図１を参照すると、発明１
０は、特に、視認されるべきデータの全量が仮想ディスプレイ２０として形成さ
れるアプリケーションにおける使用を意図されている。前記仮想ディスプレイ２
０は、ディスプレイモニタ１８によって提供される瞬間的なビューポート２２内
において一般的に視認され得るデータ量よりも十分に大きくされている。斯かる
アプリケーションの例としては、瞬間的なビューポート２２内で視覚的に処理さ
れ得るデータ量が単一のアプリケーションウインドウからなる状態で、仮想ディ
スプレイ２０が複数のアプリケーションウインドウを操作する大型のコンピュー
タデスクトップを構成する場合が挙げられる。斯かるアプリケーションの他の例
としては、仮想ディスプレイ２０が、スクリーン拡大装置２４によって視覚身障
者用に拡大されたワードプロセッシング文書からなる場合が挙げられる。前記ス
クリーン拡大装置は、ソフトウエア又はソフトウエアとハードウエアとの組み合
わせから構成され得る。何れの場合であっても、キーボード１４又は入力コント
ローラ１６等の一般的なコントロール手段は、従来技術の項で説明したように、
ある瞬間に仮想ディスプレイ２０のどの部分をディスプレイモニタ１８内に表示
するかを選択する為に使用され得る。
【００５４】 図２に示すように、本発明１０の最も基本的な形態は、ディスプレイモニタを
ヘッド・マウント・ディスプレイ２６として実行することによって得られる。前
記ヘッド・マウント・ディスプレイにおいて、ＬＣＤ等の小表示源はユーザーの
目に近接して保持され、且つ、コンピュータディスプレイがユーザーの前方の数
フィートの空間内で浮動状態で表示されるようにレンズシステムを用いてユーザ
ーの目に光学的に連結される。斯かる装置は、当業界において周知であり、Gene
ral Reality Company(San Jose,CA)，Optics１(Westlake,CA)及びVirtual I/O(S
eatle,WA)を含む会社から市販されている。前記ヘッド・マウント・ディスプレ
イに加えて、ユーザーは、ユーザーのヘッドの向きの変化を検知し、且つ、該変
化をコンピュータ１２へ送信し、これにより、仮想ディスプレイ１２を横断する
ように直接的なビューポート２２をスクロールさせることを認識させるヘッドト
ラッカー２８を装着している。前記ヘッドトラッカーも当業界において周知であ
り、General Reality Compant，Precision Navigation(Mountain View,CA)及びP
olhemus Inc.(Colchester,VT)を含む組織から市販されている。
【００５５】 本発明によって具現化された基本的な操作概念に影響を与えること無く、種々
の異なるヘッド・マウント・ディスプレイ２６及びヘッドトラッカー２８が使用
可能であり、多くの適切な装置が市販されている。ヘッド・マウント・ディスプ
レイ２６にとっては、ユーザーの視覚フィールドの重要部分が指定されることを
保証するに十分な視野を提供すると、及び、小さなテキストが処理され得るよう
に、十分な数の画素又はピクセルを提供することが重要である。利便性のある最
小範囲は、視野が２０度であり、一つの目当たりの画素数が１０万個であるが、
これらの数値は主観的なものである。さらに、視覚的に認識されるコントラスト
は、視覚身障者の為に大きく（１００対１又はそれ以上）なければならない。カ
ラーディスプレイが使用できず、その代わりに白黒ユニットが使用されなければ
ならない視覚身障者にとっては、最大コントラストは大変重要になり得る。一般
的に、視野，画素数，コントラスト，サイズ／重量及びコストのパラメータや、
ヘッド・マウント・ディスプレイの属する技術分野において周知の明確な画像距
離等の他の要因は、種々のユーザーに対して最も意味ある妥協と、若しくは、片
目のユーザーに対する最適な性能とを考慮して決定され得る。
【００５６】 本発明１０の最も簡単な形態は、General Reality Companyから市販されてい
るCyberTrack（登録商標）モデルのヘッドトラッカーを使用している。該モデル
は、直接ビューポート２２を仮想ディスプレイ２０の中から選択する方法を制御
する為に、標準のマイクロソフト・マウスドライバー３０によって直接読み取ら
れる，マウスの出力信号を真似た出力信号を発生する。マウスを真似ることので
きない異なるヘッドトラッカー２８を使用した他の形態においては、ヘッドトラ
ッカー２８の出力を解釈し且つ該出力をマウス出力に真似た“Mickeys”へ変換
する為の追加のソフトウエアモジュールを使用したり、若しくは、追加のソフト
ウエアモジュールが、介挿されたマウスドライバーを使わずに直接ビューポート
２２のスクロールを直接コントロールする為にヘッドトラッカー２８の出力と適
合するように構成することもできる。このように、ヘッドトラッカー出力を直接
ビューポートスクロール用に変換する際には種々の手段が適用できる。従って、
本実施の形態において適用された方法及び構成は、本発明を限定するものと解釈
されるべきではない。
【００５７】 図３を参照すると、本発明１０は、ユーザーに対して、仮想ディスプレイ１０
はユーザーの前方空間に固定されており、且つ、所望の方向を視る為に彼又は彼
女が頭を単に回転させることによってヘッド・マウント・ディスプレイ２６によ
って提供されている直接ビューポート２２を仮想ディスプレイ２０内の何れの場
所へも移動させることができるということを認識させている。ユーザーの神経シ
ステムは、該ユーザーに対して連続的に方向感覚を与える固有受容(propriocept
ive)のフィードバックを発生し、且つ、特定方向を視る為に回転することは、該
特定方向にある対象物を視る為の自然な直接的手段であるから、本発明１０は、
フィールドナビゲーション問題における空間方向性及びダイナミックコントロー
ルの双方を有効に解決する。
【００５８】 図４には、直接ビューポートの詳細が示されている。より詳しくは、図４には
マウスポインターが示されている。マウスポインター３２は、一般的に、直接ビ
ューポート２２がスクロールされると、該ビューポート２２の中心に維持され、
且つ、ユーザーによる特定データアイテムの選択を許容する為に使用される。斯
かる選択は、入力コントローラ１６のボタンをクリックすることによって実行さ
れ得る。本発明１０において、マウスポインター２２は、直接ビューポート２２
がスクロールされる間、該ビューポート２２内における非中心位置３４に維持さ
れるように調整され得る。該非中心位置３４は、視覚的ブロック３６によって示
されるように、ユーザーの視野の中心部が閉ざされる斑紋変質(macular degener
ation)等の視覚身障を受けている場合に使用され得る。視覚的にブロックされて
いる場合の他のアプローチは、ユーザーの視線に対してヘッド・マウント・ディ
スプレイ２６を物理的に回転させ、これにより、直接ビューポート２２が該ユー
ザーの視線に位置合わせされるのではなく、オフセット位置３８へ移動させられ
るようにすることである。
【００５９】 これらの形態の何れの場合においても、直接ビューポート２２の単純なスクロ
ールに対する改良は、ヘッドトラッカー２８及び入力コントローラ１６によって
生成されるデータの組み合わせを使用したスクロールを可能とするハードウエア
又はソフトウエアロジックにより達成され得る。即ち、マウスが使用されていな
い場合、ヘッドトラッカー２８の出力は、仮想ディスプレイ２０に対して直接ビ
ューポート２２を大きく移動させる為に使用される。頭部の動きを利用して、直
接ビューポート２２が一旦ほぼ所望位置に移動されると、その後、入力コントロ
ーラ１６が直接ビューポートの細かな移動の実行の為に使用される。入力コント
ローラ１６は、当業界において知られているように、データアイテムを選択する
為、若しくは、複数のデータアイテムをクリック及びドラッグする為に使用され
得る。マウスを用いた斯かる動作が行われる際にはいつも、マウスポインター３
２が直接ビューポート内の選択位置に維持された状態で、該直接ビューポートが
適当な方向に移動される。好ましい形態において、入力装置１６及びヘッドトラ
ッカー２８は同時に操作され、これにより、選択ボックスの一端部を指定する為
にマウスボタンを押し下げ、その後、該選択ボックスの他端部に到達する迄、頭
部をスクロールさせ、そして、選択されたボックス内の全てのアイテムを選択す
る為にマウスボタンを解除するような「クリック及びドラッグ」機能が可能とな
る。
【００６０】 本発明は、他の実施の形態も考えられているが、選択的な２つの典型的な実施
の形態において実行される。第１の実施の形態は、Apple Macintosh Duo 230 ポ
ータブルコンピュータ１２，General Reality CyberEye Model 100 ヘッド・マ
ウント・ディスプレイ２６，及びBarkeley Systems(Berkely,CA)によるInLarge
スクリーン拡大ソフトウエアを使用して構成されている。この形態において、ヘ
ッドトラッカー２８は、Murata Manufacturing Company(Kyoto,Japan,and US lo
cation atSmyrna,GA)によるGyrostar ENC-05E ソリッドステートジャイロスコー
プを利用した実験的な装置を使用した。一方は頭部のピッチ（仰角）用として、
他方は揺れ（方向）角用として、２つのジャイロスコープを使用した。該ジャイ
ロスコープの各々の出力は、センサーの角速度に直接的に比例した作動電圧を形
成する。これらの出力は、キーボード，マウス及び他の入力コントロール装置か
らの入力を受信する為に全てのマッキントッシュコンピュータに使用されている
Apple Desktop Bus(ADS)Portを介して、マッキントッシュコンピュータ１２へ送
信される。ジャイロスコープは角速度を表す作動データを出力するから、該デー
タは、単純なアナログ／デジタル変換器を使用してデジタル化され、その後、単
に比例倍率を掛けるだけで画像スクロール用として直接使用される。前記比例倍
率は、画像に対する拡大率に依存しており、ユーザーによって認識される空間内
の固定位置に拡大画像を維持する役割を果たす。磁力計等の絶対方向性トラッカ
ーの場合には、データは、まず、時間に対するデータの数学関数を用いて、方向
性から方向変化率へ変換されなければならない。
【００６１】 ジャイロスコープ及び加速時計等の作動ヘッドトラッキング装置を利用した前
記第１の実施の形態及び最も考えられ得る他の形態においては、安定した基準が
存在しないため、種々のトラッキングエラーが含まれる。該エラーには、ドリフ
ト，温度不安定，ヒステリシス，クロスアクシスカップリング(cross-axis coup
ling)及び限定されたダイナミックレンジが含まれる。
【００６２】 ドリフトは、本来の頭部の動きが無い場合において生じる画像内の遅い動きに
よって検出され、トラッキングデータ出力に低周波除去フィルターを組み込むこ
とによって補正される。該低周波除去フィルターはトラッキング分野において周
知であり、認識される性能に悪影響を及ぼすことはない。
【００６３】 温度不安定は、トラッカーが使用されている周囲温度の急激な変化に引き続き
生じるドリフトによって検出される。斯かる温度不安定のある部分は、D.C.ドリ
フトを無視することによって、低周波除去フィルターのように作用するソフトウ
エアを用いて除去できるが、他方、前記温度不安定の他の部分はハードウエアの
温度が安定するまでの待ち時間を要求する。前記ソフトウエアは、ヘッドトラッ
カー２８からD.C.信号要素を無視し、仮想イメージ内のシフトの大きさをコント
ロールする為に、倍率がユーザー頭部の回転量の関数として、システムに入力さ
れることを許容する。
【００６４】 ヒステリシスは、一方向への動きと該一方向とは１８０度異なる反対方向への
動きとの間における検知差によって検出される。該問題は、トラッカーの移動方
向に応じて異なる倍率を使用することによって解決され得る。該倍率の大きさは
、ヒステリシスの大きさ及び方向に基づいて、経験的に決定され得る。
【００６５】 クロスアクシスカップリングは、頭部の全ての動きが一方の軸に沿っている場
合において、表示されたイメージが前記一方の軸と直交する他方の軸に沿って少
し移動することによって、検出される。該問題も、低周波除去フィルターと同様
に作用するソフトウエアによってコントロールされ、且つ、前記他方の軸の移動
割合が経験値によって決定された閾値より大きい場合には、該他方の軸を無視す
ることによってより良くコントロールされる。
【００６６】 最後に、限定されたダイナミックレンジは、イメージが空間内に固定されてい
るという認識を維持した状態で、頭部が回転され得る範囲に対する上端及び下端
の限界点をもたらす。下端限界点は、センサー装置の電気ノイズフロアによって
表面的に決定されるが、低周波除去フィルターの追加によって大きくなる。上端
の限界点は、センサーによって測定可能な最大変化率によって決定される。この
変化率がユーザーの頭部の迅速な回転を遙かに越える場合、頭部が回転すると、
イメージは同方向に移動する。この最後の問題はまだ解決されていないが、絶対
位置トラッカーを使用することによって、将来的には解決され得るであろう。
【００６７】 この第１の実施の形態においては、Apple Macintosh ADS portは、多重の入力
コントロール周辺装置の同時操作を許容する。その為、入力コントローラ１６又
は種々の第２コントローラの何れもが、イメージ内の探索を実行する為にヘッド
トラッカー２８との共働下に使用され得る。前記コントローラとしては、ジョイ
スティック，トラックボール，ライトペン，単純なスイッチ又はADS portと互換
性のある種々のコントロール装置が例示される。
【００６８】 本発明の第２の実施の形態は、Intel/Microsoftパーソナルコンピュータ用と
して実行されている。この実施の形態において、コンピュータ１２は 90Mhz Pen
tium ホストコンピュータであり、ヘッド・マウント・ディスプレイ２６はCyber
Eye Model 100であり、ヘッドトラッカー２８はPrecision Navigation, Inc.(Mo
untain View,CA)からModel TCM-2として又はGeneral Reality Company(San Jose
,CA)からCyberTrack（登録商標）として市販されている３軸磁力計である。本実
施の形態は、スクリーン拡大装置としてOptelec(Westford,CA)製のLP-DOSを使用
することによって機能的になり得るが、本システムの他の構成要素を変更するこ
となく他の市販されているスクリーン拡大装置を使用することができる。
【００６９】 本実施の形態２において、使用したヘッドトラッカー２８は絶対方向センサで
あるが、他のヘッドトラッカー装置も使用し得る。本実施の形態においてヘッド
トラッカー２８として使用されている前記３軸磁力計は、コンピュータ１２のシ
リアルポートに接続されており、絶対位置から、Inlet/Microsoft パーソナルコ
ンピュータと互換性のあるマウス“Mickeys”の形態の差動データへの内部変換
を行う。この為、ヘッドトラッカー２８の出力は、ユーザーによって認識される
固定イメージを維持する為に要求される倍率を設定するメニューを提供する標準
的なMicrosoft マウスドライバによって直接読み込まれ得るようになっている。
【００７０】 この実施の形態２においては、Inlet/Microsoft パーソナルコンピュータはAp
ple ADSバスを利用しておらず、その代わりに、ヘッドトラッカー２８及び入力
コントローラー１６等のコントロール装置に接続する為のRS-232シリアル接続ポ
ートを使用している。標準のMicrosoftマウスドライバーは、特定の瞬間におい
て、一つのシリアルポート（それ故、一つのコントロール装置）のみにしか接続
できないから、前記構成はシステムを複雑にする。本発明の適切な操作は、ヘッ
ドトラッカー２８及び入力コントローラー１６ヘッド・マウント・ディスプレイ
の同時のリスポンスを要求するから、ハードウエア又はソフトウエアは２つのコ
ントロール装置に同時にアクセスすることが必要となる。
【００７１】 入力コントローラー１６として使用される一般的なコンピュータマウスの最も
普通のケースにおいて、前記要求は、少なくとも下記５つの方法の一つを利用し
て成し遂げられる。第１に、オリジナルのBorlandマウス等のデュアルポート性
能を有する既存のマウスドライバーを使用することによって解決される。第２に
、標準のMicrosoft マウスドライバー用のソースコードが、２つのシリアルポー
トへの同時アクセスを可能とするように変更され得ることによって解決され得る
。第３に、P.I.Engineering(Williamston,MI)による“WhyMouse”等の装置を使
用することによって解決され得る。該装置は、２マウスタイプのポインティング
装置を一つのシリアルポートへ接続させ為の“Ｙ”アダプターとして機能する。
WhyMouseに対する内部回路は、実行順位に基づいて、一の装置又は他の装置のデ
ータをシリアルポートへ自動的に送信する。即ち、データを送信する第１装置が
入力コントロールを得る。第４としては、カスタムソリューションが新規なソフ
トウエアドライバーの形態で実行されることで解決され、第５としては、カスタ
ムソリューションがIndustrial Computer Source(San Diego,CA)製のRocketport
32カード等のインテリジェント・インプット／アウトプットコントローラー上で
実行されるソフトウエアモジュール形態で実行されることで解決され得る。斯か
るインテリジェント・インプット／アウトプットコントローラーは、コンピュー
タ１２内の拡張スロットに挿入される回路基板の形態で数社から市販されている
。前記回路基板は、コンピュータ内部バスへのトラッキングデータの送信前に、
シリアルポートからの入力を操作し得るオンボードプロセッサに加えて、２又は
それ以上のシリアルポートを含んでいる。
【００７２】 デュアル入力装置の操作に関するアプローチの中で、好ましい実施の形態は第
４のアプローチを利用している。これは、カスタムソフトウエアモジュールが、
アプリケーション最適化及びユーザー利便性の観点から大きな自由度を提供しつ
つ、ハードウエアのコスト高を抑えるからである。例えば、カスタムソフトウエ
アモジュールによって、ユーザーが、発明者による好ましい方法に従って何れの
入力コントローラ１６及びヘッドトラッカー２８が同時に操作し得るか、若しく
は、WhyMouse Productに備えられるような実行順位に従って何れに入力コントロ
ーラ１６及びヘッドトラッカー２８が操作されるかを選択することが可能となる
。さらに、カスタムソフトウエアによる解決方法は、入力コントローラ１６とし
て種々の異なる装置の任意的な使用を可能とする。例えば、あるユーザーは、マ
ウスよりも手動のジョイスティックを好むであろうし、一方、身体障害者は、マ
ウスクリッキング機能を起動させる為のパフ及びサック(puff and suck)スイッ
チを備えた指で操作されるジョイスティック又は頭部の操作される方向スイッチ
を要求するかもしれない。
【００７３】 図５には、本発明１０の改良形態のブロック図が示されている。図５において
、コンピュータ１２，キーボード１４，入力コントローラ１６，スクリーン拡大
装置２４，ヘッド・マウント・ディスプレイ２６及びヘッドトラッカー２８は既
に説明されたものと同じ符号を用いて描かれており、一方、マイクロソフトウイ
ンドウズ等の標準的なコンピュータオペレーティングシステムは符号４２を用い
て概念的に描かれ、Microsoft Ward等の典型的なコンピュータアプリケーション
は符号４４を用い、VGA graphics board等の典型的なディスプレイドライバは符
号４６を用いて描かれている。入力コントローラ１６の入力とヘッドトラッカー
２８とを接続させる為に使用されるソフトウエアモジュールは、コントロールド
ライバ４８として描かれている。入力リマッパー５０(input remapper)と呼ばれ
る付随的なソフトウエアモジュールは、入力コントローラ１６とコントロールド
ライバ４８との間に介挿された状態で描かれている。前記入力リマッパー５０は
、入力コントローラ１６として使用され得る種々の付随的な装置の入力を、マウ
スミッキー等の単一の利便なデータ形態に変換するプログラムである。入力コン
トローラ１６として使用されるジョイスティックの出力が前記入力リマッパーに
よってリマップされ、これにより、例えば、ジョイスティックのトリガを押圧す
ると、マウスクリック信号がコントロールドライバ４８へ送信され、又、左方向
へジョイスティックを移動させると、マウスを左方向へスライドさせたと類似す
る信号が送信されるようになっている。コントロールドライバ４８及び入力リマ
ッパー５０内において入力コントロールソフトウエアを別体しておくことによっ
て、本発明１０における入力コントローラ１６の新しいタイプと共働するに好ま
しいように前記入力リマッパーを変更するだけで、コントロールドライバ４８は
標準規格品を使用し得る。前記入力リマッパー５０は、CD-ROM パーソナルコン
ピュータゲームにおいては一般的なものであり、ユーザーは、ゲームプレイをコ
ントロールする装置を、マウス，ジョイスティック，キーボード又は他の装置か
ら適宜選択することができる。
【００７４】 図５は、さらに、ヘッドトラッカー２８とコントロールドライバ４８との間に
介挿されたソフトウエアモジュールであるトラッキングフォーマッター(trackin
g formatter)５２の使用を示している。前記トラッキングフォーマッター５２は
、前記ヘッドトラッカー２８内に備えられる特定の検知手段に依存した種々の機
能を実行する。これらの機能は、３つのカテゴリーに分別される。
【００７５】 トラッキングフォーマッター５２によって実行される機能の第１カテゴリーは
、ヘッドトラッカー２８から発信されるデータストリームを、コントロールドラ
イバ４８が読み取り可能なフォーマットに変換することである。Intel/Microsof
tに適用した実施の形態において使用されているようなマウスエミュレーション(
mouse emulation)を備えた磁力計型トラッカーの場合には、前記変換は必要とさ
れない。マウスエミュレーションを有さない磁力計の場合には、トラッキング出
力は発信方位及び仰角数値からなり、この際、トラッキングフォーマッター５２
は現在のサンプルから以前の位置のサンプルを引き、その後、位置変化を示すエ
ミュレーションされたマウス出力を備えたコントロールドライバ４８を提供すべ
く、マウスミッキーに対するフォーマットの変換がなされる。Apple Macintosh
に適用した実施の形態において使用したようなデジタル形態に変換された出力を
有するジャイロスコープ型のトラッカーの場合には、ヘッドトラッカー２８の出
力は、角速度の数値を示す。この際、角速度サンプルには、単純に、各サンプル
が位置変化を引き起こす時間が積算される。なお、各位置変化は、その後、トラ
ッキングフォーマッター５２によってマウスミッキーへ変換される。
【００７６】 トラッキングフォーマッター５２によって実行される機能の第２カテゴリーは
、本発明１０のApple Machintoshの実施の形態において説明したような、エラー
補正機能である。Apple Machintoshの実施の形態においては、トラッキングフォ
ーマッター５２は、低周波除去を行い、方向依存倍率を適用し、且つ、他方の直
交軸の移動速度が閾値を越える場合には一方軸の移動を無視する。高電圧製品に
おいて高性能が望まれる場合には、これらの機能は、エーシック(application-s
pecific IC)又はフィールド単位でプログラム可能なゲートアレイ(field-progra
mmable gate array)等のハードウエア内で実行され得る。
【００７７】 トラッキングフォーマッター５２によって実行される機能の第３カテゴリーは
、方向予測等の拡張機能からなる。この機能は、頭部を回転させた瞬間と、新し
いユーザーの視線を表示する為に、表示されたイメージが更新された瞬間との間
のパイプラインディレイに対するものである。前記ディレイは、トラッカー検知
時間，トラッカーからコンピュータへの通信時間，トラッカーフォーマッターの
処理時間，コントロールドライバ処理時間，オペレーティングシステム及びアプ
リケーションソフトウエアの処理時間，スクリーン拡大装置処理時間及びディス
プレイ更新時間の総和として計算され得る。一般的な実施の形態において、前記
ディレイの総和は厄介であり、ユーザーの視線変化に対する表示の「揺れ(swimm
ing)」の認識を引き起こす。前記揺れは、ユーザーの内部における固有の合図と
、外部における視覚的合図との間の不一致を引き起こし、場合によっては、バー
チャル・リアリティ分野においてはシミュレーション病として知られている方向
感覚の欠如や吐き気を引き起こす。斯かる問題を回避する為に、頭の現在位置と
速度とが、So and Griffin又はAzuma and Bishopの方法に従って、将来位置を予
測する為に使用され得る。そうすることによって、予測将来位置が、現在の現実
位置に代えて、処理パイプラインへの入力として使用され、これにより、ユーザ
ーの内部認識と外部視覚認識との間の不一致が減少される。
【００７８】 図５は、さらに、本発明１０へコントロール命令及びアプリケーションデータ
を入力する為の手段として、音声認識システムの使用を描いている。該音声認識
システムは、ヘッド・マウント・ディスプレイの上又は中等のユーザーの口の近
傍に配設されたマイクロフォン５４からなる。前記マイクロフォンの出力は、音
声データをデジタル化するコンピュータの音声入力ポートへ入力される。デジタ
ルデータは、その後、ハードウエア，ソフトウエア又はこれらの組み合わせによ
って構成される音声認識装置５６によって分析される。Intel/Microsoft用の音
声認識装置の典型的な形態としては、Creative Laboratories (Milpitas,CA)製
のSoundBlaster audio board上で実行されるDragon Systems(Newton,MA)製のDra
gon Dictate softwareによって構成され得る。音声認識装置５６の特定形態に拘
わらず、前記出力は、Ｏ.Ｓ.の状態に依存して命令又は特定データの何れかとし
て解釈されるデジタルデータの形態でＯ．Ｓ．へ送信される。
【００７９】 音声認識装置５６を組み込むことによって、ユーザーの視線に対する仮想ディ
スプレイの位置決め，倍率の選択，トラッキング制御，システム操作モードの選
択及び個々のコンピュータアプリケーションの制御等を目的とした利便性向上コ
マンドの使用が可能となる。例えば、位置コマンドは、仮想ディスプレイ２０内
においてユーザーの直接ビューポート２２を中央へ位置させる為の“center me
”や、直接ビューポート２２を右上方へ移動させる為の“top right”等が含ま
れる。拡大コマンドには、スクリーン拡大装置２４を拡大率８対１にセットする
“Mag.8”等の絶対コマンドや、倍率を一時的に２倍にする為の“zoom double”
等の相対コマンドが含まれる。トラッキング制御コマンドには、テキストを横方
向へスクロールすることを簡略化しつつ、上下方向のトラッキング機能への反応
をロックアウトする為の“lock vertical”が含まれる。システム操作モードの
選択には、拡大装置のテキストスクロールモードへ入る為の“scroll text”等
の，スクレーン拡大装置２４を操作する為の完全なコマンドセットが含まれる。
最後に、アプリケーション制御コマンドは、libraries等のアプリケーションに
依存し且つ市販されているものとすることができ、“page down”“font:Times
”及び“edit:cut”等のマウスで操作可能な機能の殆ど又は全てが含まれる。
【００８０】 図５は、付随的に使用される空間音声発生装置５８を描いている。該空間音声
発生装置５８は、ユーザーの直接ビューポート２２の外方においてコンピュータ
内に発生している出来事に関し、ユーザーへ警報をならす為に使用される。これ
は、一対のラウドスピーカ又はステレオヘッドフォン６０を介してそれぞれの耳
に少し異なる信号を与えることによって、成し遂げられる。例えば、近い方の耳
の信号と遠い方の耳の信号との間で若干の信号遅延を行い、これにより、方向を
シミュレートし得るように計算された違いや、遠い方の耳の信号内において高周
波コンテントを若干下げることによる違いなど、当業界において周知の空間処理
が使用され得る。前記空間音声発生装置５８は、標準構成において音声空間ソフ
トウエアを備えた，Creative Laboratories(Milpitas,CA)製のSoundBlaster aud
io board等の市販されているものを使用し得る。空間音声発生装置５８への入力
は、エラーや他のメッセージウインドウを示す“beeps”等の単純な警報を発す
る操作システム４２、若しくは、合成音声メッセージ又は文書からスピーチへの
変換等のより高等メッセージを発する単純なアプリケーションソフトウエア４４
又はスクリーン拡大装置２４によって提供される。
【００８１】 図５に記載されているように、コントロールドライバ４８は、頭の回転角度当
たりの仮想ディスプレイ２０上を移動する直接ビューポート２２の移動量を調整
する為に使用されるスケーリング機能を備えている。多くの態様では、該スケー
リング機能は、仮想ディスプレイ２０が空間内に固定状態で表示され、一方、直
接ビューポートが該仮想ディスプレイ２０内をスキャンするように、設定される
。しかしながら、高倍率の場合には、仮想ディスプレイを固定するのは問題とな
り得る。なぜなら、ユーザーの頭を仮想ディスプレイの一端から他端までスキャ
ンするのに快適な程度よりも大きく回転する必要があるからである。斯かる状況
下において、本発明１０は、ユーザーに対して、頭の回転角度毎の仮想ディスプ
レイ２０上での直接ビューポート２２の移動量を増加させる異なるスケーリング
機能を与えるように構成されている。これによって、ユーザーが仮想ディスプレ
イを視ると、該仮想ディスプレイは、ユーザーのスキャン方向とは正反対の方向
へ直接ビューポート２２を横切るように移動して表示される。即ち、直接ビュー
ポート２２及び仮想ディスプレイ２０の双方が互いに反対方向へ移動することに
なるから、スクローリング時間が速くなり、ユーザーは、小さな頭の回転で、仮
想ディスプレイ２０の一端から他端まで直接ビューポート２２を移動させること
が可能となる。本発明を利用するこのアプローチは、空間フィールド圧縮とみな
される。
【００８２】 さらに、図５には、スナックバック(snaps-back)機能がコントロールドライバ
ー４８に備えられ得ることを示している。この際、入力コントローラ１６からの
データは、仮想ディスプレイ２０内でのマウスポインタ３２及び直接ビューポー
ト２２の一時的な再位置決めを行う為にのみ使用される。より詳しくは、前記機
能は、入力コントローラ１６の活動を記録し、該活動は、表示されたイメージを
コントロールする為に使用される。一旦、斯かる活動が中断されると、記録され
た活動の反対が操作システム４２へ送信され、直接ビューポート２２内に表示さ
れるイメージを、入力コントローラ１６が無い場合に視られるイメージにスナッ
プバックする。このスナップバック機能によって、仮想ディスプレイ２０は空間
内の固定位置に維持され、入力コントローラ１６の使用によって一時的に変更さ
れるが、その後、入力コントローラ１６の次に使用までは元に戻される。
【００８３】 さらに、図５に示されるように、視覚身障者の使用又はその他のアプリケーシ
ョンにとって好ましい任意的な機能を組み込む為に、スクリーン拡大装置２４又
は処理パイプラインの何れかの部位によって、任意的なイメージ処理が実行され
得る。例えば、市販されているスクリーン拡大装置の標準形態は、白地上に黒テ
キストを表示する代わりに、黒地上にテキストが表示され得るコントラストリバ
ーサルを備えている。これは、あるユーザーに対するテキスト読解能力を向上さ
せる。他の有利な構成は、エッジを強調する為にイメージがデジタル的に強調さ
れる画像強調であり、これはあるユーザーに対する解像能力を向上させる。
【００８４】 最後に、図５には、スクリーン拡大装置２４が１対１に設定若しくは完全に除
去されており、且つ、Matrox(Dorval,QC,Canada)製のMGA Millenium等の仮想デ
スクトップ機能を提供するディスプレイドライバ４６が使用されている場合、本
発明１０は、仮想デスクトップの大領域へアクセスする目的で、非視覚身障者に
よって同一方法で使用されることができることを示している。これにより、多く
の個々のコンピュータアプリケーションの同時使用等のタスクが向上される。
【００８５】 本発明１０のさらなる実施の形態が、図６に示されている。該実施の形態にお
いては、本発明がリアルタイムの画像拡大に適用されている。本実施の形態は、
前記実施の形態の何れかに、ビデオカメラ６２及びビデオフレームグラバーボー
ド６４が追加されたものである。前記ビデオカメラ６２は、固定位置に装着され
、拡大されるべきイメージ６６へ向けられている。
【００８６】 前記拡大されるべきイメージ６６としては、本の中の文字等の拡大されるべき
小対象物や、教室での講義に使用される黒板等の離間した対象物等が例示される
。前記ビデオグラバーボード６４によって取り込まれた映像の各フレームは、前
記ビデオフレームグラバーボード６４を利用可能に備えたソフトウエアによるア
プリケーション出力データとして、システムバスに出力され、スクリーン拡大装
置２４へ送信される。該スクリーン拡大装置２４は画像拡大を行い、ユーザーに
よって視認され得るように、拡大されるべきイメージ６６が占有する角度領域よ
りも大きな角度領域を占有する該拡大されるべきイメージ６６の仮想ディスプレ
イ２０を生成する。その後、ユーザーの頭を回転させることによって該仮想ディ
スプレイ２０内の所望位置に配置される直接ビューポート２２を得る為に、前述
したように、ヘッド・マウント・ディスプレイ２６，ヘッドトラッカー２８，ト
ラッキングフォーマッター５２及びコントロールドライバー４８が使用される。
本実施の形態においては、ユーザーの頭又は手を移動させ、直接ビューポート２
２内に表示され得る画像だけを取り込む代わりに、カメラが拡大されるべき全て
の画像を常に取り込むように構成された視覚障害者用の高速閉回路テレビを用い
るように改良されている。このように構成することによって、空間認識は維持さ
れるが、ユーザーを混乱させるようなカメラのジッターは拡大されない。さらに
、斯かる閉回路テレビループ内にコンピュータを介挿することによって、所望の
イメージが、後での再表示，編集又はプリントアウトの為に一回のキーストロー
クで即座にメモリーに記憶される。
【００８７】 理解されるように、本発明は、テキスト処理及び仮想マップ探索等の広範囲に
亘るアプリケーションにおいて有益である。本発明は、コンピュータシステムの
ユーザー制御性を向上させる為の直接的な頭の動きを使ったコンピュータコント
ロールコマンド全体を教示するものである。即ち、頭の動作をトラッキングする
ことによって、ユーザーの視野を調整することに加えて、我々は、頭の動きを特
定し、且つ、直接的な方法で該頭の動きを「特定の区別コマンド(special discr
ete command)」に対応させている。図７は、有益な頭の動きを示している。双方
向矢印１７０は前方及び後方への頭の動作を示しており、斯かる動作は表示拡大
率の増加及び減少に対応している。又、双方向矢印１７２は頭の縦振り動作を示
しており、該動作は画像のスクロールをコントロールする。例えば、ユーザーが
下方又は上方への頭の振りを開始すると、これにより、それぞれ、下方又は上方
へのスクロールが開始される。他の双方向矢印１７４は横方向への頭の動きを示
している。該横方向への動きは、カメラを回す動作(panning action)を引き起こ
す。残りの双方向矢印１７６は、活発に又は激しく頭を振る動作を示しており、
これによって、画像消去又はスクリーンクリーニングが引き起こされる。
【００８８】 図８を参照すると、ユーザーの頭の動きに応じた一つのコンピュータ実行方法
２００が示されている。第１ステップ２０２において、ユーザーの頭の動きがモ
ニターされる。即ち、ステップ２０２では、ユーザーに、少なくとも視覚フィー
ドバックを提供するヘッド・マウント・ディスプレイ装置が与えられる。コンピ
ュータシステムは、ディスプレイ装置等を介して、ユーザーの頭の動きをトラッ
キングする能力を有している。斯かるコンピュータシステムの詳細は既に詳述し
た通りである。好ましい実施の形態においては、ユーザーの頭の動きが、特定目
的の為に連続方法が考慮された態様で、モニターされていることに注意されたい
。次のステップ２０４においては、コンピュータシステムが、特定の区別コマン
ドを受信しているか否かを判断することによって、検知された頭の動きに反応す
る。受信されていない場合、制御は、頭の位置に応じてユーザーの視野が維持さ
れるように仮想空間を更新するステップ２０６へ移行する。
【００８９】 ステップ２０４では、コンピュータシステムは、特定の区別コマンドを、単に
ユーザーの視野を調整することのみを意図された他の頭の動きから区別しなけれ
ばならない。これは、種々の機構によって、ステップ２０６でなされる。特定の
形態においては、ある頭の動きが、対応する特定区別コマンドに対して割り当て
られる（マップされる）。こららの頭の動きは、可能であれば、ヘッド・マウン
ト・ディスプレイを使用する為にユーザーが行う動きとは区別されるべきである
。他の形態において、第１の頭の動き（例えば、極端に激しい振れ等）は、コン
ピュータシステムに対して、次の頭の動きが特定区別コマンドであることを示し
得る。このように、第１の頭の動きは、引き続き起こる頭の動きが特定の区別コ
マンドであるという、コントロール信号のような作用を果たす。
【００９０】 何れにせよ、ステップ２０４において、特定区別コマンドが生じていることを
コンピュータシステムが確認すると、ステップ２０８ヘ移行する。ステップ２０
８では、コンピュータシステムは、前記特定区別コマンドと関連する機能を、検
知された頭の動きに適用する。これらの機能は、頭の位置及び全ての関連条件（
速度，加速度等）に基づき得る。これらの機能は、分離された部分が異なるリス
ポンス特性を有するように、分割し得る。該機能が適用されると、これに従って
ユーザーのディスプレイが調整されるステップ２１０へ移行する。該ディスプレ
イが調整されると、頭の動きをモニタするステップ２０２へ戻る。
【００９１】 図９〜図１１を参照しつつ、数種の頭の動きの例と、それぞれに対応する特定
区別コマンドとについて説明する。図９は、本発明の一実施の形態に従った分離
された拡大指示の実行を示している。（図８におけるステップ２０４の特定ケー
スである）ステップ１２０４において、コンピュータシステムは、拡大を生じさ
せることを意図された前方への頭の動きを検知する。これにより、拡大機能が実
行される（図９におけるステップ２０８の特定ケースである）ステップ１２０８
へ移行する。この機能は、ユーザの頭位置の変化，ユーザの頭の移動速度及び／
又はユーザの頭の移動加速度の関数として、拡大率を増加させる。拡大率が調整
されると、図８におけるステップ２０２へ戻る。図１０におけるステップ２２０
４及びステップ２２０８は、図９におけると同様の処理を実行する。但し、図１
０の方法は、逆向きの頭の動き及び該動きに対応した拡大率の減少に適用される
点が相違している。図１１は、仮想ディスプレイ空間内のスクロール方法を示し
ている。ステップ３２０４において、コンピュータシステムは、特定の区別スク
ロールコマンドに対応するものとして定義された上方又は下方への何れかの動き
を検出する。これに応じて、ステップ３２０８においては、コンピュータシステ
ムは、仮想ディスプレイ空間に亘ってスクロールする。そして、終了後、ステッ
プ２０２へ戻る。
【００９２】 これまで説明してきた特定の区別コマンドは、スクロール，ページダウン，消
去等の周知のコマンドであった。しかしながら、ヘッド・マウント・ディスプレ
イを介したコンピュータシステムのローバスト制御は、斯かる演算環境に特有の
コマンドを要求するものと考えられる。特に、ユーザーが、表示された視野とユ
ーザーの頭の位置との間の通信を調整し得るような機構とすべきである。例えば
、ユーザーが表示視野を「リセット」したいとする。この場合、ユーザーは、最
初、真っ直ぐ前方の第１表示を視て、その後、第２視野内を調査又は作用させる
為に頭３０，４０を移動させる。頭をこのようにコックさせて第２視野を調査す
ることは、特定の場合には有益であるかもしれない。しかしながら、多くの場合
には、真っ直ぐ前方を視たままの状態でユーザーが第２視野を認識できるように
、視野をリセットすることが好ましい。本発明は、このリセット構成を達成する
全ての機構を包含している。
【００９３】 図１２を参照しつつ、表示された視野とユーザーの頭位置との間の一致を制御
する方法３００について説明する。第１ステップ３０２において、ユーザーは、
通信リセットコマンドを起動させる。このリセットが起動されると、ユーザーは
、該ユーザーの頭が第１ヘッド位置に位置する状態で、第１視野を視る。コンピ
ュータは、この情報を保存する。次のステップ３０４では、ユーザーは、第２視
野を認識する為に、第２位置へ頭を移動させる。ステップ３０６では、ユーザー
はリセットコマンドを閉じる。最後のステップ３０８では、コンピュータシステ
ムは、第２視野がユーザーの第１ヘッド位置において認識されるように、仮想空
間マッピングをリセットする。
【００９４】 リセットコマンドは、特定の頭の動きによって起動され且つ終了される点に注
意されたい。これに代えて、視野を、「弱い力(weak force)」でユーザーのヘッ
ド位置に関連づけることも可能である。例えば、該「弱い力」がある速度閾値を
越えて操作されると、表示された視野はユーザーのヘッド位置に従って変化する
。これとは反対に、頭の動作がある速度閾値より遅い場合には、ユーザーのヘッ
ド位置が変化しても視野は一定に維持される。
【００９５】 前記説明はヘッド・マウント・ディスプレイ装置に焦点を当てたものである。
しかしながら、本発明は、直接的な身体の動き又は自然な動作を介して、コンピ
ュータシステムを制御する為に操作可能な種々の携帯可能な装置をも考慮に入れ
るものである。例えば、リスト装着ディスプレイは、手，手首及び腕の動きによ
って制御され得る。これは、パン，ズーム及びスクロール等の機能が前記リスト
装着ディスプレイによって制御されることを可能とする。リスト装着ディスプレ
イは、該ディスプレイを介してユーザーによって制御される中央コンピュータシ
ステムに、離間して接続され得る。これに代えて、リスト装着ディスプレイ自身
が、直接的なジェスチャーによってコントロールされるコンピュータシステムを
収容するように構成することもできる。さらに、ジェスチャートラッキング装置
は装着可能なディスプレイ装置とは別体とすることもでき、これにより、ユーザ
ーは、所望により、ジェスチャートラッキング装置を取り付け且つ操作すること
が可能とされる。さらに、ユーザーに、直接的な身体のジェスチャーを介してコ
ンピュータシステムを制御する複数の装着可能なコントロール装置を備えること
も可能である。
【００９６】 直接的な身体ジェスチャー及び自然な動作によってコンピュータシステムを制
御する為に操作可能とされた他の携帯装置としては、Personal Digital Assista
nt(PDA)がある。図１３は、本発明の一実施の形態に従った，直接的な身体ジェ
スチャーによって操作可能なＰＤＡ１３００を示す図である。該ＰＤＡ１３００
は、ディスプレイ１３０２を備えており、極めて小さく，軽量で且つ比較的安価
である。
【００９７】 リスト装着ディスプレイに関し、我々は、直接的な方法における「特定区別コ
マンド」に対応する特定のハンドジェスチャーを定義している。図１３は、有益
なハンドジェスチャーの例を示している。双方向矢印１３０４はｚ軸に沿った前
方又は後方への手の動きを示しており、それぞれディスプレイ拡大の増加又は減
少に対応している。双方向矢印１３０６は、対象物のスクロールをコントロール
するｘ軸に沿った手の上下方向への動きを示している。例えば、ユーザーが下方
又は上方へ手を回転させると、それぞれ、下方又は上方へのスクロールが開始さ
れる。他の双方向矢印１３０８は、ｙ軸に沿った横方向への手の動きを示してい
る。この横方向への手の動きは、パン動作(panning action)を引き起こす。残り
の双方向矢印１３１０は、活発に又は激しく手を振る動作を示しており、これに
よって、画像消去又はスクリーンクリーニングが引き起こされる。
【００９８】 次に、図１４を参照しつつ、ユーザーの手の動きに従った一つのコンピュータ
実行方法４００について説明する。第１ステップ１４０２は、ユーザーの手の動
きをモニターしている。即ち、ステップ１４０２では、ユーザーに、少なくとも
視覚フィードバックを提供する手装着型ディスプレイ装置が与えられる。コンピ
ュータシステムは、ディスプレイ装置，ジャイロスコープ及び／又は加速時計等
を介して、ユーザーの手の動きをトラッキングする能力を有している。斯かるコ
ンピュータシステムの詳細は既に詳述した通りである。好ましい実施の形態にお
いては、ユーザーの手の動きが、特定目的の為に連続方法が考慮された態様で、
モニターされることに注意されたい。次のステップ１４０４においては、コンピ
ュータシステムが、特定の区別コマンドを受信しているか否かを判断することに
よって、検知された手の動きに反応する。受信されていない場合、制御は、手の
位置に応じてユーザーの視野が維持されるように仮想空間を更新するステップ２
０６へ移行する。
【００９９】 ステップ１４０４では、コンピュータシステムは、特定の区別コマンドを、ユ
ーザーの手の回りによって引き起こされる小さな自然の動き等の，単にユーザー
の視野を調整することを意図されていない単なる他の手の動きから区別しなけれ
ばならない。これは、種々の機構によって、ステップ１４０６でなされる。特定
の形態においては、ある手の動きが、対応する特定区別コマンドに対してマップ
される。特定の例示については、前記図１３及び下記図１４，図１５を参照され
たい。これらの手の動きは、好ましくは、手装着型ディスプレイを使用する為に
ユーザーが行うべき動きとは区別されるべきである。他の形態において、第１の
手の動き（例えば、極端に激しい振れ等）は、コンピュータシステムに対して、
次の手の動きが特定区別コマンドであることを示し得る。このように、第１の手
の動きは、引き続き起こる手の動きが特定の区別コマンドであるという、コント
ロール信号のような作用を果たす。
【０１００】 何れにせよ、ステップ１４０４において、特定区別コマンドが生じていること
をコンピュータシステムが確認すると、ステップ１４０８ヘ移行する。ステップ
１４０８では、コンピュータシステムは、前記特定区別コマンドと関連する機能
を、検知された手の動きに適用する。これらの機能は、手の位置及び全ての関連
条件（速度，加速度等）に基づき得る。これらの機能は、分離された部分が異な
るリスポンス特性を有するように、分割し得る。該機能が適用されると、これに
従ってユーザーのディスプレイが調整されるステップ１４１０へ移行する。該デ
ィスプレイが調整されると、手の動きをモニタするステップ１４０２へ戻る。
【０１０１】 図１５及び図１６を参照しつつ、数種の手の動きの例と、それぞれに対応する
特定区別コマンドとについて説明する。図１５は、本発明の一実施の形態に従っ
た区別された拡大指示の実行を示している。（図１４におけるステップ１４０４
の特定ケースである）ステップ１５０４において、コンピュータシステムは、拡
大を生じさせることを意図された前方への手の動きを検知する。これにより、拡
大機能が実行される（図１４におけるステップ１４０８の特定ケースである）ス
テップ１５０８へ移行する。この機能は、ユーザの手位置の変化，ユーザの手の
移動速度及び／又はユーザの手の移動加速度の関数として、拡大率を増加させる
。拡大率が調整されると、図１４におけるステップ１４０２へ戻る。図１６にお
けるステップ１６０４及びステップ１６０８は、図１５におけると同様の処理を
実行する。但し、図１６の方法は、逆向きの手の動き及び該動きに対応した拡大
率の減少に適用される点が相違している。そして、終了後、ステップ１４０２へ
戻る。
【０１０２】 数種の好ましい実施の形態に関し、本発明を説明してきたが、本発明の技術的
範囲内に属する多くの他の構成、置換構成及び均等構成が存在する。本発明の方
法及び装置を実行する多くの置換方法が存在する。従って、特許請求の範囲に記
載された発明は、本発明の要旨及び技術的範囲内に属する種々の他の構成、置換
構成及び均等構成を含むものとして解釈されるべきである。
【図面の簡単な説明】
【図１】 図１は、一般的なスクリーン拡大装置の操作を示した概念図である。
【図２】 図２は、仮想コンピュータモニタのハードウエア構成要素のブロック図である
。
【図３】 図３は、仮想コンピュータモニタの操作，及び頭部の回転を介した直接的なフ
ィールド探索を示した概念図である。
【図４】 図４は、仮想コンピュータモニタディスプレイを構成する為の種々の手段を示
す図であり、図４(A)〜(D)は、それぞれ、通常状態、ユーザーの網膜のブロック
部分を組み合わせ状態の通常状態、中心ではない所望の網膜焦点位置へマウスポ
インタ／カーソルをオフセットさせた状態、及びディスプレイフィールド全体を
前記中心ではない所望の網膜中心位置へ位置合わせさせるようにオフセットさせ
た状態を示している。
【図５】 図５は、仮想コンピュータモニタの好ましい実施の形態におけるデータ処理の
論理フローダイアグラムである。
【図６】 図６は、リアルタイム画像の拡大に適用した本発明を示す模式図である。
【図７】 図７は、特定の区別機能に対応する数種の直接的ヘッドジェスチャーを示す模
式図である。
【図８】 図８は、ヘッド・マウント・ディスプレイ装置を備えたコンピュータを制御す
る方法を実行した一つのコンピュータのフローチャートである。
【図９】 図９は、拡大コマンドの実行方法を示すフローチャートである。
【図１０】 図１０は、縮小コマンドの実行方法を示すフローチャートである。
【図１１】 図１１は、仮想ディスプレイ空間内のスクロール方法を示すフローチャートで
ある。
【図１２】 図１２は、ディスプレイフィールドとユーザーのヘッド位置との間の一致を制
御する方法を示すフローチャートである。
【図１３】 図１３は、直接的な身体ジェスチャーによって操作可能なＰＤＡを示す図であ
る。
【図１４】 図１４は、ユーザーの手の動きに従ったコンピュータ実行方法を示すフローチ
ャートである。
【図１５】 図１５は、ユーザーの手の動きに従った拡大指示の実行方法を示すフローチャ
ートである。
【図１６】 図１６は、ユーザーの手の動きに従った縮小指示の実行方法を示すフローチャ
ートである。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＪＰ (72)発明者 フラック，ジェームズ アメリカ合衆国 カリフォルニア 94022 ロスアルトスヒルズ アルタレーンサウ ス 13070 Ｆターム(参考） 5B087 AA09 AB02 BC11 BC16 CC02 CC24 CC33 DE07 DG02 5E501 AA04 AC37 BA05 CA04 CC02 CC08 CC11 EB05 FA02 FA45 FB04 FB43

Claims (29)

    【特許請求の範囲】
  1. 【請求項１】 ディスプレイスクリーンが接続されたコンピュータシステムの
    制御及び操作に関し、ユーザーを補助する為のコンピュータ実行方法であって、 ユーザーに対し、前記コンピュータシステムに接続された携帯型ディスプレイ
    装置を装着する工程と、 前記コンピュータシステムによって生成され且つディスプレイ上に表示するこ
    とを意図されたビジュアルフィードバックを、前記携帯型ディスプレイ装置によ
    る表示に適した仮想デスクトップへ割り当てる工程と、 ユーザーが前記仮想デスクトップの特定部分を視認できるように、前記携帯型
    ディスプレイ装置内に該仮想デスクトップの特定部分を継続的に表示する工程と
    、 ユーザーによって起動される区別される動作ジェスチャーを含む前記携帯型デ
    ィスプレイ装置の動作をトラッキングする工程と、 特定の区別コマンドの要求に対応した動作がトラッキングされると、該特定の
    区別コマンドを実行する工程とを備えたことを特徴とするコンピュータ実行方法
    。
  2. 【請求項２】 前記検知された動作は前方への移動であり、且つ、前記特定の
    区別コマンドは前記仮想デスクトップの表示された特定部分の倍率を増加させる
    コマンドであることを特徴とする請求項１に記載のコンピュータ実行方法。
  3. 【請求項３】 前記倍率の増加割合は、前記検知された動作の加速度関数に基
    づくことを特徴とする請求項２に記載のコンピュータ実行方法。
  4. 【請求項４】 前記検知された動作は後方への移動であり、且つ、前記特定の
    区別コマンドは前記仮想デスクトップの表示された特定部分の倍率を減少させる
    コマンドであることを特徴とする請求項１に記載のコンピュータ実行方法。
  5. 【請求項５】 前記倍率の減少割合は、前記検知された動作の加速度関数に基
    づくことを特徴とする請求項４に記載のコンピュータ実行方法。
  6. 【請求項６】 前記仮想デスクトップはテキスト文書を表示するものであるこ
    とを特徴とする請求項１に記載のコンピュータ実行方法。
  7. 【請求項７】 前記検知された動作は激しい下方への移動であり、且つ、前記
    特定の区別コマンドはディスプレイを下方へスクロールするコマンドであること
    を特徴とする請求項６に記載のコンピュータ実行方法。
  8. 【請求項８】 前記検知された動作は回転移動であり、且つ、前記特定の区別
    コマンドはページダウン機能であることを特徴とする請求項６に記載のコンピュ
    ータ実行方法。
  9. 【請求項９】 前記検知された動作は前記携帯型装置の振動動作であり、且つ
    、前記特定の区別コマンドは消去コマンドであることを特徴とする請求項６に記
    載のコンピュータ実行方法。
  10. 【請求項１０】 前記携帯型ディスプレイ装置が移動していない時には中立表
    示状態が表示され、且つ、前記特定の区別コマンドには現在の視野を前記中立状
    態へセットする工程が備えられていることを特徴とする請求項１に記載のコンピ
    ュータ実行方法。
  11. 【請求項１１】 コンピュータシステムの制御及び操作に関し、視覚身障者を
    補助する為のコンピュータ実行方法であって、前記コンピュータシステムは、該
    コンピュータシステムと相互作用するフィードバックのプライマリーソースが該
    コンピュータシステムによって生成されるビジュアルフィードバックとされるよ
    うに駆動されるディスプレイ機能を有し、前記ビジュアルフィードバックは前記
    コンピュータシステムに接続されたディスプレイスクリーン上に表示することを
    意図されたものであるコンピュータ実行方法において、 前記コンピュータシステムに接続された携帯型ディスプレイ装置を前記視覚身
    障者に備える工程と、 前記コンピュータシステムによって生成され且つ前記ディスプレイスクリーン
    に表示すること意図された前記ビジュアルフィードバックを、前記携帯型ディス
    プレイ装置による表示に適した仮想デスクトップへ割り当てる工程と、 前記視覚身障者が、該視覚身障者の視線内に位置する前記仮想ディスクトップ
    の特定部分を視認できるように、前記携帯型ディスプレイ装置内に該仮想デスク
    トップの特定部分を継続的に表示する工程と、 前記視覚身障者からの入力に従って前記仮想デスクトップの倍率を調整する工
    程であって、これにより、前記携帯型装置内に表示される前記特定部分が、該携
    帯型装置が有する機能に基づく該視覚身障者からの倍率調整入力に依存して仮想
    デスクトップの大部分又は小部分を占めるように、前記特定部分が調整される工
    程と、 前記視覚身障者の視線の変化をトラッキングする工程と、 表示された前記特定部分が、視覚身障者の視線内に位置する仮想デスクトップ
    の部分と一致して維持さえるように、前記携帯型ディスプレイ装置を更新する工
    程とを含むことを特徴とするコンピュータ実行方法。
  12. 【請求項１２】 前記仮想デスクトップの特定部分内に、前記視覚身障者の視
    線と固定関係にあるポインターを表示する工程を、さらに備えていることを特徴
    とする請求項１１に記載のコンピュータ実行方法。
  13. 【請求項１３】 前記ポインターと前記視覚身障者の視線との固定関係を調整
    する為の要求を受信する工程と、 前記受信された要求に従って、前記固定関係を調整する工程とを、さらに含む
    ことを特徴とする請求項１２に記載のコンピュータ実行方法。
  14. 【請求項１４】 前記ポインターの操作を制御する為のポインタ制御入力装置
    であって、前記コンピュータシステムに接続された入力装置を、前記視覚身障者
    に備える工程を、さらに含むことを特徴とする請求項１２に記載のコンピュータ
    実行方法。
  15. 【請求項１５】 前記ポインタ制御入力装置を介して、セレクションボックス
    生成コマンドを受信する工程と、 前記ポインタが、前記セレクションボックス生成コマンドの受信に基づき表示
    された特定部分内に位置する第１時点において、セレクションボックスのファー
    ストカマーをアンカーリングする工程と、 前記視覚身障者の視線の動きに関連して前記セレクションボックスのサイズ変
    更を行う工程と、 前記ポインター制御入力装置を介して、セレクションボックス終了コマンドを
    受信する工程と、 前記ポインタが、前記セレクションボックス終了コマンドの受信に基づき、表
    示された前記特定部分内に位置する第２時点において、アンカーされた，前記フ
    ァーストカマーとは反対のセカンドカマーをアンカーリングすることによって、
    前記セレクションボックスを定義する工程と、 前記セレクションボックスによって束縛された前記仮想デスクトップの部分を
    選択する工程とを、さらに含むことを特徴とする請求項１４に記載のコンピュー
    タ実行方法。
  16. 【請求項１６】 前記セレクションボックス生成コマンドは前記ポインター制
    御入力装置に配設されたボタンの押圧に対応しており、前記セレクションボック
    ス終了コマンドは前記ポインター制御入力装置に配設された前記ボタンの解除に
    対応していることを特徴とする請求項１５に記載のコンピュータ実行方法。
  17. 【請求項１７】 前記視覚身障者の視線を調整することなしに、前記携帯型デ
    ィスプレイ装置内に表示された前記特定部分が変化するように、前記仮想デスク
    トップ内に表示された特定部分の方向性を再定義する工程を、さらに備えている
    ことを特徴とする請求項１１に記載のコンピュータ実行方法。
  18. 【請求項１８】 前記表示された特定部分の方向性は、前記視覚身障者による
    要求に対応して再定義されることを特徴とする請求項１７に記載のコンピュータ
    実行方法。
  19. 【請求項１９】 前記ビジュアルフィードバックを前記仮想デスクトップに割
    り当てる工程は、視覚障害者の視線を仮想デスクトップ内の第１の位置から他の
    位置へ再指向させる為に要求されるディスプレイ方向変化の総量を減少させるべ
    く空間フィールドの圧縮を実行するサブ工程を備えていることを特徴とする請求
    項１１に記載のコンピュータ実行方法。
  20. 【請求項２０】 前記コンピュータシステムによって生成され且つディスプレ
    イスクリーンに表示されることを意図された前記ビジュアルフィードバックは、
    多重アプリケーションウインドウを含んでいることを特徴とする請求項１１に記
    載のコンピュータ実行方法。
  21. 【請求項２１】 前記多重アプリケーションウインドウの第１ウインドウは、
    前記コンピュータシステム上で実行される第１アプリケーションに対応している
    ことを特徴とする請求項２０に記載のコンピュータ実行方法。
  22. 【請求項２２】 リアル空間及びリアル時間内のリアルシーンをモニターする
    工程と、 前記リアルシーンを取り込む工程と、 前記多重アプリケーションの第１ウインドウに前記リアルシーンの取り込まれ
    たイメージを表示する工程とを、さらに備えていることを特徴とする請求項２０
    に記載のコンピュータ実行方法。
  23. 【請求項２３】 前記多重アプリケーションウインドウの第２ウインドウは、
    前記コンピュータシステム上で実行されるアプリケーションプログラムであるこ
    とを特徴とする請求項２２に記載のコンピュータ実行方法。
  24. 【請求項２４】 ディスプレイスクリーンが接続されたコンピュータシステム
    の制御及び操作に関し、ユーザーを補助する為のコンピュータ実行方法であって
    、 前記コンピュータシステムに接続された携帯型ディスプレイ装置をユーザーに
    装着する工程と、 ユーザーによってなされた動き及びジェスチャーであって、且つ、前記コンピ
    ュータシステムに、該動き及びジェスチャーに対応する特定のコンピュータ操作
    命令が何であるかを示すマップが記憶されている動き及びジェスチャーをモニタ
    ーすべく操作可能とされた装着型コントロール装置をユーザーに装着する工程と
    、 前記コンピュータシステムによって生成され且つディスクスクリーン上に表示
    することを意図されたビジュアルフィードバックを、前記携帯型ディスプレイ装
    置による表示に適した仮想デスクトップ内に割り当てる工程と、 ユーザーが前記仮想デスクトップの特定部分を視認できるように、前記携帯型
    ディスプレイ装置内に仮想デスクトップの特定部分を連続的に表示する工程と、 前記装着型コントロール装置の動きをモニターする工程と、 ユーザーが前記携帯型コントロール装置を用いて実行したジェスチャーに対応
    する特定のコンピュータ操作命令が何であるかを決定する工程と、 前記特定コンピュータ操作命令を実行する工程とを含むことを特徴とするコン
    ピュータ実行方法。
  25. 【請求項２５】 前記携帯型ディスプレイ装置及び携帯型コントロール装置は
    、単一のユニットとして形成されていることを特徴とする請求項２４に記載のコ
    ンピュータ実行方法。
  26. 【請求項２６】 前記携帯型ディスプレイ装置及び携帯型コントロール装置は
    、分離されていることを特徴とする請求項２４に記載のコンピュータ実行方法。
  27. 【請求項２７】 前記コンピュータシステムは、前記携帯型ディスプレイ装置
    内に収容されていることを特徴とする請求項２４に記載のコンピュータ実行方法
    。
  28. 【請求項２８】 前記コンピュータシステムは、前記装着型コントロール装置
    内に収容されていることを特徴とする請求項２４に記載のコンピュータ実行方法
    。
  29. 【請求項２９】 前記コンピュータシステムは、前記携帯型ディスプレイ装置
    から離間されていることを特徴とする請求項２４に記載のコンピュータ実行方法
    。
JP2000571431A 1998-09-22 1999-09-22 携帯型データディスプレイの直接的コントロール方法 Pending JP2002525769A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US10143398P 1998-09-22 1998-09-22
US60/101,433 1999-09-22
PCT/US1999/021235 WO2000017848A1 (en) 1998-09-22 1999-09-22 Intuitive control of portable data displays
US09/404,051 1999-09-22
US09/404,051 US6184847B1 (en) 1998-09-22 1999-09-22 Intuitive control of portable data displays

Publications (2)

Publication Number Publication Date
JP2002525769A true JP2002525769A (ja) 2002-08-13
JP2002525769A5 JP2002525769A5 (ja) 2006-11-16

Family

ID=26798255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000571431A Pending JP2002525769A (ja) 1998-09-22 1999-09-22 携帯型データディスプレイの直接的コントロール方法

Country Status (4)

Country Link
US (2) US6184847B1 (ja)
EP (1) EP1116211A4 (ja)
JP (1) JP2002525769A (ja)
WO (1) WO2000017848A1 (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008510566A (ja) * 2004-08-23 2008-04-10 ゲームキャスター インコーポレイテッド 仮想環境を視聴および操作する装置、方法、およびシステム
JP2013014318A (ja) * 2011-06-30 2013-01-24 General Electric Co <Ge> 航空機内の合成ビジョンシステムを動作させる方法
JP2013541092A (ja) * 2010-09-20 2013-11-07 コピン コーポレーション 動きおよび音声コマンドを用いたホストアプリケーションの高度なリモートコントロール
JP2014120963A (ja) * 2012-12-18 2014-06-30 Seiko Epson Corp 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法
WO2015094191A1 (en) * 2013-12-17 2015-06-25 Intel Corporation Controlling vision correction using eye tracking and depth detection
WO2015166881A1 (ja) * 2014-04-30 2015-11-05 株式会社テレパシージャパン 可撓性支持部材を備えるウェアラブル画像表示装置
WO2015170520A1 (ja) * 2014-05-09 2015-11-12 ソニー株式会社 情報処理システムおよび情報処理方法
US9294607B2 (en) 2012-04-25 2016-03-22 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US9369760B2 (en) 2011-12-29 2016-06-14 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US9377862B2 (en) 2010-09-20 2016-06-28 Kopin Corporation Searchlight navigation using headtracker to reveal hidden or extra document data
US9507772B2 (en) 2012-04-25 2016-11-29 Kopin Corporation Instant translation system
JP2017506449A (ja) * 2014-01-25 2017-03-02 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー ヘッドマウントディスプレイにおける環境的な割り込み、及び非視野リアルエステートの利用
WO2017191701A1 (ja) * 2016-05-02 2017-11-09 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、表示制御方法及びプログラム
JP2017204294A (ja) * 2013-01-31 2017-11-16 株式会社Ｊｖｃケンウッド 入力表示装置
JP2018500616A (ja) * 2014-09-22 2018-01-11 エフエックスギア インコーポレイテッド 方向予測を利用した低レイテンシーシミュレーション装置及び方法と、そのためのコンピュータプログラム
JP2018036974A (ja) * 2016-09-02 2018-03-08 Ｍｉｓｔｌｅｔｏｅ株式会社 情報処理システム
KR20180042055A (ko) * 2016-10-17 2018-04-25 엘지전자 주식회사 Hmd 디바이스
JP2018512688A (ja) * 2015-04-10 2018-05-17 ヴァーズーム，インコーポレイテッド バーチャル・リアリティ・エクササイズ・ゲーム
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
CN109166433A (zh) * 2018-08-16 2019-01-08 医博士医教科技（深圳）有限公司 一种医疗模拟人系统
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
KR20200003236A (ko) * 2012-01-06 2020-01-08 에이치피오 애셋츠 엘엘씨 안경류 도킹 스테이션 및 전자 모듈
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
JP2021501397A (ja) * 2017-10-27 2021-01-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実システムのための仮想レチクル

Families Citing this family (272)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6127990A (en) * 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
US6184847B1 (en) 1998-09-22 2001-02-06 Vega Vista, Inc. Intuitive control of portable data displays
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US20060279542A1 (en) * 1999-02-12 2006-12-14 Vega Vista, Inc. Cellular phones and mobile devices with motion driven control
US20060061551A1 (en) * 1999-02-12 2006-03-23 Vega Vista, Inc. Motion detection and tracking system to control navigation and display of portable displays including on-chip gesture detection
US20060061550A1 (en) * 1999-02-12 2006-03-23 Sina Fateh Display size emulation system
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
GB9911270D0 (en) * 1999-05-15 1999-07-14 Hester Robert George Head control
US7079712B1 (en) * 1999-05-25 2006-07-18 Silverbrook Research Pty Ltd Method and system for providing information in a document
US7539937B2 (en) * 1999-05-25 2009-05-26 Silverbrook Research Pty Ltd Periodical distribution via a computer network
US6466198B1 (en) * 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US20020024506A1 (en) * 1999-11-09 2002-02-28 Flack James F. Motion detection and tracking system to control navigation and display of object viewers
IL133382A0 (en) * 1999-12-08 2001-04-30 Lass Yoram A mobile telephone tilt mouse
US6941382B1 (en) * 2000-02-07 2005-09-06 Raja Tuli Portable high speed internet or desktop device
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US9134760B2 (en) 2000-07-17 2015-09-15 Microsoft Technology Licensing, Llc Changing power mode based on sensors in a device
US20020105484A1 (en) * 2000-09-25 2002-08-08 Nassir Navab System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US20020109673A1 (en) * 2001-01-04 2002-08-15 Thierry Valet Method and apparatus employing angled single accelerometer sensing multi-directional motion
US6704447B2 (en) * 2001-02-21 2004-03-09 Justsystem Corporation Method and apparatus for using illumination from a display for computer vision based user interfaces and biometric authentication
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
US6826477B2 (en) * 2001-04-23 2004-11-30 Ecole Polytechnique Federale De Lausanne (Epfl) Pedestrian navigation method and apparatus operative in a dead reckoning mode
USRE47457E1 (en) * 2001-08-07 2019-06-25 Facebook, Inc. Control of display content by movement on a fixed spherical space
US7365734B2 (en) * 2002-08-06 2008-04-29 Rembrandt Ip Management, Llc Control of display content by movement on a fixed spherical space
US7190378B2 (en) * 2001-08-16 2007-03-13 Siemens Corporate Research, Inc. User interface for augmented and virtual reality systems
US7194148B2 (en) * 2001-09-07 2007-03-20 Yavitz Edward Q Technique for providing simulated vision
US20030149822A1 (en) * 2002-02-01 2003-08-07 Bryan Scott Method for integrating an intelligent docking station with a handheld personal computer
US20030172217A1 (en) * 2002-03-08 2003-09-11 Bryan Scott Method for implementing communication drivers in an intelligent docking station/handheld personal computer system
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US7203911B2 (en) * 2002-05-13 2007-04-10 Microsoft Corporation Altering a display on a viewing device based upon a user proximity to the viewing device
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US8797260B2 (en) * 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US8686939B2 (en) * 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US10086282B2 (en) * 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
JP2004109994A (ja) * 2002-08-30 2004-04-08 Olympus Corp 頭部装着型画像表示システム装置及びその画像処理方法
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
US7511710B2 (en) 2002-11-25 2009-03-31 Microsoft Corporation Three-dimensional program guide
US20040100484A1 (en) * 2002-11-25 2004-05-27 Barrett Peter T. Three-dimensional television viewing environment
US7515156B2 (en) * 2003-01-08 2009-04-07 Hrl Laboratories, Llc Method and apparatus for parallel speculative rendering of synthetic images
US9063633B2 (en) * 2006-03-30 2015-06-23 Arjuna Indraeswaran Rajasingham Virtual navigation system for virtual and real spaces
US7426329B2 (en) 2003-03-06 2008-09-16 Microsoft Corporation Systems and methods for receiving, storing, and rendering digital video, music, and pictures on a personal media player
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US9165478B2 (en) 2003-04-18 2015-10-20 International Business Machines Corporation System and method to enable blind people to have access to information printed on a physical document
US7872635B2 (en) * 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US7391888B2 (en) 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
US20070223732A1 (en) * 2003-08-27 2007-09-27 Mao Xiao D Methods and apparatuses for adjusting a visual image based on an audio signal
US11033821B2 (en) * 2003-09-02 2021-06-15 Jeffrey D. Mullen Systems and methods for location based games and employment of the same on location enabled devices
CN100458910C (zh) * 2003-10-28 2009-02-04 松下电器产业株式会社 图像显示装置及图像显示方法
US7093034B2 (en) * 2003-11-18 2006-08-15 Microsoft Corporation Method and apparatus for input management having a plurality of input provider types wherein staging area holds and allows access by external components
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US20060122983A1 (en) * 2004-12-03 2006-06-08 King Martin T Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination
US7812860B2 (en) * 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US20060041484A1 (en) * 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US20060041605A1 (en) * 2004-04-01 2006-02-23 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US20060053097A1 (en) * 2004-04-01 2006-03-09 King Martin T Searching and accessing documents on private networks for use with captures from rendered documents
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7180502B2 (en) * 2004-03-23 2007-02-20 Fujitsu Limited Handheld device with preferred motion selection
US20050212753A1 (en) * 2004-03-23 2005-09-29 Marvit David L Motion controlled remote controller
US7280096B2 (en) * 2004-03-23 2007-10-09 Fujitsu Limited Motion sensor engagement for a handheld device
US7173604B2 (en) * 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
US7365735B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Translation controlled cursor
US7365736B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Customizable gesture mappings for motion controlled handheld devices
US7180501B2 (en) * 2004-03-23 2007-02-20 Fujitsu Limited Gesture based navigation of a handheld user interface
US7176888B2 (en) * 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
US7903084B2 (en) * 2004-03-23 2011-03-08 Fujitsu Limited Selective engagement of motion input modes
US7301529B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
US7176887B2 (en) * 2004-03-23 2007-02-13 Fujitsu Limited Environmental modeling for motion controlled handheld devices
US7365737B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Non-uniform gesture precision
US7301527B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Feedback based user interface for motion controlled handheld devices
US20050212760A1 (en) 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
US7301526B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Dynamic adaptation of gestures for motion controlled handheld devices
US7176886B2 (en) * 2004-03-23 2007-02-13 Fujitsu Limited Spatial signatures
US7180500B2 (en) * 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
US7301528B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US20060098900A1 (en) * 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US7990556B2 (en) * 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US20080313172A1 (en) * 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9008447B2 (en) * 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US8081849B2 (en) * 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US20070300142A1 (en) * 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US8713418B2 (en) * 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
JP2008502043A (ja) * 2004-06-04 2008-01-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ユーザによるコンテンツナビゲーションのための携帯装置
US8346620B2 (en) * 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US20060066567A1 (en) * 2004-09-29 2006-03-30 Scharenbroch Gregory K System and method of controlling scrolling text display
KR100641182B1 (ko) * 2004-12-30 2006-11-02 엘지전자 주식회사 휴대단말기에서의 가상화면 이동장치 및 방법
US20080153591A1 (en) * 2005-03-07 2008-06-26 Leonidas Deligiannidis Teleportation Systems and Methods in a Virtual Environment
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
US20070035563A1 (en) * 2005-08-12 2007-02-15 The Board Of Trustees Of Michigan State University Augmented reality spatial interaction and navigational system
US7647175B2 (en) * 2005-09-09 2010-01-12 Rembrandt Technologies, Lp Discrete inertial display navigation
US20070057911A1 (en) * 2005-09-12 2007-03-15 Sina Fateh System and method for wireless network content conversion for intuitively controlled portable displays
US20080082363A1 (en) * 2005-10-07 2008-04-03 Nader Habashi On-line healthcare consultation services system and method of using same
US20070091037A1 (en) * 2005-10-21 2007-04-26 Yee-Chun Lee Energy Efficient Compact Display For Mobile Device
US7606552B2 (en) * 2005-11-10 2009-10-20 Research In Motion Limited System and method for activating an electronic device
WO2007060604A2 (en) * 2005-11-25 2007-05-31 Koninklijke Philips Electronics N.V. Filtering pointer coordinates
KR101107537B1 (ko) * 2006-03-15 2012-02-06 퀄컴 인코포레이티드 센서-기반 배향 시스템
JP4684147B2 (ja) * 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
US20080055315A1 (en) * 2006-09-05 2008-03-06 Dale Ducharme Method and System to Establish and Animate a Coordinate System for Content on a Display
KR101443404B1 (ko) * 2006-09-15 2014-10-02 구글 인코포레이티드 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이
US9767599B2 (en) * 2006-12-29 2017-09-19 X-Rite Inc. Surface appearance simulation
TWI377055B (en) * 2007-08-10 2012-11-21 Ind Tech Res Inst Interactive rehabilitation method and system for upper and lower extremities
US7953462B2 (en) 2008-08-04 2011-05-31 Vartanian Harry Apparatus and method for providing an adaptively responsive flexible display device
DE102008055180A1 (de) * 2008-12-30 2010-07-01 Sennheiser Electronic Gmbh & Co. Kg Steuersystem, Hörer und Steuerungsverfahren
US8418055B2 (en) 2009-02-18 2013-04-09 Google Inc. Identifying a document by performing spectral analysis on the contents of the document
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
EP2406767A4 (en) 2009-03-12 2016-03-16 Google Inc AUTOMATIC CONTENT SUPPLY ASSOCIATED WITH CAPTURED INFORMATION, TYPE INFORMATION CAPTURED IN REAL TIME
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US20100241999A1 (en) * 2009-03-19 2010-09-23 Microsoft Corporation Canvas Manipulation Using 3D Spatial Gestures
US8849570B2 (en) * 2009-03-19 2014-09-30 Microsoft Corporation Projected way-finding
CN102460349A (zh) 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US20100315329A1 (en) * 2009-06-12 2010-12-16 Southwest Research Institute Wearable workspace
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
CA2777566C (en) * 2009-10-13 2014-12-16 Recon Instruments Inc. Control systems and methods for head-mounted information systems
US8606316B2 (en) * 2009-10-21 2013-12-10 Xerox Corporation Portable blind aid device
US8890657B2 (en) * 2009-10-30 2014-11-18 Symbol Technologies, Inc. System and method for operating an RFID system with head tracking
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US9880619B2 (en) 2010-02-23 2018-01-30 Muy Interactive Ltd. Virtual reality system with a finger-wearable control
EP2679013A2 (en) 2010-02-23 2014-01-01 MUV Interactive Ltd. A system for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20120194549A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US20120001932A1 (en) * 2010-07-02 2012-01-05 Burnett William R Systems and methods for assisting visually-impaired users to view visual content
US9491560B2 (en) * 2010-07-20 2016-11-08 Analog Devices, Inc. System and method for improving headphone spatial impression
US9111498B2 (en) 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
US8780014B2 (en) 2010-08-25 2014-07-15 Eastman Kodak Company Switchable head-mounted display
US8619005B2 (en) * 2010-09-09 2013-12-31 Eastman Kodak Company Switchable head-mounted display transition
US8953570B2 (en) 2010-11-23 2015-02-10 Symbol Technologies, Inc. Radio frequency identification system and related operating methods
DE102010062607A1 (de) * 2010-12-08 2012-06-14 Robert Bosch Gmbh Vorrichtung zur Erzeugung eines Eingabesignals
JP5829020B2 (ja) 2010-12-22 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
US9013264B2 (en) 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US8912979B1 (en) * 2011-07-14 2014-12-16 Google Inc. Virtual window in head-mounted display
TWI524258B (zh) * 2011-08-19 2016-03-01 鴻海精密工業股份有限公司 電子書顯示調整系統及方法
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
US8970692B2 (en) 2011-09-01 2015-03-03 Industrial Technology Research Institute Head mount personal computer and interactive system using the same
US8990682B1 (en) 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9547406B1 (en) 2011-10-31 2017-01-17 Google Inc. Velocity-based triggering
US20130117707A1 (en) * 2011-11-08 2013-05-09 Google Inc. Velocity-Based Triggering
US20130139082A1 (en) 2011-11-30 2013-05-30 Google Inc. Graphical Interface Having Adjustable Borders
US20160011724A1 (en) * 2012-01-06 2016-01-14 Google Inc. Hands-Free Selection Using a Ring-Based User-Interface
US9213185B1 (en) * 2012-01-06 2015-12-15 Google Inc. Display scaling based on movement of a head-mounted display
CN103207743A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 便携式设备及其显示处理方法
US9153043B1 (en) 2012-02-16 2015-10-06 Google, Inc. Systems and methods for providing a user interface in a field of view of a media item
JP5880115B2 (ja) * 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US9035878B1 (en) 2012-02-29 2015-05-19 Google Inc. Input system
US8643951B1 (en) 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
US8947322B1 (en) 2012-03-19 2015-02-03 Google Inc. Context detection and context-based user-interface population
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
US9710056B2 (en) 2012-03-21 2017-07-18 Google Inc. Methods and systems for correlating movement of a device with state changes of the device
US9170648B2 (en) * 2012-04-03 2015-10-27 The Boeing Company System and method for virtual engineering
US8854415B2 (en) 2012-04-03 2014-10-07 Cisco Technology, Inc. Motion responsive video capture during a video conference
US9218526B2 (en) 2012-05-24 2015-12-22 HJ Laboratories, LLC Apparatus and method to detect a paper document using one or more sensors
US9268136B1 (en) 2012-09-28 2016-02-23 Google Inc. Use of comparative sensor data to determine orientation of head relative to body
US20140136960A1 (en) * 2012-11-13 2014-05-15 Microsoft Corporation Content-Aware Scrolling
US20140198034A1 (en) 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
JP6287849B2 (ja) 2013-02-22 2018-03-07 ソニー株式会社 ヘッドマウントディスプレイ、画像表示装置及び画像表示方法
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US20140282113A1 (en) 2013-03-15 2014-09-18 John Cronin Personal digital assistance and virtual reality
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US9507426B2 (en) 2013-03-27 2016-11-29 Google Inc. Using the Z-axis in user interfaces for head mountable displays
US9213403B1 (en) 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
WO2014186370A1 (en) 2013-05-13 2014-11-20 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9146618B2 (en) 2013-06-28 2015-09-29 Google Inc. Unlocking a head mounted device
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
CN105899996B (zh) * 2013-12-06 2019-04-23 瑞典爱立信有限公司 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9448687B1 (en) 2014-02-05 2016-09-20 Google Inc. Zoomable/translatable browser interface for a head mounted device
US9488833B2 (en) * 2014-02-07 2016-11-08 International Business Machines Corporation Intelligent glasses for the visually impaired
US9600030B2 (en) 2014-02-14 2017-03-21 Thalmic Labs Inc. Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same
US9987554B2 (en) 2014-03-14 2018-06-05 Sony Interactive Entertainment Inc. Gaming device with volumetric sensing
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US20150325202A1 (en) * 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
CN103984659B (zh) * 2014-05-15 2017-07-21 华为技术有限公司 分时使用串口的方法和装置
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US9477079B2 (en) 2014-06-25 2016-10-25 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
US10585485B1 (en) 2014-11-10 2020-03-10 Amazon Technologies, Inc. Controlling content zoom level based on user head movement
KR102178298B1 (ko) 2014-11-21 2020-11-12 삼성전자주식회사 이미지 표시 제어 방법 및 이를 지원하는 장치
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
DE102014018056A1 (de) 2014-12-05 2016-06-09 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und Virtual-Reality-Brille
US9563270B2 (en) 2014-12-26 2017-02-07 Microsoft Technology Licensing, Llc Head-based targeting with pitch amplification
CN105807798B (zh) * 2014-12-31 2018-11-30 上海乐相科技有限公司 一种头戴式智能眼镜抖动控制方法及装置
US9958682B1 (en) 2015-02-17 2018-05-01 Thalmic Labs Inc. Systems, devices, and methods for splitter optics in wearable heads-up displays
US9989764B2 (en) 2015-02-17 2018-06-05 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US10197805B2 (en) 2015-05-04 2019-02-05 North Inc. Systems, devices, and methods for eyeboxes with heterogeneous exit pupils
WO2016191709A1 (en) 2015-05-28 2016-12-01 Thalmic Labs Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
CN106310655A (zh) * 2015-06-22 2017-01-11 鸿富锦精密工业（深圳）有限公司 电子装置及头戴式显示装置
CN108474873A (zh) 2015-09-04 2018-08-31 赛尔米克实验室公司 用于将全息光学元件与眼镜镜片整合在一起的系统、制品和方法
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
WO2017059285A1 (en) 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
US9996149B1 (en) 2016-02-22 2018-06-12 Immersacad Corporation Method for one-touch translational navigation of immersive, virtual reality environments
US10568502B2 (en) 2016-03-23 2020-02-25 The Chinese University Of Hong Kong Visual disability detection system using virtual reality
EP3443414A2 (en) 2016-04-13 2019-02-20 North Inc. Systems, devices, and methods for focusing laser projectors
CN106200899A (zh) * 2016-06-24 2016-12-07 北京奇思信息技术有限公司 根据用户头部动作控制虚拟现实交互的方法及系统
EP3487395A4 (en) 2016-07-25 2020-03-04 CTRL-Labs Corporation METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
WO2018027326A1 (en) 2016-08-12 2018-02-15 Thalmic Labs Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
US10215987B2 (en) 2016-11-10 2019-02-26 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
WO2018098579A1 (en) 2016-11-30 2018-06-07 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10663732B2 (en) 2016-12-23 2020-05-26 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US10437074B2 (en) 2017-01-25 2019-10-08 North Inc. Systems, devices, and methods for beam combining in laser projectors
US10281977B2 (en) * 2017-05-25 2019-05-07 Acer Incorporated Virtual reality systems with human interface device emulation and related methods
US11510817B2 (en) * 2017-10-10 2022-11-29 Patrick Baudisch Haptic device that allows blind users to interact in real-time in virtual worlds
WO2019079757A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US20190121135A1 (en) 2017-10-23 2019-04-25 North Inc. Free space multiple laser diode modules
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
JP2021535465A (ja) 2018-08-31 2021-12-16 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 神経筋信号のカメラ誘導による解釈
CN112789577B (zh) 2018-09-20 2024-04-05 元平台技术有限公司 增强现实系统中的神经肌肉文本输入、书写和绘图
EP3886693A4 (en) 2018-11-27 2022-06-08 Facebook Technologies, LLC. METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM
US10893127B1 (en) 2019-07-26 2021-01-12 Arkade, Inc. System and method for communicating interactive data between heterogeneous devices
US10773157B1 (en) 2019-07-26 2020-09-15 Arkade, Inc. Interactive computing devices and accessories
US10946272B2 (en) 2019-07-26 2021-03-16 Arkade, Inc. PC blaster game console
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4227209A (en) 1978-08-09 1980-10-07 The Charles Stark Draper Laboratory, Inc. Sensory aid for visually handicapped people
US4209255A (en) 1979-03-30 1980-06-24 United Technologies Corporation Single source aiming point locator
US4567479A (en) 1982-12-23 1986-01-28 Boyd Barry S Directional controller apparatus for a video or computer input
US4565999A (en) 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4548485A (en) 1983-09-01 1985-10-22 Stewart Dean Reading device for the visually handicapped
US4682159A (en) 1984-06-20 1987-07-21 Personics Corporation Apparatus and method for controlling a cursor on a computer display
US5281957A (en) 1984-11-14 1994-01-25 Schoolman Scientific Corp. Portable computer and head mounted display
US4790028A (en) 1986-09-12 1988-12-06 Westinghouse Electric Corp. Method and apparatus for generating variably scaled displays
US5003300A (en) 1987-07-27 1991-03-26 Reflection Technology, Inc. Head mounted display for miniature video display system
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
JP2578170B2 (ja) 1988-06-23 1997-02-05 シャープ株式会社 画像表示装置
US5109282A (en) 1990-06-20 1992-04-28 Eye Research Institute Of Retina Foundation Halftone imaging method and apparatus utilizing pyramidol error convergence
US5267331A (en) 1990-07-26 1993-11-30 Ronald Siwoff Digitally enhanced imager for the visually impaired
US5359675A (en) 1990-07-26 1994-10-25 Ronald Siwoff Video spectacles
US5125046A (en) 1990-07-26 1992-06-23 Ronald Siwoff Digitally enhanced imager for the visually impaired
DE69113199T2 (de) 1990-10-05 1996-02-22 Texas Instruments Inc Verfahren und Gerät zur Erzeugung einer tragbaren optischen Anzeige.
US5151722A (en) 1990-11-05 1992-09-29 The Johns Hopkins University Video display on spectacle-like frame
US5367315A (en) 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
WO1992009921A1 (en) 1990-11-30 1992-06-11 Vpl Research, Inc. Improved method and apparatus for creating sounds in a virtual world
JP2671619B2 (ja) 1991-03-06 1997-10-29 富士通株式会社 映像生成処理装置
US5283560A (en) 1991-06-25 1994-02-01 Digital Equipment Corporation Computer system and method for displaying images with superimposed partially transparent menus
US5450596A (en) 1991-07-18 1995-09-12 Redwear Interactive Inc. CD-ROM data retrieval system using a hands-free command controller and headwear monitor
US5781913A (en) 1991-07-18 1998-07-14 Felsenstein; Lee Wearable hypermedium system
US5367614A (en) 1992-04-01 1994-11-22 Grumman Aerospace Corporation Three-dimensional computer image variable perspective display system
US5325123A (en) 1992-04-16 1994-06-28 Bettinardi Edward R Method and apparatus for variable video magnification
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
US5675746A (en) 1992-09-30 1997-10-07 Marshall; Paul S. Virtual reality generator for use with financial information
US5422653A (en) 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5579026A (en) * 1993-05-14 1996-11-26 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
US5373857A (en) 1993-06-18 1994-12-20 Forte Technologies, Inc. Head tracking apparatus
US5526812A (en) 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
US5590062A (en) 1993-07-02 1996-12-31 Matsushita Electric Industrial Co., Ltd. Simulator for producing various living environments mainly for visual perception
US5581670A (en) 1993-07-21 1996-12-03 Xerox Corporation User interface having movable sheet with click-through tools
CA2124624C (en) 1993-07-21 1999-07-13 Eric A. Bier User interface having click-through tools that can be composed with other tools
US5526481A (en) 1993-07-26 1996-06-11 Dell Usa L.P. Display scrolling system for personal digital assistant
DE69434851T2 (de) * 1993-08-12 2007-04-19 Seiko Epson Corp. Am Kopf montierte Bildanzeigevorrichtung und diese enthaltendes Datenverarbeitungsgerät
JPH0764754A (ja) 1993-08-24 1995-03-10 Hitachi Ltd 小型情報処理装置
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US6351261B1 (en) * 1993-08-31 2002-02-26 Sun Microsystems, Inc. System and method for a virtual reality system having a frame buffer that stores a plurality of view points that can be selected and viewed by the user
JP3697276B2 (ja) 1993-10-27 2005-09-21 ゼロックス コーポレイション 画像ディスプレイ方法及び画像ディスプレイ装置並びに画像スケーリング方法
US5686940A (en) 1993-12-24 1997-11-11 Rohm Co., Ltd. Display apparatus
US5661632A (en) 1994-01-04 1997-08-26 Dell Usa, L.P. Hand held computer with dual display screen orientation capability controlled by toggle switches having first and second non-momentary positions
US5645077A (en) 1994-06-16 1997-07-08 Massachusetts Institute Of Technology Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body
CA2126142A1 (en) 1994-06-17 1995-12-18 David Alexander Kahn Visual communications apparatus
US5581271A (en) 1994-12-05 1996-12-03 Hughes Aircraft Company Head mounted visual display
US5683297A (en) 1994-12-16 1997-11-04 Raviv; Roni Head mounted modular electronic game system
US5835077A (en) 1995-01-13 1998-11-10 Remec, Inc., Computer control device
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
US5991085A (en) 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
JP3890621B2 (ja) 1995-04-21 2007-03-07 ソニー株式会社 画像表示装置及び方法
US5734421A (en) 1995-05-30 1998-03-31 Maguire, Jr.; Francis J. Apparatus for inducing attitudinal head movements for passive virtual reality
US5689667A (en) 1995-06-06 1997-11-18 Silicon Graphics, Inc. Methods and system of controlling menus with radial and linear portions
US5666499A (en) 1995-08-04 1997-09-09 Silicon Graphics, Inc. Clickaround tool-based graphical interface with two cursors
US5790769A (en) 1995-08-04 1998-08-04 Silicon Graphics Incorporated System for editing time-based temporal digital media including a pointing device toggling between temporal and translation-rotation modes
JPH09114543A (ja) 1995-10-02 1997-05-02 Xybernaut Corp ハンドフリーコンピュータ装置
US5959605A (en) 1995-11-22 1999-09-28 Picker International, Inc. Video magnifier
US6127990A (en) 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
US6184847B1 (en) 1998-09-22 2001-02-06 Vega Vista, Inc. Intuitive control of portable data displays
US6118427A (en) 1996-04-18 2000-09-12 Silicon Graphics, Inc. Graphical user interface with optimal transparency thresholds for maximizing user performance and system efficiency
US5754348A (en) 1996-05-14 1998-05-19 Planetweb, Inc. Method for context-preserving magnification of digital image regions
US5689619A (en) 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US6115028A (en) 1996-08-22 2000-09-05 Silicon Graphics, Inc. Three dimensional input system using tilt
US5973669A (en) 1996-08-22 1999-10-26 Silicon Graphics, Inc. Temporal data control system
US5777715A (en) * 1997-01-21 1998-07-07 Allen Vision Systems, Inc. Low vision rehabilitation system
US5923307A (en) 1997-01-27 1999-07-13 Microsoft Corporation Logical monitor configuration in a multiple monitor environment
TW362207B (en) 1997-05-08 1999-06-21 Shimadzu Corp Display system
US6115025A (en) 1997-09-30 2000-09-05 Silicon Graphics, Inc. System for maintaining orientation of a user interface as a display changes orientation
US6148271A (en) 1998-01-14 2000-11-14 Silicon Pie, Inc. Speed, spin rate, and curve measuring device
US6151563A (en) 1998-01-14 2000-11-21 Silicon Pie, Inc. Speed, spin rate, and curve measuring device using magnetic field sensors
US6005482A (en) 1998-09-17 1999-12-21 Xerox Corporation Surface mounted information collage

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008510566A (ja) * 2004-08-23 2008-04-10 ゲームキャスター インコーポレイテッド 仮想環境を視聴および操作する装置、方法、およびシステム
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US10579324B2 (en) 2008-01-04 2020-03-03 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
JP2013541092A (ja) * 2010-09-20 2013-11-07 コピン コーポレーション 動きおよび音声コマンドを用いたホストアプリケーションの高度なリモートコントロール
US9817232B2 (en) 2010-09-20 2017-11-14 Kopin Corporation Head movement controlled navigation among multiple boards for display in a headset computer
US9377862B2 (en) 2010-09-20 2016-06-28 Kopin Corporation Searchlight navigation using headtracker to reveal hidden or extra document data
US11947387B2 (en) 2011-05-10 2024-04-02 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US11237594B2 (en) 2011-05-10 2022-02-01 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
JP2013014318A (ja) * 2011-06-30 2013-01-24 General Electric Co <Ge> 航空機内の合成ビジョンシステムを動作させる方法
US9369760B2 (en) 2011-12-29 2016-06-14 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
KR102276220B1 (ko) * 2012-01-06 2021-07-13 이-비전 스마트 옵틱스, 아이엔씨. 안경류 도킹 스테이션 및 전자 모듈
US11971612B2 (en) 2012-01-06 2024-04-30 E-Vision Smart Optics, Inc. Eyewear docking station and electronic module
KR20220003143A (ko) * 2012-01-06 2022-01-07 이-비전 스마트 옵틱스, 아이엔씨. 안경류 도킹 스테이션 및 전자 모듈
KR102347056B1 (ko) * 2012-01-06 2022-01-03 이-비전 스마트 옵틱스, 아이엔씨. 안경류 도킹 스테이션 및 전자 모듈
KR20200003236A (ko) * 2012-01-06 2020-01-08 에이치피오 애셋츠 엘엘씨 안경류 도킹 스테이션 및 전자 모듈
KR20210088749A (ko) * 2012-01-06 2021-07-14 이-비전 스마트 옵틱스, 아이엔씨. 안경류 도킹 스테이션 및 전자 모듈
KR102495254B1 (ko) * 2012-01-06 2023-02-06 이-비전 스마트 옵틱스, 아이엔씨. 안경류 도킹 스테이션 및 전자 모듈
US11487138B2 (en) 2012-01-06 2022-11-01 E-Vision Smart Optics, Inc. Eyewear docking station and electronic module
US9507772B2 (en) 2012-04-25 2016-11-29 Kopin Corporation Instant translation system
US9294607B2 (en) 2012-04-25 2016-03-22 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
JP2014120963A (ja) * 2012-12-18 2014-06-30 Seiko Epson Corp 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法
JP2017204294A (ja) * 2013-01-31 2017-11-16 株式会社Ｊｖｃケンウッド 入力表示装置
US10620457B2 (en) 2013-12-17 2020-04-14 Intel Corporation Controlling vision correction using eye tracking and depth detection
WO2015094191A1 (en) * 2013-12-17 2015-06-25 Intel Corporation Controlling vision correction using eye tracking and depth detection
JP2017506449A (ja) * 2014-01-25 2017-03-02 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー ヘッドマウントディスプレイにおける環境的な割り込み、及び非視野リアルエステートの利用
WO2015166881A1 (ja) * 2014-04-30 2015-11-05 株式会社テレパシージャパン 可撓性支持部材を備えるウェアラブル画像表示装置
WO2015170520A1 (ja) * 2014-05-09 2015-11-12 ソニー株式会社 情報処理システムおよび情報処理方法
US10204420B2 (en) 2014-09-22 2019-02-12 Fxgear Inc. Low latency simulation apparatus and method using direction prediction, and computer program therefor
JP2018500616A (ja) * 2014-09-22 2018-01-11 エフエックスギア インコーポレイテッド 方向予測を利用した低レイテンシーシミュレーション装置及び方法と、そのためのコンピュータプログラム
JP2017118159A (ja) * 2014-12-17 2017-06-29 株式会社テレパシージャパン 可撓性支持部材を備えるウェアラブル画像表示装置
JP2018512688A (ja) * 2015-04-10 2018-05-17 ヴァーズーム，インコーポレイテッド バーチャル・リアリティ・エクササイズ・ゲーム
US11144116B2 (en) 2015-04-10 2021-10-12 Virzoom, Inc. Virtual reality exercise game
JPWO2017191701A1 (ja) * 2016-05-02 2018-10-18 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、表示制御方法及びプログラム
WO2017191701A1 (ja) * 2016-05-02 2017-11-09 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、表示制御方法及びプログラム
JP2018036974A (ja) * 2016-09-02 2018-03-08 Ｍｉｓｔｌｅｔｏｅ株式会社 情報処理システム
KR20180042055A (ko) * 2016-10-17 2018-04-25 엘지전자 주식회사 Hmd 디바이스
KR102662708B1 (ko) 2016-10-17 2024-05-03 엘지전자 주식회사 Hmd 디바이스
JP2021501397A (ja) * 2017-10-27 2021-01-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実システムのための仮想レチクル
JP7116166B2 (ja) 2017-10-27 2022-08-09 マジック リープ， インコーポレイテッド 拡張現実システムのための仮想レチクル
CN109166433A (zh) * 2018-08-16 2019-01-08 医博士医教科技（深圳）有限公司 一种医疗模拟人系统

Also Published As

Publication number Publication date
US6184847B1 (en) 2001-02-06
EP1116211A4 (en) 2001-11-21
USRE42336E1 (en) 2011-05-10
WO2000017848A1 (en) 2000-03-30
EP1116211A1 (en) 2001-07-18

Similar Documents

Publication Publication Date Title
JP2002525769A (ja) 携帯型データディスプレイの直接的コントロール方法
US6127990A (en) Wearable display and methods for controlling same
US10514758B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US6124843A (en) Head mounting type image display system
US9122307B2 (en) Advanced remote control of host application using motion and voice commands
US11360551B2 (en) Method for displaying user interface of head-mounted display device
US20150220142A1 (en) Head-Tracking Based Technique for Moving On-Screen Objects on Head Mounted Displays (HMD)
CN108073432B (zh) 一种头戴式显示设备的用户界面显示方法
US20150138084A1 (en) Head-Tracking Based Selection Technique for Head Mounted Displays (HMD)
WO2014107220A1 (en) A headset computer with head tracking input used for inertial control
US20190385372A1 (en) Positioning a virtual reality passthrough region at a known distance
JPH09179062A (ja) コンピュータシステム
KR20200040716A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
WO2003003185A1 (en) System for establishing a user interface
CN111240483A (zh) 操作控制方法、头戴式设备及介质
KR102312601B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP2001337645A (ja) 表示システム及び記憶媒体
CN106681488A (zh) 头操作的数字眼镜
US20240028112A1 (en) Image display device and image display method
KR20210125465A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JPH06282371A (ja) 仮想空間デスクトップ装置
JP2023127176A (ja) 指示者側装置、方法およびプログラム
Butz Human-Computer Interaction 2

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040706

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20060914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080829

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081128

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081226

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090129

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090515