JP2002041234A - 凝視の対象を検出する機能を有する微小表示システム - Google Patents

凝視の対象を検出する機能を有する微小表示システム

Info

Publication number
JP2002041234A
JP2002041234A JP2001139261A JP2001139261A JP2002041234A JP 2002041234 A JP2002041234 A JP 2002041234A JP 2001139261 A JP2001139261 A JP 2001139261A JP 2001139261 A JP2001139261 A JP 2001139261A JP 2002041234 A JP2002041234 A JP 2002041234A
Authority
JP
Japan
Prior art keywords
image element
user
appearance
image
staring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001139261A
Other languages
English (en)
Other versions
JP3993991B2 (ja
Inventor
Cynthia S Bell
シンシア・エス・ベル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2002041234A publication Critical patent/JP2002041234A/ja
Application granted granted Critical
Publication of JP3993991B2 publication Critical patent/JP3993991B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Input (AREA)

Abstract

(57)【要約】 【課題】 本発明の目的は、微小表示装置を装着する装
置をさらに有効に活用する技術を提供することにある。 【解決手段】 電子装置１０は表示されたイメージ要素
７６が凝視することによって選択されるような微小表示
装置１６を備えている。凝視検出器３６は、任意にユー
ザが十分な時間だけ凝視している対象を特定する。ある
イメージ要素が凝視によって選択されたと特定された場
合、スクリーンの表示はその選択されたイメージ要素と
選択されなかったイメージ要素の出現を変化させるよう
に変更される。例えば、選択されたイメージ要素７６の
焦点が合わされ、他のイメージ要素７０はぼかされる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は微小表示装置に関
し、詳しくは、凝視の対象を検出する機能を有する微小
表示装置あるいはシステムに関する。
【０００２】
【従来の技術】微小表示装置は、通常、ユーザの目を表
示装置に近接させない限り、ユーザによって観察されな
いほど小さい表示装置のことである。従って、従来、微
小表示装置は、その小形の表示装置を拡大する接眼ピー
スにユーザの目をあてがって観察されている。ユーザ
は、目の疲れない焦点距離である約１メートル先に浮か
ぶ大きな映像を観察することができる。
【０００３】微小表示装置は、電子装置内の比較的小さ
な空間内に配置できるので、多くのの利点を有してい
る。微小表示装置は、カメラや電話などの電子装置に利
用される。なお、微小装置は、通常、その表示装置をユ
ーザの目の前に位置させる頭部搭載装置内に取り付けら
れる。
【０００４】微小表示装置は、低電力および高解像の表
示能力などを有し、また、従来の表示装置よりも低コス
トである。低電力、携帯性、ポケットに入れて運べる簡
便さの利点から、微小表示装置は携帯情報装置に用いら
れる。
【０００５】携帯電子装置を微小表示装置と共に用いる
場合、その携帯情報装置を手動で操作するのは好ましく
ない。その理由は、微小表示装置がユーザの目に依存し
ているからである。微小表示装置がユーザによって観察
される位置にあるとき、ユーザの頭と鼻が目の近傍に存
在しているので、携帯情報装置を手動によって操作する
のは困難である。
【０００６】
【発明が解決しようとする課題】このように従来の微小
表示装置は、平坦な二次元の視野を映像をもたらし、こ
のような映像は観察的に興味に乏しく、また目が疲れ
る、という欠点を有していた。本発明の目的は、微小表
示装置を装着する装置をさらに有効に活用する技術を提
供し、上記のような課題を解決することにある。
【０００７】
【課題を解決するための手段】すなわち、本発明は、微
小表示装置と、前記微小表示装置に表示された、ユーザ
が凝視している、１つのイメージ要素を検出する凝視検
出器と、前記凝視検出器および前記微小表示装置に連結
され、ユーザが凝視している前記１つのイメージ要素の
出現を第１の方法で自動的に変更し、前記微小表示装置
に表示された他のイメージ要素の出現を前記第１の方法
と異なる第２の方法で自動的に変更する装置とを含むこ
とを特徴とするシステムを提供するものである。また本
発明は、微小表示装置に表示された、ユーザが凝視して
いる、１つのイメージ要素を検出するステップと、ユー
ザが凝視している前記１つのイメージ要素の出現を第１
の方法で自動的に変更するステップと、前記表示装置に
表示された他のイメージ要素の出現を前記第１の方法と
異なる第２の方法で自動的に変更するステップとを含む
ことを特徴とする方法を提供するものである。本発明に
よれば、ユーザが凝視しているイメージ要素の焦点を合
せ、他のイメージ要素をぼかすことができるので、微小
表示装置を観察しているユーザは三次元的な視覚効果を
得ることができる。
【０００８】
【発明の実施の形態】図１を参照して、本発明の一実施
例による電子装置１０には、ユーザの目に近接して配置
される接眼ピース１２を介してユーザに観察される微小
表示装置が装着されている。ユーザの頭部Ｈを電子装置
１０の頂部近くに位置させて、ユーザは電子装置１０内
に取り付けられた微小表示装置を観察することができ
る。
【０００９】電子装置１０はアンテナ１４を有する移動
電話として例示されている。しかし、本発明を、例え
ば、カメラ、パーソナル・デジタル支援装置、家庭電化
器具、ゲーム機、計算機などの広範囲の携帯用電子装置
に適用することができる。通常、これらの電子装置に
は、プロセッサを主体とするシステムによって電子制御
可能な微小表示装置が装着されるとよい。
【００１０】微小表示装置は公知であり、それらの微小
表示装置に広範囲の技術を利用することができる。例え
ば、液晶搭載半導体（ＬＣＯＳ）技術を利用して、集積
回路上に直接著しく小形の液晶表示装置を形成すること
ができる。この集積回路は、１例として、表示装置と共
にプロセッサのような他の構成要素を含むことができ
る。
【００１１】本発明の一実施例として、図２に示される
光学システム１０を用いることができる。ユーザの目Ｅ
はユーザが微小表示装置１６を観察するための接眼ピー
ス１２内に位置している。微小表示装置１６は小型化の
目的で２つ折りにされた光学系を介して観察される。こ
の光学系は、前レンズ２４と後レンズ２６を有してい
る。前レンズ２４はイメージ要素を拡大するのに有用で
あり、後レンズ２６はイメージ要素を拡大すると共に反
射するのに有用である。
【００１２】図３において、ユーザの目Ｅは、前記と同
様、接眼ピース１２内に位置している。しかし、ここで
は、赤外線がユーザの目Ｅから反射され、その反射され
た赤外線によって、ユーザが凝視している対象が特定さ
れる。ユーザの目Ｅに赤外線を放射するための１対の赤
外線照明器２８が配置されている。図２に示されるよう
に、ユーザの目Ｅから反射された赤外線はダイクロイッ
クミラー１８によって反射される。ダイクロイックミラ
ー１８は光の波長を選別し、光のスペクトルの内、可視
光を透過させて、赤外線部分を図２において線で示され
る方向に反射する。なお。前レンズ２４は、赤外線によ
る目の凝視検出時に、赤外線を透過させる。
【００１３】ユーザの目Ｅとダイクロイックミラー１８
から反射された赤外線は赤外線イメージ化サブシステム
２０によって取り込まれる。赤外線イメージ化サブシス
テム２０とダイクロイックミラー１８間に、取り込みミ
ラー２２が配置される。目のイメージは取り込みミラー
２２を介して赤外線イメージ化サブシステム２０によっ
て記録される。赤外線イメージ化サブシステム２０と赤
外線照明器２８によって、凝視モジュール３４が構成さ
れる。
【００１４】図４に示されるソフトウエア３５は、ユー
ザが凝視している対象を特定し、その結果に基づいて、
表示装置を調整する。凝視モジュール３４は、ユーザが
凝視している対象を表す凝視データを、赤外線イメージ
化サブシステム２０から入力する。一方、凝視モジュー
ル３４は、赤外線照明器２８を制御する制御信号を生成
する。また、凝視モジュール３４は凝視解像モジュール
３６に情報を出力し、凝視解像モジュール３６は視野深
さ計算モジュール３７に情報を出力する。
【００１５】ブルキンエ像として知られる、眼球表面か
らの反射イメージを所有する凝視モジュール３４は、最
も強い赤外線の反射を受ける眼球表面上の点からユーザ
の凝視の方向を空間的に解像する。また、凝視モジュー
ル３４は、眼球の凸状の大きさおよび射出瞳の径から強
膜と虹彩間の境界線を検出する。
【００１６】凝視解像モジュール３６は、凝視モジュー
ル３４によって明らかにされたユーザの凝視の空間位置
が微小表示装置１６上に表示されたユーザによって意図
的に選択された励起点（ユーザの視線が偶然ではなく意
識的に注がれ、ユーザがさらに鮮明に観察することを望
んでいる点）であるかかどうかを決定する。もしユーザ
の視線が意図的に選択された励起点である場合、視野深
さ計算モジュール３７が上記の情報に基づいて視野深さ
の変更を決定する。
【００１７】凝視解像モジュール３６は、時間情報３８
を用いて、微小表示装置１６上の励起点に対して、ユー
ザが意図的な励起を望んでいると判断するに十分な時間
だけ視線を注いでいたかどうかを決定する。表示制御装
置（図４には示されていない）は、微小表示装置１６に
表示されるイメージ要素のｘｙ座標に関する表示情報３
３を凝視解像モジュール３６に出力する。さらに、視野
深さ計算モジュール３７は、ユーザの凝視に基づいて微
小表示装置１６上の視野深さの変更を調整するための表
示制御信号３９を生成する。
【００１８】表示装置を観察しているユーザの目に現れ
る種々の特徴、例えば、強膜と虹彩間の境界線や虹彩と
瞳間の境界線、またブルキンエ像として一般的に知られ
ている角膜および目のレンズ表面からの赤外線の反射イ
メージなどを観測する方法はよく知られている。これら
の特徴の観測は、ユーザが実際に凝視して対象を決定す
るのに用いられる。特に、ブルキンエ像の測定は、微小
表示装置に対するユーザの意図的に注がれた視線を測定
するのに好適である。
【００１９】ユーザの目の前に表示されている画像に対
してユーザが凝視している対象の座標化に関して、多く
の技術が知られている。例えば、米国特許第５、８５
７、１２０号において、凝視点のｘｙ座標が測定されて
いる。また、各凝視点にユーザが注いでいる累積時間も
測定されている。１つの凝視点から他の凝視点への目の
移行軌跡も観測されている。同様に、種々の対象点に対
する凝視の頻度も評価されている。また、例えば、絵と
して具現化された、ユーザによって最も励起されやすい
点を強調するような重み付けがなされている。さらに、
１つの凝視点とそれに続く凝視点間の相関関係も明らか
にされている。
【００２０】図５に示されるソフトウエア４０を用い
て、ユーザが凝視している対象に応答して微小表示装置
１６に表示されている内容を制御する。まず、ブロック
４２のステップにおいて、微小表示装置１６を起動し、
目の観測を開始する。ブロック４４のステップにおい
て、照明器２８を作動し、目の反射イメージの検出と処
理を行う。次いで、ブロック４６のステップにおいて、
本発明の実施例によるイメージ化サブシステムによる強
膜と虹彩間の境界線の検出を行う。なお、ブロック４６
のステップにおいて、第１ブルキンエ像のｘｙ位置が凝
視モジュール３４に送られる。
【００２１】その後、ブロック４８のステップにおい
て、照明器２８とイメージ化サブシステム２０の作動を
停止する。次いで、ブロック５０のステップにおいて、
凝視解像モジュール３６は凝視している目の軸、すなわ
ち、視線を計算する。菱形ブロック５２のステップにお
いて、もし視線が表示されている既知の励起点と交差し
た場合、ユーザは凝視している励起点が選択されること
を望んでいると見なされる。時間のしきい値を用いて、
意図的に視野を凝視している期間を、例えば、目が視野
を急速に横切るような無意図的な断続的運動の期間と区
別する。ただし、時間のしきい値は、ユーザにとってご
く自然な短い値に設定されている。
【００２２】菱形ブロック５４のステップにおいて、ユ
ーザが上記の励起点を凝視するのは１回目であるかどう
かを判断する。もし、一回目であって、ユーザが凝視持
続時間のしきい値（第１しきい値）よりも長い時間その
励起点を凝視していた場合、ブロック６０のステップに
おいて、その励起点を第１の方法によって出現させ、ユ
ーザに凝視の意図が具現化されたことを知らせる。
【００２３】菱形ブロック６２のステップにおいて、ユ
ーザが励起点を所定回数、例えば、２回凝視して、各凝
視の時間が第１しきい値よりも小さい第２しきい値より
も長い場合、ブロック６４のステップにおいて、表示内
容が変更される。
【００２４】もし、ユーザの凝視が意図的な凝視持続時
間に関する上記の第１または第２しきい値に達していな
い場合、ブロック５８のステップにおいて、システムは
凝視位置を照査する次の機会が来るまで待機する。同様
に、菱形ブロック５２のステップにおいて、もしユーザ
の視線が既知の励起点を交差していなかった場合、ブロ
ック５６のステップにおいて、システムは待機モードに
戻る。
【００２５】本発明の一実施例において、表示の変更
は、ユーザに対して選択された励起点を際立たせること
によって行う。例えば、選択された励起点は焦点を整合
し、同じ表示装置１６の他のイメージ要素はぼかされ
る。具体的には、凝視された励起点に視野深さの中心が
置かれ、他のイメージ要素は焦点が合っていない。すな
わち、ユーザが興味を示したイメージ要素を基準にして
表示装置１６の視野深さが自動的に調整され、他のイメ
ージ要素は視野深さの前端の前方、または視野深さの後
端の後方に置かれる。その結果、微小表示装置１６を観
察しているユーザは三次元的な視覚効果を得ることがで
きる。このように、選択された励起点は、他の点と比較
して焦点整合された点としてユーザに認識される。
【００２６】多くの方法によって、種々の表示されたイ
メージ要素に視野深さの中心を割り当てることができ
る。第１の方法は、表示されたイメージ要素の各々に予
めｘｙ座標を割り当て、それらのデータを保存する方法
である。この方法は、特に、イメージ要素が表示装置自
身を制御するプロセッサを主体とするシステムによって
生成される場合に有効である。この場合、プログラマに
よって、イメージ要素の各々にｘｙ座標が割り当てられ
る。従って、表示装置１６は、１つのイメージ要素が選
択される前にそのイメージ要素に対する視野深さの中心
を推定し、他のイメージ要素が選択される前にそのイメ
ージ要素に対する視野深さの中心を推定することができ
る。このようにして、凝視されたイメージ要素を拡大
し、焦点を合せ、他のいくつかのイメージ要素をぼかす
ことができる。
【００２７】第２の方法は、他の実施例として、視野深
さの情報を映像源から得られる情報と共に入手する方法
である。例えば、視野深さ情報は、３ＤＶシステム社
（ヨクニアム２０６９２、イスラエル）によって製造さ
れたカメラによって取られた対象の各々に符号化されて
いる。これらのカメラはテレビのショーや映画に対して
連続的な映像を生成する。このリアルタイムの３Ｄカメ
ラは、走査レーザビームと飛行時間検出システムを用い
て、三次元的映像を取り込むことができる。
【００２８】３ＤＶシステム社の装置は、ｘ、ｙ、ｚ軸
の情報を有するカメラによって映像を取り込むことがで
きる。三次元的な自然な映像内容を得るために、カメラ
の撮影用レンズによって映像に視野深さの情報（ｚ軸情
報）が導入される。この視野深さの導入は、１つのシー
ンを多数回記録するか、または１つのシーンを多数の撮
影用カメラで同時に記録することによってなされる。１
つのシーンに対する各記録ごとに、撮影レンズは異なっ
た距離に焦点を合わせて撮影するので、１つのシーンに
対する多数回の記録によって、異なった距離で焦点が合
わせられた同一のイメージ要素が薄切りにされた多数の
膜のように重ねられる。ユーザが特定のイメージ要素を
凝視すると、最良の焦点位置にあるイメージ要素を有す
る記録が研削されて表示される。
【００２９】要約すると、ユーザが凝視している対象が
特定され、視野深さ情報が予め得られていると、凝視し
ている対象は自動的に視野深さの中心に置かれ、他の対
象は視野深さの外に置かれて自動的にぼかされる。
【００３０】あるいは、凝視しているイメージ要素が他
のイメージ要素に対して相対的に拡大される。図示され
ている本発明のいくつかの実施例においては、凝視され
ている対象はより合焦され、かつ凝視されていないイメ
ージ要素に対して相対的に拡大されている。
【００３１】図６は、微小表示装置に表示される具体的
なシ−ン６８が示されている。このシーン６８は、複数
の図式的なユーザインターフェイスアイコン７０、７
２、７４および７６を含んでいる。電子装置１０が移動
電話として例示される実施例において、アイコン７４、
７２および７０は、それぞれ、ユーザによる電話の呼
出、電話の記録、および時間に設定されている。最も重
要な項目であるアイコン７４は表示装置の最前面に大き
なサイズで示されている。サブメニューに相当するアイ
コン７２と７０は、アイコン７４の上方に漸次小さなサ
イズで整列している。具体的には、呼出アイコン７４は
最前面で大きく表示され、記録アイコン７２と時間アイ
コン７０は呼出アイコン７４の上方に漸次小さなサイズ
で整列している。
【００３２】図６において、ユーザがアイコン７６を凝
視し、そのユーザの凝視に応答して、アイコン７６が強
調表示される（図においては二重線で示されている）前
の状態を示している。このようにユーザがアイコン７６
を選択した結果、図７に示されるように、新しい表示ス
クリーン６８ａが現れる。この場合、表示スクリーン６
８ａにおいて、アイコン７６ａが拡大され、かつ焦点が
合っている。なお、拡大されたアイコン７６ａには、ユ
ーザが保存しておきたい特定の電話番号が表示される。
一方、他の全ての表示項目は、図７において小さく描か
れているように、自動的に焦点が合わず、アイコン７６
ａに対して相対的にぼかされる。このように、選択され
たイメージ要素に対して、選択されなかったイメージ要
素は、そのサイズを小さくし、かつ物理的にぼかされ
る。
【００３３】図８はカメラＣによって観察される対象物
７８と８０を示している。カメラＣから対象物７８およ
び８０までの距離は、それぞれ、ＱおよびＲである。
【００３４】図９に示される表示スクリーン７７は、カ
メラＣによって取り込まれた対象物７８と８０のイメー
ジ要素７８ａと８０ａを表示している。もしユーザが微
小表示装置１６に表示されたイメージ要素７８ａを凝視
すると、スクリーン７７の視野深さは自動的に、イメー
ジ要素７８ａに視野深さの中心がくるように、移動す
る。その結果、イメージ要素７８ａは、実線で示される
ように、焦点が合って鮮明になっている。一方、イメー
ジ要素８０ａは、視野深さの遠端を越え、その結果、図
９において点線で示されるように、焦点が合っていなく
てぼかされる。
【００３５】図１０に示される表示スクリーンに示され
る表示スクリーン７９は、ユーザがイメージ要素７８ａ
に代わってイメージ要素８０ｂを凝視したことによって
現れたスクリーンである。この場合、視野の深さは、イ
メージ要素８０ｂに視野深さの中心がくるように調整さ
れ、実線で示されるように、イメージ要素８０ｂの焦点
が鮮明になっている。イメージ要素７８ｂは視野深さの
近端外にあるので、点線で示されるように、焦点が合っ
ていなくてぼかされる。
【００３６】要約すると、ユーザは三次元的シーンの二
次元的イメージ要素を観察し、ユーザが凝視するイメー
ジ要素に焦点が合わさるようにそのシーンの視野深さが
変更されるので、三次元的な視覚効果を得ることができ
る。
【００３７】図１１に示されるイメージ要素をぼかす操
作は深さ計算モジュール３７によって実行される。ユー
ザの目Ｅ（目のレンズの入射瞳）は最良の焦点面からの
距離ｓの地点に配置されている。距離Ｌ２は、目Ｅから
鮮明に観察できる視野深さの遠端までの距離である。距
離Ｌ１は、目Ｅから鮮明に観察できる視野深さの近端ま
での距離である。距離ｄはレンズの開口径（焦点距離を
Ｆナンバーで割った値に相当）である。符号ｃは対象面
における不明確さを表す領域である。この不明確さを表
す領域は、人間の目によって真の点と区別できない領域
に相当する。例えば、観察条件や観察者の感度にも依存
するが、不明確さを表す領域ｃの大きさは、１．５から
３．４分の円弧である。
【００３８】単純な幾何学から、Ｌ２はｓｄ（ｄ−ｃ）
に等しく、Ｌ１はｓｄ（ｄ＋ｃ）に等しいことがわか
る。Ｌ１とＬ２間にｚ方向の深さを有する凝視されたイ
メージ要素内の画素は、そのイメージ要素がすでに視野
深さの範囲内にあって鮮明に観察することができるの
で、変更される必要がない。しかし、その凝視されたイ
メージ要素の前方および後方の他のイメージ要素はぼか
す必要があり、凝視されたイメージ要素の焦点面から距
離に基づいて、他のイメージ要素内を画素を変更させる
必要がある。
【００３９】イメージ要素のぼかしの量も幾何学的に計
算することができる。目に映るどのような点も、その点
とレンズ開口径ｄの両端を結ぶ線は広がって最良の焦点
面と交差する。例えば、図１２に示されるように、距離
Ｌ３の点とレンズ開口径ｄの両端を結ぶ線は、円の径ｃ
‘まで拡大されて（ぼやけて）、最良の焦点面と交差し
ている。従って、デジタル型のイメージ要素ぼかしフィ
ルタを面Ｌ３の画素に適用して、それらのぼかしの量を
調整することができる。近接平均化フィルタや低域通過
フィルタのような従来のぼかしフィルタを本実施例に用
いることができる。
【００４０】平均化フィルターを用いてぼかし処理を行
う場合、画素の径とぼかし処理による画素の配置構造
（隣接するドットまたは線間の距離）の変化の間の相関
関係を容易に得ることができる。従って、ぼかし処理を
校正することができ、その結果、検索テーブルを用い
て、ぼかし処理を行うことができる。要約すれば、焦点
面における画素のｚ軸の距離を指標として、検索テーブ
ルから望ましいぼかしが得られる制御パラメータを検索
すればよい。
【００４１】図１３に示されるように、本発明の一実施
例によるソフトウエア８２を用いて、視野深さの調整が
行われる。まず、ブロック８４のステップにおいて、凝
視モジュール３４と凝視解像モジュール３６を用いてユ
ーザが凝視している対象を特定する。ブロック８６のス
テップにおいて、相対的な視野深さの情報を得る。次い
で、ブロック８８のステップにおいて、該当するイメー
ジ要素の焦点合わを行い、またそのイメージ要素を拡大
する。また、ブロック９０のステップにおいて、他のイ
メージ要素はソフトウエア１１４を用いるデジタル処理
によって、前述したようにぼかす。
【００４２】図１４は、本発明の一実施例による移動電
話として具体化されている電子装置１０を示している。
装置１０は、プロセッサ９４およびシステムメモリ９６
に接続されるバス９２を備えている。プロセッサ９４は
図４のソフトウエアモジュール３４、３６および３７を
実行するように構成されるよい。イメージ要素処理装置
９８は、同様に、高周波（ＲＦ）処理チップ装置１００
と共にバス９２に接続されている。装置９８は、ぼかし
処理を含むイメージ要素処理を行うように構成されてい
る。
【００４３】赤外線照明器２８と赤外線イメージ化サブ
システム２０もまたバス９２に接続されている。表示制
御装置１１０は微小表示装置１６とバス９２に接続され
ている。バス９２に接続されている記憶装置１１２は、
フラッシュメモリのような半導体記憶装置として構成さ
れるよい。この記憶装置１１２は、本発明の一実施例で
あるソフトウエア４０と８２を記憶している。なお、記
憶装置１１２は、ぼかし処理やそのためのテーブルの検
索を行うソフトウエア１１４を記憶している。手動の入
力を行うためのキーパッド１１６を設けてもよい。マイ
クロフォンなどの他の構成要素は、簡略化のために、省
略されている。
【００４４】以上、本発明をいくつかの実施例に基づい
て説明したが、当業者にとってこれらの実施例が種々修
正および変更されうることは明らかである。しかし、そ
のような修正および変更は本発明の精神と範囲内におい
て請求の範囲に包含されるとみなされるべきである。
【００４５】
【発明の効果】以上説明したように、本発明によれば、
微小表示装置に表示された、ユーザが凝視しているイメ
ージ要素を拡大し、かつ焦点を合せ、他のイメージ要素
をぼかすことができるので、微小表示装置を観察してい
るユーザは三次元的な視覚効果を得ることができる。
【図面の簡単な説明】
【図１】ユーザの目の前に配置された本発明の一実施例
による装置の側面図である。
【図２】図１に示される装置に適した本発明の一実施例
による光学システムの概略側面図である。
【図３】図１に示される装置に適した本発明の一実施例
による光学システムの上面図である。
【図４】本発明の一実施例によるソフトウエアを示す図
である。
【図５】本発明の一実施例によるソフトウエアのフロー
チャートを示す図である。
【図６】本発明の一実施例におけるスクリーン表示を示
す図である。
【図７】本発明の一実施例における他のスクリーン表示
を示す図である。
【図８】本発明の一実施例におけるさらに他のスクリー
ン表示を示す図である。
【図９】本発明の一実施例におけるさらに他のスクリー
ン表示を示す図である。
【図１０】本発明の一実施例に利用されるさらに他のス
クリーン表示を示す図である。
【図１１】本発明に実施例による、微小表示装置が１つ
の要素の焦点を合わせて表示し、他の要素を故意にぼか
して表示する方法を示す図である。
【図１２】焦点の面とユーザの目の関係を概略的に示す
図である。
【図１３】本発明の一実施例のソフトウエアのフローチ
ャ−トを示す図である。
【図１４】本発明の一実施例によるハードウエアを示す
ブロック図である。
【符号の説明】
Ｅ ユーザの目 １０ 電子装置、光学システム １２ 接眼ピース １６ 微小表示装置 １８ ダイクロイックミラー ２０ 赤外線イメージ化サブシステム ２２ 取り込みミラー ２４ 前レンズ ２６ 後レンズ ２８ 赤外線照明器 ３４ 凝視モジュール ３６ 凝視解像モジュール ３７ 視野深さ計算モジュール
フロントページの続き Ｆターム(参考） 5B047 AA27 BA10 BC05 BC09 BC12 CA17 CA23 CB05 CB23 DC07 DC09 5B087 AE09 BC05 BC12 BC32 CC02 CC26 DE01 DE02 DE03 5E501 AA04 AB03 AC15 BA05 BA09 CA04 CC08 CC13 EA03 EA05 EA10 EA11 EA13 EB05 FA02 FA08 FA14 FB22 FB42

Claims (20)

    【特許請求の範囲】
  1. 【請求項１】 微小表示装置と、 前記微小表示装置に表示された、ユーザが凝視してい
    る、１つのイメージ要素を検出する凝視検出器と、 前記凝視検出器および前記微小表示装置に連結され、ユ
    ーザが凝視している前記１つのイメージ要素の出現を第
    １の方法で自動的に変更し、前記微小表示装置に表示さ
    れた他のイメージ要素の出現を前記第１の方法と異なる
    第２の方法で自動的に変更する装置とを含むことを特徴
    とするシステム。
  2. 【請求項２】 前記凝視検出器は、赤外線をユーザの目
    で反射させる赤外線源と、ユーザの目のイメージを取り
    込みかつ記録する赤外線イメージ化サブシステムを含む
    ことを特徴とする請求項１に記載のシステム。
  3. 【請求項３】 前記凝視検出器は、ユーザの目に現れる
    特徴を観測し、ユーザが凝視する対象を空間的に解像す
    るプロセッサを含むことを特徴とする請求２に記載のシ
    ステム。
  4. 【請求項４】 前記装置は、ユーザが凝視している前記
    イメージ要素の寸法を他のイメージ要素の寸法に対して
    相対的に変化させることによって、前記イメージ要素の
    出現を前記第１の方法によって自動的に変更する装置で
    あることを特徴とする請求項１に記載のシステム。
  5. 【請求項５】 前記装置は、ユーザが凝視している前記
    イメージ要素の焦点を他のイメージ要素の焦点に対して
    相対的に変化させることによって、前記イメージ要素の
    出現を前記第１の方法によって自動的に変更する装置で
    あることを特徴とする請求項１に記載のシステム。
  6. 【請求項６】 前記装置は、ユーザが凝視している前記
    イメージ要素に視野深さの中心を設定することによっ
    て、前記イメージ要素の出現を前記第１の方法によって
    自動的に変更する装置であることを特徴とする請求項１
    に記載のシステム。
  7. 【請求項７】 前記装置は、他のイメージ要素をぼかす
    ことによって、他のイメージ要素の出現を自動的に変更
    する装置であることを特徴とする請求項６に記載のシス
    テム。
  8. 【請求項８】 プロセッサを主体とするシステムに、 微小表示装置に表示された、ユーザが凝視している、１
    つのイメージ要素を検出し、 ユーザが凝視している前記１つのイメージ要素の出現を
    第１の方法で自動的に変更し、 前記表示装置に表示された他のイメージ要素の出現を前
    記第１の方法と異なる第２の方法で自動的に変更する、 ことを可能とさせる指令を記憶する媒体を含むことを特
    徴とする物品。
  9. 【請求項９】 前記プロセッサを主体とするシステム
    に、 ユーザが前記微小表示装置に表示された前記イメージ要
    素を凝視する時間に応答して、前記イメージ要素の出現
    を変更する、 ことを可能とさせる指令をさらに記憶する媒体を含むこ
    とを特徴とする請求項８記載の物品。
  10. 【請求項１０】 前記プロセッサを主体とするシステム
    に、 ユーザが凝視している前記イメージを、他のイメージ要
    素に対して相対的に寸法を大きくし、かつ焦点を合わせ
    ることによって、前記イメージ要素の出現を前記第１の
    方法で変更する、 ことを可能とさせる指令をさらに記憶する媒体を含むこ
    とを特徴とする請求項８記載の物品。
  11. 【請求項１１】 前記プロセッサを主体とするシステム
    に、 他のイメージの寸法を減少させかつぼかすことによって
    他のイメージの出現を前記第２の方法で変更する、 ことを可能とさせる指令をさらに記憶する媒体を含むこ
    とを特徴とする請求項１０記載の物品。
  12. 【請求項１２】 前記プロセッサを主体とするシステム
    に、 ユーザが凝視しているイメージ要素に前記表示装置の視
    野深さの中心を設定する、 ことを可能とさせる指令をさらに記憶する媒体を含むこ
    とを特徴とする請求項８記載の物品。
  13. 【請求項１３】 前記プロセッサを主体とするシステム
    に、 他のイメージ要素をぼかす、 ことを可能とさせる指令をさらに記憶する媒体を含むこ
    とを特徴とする請求項１２記載の物品。
  14. 【請求項１４】 微小表示装置に表示された、ユーザが
    凝視している、１つのイメージ要素を検出するステップ
    と、 ユーザが凝視している前記１つのイメージ要素の出現を
    第１の方法で自動的に変更するステップと、 前記表示装置に表示された他のイメージ要素の出現を前
    記第１の方法と異なる第２の方法で自動的に変更するス
    テップと、 を含むことを特徴とする方法。
  15. 【請求項１５】 ユーザが凝視している前記イメージ要
    素を変更するステップは、前記イメージ要素を公知の励
    起点の座標と比較するステップを含むことを特徴とする
    請求項１４に記載の方法。
  16. 【請求項１６】 前記イメージ要素の出現を前記第１の
    方法で変更し、他のイメージ要素の出現を前記第２の方
    法で変更するステップは、ユーザの凝視の時間に応答し
    て実行される、ことを特徴とする請求項１４に記載の方
    法。
  17. 【請求項１７】 さらに、ユーザが凝視している前記イ
    メージ要素を他のイメージ要素に対して相対的に拡大し
    かつ焦点を合わせることによって、前記イメージ要素の
    出現を前記第１の方法で変更させるステップを、さらに
    含むことを特徴とする請求項１４に記載の方法。
  18. 【請求項１８】 他のイメージ要素をぼかすことによっ
    て、他のイメージ要素の出現を前記第２の方法で変更す
    るステップを、さらに含むことを特徴とする請求項１７
    に記載の方法。
  19. 【請求項１９】 ユーザが前記微小表示装置上に表示さ
    れるイメージ要素を凝視した後、前記イメージ要素に視
    野深さの中心を設定するステップを、さらに含むことを
    特徴とする請求項１４に記載の方法。
  20. 【請求項２０】 前記微小表示装置上に表示される他の
    イメージ要素をぼかすステップを、さらに含むことを特
    徴とする請求項１９に記載の方法。
JP2001139261A 2000-05-09 2001-05-09 凝視の対象を検出する機能を有する微小表示システム Expired - Fee Related JP3993991B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/568,196 US6456262B1 (en) 2000-05-09 2000-05-09 Microdisplay with eye gaze detection
US09/568196 2000-05-09

Publications (2)

Publication Number Publication Date
JP2002041234A true JP2002041234A (ja) 2002-02-08
JP3993991B2 JP3993991B2 (ja) 2007-10-17

Family

ID=24270309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001139261A Expired - Fee Related JP3993991B2 (ja) 2000-05-09 2001-05-09 凝視の対象を検出する機能を有する微小表示システム

Country Status (2)

Country Link
US (1) US6456262B1 (ja)
JP (1) JP3993991B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545051A (ja) * 2006-07-28 2009-12-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 注視された商品の情報表示のための注視インタラクション
JP2012022632A (ja) * 2010-07-16 2012-02-02 Canon Inc 情報処理装置およびその制御方法
JP2014504413A (ja) * 2010-12-16 2014-02-20 マイクロソフト コーポレーション 理解および意図に基づく拡張現実表示用コンテンツ
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US10223832B2 (en) 2011-08-17 2019-03-05 Microsoft Technology Licensing, Llc Providing location occupancy analysis via a mixed reality device
JP2019533824A (ja) * 2016-07-25 2019-11-21 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化
US11127210B2 (en) 2011-08-24 2021-09-21 Microsoft Technology Licensing, Llc Touch and social cues as inputs into a computer

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1285326B1 (de) * 2000-05-16 2006-03-08 Swisscom Mobile AG Verfahren und terminal zur eingabe von instruktionen
US7011410B2 (en) 2000-11-22 2006-03-14 Eyetect, L.L.C. Method and apparatus for monitoring eye tremor
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
EP1410163A1 (en) * 2001-06-29 2004-04-21 Abb Ab A system and a method for user interaction
US20040125283A1 (en) * 2002-12-30 2004-07-01 Samson Huang LCOS imaging device
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
WO2004084054A2 (en) 2003-03-21 2004-09-30 Queen's University At Kingston Method and apparatus for communication between humans and devices
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US20040196399A1 (en) * 2003-04-01 2004-10-07 Stavely Donald J. Device incorporating retina tracking
US20070136064A1 (en) * 2003-04-16 2007-06-14 Carroll David W Mobile personal computer with movement sensor
US7872635B2 (en) 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US7857700B2 (en) 2003-09-12 2010-12-28 Igt Three-dimensional autostereoscopic image display for a gaming apparatus
SG113481A1 (en) * 2003-10-14 2005-08-29 Nanyang Polytechnic A method and system for localizing human iris and determining human gaze direction for statistical applications
US7091867B2 (en) * 2004-02-20 2006-08-15 Agilent Technologies, Inc. Wavelength selectivity enabling subject monitoring outside the subject's field of view
US7639208B1 (en) * 2004-05-21 2009-12-29 University Of Central Florida Research Foundation, Inc. Compact optical see-through head-mounted display with occlusion support
PT1607840E (pt) 2004-06-18 2015-05-20 Tobii Ab Controlo ocular de um computador
SE0401582L (sv) * 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
EP1913555B1 (en) * 2005-08-04 2018-05-23 Philips Lighting Holding B.V. Apparatus for monitoring a person having an interest to an object, and method thereof
EP1928295A2 (en) * 2005-09-02 2008-06-11 EL-Vision Ltd. Multi-functional optometric - ophthalmic system for testing, diagnosing, or treating, vision or eyes of a subject, and methodologies thereof
US7878910B2 (en) * 2005-09-13 2011-02-01 Igt Gaming machine with scanning 3-D display system
JP5036177B2 (ja) * 2005-12-12 2012-09-26 オリンパス株式会社 情報表示装置
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
KR100820639B1 (ko) 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
KR100845274B1 (ko) 2006-11-06 2008-07-09 주식회사 시공테크 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치
US20090113297A1 (en) * 2007-10-24 2009-04-30 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Requesting a second content based on a user's reaction to a first content
US9582805B2 (en) 2007-10-24 2017-02-28 Invention Science Fund I, Llc Returning a personalized advertisement
US9513699B2 (en) * 2007-10-24 2016-12-06 Invention Science Fund I, LL Method of selecting a second content based on a user's reaction to a first content
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8155479B2 (en) 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
JP2010004118A (ja) * 2008-06-18 2010-01-07 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
WO2010026520A2 (en) * 2008-09-03 2010-03-11 Koninklijke Philips Electronics N.V. Method of performing a gaze-based interaction between a user and an interactive display system
US20100182232A1 (en) * 2009-01-22 2010-07-22 Alcatel-Lucent Usa Inc. Electronic Data Input System
DE102009010263B4 (de) * 2009-02-24 2011-01-20 Reiner Kunz Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung
US20100235786A1 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8810401B2 (en) 2009-03-16 2014-08-19 Nokia Corporation Data processing apparatus and associated user interfaces and methods
GB2468731A (en) * 2009-06-26 2010-09-22 Nokia Corp Users gaze direction controlled antenna
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
IT1399456B1 (it) * 2009-09-11 2013-04-19 Sr Labs S R L Metodo e apparato per l'utilizzo di generiche applicazioni software attraverso controllo oculare e opportune metodologie di interazione.
US20110164032A1 (en) * 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9557812B2 (en) * 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US9916006B2 (en) * 2010-07-23 2018-03-13 Telepatheye Inc. Eye-wearable device user interface and method
US9977496B2 (en) * 2010-07-23 2018-05-22 Telepatheye Inc. Eye-wearable device user interface and augmented reality method
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US20120254791A1 (en) * 2011-03-31 2012-10-04 Apple Inc. Interactive menu elements in a virtual three-dimensional space
KR20120121149A (ko) * 2011-04-26 2012-11-05 삼성전자주식회사 터치스크린 단말기에서 아이콘 배치 방법 및 장치
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
JP6144681B2 (ja) 2011-08-30 2017-06-07 マイクロソフト テクノロジー ライセンシング，エルエルシー 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ
EP2754005A4 (en) * 2011-09-08 2015-04-22 Intel Corp LOCATION SELECTION BASED ON LOOK FOR AUDIOVISUAL READING
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US9684374B2 (en) 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US8988519B2 (en) * 2012-03-20 2015-03-24 Cisco Technology, Inc. Automatic magnification of data on display screen based on eye characteristics of user
US11169611B2 (en) 2012-03-26 2021-11-09 Apple Inc. Enhanced virtual touchpad
US9471763B2 (en) * 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
US20130300634A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
EP2706396A1 (en) * 2012-09-06 2014-03-12 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for adapting the optical function of an adaptive ophtalmic lenses system
US20140092006A1 (en) * 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
US20140118243A1 (en) * 2012-10-25 2014-05-01 University Of Seoul Industry Cooperation Foundation Display section determination
US9626072B2 (en) 2012-11-07 2017-04-18 Honda Motor Co., Ltd. Eye gaze control system
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
CN104903818B (zh) 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
JP6375591B2 (ja) * 2013-01-15 2018-08-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9500866B2 (en) 2013-04-04 2016-11-22 Texas Instruments Incorporated Near display and imaging
GB201310376D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
DE102013226973B4 (de) * 2013-12-20 2019-03-28 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur gleichzeitigen Darstellung eines medizinischen Bildes und eines grafischen Bedienelementes
US9639152B2 (en) * 2013-12-30 2017-05-02 Lenovo (Singapore) Pte. Ltd. Display alignment based on eye tracking
US11010042B2 (en) * 2014-02-13 2021-05-18 Lenovo (Singapore) Pte. Ltd. Display of different versions of user interface element
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
US9443102B2 (en) 2015-01-19 2016-09-13 International Business Machines Corporation Protecting content displayed on a mobile device
WO2016142933A1 (en) * 2015-03-10 2016-09-15 Eyefree Assisting Communication Ltd. System and method for enabling communication through eye feedback
DE102015007245A1 (de) 2015-06-05 2016-12-08 Audi Ag Verfahren zum Betreiben einer Datenbrilleneinrichtung und Datenbrilleneinrichtung
US10464482B2 (en) * 2015-07-21 2019-11-05 Utherverse Digital Inc. Immersive displays
US10713501B2 (en) * 2015-08-13 2020-07-14 Ford Global Technologies, Llc Focus system to enhance vehicle vision performance
EP3341816A1 (en) * 2015-08-28 2018-07-04 Thomson Licensing Assisted item selection for see through glasses
US9709807B2 (en) * 2015-11-03 2017-07-18 Motorola Solutions, Inc. Out of focus notifications
CN105911694B (zh) * 2016-03-30 2019-11-15 努比亚技术有限公司 一种虚拟现实设备及其移动终端
US10684479B2 (en) 2016-06-15 2020-06-16 Vrvaorigin Vision Technology Corp. Ltd. Head-mounted personal multimedia systems and visual assistance devices thereof
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10183231B1 (en) * 2017-03-01 2019-01-22 Perine Lowe, Inc. Remotely and selectively controlled toy optical viewer apparatus and method of use
CN106959759B (zh) * 2017-03-31 2020-09-25 联想(北京)有限公司 一种数据处理方法及装置
CN108733203A (zh) * 2017-04-20 2018-11-02 上海耕岩智能科技有限公司 一种眼球追踪操作的方法和装置
EP3721320B1 (en) 2017-12-07 2022-02-23 Eyefree Assisting Communication Ltd. Communication methods and systems
CA3122315A1 (en) 2018-02-22 2019-08-29 Innodem Neurosciences Eye tracking method and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651901A (ja) * 1992-06-29 1994-02-25 Nri & Ncc Co Ltd 視線認識によるコミュニケーション装置
JPH07282086A (ja) * 1994-04-15 1995-10-27 Matsushita Electric Ind Co Ltd 文書検索装置
JPH1078845A (ja) * 1996-06-25 1998-03-24 Sun Microsyst Inc 視標追跡主導型テキスト拡大の方法および装置
JP2000089879A (ja) * 1998-09-08 2000-03-31 Nec Corp 表示生成方法および装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
US4479784A (en) * 1981-03-03 1984-10-30 The Singer Company Eye line-of-sight responsive wide angle visual system
US4513317A (en) * 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
JP2974383B2 (ja) 1990-08-21 1999-11-10 キヤノン株式会社 視線検出装置及び視線検出装置を有する機器
US5905525A (en) * 1995-07-13 1999-05-18 Minolta Co., Ltd. Image display apparatus having a display controlled by user's head movement
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
GB2314664A (en) * 1996-06-27 1998-01-07 Sharp Kk Address generator,display and spatial light modulator
US5771124A (en) 1996-07-02 1998-06-23 Siliscape Compact display system with two stage magnification and immersed beam splitter
US6315273B1 (en) * 1999-05-27 2001-11-13 Lionel Davies Gas and liquid contact apparatus: illuminated

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651901A (ja) * 1992-06-29 1994-02-25 Nri & Ncc Co Ltd 視線認識によるコミュニケーション装置
JPH07282086A (ja) * 1994-04-15 1995-10-27 Matsushita Electric Ind Co Ltd 文書検索装置
JPH1078845A (ja) * 1996-06-25 1998-03-24 Sun Microsyst Inc 視標追跡主導型テキスト拡大の方法および装置
JP2000089879A (ja) * 1998-09-08 2000-03-31 Nec Corp 表示生成方法および装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545051A (ja) * 2006-07-28 2009-12-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 注視された商品の情報表示のための注視インタラクション
JP2012022632A (ja) * 2010-07-16 2012-02-02 Canon Inc 情報処理装置およびその制御方法
JP2014504413A (ja) * 2010-12-16 2014-02-20 マイクロソフト コーポレーション 理解および意図に基づく拡張現実表示用コンテンツ
KR101935061B1 (ko) * 2010-12-16 2019-01-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 증강 현실 디스플레이를 위한 이해 및 의도-기반 컨텐트
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US10223832B2 (en) 2011-08-17 2019-03-05 Microsoft Technology Licensing, Llc Providing location occupancy analysis via a mixed reality device
US11127210B2 (en) 2011-08-24 2021-09-21 Microsoft Technology Licensing, Llc Touch and social cues as inputs into a computer
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
JP2019533824A (ja) * 2016-07-25 2019-11-21 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化
US11327312B2 (en) 2016-07-25 2022-05-10 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
JP7182538B2 (ja) 2016-07-25 2022-12-02 マジック リープ， インコーポレイテッド 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化
US11808943B2 (en) 2016-07-25 2023-11-07 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear

Also Published As

Publication number Publication date
US6456262B1 (en) 2002-09-24
JP3993991B2 (ja) 2007-10-17

Similar Documents

Publication Publication Date Title
JP3993991B2 (ja) 凝視の対象を検出する機能を有する微小表示システム
US20060044399A1 (en) Control system for an image capture device
US6394602B1 (en) Eye tracking system
JP5828070B2 (ja) 撮像装置および撮像方法
JP2003521950A6 (ja) 視標追跡システム
US9160931B2 (en) Modifying captured image based on user viewpoint
JP2002529763A (ja) 視線追跡システム
JP2004312733A (ja) 網膜トラッキングを組み込んだ装置及び方法
US8836841B2 (en) Electronic apparatus
WO2022262581A1 (zh) 虚拟现实显示设备、画面呈现方法、存储介质及程序产品
JP4241460B2 (ja) 電子撮像装置
CN111886564A (zh) 信息处理装置、信息处理方法和程序
JPH0846846A (ja) 撮像装置
CN112738397A (zh) 拍摄方法、装置、电子设备及可读存储介质
CN104000555A (zh) 眼底信息获取装置、方法和程序
JP2001036901A (ja) 画像処理装置及び画像処理方法並びにメモリ媒体
KR100960269B1 (ko) 눈동자 시선 추정 장치 및 추정 방법
JPH089219A (ja) カメラ
JP2024504159A (ja) 撮影方法、装置、電子機器及び可読記憶媒体
JPH1172717A (ja) 顕微鏡デジタル写真撮影システム
CN112672058B (zh) 拍摄方法及装置
EP3139586B1 (en) Image shooting processing method and device
CN104427226A (zh) 图像采集方法和电子设备
JP2012238088A (ja) 画像選択表示方法および装置
KR20130068943A (ko) 동작 인식을 이용한 차량주변 촬영시스템

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040903

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060125

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070730

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100803

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110803

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees