JP2013535022A - 凝視距離および低電力凝視追跡によって動かされる適応レンズを有する眼鏡を製作し使用するためのシステム、方法および装置 - Google Patents

凝視距離および低電力凝視追跡によって動かされる適応レンズを有する眼鏡を製作し使用するためのシステム、方法および装置 Download PDF

Info

Publication number
JP2013535022A
JP2013535022A JP2013513259A JP2013513259A JP2013535022A JP 2013535022 A JP2013535022 A JP 2013535022A JP 2013513259 A JP2013513259 A JP 2013513259A JP 2013513259 A JP2013513259 A JP 2013513259A JP 2013535022 A JP2013535022 A JP 2013535022A
Authority
JP
Japan
Prior art keywords
glint
eye
led
gaze
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013513259A
Other languages
English (en)
Inventor
ウェンユー・ジアーン
Original Assignee
ウェンユー・ジアーン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェンユー・ジアーン filed Critical ウェンユー・ジアーン
Publication of JP2013535022A publication Critical patent/JP2013535022A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08Auxiliary lenses; Arrangements for varying focal length
    • G02C7/081Ophthalmic lenses with variable focal length
    • G02C7/083Electrooptic lenses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08Auxiliary lenses; Arrangements for varying focal length
    • G02C7/081Ophthalmic lenses with variable focal length
    • G02C7/085Fluid-filled lenses, e.g. electro-wetting lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C2202/00Generic optical aspects applicable to one or more of the subgroups of G02C7/00
    • G02C2202/24Myopia progression prevention

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Eyeglasses (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

少なくとも一つの適応レンズ、電力源および目トラッカを含む修正近視眼のための電気光学装置および方法が記載される。目トラッカはイメージ・センサを含み、プロセッサは有効に適応レンズおよびイメージ・センサにつながる。プロセッサは、イメージ・センサから電気信号を受け取り、適応レンズの修正力を、ユーザの凝視距離および近視眼処方強さに依存している修正パワーについては、近視眼を修正するために制御するように構成される。目グリント追跡の低い電力消費の方法を更に記載する。
【選択図】図12

Description

優先権主張
[0001] 本出願は、2010年5月29日に出願された米国仮特許出願番号第61/349,830号に基づく優先権を主張し、その全体をリファレンスとしてここに組み入れる。この開示は、PCT出願の付録のリファレンスの各々を包含する。
[0002] 本出願は、一般に光学および電子機器の分野に、そして、特に装置および眼鏡および他の光デバイスの制御適応レンズのための方法に関する。
[0003] 現代の眼鏡は、慣習的に、患者の間に最も一般で一般的な徴候である近視眼については、患者またはユーザの展望を修正するために用いる。以下では、用語「患者」と「ユーザ」は交換可能に使用される。近視眼のメイン原因は、もっともらしくより高い光学力(より厚い形状)を必要とすることができる近い対象物に集中することのあまりに長い継続期間による低い光学力(またはより薄い形状)に戻る目自身の水晶体(以下に「接眼レンズ」)の不能である。
[0004] 患者が若い年齢で概して最初に近視眼と診断され、彼または彼女の補正処方はしばしば比較的低い光学力(例えば-1.5のジオプタ)であり、患者が見ることができる対象物は、1/1.5m = 0.667m = 66.7cmまで見ることが出来る。患者は学生が教室設定の黒板を読み込むために眼鏡をかけると言うときに、彼または彼女は多くの効果のないテキストを見ることになる。しかし、患者が教科書を読むかまたはノートおよび教科書の注を書くことを試み、または、ノートが患者の目から30cmの近い距離であるときに、仮想イメージが眼鏡によって形成した光学的方程式を利用することは30cmの代わりに20.6cmのl/(-1.5)距離であることができる。したがって、患者は繰り返し黒板(それは心身を疲れさせてもよい)に読み書きをして、注目すること間の彼または彼女の焦点を変えなければならない、そして、近い距離の遠近調節(または焦点の変更)はより強くてもよいか患者がいかなる眼鏡もかけないかどうかより大きくてもよい。焦点のこの安定した変更は患者の接眼レンズが原物の-1.5のジオプタにさえ戻る能力に失わせることができる、読み書きをする長引く期間の後、さらに高い光学力を圧入する。その理由は、効果的に患者の読み書きをすることの間、66.7cmおよびこれの代わりに20.6cmの目の中で摩耗して不健康な焦点は現れることができるからである。段階的に、一対のより高い度付き眼鏡は患者によって必要である。そして、それは順番に患者の接眼レンズを不必要に高い光学力に駆りたてることができる。結局、接眼レンズ(それは、人によって変化することができる)の機械の特性はレンズがどれくらい非常に圧縮されることができ、制限を賦課することができ、それによってユーザの処方強さを安定させる。しかし、処方強度は、元の処方より非常に高い処方を必要とする大きな損失で安定する。
[0005] 2焦点、多焦点および進歩的なレンズが、目的を読み込んで使われて、老眼をもつユーザに向けようとした(焦点に集まる不能が距離に近づいて、例えばいつの着用の正常な処方通常中年の視力に影響を及ぼし始める眼鏡)。患者がレンズの下部の処方部分を使用することを必要とするという点で、二焦点眼鏡、多焦点およびプログレッシブレンズは制限され、それはしばしば不都合である。さらに、目介護の専門家は、これらの種類のレンズが近視眼患者の代わりに老眼患者のためのものであると思っているようである。
[0006] ロアノーク(ヴァージニア)のPixelOptics社は距離を見ることで、それらの眼鏡が厳しく、いったいどのように老眼ユーザおよび/または年上の患者を対象とするかについて次第に焦点距離を変える適応レンズを使用している一種の眼鏡を発表し、本願はあらゆる世代の患者のための近視眼に対処する。さらに、本願は患者には課題がない処方が近い距離で反対すると仮定すると、焦点距離が、構成されるというPixelOptics適応レンズと識別可能であり、PixelOptics眼鏡はこの種の適合を実行することは公知でない。さらに、PixelOptics眼鏡は漠然と目追跡を実行するが、しかし、本願によって開示されるように、特定のものは追跡されない。米国特許第7,517,083号(潜在的にPixelOpticsに割り当てられる)は、適応レンズの焦点距離を制御するために目または凝視追跡の使用を提案する。しかし、特許は目追跡を実行することに関する充分な詳細を提供せず、単にLEDの使用および瞳孔(それは瞳孔に基づく目追跡を提案する)の端を検出するためのイメージ・センサに言及するだけであるが、しかし、詳細は小さいフォームファクタを有する与えられた履行瞳孔追跡でなく、加えて、瞳孔間の距離は距離を見ることを決定することに関する特許において提案される。しかし、患者が横に見るときに、距離を算出するために「照準線」交差方法を使用することは一般により正確であるのに対して、瞳孔間の距離は完全に正確でない。さらに、瞳孔間の距離の概念は同じ凝視距離が両眼からあると暗に仮定するが、しかし、ユーザが直進(例えば、上または下は受け入れられる)ように見える場合にだけ、それは真実である。たとえば、特に近い対象物のために、左側に目を向けるときに、左の目は右の目よりその対象物に近い。照準線交差方法は、この課題に遭遇しない。
[0007] 距離測定器方法はまた、米国特許第7,517,083号(それは一般に最も近いまっすぐな対象物を見つける)において議論され、それは凝視距離を見つけることと同様でない。さまざまなPixelOptics文献およびプレス・リリースによれば、その新しく発表された眼鏡は、「あなたに見えているところを知っていること」ができてもよい。
[0008] 更に「自分の調和的な収束近いまたは中距離焦点に集まっているニーズを修正するために近点焦点の範囲を算出する」老眼ユーザの焦点に集まっている必要にあてはまるようである漠然とした説明であり、焦点に集まることは近視眼ユーザの中で必要としない、追跡システムを使用している。
[0009] 加えて、アメリカ特許番号第7,517,083号が多くの場合より共通に起こっている異常(例えば近視眼)の代わりに視力(例えば乱視)の非従来の異常を修正して、利用される目追跡の種は、討議された。実際問題として、目または凝視追跡は、複雑で、特に小さいフォームファクタ・コンテキストで、より明白でより完全な詳細において議論されなければならない概念である。
[0010] それ自体を追っている目または凝視は、何十年も周辺にあって、履行にまだ些細でない複雑な主題である。目または凝視追跡を囲んでいる技術は有意に進み、高額を使うために光学製造業者が数千ドルの中でも上方で売られられることができる商業的なトラッカ(Head-Mounted Eye Trackers)を作って、生産することを可能にした。既存の調査は、Head-Mounted Eye Trackersが比較的大きく、エネルギー(おそらく数百mWも)の有意な量を消費することを示唆する。
[0011] 2009年の論文「A 200 μs Processing Time Smart Image Sensor for an Eye Tracker Using Pixel-Level Analog Image Processing」は、lOOmWピーク消費で直接目追跡を実行する高性能なCMOSイメージ・センサを解説する。Dongsoo Kim, Gunhee Han (Dept. of Electrical Engineering, Yonsei University, Seoul, Korea), A 200 μs Processing Time Smart Image Sensor for an Eye Tracker Using Pixel-Level Analog Image Processing, 44 IEEE JOURNAL OF SOLID-STATE CIRCUITS 2581-90 (2009年9月) (Volume 44, Issue 9)を参照のこと。論文は、目トラッカの低出力設計の現在の最高水準の技術を議論して、サブmW消費を展開することを試みることはどのように鍵となる設計ゴールについて示す。しかし、論文はサブmW消費を成し遂げない。上記の論文において議論される設計は、1秒につき5000トラッキングをサポートする。このように、追跡の数が1秒につきちょうど50の追跡になる場合、完全電力消費は1mWになることが可能である。
[0012] 2004年の論文「Ambient-Light-Canceling Camera Using Subtraction of Frames」は、時間とともに調整される(オン/オフ)二重露出が照明およびそれから減算を周囲光(背景)干渉をキャンセルするために制御したと提案する。NASA's Jet Propulsion Laboratory (Pasadena, California), Ambient-Light-Canceling Camera Using Subtraction of Frames, NASA TECH BRIEFS, NPO-30875 (2004年5月), available at: http://findarticles.com/p/articles/mi_qa3957/is_200405/ai_n9457885/?tag=content;coll.を参照のこと。減算は、ハードウェアの代わりにソフトウェアでされることができる。
[0013] 加えて、ザミール認識システム(TNおよびエルサレム(イスラエル)の両方のそばのノックスヴィルにある会社)による米国特許公報No.2008/0203277は、ハードウェアで以外で、上述の2004年のNASA論文の上述のアプローチと同様の方法を記載する。2つのアプローチが、上述の特許公報に概説されており、それは (i)上述の2004年のNASA論文のような制御された光で時間調整(オン/オフ)を使用したアプローチと、(ii)特定の制御頻度をより受け入れる周波数変調(AM/FMラジオ・チューニングと同様の)を使用するアプローチである。周波数変調方法は、時間調整された方法と比較して履行がより複雑でもよい。カメラの各々のピクセルは、コンデンサを備えている。時間-調整された方法はピクセルの1本の列またはピクセルのチャージ2本の列の各々のピクセルのコンデンサを充電して、放電して使用することができ、減算を実行する。
[0014] 米国特許公報No.2008/0203277の図3は静電気危険を呈するようであり、それは論理的にチャージ放電方法の全体的な設計と一致していない。さらに、2ピクセルの配列を有する時間-変調方法のために、ハードウェアまたはソフトウェアの信号の減算は、提案される。ハードウェア減算(米国特許公開番号2008/0203277に従来技術方法が例えば使われることを示唆するように見える)により、差動演算増幅器がアナログの領域の減算モジュールとして、概して使われ、デジタル化の後の演算装置がデジタル領域の減算モジュールとして、概して使われる。
[0015] 図に対する能力は、近視眼の初期の患者が一時的に回復することができ、反対の遠くの距離で彼らが遠くに実際にその延長期間の対象物を見る。これは、おそらく弛緩した接眼レンズを単独でより薄い形状へ戻らせている筋肉によって達成されることができる。したがって、まだ、視力および充分な視力修正を維持すると共に、筋肉が可能な限り弛緩することができる方法で、眼鏡が設計される場合、ユーザは潜在的に彼または彼女の近視眼症を減らしておよび/または処方強度の更なる増加を予防することが可能である。これは、適応焦点距離を有するレンズを用いて達成されることができる。遠視のための患者の処方強さが公知の場合、それから目緩和の最大レベルで、この種の眼鏡は十分で満足なレベルでちょうど十分な視力修正または視力修正を必要に応じて提供するために同程度の修正だけを提供することが可能である。このように、患者は不必要にそれを増やすことよりむしろ彼または彼女の元の処方を維持することが可能である。(遠い距離の方へ)目が焦点に集まりたいという衝動を与えられることができるように、また、少ない量によって一組のレンズの補正力を減らすことが可能でさえあってもよく、このことによりできる限り近視眼の影響を逆転させる。
[0016] 上記の方法は遠くに「凝視距離」を決定させ、または正確に方法のための手段と組み合わせて、適応レンズ技術(例えば、液体流入などを有するエレクトロウェッティング(electrowetting)、液晶、液体レンズ)を使用して実装されることができ、患者は少し離れて対象物に注目するときに、焦点に集まってある。凝視距離が必ずしも最も近い正面対象物までのまっすぐな距離であるというわけではない。その理由は、(例えば)横に一瞬見ることで直視することが可能だからである。
[0017] 凝視距離に関する新しい診察は、それが各々の目の照準線に依存し、人間の目がステレオ展望と認める方法のために、それらの2本の照準線の交差している距離に等しくてもよいということである。
[0018] 上記の方法の実施形態は、都合よくグリント追跡を利用する方法を使用する。ある実施形態では、従来技術の方法と結合されるとき、較正なしの効果がある方法が提供される。ある実施形態では、方法はActive Pixel Sensor(APS)エレメントを修正することによってスマートCMOSイメージ・センサを使用して非常に低パワーのグリント追跡を実行するために提供される。
[0019] ある実施形態では、本願はソースに適切に配置される2つのコンデンサ以外のピクセルおよびMOSFETトランジスタの入口の1つの配列を利用することができ、それはこのようにグリント検出を容易にする。この方法は、アメリカ特許公開番号2008/0203277の上記の時間-変調アプローチから識別可能で、また、より少しのピクセルを用いることができる。また、アメリカ特許公開番号2008/0203277の上記の時間および周波数変調アプローチは、より全体的なイメージ捕獲のために、そして、グリント検出以外のために設計される。比較において、本願の2-コンデンサ・デザインは、強力ないかなる光度でもピクセルを検出する代わりに、グリントだけ(glint-only)を本質的に検出し、低電力で実質的に減算を実行する新規な方法である。
[0020] ある実施形態では、本願は、簡単に使える低パワー消費(サブmW)視覚装置を提供し、それは経済的な方法で製造されることができる。
[0021] ある実施形態では、視聴の全ての距離範囲で近視眼をもつユーザのために必要な遠近調節の量を減らす新型の眼鏡が提供され、それによって近視眼の進行を眼精疲労を減らすか、希望を持って減速するか、安定させるかまたは逆転させさえする。眼鏡はそのレンズの光学力を適応させることができ、遠近調節の減少する量は完全な処方強度眼鏡をかけることと比較して近視眼ユーザに要求される。減少した遠近調節量は、完全な処方強度眼鏡より小さくいが、依然として正である。これは収束との潜在的な関係および脳が装う遠近調節を維持するのを助けることができる。その結果、患者が彼または彼女の眼鏡を取り去るときに、脳がそれが異なる距離のための接眼レンズを再び集中させなければならないということを知っているので、彼/彼女はまだ自然に見えることが可能である。別の実施形態では、減少する遠近調節量は最高を僅かに超えてもよく、ユーザは明らかに100%を見なくて、遠い距離の方の焦点に集まりたくなり、それによって、接眼レンズがより薄い形状(そして、低い力)に戻り、潜在的に近視眼の進行を逆転させるのを助ける。眼鏡は視聴距離を知っていることを必要とするかもしれず、それは凝視距離で測定される。本願によって提供される目または凝視トラッカは、赤外線LED照明から目グリントを追うことに基づいている。目または凝視トラッカは、実装に容易でもよい(眼鏡の)埋め込み用途に適しており、、較正のない使用を容易にする従来技術の方法と結合される。
[0022] ある実施形態では、眼鏡に用いられる凝視トラッカは、インプリメントするのが容易である必要があるだけでなくて、非常に低い電力消費を有する。設計ゴールは、好ましくは追跡の活発な期間の間に、サブmW電力消費を有することである。ピクセルがオンにされる場合にだけ、本願に従う実際の設計はスマートCMOSイメージ・センサのActive Pixel Sensor(APS)を修正するために用いることができ、顕著な力を消費し、入射光が十分に強い(例えば、グリントはピクセルに捕えられる)場合だけ、ピクセルがオンにされることができる。この方法は、非常に低いパワーデザイン(おそらく活発な期間の間の0.1mW未満)をサポートする。より単純な実施では、2つの方法が記載され、より複雑で、背景光干渉に対してより高いイミュニティを有する。従来の方法(特に上で議論されるKimおよびHan論文)とは対照的に、ここで開示されたシステム及び方法は、活発な期間の間にさえサブmW電力消費を支持することができる設計を提供する。例えば、1μA電流制限トランジスタが負荷として使われ、3Vの電力供給がまた使われる場合、例えば、10のグリントピクセルが凝視トラッカ・カメラによって捕えられるイメージにおいて予想される場合、本願の設計のグリント検出回路(グリントに基づく凝視トラッカの一部として)は活発な期間の間に30μWのオーダーで消費されるだけである。また、上記の2009年の論文によって議論される目トラッカは、瞳孔の単に中心だけを追うのに対し、本願はグリント(それは1ピクセルだけまたはピクセルの小さい一群だけであってもよい)を追い、非常により単純でより強い回路設計図を作る。
[0023] ある実施形態では、それらの光学力を凝視距離に基づいて調整する眼鏡の新しい実施形態が提供され、例えば、この種のユーザが近い距離に注目するとき、遠近調節の量が減少されるように近視眼をもつユーザに要求される。ユーザが遠いか近くの対象物に注目するかどうか、眼鏡によってユーザが可能な限り彼または彼女の目を弛緩させることができ、それは近視眼の進行を減速して、おそらく逆転させるのを助けることができる。眼鏡によって実行される光学調整は、例えば適応レンズを用いて可能にすることができ、適応レンズは、例えばエレクトロウェッティング(electrowetting)、液晶および液体流入を有する液体レンズなど授受の方法でインプリメントされることができる。
[0024] ある実施形態では、凝視距離評価のための凝視追跡を実行する方法が、提供される。方法はちょうどグリント追跡を必要とすることができ、それはインプリメントしやすくてもよい。方法はまた、そのステップの従来技術の自動較正方法と組み合わせることによって較正をなくすことができ、またはこの種の従来技術の自動較正方法から進む。1つのLED照明および2つ以上のカメラの使用法については、例えば、方法はまた、低い複雑さの実施を容易にすることができる。
[0025] ある実施形態ではまた、活性化ピクセルセンサ(APS)を修正することができた高性能なCMOS(相補形金属酸化膜半導体)イメージ・センサを用いて、例えば、カメラのグリント追跡を実行する非常に低い力の(例えばサブmWまたはミリ・ワット)方法が提供される。(消費する顕著な力で)ピクセルがオンにされ、それが潜在的にグリントピクセル(例えば、強い十分な光度を有する)である場合だけ、修正されたAPSは非常に低い力を消費することができる。近赤外線狭帯域フィルタは、背景光干渉に対するイミュニティを改善するために好適な方法として利用されることができる。露出時間はまた、通常のイメージ捕獲の率と比較して減少させることができ、それはLED照明のためのグリントのみの検出および低い電力消費を容易にすることができる。換言すれば、LEDが常に「オンである」必要があってはならない。ある実施形態では、より強いイミュニティをAPSの出力信号との入出力を行うために2つの露出時間および修正された電源のためのAPSの2台のコンデンサを使用するに際して背景光干渉にとってサポートする上述方法の異型を提供されることができる。ある実施形態では、しかし、いずれの2台のコンデンサ、および/または、修正された電源の使用のない先に述べた方法(例えば背景光に対するより強いイミュニティ)の類似したゴールを達成する上述の方法の異型がまた、提供されることができる。
[0026] 実施形態は単なる例示であり、添付の図面に限定されず、図において同じ参照番号は同じエレメントを示す。
[0027] 図1は、本願の一実施形態による凝視距離および低電力凝視追跡によって動かされる適応レンズを有する眼鏡で、協調して使用されるハードウェア装置の実施形態を示す。 [0028] 図2は本願の一実施形態による、異なる遠近調節減少モードのグラフを示す。 [0029] 図3は、本願の一実施形態による目または凝視追跡の回転角度ペアの具体例を示す(方位角αおよび仰角β)。 [0030] 図4は、従来の3-トランジスタ活性ピクセル・センサ(3TAPS)を示す。 [0031] 図5は本願の一実施形態による、電流制限器を有する修正された3T-APSを示す。 [0032] 図6は本願の一実施形態による、共有トランジスタを有する修正された3T-APSを示す。 [0033] 図7は、従来の4-トランジスタAPS(4T-APS)を示す。 [0034] 図8は本願の一実施形態による、電流制限器および共有トランジスタを有する修正された4T-APSを示す。 [0035] 図9は、本願の一実施形態による、n-基板フォトダイオードを有する低出力グリント検出を実行している修正された3T-APSを示す。 [0036] 図10は本願の一実施形態による、2つの露出時間の2-コンデンサAPSベース電圧相違を示す。 [0037] 図11は本願の一実施形態による、フォトダイオードが継ぎ目なく他のMOSFETと統合される流線形のレイアウトを示す。 [0038] 図12は本願の一実施形態による、適応レンズおよび凝視追跡を有する一対の眼鏡の実施形態を示す。
[0039] 特定の特徴、構造または特徴が実施形態と関連して記載され、「一実施形態」または「実施形態」手段に対するこの明細書のリファレンスは、本開示の少なくとも一つの実施形態に含まれる。フレーズ「実施形態において」の明細書のさまざまな箇所の体裁は、必ずしも全て同じ実施形態に関連しているというわけではなく、他の実施形態を除いて相互に別々でもなく、別の実施形態でもない。さらに、いくつかの実施形態によって、そして、それ以外によって呈するさまざまな特徴が、記載されている。同様に、他の実施形態以外のいくつかの実施形態の必要条件であるさまざまな必要条件は、記載されていない。
[0040] 図1は、本願の一実施形態による凝視距離および低電力凝視追跡によって動かされる適応レンズを有する眼鏡で、協調して使用されるハードウェア装置の実施形態を示す。図1は、組込型装置のさまざまなコンポーネントを例示すると共に、それはいかなる特定のアーキテクチャもまたはコンポーネントを相互接続する方法を表すことを対象物としない。いくつかの実施形態は、図1に示されるそれらより少しで又はより多くのコンポーネントを有する他のシステムを使用することができる。
[0041] 図1において、データ処理システム100は内部連絡102(例えばバスおよびシステム・コアロジック)を含み、それはマイクロプロセッサ103およびメモリ108を相互接続する。マイクロプロセッサ103は、図1の実施形態のキャッシュメモリ104に連結する。
--/M
[0042] 内部連絡102は、一緒にマイクロプロセッサ103およびメモリ108を相互接続し、更にディスプレイ・コントローラ(表示装置107)にそれらを相互接続するセンサ109、そして、周辺機器にとって、装置は例えば入力して/入出力コントローラ 106で(I/O)装置105を出力する。
[0043] センサ109は、CMOSまたはCCDイメージ・センサを含むことができる。例えば、センサ109は、装置の方位を決定し、および/または、あるいは、他の実施形態(ユーザの近くで音を録音する音声記録器材)としてまたはさらにもう一つの実施形態、測定する光デバイス、オブザーバか記録視覚のデータとして、装置の振れを検出するために加速度計を更に含むことができる。
[0044] 典型的な入出力装置は、マウス、キーボード、モデム、ネットワークインターフェース、プリンタ、スキャナ、ビデオ・カメラ、タッチパッド、マイクロホンおよび公知技術である他の装置を含む。実施形態によっては、データ処理システムがサーバ・システムであるときに、いくつかの入出力装置(例えばプリンタ、スキャナ、マウスおよび/またはキーボード)は任意である。
[0045] 内部連絡102には、さまざまなブリッジ、コントローラ、及び/又は、アダプタを介して互いに接続している一つ以上のバスを含めることができる。ある実施形態では、入出力コントローラ106は、制御USB周辺機器のためのUSB(ユニバーサルシリアルバス)アダプタおよび/または制御IEEE-1394の周辺機器のためのIEEE-1394のバス・アダプタを含む。
[0046] メモリ108は、ROM(読出し専用メモリ)、揮発性RAM(ランダム・アクセス・メモリ)および不揮発性メモリ(例えばハードディスク、フラッシュメモリ)等を含むことができる。
適応レンズ技術
[0047] 上記したように、眼鏡をかけないときと比較して完全な度付き眼鏡をかけるとき、近視眼患者は近い対象物に注目するとき、それらの接眼レンズに適応しなければならないという事実で苦しみ、それによって、不必要に光学力で高いままのそれらの接眼レンズが強制される。長引く使用によって、接眼レンズは多分それらの最初の形状に戻ることができず、このように患者の近視眼処方を増やす。眼鏡なしで、あまり長い間、近い距離で見ることは、目にとって良い習慣でない。眼鏡については、課題は非常に更に悪化する。
[0048] したがって、近視眼患者に要求される遠近調節の量を減らすために、大部分の実際的な距離の対象物に注目するとき、その焦点距離または光学力を調整する新型の眼鏡を提供する。眼鏡に用いられるこの種の適応レンズの鍵となる必要条件は小型性であり、その必要条件は通常大部分のカメラにおいて使用される多焦点組合せレンズを除外し、それは通常あまりに大きくて、動く部分を必要とする。しかし、光学的技術の最近の成果は、適応レンズを現実にした。例えば、electrowettingに関する液体レンズ、液晶レンズおよび流体流入(fluid injections)のような数種類の適応レンズ設計が存在する。electrowettingに関しては、Principle of Electrowetting based Lenses and Applications to Imaging, B. Berge, Varioptic, Proceedings of the MEMS 2005 conference, Jan 30- Feb 3 2005-02-05を参照し、かかる開示は本願明細書に引用したものとする。液晶レンズに関しては、米国特許第7,517,083号を参照し、それは本願明細書に引用したものとする。液体流入を有するレンズに関しては、Liquid Lens Innovations; Camera PhonesのTakes Initial Form、K. J. Kabza、2006年2月9日を参照し、本願明細書に引用したものとする。伝えられた適応レンズ技術がフォームファクタのような韻律学、焦点距離の範囲および電力消費に特定の望ましい要求を満たす限り、それらは本願によって提供される眼鏡の用途に適している。さらに、適応レンズは、所望の光学的レンジを成し遂げ、および/または、コスト効果を改良するために(例えば、一緒に2つのレンズを刺したような)固定力レンズ(fixed power lens)と結合されることができる。
遠近調節減少のモード
[0049] 図2は本願の一実施形態による、異なる遠近調節減少モードのグラフを示す。グラフ200は部分的な減少モード・プロット線202、完全な減少モード構想204、オーバードライブ減少モード・プロット線206を含み、従来のレンズ・プロット線208は、y軸がジオプタ、およびx軸の補正レンズの光学力であるメーターで(可変の「u」によって表される)の本当の被写体との距離である。
[0050] 必須の遠近調節の量の減少のレベルに、いくつかのモードがあり得る。第1のモードにおいて完全な減少モード−それは、完全な減少モード構想204によって表される−減少量は、十分に(例えば)患者の接眼レンズである完全に弛緩して、遠いか近い対象物に注目することに決して適応する必要はない。例えば、患者の近視眼処方が、完全な減少モードについては、-1.5のジオプタである場合、眼鏡の適応レンズが1/1.5=0.667m = 66.7cm離れたところに常に関心の対象物の仮想イメージを形成することができる。虚像距離が66.7cmで静的であるために、重要な対象物が66.7cmより短い本当の距離である場合、適応レンズが凹形状から凸面形状まで変化しなければならない点に注意する。したがって、完全な減少モードで、接眼レンズは常にそれらの最も薄い形状および最も低い光学力(現在の近視眼処方が関する限り)に維持され、これは患者が近視眼の更なる進行を減速するかまたは予防するのを助けることができる。完全な減少モードは、再び完全な減少モード構想204で例示される。完全な減少モード構想204(本当の対象物が66.7cm(x軸)u =を遠くに隔てる時)のために、完全な減少モードの適応レンズがゼロ(y軸)の光学累乗を有する点に注意する。−その理由は、次のことにある。-1.5のジオプタ処方をもつユーザは最高66.7cmで眼鏡なしで明らかに見えることができるからである。uが更に減少する場合、適応レンズは負にからに正の光学力(optical power)に変化する。
[0051] 第2のモードでは、部分的な減少モード−それは部分的な減少モード・プロット線202によって表される−減少は完全なモードでより少ないが、減少量は完全な度付き眼鏡をかけることと比較して依然として正である。下限を虚像距離の上に置くことができる。例えば、ユーザ処方が-1.5のジオプタである場合、および、我々が前記下限を30cmにセットする場合、適応レンズは重要な対象物がどんなに近くても、仮想イメージが30cmまたはより遠くで形成される。本当の被写体との距離と虚像距離(それは、適応レンズの光学力を制御する)との間の正確なマッピングは、虚像距離が本当の被写体との距離の増加しない機能であり、|f0|から始まる限り、いかなる機能形式も引き受けることができ、foは、例えばジオプタの近視眼処方の逆の適応レンズの焦点距離である。実用において、本当の被写体との距離が10cm、例えば、予め設定された実際的な下の閾値より少しも短くないときに、我々はまた、低い制限を特定することができる。あるいは、我々は本当の被写体との距離に関して直接適応レンズの光学力を特定することができ、部分的な減少モードのこの種の機能は一般に、フラットライン1/fOとカーブ1/f =1/u+1/fOとの間の非増加関数であり、uは本当の被写体との距離(x軸)である。この機能が本当の被写体との距離に関して好ましくは増加しなくなければならず、そして、虚像距離の機能が本当の被写体との距離に関して非減少していなければならないにもかかわらず、それらの増加しないか減少しない特性を壊すこれらの機能に対する軽微な変更態様が平凡な模倣と考えられなければならない点に注意する。部分的な減少モード・プロット線202は、部分的な減少モードを例示する。ここで距離vがuの関数として、定義される仮想イメージは:v = l/(20*u+1.5)-0.667である。項-0.667はvの最大値を特定し、1.5(ジオプタ)はいかなるu>0に関して、状態v<0が満たされる(仮想イメージが補正レンズと同じ側にあるので)ことを確実にするために用いる。しかし、これらはちょうど図示され、他の機能がまた、使われることができる。
[0052] 部分的な減少モードは、また、収束との潜在的な関係および脳によってみなす遠近調節を維持する際に重要である。我々が近い対象物に注目するとき、我々の目が適当な立体的な展望を維持するために内部を回転させるので、我々はより強い収束を有する。通常、良い展望(そして、近視眼、しかし、着用の従来の眼鏡を有するそれらさえ)をもつ人々のために、我々の接眼レンズは、近い対象物で更に焦点に適応する(例えば、より高い光学力に変わる)。しかし完全な減少モードにおいて、接眼レンズは、焦点を決して変える必要はない。それが接眼レンズが常に完全にはリラックスしたモードにあるという感覚において有益でもよいにもかかわらず、潜在的な収束/遠近調節関係はもはやない。長引く使用については、脳はその潜在的な関係を失うことができるかまたは有意に弱めることができ、患者が彼または彼女の眼鏡を取り去るときに、彼/彼女はそれが対象物が彼(女)の明確な視力距離の範囲内であるときでも、明らかに異なる距離の対象物に注目するのは難しいとわかることができる。−その理由は、次のことにある。異なる距離で、目は異なる収束を有すが、脳は焦点を変えたいという衝動を誘発することができないからである。したがって、部分的な減少モードは、この潜在的課題に対処する。他方、すでに従来の眼鏡をかけている近視眼ユーザは、眼鏡をかけることはいかなる単調な関係/マッピングがそこの長さで機能することができることはもっともらしいように、存在しない時より異なる収束/遠近調節関係を一つにするこの種の関係/マッピング遠近調節の無視できない(脳が関する限り)範囲を有する。これは、本当の被写体との距離に関して虚像距離または光学力の機能を選択する際の比較的高い柔軟性があることを示唆し、それはこの種のマッピングを制御する。
[0053] オーバードライブ減少モードの第3のモードにおいて−それはオーバードライブ減少モード・プロット線206によって表され−減少は全体を僅かに超え、その結果、接眼レンズが明らかに見えるために遠い距離の方へ焦点に集まるよう主張されることができる意図については、目は明らかに100%重要な対象物がわからない。この種の衝動がうまく誘発される場合、近視眼の進行は逆転しさえすることができる。オーバードライブ減少モード・プロット線206から分かるように、補正力は、全ての距離のための0.25のジオプタに関して短い。しかし、他の機能がまた、使われることができる。
[0054] 上記のモードのいずれかにおいて、人間工学的な特徴は、良い目の習慣および健康を促進するために加えられることができる。例えば、本当の被写体との距離が予め定められた閾値より短くて、時間の予め定められた量より長く任意の場合、例えば、眼鏡は、彼/彼女があまりに密接に対象物に注目しているとユーザに思い出させるためにピーッと鳴ることができる。
[0055] 遠視ユーザ(例えば遠い距離で明らかに見えることができるが、近い対象物で焦点に集まるのに苦労する人々)のために、類似だが、僅かに異なるモードが、使われることができる。例えば、イメージが+2のジオプタの処方に関して50cmのような、最も精密に明確な視力距離で、効果的に常に形成されるように、適応レンズはそれらの光学力を調整することができる。しかし、遠い対象物に注目するときでも、これは常に視力焦点の近くでユーザを閉じ込め、それは目を痛め得る。あるいは、視聴が最も精密に明確な視力距離より、イメージが最も近いもので事実上形成されると反対するより近い時が視力距離を消去するために、適応レンズは正の力を提供することができるが、最も近いものよりはるかに対象物を見ることは視力距離を消去するときに、患者が彼(女)の自然の展望および焦点を使用するために、適応レンズはゼロ力を有する。近視眼の場合、脳が収束および遠近調節の潜在的ななんらかの関係を保持するために、効果的イメージ距離は変化しなく保たれることができ、または異なる本当の被写体との距離を僅かに切り替えることができる。
[0056] 従来のレンズ平面図208は、例えば、従来のレンズによって呈される安定した光学力(ここで、-1.5のジオプタとして示される)を示す。
凝視距離および凝視追跡
[0057] 本当の被写体との距離(例えば関心物または視聴距離の対象物の距離)を決定することは、平凡な作業でない。常に最も近いものまでが、まっすぐな距離ではなく、−その理由は、例えば、ユーザは一瞬見ることによって横を常に見ることができるからである。したがって、あるユーザが、オートフォーカスの能力(まっすぐな正面のような指定された領域の中で最も鋭いエッジを生成する焦点距離に、それは通常チューニングによって作用する)を有するカメラを使用して、それを眼鏡の正面に取り付ける場合、それは作用しない。最悪のケース・シナリオにおいて、多くの対象物が図の角度の少ない範囲内で異なる距離であるとき、一見角度が僅かに変化するとき、視聴距離は有意に変化することができる。同様に、光または超音波の小さいパルスを発して、視聴距離を決定するために反射のタイミングをモニタする距離測定器装置は、同じ課題を抱え得る。
[0058] 人間の目は、立体的な方法の視力を認めることができる。目は網膜の中央窩領域に最も高い視力を有し、対象物の高い詳細を認めるために、対象物が窩領域のイメージを形成するために、両眼は通常いくらか回転することができる。同時に、複視を避けるために、重要な対象物に集中するとき、対象物の両方の窩イメージが立体的な展望においてほとんど完全に重なるように、目の回転は非常に正確でなければならない。したがって、距離を見ることは、両眼の照準線で測定されることができる。2本の線は、立体的な展望のこの観察された必要条件のために、関心の対象物で交差することができる。交差ポイントは、関心(またはより正確に、ユーザが集中している対象物の一部)の対象物の3D座標を表す。実際問題として、測定エラーおよび非完全な立体的な目配置は、2本の検出照準線に交差させなくさることができる。これらのエラーを取扱うために、ある種の近似値が、使われることができる。両方の照準線が光線にされることができる実施形態(抽象的な細い線として立体感を与えられることの代わりに)のために、小半径を有するまたは小さい立体角(それが遠い距離に向かうにつれて、いずれがより多くの領域に適用される)および結果として生じる交差している領域(例えばその幾何学的な重心)の中心を有するどちらでも、対象物の3D座標と考えられる。他の近似値方法もまた、使われることができる。
[0059] 一旦重要な対象物の3D座標が確認されると、3D座標系が両方の目ボールの中心に基づいて調整される所で、各々の目からの視聴距離はそれから容易に決定されることができる。
[0060] 照準線を決定する方法は凝視追跡と呼ばれ、それは目追跡に関する。目追跡が一般にカメラ・イメージの目の、更に、瞳孔の中心を決定するために目機能(例えば瞳孔および虹彩)を追跡することに関する存在を決定することを取扱う違いについては、2つの項目は、時々交換可能である。ところが、凝視追跡は一般に照準線(2Dまたは3D座標系のどちらでも)を決定することを取扱うが、凝視追跡はしばしば見通し線(line-of-sight)を決定するのを助けるために結果を追っている目を使用する。さらに、窩領域(最も視覚の注意があるところ)が光軸および網膜の交差ポイントと、僅かに異なるので、照準線および凝視の線(line-of-gaze)の違いさえある。ここで、前者は窩または視覚の軸の中心に結ばれ、後者は光軸に結ばれる。実際問題として、我々は直接凝視の線(line-of-gaze)と角度の違いとの間を判断することができるだけの光学、および、公知の場合、視覚の軸はそれから単純な幾何学的な方法の照準線を引き出すために用いることができる。この値は、各々の患者のためにまたは人口平均に基づくより単純な実施のために正確に計っていてもよい。例えば、凝視追跡の更なる詳細は、In the Eye of the Beholder: A Survey of Models for Eyes and Gaze, Dan Witzner Hansen and Qiang Ji, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 32, No. 3, pp. 478-500(2010年3月)において見ることができ、リファレンスとして本願明細書に引用したものとする。
[0061] 目および凝視追跡は何十年も重要な調査主題であり、背景照明、目の間の差、頭部運動および、ちょうど2、3の変数またはバリアに名づけるために、干渉としての眼鏡からの反射の非常に様々な条件を原因として生じるので、目および凝視追跡の分野はさらに些細でない。
[0062] 面白いことに、凝視トラッカ(gaze tracker)が一対の眼鏡に埋められるとき、これらのバリアの多数は避けられることができるかまたは非常に減少した。例えば、凝視トラッカが眼鏡の中で内側に配置されることができるので、眼鏡からの反射はもはや問題でない。通常近赤外線LED照明の形で、制御照明は、屋外の目/凝視のために効果的に屋外の環境からの背景光干渉が単にあまり強いという理由を追わないこと以外の屋内の目/凝視追跡のため、一般に使用する。眼鏡に埋められるとき、目に非常により近いLED(s)は配置されることができ、背景照明および/または下部の電力消費(より近い距離のより少ない力のための同じ照明効果)に関してより高いSNR(信号対雑音比)を容易にする。この効果は、多くのヘッドマウント式目/凝視トラッカにおいて利用される。加えて、イメージ捕獲の間、大部分のIR照明を渡すフィルタを渡している一般のIRを使用する代わりに、近赤外線狭帯域フィルタは大部分の背景光干渉を遮るために用いることができ、その狭帯域が近赤外線LEDが生じる同じ狭帯域照明にマッチするように設計されている場合、それは50:1(IRフィルタと比較しない)、または、8:1(一般のIRフィルタと比較して)あたりを現実的な実施態様のための命令上のよりかなりの信号-to-ノイズ比率に、LED信号を拡大することができる。より詳細には、本願において提案される修正されたスマートCMOSイメージ・センサを記載している断面にこの技術が提供される。見るところでは見えず、瞳孔にその照明の下で縮ませないので、近赤外線照明が通常使われ、それが大部分のCCD(電荷結合デバイス)およびCMOSイメージ・センサに捕獲されることができる点に注意する。その理由は、それらのほとんどはシリコン・ベースの光検出器(それは製造するのに比較的安くて、約1100ナノメートルまで波長を有する赤外線照明に影響されてもよい)を使用するが、感度は1000ナノメートルを越えて急速にゼロに落ちるからである。イメージ・センサ技術が効果的にこの種の波長を捕えるために利用できるならば、他の赤外線の波長が、同様に目/凝視追跡のために使われることができる。
グリントだけに基づく(GLINT-ONLY BASED)凝視追跡
[0063] 凝視追跡の眼鏡を支持するために、凝視トラッカは、実装するのが容易でなければならなくて、小型実施を容易にするために、低い計算量で、および、低電力でなければならない。したがって、目グリントが、凝視追跡のために使われることができる。角膜の外面に現れている第1の反射および第1のプルキンエ像と呼ばれている対応する生成された位置イメージについては、1点の光源の作動中の照明(それは、赤外線または可視光であってもよい)の下の目はいくつかの反射を生成し、それはしばしばグリントと称する。他の反射は第2、第3、第4のプルキンエ像を生成するが、第1のプルキンエ像はローコスト(低い複雑さ実施態様)のための対象物を追っている目/凝視のために最も良い最も適切なイメージである。
[0064] 大部分の凝視追跡アルゴリズムが凝視を推定するために目グリントおよび瞳孔追跡を結合することに集中するようであると共に、本願によって提供される方法は目グリントを利用する。グリントが1点のイメージであるので、イメージ・センサにおいて検出することはより容易でもよい。その理由は、一般に1つのイメージ・センサ・ピクセルまたはピクセルの小さい一群と一致するからである。後の項目において、本願は、低電力設計を有するグリントに対応するピクセルを検出する方法を記載する。目を追跡して、凝視するカメラは眼鏡の一部でなければならないので、低い電力消費は重要であり、設計対象物が眼鏡を、できるだけコンパクトに保つことである場合、余分の電池および/または電力供給を眼鏡に組み込むごくわずかな余地しかあってはならない。それらの頭および快適さ上の眼鏡が安全性と同様に鍵となる重要な点である場所で、患者がそうしなければならないので、眼鏡の熱消散を最小化することもまた、目標である。
[0065] 目が異なる対象物がわかるように回転するとき、各々の目は眼球の中央のまわりを回転し、グリントは角膜によって形成される仮想イメージであり、角膜は球面として一般に立体感を与えられる。我々が、3D座標系(それ自身のものを有する各々の目については、3Dシステム、しかし、それらは、定刻より早く名目瞳孔間の距離を計量することによって容易にその他に変わることができる)にオリジナルがあることとして、眼球の中央を使用するどうか、そして、我々がLEDの3D位置(xL、yL、zL)を知っているならば、オリジナルからdcとしての角膜の球状中央までの距離およびrcとしての角膜の湾曲(すなわち半径)は、次いで、方位角(水平角度)αおよび仰角(立面図角度)βの目の回転角度を与え、我々はグリントの3D座標を予測することができる。ステップは次の通りである:我々は、最初に、xc= dc cos(α)cos(β)、yc = dc sin(α)cos(β)、zc = dc sin(β)としての極座標ベースの角膜中心の3D座標(xc、yc、zc)を導出し;次に、我々は、LED(xL、yL、zL)と角膜中心(xc、yc、zc)との間にまっすぐな3Dラインを形成し;我々が、rcの比率のLEDおよび角膜の球面の間の距離としてdL =ηrcを示し、3Dラインに沿って仮想グリントイメージおよび角膜球面の間の距離として、dgを意味するならば、次いで、球面鏡に関する光学方程式によれば、仮想グリントイメージは方程式dg =ηrc/(2η+l)を満たさなければならない。dLが、(xc、yc、zc)と(xL、yL、zL)との間のユークリッドの距離(dcLとして示される)マイナスrcとして容易に計算されることができるので、dgは同様に容易に導出され、グリントが3Dラインに落ちなければならないので、dgもそうすると仮定すると、その3D座標が、単純な3D幾何学でも導出されることが可能である。
[0066] 図3は、本願の一実施形態による目または凝視追跡の回転角度ペア(方位角α及び仰角β)の具体例を示す。グラフ300は、眼球センター(原点)、回転の有無の角膜センター、LEDおよびグリントの3D関係を例示する。重要な物理的変化が見たところではない限り、原点と角膜中心dcの間の距離が同じユーザのために常に一定である点に注意する。テキスト「グリント」の下の点は、仮想グリントイメージであってもよい。上でも議論される光学的方程式は、グラフ300にあてはまる。
[0067] 逆にいえば、我々が、グリントの3D座標を含み、他の全てのパラメータを知っていて、2つの回転角度を計算したい場合、我々は3DラインをLEDからグリントまでプロットすることによってそれを達成することができ、角膜の球状中央はそれからその線(このように、1つの自由度を有して)に存在しなければならない。その中心の3D座標は、(xc、yc、zc)と示され、同時に、方程式xc 2+yc 2+zc 2= d c 2については、それは原点の中心およびdcの半径を有する球面に存在しなければならない。その3Dラインに沿った目の方のLEDからの距離はtと示される。その理由は、(xc、yc、zc)はまた、そのラインに落ち、我々はm(xc、yc、zc)を包含するライン上に全てのポイントを推察することができ、一次元線形形式でパラメータtで表される。したがって、方程式xc 2+yc 2+zc 2=d c 2はtの二次方程式になり、それは容易に解かれることができる。二次方程式の2根のうちの1だけが有効である点に注意する。これは、tによって特定される線は目の後ろの代わりに目の正面の方へ球面と交わることができるだけであるからである。tの有効な解を使用して、次いで、我々はxc、yc、zcを得ることができる。それから、我々は、極座標の定義に容易に一致する回転角度ペア(方位角α及び仰角β)を得ることができる。
[0068] 我々が、3Dが調和する2台のカメラを使用する場合、グリントの3D座標はまた、得られることができ、立体的な展望に対する類似した方法で、焦点距離は公知である。
[0069] 上記の方法は多くの目に特有のパラメータが公知であると仮定し、それは較正を必要とする。較正のない凝視-追跡方法は、A Calibration-Free Gaze Tracking Technique, Sheng-Wen Shih et al., International Conference on Pattern Recognition, pp. 201-204, (2000年)に記載され、本願明細書に引用したものとする。この方法は2つのLEDおよび2台のカメラを使用しているこれらのパラメータを引き出すために用いることができ、LEDおよびカメラ間のポイントの相対的な3D座標が公知である(そして、これはそれらが最も、製造の間、このように単純なプレ較正を許し、着実に眼鏡に載置しそうだった時から、満たすのが比較的容易である)と仮定する。較正のない方法は、カメラと関連する角膜センター及びグリントの3D座標がまた、決定されることができるということを有する3D座標を回復することができる。ユーザが様々な角度ペアに彼(女)の目を回転させるよう依頼する場合、この方法が直接dcおよびrcを回復しないにもかかわらず、3Dが調整する角膜センターの跡が球面にdcの半径によって、そして、目の中央のその中心によって付け加えることは明白である。したがって、角膜センターの3D座標の十分なサンプルを集めることによって、球面上の後退は実行されることができ、それゆえ、目の中心のdcおよび3D座標はカメラと関連して回復されることができ、そうすると、座標はまた、容易に原点として目の中心を使用することに変わることができる全ての3Dは前のパラグラフおよび図3のケースである。rcを回復するために、dL = η rc = sqrt((xc- xL)2 + (yc- yL2 + (zc- ZL)2)- rc= dcL- rcを実現するのに十分であり、ここで(xL、yL、zL)は、LEDの3D座標であり、公知であり、それはdCLがまた公知であることを意味する。ηがdci/rc-1(rcの関数)、及び、dg =ηrc/(2η+l)=r−dcgとして表され、ここでdcgは、角膜センターとグリントとの間の距離であり、公知である。我々は、次いで、rcの項にηの式を接続することができ、未知の変数rcの方程式dg =ηrc /(2η+l)= rc-dcgを解くことができる。より正確に、解く方程式は、単純化するために(dCL+dcg)* rc-2 dcL*dCg= 0、または、単にrc = 2dCL*dcg/(dCL+dcg)。多数の測定値は、例えば、より正確なrcの評価をするために、平均でrcを推定するために実行されることができる。dcおよびrcがユーザに特有のパラメータであって変化しないので、それらはユーザにつき一度決定されることを必要とするだけである。それで、ちょうど記載されている手順と結合して、較正のない方法はまた、LEDと眼球センターとの間の相対的な3D位置を回復することができる。したがって、最初の使用で眼鏡を自動較正するために単に記載された手順と組み合わせて、A Calibration-Free Gaze Tracking TechniqueにSheng-Wen Shih等によって記載されたアルゴリズムを使用することができ、後で、そのアルゴリズムだけがカメラと関連して角膜センターの再評価3D座標に用いられることができ、かくして、眼鏡ずれを補償するために用いることができるが、再較正の間の計算力およびLED力を節約するためにトラッキング周波数よりも低い周波数でなされる。それから、一旦ずれが補償されるならば、1つのLEDおよび2台のカメラだけはグリントの3D座標を生成するために必要である。加えて、他のLEDがより明るいグリントを出力すると思われる場合、トラッカは異なるLED(しかし、まだ、一度に1つのLEDを使用する)へ切り替えることができる。時々、目がグリントが2つのLEDを有するこのように特定の照明方向から実際に形をなさないほど、非常に回転するので、これは起こることができ、それらの間で知的に切り替えをすることはたぶんより良い結果を提供する。A Calibration-Free Gaze Tracking TechniqueにSheng-Wen Shih等によって記載されたアルゴリズムが、凝視追跡を既に実装し、較正不要であるにもかかわらず、凝視追跡を実行するために、目瞳孔イメージの分析が必要であり、かかる分析は、取り扱うために眼鏡上の組込型回路が複雑すぎてもよい。それ故、目パラメータを自動較正するために上述の手順に沿ってSheng-Wen Shih等によって記載されたアルゴリズムを利用することによって、次いで、ズレに関して補償するためにSheng-Wen Shih等によ記載されたアルゴリズムを使用し、凝視追跡は、この開示で上述したステップでより簡単になる。別の実施形態では、目パラメータ、特にdcおよびrcは、近視眼処方を決定する時にユーザのために測定されることができる。2つのLEDが各々の目のためにある点に注意する。両眼のために、2つの目の間の中心の近くに共有LEDおよびカメラを配置することによって1つのLEDおよび1台のカメラさえ共有することが可能でもよいにもかかわらず、最高4つのLEDが必要かもしれない。そして、ユーザにつきこのように場合によっては合計を3つのLEDおよび3台のカメラに下げるかもしれない。
[0070] 図12は、目につき2つのLEDおよび2台のカメラを備えた、適応レンズおよび凝視追跡を備えた一対の眼鏡を例示する。例えば、グリント情報から凝視距離を計算するコンピューティング装置と同様に、電池は図12の眼鏡の中央で美学的に受け入れられる位置において配置されることができる。LED、カメラ、電池およびコンピューティング装置は、眼鏡のそれとして同じ輪郭に続く物理的な導線によって接続されることができる。あるいは、電池および/またはコンピューティング装置は、眼鏡フレームの端に沿ってまたは眼鏡のサイドバー上に配置されることができる。LEDおよびカメラの位置だけを図示し、パフォーマンスを追跡しているより良い凝視を与えている他の位置も存在することができる。図12のカメラは低電力グリント検出のための修正されたスマートなCMOS APSを使用しなければならず、それは後の項目において詳述する。
[0071] 1つのLED、2つのカメラ構成は、実際に僅かに過剰に固められすぎたシステムである。一旦眼鏡の凝視トラッカが付録のアルゴリズムによって自動的に調整されるか、または予め調整する回転角度の各々のユニークなペアのために、グリントのための固有の3D座標があり、それはカメラのイメージ・センサ平面上の固有の2D座標に位置する。1対1のマッピングが回転角度ペアおよび2Dカメラグリント座標の間に存在し、従って、同等の2Dカメラグリントを与えられ、我々が3Dへそれをマップすることができ、座標、更には回転角度は対になり、このように情報を追跡している凝視を得る。これは、自動較正またはプレ較正の後、1つのLEDおよび1台のカメラを必要とするだけである。残念なことに、逆のマッピング(2Dから3Dまたは回転角度ペアまで)は非常に複雑で、閉じた形態の方程式を有するように現れず、したがって、例えば、グリントを有することができるカメラ・イメージ・センサ配列のあらゆるピクセルにそれに対応する少なくとも一つの回転角度ペアがあるために、回転角度から2Dグリントへの完全な前方のマッピングが高い十分なサンプリング密度によって、調整するニュートン近似値または事前計算のようなある形の反復的な展開によって、ほぼそれを解かなければならないかもしれない。それから、逆のマッピングは、この種の各々のピクセルの中で平均回転角度ペアを計算することによって造られることができる。
[0072] 近似の解法は、各々の追跡のための計算量を増やし、その一方で、プレ計算は計算的に強くてもよく、すべての再較正のためにされなければならないというわけではない。ゴールがハードウェア・コストを節約することである場合、プレ較正、逆のマッピングのプレ計算および1台のカメラを有する1つのLEDが使われることができるが、しかし、この構成は眼鏡のずれを補償することができない。自動較正が使われる場合、2つのLEDおよび2台のカメラがいずれにしろ必要かもしれず、2台のカメラが低い複雑さの解法を与え、更に簡単な再調整をずれ対象物に提供するとき、1台のカメラを使用し、ずれの間、逆のマッピングのプレ計算をやり直さなければならないことは、より有用でない。
[0073] したがって、凝視トラッカのための好ましい実施形態は、最初の使用の間、自動較正のための2つのLEDおよび2台のカメラを使用することになり、そうすると、1つのLEDへの切り替えおよびグリントに基づく凝視追跡、作動中のLEDがどのLEDが最もより可視グリントイメージを出しそうかについて変わることができ、および再調整があってもよく、2台のカメラは、ずれを補償するための追跡周波数よりも少ない周波数で作動した。あるいは、小さいずれが期待される場合、第2の実施形態は、1つのLEDおよびプレ較正を有する1台のカメラと同等の2Dグリント間の逆のマッピングのプレ計算と回転角度ペアとを備える。
[0074] 一旦回転角度ペアが各々の目のために導出されると、両方の凝視のライン(lines-of-gaze)が利用できる。次いで、視覚と光軸との間の角度、プレ調整または、人口平均のいずれかに基づいて、照準線を見通し線(lines-of-gaze)に変換するのに用いることができる。それから、照準線の位置を横切ることは重要な対象物の3D座標を表し、その視聴距離はそれから各々の目のために容易に引き出されることができ、それはそれから3つの上述した遠近調節減少モードのうちの1つに従う適応レンズの光学力をドライブするために用いることができる。
[0075] 目が瞬くときに、目蓋が完全に閉じず、そして、グリントがカメラ(または好ましい実施形態の両方のカメラに見える)に、さらに見える場合、上の方法はまだグリントを検出することができ、情報を追跡している凝視を得ることができる。目蓋が十分に閉じる場合、グリントは見えず、凝視トラッカは情報を追跡することを得ることが可能でない。しかし、目がそうである場合、どちらでも閉じるかまたは十分に閉じ、それは目が役立つ何も見ていないことを意味し、凝視情報は、本質的に無関係である。凝視トラッカはそのような場合情報を追跡している最新凝視を使用することができ、事実、凝視トラッカが何かの理由で情報(例えば検出されるグリントでない)を追跡することを得ることに失敗するときはいつでも、それはその代わりに最後の周知の対応する情報を使用することができる。グリント検出回路(それはこの開示書類で後述する)は、グリントがイメージ捕獲の間、検出されないと凝視トラッカに通知することができる。
高性能なCMOSイメージ・センサのための低出力グリント追跡
[0076] 眼鏡ために、適切な凝視トラッカは、インプリメントするのが容易ではならなくて最低で計算でなければならないだけである複雑さ、しかし、また、眼鏡フレームの電池のごくわずかな余地しかないので、低電力を消費する。適応レンズがすでにバッテリ容量の目立つシェアを消費することができることを考えれば、凝視トラッカが、例えば、サブmWレンジの非常に低い力を消費することは非常に好まれる。
[0077] 凝視トラッカでの消費電力値の主に4つのコンポーネントがある:(i)LED照明、(ii)イメージ捕獲、(iii)目の特徴検出、および(iv)凝視計算である。2つのLEDおよび2台のカメラを有する上述した好ましい実施形態の凝視計算は、ごくわずかな計算しか必要とせず、主に、二次方程式を解いて、その後回転角度ペア、照準線および見通し線(lines-of-gaze)および各々の目のための凝視距離を導出し、2台のカメラからグリントの3D座標を得ることを必要とする。それは、追跡あたり100未満の浮動小数点に計算サイクルを要しそうである。したがって、凝視計算は、ごくわずかな力しか消費しないと思われる。最初の3つの要因は、このようにより重要で、以下の説明のとおりである。
[0078] 近赤外線LEDは、概して20〜30mWを消費し、それらの消費された力の一部を放出(例えば、近赤外線の光子)する。この部分は、例えば1/3であってもよく、この量は例証として電力消費を例示するために用いる。この部分の使用の実施形態のために、本願明細書に引用したものとするデータシートMOLD LED Lamp L880 Series:Infrared LED Lamp(丸紅アメリカ社)を参照。好適な2つのLED(2つのカメラ構成)については、我々は自動較正の後、1つのLEDおよび2台のカメラを使用することができ、これはLEDパワーのざっと半分の節約に結果としてなる。
[0079] CCDおよびCMOSイメージ・センサは、近赤外線照明に敏感である。しかし、CMOSセンサが一般に低い電力消費を有し、更にランダム・アクセスを支えた時から、CMOSセンサは本願のためのイメージ・センサの好適な選択である。また、光検出器およびCMOS信号処理要素が同じ物理的な方法で製造されることができるので、CMOSはイメージ捕獲および知的な信号処理の組合せを容易にする。これはスマートCMOSイメージ・センサと呼ばれ、それは急速に進行している分野である。以下の項目は、修正されたActive Pixel Sensor(APS)要素を非常に低い力でグリント検出を成し遂げることができるスマートCMOSイメージ・センサを記載する。
PMOSFETソースフォロアを有する修正されたAPS
[0080] 第一に、従来の目/凝視追跡で、通常グレイスケールまたは色イメージとして全ての目のイメージが捕えられ、そして、更に解析される。我々のグリントだけの(glint-only)ベース凝視追跡方法において、我々は、グリントを認めることを必要とするだけであり、それは一般に、他の目の機能より非常に明るい。グリントが強くまだ現れるように、我々がそうすることができるこの手段はイメージ捕獲の露出時間を減らすのに、他の特徴は暗いか暗いピクセルとして主に、現れる。露出時間のこの減少はLED力を節約することができる。その理由は、我々は我々が我々の方法で使用する予定でない目の機能を捕えるために余分な露出時間を過ごす必要はないからである。
[0081] 第2に、CMOSイメージ・センサ回路での大部分の消費電力値は監視トランジスタによる活発な流れる電流による。ここで、電流は光検出器(概してフォトダイオード)の電圧によって、部分的に制御され、その電圧は入射光の量に従って変化する。
[0082] 図4は、従来の3-トランジスタ活性ピクセル・センサ(3TAPS)を示す。APS 400は、従来技術において公知で、リセットトランジスタ402、フォトダイオード403、ソースフォロア・トランジスタ404、フォトダイオード電圧405、セレクトトランジスタ406、供給電圧407、選択された信号408および出力電圧409を含む。MOSイメージ・センサの基本的アーキテクチャ用ブロック装置はActive Pixel Sensor(APS)であり、ここで、フォト・センサが(一連の3本の矢によって示される光を取り入れるフォトダイオード403で示すように)リバースバイアスであり、最初の正電圧(例えば、供給用の電圧407によって反映されたVdd)に通常はチャージされ、次いで、露光がその電圧を減らし、次いで、減った電圧は、ソースフォロア・トランジスタ404のゲートを制御し、続いて、ソースフォロア・トランジスタ404を介して続く電流を制御するのに用いられる。フォトダイオード電圧405(VPD)は、リセットの間、Vdd-Vthの差に初期化される。ここで、Vthはトランジスタ(例えばMOSFET)、このケースでは、リセットトランジスタ402の閾値電圧である。
[0083] nMOSFET(より一般的に用いられるタイプ)で、ソース電圧VGSに通じるゲートがそのVthまたは閾値電圧を上回る場合だけ、電流がドレインからソースまで流れることをアナログ・エレクトロニクスから取り消す。逆にいえば、VGSがそのVth(それは、負である)より小さい場合だけ、pMOSFETで、同じ経路が通じる(しかし、ソースからドレインまでは流れる)。説明を簡単にするため、我々はVthが同じCMOSイメージ・センサ(pMOSFETsに関して、Vthは我々がその絶対値がほぼ同じにないと仮定することができ、負である)の全てのMOSFET全体にほぼ同じであると仮定することができる。それらは同様に製造されるかもしれないからである。しかし、新しいある設計機能性を成し遂げるためにMOSFETを異なるVth値と結合することがまたできる。図4において、Mselまたはセレクトトランジスタ406は、その対応するAPSが選択された信号408(図4のSELとして示される)を介して読みとられるように選ばれる時に、導通するMOSFETであってもよい。逆のバイアスおよび次の電圧減少の使用は、蓄積モードと称され、フォトダイオードに関して最も一般的なモードであり、例えば、Smart CMOS Image Sensors and Applications, Jun Ohta, ISBN 0-8493-3681-3 CRC Press(2008年)の29-35ページに記載され、リファレンスとして本願明細書に引用したものとする。
[0084] フォト-センサVPDまたはフォトダイオード電圧405の電圧が、露光中、増加する代わりに減少するので、それはピクセルが暗いとき、Msfまたはソースフォロア・トランジスタ404がターンオンし、消費することを意味するが、しかし、ピクセルが白くなるにつれて、電流は減少し、結局、電流が流れるのを止めることができる。これは、より暗いイメージが一般にAPS(図4に示す)のこの種の設計より白いイメージより多くの電流を消費することを意味し、それは従来技術で共通して用いられる。しかし、グリント検出のために、我々はグリントピクセル(例えば白いピクセル)に興味があるだけであり、1つの捕えられたイメージのそれらのごく少数しかあってはならない。我々がLED力を節約するためにLED照明の露出時間を減らす場合、大部分のピクセルが黒いので、図4に示される従来のAPSデザインは実際により多くの力を消費し、それは望ましくない。したがって、大部分のピクセルが黒いより少ない力を消費するAPSは、たいへん望ましい。
[0085] 図5は、本願の一実施形態による電流制限器を有する修正された3T-APSを示す。APS 500は、リセットトランジスタ502、フォトダイオード503、ソースフォロア・トランジスタ504、フォトダイオード電圧505、セレクトトランジスタ506、供給電圧507、選択された信号508、出力電圧509および電流制限トランジスタ510を含む。APS 500は、大部分のピクセルが黒くてグリント検出により適しているとき、より少ない力を消費する低出力グリントのみの検出デザインである。コンポーネント502-509は、わずかないくらかの修正を有する図4のコンポーネント402-409と類似している。ある実施形態では、ソースフォロア・トランジスタ504に関して、ソースフォロア・トランジスタ404(それは、nMOSFETであってもよい)は、pMOSFETに変えられることができ、それによってソースフォロア・トランジスタ504のためのドレインおよびソースピンの位置を逆転させる。現在、ピクセルがグリントでないとき、それは黒かまたは黒に近く、フォト・センサの電圧が高く、Vddに近い:これは、次のことの故である。pMOSFETに関して、そのソースはVdd(供給電圧507)に接続され、ゲート電圧(すなわち、フォト・センサ電圧)が高く、Vddに近い限り、pMOSFETはオフにされたままである。
[0086] 大部分の状況の下で、LED照明によって生じるグリントによって、フォト・センサがVth(pMOSFETの閾値電圧)より大きい電圧によって電圧を変ることができるように、我々は凝視トラッカ(例えば露出時間)を調整することができるのに、非グリントピクセルはVthまたはそれより大きな電圧によってそれらの電圧を減少させることが可能でない。従って、全ての非グリントピクセルに、オフにされるそれらのpMOSFETsがあって、本質的に電流を消費するというわけでない。グリントピクセルにつけられるそれらのpMOSFETsがあって、若干の電流を消費するが、しかし、この種のピクセルの総数は非常に少ない。我々が電流制限器をpMOSFET(例えば大きいレジスタまたは電流制限トランジスタ510)に加える場合、我々は更に消費される力の量を制御することができる。ある実施形態では、電流制限器が、大体数メガオームの大きなレジスタの形であってもよい。ある実施形態では、電流制限器が電流制限トランジスタ510の形であってもよく、それは大規模集積回路により便利であろう。ある実施形態では、電流制限トランジスタ510は、大体1μAの小さい0Vのドレイン-ソース飽和電流(IDSS)を有するDeMOSFET(空乏エンハンスメントMOSFET)であってもよい。ピクセルおよびをきらめかせると予想する場合、我々が≦10グリントピクセル、Vdd=3V、IDSS=1μAを期待するならば、そのラインの全てのAPSからのピークの力は、≦3*10*1 μW=30μWである。
[0087] 実際の実装では、nMOSFET(例えばリセットトランジスタ502)が完全な逆の斜線にフォトダイオード503をリセットするために一般に使われ、例えば、そのゲートのリセット信号が概して同じ電力供給電圧507を使用するので、ソースがピンでとめるVddおよびこのnMOSFETのものがフォトダイオード503に接続している。その理由は、MOSFETが、MOSFETをオンにするためにVthより高いゲート−ソース電圧(VGS)を必要とし、フォトダイオード503が、図5に示すような設計でVdd-Vthにチャージすることができる。これは、CMOS APS設計では周知の問題または挙動である。したがって、我々の修正されたAPSで、MsfのVGSまたはソースフォロア・トランジスタ504は、0の代わりに、(Vdd - Vth) -Vdd = -Vthで始まる。それは、Msfまたはソースフォロア・トランジスタ504が、非常により多くの光を必要とする代わりに、ほんのわずかな光があるとすぐに、オンになることを意味する。この問題を解決するために、pMOSFETが、Vddを満たすようにリセットを確実にするために502において使われ、または、我々が追加的なnMOSFETを、図6に示すように、Msfまたはソースフォロア・トランジスタ504のソース電圧を落とすために用いることができる、といういずれかである。この追加的なトランジスタは全てのピクセルで分配されることができ、したがって、ごくわずかなオーバーヘッドを有する。
[0088] 図6は、本願の一実施形態による共有トランジスタを有する修正された3T-APSを示す。APS 600は、リセットトランジスタ602、フォトダイオード603、ソースフォロア・トランジスタ604、フォトダイオード電圧605、セレクトトランジスタ606、供給電圧607、選択された信号608、出力電圧609、電流制限トランジスタ610および共有トランジスタ612を含む。APS 600のコンポーネント602-610は、APS 500のコンポーネント502-510と類似している。共有トランジスタ612は、(ずっと多くの光が必要でなければならないときに)ほんのわずかな光があるとすぐに、ソースフォロア・トランジスタ604がオンなるときの場合、問題を含むケースの解決として、リセットの後、最初のフォトダイオード電圧VPD 605に合う、ソースフォロア・トランジスタ604のソース電圧をVdd-Vthに落とす。共有トランジスタ612はまた、トランジスタおよびトランジスタ・スペースを保存する多数のピクセルで分配されることができ、したがって、ごくわずかなオーバーヘッドを有する。
[0089] CMOSイメージ・センサ配列は、ランダム・アクセスを容易にし、それらもピクセルの全ての行が検出されることを別の2Dレイアウト回路のように可能にすることができる。したがって、我々は各々の列で上述したレジスタまたは(図5および6の電流制限トランジスタ510、610として描写される電流制限器の)DeMOSFETを配置することができて、同時に行の全てのAPS要素にアクセスすることができる。センサーアレイの全ての行を列挙した後に、全ての捕えられたイメージが処理された。pMOSFETの出力電圧は、CMOSロジック入力に適している。したがって、従来の論理設計は、要求されるいかなる論理処理も実行するために用いることができる。例えば、MOSFET出力は、それらの値を格納するためにラッチまたはレジスタの行に送信されることができる。それから、pMOSFETは電力消費を減らすために他の制御トランジスタ(例えば、いずれにしろ使われるMsel508、608)で分離されることができる。それから、我々はグリントピクセル(それは、非グリントピクセルより異なる電圧および論理値を有する)のうちの1つを選ぶ優先順位エンコーダ回路(例えば、本願明細書に引用したものとする優先権Encoders(www.electronics-tutorials.ws/combination/comb_4.html)において議論される)を使用することができ、その列番号を出力することができる。そのピクセルはそれから優先順位エンコーダ回路から掃除されることができる、そして、同じ行上の次のグリントピクセルは選ばれることができ、その列番号は表示され、それまで、その行の全てのグリントピクセルは表示される。この上記の過程は、CMOSロジックに基づいて、同様に非常に低い力を消費すると思われる。
[0090] グリントがCMOSイメージ・センサ配列のちょうど1ピクセルの代わりに、ピクセルの小さい一群と一致することができることはあり得る。それらの2D座標のそばのピクセルおよびセンサの相対的な付近が配列する、この種のピクセルの数が小さいと思われた時から、ソフトウェアで好ましくはされることができるグループ化グリントによって、これは検出されることができる。
[0091] 別の実施形態では、優先順位エンコーダの代わりに、競争式(WTA)回路(例えば、A 200 μs Processing Time Smart Image Sensor for an Eye Tracker Using Pixel-Level Analog Image Processing. Dongsoo Kim and Gunhee Han, IEEE Journal of Solid-State Circuits, Vol. 44, No. 9, pp. 2581-2590(2009年9月)で議論され、リファレンスとしてここに組み入れられる)は、pMOSFETの出力電圧かまたは電流のいずれかを検出するのに用いることができ、勝者(最も高い電圧または電流を有し、最も明るいピクセルと一致する)を出力することができ、そうすると、次の勝者は、その他を選ぶ。この方法は、一つずつ、厳しくそれらの明るさ(優先順位エンコーダの任意の決着をつける若干の論理に対して)に基づくグリントピクセルを選ぶ効果がある。しかし、WTA回路はCMOSロジック回路より一般に遅い、そして、それは我々が後で解説するグリント検出方法の異型のための問題である。
[0092] pMOSFETはMsfの基礎を形成し、または、ソースフォロア・トランジスタ604(更に、504)がまた、光検出器が逆のバイアス・モードのリセットであり、蓄積モードを使用するのと、同程度長く他の種類のAPS(例えば4T-APS(4-トランジスタ活性ピクセル・センサ)(例えば図8の804))のために使われることができる。それぞれ、低電力グリント検出のための従来の4T-APSおよびその適合は、図7および8において例示される。図7および8のフォトダイオードからの負担がTGの高い信号に浮遊拡散(Floating Diffusion)(FD)コンデンサへ転送され、設計がCMOSイメージ・センサのサンプリング・ノイズを減らすために用いたことに注意する(より多くの詳細は、Smart CMOS Image Sensors and Applications, Jun Ohta, ISBN 0-8493-3681-3, CRC Press(2008年)のp.39-42を参照し、リファレンスとして本願明細書に引用したものとする)。
[0093] 図7は、従来の4-トランジスタAPS(4TAPS)を示す。APS 700は、従来技術において公知で、リセットトランジスタ702、フォトダイオード703、ソースフォロア・トランジスタ704、セレクトトランジスタ706、供給電圧707、選択された信号708、出力電圧709、トランスファーゲート・トランジスタ711、浮遊拡散電圧713および浮遊拡散コンデンサ714を含む。冗長な説明を省略するために、エレメント702-704、706-709は図4-6の対応する参照符号と類似している。トランスファーゲート・トランジスタ711に供給されているTG信号が高くなる場合、フォトダイオード703からの負担は浮遊拡散コンデンサ714へ転送される。この方法は、CMOSイメージ・センサのサンプリング・ノイズを減らすように設計されている。
[0094] 図8は本願の一実施形態による電流制限器および共有トランジスタを有する修正された4T-APSを示す。APS 800は、リセットトランジスタ802、フォトダイオード803、ソースフォロア・トランジスタ804、セレクトトランジスタ806、供給電圧807、選択された信号808、出力電圧809、電流制限トランジスタ810、トランスファーゲート・トランジスタ81 1、共有トランジスタ812、浮遊拡散電圧813および浮遊拡散コンデンサ814を含む。コンポーネント802-804、806-814は前の図のコンポーネントと類似している、しかし、そのソースフォロア・トランジスタ804がpMOSFETであってもよい点に留意する必要があり、そして、その共有トランジスタ812は、(図6の共有トランジスタ612と同様の)トランジスタ・スペースを保存するために多数のピクセルで分配されることができる。さらに、図7にトランスファーゲート・トランジスタ811に供給されているTG信号が高くなる場合、同様のフォトダイオード803からの負担は、浮遊拡散コンデンサ814へ転送される。また、このアプローチは、APS 800のサンプリング・ノイズを減らすのを助けることができる。
[0095] pMOSFETがN-基板を必要とすることができる点に注意し、大部分のフォトダイオードベースのフォト・センサ設計において使用するp-基板に対向する。したがって、これは、製造複雑さを増やし得る。しかし、フォトダイオードをN-基板(そして、逆バイアスし、蓄積モード動作のために必要であるので、グランドおよびスワップされたVddを有するそれを逆バイアスする)に変えることはこの製造複雑さを避けることができない。その理由は、nMOSFETソースフォロアが現在同じ電力削減挙動を確実にするために必要であることを見つけるからである。したがって、光検出器のそれに対する対向する基板のMOSFETは、低電力グリント検出を提供するために必要である。nMOSFET Msfを有するN-基板フォトダイオードのための等価回路は、グランドを有することができ、Vddは反転するフォトダイオードを交換して、更に有する。N-基板フォトダイオードおよびnMOSFET Msfを有する3T-APSの略記された実施形態は、図9において例示される。
[0096] 図9は本願の一実施形態による、N-基板フォトダイオードを有する低出力グリント検出を実行している修正された3T-APSを示す。APS 900は、リセットトランジスタ902、フォトダイオード903、ソースフォロア・トランジスタ904、フォトダイオード電圧905、セレクトトランジスタ906、供給電圧907、選択された信号908および出力電圧909を含む。従来の図のフォトダイオードより異なる方向において正しい位置に置かれるフォトダイオード903のために、N-基板フォトダイオードが使われる例外については、コンポーネント902-909は、前の図の類似した参照符号と類似している。リセットトランジスタ902および値に供給されるリセットの間、900がそうすることができるAPSも、0Vのリセット信号、および、- Vdd(負)供給電圧907の値を有する。フォトダイオード903がN-基板フォトダイオードであって、従来の図のフォトダイオードの方位からはじき飛んだ点にもう一度注意する。加えて、前の図と比較してリセットトランジスタ902およびソースフォロア・トランジスタ904のドレインおよびソースピンはまた、反転する。nMOSFETおよびN-基板フォトダイオードを使用することはまた、低電力グリント検出を成し遂げることができる。
バックグランド光干渉を妨ぐ際の近赤外線狭帯域フィルタの効果
[0097] 本願のこの項はまた、どれくらいの光電流が典型的フォトダイオードによって発生すると思われるかについて説明し、したがって、ほぼ同じ電圧が落ちる方法は特定の露出時間の間で予想される。シリコン・ベースのフォトダイオードは近赤外線の約880ナノメートルの波長で、一般に約0.1のA/W感度を有し、それは目/凝視追跡のために概して使用される波長である。我々は、消費される力が2mWを有する目につき1つのLEDを使用する場合、それの1/3は赤外線になり、照明力は0.667mW/目であってもよい。角膜が照らされた領域の約10%を占めると仮定し、比較的同一の照明、角膜は0.667mWの放射線の10%を得る。現在、我々は更に、各々のカメラが反射された照明の完全な2π半球立体角の約1/1000を占めると仮定し、皮膚および目が50%のIR照明(それは、多分過大評価されるだろう)を反射することができる場合、カメラレンズは現在全体の反射された照明の多くても0.5*0.667mW * 1/1000 =333nWを受信する。100x100ピクセル配列については、各々のピクセルは、大部分の333nW/10000 =33.3pWで受ける。0.1A/Wで、各々のフォトダイオードは、光電流の0.1*33.3 =3.33pAを生成する。少なくともSmart CMOS Image Sensors and Applicationsのp.29-31によれば、例えば、この種の電流は3VのVddから約0Vまで落ちるように概して約100msをフォトダイオード電圧と考え、ここで、減少は露出時間および光電流に関してざっと線形である(例えば、より正確な分析について、Smart CMOS Image Sensors and Applicationsのp.29-31を参照)。
[0098] 次いで、全てのグリントが1つのピクセルを適合させる場合と、角膜が2.4%の反射を有する場合とをグリントピクセルに関して比較すると(例えば、Video-based eyetracking methods and algorithms in head-mounted displays. Hong Hua and Prasanna Krishnaswamy(2006年5月15日)Vol. 14, No. 10 / OPTICS EXPRESSを参照し、それはリファレンスとしてここに組み入れられる)近赤外線の光に、グリントピクセルが0.024*0.1*0.667mW* 1/1000 =1.6nWを受信する。このように、グリントピクセルのフォトダイオードは、光電流の0.1*1.6 =160pAを生成する。これは、バックグランド光干渉がないと仮定する非グリントピクセルとグリントとの間で、少なくとも160:3.33 = 48:1のSNRを与える。これは、グリント光の有意な量が単一のピクセルに集中するという理由である。グリントの集中のためのかかる増幅は、100x100ピクセル配列が10000エレメントを有すると認識することによって推定され、したがって、この種の集中のための増幅比率は、概算で0.024*0.1*10000 = 24である。我々が1000x1000ピクセル配列を使用することができて、さらにより高い増幅比率を成し遂げることができるにもかかわらず、これがコストを上げる点に注意し、LEDが必ずしも完全な位置であるというわけではないので、ソースを照射し、角膜の仮想グリントイメージが厳しく単一の位置(完璧な球面鏡さえ、小さい尾部を有する単一の位置イメージでなく、しかし、むしろイメージを生産する)でないので、グリントはピクセルの小さい一群まで広がることができて、単一のグリントピクセルより便利な方法ではない。オータのガイドライン(Smart CMOS Image Sensors and Applicationsのp.29-31)を使用する際は注意し、160pA電流は、3VのVddから約0Vまで落ちるように概して約100ms/48=2msとする。実際には、我々は3Vと同じくらい多くの低下を必要とせず、事実、僅かにより高いVth低下で十分に良い。次いで、Vth =0.7Vである場合、例えば、我々は所望の低下として1.25*Vth=0.875Vを指定することができ、それを達成するために約0.875V/3V*2ms =0.58msの露出時間だけがかかる。
[0099] 次いで、背景光干渉の効果を分析する。例えば最も強い干渉可能性(直射日光)から始めよう。そのとき、太陽は直接目を照らしている。それは、約100,000ルクスのグリントについては、直射日光がlkW/m2のエネルギー集中を有する太陽のフォトボルタイクス技術から公知である。比較において、曇りおよび室照明は、約1000ルクスを有する。そのルクスが可視光において表される点に留意する必要があり、したがって、赤外線照明はゼロをルクスに貢献されるが、但し、それはエネルギー集中に寄与する。目の領域が直射日光の約10%を反射し、目の領域が約4cm x 4cm = 16cm2であり、太陽スペクトル全体にわたる反射された照射パワーは、0.1*16* 10-4m2*1kW/m2 = 160mWと仮定する。使用する唯一のフィルタが一般のIR-パスフィルタである場合、1/4の反射された日光は、シリコンペースフォトダイオードを通過及び活性化の両方を可能にし(光子波長はシリコンを励起させる1100ナノメートルより短くなければならない点に注意する)、カメラレンズが完全な2πステレオ角度の1/1000をカバーする場合、カメラは合計l/4*160mW* 1/1000 = 40μWを受信する。反射が散乱し、100x100ピクセルの中で比較的一様に広げられる場合、各々のピクセルは、0.1A/Wの感度で、40μW/10000の=4nWを受信し、干渉として0.4nAまたは400pAの光電流を生成する。これは、上述したLEDによって発生する光電流と同じ程度の2.5回である。太陽が遠隔位置光源と類似しているので、角膜からの反射は太陽によって誘発されたグリントを形成し、光がピクセルに集中されるので、そのグリントは非常により強い。バックグラウンド干渉がその代わりに1000ルクス(例えば室照明)である場合、エネルギー分光分布が直射日光と類似していると仮定すると、それは400pA/100 =4pAを生成するだけであり、上述したLEDによって誘発された光電流と同じ程度の1/40だけである点に注意する。しかし、バックグランド光が電球のような点光源である場合、グリントはまだ形成されることができ、そのグリントはまだLED照明に充分な干渉を引き起こすことができる。
[00100] 次いで、近赤外線(NIR)狭帯域(NB)フィルターが、LEDによって生成される出力バンドと正確に合うように使用される場合、背景光干渉の効果は非常に減少する。例えば、あるデータシート(Standard-Line Near Infra-red Bandpass Filter Listing, Product 880.0 IF 40, www.cheshireoptical.com/NIRfilters.htm,、それはリファレンスとしてここに組み入れられる)は、かかるフィルタは、880ナノメートルで生成される40nmの半値幅を有し、バンドの範囲内で65%透過し、バンド外で1000乃至10000フォールドの反射比率を有する。同様に、他のデータシート(MOLD LED Lamp L880 Series: Infrared LED Lamp)は、特定のNIR LEDがまた、880ナノメートルで、40ナノメートルの半値幅を有することを示す。説明を簡単にするため、日光周波数域を装うことは300ナノメートルから800ナノメートルの総バンド幅を有する1100ナノメートルまで、比較的同一であり、バンド外の光が完全にフィルタによってほぼ拒絶された時から、背景光の40nm/800nm = 0.05だけがその狭帯域の範囲内であり、概略的に、0.05*0.65 =3.25%だけがそのフィルタを通過する。次いで、100,000ルクス直射日光に関して、カメラは0.0325* 160mW* 1/1000 = 5.2μWだけを受信し、散乱する反射のために、各々のピクセルは5.2μW/10000=0.52nWを得て、それは干渉として52pAの光電流れを順番に生成する。それがごくわずかでないにもかかわらず、LEDは160pAより非常に低く生成する。より正確には、65%のNIR NBフィルタでは、LED照明は、(大部分のLED照明が40ナノメートルのバンド内部にあると仮定すると)多分160pAの代わりに0.65* 160pA = 104pAを生成するだろう。太陽によって誘発されたグリントのために、それはまだ課題であるが、しかし、それは次の項目において対処される。1000ルクスの室照明に関して、ソース(大体、電球)がグリントを誘導し、グリントが約100回、散乱する反射より強くてもよい場合であっても、ソースはまた、100回、日光より弱い。したがって、この種のグリントによってpMOSFETをつけなくて、目立つ干渉が生じないことはあり得る。
[00101] 太陽によって誘発されたグリントを取扱うために、我々は2つの背中合わせの露出時間を実行することができ、その結果、それらはほとんど同一の目の機能を捕える。両方の露出時間において、例えば、LED照明がありさえすれば、pMOSFETのVthより僅かに高い電圧低下を引き起こす、背景光干渉なしで我々が使用するのと同じであるように露出時間を調整する。第1の露出の間、我々はLEDをオフにすることができて、いかなるグリントの存在についても調べることができる。グリントが存在する場合、それらは誤ったグリントでなければならないので、それらのピクセル位置は記録される。第2の露出の間、LEDはつけられ、検出グリントはまた、記録される。それから、第1の露出からの誤ったグリントのピクセル位置は、第2の露出のグリントに対して比較され、おそらく、その場所はグリントが有するケースの小さい2D近辺検索ウインドウによって、僅かにシフトする。いかなる誤ったグリントとも一致し(位置づけ付近に関して)第2の露出からのいかなるグリントも記録から削除される。次いで、残留するグリントは、LEDによって誘導され、最も見込みのある本当のグリントである。ある実施形態では、LEDは第2の露出の間オフにされ、第1の露出の間、オンにされることができ、誤ったグリントは第2の露出の間記録され、同じ結果を有する第1の露出に対して効果的に比較されるが、この種の構成はよりいくぶん流線形でなくてより僅かに効率的でない。誤ったグリントが偶然本当のグリントと重なることが起こる場合、本当のグリントがまた、取り除かれることは公知である。したがって、本当のグリントが検出されないというわずかな確率が、誤ったグリント移動の間にある。しかし、これはより誤ったグリントと重なりそうにないLEDが本当のグリント(誤ったグリント)の過去の歴史に、基礎をおいた上述した実施形態の2つのLEDから選択することによって軽減されることができ、両方のLEDから本当のグリントの位置が予測される。もちろん、2つ以上のLEDを使用することができて、選択することができるが、コストを下げるために、2つのLEDはコストおよびパフォーマンスに関する良い取引であってもよい。
[00102] もちろん、より高いLEDパワーはまた、SNRを助ける。LEDパワーが上述した実施形態の10倍強い場合、露出時間の1/10だけが必要であり、強さとして背景光干渉は1/10である。そのLED力は見たところではいかなる損害も避けるために健康規則によって適度にセットされなければならないことに注意すべきである。より高いLEDパワー(そして、このようにより短い露出時間)を使用する利点は、各々の露出が迅速な目の運動によってより冒されていないということであり、二重露出のためにそれらが低いLED力およびより長い露出構成と比較して各々により関連させるということである。
[00103] 上記の説明において、我々は時間調整された方法でLED照明をオン/オフし、我々は背景照明が大部分は一定の2つ以上の露出時間であると仮定する。この仮定は一般に日光、白熱電球、ロウソク、その他にとって真実である。しかし、例えばTV、CRTおよびLCDモニタのようなデバイスは、周知のリフレッシュ・レートを有し、それらのディスプレイはまた、調整された時間の方法で明るくなる。2つの露出時間の間、背景照明変化を避けるために、時々両方の露出時間のためにLED照明をオフにすることができ、誤ったグリントが2つの露出時間の間で整合しているかどうか調べることができる。それらが整合していない場合、背景照明が調整される時間であることはあり得て、したがって、操作が執られ得る。例えば、凝視トラッカは、背景照明がより安定している2つの露出時間に関して異なって相殺される(しかし、おそらく、同じ追跡頻度を維持して)時間を選ぶことができる。凝視トラッカは、整合性を点検しなければならないかもしれなくて、周期的なベースの時間オフセットを調整しなければならないかもしれない。それがより都合よく背景照明の効果を補償することができるように、凝視トラッカは時間変調の特徴を推定するためにアルゴリズムを使用することができる。
2つの露出時間の電圧相違を判断するための2台のコンデンサを有する修正されたAPS
[00104] 上記の説明において、我々は本当のグリントから誤ったグリントを識別するためにすでに時間調整された(オン/オフ)LED照明を利用し、更にそれを続けるために、我々は2つの露出時間を実行することができ、2つの露出時間の間で生じる電圧差を比較することができる。事実、これはJet Propulsion Laboratory article(Ambient-Light-Canceling Camera Using Subtraction of Frames, NASA Tech Briefs (2004年5月)参照。リファレンスとして本願明細書に引用したものとするか。)によっての前から提案されており、2つの画像は撮られ、減算はそれから2つのイメージ上の対応するピクセル間のソフトウェアで実行される。ザミール認識システム(Zamir Recognition Systems)(発行された米特許出願番号第20080203277号参照。リファレンスとして本願明細書に引用したものとする。)は、よりハードウェアで異なる設計ベースが提案されており、周波数変調信号および周波数パスフィルタが使用され、または、時間変調(On/Off)信号が使われることを示唆し、それぞれ、2つの露出時間においてコンデンサが充電され及び放電された。ザミール方法も、1つのコンデンサを有する各々のピクセルについては、ピクセルの2つの列を使用して、算出モジュールを使用している2つのコンデンサの電圧を減じようと提案する。
[00105] 図10は本願の一実施形態による、2つの露出時間の2-コンデンサAPSベース電圧相違を示す。APS 1000は、リセットトランジスタ1002、フォトダイオード1003、ソースフォロア・トランジスタ1004、フォトダイオード電圧1005、セレクトトランジスタ1006、供給電圧1007、選択された信号1008、出力電圧1009、共有電流制限トランジスタ1010、第1のチャージトランジスタ1015、第1のコンデンサ1016、第2のチャージトランジスタ1017および第2のコンデンサ1018を含む。本願の提案された方法はまた、時間調整された照明および減算を使用することができるが、ザミール方法の1つのコンデンサを有する各々のピクセルを有するピクセルの2つの列を必要とする代わりに、それは1ピクセルの2つのコンデンサを利用して、ピクセルの1つの列だけを必要とする。これは、APS 1000に示される。第1の露出の間、LEDは消えていて、第1のコンデンサ1016はフォトダイオード1003によって充電される(より正確に言うと、まず最初に電圧がVdd-Vthである、そして、電圧が落ちるので、フォトダイオード1003が露光量を得るにつれて、第1のコンデンサ1016は放電している)。第2の露出の間、LEDはついていて、第2のコンデンサ1018はフォトダイオード1003によって充電される。第1のコンデンサ1016の陽極は、1018がソースに接続している第2のコンデンサのMsfソースフォロア・トランジスタ1004(実施形態において、nMOSFETがソースフォロア・トランジスタ1004のために使われる)および陽極のゲートに接続している間接的に図10に示すようにまたは直接同じ効果を有する第2のコンデンサ1018の下であるためにセレクトトランジスタ1006を移動することによってソースフォロア・トランジスタ1004も同様。この構成では、背景照明が2つの露出時間の間、安定していて、両方のサイクルの露出過度があるというわけではないと仮定している場合、第1のコンデンサ1016の電圧は第2のコンデンサ1018の電圧より高い。その理由は、フォトダイオード1003は第2の露出の間、LED照明のためにより多くの事件ライトを有するからである。露出時間は、同じことにセットされることができる背景光干渉がない。したがって、電圧差はVthより僅かに高く、それはソースフォロア・トランジスタ1004をオンにするのに十分で、電流がその中を流れる。本当のグリントでないピクセルのために、誤ったグリントを含み、露出過度でない、第1および第2のコンデンサ1016の電圧および1018を装うことはほとんど同じことであり、電圧差は約0Vであり、それは、誤ったグリントのためにさえ、ソースフォロア・トランジスタ1004をオンにすることが可能でない。図10において、2つの信号は、いつチャージするべきか/各々のコンデンサを放電するべきかについて制御するために用いる。「CHARGE_1」信号は制御第1のコンデンサ1016に第1のチャージトランジスタ1015に送られ、「CHARGE_2」信号は制御第2のコンデンサ1018に第2のチャージトランジスタ1017に送られる。それぞれ、CHARGE_1およびCHARGE_2はONでもよく、上記の対応するリセットおよび露出モードの間、高くてもよい。
[00106] ある実施形態では、APS 400、500、600、700、800、900および1000の中で示されるトランジスタは、MOSFETトランジスタであってもよい。ある実施形態では、APS 400、500、600、700、800、900および1000の中で示されるトランジスタは、バイポーラ接合トランジスタであってもよい。ある実施形態では、APS 400、500、600、700、800、900および1000の中で示されるトランジスタは、示されるトランジスタより多くまたは少なくてもよい。
[00107] 通常、MOSFETが、ソース・ピンに短絡する基板(バルク)については、3-端末装置であり、潜在的なダイオードを作製して、電流の流れに影響されやすい全体的なMOSFETを作るソース電圧が、nMOSFETsのためのドレイン電圧より高いことに注意する。この課題は、図10(例えばコンデンサ1がフォトダイオードより高い電圧を有して、このようにフォトダイオードに充電を漏らす時)において起こり得る。それから、フォトダイオードがコンデンサ1にリークチャージすことができるので、ドレインおよびソースピンを交換することはこの課題を解決しない。
[00108] 実際の実装では、この問題は効果的に充電制御MOSFETに4-端末装置を作ることによって避けられることができ、その基板はそれらのソース・ピンに短絡しない。図11に示すように、フォトダイオードが継ぎ目なく他のMOSFETと統合されるしばしば使用された流線形のレイアウトを経て、これは達成される。
[00109] 図11は、本願の一実施形態によるフォトダイオードが継ぎ目なく他のMOSFETと統合される流線形のレイアウトを示す。レイアウト1100はリセットトランジスタ1102、第1のチャージトランジスタ1115、第2のチャージトランジスタ1117、VC1電圧1120(それは、第1の浮遊拡散からなされるコンデンサC1の電圧を測定する)、第1の浮遊拡散域および第1のn型ウェル域1121(VC2電圧1122(それは、第2の浮遊拡散からなされるコンデンサC2の電圧を測定する))、第2の浮遊拡散域1123、フォトダイオードn型ウェル1124、第2のn型ウェル域1125およびp-基板1130を包含する。レイアウト1100は、例えば、充電リークを避けるために図10に示されるフォトダイオード1003の物理的なレイアウト実装である。第2のコンデンサ1018が3D方法で配置される点に注意する。図11は浮遊拡散コンデンサを有する4T-APSとのなんらかの類似性を有し、比較のためにmart CMOS Image Sensors and Applicationsのp.40-41を参照することが出来る。好ましくは、露出時間の較正を単純化するために、フォトダイオード1003の負担が完全に所望の浮遊拡散コンデンサ内に流入するように、製造プロセスを調整しなければならず、CMOSイメージ・センサ・チップの電気潜在的プロファイルを設計しなければならない。一方、チャージは、フォトダイオード1003と浮遊拡散コンデンサの間でシェアされ、一般に露出時間の較正を難しくする。
[00110] 図10に関して、Msf(またはソースフォロア・トランジスタ1004)が動いているようになり、一旦電流がそれの中を流れ始めるならば、第2のコンデンサ1018が電圧に関して上方へ段階的に充電され、上記の方法がダイナミックな回路デザインの若干の要素を有する点に留意する必要があり、一旦その電圧が第1のコンデンサ1016のそれと同程度高くなるならば、ソースフォロア・トランジスタ1004は脇道へそれ、電流は流れるのを止め、それはこのピクセルがグリントでないかのようなようであるが、それは長い十分な持続期間の間の電流の流れの後、起こるだけである。したがって、出力電圧または電流があまりに多くチャージする前に、できるだけ急速に出力を変えることは、サンプルにとってきわめて重大である。例えば、第2のコンデンサ1018は1pFの静電容量を有する場合、および、我々が1μAの電流制限器を使用する場合、(上方へ)1V変わるために1μsだけその電圧を必要とするだろう。(例えばA 200 μs Processing Time Smart Image Sensor for an Eye Tracker Using Pixel-Level Analog Image Processingに示すように、)競争式(WTA)回路は、(例えばグリント明るさに従う電圧)入力の大きさに基づいて厳しく(全ての行から)勝者の出力を選択することができるが、CMOSロジック(概して何十ns未満の)より長い遅延(概して何百ns)を有し、したがって、WTA回路は、よりグリントピクセルのコンデンサ2つの電圧を変えそうである。加えて、WTAはメモリを有せず、一列に全てのグリントピクセルを出力するために、いくつかの繰り返しが必要であり、それら全ては各々のピクセルの第2のコンデンサ1018に変えさせられる。したがって、WTAは多分APS 1000によって図10に示されるほど、提唱された2-コンデンサAPSに、適していないだろう。比較において、CMOSロジックについては、ラッチまたはレジスタの行は何十nsのAPS出力電圧のバイナリの値を保存するために用いることができ、その後、全てのAPS要素は両方ともパワーを節約して、第2のコンデンサ1018の電圧を更に変えることを避けるためにオフにされることができる。また、優先順位エンコーダ回路は、一つずつ、現在の行の全てのグリントピクセルを出力するために用いることができ、この全てはソースフォロア・トランジスタ1004をオンにすることなく済ますことができるかまたは再び第2のコンデンサ1018の電圧を変えることができる。
[00111] また、フォトダイオードが、P-基板を有する2-コンデンサAPSのためのpMOSFETを使用することが可能である。第2のコンデンサ1018(グリントのための低い電圧を有すると思われる)の陽極はpMOSFETのゲートに接続することができ、第1のコンデンサ1016の陽極がpMOSFETのソースに接続している場合、ドレインはグランドに(間接的に)接続していなければならない。それから、第2のコンデンサ1018の電圧がVth(ピクセルはオン)より多くのものによって第1のコンデンサ1016の電圧より低い場合、それが第2のコンデンサ1018の電圧に下がって止まるまで、第1のコンデンサ1016は放電し始める。CMOSロジックがラッチ/レジスタの基礎を形成する前に、類似したダイナミックな回路問題がpMOSFETベースのAPSに関して、及び、同じ推理に関して存在し、優先順位エンコーダ回路は現在の行のグリントピクセルを選ぶためのWTA回路を通じて好まれる。簡潔さのために、pMOSFETを有する2-コンデンサAPSのための正確な回路は、省略される。同様に、フォトダイオードがP-基板の代わりにN-基板を使用する場合、したがって、第2のコンデンサ1018の電圧が第1のコンデンサ1016の電圧と、十分に異なる場合だけ、回路はまた、Msfをつけるように調整されることができる。
[00112] 提案された方法の特徴は、それが減算をMOSFETの切換所有物と結合するということである。しかし、この方法は設計および製造のより多くの複雑さを加えることができ、したがって、他の方法がよく実行しない場合だけ、それが使われなければならず、例えば、誤ったグリントが起こる場合、しばしば本当のグリントと重なる。実際問題として、誤ったグリント移動を有するより単純なpMOSFETデザインは、多分複雑さ、実用性およびコストに関するより良いオプションであるだろう。全ての場合に、近赤外線狭帯域フィルタは、受動的に大部分の背景光干渉を遮るために用いることができる。
[00113] 2-コンデンサAPSについては、その出力電圧Vo(1009)は、Msfまたはソースフォロア・トランジスタ1004のドレインでサンプルをとられることができる。それがグリントピクセルでない場合、VoはVddにほぼ等しい。それがグリントピクセルである場合、VoはほぼVC2(例えばVC2電圧1122)(第2のコンデンサ1018の電圧)であり、それは0Vでない。これはCMOSロジックのためのインタフェース課題をつくり、それは通常0およびVddを装う。中間の電圧が使われる場合、事実、それがたぶん両方の種類のMOSFET(CMOSがpMOSFETsおよびnMOSFETsから成ることを取り消す)がオンにされ、オンにされている1つのタイプだけの仮定を中断することになる。高いパワーを消費するにつれて、これはCMOSロジックによって両方の機能不全を引き起こすことができる。
[00114] このインタフェース問題の解決は、CMOSロジックのための異なる電源を使用することである。リセットの間、ソフト・リセットが使われる場合、VC2はVdd-Vthの値まで初期化される。第2の露出の後、背景光干渉なしでさえ、VC2は僅かにVth(だいたい1.25*Vth)より多くのものによって少なくとも低下する。それから、VC2は、Vdd - Vth- 1.25* Vth = Vdd-2.25*Vthだけ落ちる。したがって、我々がVddに(0Vの代わりに)Vdd-2.25*Vthおよびそのフルパワー電圧にCMOSロジックのグランド電圧をセットする場合、CMOSロジックは適切にAPS出力と入出力を行う。
[00115] 全ての上記の分析で、説明を簡単にするため、我々が回路のMOSFETの全てのタイプのための同じVth値を装った点に注意する。実際には、彼らは同じものである必要はない。これらの分析の派生を理解することによって、当業者はVth値が異なるケースを分析することが可能でなければならない。
[00116] 近視眼の進行を減速して、止めておよび/または逆転させるために、弛緩させて、眼精疲労を減らすために、本願は、新型の眼鏡に近視眼ユーザを提供する。また、一般に目および凝視追跡を実行するこの本願において、低い動力凝視トラッカは、提供される。眼鏡の形態で低コスト、低パワー目/凝視トラックソリューションを提供する。目/凝視追跡が些細でないとみなされることができるいくつかの理由は眼鏡から頭部運動、背景光干渉および反射を含み、その全ては提案された凝視トラッカにおいて非常に最小化されることができる。トラッカが眼鏡に組み込まれるので、もはや眼鏡反射は課題ではない。目/凝視追跡およびそれ自体は、ユーザ挙動をモニタする際の多くのアプリケーションを有し、TVを見るかまたは、ビルボード上の広告を見ると共に、例えば焦点の部材を追跡する。
[00117] 前述の仕様および以下の添付の文書において、開示はそれの特定の典型的な実施形態に関して記載される。さまざまな変更態様が以下の請求項にて説明するように、より広い趣旨および範囲から逸脱することなく、それに対してなされることができることは、明白である。したがって、明細書および図面は制限的な感覚よりむしろ図示する感覚において注意されることである。
[00118] この説明において、さまざまな機能および動作は、実行されると評されることができるかまたは説明を単純化するためにソフトウェア・コードによって生じることができる。しかし、当業者はこの種の表現によって意味されることが機能がプロセッサ(例えばマイクロプロセッサ)によって、コード/指示の実行から生じるということであると認識する。代わりにまたは共に、機能および動作は、ソフトウェア指示の有無にかかわらず、特別な対象物回路を使用して実行されることができ、例えば特定用途向け集積回路(ASIC)または書替え可能ゲートアレイf(FPGA)を使用する。実施形態は、ソフトウェア指示のないまたはソフトウェア指示と結合する物理的に組み込まれた回路を使用して実行されることができる。このように、技術はハードウェア回路およびソフトウェアのいかなる特定の組合せ、また、実行される指示のいかなる特定の組み合わせにもどちらも制限されないデータ処理システムである。
[00119] いくつかの実施形態が完全に機能しているコンピュータおよびコンピュータシステムにおいて実行されることができると共に、さまざまな実施形態は様々な形式のコンピューティング製品として配布されることができて、実際に配布を遂行するために用いる機械であるかコンピュータ可読のメディアの特定のタイプに関係なく適用されることができる。
[00120] 少なくとも、ソフトウェアとの関係で、開示される若干の態様は、具体化されることができる。すなわち、技術はそのプロセッサ(例えばマイクロプロセッサ)に応答して、コンピュータシステムまたは他のデータ処理システムにおいて実行されることができ、メモリ(例えばROM、不安定なRAM、不揮発性メモリ、キャッシュまたは遠隔記憶装置)に含まれる指示のシーケンスを実行する。
[00121] 実施形態を実行するために実行されるルーチンは、「コンピュータプログラム」と称されオペレーティングシステムまたは特定のアプリケーションの一部、コンポーネント、プログラム、対象物、モジュールまたは一連の命令として実装されることができる。コンピュータプログラムは概して、さまざまなメモリのさまざまな時間に一つ以上のインストラクション集合を含み、読み込まれ、コンピュータの一つ以上のプロセッサによって実行されるとき、コンピュータおよびそれの記憶装置はコンピュータにさまざまな態様を含む要素を実行するのに必要な動作を実行させる。
[00122] 一般に、機械読み込み可能な媒体は、機械(例えばコンピュータ、ネットワーク装置、パーソナル携帯情報機器、製造ツール、一組の一つ以上プロセッサを有するいかなる装置その他)によって、情報をアクセスできる書式(すなわち、保存および/または伝達)に示すいかなる機構も含む。
[00123] 機械読み込み可能な媒体も、ソフトウェアおよびデータを格納するために用いることができ、システムがさまざまな方法を実行するシステムに生じさせるデータ処理によって実行される。実行可能ソフトウェアおよびデータは、例えばROM、揮発性RAM、不揮発性メモリおよび/またはキャッシュを含むさまざまな場所に格納されることができる。このソフトウェアおよび/またはデータの部分は、これらの記憶装置のいかなる一つにも格納されることができる。更に、データおよび指示は、集中化したサーバから得られることができ、またはpeer to peerネットワークから得られることができる。データおよび指示の異なる部分は、異なる集中化したサーバから得られることができ、および/または、異なる時間および時間中に別にpeer to peerネットワークに凝視することができる通信セッション、または、同じ通信セッションである。データおよび指示は、アプリケーションの実行の前に全部において得られることができる。あるいは、実行のために必要とされるときに、データおよび指示の部分は動的に(ちょうど間に合うように)得られることができる。このように、データおよび指示が時間の特定の例で全部の機械読み込み可能な媒体にあることは、必要でない。
[00124] メモリのデータをよみがえらせるかまたは維持するために絶えず力を必要とするダイナミックRAM(DRAM)として、揮発性RAMは、概してインプリメントされる。不揮発性メモリは概して磁気ハードディスク、磁気光学的ドライブ、光学的ドライブ(例えばDVD RAM)であり、または、他の種類の力の後でさえデータを維持するメモリ・システムはシステムから取り除かれる。不揮発性メモリは、また、ランダム・アクセス・メモリであってもよい。不揮発性メモリは、直接データ処理システムの他のコンポーネントに連結するローカル装置でありえる。システム(例えばモデムのようなネットワークインターフェースでデータ処理システムに連結するネットワーク記憶装置またはイーサネット・インタフェース)とかけ離れている不揮発性メモリが、また、使われることができる。
[00125] コンピュータ可読のメディアの実施形態は、記録可能で非記録可能なタイプ・メディア(例えば揮発性物質および非揮発性メモリデバイス)、読出し専用メモリ(ROM)、ランダム・アクセス・メモリ(RAM)、フラッシュメモリ装置、フロッピーで他のリムーバブル・ディスク、磁気ディスク記憶媒体、光学記憶媒体(例えばコンパクトディスク読出し専用メモリ(CD-ROM)、Digital Versatile Disk(DVD)、その他)を含むが、これに限定されるものではない。
[00126] コンピュータ可読のメディアは、指示を保存することができる。一般に、有形の機械読み込み可能な媒体は、機械(例えばコンピュータ、ネットワーク装置、パーソナル携帯情報機器、製造ツール、一組の一つ以上プロセッサを有するいかなる装置など)によって、情報をアクセスできる書式(すなわち、保存および/または伝達)に示すいかなる機構も含む。
[00127] さまざまな実施形態において、物理的に組み込まれた回路が、技術を実装するようにというソフトウェア指示と結合して使われることができる。このように、技術はハードウェア回路およびソフトウェアのいかなる特定の組合せにも限られていもしなく、指示のいかなる特定のデータ処理システムによって実行されもしない。
[00128] いくつかの図面が特定の命令の多くの動作を例示するにもかかわらず、依存している順序でない動作は再び整理されることができ、そして、他の動作は結合されることができるかまたは外へはずれることができる。追加で述べるか他のいくらかのグループが特に言及すると共に、他の人は従来技術において通常の技術のそれらにとって明らかで、そのような変形例の徹底的なリストを発表しない。さらに、ハードウェア、ファームウェア、ソフトウェアまたはいかなる組合せにもおいてインプリメントされることができたと認識されなければならない。
[00129] 開示は、これらの方法を実行するデータ処理システムおよび指示を含んでいる計算機可読の媒体を含むこれらの方法を実行する方法および装置を含み、システムがこれらの方法を実行するシステムに生じさせるデータ処理に実行される。
[00130] 現在最も実際的で好適な実施形態であると考慮されることに関して、方法および装置が記載されると共に、開示が開示された実施形態に限られている必要はないと理解される。それは、特許請求の範囲内(いずれが全てのこの種の変更態様および類似した構造を含むために最も幅広い解釈を与えられなければならない範囲)に含まれるさまざまな変更態様および類似した準備をカバーすることを対象とする。本願は、以下の特許請求の範囲の全ての実施形態を含む。
[00131] 様々な変化が本発明の本質から逸脱することなく、なされることができることは、また、理解されなければならない。この種の変化は、また、暗に説明に含まれる。それらは、まだ本発明の範囲内になる。この開示が全体的なシステムとして、そして、それぞれに本発明の、そして、両方の方法と装置モードの多数の態様をカバーしている特許を譲渡することを対象物とすると理解されなければならない。
[00132] 更に、本発明および請求項の各々のさまざまな要素は、また、様々な方法において成し遂げられることができる。この開示は、この種の各々のバリエーションを含むと理解されてなければならなくて、なければならないいかなる装置実施形態も、方法または方法実施形態またはこれらのいかなる要素もの単にバリエーションだけの実施形態のバリエーションである。
[00133] 特に、開示が本発明のエレメントに関する場合、機能だけまたは結果だけが同じことである場合であっても、各々の要素に対する用語が等価な装置条件または方法の用語によって表されることができると理解されなければならない。
[00134] この種の等価であるか、より幅広いより多くの総称語は、各々の要素または動きの説明において含まれると考えられなければならない。本発明が名称を与えられる暗に幅広い範囲を明確にするのを要求される場合、この種の条件は置換されることができる。
[00135] 全ての動きがその措置をとるための手段としてまたはその動きが生じる要素として表されることができると理解されなければならない。
[00136] 同様に、開示される各々の物理的な要素は、その物理的な要素が容易にする動きの開示を含むと理解されなければならない。
[00137] この点に関しては、何百もの実際的な理由および潜在的に加わることを避ける特許請求の範囲に関して、出願人が最初の依存だけを有する主張を提示したと理解されなければならない。
[00138] 出願人が文字通りいかなる具体例も含むために事実いかなる主張も立案しなかったということについて、一方適用できる範囲にとって、実体のない置換が出願人が作るという意味されるいかなる習慣も入れるために理解されてはならなず、または、実際に出願人が単に全ての可能性;当業者が相当に予想されなければならないというわけではないことを予期することが可能であることができなかったような範囲を放棄し、文字通りこの種の別の実施形態を含んだ請求項を立案した。
[00139] 更に、用語「有する」の使用は本願明細書において「オープンエンド(open- end)」請求項を維持するために用いられ、従来の請求項解釈に一致する。一方、コンテキストが要求しない限り、用語「有する」と理解しなければならず、このように、または、例えばバリエーション「包含する」、または、「含む」ことは定まった要素またはステップの包含または他のいかなる要素もまたはステップの除外または要素またはステップのグループ以外の要素またはステップでないグループを意味することを対象物とする。この種の条件は、以下の請求項に従って出願人に法的に許される最も幅広い範囲を与えるためにそれらの最も拡張的なフォームにおいて解釈されなければならない。
[00140] 前述の明細書において、開示はそれの特定の典型的な実施形態に関して記載される。さまざまな変更態様が以下の特許請求の範囲にて説明したように、より広い趣旨および範囲から逸脱することなく、それに対してなされることができることは、明白である。したがって、明細書および図面は制限的な感覚よりむしろ図示する感覚において注意される必要がある。

Claims (28)

  1. 近視を補正するための電気光学装置であって、
    少なくとも1つの適用レンズと、
    少なくとも1つの電源と、
    目トラッカと
    を有し、
    前記目トラッカが更に、
    イメージ・センサと、
    前記適用レンズと前記イメージ・センサとに作動可能に接続されたプロセッサとを有し、
    前記プロセッサが、前記イメージ・センサから電気信号を受信し、ユーザの凝視距離および近視処方強度に依存した補正パワーで、近視を修正するために前記適用レンズの補正パワーを制御するように構成されることを特徴とする装置。
  2. 前記適用レンズおよび前記目トラッカが、1mwより小さいパワー消費を呈することを特徴とする請求項1に記載の装置。
  3. 前記適用レンズおよび前記目トラッカが、100mwより小さいパワー消費を呈することを特徴とする請求項1に記載の装置。
  4. 前記プロセッサが、式1/f = 1/u + 1/fO +l/f_over及び式1/f = 1/fOそれぞれを使用して曲線によって境界が定められた非増加曲線で、補正パワーを調整するように構成され、1/fOが近視処方強度であり、それは負であり、uが、凝視距離であり、l/f_overがオーバードライブモードのポテンシャルに関してユーザによって特定された追加の光学パワー差であり、それは正であることを特徴とする請求項1に記載の装置。
  5. 前記非増加曲線が正確に1/f = 1/u + 1/fOであることを特徴とする請求項4に記載の装置。
  6. 前記非増加曲線が、式1/f = 1/u + l/(l/(a*u+b) + fO)であり、aおよびbが構成パラメータであることを特徴とする請求項4に記載の装置。
  7. レンズが、エレクトロウェッティング(electrowetting)レンズ、液晶レンズ、および、流体流入(fluid injections)の液体レンズからなるグループから選択された1つであることを特徴とする請求項1に記載の装置。
  8. 前記凝視距離が、凝視追跡によって決定されることを特徴とする請求項1に記載の装置。
  9. 前記凝視追跡が、複数のLEDおよび、ヘッドマウント構成における目毎の複数のカメラを使用したグリント追跡に基づき、追跡の周波数よりも小さい周波数で自動較正が実行され、自動較正の後、1つのLEDだけが照明として使用され、活性化したLEDは、最も正確な追跡結果を与えるようなLEDとして決定されることを特徴とする請求項8に記載の装置。
  10. 前記凝視追跡が、ヘッドマウント構成における目毎の1つのカメラおよび1つのLEDを使用したグリント追跡に基づき、全ての目のパラメータが、事前に較正され、前記カメラの2次元グリント座標から3次元グリント座標にマッピングすることは、事前に較正された目のパラメータに基づいて目毎に事前に計算され、凝視方向情報(回転角ペア)を駆動させるのに用いられることを特徴とする請求項8に記載の装置。
  11. 前記凝視追跡が、グリントの3次元座標を得て、次いで、前記LEDとライン接続を増加させ、原点で球の中心を有する半径dの球表面を備えたグリントの前記3次元座標を得るために1つのLEDおよび2つのカメラの使用に基づき、角膜中心の3次元座標として前記LEDにより近い交差点を選択し、従って、凝視方向情報(回転角ペア)を導出し、
    原点が、追跡される目の中心であり、dが前記目の中心から前決めの角膜中心までの距離であることを特徴とする請求項9に記載の装置。
  12. 前記カメラに関する眼球の中心と、前記中心から角膜中心までの半径とが、球表面モデルによって角膜中心の3次元座標のサンプルから回帰によって推測され、
    角膜の半径rが、rc = 2 dCL*dcg /(dCL+dcg)という数学的関係を用いて角膜中心の少なくとも1つの3次元座標から引き続き推測され、dCLおよびdcgが、それぞれ、角膜中心と前記LED(L)との間の距離、および、角膜中心とグリントとの間の距離であることを特徴とする請求項11に記載の装置。
  13. 前記プロセッサが、ユーザの目の各々から、ユーザが焦点合わせする対象物までの、それぞれ見る2つのラインの増加距離に基づいて凝視距離を計算するように構成されることを特徴とする請求項1に記載の装置。
  14. 眼鏡フレームを更に有し、
    少なくとも1つの適用レンズ、少なくとも1つの電源、および、目トラッカが前記眼鏡フレームと一体であることを特徴とする請求項1に記載の装置。
  15. 活性化ピクセルセンサを備えたイメージ・センサを使用して電気光学的装置における低パワー消費の目グリント追跡の方法であって、
    プロセッサを使用して決定するステップであって、イメージ・センサが、構成された閾値よりも高い露光を有することを特徴とする、決定するステップと、
    イメージ・センサ回路によって、比較されたイメージセンサピクセルを報告するステップと、
    対応するピクセルが閾値を超える露光を有する場合、オンにする閾値電圧VthでMOSFETをオンにするステップと、
    ピクセルの状態又は結果をオン/オフす保持するようにレジスタ回路またはラッチを使用するステップと、
    を有することを特徴とする方法。
  16. グリントが、近赤外(NIR)照明およびNIR狭帯域フィルタを使用して生成されることを特徴とする請求項15に記載の方法。
  17. 前記MOSFETが、フォトセンサのものである対向する基板タイプを有し、フォトセンサがフォトダイオードであることを特徴とする請求項15に記載の方法。
  18. 少なくとも1つのNIR LEDがグリント追跡のために用いられ、
    2つの隣接する露光が、オフのLEDを備えた1つの露光で得られ、多の露光が、オンのLEDを備え、グリント候補が以下のステップによってフィルタリングされることを特徴とする;
    (1)前記オフのLEDを備えた露光中にオンにされるMOSFETに対応するそれらを有し、虚偽のグリントピクセルとしてそれらをマークする、ピクセルの位置を記録するステップと、
    (2)前記オンのLEDを備えた露光中にオンにされるMOSFETに対応するそれらを有し、所定の閾値距離より下である、前記ステップ(1)から虚偽のグリントピクセルに対して近位の位置を有するそれらを排除したピクセルの位置を記録するステップと、
    (3)近位の位置によるステップ(2)から残りのピクセルをクラスタ化し、グリントとして各クラスタの中心を報告するステップと、
    を有することを特徴とする請求項17に記載の方法。
  19. 追加のトランジスタが、VddからVdd−Vthまで前記MOSFETのソース電圧を低下させるように用いられ、Vddが前記追加のトランジスタの正の供給電圧であることを特徴とする請求項17に記載の方法。
  20. レジスタまたは空乏エンハンスメントMOSFETが、ピクセルのVo(出力電圧)のロードとして使用されることを特徴とする請求項17に記載の方法。
  21. ピクセルの2次元アレイの行のピクセルの複数の列が、同時にアクセスされ、優先順位エンコーダまたは競争式(WTA)回路が1つの時間でピクセルをオンにする選択をするように用いられることを特徴とする請求項17に記載の方法。
  22. それぞれ、2つの隣接する露光中に、2つのコンデンサがチャージを保持するように使用され、第1の露光が、オフLEDを有し、第1のコンデンサに関してチャージを制御し、第2の露光が、オンLEDおよびを有し、第2のコンデンサに関してチャージを制御し、MOSFETのゲートピンが、第1のコンデンサのアノードに接続され、そのソース又はドレインが、第2のコンデンサのアノードに接続され、LED照明がVthよりも大きな2つのコンデンサの間で異なる電圧を生成する場合、MOSFETがオンになることを特徴とする請求項15に記載の方法。
  23. MOSFETがnMOSFETであり、ゲートピンが、第1のコンデンサの前記アノードに接続され、ソースピンが、第2のコンデンサの前記アノードに接続されることを特徴とする請求項22に記載の方法。
  24. リセットトランジスタと統合されたフォトダイオードが更に、2つのチャージ制御トランジスタと統合され、各チャージ制御トランジスタが、コントロールゲートの形態で、浮遊拡散をフォトダイオードのnウェル領域に接続することを特徴とする請求項23に記載の方法。
  25. MOSFETがpMOSFETであり、ゲートピンが、第2のコンデンサの前記アノードに接続され、ソースピンが、第1のコンデンサの前記アノードに接続されることを特徴とする請求項22に記載の方法。
  26. MOSFETの出力電圧が、Vss (ground) > Vdd - (k+l)VthでCMOSロジック回路に対する入力として供給され、kVthが、LED照明によって寄与される期待された電圧ドロップであり、k≧1であることを特徴とする請求項25に記載の方法。
  27. 遠視を補正するための電気光学的装置であって、
    少なくとも1つの適用レンズと、
    少なくとも1つの電源と、
    目トラッカと
    を有し、
    前記目トラッカが更に、
    イメージ・センサと、
    前記適用レンズと前記イメージ・センサとに作動可能に接続されたプロセッサとを有し、
    前記プロセッサが、前記イメージ・センサから電気信号を受信し、ユーザの凝視距離および遠視処方強度に依存した補正パワーで、遠視を修正するために前記適用レンズの補正パワーを制御するように構成されることを特徴とする装置。
  28. 眼鏡フレームを更に有し、
    少なくとも1つの適用レンズ、少なくとも1つの電源、および、目トラッカが前記眼鏡フレームと一体であることを特徴とする請求項27に記載の装置。
JP2013513259A 2010-05-29 2011-05-29 凝視距離および低電力凝視追跡によって動かされる適応レンズを有する眼鏡を製作し使用するためのシステム、方法および装置 Pending JP2013535022A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US34983010P 2010-05-29 2010-05-29
US61/349,830 2010-05-29
PCT/US2011/038473 WO2011153112A2 (en) 2010-05-29 2011-05-29 Systems, methods and apparatus for making and using eyeglasses with adaptive lens driven by gaze distance and low power gaze tracking

Publications (1)

Publication Number Publication Date
JP2013535022A true JP2013535022A (ja) 2013-09-09

Family

ID=45067247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013513259A Pending JP2013535022A (ja) 2010-05-29 2011-05-29 凝視距離および低電力凝視追跡によって動かされる適応レンズを有する眼鏡を製作し使用するためのシステム、方法および装置

Country Status (6)

Country Link
US (2) US9338382B2 (ja)
EP (1) EP2577386A4 (ja)
JP (1) JP2013535022A (ja)
CN (2) CN102939557B (ja)
RU (2) RU2016102317A (ja)
WO (1) WO2011153112A2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214073A (ja) * 2012-04-03 2013-10-17 Johnson & Johnson Vision Care Inc 電子眼科用レンズのためのまばたき検出システム
JP2017523445A (ja) * 2014-06-05 2017-08-17 オプティカ アムカ(エー.エー.)リミテッド 動的レンズの制御
JP2022533205A (ja) * 2019-05-20 2022-07-21 マジック リープ, インコーポレイテッド 眼姿勢を推定するためのシステムおよび技法
JP7468393B2 (ja) 2021-02-12 2024-04-16 コニカミノルタ株式会社 オートフォーカス眼鏡およびその制御方法

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130050448A1 (en) * 2011-08-24 2013-02-28 Ati Technologies Ulc Method, circuitry and system for better integrating multiview-based 3d display technology with the human visual system
WO2013066334A1 (en) * 2011-11-03 2013-05-10 Intel Corporation Eye gaze based image capture
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8690321B2 (en) * 2012-04-21 2014-04-08 Paul Lapstun Fixation-based control of electroactive spectacles
EP2706396A1 (en) * 2012-09-06 2014-03-12 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for adapting the optical function of an adaptive ophtalmic lenses system
AU2013322130B2 (en) 2012-09-30 2017-03-09 Optica Amuka (A.A.) Ltd. Lenses with electrically-tunable power and alignment
US11126040B2 (en) 2012-09-30 2021-09-21 Optica Amuka (A.A.) Ltd. Electrically-tunable lenses and lens systems
US9671619B2 (en) 2013-02-28 2017-06-06 Johnson & Johnson Vision Care, Inc. Electronic ophthalmic lens with eye gaze sensor
WO2014179857A1 (en) * 2013-05-07 2014-11-13 Ravenni Technology Inc. Autofocus eyeglass system
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
ES2576489T3 (es) * 2013-08-02 2016-07-07 Essilor International (Compagnie Générale d'Optique) Un método para controlar un dispositivo de lente oftálmica programable
CN103439801B (zh) * 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
WO2015027218A1 (en) * 2013-08-23 2015-02-26 The Schepens Eye Research Institute, Inc. Prevention and treatment of myopia
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
US10007336B2 (en) * 2013-09-10 2018-06-26 The Board Of Regents Of The University Of Texas System Apparatus, system, and method for mobile, low-cost headset for 3D point of gaze estimation
CN103558909B (zh) 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
CN103617716A (zh) * 2013-12-01 2014-03-05 无锡同春新能源科技有限公司 一种以太阳能发电为供电源防近视的测报装置
CN103617707A (zh) * 2013-12-01 2014-03-05 无锡同春新能源科技有限公司 一种安装在桌面上防近视的测报装置
US20150187115A1 (en) * 2013-12-27 2015-07-02 Mark A. MacDonald Dynamically adjustable 3d goggles
US9465237B2 (en) 2013-12-27 2016-10-11 Intel Corporation Automatic focus prescription lens eyeglasses
US20150212317A1 (en) * 2014-01-30 2015-07-30 Duke Ellington Cooke, JR. Vision correction system
CN106030382B (zh) * 2014-02-18 2021-01-19 依视路国际公司 用于优化佩戴者的光学镜片设备的方法
US9454699B2 (en) 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
CN106462895B (zh) 2014-05-15 2022-01-07 依视路国际公司 用于监测头戴式设备的配戴者的监测系统
US9933634B2 (en) * 2014-06-13 2018-04-03 Verily Life Sciences Llc Apparatus, system and method for gaze tracking based on photodetection by an eye-mountable device
US9784994B2 (en) 2014-12-06 2017-10-10 Winthrop Childers Device interaction for correcting presbyopia
US9425233B2 (en) 2014-12-22 2016-08-23 Google Inc. RGBZ pixel cell unit for an RGBZ image sensor
CN104793741A (zh) * 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像系统和方法
KR102429427B1 (ko) 2015-07-20 2022-08-04 삼성전자주식회사 촬영 장치 및 그 동작 방법
CN105091948A (zh) * 2015-09-02 2015-11-25 徐艺斌 一种用于防近视眼架的多功能传感器模块
CN106557727B (zh) 2015-09-30 2019-07-09 华邦电子股份有限公司 瞳孔中心定位方法及电子装置
WO2017079342A1 (en) 2015-11-02 2017-05-11 Focure, Inc. Continuous autofocusing eyewear
WO2017079343A1 (en) * 2015-11-02 2017-05-11 Focure, Inc. Continuous autofocusing eyewear using structured light
JP6289439B2 (ja) * 2015-12-16 2018-03-07 オムロンオートモーティブエレクトロニクス株式会社 画像処理装置
US10859857B2 (en) * 2016-03-22 2020-12-08 Johnson & Johnson Vision Care, Inc. Pulsed plus lens designs for myopia control, enhanced depth of focus and presbyopia correction
US11221500B2 (en) 2016-04-17 2022-01-11 Optica Amuka (A.A.) Ltd. Liquid crystal lens with enhanced electrical drive
US11360330B2 (en) 2016-06-16 2022-06-14 Optica Amuka (A.A.) Ltd. Tunable lenses for spectacles
CN109803574B (zh) * 2016-07-27 2022-05-27 托比股份公司 具有显示器、透镜、照明器和图像传感器的可穿戴设备
CN206178658U (zh) * 2016-08-10 2017-05-17 北京七鑫易维信息技术有限公司 视频眼镜的眼球追踪模组
EP3305176A1 (en) * 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
US10628950B2 (en) * 2017-03-01 2020-04-21 Microsoft Technology Licensing, Llc Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
WO2018191847A1 (zh) * 2017-04-17 2018-10-25 深圳市柔宇科技有限公司 头戴式显示设备及其传感器功率调节方法
US11164352B2 (en) * 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
CN110770636B (zh) * 2017-04-25 2024-04-05 雷特克斯有限公司 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制系统
CN107049229B (zh) * 2017-05-06 2018-11-27 玄园园 一种头戴式视力测试遮眼罩
CN106950721B (zh) * 2017-05-23 2019-03-01 京东方科技集团股份有限公司 一种眼镜
CN110913751B (zh) * 2017-06-30 2022-05-24 聂小春 具有滑动检测和校正功能的可穿戴眼睛跟踪系统
US11953764B2 (en) 2017-07-10 2024-04-09 Optica Amuka (A.A.) Ltd. Tunable lenses with enhanced performance features
US11747619B2 (en) 2017-07-10 2023-09-05 Optica Amuka (A.A.) Ltd. Virtual reality and augmented reality systems with dynamic vision correction
CN107515466B (zh) 2017-08-14 2019-11-26 华为技术有限公司 一种眼球追踪系统和眼球追踪方法
US10420467B2 (en) * 2017-09-05 2019-09-24 eyeBrain Medical, Inc. Method and system for measuring binocular alignment
US11556012B2 (en) 2017-10-16 2023-01-17 Optica Amuka (A.A.) Ltd. Spectacles with electrically-tunable lenses controllable by an external system
CN108806615B (zh) * 2018-05-25 2020-09-01 福州大学 一种针对电润湿显示器的新型像素数据编码方法及装置
EP3582077A1 (en) * 2018-06-13 2019-12-18 Tobii AB Eye tracking device and method for manufacturing an eye tracking device
CN108845433A (zh) * 2018-07-19 2018-11-20 三星电子(中国)研发中心 智能眼镜及其控制方法
US10852545B2 (en) 2018-09-07 2020-12-01 Xcelsis Corporation Head mounted viewer for AR and VR scenes
CN112639687B (zh) * 2018-09-17 2024-05-24 元平台技术有限公司 使用反向偏置发光二极管器件的眼睛跟踪
TWI688192B (zh) * 2018-11-06 2020-03-11 新唐科技股份有限公司 控制電路及其包含之半導體結構
US11985440B2 (en) * 2018-11-12 2024-05-14 Magic Leap, Inc. Depth based dynamic vision sensor
TWI685772B (zh) * 2018-11-23 2020-02-21 國立臺灣大學 取得眼球追蹤位置的影像運算方法和其系統
CN109283701A (zh) * 2018-11-27 2019-01-29 四川长虹电器股份有限公司 一种基于智能眼镜的度数调节与管理系统及方法
SE543240C2 (en) 2018-12-21 2020-10-27 Tobii Ab Classification of glints using an eye tracking system
US11099406B2 (en) 2019-01-24 2021-08-24 International Business Machines Corporation Delivering augmented reality via embedded contact lens
US11061254B2 (en) 2019-01-24 2021-07-13 International Business Machines Corporation Adjusting contact lens prescription while wearing lens
EP3977199A4 (en) 2019-06-02 2023-06-14 Optica Amuka (A.A.) Ltd. ELECTRICALLY ADJUSTABLE EYE AID FOR THE TREATMENT OF MYOPIA
GB2584546B (en) * 2020-04-06 2021-09-01 Novasight Ltd Method and device for treating vision impairment
FR3112933B1 (fr) * 2020-07-31 2023-01-13 Idmed Capteur pupillaire pour détecter une taille ou une variation de taille ou de forme d’une pupille d’un œil d’un patient à travers une paupière supérieure
IL295191A (en) * 2022-07-28 2024-02-01 Immersix Ltd Method and system for determining gaze direction
CN115990012B (zh) * 2022-11-08 2023-08-18 广东保伦电子股份有限公司 一种在特定空间下预防近视的综合防控方法
CN116047469B (zh) * 2023-01-28 2023-06-02 深圳煜炜光学科技有限公司 一种激光雷达及其控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004517359A (ja) * 2000-12-29 2004-06-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 視線追跡によってレンズ能力を自動的に調整するためのシステムと方法
JP2005519684A (ja) * 2002-03-13 2005-07-07 イー・ビジョン・エルエルシー 一体化構成部品を備えた電気光学レンズ
JP2005211329A (ja) * 2004-01-29 2005-08-11 Hamamatsu Photonics Kk 眼球運動測定装置
JP2005328524A (ja) * 2004-05-11 2005-11-24 Samsung Electronics Co Ltd 消費電力を低減した水平ccd駆動回路、それを備えた固体撮像素子及びその駆動方法
JP2009251420A (ja) * 2008-04-09 2009-10-29 Panasonic Corp 可変焦点レンズ装置
JP2009297323A (ja) * 2008-06-16 2009-12-24 Kobe Univ 視線計測装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4300818A (en) * 1978-03-13 1981-11-17 Schachar Ronald A Multifocal ophthalmic lens
US5149176A (en) * 1989-08-07 1992-09-22 Tekonsha Engineering Company Controller for electric braking systems
US5359444A (en) * 1992-12-24 1994-10-25 Motorola, Inc. Auto-focusing optical apparatus
US5843070A (en) * 1996-05-13 1998-12-01 Partech, Inc. Simulating corneal laser surgery
US7023594B2 (en) * 2000-06-23 2006-04-04 E-Vision, Llc Electro-optic lens with integrated components
JP4765168B2 (ja) * 2001-01-16 2011-09-07 富士電機株式会社 基準電圧半導体装置
US7206022B2 (en) * 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring
JP4254388B2 (ja) * 2003-06-11 2009-04-15 本田技研工業株式会社 イメージセンサの走査回路
FI117217B (fi) * 2003-10-01 2006-07-31 Nokia Corp Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi
US7634061B1 (en) * 2004-03-26 2009-12-15 Nova R & D, Inc. High resolution imaging system
US7470027B2 (en) * 2004-12-03 2008-12-30 Searete Llc Temporal vision modification
US20080203277A1 (en) 2005-05-31 2008-08-28 Zamir Recognition Systems, Ltd. Light Sensitive System and Method for Attenuating the Effect of Ambient Light
JP2008015741A (ja) * 2006-07-05 2008-01-24 Konica Minolta Holdings Inc 画像処理装置、画像処理方法及びこれを用いた撮像装置
JP5328207B2 (ja) * 2008-04-01 2013-10-30 キヤノン株式会社 固体撮像装置
JP2009302092A (ja) * 2008-06-10 2009-12-24 Epson Imaging Devices Corp 固体撮像装置
US8583406B2 (en) * 2008-11-06 2013-11-12 Hoya Lens Manufacturing Philippines Inc. Visual simulator for spectacle lens, visual simulation method for spectacle lens, and computer readable recording medium recording computer readable visual simulation program for spectacle lens

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004517359A (ja) * 2000-12-29 2004-06-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 視線追跡によってレンズ能力を自動的に調整するためのシステムと方法
JP2005519684A (ja) * 2002-03-13 2005-07-07 イー・ビジョン・エルエルシー 一体化構成部品を備えた電気光学レンズ
JP2005211329A (ja) * 2004-01-29 2005-08-11 Hamamatsu Photonics Kk 眼球運動測定装置
JP2005328524A (ja) * 2004-05-11 2005-11-24 Samsung Electronics Co Ltd 消費電力を低減した水平ccd駆動回路、それを備えた固体撮像素子及びその駆動方法
JP2009251420A (ja) * 2008-04-09 2009-10-29 Panasonic Corp 可変焦点レンズ装置
JP2009297323A (ja) * 2008-06-16 2009-12-24 Kobe Univ 視線計測装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214073A (ja) * 2012-04-03 2013-10-17 Johnson & Johnson Vision Care Inc 電子眼科用レンズのためのまばたき検出システム
JP2017523445A (ja) * 2014-06-05 2017-08-17 オプティカ アムカ(エー.エー.)リミテッド 動的レンズの制御
JP2022533205A (ja) * 2019-05-20 2022-07-21 マジック リープ, インコーポレイテッド 眼姿勢を推定するためのシステムおよび技法
JP7423659B2 (ja) 2019-05-20 2024-01-29 マジック リープ, インコーポレイテッド 眼姿勢を推定するためのシステムおよび技法
JP7468393B2 (ja) 2021-02-12 2024-04-16 コニカミノルタ株式会社 オートフォーカス眼鏡およびその制御方法

Also Published As

Publication number Publication date
RU2016102317A (ru) 2018-11-21
RU2576344C2 (ru) 2016-02-27
WO2011153112A3 (en) 2012-04-05
CN102939557B (zh) 2014-07-30
US20120133891A1 (en) 2012-05-31
RU2012157736A (ru) 2014-07-10
US9338382B2 (en) 2016-05-10
EP2577386A4 (en) 2014-04-30
CN104133299A (zh) 2014-11-05
WO2011153112A2 (en) 2011-12-08
CN104133299B (zh) 2017-08-04
EP2577386A2 (en) 2013-04-10
CN102939557A (zh) 2013-02-20
US20160252748A1 (en) 2016-09-01
US10133090B2 (en) 2018-11-20

Similar Documents

Publication Publication Date Title
US10133090B2 (en) Systems, methods and apparatus for making and using eyeglasses with adaptive lens driven by gaze distance and low power gaze tracking
CN103356160B (zh) 用于电子式眼科透镜的眨眼检测系统
US9671619B2 (en) Electronic ophthalmic lens with eye gaze sensor
US9323073B2 (en) Electronic ophthalmic lens with emitter-detector pair sensor
RU2569696C2 (ru) Электронная офтальмологическая линза с датчиком положения века
US9066796B2 (en) Multi-focal intraocular lens system and methods for dynamic visual environments
US20170075140A1 (en) Adjustable contact lens system
US20220155860A1 (en) Controlling an eye tracking camera according to eye movement velocity
US20230057524A1 (en) Eyeglass devices and related methods
Ajlouni et al. Linear output eyeball movement tracking system
AU2013204471B1 (en) Electronic ophthalmic lens with eye gaze sensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150223

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150525

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151104