JP2019527377A - 視線追跡に基づき自動合焦する画像捕捉システム、デバイス及び方法 - Google Patents

視線追跡に基づき自動合焦する画像捕捉システム、デバイス及び方法 Download PDF

Info

Publication number
JP2019527377A
JP2019527377A JP2018567834A JP2018567834A JP2019527377A JP 2019527377 A JP2019527377 A JP 2019527377A JP 2018567834 A JP2018567834 A JP 2018567834A JP 2018567834 A JP2018567834 A JP 2018567834A JP 2019527377 A JP2019527377 A JP 2019527377A
Authority
JP
Japan
Prior art keywords
eye
user
view
field
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018567834A
Other languages
English (en)
Inventor
タン，スイ，トン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North Inc
Original Assignee
North Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North Inc filed Critical North Inc
Publication of JP2019527377A publication Critical patent/JP2019527377A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

ユーザが見ている／凝視している場所に基づきユーザの視野内の被写体上に自動的に合焦する画像捕捉システム、デバイス及び方法が説明される。画像捕捉システムは、ユーザにとって興味のある被写体上へのオートフォーカスカメラの楽でかつ精確な合焦を促進するためにオートフォーカスカメラと通信する視線追跡器サブシステムを含む。オートフォーカスカメラは、視線追跡器サブシステムにより判断された凝視方向と、その物理的距離又はコントラスト及び／又は位相などの光特性など被写体の１つ又は複数の集束特性とに基づき、ユーザが見ているものの上に自動的に合焦する。画像捕捉システムは、ユーザからの最小介在でもってユーザの視野内の被写体の合焦画像を捕捉するウェアラブルヘッドアップディスプレイにおける使用に特に適切である。【選択図】 図１

Description

技術分野
本システム、デバイス及び方法は、一般的にはオートフォーカスカメラに関し、特に、ウェアラブルヘッドアップディスプレイ（wearable heads-up display）カメラを自動的に合焦させることに関する。
背景
関連技術の説明
ウェアラブルヘッドアップディスプレイ
頭部装着型（head-mounted）ディスプレイは、ユーザの頭上に装着される電子デバイスであって、そのように装着されるとユーザの頭の位置又は配向にかかわらずユーザの眼の少なくとも一方の眼の視野内の少なくとも１つの電子ディスプレイを保証する電子デバイスである。ウェアラブルヘッドアップディスプレイは、ユーザが表示コンテンツを見ることを可能にするだけでなくユーザがそれらの外部環境を見ることができることを妨げない頭部装着型ディスプレイである。ウェアラブルヘッドアップディスプレイの「表示」部品は、透明であるか、又はユーザの視野の周囲においてユーザがそれらの外部環境を見ることができることを完全には阻止しないようにするかのいずれかである。ウェアラブルヘッドアップディスプレイの例は、いくつかの例だけを挙げるとGoogle Glass（登録商標）、Optinvent Ora（登録商標）、Epson Moverio（登録商標）及びSony Glasstron（登録商標）である。
ウェアラブルヘッドアップディスプレイの光学性能はその設計における重要因子である。しかし、顔面装着デバイスといえば、ユーザは美学的問題にも関心がある。これは、眼鏡（サングラスを含む）フレーム産業界の大多数により明確に強調される。その性能制限とは無関係に、ウェアラブルヘッドアップディスプレイの前述の例の多くはファッション的アピールを少なくとも部分的に欠くので消費者市場において牽引力を見出そうと苦闘している。今日までに提示されたほとんどのウェアラブルヘッドアップディスプレイは大きな表示部品を採用し、その結果、今日までに提示されたほとんどのウェアラブルヘッドアップディスプレイは従来の眼鏡フレームより著しく嵩張っておりかつそれほどスマートではない。
ウェアラブルヘッドアップディスプレイの設計におけるチャレンジは、十分な視覚品質を有する表示コンテンツを依然として提供する一方で顔面装着デバイスの嵩を最小化することである。その外部環境を見るユーザの能力を制限することなく高品質画像をユーザへ提供することができるより美学的にアピールする設計のウェアラブルヘッドアップディスプレイの必要性が当該技術領域において存在する。
オートフォーカスカメラ
オートフォーカスカメラは、フォーカスコントローラを含み、ユーザによる集束装置に対する直接的調整無しに当該被写体上に自動的に合焦する。フォーカスコントローラは通常、１つ又はいくつかの光学素子を含み得る少なくとも１つの調節可能レンズを有し、このレンズの状態又は構成は、レンズを通過する被写体からの光の収束又は発散を調整するように可変である。カメラ内に像を生成するために、被写体からの光は感光面上に合焦されなければならない。デジタル写真では、感光面は通常、電荷結合素子又は相補型金属酸化膜半導体（ＣＭＯＳ：complementary metal-oxide-semiconductor）画像センサであり、一方、従来の写真では、感光面は写真フィルムである。一般的には、像の焦点は、少なくとも１つの調節可能レンズと感光面との間の距離を変更することにより、又はレンズの屈折力（例えば収束率）を変更することによりのいずれかによりフォーカスコントローラにおいて調整される。この目的を達成するために、フォーカスコントローラは通常、ユーザの視野内の関心領域の集束特性（例えばカメラからの距離）を直接又は間接的に判断するために少なくとも１つの集束特性センサを含む又はそれへ通信可能に結合される。フォーカスコントローラは、レンズの位置を変更する及び／又はレンズ自体を変更する（流体又は液体レンズを有する場合のように）ためにいくつかのタイプのアクチュエータ（例えばモータ、又は他の作動可能部品）のうちの任意のものを採用し得る。集束特性センサが集束特性を正確に判断するには被写体があまりにも遠く離れていれば、いくつかのオートフォーカスカメラは「無限遠合焦：focus at infinity」として知られた合焦技術を採用する。「無限遠合焦」では、フォーカスコントローラはカメラから「無限遠点」にある被写体上に合焦する。写真では、無限遠点は、当該距離における又は当該距離を越える被写体からの光が少なくともほぼ平行光線としてカメラに到達する距離である。
２つのカテゴリ（能動と受動）の従来のオートフォーカス手法がある。能動オートフォーカスは、カメラからの出力信号と、カメラからの出力信号が当該被写体により受信されることに基づく当該被写体からのフィードバックとを必要とする。能動オートフォーカスは、「信号」（例えば赤外線光又は超音波信号）をカメラから発射し、「伝達時間：time of flight」（すなわち、信号が当該被写体からの反射によりカメラへ戻されるまでに過ぎ去る時間）を測定することにより実現され得る。受動オートフォーカスは、カメラにより既に収集されている画像情報から集束距離を判断する。受動オートフォーカスは、通常様々な場所から（例えば、カメラの画像センサの周囲に配置された複数のセンサ（センサ外位相検出）から）又はカメラの画像センサ内に配置された複数の画素セット（例えば画素対）から（センサ内位相検出から）当該被写体の複数の像を収集し、それらの像を一致させるために少なくとも１つの調節可能レンズを調整する位相検出により実現され得る。同様な方法は、若干異なる場所、位置又は配向からの像（例えば視差）を纏めるために異なる場所又は位置又は配向の２つ以上のカメラ又は他の画像センサ（すなわちデュアルカメラ又は画像センサ対）を使用することを含む。オートフォーカスの別の受動方法は、合焦を判断するために画像センサの隣接画素同士の強度の差が測定されるコントラスト検出である。
簡単な概要
今日の当該技術におけるオートフォーカスカメラを有するウェアラブルヘッドアップデバイスは通常、ユーザの意図する当該被写体に関係なく自動的に合焦する。この結果、不良画像品質と画像の構図の自由度の欠如とを生じる。被写体画像のより正確かつ効率的選択及び当該被写体への精確な合焦を可能にする画像捕捉システムの必要性が当該技術領域において存在する。
画像捕捉システムは、ユーザの眼の少なくとも１つの特徴を感知し、この少なくとも１つの特徴に基づきユーザの眼の凝視方向を判断する視線追跡器サブシステムと；視線追跡器サブシステムへ通信可能に結合されたオートフォーカスカメラであって、視線追跡器サブシステムにより判断されたユーザの眼の凝視方向に基づきユーザの眼の視野内の被写体上に自動的に合焦するオートフォーカスカメラとを含むものとして要約され得る。
オートフォーカスカメラは、ユーザの眼の視野と少なくとも部分的に重なる視野を有する画像センサと；画像センサの視野内の被写体上に調整可能に合焦するように配置及び配向された調節可能光学素子と；調節可能光学素子へ通信可能に結合されたフォーカスコントローラであって、視線追跡器サブシステムにより判断されたユーザの眼の凝視方向とオートフォーカスカメラにより判断された画像センサの視野の少なくとも一部分の集束特性との両方に基づき画像センサの視野をユーザの眼の視野内の被写体上に合焦させるために調整を調節可能光学素子へ適用するフォーカスコントローラとを含み得る。この場合、捕捉システムはさらに、視線追跡器サブシステムとオートフォーカスカメラとの両方へ通信可能に結合されたプロセッサと；プロセッサへ通信可能に結合された非一時的プロセッサ可読記憶媒体であって、プロセッサにより実行されると視線追跡器サブシステムにより判断されたユーザの眼の凝視方向とオートフォーカスカメラにより判断された画像センサの視野の少なくとも一部分の集束特性との間のマッピングをプロセッサに行わせるプロセッサ実行可能データ及び／又は命令を格納する非一時的プロセッサ可読記憶媒体とを含み得る。オートフォーカスカメラは又、画像センサの視野の少なくとも一部分の集束特性を判断するために集束特性センサを含み得る。集束特性センサは、画像センサの視野内の被写体までの距離を感知する距離センサ；画像センサの視野内の被写体までの距離を判断する伝達時間センサ；画像センサの視野内の少なくとも２点間の位相差を検出する位相検出センサ；及び画像センサの視野内の少なくとも２点間の強度差を検出するコントラスト検出センサからなるグループから選択される。
画像捕捉システムは、視線追跡器サブシステムとオートフォーカスカメラとの両方へ通信可能に結合されたプロセッサと；プロセッサへ通信可能に結合された非一時的プロセッサ可読記憶媒体であって、プロセッサにより実行されるとプロセッサに視線追跡器サブシステム及び／又はオートフォーカスカメラの少なくとも一方の動作を制御させるプロセッサ実行可能データ及び／又は命令を格納する非一時的プロセッサ可読記憶媒体とを含み得る。この場合、視線追跡器サブシステムは、ユーザの眼の少なくとも１つの特徴を感知する視線追跡器と；非一時的プロセッサ可読記憶媒体内に格納されたプロセッサ実行可能データ及び／又は命令であって、プロセッサにより実行されると、プロセッサに視線追跡器により感知されたユーザの眼の少なくとも１つの特徴に基づきユーザの眼の凝視方向を判断させる、データ及び／又は命令とを含み得る。
視線追跡器サブシステムにより感知されるユーザの眼の少なくとも１つの特徴は、ユーザの眼の瞳孔の位置、ユーザの眼の瞳孔の配向、ユーザの眼の角膜の位置、ユーザの眼の角膜の配向、ユーザの眼の虹彩の位置、ユーザの眼の虹彩の配向、ユーザの眼の少なくとも１つの網膜血管の位置、及びユーザの眼の少なくとも１つの網膜血管の配向からなるグループから選択され得る。画像捕捉システムはさらに、使用中にユーザの頭上に装着される支持構造を含み得、視線追跡器サブシステムとオートフォーカスカメラとの両方は支持構造により担持される。
視線追跡器サブシステム及びオートフォーカスカメラを含む画像捕捉システムを合焦する方法であって、ユーザの眼の少なくとも１つの特徴を視線追跡器サブシステムにより感知することと；ユーザの眼の凝視方向を少なくとも１つの特徴に基づき視線追跡器サブシステムにより判断することと；視線追跡器サブシステムにより判断されたユーザの眼の凝視方向に基づきオートフォーカスカメラによりユーザの眼の視野内の被写体上に合焦することとを含むものとして要約され得る。ユーザの眼の少なくとも１つの特徴を視線追跡器サブシステムにより感知することは、ユーザの眼の瞳孔の位置を視線追跡器サブシステムにより感知すること；ユーザの眼の瞳孔の配向を視線追跡器サブシステムにより感知すること；ユーザの眼の角膜の位置を視線追跡器サブシステムにより感知すること；ユーザの眼の角膜の配向を視線追跡器サブシステムにより感知すること；ユーザの眼の虹彩の位置を視線追跡器サブシステムにより感知すること；ユーザの眼の虹彩の配向を視線追跡器サブシステムにより感知すること；ユーザの眼の少なくとも１つの網膜血管の位置を視線追跡器サブシステムにより感知すること；及び／又はユーザの眼の少なくとも１つの網膜血管の配向を視線追跡器サブシステムにより感知することのうちの少なくとも１つを含み得る。
画像捕捉システムはさらに、視線追跡器サブシステムとオートフォーカスカメラとの両方へ通信可能に結合されたプロセッサと；プロセッサへ通信可能に結合された非一時的プロセッサ可読記憶媒体であって、プロセッサ実行可能データ及び／又は命令を格納する非一時的プロセッサ可読記憶媒体とを含み得る。本方法はさらに、視線追跡器サブシステムにより判断されたユーザの眼の凝視方向に基づきオートフォーカスカメラをユーザの眼の視野内の被写体上に合焦させるためにプロセッサ実行可能データ及び／又は命令をプロセッサにより実行することを含み得る。オートフォーカスカメラは、画像センサ、調節可能光学素子、及び調節可能光学素子へ通信可能に結合されたフォーカスコントローラを含み得る。本方法はさらに、ユーザの眼の視野と少なくとも部分的に重なる画像センサの視野の少なくとも一部分の集束特性をオートフォーカスカメラにより判断することを含み得る。この場合、視線追跡器サブシステムにより判断されたユーザの眼の凝視方向に基づきオートフォーカスカメラによりユーザの眼の視野内の被写体上に合焦することは、視線追跡器サブシステムにより判断されたユーザの眼の凝視方向とオートフォーカスカメラにより判断された画像センサの視野の少なくとも一部分の集束特性との両方に基づき、画像センサの視野をユーザの眼の視野内の被写体上に合焦させるために調節可能光学素子をオートフォーカスカメラのフォーカスコントローラにより調整することを含み得る。オートフォーカスカメラは集束特性センサを含み得る。画像センサの視野の少なくとも一部分の集束特性をオートフォーカスカメラにより判断することは、画像センサの視野内の被写体までの距離を集束特性センサにより感知すること；画像センサの視野内の被写体までの距離を集束特性センサにより判断すること；画像センサの視野内の少なくとも２点間の位相差を集束特性センサにより検出すること；及び／又は画像センサの視野内の少なくとも２点間の強度差を集束特性センサにより検出することのうちの少なくとも１つを含み得る。
本方法は、視線追跡器サブシステムにより判断されたユーザの眼の凝視方向とオートフォーカスカメラにより判断された画像センサの視野の少なくとも一部分の集束特性との間のマッピングをプロセッサに行わせることを含み得る。この場合、ユーザの眼の凝視方向を視線追跡器サブシステムにより判断することは、ユーザの眼の少なくとも１つの特徴に対応する第１の組の二次元座標を視線追跡器サブシステムにより判断することを含み得；画像センサの視野の少なくとも一部分の集束特性をオートフォーカスカメラにより判断することは、第２の組の二次元座標を含む画像センサの視野内の第１の領域の集束特性をオートフォーカスカメラにより判断することを含み得；視線追跡器サブシステムにより判断されたユーザの眼の凝視方向とオートフォーカスカメラにより判断された画像センサの視野の少なくとも一部分の集束特性との間のマッピングをプロセッサに行わせることは、ユーザの眼の少なくとも１つの特徴に対応する第１の組の二次元座標と画像センサの視野内の第１の領域に対応する第２の組の二次元座標との間のマッピングをプロセッサにより実行することを含み得る。
本方法は、視線追跡器サブシステムにより判断されたユーザの眼の凝視方向とオートフォーカスカメラの画像センサの視野との間のマッピングをプロセッサにより行わせることを含み得る。
本方法は、ユーザからの画像捕捉命令をプロセッサにより受信することと；ユーザからの画像捕捉命令をプロセッサにより受信することに応答して、視線追跡器サブシステムにより判断されたユーザの眼の凝視方向に基づきオートフォーカスカメラをユーザの眼の視野内の被写体上に合焦させるためにプロセッサ実行可能データ及び／又は命令をプロセッサにより実行することとを含み得る。
本方法は、オートフォーカスカメラが被写体上に合焦されている間に被写体の像をオートフォーカスカメラにより捕捉することを含み得る。
ウェアラブルヘッドアップディスプレイは、使用中にユーザの頭上に装着される支持構造と；支持構造により担持され視覚的表示コンテンツを提供する表示コンテンツ生成器と；支持構造により担持されユーザの視野内に配置される透明合成器であって、表示コンテンツ生成器により提供される視覚的表示コンテンツをユーザの視野へ導く透明合成器と；ユーザの眼の少なくとも１つの特徴を感知し、この少なくとも１つの特徴に基づきユーザの眼の凝視方向を判断する視線追跡器サブシステムと；視線追跡器サブシステムへ通信可能に結合されたオートフォーカスカメラであって、視線追跡器サブシステムにより判断されたユーザの眼の凝視方向に基づきユーザの眼の視野内の被写体上に自動的に合焦するオートフォーカスカメラとを含む画像捕捉システムと、を含むものとして要約され得る。ウェアラブルヘッドアップディスプレイのオートフォーカスカメラは、ユーザの眼の視野と少なくとも部分的に重なる視野を有する画像センサと；画像センサの視野内の被写体上に調整可能に合焦するように配置及び配向された調節可能光学素子と；調節可能光学素子へ通信可能に結合されたフォーカスコントローラであって、視線追跡器サブシステムにより判断されたユーザの眼の凝視方向とオートフォーカスカメラにより判断された画像センサの視野の少なくとも一部分の集束特性との両方に基づき画像センサの視野をユーザの眼の視野内の被写体上に合焦させるために調整を調節可能光学素子へ適用するフォーカスコントローラとを含み得る。ウェアラブルヘッドアップディスプレイはさらに、視線追跡器サブシステムとオートフォーカスカメラとの両方へ通信可能に結合されたプロセッサと；プロセッサへ通信可能に結合された非一時的プロセッサ可読記憶媒体であって、プロセッサにより実行されると視線追跡器サブシステムにより判断されたユーザの眼の凝視方向とオートフォーカスカメラにより判断された画像センサの視野の少なくとも一部分の集束特性との間のマッピングをプロセッサに行わせるプロセッサ実行可能データ及び／又は命令を格納する、非一時的プロセッサ可読記憶媒体とを含み得る。
複数の図面の簡単な説明
添付図面では、同一参照符号は同様の要素又は行為を識別する。添付図面における要素の寸法と相対位置は必ずしも原寸に比例して描かれていない。例えば、様々な要素の形状と角度は必ずしも原寸に比例して描かれていなく、これらの要素のいくつかは図面の読み易さを向上させるために任意に拡大され配置される。さらに、描かれた要素の特定形状は、特定要素の実際の形状に関するいかなる情報も伝えるように必ずしも意図されていなく、添付図面における認識の容易さのためにもっぱら選択された。
本システム、デバイス及び方法による視線追跡器サブシステム及びオートフォーカスカメラを採用する画像捕捉システムの説明図である。 本システム、デバイス及び方法による、使用中のそしてユーザの眼が第１の被写体（すなわち第１の被写体の方向）を見ている又は凝視していることに応答して第１の被写体上に合焦する例示的画像捕捉システムを示す説明図である。 本システム、デバイス及び方法による、使用中のそしてユーザの眼が第２の被写体（すなわち第２の被写体の方向）を見ている又は凝視していることに応答して第２の被写体上に合焦する例示的画像捕捉システムを示す説明図である。 本システム、デバイス及び方法による、使用中のそしてユーザの眼が第３の被写体（すなわち第３の被写体の方向）を見ている又は凝視していることに応答して第３の被写体上に合焦する例示的画像捕捉システムを示す説明図である。 本システム、デバイス及び方法による、ユーザの眼の凝視方向と画像センサの視野の少なくとも一部分の集束特性との間の例示的マッピング（画像捕捉システムにより行われる）を示す説明図である。 本システム、デバイス及び方法による、ユーザの凝視方向の被写体上に自動合焦するように画像捕捉システムを操作する方法を示す流れ図である。 本システム、デバイス及び方法による、ユーザからの画像捕捉命令に応答してユーザの凝視方向の被写体の合焦画像を捕捉するように画像捕捉システムを操作する方法を示す流れ図である。 本システム、デバイス及び方法による画像捕捉システムを有するウェアラブルのヘッドアップディスプレイの前部正面図である。 本システム、デバイス及び方法による画像捕捉システムを有する図６Ａのウェアラブルヘッドアップディスプレイの後部正面図である。 本システム、デバイス及び方法による画像捕捉システムを有する図６Ａ、６Ｂのウェアラブルヘッドアップディスプレイの右側正面図である。
詳細な説明
以下の明細書では、いくつかの特定詳細が、様々な開示実施形態の完全な理解を提供するために説明される。しかし、当業者は、実施形態はこれらの特定詳細のうちの１つ又は複数の特定詳細無しに、又は他の方法、部品、材料等により、実行され得るということを認識することになる。他の例では、ポータブル電子デバイス及び頭部装着型デバイスに関連する周知の構造は、実施形態の説明を不必要に曖昧にしないように図示又は説明されなかった。
文脈が必要としない限り、以下の明細書と特許請求の範囲を通じて、用語「含む」とその活用形は開かれた包括的意味、すなわち「限定するものではないが含む」と解釈されるものとする。
本明細書を通して「一実施形態」又は「実施形態」への参照は、特定特徴、構造又は特性が１つ又は複数の実施形態において任意の好適なやり方で組み合わせられ得るということを意味する。
本明細書と添付の特許請求範囲において使用されるように、単数形式の冠詞及び不定詞（「a」、「an」及び「the」）は、その内容が明らかに規定しない限り、複数の参照物を含む。用語「又は」は通常、その内容が明らかに規定しない限り広義に（すなわち「及び／又は」を意味する）採用されるということにも留意すべきである。
本明細書に提供されるサブタイトルと要約書は便宜のためだけのものであって、実施形態の範囲又は意味を解釈するものではない。
本明細書で説明される様々な実施形態は、ユーザが見ている又は凝視している場所に基づきユーザの視野内の被写体上に自動的に合焦するオートフォーカスカメラのためのシステム、デバイス及び方法を提供する。さらに具体的には、本明細書で説明される様々な実施形態は、ユーザが被写体を見ている又は凝視していることによりカメラが自動的に合焦すべき被写体をユーザが選択することを可能にするために視線追跡器サブシステムがオートフォーカスカメラと一体化された画像捕捉システムを含む。このような画像捕捉システムは、ウェアラブルヘッドアップディスプレイ（ＷＨＵＤ）における使用に特に適切である。
本明細書と添付特許請求の範囲を通じて「視線追跡器サブシステム」への参照がなされる。一般的に、「視線追跡器サブシステム」は、ユーザの少なくとも一方の眼の少なくとも１つの特徴を測定、感知、検出、及び／又は監視し、この少なくとも１つの特徴に基づきユーザの少なくとも一方の眼の凝視方向を判断するシステム又はデバイス（例えばデバイスの組み合わせ）である。少なくとも１つの特徴は、ユーザの眼の瞳孔の位置、ユーザの眼の瞳孔の配向、ユーザの眼の角膜の位置、ユーザの眼の角膜の配向、ユーザの眼の虹彩の位置、ユーザの眼の虹彩の配向、ユーザの眼の少なくとも１つの網膜血管の位置、及び／又はユーザの眼の少なくとも１つの網膜血管の配向のうちの任意のもの又はすべてを含み得る。少なくとも１つの特徴は、ユーザの眼の様々な特徴のうちの少なくとも１つからの光の反射又は閃光を検出、監視又はそうでなければ感知することにより判断され得る。様々な視線追跡技術が今日使用されている。本システム、デバイス及び方法の視線追跡器において使用され得る視線追跡システム、デバイス及び方法の例は、限定しないが以下の特許文献に記載のものを含む：米国非仮特許出願第１５／１６７，４５８号、米国非仮特許出願第１５／１６７，４７２号；米国非仮特許出願第１５／１６７，４８４号；米国仮特許出願第６２／２７１，１３５号；米国仮特許出願第６２／２４５，７９２；及び米国仮特許出願第６２／２８１，０４１号。
図１は、本システム、デバイス及び方法による、ユーザの眼１８０の視野１９１内の被写体１３１、１３２及び１３３（集合的に「１３０」）の存在下で視線追跡器サブシステム１１０及びオートフォーカスカメラ１２０を採用する画像捕捉システム１００の説明図である。動作中、視線追跡器サブシステム１１０は、眼１８０の少なくとも１つの特徴を感知し、この少なくとも１つの特徴に基づき眼１８０の凝視方向を判断する。オートフォーカスカメラ１２０は、視線追跡器サブシステム１１０へ通信可能に結合されており、視線追跡器サブシステム１１０により判断された眼１８０の凝視方向に基づき眼１８０の視野１９１内の被写体１３０に自動的に合焦するように構成される。このようにして、ユーザは単に、オートフォーカスカメラ１２０が像を捕捉する前にオートフォーカスカメラ１２０に被写体１３１、１３２、又は１３３のうちの特定の１つの上に合焦させるためにこれを見得る又は凝視し得る。図１において、被写体１３２は被写体１３１、１３３よりユーザに近く、被写体１３１は被写体１３３よりユーザに近い。
本明細書と添付特許請求の範囲を通じて、用語「被写体」は、一般的にはユーザの眼の視野内の特定エリア（すなわち領域又はサブエリア）を指し、より具体的には、ユーザの視野内の特定エリアに又はその特定エリア内に位置する任意の視認可能な物体、物質、風景、物品又はエンティティを指す。「被写体」の例は、限定しないが、人、動物、構造、建物、景観、パッケージ又は包み、小売り物品、車両、機械、及び一般的にはオートフォーカスカメラが合焦することができオートフォーカスカメラがその像を捕捉することができる任意の物理的物品を含む。
画像捕捉システム１００は、視線追跡器サブシステム１１０とオートフォーカスカメラ１２０との両方へ通信可能に結合された少なくとも１つのプロセッサ１７０（例えばデジタルプロセッサ回路）と、プロセッサ１７０へ通信可能に結合された少なくとも１つの非一時的プロセッサ可読媒体又はメモリ１１４とを含む。メモリ１１４はとりわけ、プロセッサ１７０により実行されるとプロセッサ１７０に視線追跡器サブシステム１１０及び／又はオートフォーカスカメラ１２０のいずれか又は両方の動作を制御させるプロセッサ実行可能データ及び／又は命令を格納する。
例示的視線追跡器サブシステム１１０は、（上述したように）ユーザの眼１８０の少なくとも１つの特徴（例えば瞳孔１８１、虹彩１８２、角膜１８３又は網膜血管１８４）を感知する視線追跡器１１１と、画像捕捉システム１００の少なくとも１つのプロセッサ１７０により実行されると視線追跡器１１１により感知されたユーザの眼１８０の少なくとも１つの特徴（例えば瞳孔１８１）に基づき少なくとも１つのプロセッサ１７０にユーザの眼の凝視方向を判断させる少なくとも１つのメモリ１１４内に格納されたプロセッサ実行可能データ及び／又は命令１１５と、を含む。画像捕捉システム１００の例示的実施形態では、当業者は本明細書において教示された画像捕捉システムの他の実施形態が他の形式及び／又は構成の視線追跡部品を採用し得るということを認識することになるが視線追跡器１１１は少なくとも１つの光源１１２（例えば赤外線光源）と少なくとも１つのカメラ又は光検出器１１３（例えば赤外線カメラ又は赤外線光検出器）とを含む。光信号源１１２は、反射光信号１４２として眼１８０により反射される又はそうでなければ戻される光信号１４１を発射する。光検出器１１３は反射光信号１４２を検出する。光検出器１１３により検出された反射光信号１４２の少なくとも１つの特性（例えば輝度、強度、伝達時間、位相）は、眼１８０の少なくとも１つの特徴（例えば瞳孔１８１）に依存し、したがって当業者により一般的に理解されるやり方でこれを示す又は表す。図示の例では、視線追跡器１１１は、眼１８０の少なくとも１つの特徴（例えば瞳孔１８１、虹彩１８２、角膜１８３又は網膜血管１８４の場所及び／又は配向）を測定、検出、及び／又は感知し、このようなものを表すデータをプロセッサ１７０へ提供する。プロセッサ１７０は、眼１８０の少なくとも１つの特徴（例えば瞳孔１８１）に基づき眼１８０の凝視方向を判断するために非一時的プロセッサ可読記憶媒体１１４からのデータ及び／又は命令１１５を実行する。具体例として、視線追跡器１１１は、眼１８０が第１の被写体１３１方向を見ている又は凝視しているときに眼１８０の少なくとも１つの特徴を検出し、プロセッサ１７０は眼１８０の凝視方向が第１の凝視方向１５１であるということを判断し；視線追跡器１１１は、眼１８０が第２の被写体１３２方向を見ている又は凝視しているときに眼１８０の少なくとも１つの特徴（例えば瞳孔１８１）を検出し、プロセッサ１７０は眼１８０の凝視方向が第２の凝視方向１５２であるということを判断し；視線追跡器１１１は、眼１８０が第３の被写体１３３方向を見ている又は凝視しているときに眼１８０の少なくとも１つの特徴（例えば瞳孔１８１）を検出し、プロセッサ１７０は眼１８０の凝視方向が第３の凝視方向１５３であるということを判断する。
図１では、オートフォーカスカメラ１２０は、眼１８０の視野１９１と少なくとも部分的に重なる視野１９２を有する画像センサ１２１と、画像センサ１２１の視野１９２に調整可能に合焦するように配置及び配向された調節可能光学素子１２２と、調節可能光学素子１２２へ通信可能に結合されたフォーカスコントローラ１２５とを含む。動作中、フォーカスコントローラ１２５は、視線追跡器サブシステム１１０により判断された眼１８０の凝視方向とオートフォーカスカメラ１２０により判断された画像センサ１２１の視野１９２の少なくとも一部分の集束特性との両方に基づき画像センサ１２１を眼１８０の視野１９１内の被写体１３０上に合焦させるために調整を調節可能光学素子１２２へ適用する。この目的を達成するために、オートフォーカスカメラ１２０も又プロセッサ１７０へ通信可能に結合され、メモリ１１４はさらに、プロセッサ１７０により実行されるとプロセッサ１７０に視線追跡器サブシステム１１０により判断された眼１８０の凝視方向とオートフォーカスカメラ１２０により判断された画像センサ１２１の視野１９２の少なくとも一部分の集束特性との間のマッピングを行わせるプロセッサ実行可能データ及び／又は命令を格納する。
オートフォーカスカメラ１２０が画像センサ１２１の視野１９２の少なくとも一部分の集束特性を判断する機構及び／又は技術及び判断される特定集束特性の性質は特定実装形態に依存し、本システム、デバイス及び方法は広範囲の実施形態に一般的なものである。画像捕捉システム１００の特定実施形態では、オートフォーカスカメラ１２０は、それぞれが画像センサ１２１の視野１９２の少なくとも一部分のそれぞれの集束特性を判断する２つの集束特性センサ１２３、１２４を含む。図示の例では、集束特性センサ１２３は、画像センサ１２１の視野１９２内の少なくとも２点間の位相差を検知するために画像センサ１２１と一体化された位相検出センサである（したがって、集束特性センサ１２３に関連する集束特性は画像センサ１２１の視野１９２内の少なくとも２点間の位相差である）。図示の例では、集束特性センサ１２４は、画像センサ１２１の視野１９２内の被写体１３０までの距離を感知する画像センサ１２１とは別個の距離センサである（したがって、集束特性センサ１２４に関連する集束特性は画像センサ１２１の視野１９２内の被写体１３０までの距離である）。集束特性センサ１２３、１２４は両方ともフォーカスコントローラ１２５と通信可能に結合され、それぞれは、調節可能光学素子１２２を誘導する又はそうでなければフォーカスコントローラ１２５によりなされる調節可能光学素子１２２への調整に影響を及ぼすために集束特性（又は集束特性を表す又はそうでなければ示すデータ）をフォーカスコントローラ１２５へ提供する。
例示的実施形態として、視線追跡器サブシステム１１０は眼１８０の凝視方向（例えば１５２）を表す情報をプロセッサ１７０へ提供し、集束特性センサ１２３及び／又は１２４のいずれか又は両方は画像センサ１２１の視野１９２に関する集束特性情報をプロセッサ１７０へ提供する。プロセッサ１７０は、凝視方向（例えば１５２）に沿った眼１８０の視野１９１内の被写体１３０（例えば１３２）の集束パラメータを判断するために凝視方向（例えば１５２）と集束特性情報との間のマッピングを行う。次に、プロセッサ１７０は集束パラメータ（又はそれを表すデータ／命令）をフォーカスコントローラ１２５へ提供し、フォーカスコントローラ１２５はユーザが凝視方向（例えば１３２）に沿って凝視している特定被写体１３０（例えば１３２）に合焦するために集束パラメータに従って調節可能光学素子１２２を調整する。
別の例示的実施形態として、視線追跡器サブシステム１１０は眼１８０の凝視方向（例えば１５２）を表す情報をプロセッサ１７０へ提供し、プロセッサ１７０は凝視方向（例えば１５２）を画像センサ１２２の視野１９２の特定領域へマッピングする。次に、プロセッサ１７０は、オートフォーカスカメラ１２０からの画像センサ１２１の視野１９２の当該特定領域に関する集束特性情報を要求し（集束特性センサ１２３及び／又は１２４との直通通信を介し、又はそれ自身が集束特性センサ１２３及び／又は１２４と直通通信するフォーカスコントローラ１２５との通信を介しのいずれかにより）、オートフォーカスカメラ１２０は対応する集束特性情報をプロセッサ１７０へ提供する。次に、プロセッサ１７０は、ユーザが凝視方向に沿って凝視している被写体（例えば１３２）上にオートフォーカスカメラが合焦することをもたらす集束パラメータ（又はそれを表すデータ／命令）を判断し、これらの集束パラメータをフォーカスコントローラ１２５へ提供する。フォーカスコントローラ１２５は、ユーザが凝視方向（例えば１３２）に沿って凝視している特定被写体１３０（例えば１３２）上に合焦するために調節可能光学素子１２２を集束パラメータに従って調整する。
いくつかの実施形態では、複数のプロセッサが含まれ得る。例えば、オートフォーカスカメラ１２０（又は特にフォーカスコントローラ１２５）は、プロセッサ１７０とは別個の第２のプロセッサを含んでもよいしそれへ通信可能に結合されてもよく、第２のプロセッサは上記例に説明された行為（凝視方向及び集束特性情報に基づき焦点パラメータを判断することなど）をマッピングすること及び／又は判断することの一部を行い得る。
図１に示す構成は単なる例である。別の実施形態では、別の及び／又は追加の集束特性センサが採用され得る。例えば、いくつかの実施形態は、画像センサ１２１の視野１９２内の被写体１３０までの距離を判断する伝達時間センサ（伝達時間センサは、直接感知又は測定されるのとは対照的に距離が信号移動時間に応じて判断される距離センサの形式であると考えられ得る）、及び／又は画像センサ１２１の視野１９２内の少なくとも２点（例えば画素）間の強度差を検知するコントラスト検出センサを採用し得る。いくつかの実施形態は単集束特性センサを採用し得る。いくつかの実施形態では、調節可能光学素子１２２は複数の部品を含むアセンブリであり得る。
本システム、デバイス及び方法は、採用される視線追跡及びオートフォーカス機構の性質にとって一般的なものである。視線追跡器サブシステム１１０及びオートフォーカスカメラ１２０（集束特性センサ１２３を含む）の上記説明は例示的目的のためだけであるように意図されており、実際には、視線追跡及び／又はオートフォーカスの他の機構が採用され得る。高レベルでは、本明細書で説明される様々な実施形態は、複数の利用可能被写体のうちの特定な１つを見ることによりオートフォーカスカメラが合焦すべき複数の利用可能被写体のうちの特定な１つをユーザが選択することを可能にするために、視線追跡及び／又は凝視方向データ（例えば視線追跡器サブシステム１１０からの）と集束特性データ（例えば集束特性センサ１２３及び／又は１２４からの）とを組み合わせる画像捕捉システム（例えば画像捕捉システム１００、及びその操作方法）を提供する。このような視線追跡器ベース（例えば、凝視方向ベース）カメラオートフォーカスの具体例が図２Ａ、２Ｂ及び２Ｃに提供される。
図２Ａは、本システム、デバイス及び方法による、使用中のそしてユーザの眼２８０が第１の被写体２３１（すなわち第１の被写体の方向）を見ている又は凝視していることに応答して第１の被写体２３１上に合焦する例示的画像捕捉システム２００を示す説明図である。画像捕捉システム２００は、図１の画像捕捉システム１００とほぼ同様であり、オートフォーカスカメラ２２０（図１のオートフォーカスカメラ２２０とほぼ同様な）と通信する視線追跡器サブシステム２１０（図１の視線追跡器サブシステム１１０とほぼ同様な）を含む。一組の３つの被写体２３１、２３２及び２３３がユーザの眼２８０の視野内に存在し、それぞれは眼２８０から異なる距離にあり、被写体２３２はユーザに最も近い被写体であり、被写体２３３はユーザから最も遠い被写体である。図２Ａでは、ユーザは第１の被写体２３１方向を見ている／凝視しており、視線追跡器サブシステム２１０は、第１の被写体２３１を見ている／凝視しているユーザに対応する眼２８０の凝視方向２５１を判断する。凝視方向２５１を表す又はそうでなければそれに関するデータ／情報が視線追跡器サブシステム２１０からプロセッサ２７０へ送信され、プロセッサ２７０は、画像センサ２２１の視野内のユーザが見ている／凝視している場所を少なくとも近似的に判断するために凝視方向２５１とオートフォーカスカメラ２２０内の画像センサ２２１の視野との間のマッピング（例えば、それへ通信可能に結合された非一時的プロセッサ可読記憶媒体２１４内に格納されたデータ及び／又は命令を実行することに基づく）を行う。
例示的画像捕捉システム２００は、画像捕捉システム２００が画像捕捉システム１００とは異なる集束特性感知機構を採用するという点で例示的画像捕捉システム１００とは異なる。具体的には、画像捕捉システム２００は、位相検出センサ１２３を含まず、その代りに、オートフォーカスカメラ２２０内の画像センサ２２１がコントラスト検出を可能にするようにされる。一般的に、画像センサ２２１の画素／センサのうちの様々な（例えば、隣接する）ものからの光強度データ／情報が（例えばプロセッサ２７０により、又はフォーカスコントローラ２２５により、又は画像捕捉システム２００内の別のプロセッサ（図示せず）により）処理され、強度差を識別又はそうでなければ判断するために比較される。画像センサ２２１の「焦点が合った」エリア又は領域は、隣接画素間の強度差が最大であるエリア／領域に対応する傾向がある。
加えて、画像捕捉システム２００内の集束特性センサ２２４は、画像センサ２２１の視野内の被写体２３１、２３２、及び／又は２３３までの距離を判断する伝達時間センサである。したがって、コントラスト検出及び／又は伝達時間検出は、ユーザが凝視方向２５１に沿って見ている／凝視しているときにユーザが見ている／凝視している場所に対応する画像センサ２２１の視野の少なくとも一部分の１つ又は複数の集束特性（すなわち、コントラスト及び／又は被写体までの距離）を判断するために画像捕捉システム２００内で使用される。画像センサ２２１によるコントラスト検出及び／又は伝達時間センサ２２４による距離判断のいずれか又は両方は、一緒に、又は個々に、又は加えて採用され得、位相検出センサ及び／又は別の形式の距離センサなどの他の集束特性センサにより置換され得る。画像センサ２２１及び／又は伝達時間センサ２２４により判断される集束特性はフォーカスコントローラ２２５へ送信され、これに基づきフォーカスコントローラ２２５は画像センサ２２１の視野を第１の被写体２３１上に合焦させるために調整を調節可能光学素子２２２へ適用する。次にオートフォーカスカメラ２２０は（例えばユーザからの画像捕捉命令に応答して）第１の被写体２３１の合焦画像２９０ａを捕捉し得る。第１の被写体２３１の「合焦された」態様は、「第１の被写体２３１ａが陰影の無いボリュームとして描かれる一方で被写体２３２ａ、２３３ａは両方とも陰影付けされる（すなわち、合焦されていない状態を表す）」ということにより像２９０ａの具体例に表される。
通常、視線追跡器サブシステム２１０による凝視方向の判断、プロセッサ２７０による凝視方向と画像センサ２２１の視野の対応領域とのマッピング、コントラスト検出及び／又は伝達時間検出による画像センサ２２１の視野の少なくとも当該領域の集束特性の判断、及び／又は画像センサ２２１の視野の当該領域上に合焦するためのフォーカスコントローラ２２５による調節可能光学素子２２２の調整のうちの任意のもの又はすべては、実時間で連続的に又は自律的に（例えば定期的に規定頻度で）行われ得、実際の画像２９０ａはユーザからの画像捕捉命令だけに応答して捕捉され得る、又は代替的に上述したもののうちの任意のもの又はすべてがユーザからの画像捕捉命令だけに応答して行われ得る。
図２Ｂは、本システム、デバイス及び方法による、使用中のそしてユーザの眼２８０が第２の被写体２３２（すなわち第２の被写体の方向）を見ている又は凝視していることに応答して第２の被写体２３２上に合焦する例示的画像捕捉システム２００を示す説明図である。図２Ｂでは、ユーザは第２の被写体２３２方向を見ており／凝視しており、視線追跡器サブシステム２１０は、第２の被写体２３２を見ている／凝視しているユーザに対応する眼２８０の凝視方向２５２を判断する。凝視方向２５２を表す又はそうでなければそれに関するデータ／情報が視線追跡器サブシステム２１０からプロセッサ２７０へ送信され、プロセッサ２７０は、画像センサ２２１の視野内のユーザが見ている／凝視している場所を少なくとも近似的に判断するために凝視方向２５２とオートフォーカスカメラ２２０内の画像センサ２２１の視野との間のマッピング（例えば、それへ通信可能に結合された非一時的プロセッサ可読記憶媒体２１４内に格納されたデータ及び／又は命令を実行することに基づく）を行い得る。ユーザが凝視方向２５２に沿って見ている／凝視しているときにユーザが見ている／凝視している場所に対応する画像センサ２２１の視野内の領域に関し、画像センサ２２１はコントラスト（例えば相対強度）情報を判断し得る及び／又は伝達時間センサ２２４は被写体距離情報を判断し得る。これらの集束特性のいずれか又は両方はフォーカスコントローラ２２５へ送信され、これに基づきフォーカスコントローラ２２５は画像センサ２２１の視野を第２の被写体２３２上に合焦させるために調整を調節可能光学素子２２２へ適用する。次にオートフォーカスカメラ２２０は（例えばユーザからの画像捕捉命令に応答して）第２の被写体２３２の合焦画像２９０ｂを捕捉し得る。第２の被写体２３２の「合焦された」態様は「第２の被写体２３２ｂが陰影の無いボリュームとして描かれる一方で被写体２３１ｂ、２３３ｂは両方とも陰影付けされる（すなわち、合焦されていない状態を表す）」ということにより像２９０ｂの具体例に表される。
図２Ｃは、本システム、デバイス及び方法による、使用中のそしてユーザの眼２８０が第３の被写体２３３（すなわち第３の被写体の方向）を見ている又は凝視していることに応答して第３の被写体２３３上に合焦する例示的画像捕捉システム２００を示す説明図である。図２Ｃでは、ユーザは第３の被写体２３３方向を見て／凝視しており、視線追跡器サブシステム２１０は、第３の被写体２３３を見ている／凝視しているユーザに対応する眼２８０の凝視方向２５３を判断する。凝視方向２５３を表す又はそうでなければそれに関するデータ／情報が視線追跡器サブシステム２１０からプロセッサ２７０へ送信され、プロセッサ２７０は、画像センサ２２１の視野内のユーザが見ている／凝視している場所を少なくとも近似的に判断するために、凝視方向２５３とオートフォーカスカメラ２２０内の画像センサ２２１の視野との間のマッピング（例えば、それへ通信可能に結合された非一時的プロセッサ可読記憶媒体２１４内に格納されたデータ及び／又は命令を実行することに基づく）を行い得る。ユーザが凝視方向２５３に沿って見ている／凝視しているときにユーザが見ている／凝視している場所に対応する画像センサ２２１の視野内の領域に関し、画像センサ２２１はコントラスト（例えば相対強度）情報を判断し得る及び／又は伝達時間センサ２２４は被写体距離情報を判断し得る。これらの集束特性のいずれか又は両方はフォーカスコントローラ２２５へ送信され、これに基づきフォーカスコントローラ２２５は画像センサ２２１の視野を第３の被写体２３３上に合焦させるために調整を調節可能光学素子２２２へ適用する。次にオートフォーカスカメラ２２０は（例えばユーザからの画像捕捉命令に応答して）第３の被写体２３３の合焦画像２９０ｃを捕捉し得る。第３の被写体２３３の「合焦された」態様は、「第３の被写体２３３ｃが陰影の無いボリュームとして明確な線で描かれる一方で被写体２３１ｃ、２３２ｃは両方とも陰影付けされる（すなわち、合焦されていない状態を表す）」ということにより像２９０ｃの具体例に表される。
図３は、本システム、デバイス及び方法による、ユーザの眼３８０の凝視方向と画像センサの視野の少なくとも一部分の集束特性との間の例示的マッピング３００（画像捕捉システムにより行われる）を示す説明図である。マッピング３００は次の４つの視野を描写する：視野３１１は、視線追跡器サブシステムの視線追跡器部品の視野であり、眼３８０を示し；視野３１２は、眼３８０の視野の表現であり、被写体３３１、３３２、３３３を示し；視野３１３は、オートフォーカスカメラの集束特性センサ部品の視野であり、被写体３３１、３３２、３３３も示し；視野３１４は、オートフォーカスカメラの画像センサ部品の視野であり、被写体３３１、３３２、３３３も示す。図示の例では、画像センサの視野３１４は眼３８０の視野３１２とほぼ同じであるが、別の実施形態では、画像センサの視野３１４は眼３８０の視野３１２と部分的にだけ重なり得る。図示の例では、集束特性センサの視野３１３は画像センサの視野３１４とほぼ同じであるが、別の実施形態では、視野３１４は視野３１３と部分的にだけ重なり得る、又は視野３１４は視野３１３より小さいかもしれなく、視野３１４は視野３１３内に完全に含まれ得る。被写体３３２は被写体３３１、３３３よりユーザにより近く、被写体３３１は被写体３３３よりユーザにより近い。
上に指摘したように、視野３１１は視線追跡器サブシステムの視線追跡器部品の視野を表す。眼３８０の特徴３２１は視線追跡器により識別、感知、測定、又はそうでなければ検出される。特徴３２１は、例えば瞳孔、虹彩、角膜又は１つ又は複数の網膜血管などの眼の構成要素の場所及び／又は配向を含み得る。図示の例では、特徴３２１は眼３８０の瞳孔の位置に対応する。マッピング３００の特定実施形態では、視野３１１は、視野３１１を２次元「瞳孔位置空間」に分割するグリッドパターンによりオーバーレイされる。したがって、眼３８０の瞳孔の位置は、２次元瞳孔位置空間内の眼３８０の瞳孔の場所（すなわち特徴３２１の場所）に対応する二次元座標により視野３１１内で特徴付けられる。代替的に、他の座標系例えばラジアル座標系が採用され得る。動作中、特徴３２１は、視線追跡器サブシステムの視線追跡器部品により感知、識別、測定、又はそうでなければ検出され得、特徴３２１の二次元座標は、視線追跡器部品へ通信可能に結合されたプロセッサにより判断され得る。
上に指摘したように、視野３１２は、眼３８０の視野を表し、２次元「凝視方向空間」を確立するために２次元グリッドによりオーバーレイされる。視野３１２は、眼３８０の実際の視野であってもよいし、メモリ内に格納されプロセッサによりアクセスされる眼３８０の視野のモデルであってもよい。いずれの場合も、プロセッサは、眼３８０の凝視方向３２２を判断するために特徴３２１の二次元位置を視野３１１から視野３１２内の二次元位置へマッピングする。図示のように、凝視方向３２２はユーザの視野内の被写体３３２に一致する。
上に指摘したように、視野３１３は、オートフォーカスカメラの集束特性センサ部品の視野を表し、又、２次元「集束特性空間」を確立するために２次元グリッドによりオーバーレイされる。集束特性センサは、集束特性センサの視野３１３が画像センサの視野３１４と同じになるように又は同じにならないようにオートフォーカスカメラの画像センサと一体化されても又はされなくてもよい。様々な集束特性（例えば距離、コントラスト検出のための画素強度等々）３４０が視野３１３内の様々な点において判断される。マッピング３００では、プロセッサは、視野３１２の凝視方向３２２を視野３１３の２次元集束特性空間内の対応点へマッピングし、当該点に対応する集束特性３２３を識別又は判断する。マッピング３００におけるこの段階では、画像捕捉システムは、ユーザの凝視方向を識別し、ユーザが被写体３３２を見ている又は凝視しているということを判断し、被写体３３２の集束特性を識別又は判断した。本システム、デバイ及び方法によると、次に、プロセッサは、被写体３３２に関連する１つ又は複数の集束パラメータを判断し、この１つ又は複数の焦点パラメータに基づき画像センサを被写体３３２上に合焦する（例えば調整を１つ又は複数の調節可能光学素子又はレンズに適用することにより）ようにオートフォーカスカメラのフォーカスコントローラに指示し得る。
上に指摘したように、視野３１４はオートフォーカスカメラの画像センサの視野である。視野３１４は、被写体３３２が陰影の無いボリュームとして描かれる一方で被写体３３１、３３３は両方とも陰影付けされる（すなわち、合焦されていない状態を表す）ことにより示されるように、被写体３３２上に合焦され、被写体３３１、３３３上に合焦されない。マッピング３００を通じて判断されるように、被写体３３２はユーザが見ている／凝視している場所に対応し被写体３３１、３３３は対応しないので、被写体３３２は焦点が合っているが被写体３３１、３３３は焦点が合っていない。この段階で、ユーザによりそのように望まれれば（例えば、指示されれば）、画像捕捉システムは視野３１４に対応する被写体３３２の像を捕捉し得る。
図４は、本システム、デバイス及び方法による、ユーザの凝視方向の被写体上に自動合焦するように画像捕捉システムを操作する方法４００を示す。画像捕捉システムは、図１の画像捕捉システム１００及び／又は図２Ａ、２Ｂ、２Ｃの画像捕捉システム２００とほぼ同様である又はさらには同一であり得、通常、視線追跡器サブシステムと、それへ通信可能に（例えば１つ又は複数のプロセッサを介し）結合されたオートフォーカスカメラとを含む。方法４００は３つの行為４０１、４０２、４０３を含む。当業者は、代替実施態様ではいくつかの行為が省略され得る及び／又は追加行為が加えられ得るということを認識することになる。当業者は又、行為の示された順序は、例示的目的のためだけに示されており、代替実施態様においては変わり得る、ということを認識することになる。
４０１において、視線追跡器サブシステムはユーザの眼の少なくとも１つの特徴を感知する。さらに具体的には、視線追跡器サブシステムは視線追跡器を含み得、視線追跡サブシステムの視線追跡器は、当業者にはお馴染みの視線追跡の広範囲の確立された技術のうちの任意のものに従ってユーザの眼の少なくとも１つの特徴を感知し得る。先に説明したように、視線追跡器により感知されるユーザの眼の少なくとも１つの特徴は、以下のものの位置及び／又は配向のうちの任意の１つ又は組み合わせを含み得る：ユーザの眼の瞳孔、ユーザの眼の角膜、ユーザの眼の虹彩、又はユーザの眼の少なくとも１つの網膜血管。
４０２において、視線追跡器サブシステムは、４０１において視線追跡器サブシステムにより感知されたユーザの眼の少なくとも１つの特徴に基づきユーザの眼の凝視方向を判断する。さらに具体的には、視線追跡器サブシステムはプロセッサを含んでもよいし、プロセッサへ通信可能に結合されてもよく、当該プロセッサは非一時的プロセッサ可読記憶媒体又はメモリへ通信可能に結合され得る。メモリは、プロセッサにより実行されると、プロセッサに視線追跡器により感知されたユーザの眼の少なくとも１つの特徴に基づきユーザの眼の凝視方向を判断させるプロセッサ実行可能データ及び／又は命令（本明細書では、視線追跡器サブシステムの一部と概して呼ぶ、例えば図１のデータ／命令１１５）を格納し得る。
４０３において、オートフォーカスカメラは、４０２において視線追跡器サブシステムにより判断されたユーザの眼の凝視方向に基づきユーザの眼の視野内の被写体上に合焦する。画像捕捉システムがプロセッサ及びメモリを含む場合、プロセッサは、オートフォーカスカメラにユーザの眼の凝視方向に基づきユーザの眼の視野内の被写体上に合焦させるために、メモリ内に格納されたデータ及び／又は命令を実行し得る。
一般的に、オートフォーカスカメラは、画像センサと、光を画像センサ上に制御可能に合焦するように画像センサの視野内に配置された調節可能光学素子と、画像センサにぶつかる光の焦点を制御するために調整を調節可能光学素子へ適用するために調節可能光学素子へ通信可能に結合されたフォーカスコントローラとを含み得る。画像センサの視野は、ユーザの眼の視野と少なくとも部分的に（例えば、完全に、又は８０％以上など大体）重なり得る。方法４００の拡張版では、オートフォーカスカメラは、画像センサの視野の少なくとも一部分の集束特性を判断し得る。この場合、４０３ではオートフォーカスカメラのフォーカスコントローラは、画像センサの視野をユーザの眼の視野内の被写体上に合焦するように調節可能光学素子を調整し得、このような調整は、４０２において視線追跡器サブシステムにより判断されたユーザの眼の凝視方向と、オートフォーカスカメラにより判断された画像センサの視野の少なくとも一部分の集束特性との両方に基づき得る。
４０３においてオートフォーカスカメラにより判断される集束特性は画像センサの少なくとも２点（例えば画素）にわたる差分コントラストを含み得る。この場合、画像センサは集束特性センサ（すなわち特にコントラスト検出センサ）として働き得る。画像センサは、プロセッサと非一時的プロセッサ可読記憶媒体とへ通信可能に結合され得る。非一時的プロセッサ可読記憶媒体は、プロセッサにより実行されると、画像センサに（調節可能光学素子を通って）ぶつかる光が合焦される画像センサの視野の領域を判断するためにプロセッサに画像センサの点又は領域（例えば画素）に近接した（例えば、隣接する）少なくとも２つの相対強度を比較させるプロセッサ実行可能データ及び／又は命令を格納する。一般的に、焦点が合った画像センサの視野の領域は、画像センサの画素が像内の最も鮮明なエッジに対応する強度の最大相対変化を示す画像センサの視野の領域に対応し得る。
コントラスト検出に加えて又はその代わりのいずれかで、いくつかの実施形態では、オートフォーカスカメラは、４０３において画像センサの視野の少なくとも一部分の集束特性を判断するために少なくとも１つの専用集束特性センサを含み得る。一例として、４０３において、オートフォーカスカメラの距離センサは画像センサの視野内の被写体までの距離を感知し得、伝達時間センサは画像センサの視野内の被写体までの距離を判断し得、及び／又は位相検出センサは画像センサの視野内の少なくとも２点間の位相差を検出し得る。
本明細書で説明された画像捕捉システム、デバイス及び方法は、様々な部品（例えば視線追跡器サブシステム、オートフォーカスカメラ）を含み得、先に説明したように、様々な部品により収集及び／又は使用されるデータ／情報間の１つ又は複数のマッピングを行うことを含み得る。通常、任意のこのようなマッピングが１つ又は複数のプロセッサにより行われ得る。一例として、方法４００では、少なくとも１つのプロセッサは、ユーザが見ている又は凝視している場所に対応する画像センサの視野内の場所、領域又は点を識別又はそうでなければ判断するために、４０２において視線追跡器サブシステムにより判断されたユーザの眼の凝視方向と画像センサの視野との間のマッピングを行い得る。換言すれば、ユーザが見ている又は凝視しているユーザの視野内の場所、領域又は点（例えば被写体）が視線追跡器サブシステムにより判断され、次に、この場所、領域又は点（例えば被写体）は画像センサの視野内の対応場所、領域又は点（例えば被写体）へプロセッサによりマッピングされる。本システム、デバイ及び方法によると、ユーザが見ている又は凝視している場所に対応する画像センサの視野内の場所、領域又は点（例えば被写体）が確立されると、画像捕捉システムは当該場所、領域又は点（例えば被写体）上に自動的に合焦し、必要に応じ、当該場所、領域又は点（例えば被写体）の合焦画像を捕捉し得る。場所、領域又は点（例えば被写体）上への合焦を容易又は可能にするために、少なくとも１つのプロセッサは、４０２において視線追跡器サブシステムにより判断されたユーザの眼の凝視方向と、４０３においてオートフォーカスカメラにより（例えばオートフォーカスカメラの少なくとも１つの集束特性センサにより）判断された画像センサの視野の少なくとも一部分の１つ又は複数の集束特性との間のマッピングを行い得る。このようにして、ユーザが見ている又は凝視している場所、領域又は点（例えば被写体）に対応する画像センサの視野内の場所、領域又は点（例えば被写体）の集束特性を提供する。オートフォーカスカメラのフォーカスコントローラは、画像センサにぶつかる光が、ユーザが見ている又は凝視している場所、領域又は点（例えば被写体）上に合焦されるように、調整を調節可能光学素子に適用するためにこの／これらの集束特性に関するデータ／情報を使用し得る。
先に説明したように、プロセッサ（又はプロセッサ群）がマッピングを行う際、このようなマッピングは座標系を含んでもよいしそれに基づいてもよい。例えば、４０２において、視線追跡器サブシステムは、ユーザの眼の（例えば「瞳孔位置空間」内の）少なくとも１つの特徴に対応する第１の組の二次元座標を判断し、この第１の組の二次元座標を「凝視方向空間」内の凝視方向として翻訳、変換、又はそうでなければ表し得る。オートフォーカスカメラ内の画像センサの視野は同様に、２次元「画像センサ空間」に分割され得、４０３において、オートフォーカスカメラは、画像センサの視野内の少なくとも１つの領域（すなわち第２の組の二次元座標に対応する）の集束特性を判断し得る。このようにして、もし少なくとも１つのプロセッサがユーザの眼の凝視方向と画像センサの視野の少なくとも一部の集束特性との間のマッピングを（先に説明したように）行うとき、少なくとも１つのプロセッサは、ユーザの眼の少なくとも１つの特徴及び／又は凝視方向に対応する第１の組の二次元座標と画像センサの視野の特定領域に対応する第２の組の二次元座標ユーザとの間のマッピングを行い得る。
もしオートフォーカスカメラが画像センサの視野内の少なくとも１つの領域（すなわち第２の組の二次元座標に対応する）の集束特性を判断するときは、プロセッサは、ｉ）画像センサの全視野に関する集束特性を常時（例えば規則的間隔で又は連続的に）監視し、４０３においてマッピングの一部として特定の第２の組の二次元座標に対応する特定集束特性を戻す、又はｉｉ）４０３においてマッピングの一部として第２の組の二次元座標を識別又はそうでなければ判断し、第２の組の二次元座標に対応する集束特性を戻すかのいずれかである。
先に説明したように、いくつかの実施形態では、画像捕捉システムは、ユーザの凝視方向を（視線追跡器サブシステムを介し）常時（例えば規則的間隔で、又は連続的に）監視し得る及び／又はオートフォーカスカメラの視野の１つ又は複数の集束特性を常時（例えば規則的間隔で、又は連続的に）監視し得る。換言すれば、画像捕捉システムは、方法４００を常時又は反復的に行い、ユーザからの画像捕捉命令に応答して被写体の実際の画像をだけ捕捉（例えば、像の複製をメモリ内に格納）し得る。他の実施形態では、画像捕捉システムの視線追跡器サブシステム及び／又はオートフォーカスカメラ部品は、画像捕捉システムがユーザから画像捕捉命令を受信するまではほぼ非活性のままで良い（すなわち、方法４００は常時行われなくてもよい）。
図５は、本システム、デバイス及び方法による、ユーザからの画像捕捉命令に応答してユーザの凝視方向の被写体の合焦画像を捕捉するように画像捕捉システムを操作する方法５００を示す。画像捕捉システムは、図１の画像捕捉システム１００及び／又は図２Ａ、２Ｂ、２Ｃの画像捕捉システム２００とほぼ同様である又はさらには同一であり得、通常、両方ともプロセッサへ通信可能に結合された視線追跡器サブシステムとオートフォーカスカメラ（そして、通常、プロセッサにより実行されると画像捕捉システムに方法５００を行わせるプロセッサ実行可能データ及び／又は命令を格納した非一時的プロセッサ可読媒体又はメモリ）を含む。方法５００は６つの行為５０１、５０２、５０３、５０４、５０５及び５０６を含むが、当業者は、代替実施態様ではいくつかの行為が省略され得る及び／又は追加行為が加えられ得るということを認識することになる。当業者は又、行為の示された順序は、例示的目的のためだけに示されており、代替実施態様においては変わり得る、ということを認識することになる。行為５０３、５０４及び５０５は、方法４００の行為４０１、４０２及び４０３とほぼ同様であり、したがって重複を回避するために詳細に以下では論述されない。
５０１においてプロセッサはユーザからの画像捕捉命令の発生又はインスタンスを監視する。プロセッサは、プロセッサにユーザからの画像捕捉命令を監視させる非一時的プロセッサ可読記憶媒体からの命令を実行し得る。ユーザからの画像捕捉命令の性質は、実施形態（特に画像捕捉システムの入力機構）に依存して広範な様々な異なる形式で出現し得る。一例として、接触ベースインターフェース（例えば１つ又は複数のタッチスクリーン、ボタン、容量性又は誘導性スイッチ、接触スイッチ）を採用する画像捕捉システムでは、画像捕捉命令は１つ又は複数の接触ベース入力の活性化を含み得；音声命令（例えば少なくとも１つのマイクロホン及び音声処理能力）を採用する画像捕捉システムでは、画像命令は特定音声命令を含み得；及び／又はジェスチャ制御（例えば、光学的又は赤外線又は超音波ベースジェスチャ検出又はＭｙｏ（商標）アームバンドなどのＥＭＧベースジェスチャ検出）を採用する画像捕捉システムでは、画像捕捉命令は少なくとも１つのジェスチャ入力を含み得る。いくつかの実施形態では、画像捕捉システムの視線追跡器サブシステムは、米国仮特許出願第６２／２３６，０６０号及び／又は米国仮特許出願第６２／２６１，６５３号に記載のものと同様なインターフェースを使用することによりユーザからの画像捕捉命令を監視及び識別するために使用され得る。
５０２において、画像捕捉システムのプロセッサはユーザから画像捕捉命令を受信する。いくつかの実施形態では、画像捕捉命令は像を直ちに捕捉することに向けられ得、一方、他の実施形態では、画像捕捉命令は、画像捕捉システムの非一時的プロセッサ可読記憶媒体内に格納されたカメラアプリケーション又は他のソフトウェアアプリケーションを開始、実行、又はそうでなければ活性化することに向けられ得る。
５０２においてプロセッサがユーザから画像捕捉命令を受信することに応答して、方法５００は、図４の方法４００を本質的に行う行為５０３、５０４及び５０５に進む。
５０３において、視線追跡器サブシステムは、方法４００の行為４０１に関して説明されたものと同様なやり方でユーザの眼の少なくとも１つの特徴を感知する。視線追跡器サブシステムは、少なくとも１つの特徴データを示す又はそうでなければ表すデータ／情報をプロセッサへ提供し得る。
５０４において、視線追跡器サブシステムは、方法４００の行為４０２に関して説明されたものとほぼ同様なやり方で５０３において感知されたユーザの眼の少なくとも１つの特徴に基づきユーザの眼の凝視方向を判断する。
５０５において、オートフォーカスカメラは、方法４００の行為４０３に関して説明されたものとほぼ同様なやり方で５０４において判断されたユーザの眼の凝視方向に基づきユーザの眼の視野内の被写体上に合焦する。
５０６において、画像捕捉システムのオートフォーカスカメラは、行為５０５を通じてオートフォーカスカメラが被写体上に合焦されている間に、被写体の合焦画像を捕捉する。いくつかの実施形態では、オートフォーカスカメラは、被写体のデジタル写真又は画像を記録又は複製し、このデジタル写真又は画像をローカルメモリ内に格納する、又はこのデジタル写真又は画像を遠方又はボード外のメモリ内への格納のために送信し得る。他の実施形態では、オートフォーカスカメラは、視覚情報を必ずしも記録又は格納することなく被写体から視覚情報を捕捉し得る（例えば、視覚情報をファインダ内に又は実時間でディスプレイスクリーン上などに表示又は解析する目的のために）。さらに他の実施形態では、オートフォーカスカメラは、像の「バースト」として又はビデオのそれぞれのフレームとして５０６において被写体の複数の画像を捕捉し得る。
先に説明したように、視線追跡及び／又は凝視方向検出に基づき自動合焦する本画像捕捉システム、デバイス及び方法は、特にＷＨＵＤにおける使用に適切である。本明細書で説明された画像捕捉システム、デバイス及び方法を採用するＷＨＵＤの具体例が図６Ａ、６Ｂ及び６Ｃに提供される。
図６Ａは、本システムデバイスと方法による凝視方向ベースオートフォーカス画像捕捉システムを有するＷＨＵＤ６００の正面図である。図６Ｂは図６ＡのＷＨＵＤ６００の後部図であり、図６Ｃは図６ＡのＷＨＵＤ６００の側面図である。図６Ａ、６Ｂ及び６Ｃのそれぞれを参照すると、ＷＨＵＤ６００は、使用中にユーザの頭上に装着される支持構造６１０を含み、眼鏡フレームの一般的形状及び外観を有する。支持構造６１０は、表示コンテンツ生成器６２０（例えばプロジェクタ又はマイクロディスプレイ、及び関連光学系）と、透明合成器（transparent combiner）６３０と、オートフォーカスカメラ６４０と、赤外線光源６５１及び赤外線光検出器６５２を含む視線追跡器６５０とを含む複数の部品を担持する。図６Ａでは、オートフォーカスカメラ６４０は、個別素子として示された少なくとも１つの集束特性センサ６４１を含む。表示コンテンツ生成器６２０、オートフォーカスカメラ６４０、及び視線追跡器６５０の一部は支持構造６１０の内部容積内に含まれ得る。例えば、ＷＨＵＤ６００も又オートフォーカスカメラ６４０及び視線追跡器６５０へ通信可能に結合されたプロセッサと、プロセッサへ通信可能に結合された非一時的プロセッサ可読記憶媒体とを含み得る。ここでプロセッサと記憶媒体の両方は支持構造６１０の１つ又は複数の内部容積内に担持され、したがって図６Ａ、６Ｂ及び６Ｃの図では見えない。
本明細書と添付特許請求の範囲を通じて、用語「担持する」及び「担持される」などの活用形は通常、２つの被写体間の物理的結合を指すために使用される。物理的結合は、直接的物理的結合（すなわち２つの被写体間の直接的物理的接触を有する）であってもよいし１つ又は複数の追加物体により仲介される間接的物理的結合であってもよい。したがって、用語「担持する」及び「担持される」などの活用形は、あらゆる種類の直接的及び間接的物理的結合を概して包含するように意図されている。
支持構造６１０により担持される表示コンテンツ生成器６２０は、光源と、透明合成器６３０と協力して表示コンテンツを提供する光学系とを含み得る。透明合成器６３０は、支持構造６１０がユーザの頭上に装着されるとユーザの眼の視野内に配置される。透明合成器６３０は、ユーザの環境からの光をユーザの眼を通過させるのに十分に光学的に透明であるだけでなく、光を表示コンテンツ生成器６２０からユーザの眼の方向に変更する。図６Ａ、６Ｂ及び６Ｃでは、透明合成器６３０は透明眼鏡レンズ６６０の部品（例えば処方眼鏡レンズ又は非処方眼鏡レンズ）である。ＷＨＵＤ６００は１つの表示コンテンツ生成器６２０と１つの透明合成器６３０とを担持するが、他の実施形態は、両眼用の表示コンテンツ生成器と透明合成器とを有する双眼ディスプレイを採用し得る。
画像センサ、調節可能光学素子、フォーカスコントローラ、及び個別集束特性センサ６４１を含むオートフォーカスカメラ６４０は、支持構造６１０の右側（図６Ｂの背面図を介したユーザ視点）に担持される。しかし、他の実施形態では、オートフォーカスカメラ６４０はＷＨＵＤ６００のいずれかの側又は両側に担持され得る。集束特性センサ６４１はオートフォーカスカメラ６４０の画像センサとは物理的に違うが、いくつかの実施形態では、集束特性センサ６４１は画像センサ（例えばコントラスト検出センサ）に組み込まれるタイプであり得る。
視線追跡器６５０の光信号源６５１と光検出器６５２は、例えばユーザの両眼間の支持フレーム６１０の中央に担持され、ユーザの右眼を追跡する方向に向けられる。当業者は、別の実施形態では視線追跡器６５０が支持構造６１０の上の他のどこかに配置され得る及び／又はユーザの左眼又はユーザの両眼を追跡するように配向され得るということを認識することになる。ユーザの両眼を追跡するいくつかの実施形態では、両眼のよせ運動（vergence）データ／情報が、画像センサにぶつかる光をオートフォーカスカメラのフォーカスコントローラが調節可能光学素子に合焦させる深さに影響を及ぼす集束特性として使用され得る。例えば、オートフォーカスカメラ６４０は、視線追跡器サブシステムにより判断される両眼のよせ運動に対応する深さにおいて自動的に合焦し得、画像捕捉システムは、ユーザの凝視方向及び／又は興味の被写体を必ずしも判断することなく当該深さにおいて合焦された像を捕捉し得る。
上記実施形態のうちの任意のものでは、複数のオートフォーカスカメラが採用され得る。複数のオートフォーカスカメラはそれぞれ、単一視線追跡サブシステムからの凝視方向情報に応答してユーザの視野内の同じ被写体上に自動合焦し得る。複数のオートフォーカスカメラは、ステレオであってもステレオでなくてもよく、別個の像を捕捉してもよいし単一画像を生成することに寄与する像を捕捉してもよい。
本システム、デバイス及び方法において説明されたＷＨＵＤとして使用され得る又はこれらに関係して使用され得るＷＨＵＤシステム、デバイス及び方法の例は、限定しないが、米国特許出願第２０１５−０２０５１３４Ａ１号、米国特許出願第２０１５−０３７８１６４Ａ１号、米国特許出願第２０１５−０３７８１６１Ａ１号、米国特許出願第２０１５−０３７８１６２Ａ１号、米国非仮特許出願第１５／０４６，２３４号；米国非仮特許出願第１５／０４６，２５４号；米国非仮特許出願第１５／０４６，２６９号を含む。
当業者は、視線追跡に基づき合焦する画像捕捉システム、デバイス及び方法の本明細書で説明された様々な実施形態が非ＷＨＵＤ用途において適用され得るということを認識することになる。例えば、本システム、デバイス及び方法は、非ウェアラブルヘッドアップディスプレイ（すなわちウェアラブルでないヘッドアップディスプレイ）において、及び／又は可視ディスプレイを含んでも含まなくてもよい他の用途において適用され得る。
本明細書で説明されたＷＨＵＤ及び／又は画像捕捉システムは、ユーザの環境からデータを収集するための１つ又は複数のセンサ（例えばマイクロホン、カメラ、温度計、コンパス、高度計、気圧計、及び／又は他のもの）を含み得る。例えば、１つ又は複数のカメラが、ＷＨＵＤのプロセッサへフィードバックを提供するために、そして所与の像が表示されるべきディスプレイ上の場所に影響を及ぼすために使用され得る。
本明細書で説明されたＷＨＵＤ及び／又は画像捕捉システムは、１つ又は複数のオンボード電源（例えば１つ又は複数の電池）、無線通信を送信／受信するための無線送受信機、及び／又はコンピュータに結合するための及び／又は１つ又は複数のオンボード電源を充電するための繋留式（tethered）コネクタポートを含み得る。
本明細書で説明されたＷＨＵＤ及び／又は画像捕捉システムは、限定しないが以下の物を含む多様なやり方のうちの１つ又は複数のやり方でユーザから命令を受信しそれに応答し得る：マイクロホンを介した音声命令；ボタン、スイッチ又は接触感知面を介した接触命令；及び／又は例えばそのすべてを全体として参照により本明細書に援用する米国非仮特許出願第１４／１５５，０８７号、米国非仮特許出願第１４／１５５，１０７号、及び／又はＰＣＴ特許出願ＰＣＴ／米国特許出願公開第２０１４／０５７０２９号に記載のようなジェスチャ検出システムを介したジェスチャベース命令。
本明細書と添付特許請求の範囲を通じて、「通信可能な経路」、「通信可能な結合」における用語「通信可能な」及び「通信可能に結合された」などの活用形における用語「通信可能な」は通常、情報を転送及び／又は交換するための任意の工学的配置を指すように使用される。例示的通信可能な経路は、限定しないが導電性経路（例えば導電性ワイヤ、導電性トレース）、磁気経路（例えば磁気媒体）、及び／又は光学的経路（例えば光ファイバ）を含み、例示的通信可能な結合は、限定しないが電気結合、電磁結合及び／又は光結合を含む。
本明細書と添付特許請求の範囲を通じて、不定詞形式がしばしば使用される。その例は、限定しないが、「検出する：to detect」、「提供する：to provide」、「送信する：to transmit」、「通信する：to communicate」、「処理する：to process」、「配策する：to route」などを含む。特定の文脈が必要としない限り、このような不定詞形式は、開かれた、包括的意味；すなわち、「少なくとも検出する」、「少なくとも提供する」、「少なくとも送信する」等々の意味で使用される。
要約書に記載のものを含む示された実施形態の上記説明は、網羅的であるように意図されていない、又は実施形態を開示された精確な形式に限定するように意図されていない。例示目的のために本明細書では特定の実施形態及び実施例について説明したが、当業者により認識されるように本開示の精神と範囲から逸脱することなく様々な同等の修正がなされ得る。様々な実施形態の本明細書に提供される教示は、必ずしも上に概して説明された例示的画像捕捉システム及びウェアラブル電子デバイスではなく、他の画像捕捉システム又はポータブル及び／又はウェアラブル電子デバイスに適用され得る。
例えば、これまでの詳細説明は、ブロック図、概略図、及び例を使用することにより本システム、デバイス及び／又は処理の様々な実施形態を説明した。このようなブロック図、概略図、及び／又は例が１つ又は複数の機能及び／又は動作を含む限り、このようなブロック図、フローチャート又は例内の各機能及び／又は動作は広範囲のハードウェア、ソフトウェア、ファームウェア、又はそれらの実質的に任意の組み合わせにより個々に及び／又は集合的に実施され得るということが当業者により理解されることになる。一実施形態では、本主題は、１つ又は複数のプロセッサ（例えば１つ又は複数の特定用途向け集積回路）（ＡＳＩＣ：Application Specific Integrated Circuit）を介し実現され得る。しかし、当業者は次の２点を認識することになる：全体的又は部分的に本明細書に開示される実施形態は、１つ又は複数のコンピュータにより実行される１つ又は複数のコンピュータプログラムとして（例えば１つ又は複数のコンピュータシステム上で走る１つ又は複数のプログラムとして）、１つ又は複数のコントローラ（例えばマイクロコントローラ）により実行される１つ又は複数のプログラムとして、１つ又は複数のプロセッサ（例えばマイクロプロセッサ、中央処理ユニット（ＣＰＵ：central processing unit）、グラフィック処理ユニット（ＧＰＵ：graphical processing unit）、プログラマブルゲートアレイ（ＰＧＡ：programmable gate array）、プログラムロジックコントローラ（ＰＬＣ：programmed logic controller）により実行される１つ又は複数のプログラムとして、ファームウェアとして、又はそれらの実質的に任意の組み合わせとして、標準的又は一般的集積回路において等価的に実現され得るということと、回路を設計すること及び／又はソフトウェアのコードを書くこと及び／又はファームウェアは本開示の教示に照らすと当業者の技能の範囲内であろうこと。本明細書においてそして特許請求の範囲で使用されるように、用語「プロセッサ」はハードウェア回路（例えばＡＳＩＣ、マイクロプロセッサ、ＣＰＵ、ＧＰＵ、ＰＧＡ、ＰＬＣ、他のマイクロコントローラ）を指す。
論理がソフトウェアとして実現され、メモリ内に格納される場合、論理又は情報は、任意のプロセッサ関連システム又は方法による使用のために又はそれに関係した使用のために、任意のプロセッサ可読媒体上に格納され得る。本開示の文脈では、メモリは、コンピュータ及び／又はプロセッサプログラムを含む又は格納する電子的、磁気的、光学的、又は他の物理的デバイス又は手段であるプロセッサ可読媒体である。論理及び／又は情報は、コンピュータベースシステム、プロセッサ含有システム、又は命令実行システム、装置又はデバイスから命令をフェッチし論理及び／又は情報に関連する命令を実行し得る他のシステムなどの命令実行システム、装置、又はデバイスによる使用のために又はそれに関係した使用のために任意のプロセッサ可読媒体内に具現化され得る。
本明細書の文脈では、「非一時的プロセッサ可読媒体」は、命令実行システム、装置、及び／又はデバイスにより使用されるための又はそれに関連する使用のための論理及び／又は情報に関連するプログラムを格納し得る任意のハードウェアであり得る。プロセッサ可読媒体は、限定しないが例えば電子的、磁気的、光学的、電磁気的、赤外線、半導体システム、装置又はデバイスであり得る。コンピュータ可読媒体のより具体的な例（非網羅的リスト）は：ポータブルコンピュータディスケット（磁気、compact flashカード、セキュアデジタルなど）、ランダムアクセスメモリ（ＲＡＭ：random access memory）、読み取り専用メモリ（ＲＯＭ：read-only memory）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ：erasable programmable read-only memory、ＥＥＰＲＯＭ又はフラッシュメモリ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤＲＯＭ：compact disc read-only memory）、デジタルテープ及び他の非一時的媒体を含むであろう。
上述の様々な実施形態は別の実施形態を提供するために組み合わせられ得る。本明細書における特定の教示及び定義と矛盾しない限り、これらに限定しないが米国特許出願第２０１５−０２０５１３４Ａ１号、米国特許出願第２０１５−０３７８１６４Ａ１号、米国特許出願第２０１５−０３７８１６１Ａ１号、米国特許出願第２０１５−０３７８１６２Ａ１号、米国非仮特許出願第１５／０４６，２３４号、米国非仮特許出願第１５／０４６，２５４号、米国非仮特許出願第１５／０４６，２６９号、米国非仮特許出願第１５／１６７，４５８号、米国非仮特許出願第１５／１６７，４７２号、米国非仮特許出願第１５／１６７，４８４号、米国仮特許出願第６２／２７１，１３５号、米国仮特許出願第６２／２４５，７９２号、米国仮特許出願第６２／２８１，０４１号、米国非仮特許出願第１４／１５５，０８７号、米国非仮特許出願第１４／１５５，１０７号、ＰＣＴ特許出願ＰＣＴ／米国特許出願第２０１４／０５７０２９号、米国仮特許出願第６２／２３６，０６０号、米国仮特許出願第６２／２６１，６５３号、及び／又は米国仮特許出願第６２／３５７，２０１号を含む本明細書で参照された及び／又はアプリケーションデータシートに掲載されたThalmic Labs Inc.により所有される米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、及び非特許文献のすべてを、その全体として参照により本明細書に援用する。本実施形態の態様は、さらに別の実施形態を提供するために、様々な特許、出願及び刊行物のシステム、回路及び概念を採用するために必要に応じ修正され得る。
これら及び他の変更は上記詳細説明に照らし上記実施形態に対しなされ得る。一般的に、以下の特許請求の範囲では、使用される用語は特許請求の範囲を本明細書と特許請求の範囲に開示された特定の実施形態に限定するものと解釈すべきではなく、このような特許請求の範囲の権利を付与される等価物の全範囲と共にすべての可能な実施形態を含むように解釈すべきである。したがって、本特許請求の範囲は本開示により制限されない。

Claims (21)

  1. ユーザの眼の少なくとも１つの特徴を感知し、前記少なくとも１つの特徴に基づき前記ユーザの前記眼の凝視方向を判断する視線追跡器サブシステムと；
    前記視線追跡器サブシステムへ通信可能に結合されたオートフォーカスカメラであって、前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の前記凝視方向に基づき前記ユーザの前記眼の視野内の被写体上に自動的に合焦するオートフォーカスカメラと、を含む画像捕捉システム。
  2. 前記オートフォーカスカメラは、
    前記ユーザの前記眼の前記視野と少なくとも部分的に重なる視野を有する画像センサと；
    前記画像センサの前記視野内の前記被写体上に調整可能に合焦するように配置及び配向された調節可能光学素子と；
    前記調節可能光学素子へ通信可能に結合されたフォーカスコントローラであって、前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の前記凝視方向と前記オートフォーカスカメラにより判断された前記画像センサの前記視野の少なくとも一部分の集束特性との両方に基づき前記画像センサの前記視野を前記ユーザの前記眼の前記視野内の前記被写体上に合焦させるために調整を前記調節可能光学素子へ適用するように通信可能に結合されたフォーカスコントローラとを含む、請求項１に記載の画像捕捉システム。
  3. 前記視線追跡器サブシステムと前記オートフォーカスカメラとの両方へ通信可能に結合されたプロセッサと；
    前記プロセッサへ通信可能に結合された非一時的プロセッサ可読記憶媒体であって、前記プロセッサにより実行されると前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の前記凝視方向と前記オートフォーカスカメラにより判断された前記画像センサの前記視野の少なくとも一部分の集束特性との間のマッピングを前記プロセッサに行わせるプロセッサ実行可能データ及び／又は命令を格納する、非一時的プロセッサ可読記憶媒体とをさらに含む請求項２に記載の画像捕捉システム。
  4. 前記オートフォーカスカメラは、前記画像センサの前記視野の少なくとも一部分の前記集束特性を判断するために集束特性センサを含み、
    前記集束特性センサは、前記画像センサの前記視野内の被写体までの距離を感知する距離センサと；前記画像センサの前記視野内の被写体までの距離を判断する飛行時間センサと；前記画像センサの前記視野内の少なくとも２点間の位相差を検出する位相検出センサと；前記画像センサの前記視野内の少なくとも２点間の強度差を検出するコントラスト検出センサとからなるグループから選択される、請求項２に記載の画像捕捉システム。
  5. 前記視線追跡器サブシステムと前記オートフォーカスカメラとの両方へ通信可能に結合されたプロセッサと；
    前記プロセッサへ通信可能に結合された非一時的プロセッサ可読記憶媒体であって、前記プロセッサにより実行されると前記プロセッサに前記視線追跡器サブシステム及び／又は前記オートフォーカスカメラの少なくとも一方の動作を制御させるプロセッサ実行可能データ及び／又は命令を格納する非一時的プロセッサ可読記憶媒体とをさらに含む請求項１に記載の画像捕捉システム。
  6. 前記視線追跡器サブシステムは、
    前記ユーザの前記眼の前記少なくとも１つの特徴を感知する視線追跡器と；
    前記非一時的プロセッサ可読記憶媒体内に格納されたプロセッサ実行可能データ及び／又は命令であって、前記プロセッサにより実行されると、前記プロセッサに前記視線追跡器により感知された前記ユーザの前記眼の前記少なくとも１つの特徴に基づき前記ユーザの前記眼の前記凝視方向を判断させる、プロセッサ実行可能データ及び／又は命令とを含む、請求項５に記載の画像捕捉システム。
  7. 前記視線追跡器サブシステムにより感知される前記ユーザの前記眼の前記少なくとも１つの特徴は、前記ユーザの前記眼の瞳孔の位置、前記ユーザの前記眼の瞳孔の配向、前記ユーザの前記眼の角膜の位置、前記ユーザの前記眼の角膜の配向、前記ユーザの前記眼の虹彩の位置、前記ユーザの前記眼の虹彩の配向、前記ユーザの前記眼の少なくとも１つの網膜血管の位置、及び前記ユーザの前記眼の少なくとも１つの網膜血管の配向からなるグループから選択される、請求項１に記載の画像捕捉システム。
  8. 使用中に前記ユーザの頭上に装着される支持構造をさらに含む請求項１に記載の画像捕捉システムであって、前記視線追跡器サブシステムと前記オートフォーカスカメラとの両方は前記支持構造により担持される、画像捕捉システム。
  9. 視線追跡器サブシステム及びオートフォーカスカメラを含む画像捕捉システムの操作方法であって、
    ユーザの眼の少なくとも１つの特徴を前記視線追跡器サブシステムにより感知することと；
    前記ユーザの前記眼の凝視方向を前記少なくとも１つの特徴に基づき前記視線追跡器サブシステムにより判断することと；
    前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の前記凝視方向に基づき前記オートフォーカスカメラにより前記ユーザの前記眼の視野内の被写体上に合焦することとを含む方法。
  10. 前記ユーザの前記眼の少なくとも１つの特徴を前記視線追跡器サブシステムにより感知することは、
    前記ユーザの前記眼の瞳孔の位置を前記視線追跡器サブシステムにより感知することと；
    前記ユーザの前記眼の瞳孔の配向を前記視線追跡器サブシステムにより感知することと；
    前記ユーザの前記眼の角膜の位置を前記視線追跡器サブシステムにより感知することと；
    前記ユーザの前記眼の角膜の配向を前記視線追跡器サブシステムにより感知することと；
    前記ユーザの前記眼の虹彩の位置を前記視線追跡器サブシステムにより感知することと；
    前記ユーザの前記眼の虹彩の配向を前記視線追跡器サブシステムにより感知することと；
    前記ユーザの前記眼の少なくとも１つの網膜血管の位置を前記視線追跡器サブシステムにより感知することと；
    前記ユーザの前記眼の少なくとも１つの網膜血管の配向を前記視線追跡器サブシステムにより感知することのうちの少なくとも１つを含む、請求項９に記載の方法。
  11. 前記画像捕捉システムはさらに、
    前記視線追跡器サブシステムと前記オートフォーカスカメラとの両方へ通信可能に結合されたプロセッサと；
    前記プロセッサへ通信可能に結合された非一時的プロセッサ可読記憶媒体であって、プロセッサ実行可能データ及び／又は命令を格納する非一時的プロセッサ可読記憶媒体とを含み、
    前記方法はさらに、前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の前記凝視方向に基づき前記オートフォーカスカメラを前記ユーザの前記眼の前記視野内の前記被写体上に合焦させるために前記プロセッサ実行可能データ及び／又は命令を前記プロセッサにより実行することを含む、請求項９に記載の方法。
  12. 前記オートフォーカスカメラは画像センサ、調節可能光学素子、及び前記調節可能光学素子へ通信可能に結合されたフォーカスコントローラを含み、
    前記方法はさらに、前記ユーザの前記眼の前記視野と少なくとも部分的に重なる前記画像センサの前記視野の少なくとも一部分の集束特性を前記オートフォーカスカメラにより判断することを含み、
    前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の前記凝視方向に基づき前記オートフォーカスカメラにより前記ユーザの前記眼の視野内の被写体上に合焦することは、前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の前記凝視方向と前記オートフォーカスカメラにより判断された前記画像センサの前記視野の少なくとも一部分の前記集束特性との両方に基づき、前記画像センサの前記視野を前記ユーザの前記眼の前記視野内の前記被写体上に合焦させるために前記調節可能光学素子を前記オートフォーカスカメラの前記フォーカスコントローラにより調整することを含む、請求項１１に記載の方法。
  13. 前記オートフォーカスカメラは集束特性センサを含み、
    前記画像センサの視野の少なくとも一部分の集束特性を前記オートフォーカスカメラにより判断することは、
    前記画像センサの前記視野内の前記被写体までの距離を前記集束特性センサにより感知すること；
    前記画像センサの前記視野内の前記被写体までの距離を前記集束特性センサにより判断すること；
    前記画像センサの前記視野内の少なくとも２点間の位相差を前記集束特性センサにより検出すること、及び／又は
    前記画像センサの前記視野内の少なくとも２点間の強度差を前記集束特性センサにより検出することのうちの少なくとも１つを含む、請求項１２に記載の方法。
  14. 前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の前記凝視方向と前記オートフォーカスカメラにより判断された前記画像センサの前記視野の少なくとも一部分の前記集束特性との間のマッピングを前記プロセッサに行わせることをさらに含む請求項１２に記載の方法。
  15. 前記ユーザの前記眼の前記凝視方向を前記視線追跡器サブシステムにより判断することは、前記ユーザの前記眼の前記少なくとも１つの特徴に対応する第１の組の二次元座標を前記視線追跡器サブシステムにより判断することを含み；
    前記画像センサの視野の少なくとも一部分の集束特性を前記オートフォーカスカメラにより判断することは、第２の組の二次元座標を含む前記画像センサの前記視野内の第１の領域の集束特性を前記オートフォーカスカメラにより判断することを含み
    前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の前記凝視方向と前記オートフォーカスカメラにより判断された前記画像センサの前記視野の少なくとも一部分の前記集束特性との間のマッピングを前記プロセッサに行わせることは、前記ユーザの前記眼の前記少なくとも１つの特徴に対応する前記第１の組の二次元座標と前記画像センサの前記視野内の前記第１の領域に対応すると前記第２の組の二次元座標との間のマッピングを前記プロセッサにより実行することを含む、請求項１４に記載の方法。
  16. 前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の凝視方向と前記オートフォーカスカメラの画像センサの視野との間のマッピングをプロセッサにより行わせることをさらに含む請求項１２に記載の方法。
  17. 前記ユーザから画像捕捉命令を前記プロセッサにより受信することと；
    前記ユーザから前記画像捕捉命令を前記プロセッサにより受信することに応答して、前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の前記凝視方向に基づき前記オートフォーカスカメラを前記ユーザの前記眼の前記視野内の前記被写体上に合焦させるために前記プロセッサ実行可能データ及び／又は命令を前記プロセッサにより実行することとをさらに含む請求項１１に記載の方法。
  18. 前記オートフォーカスカメラが前記被写体上に合焦されている間に前記被写体の像を前記オートフォーカスカメラにより捕捉することをさらに含む請求項９に記載の方法。
  19. 使用中にユーザの頭上に装着される支持構造と；
    前記支持構造により担持され視覚的表示コンテンツを提供する表示コンテンツ生成器と；
    前記支持構造により担持され前記ユーザの前記視野内に配置される透明合成器であって、表示コンテンツ生成器により提供される視覚的表示コンテンツを前記ユーザの前記視野へ導く透明合成器と；
    前記ユーザの眼の少なくとも１つの特徴を感知し前記少なくとも１つの特徴に基づき前記ユーザの眼の凝視方向を判断する視線追跡器サブシステムと、前記視線追跡器サブシステムへ通信可能に結合されたオートフォーカスカメラであって、前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の前記凝視方向に基づき前記ユーザの前記眼の視野内の被写体上に自動的に合焦するオートフォーカスカメラとを含む画像捕捉システムと、を含むウェアラブルヘッドアップディスプレイ（ＷＨＵＤ）。
  20. 前記オートフォーカスカメラは、
    前記ユーザの前記眼の前記視野と少なくとも部分的に重なる視野を有する画像センサと；
    前記画像センサの前記視野内の前記被写体上に調整可能に合焦するように配置及び配向された調節可能光学素子と；
    前記調節可能光学素子へ通信可能に結合されたフォーカスコントローラであって、前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の前記凝視方向と前記オートフォーカスカメラにより判断された前記画像センサの前記視野の少なくとも一部分の集束特性との両方に基づき前記画像センサの前記視野を前記ユーザの前記眼の前記視野内の前記被写体上に合焦させるために調整を前記調節可能光学素子へ適用するフォーカスコントローラとを含む、請求項１９に記載のＷＨＵＤ。
  21. 前記視線追跡器サブシステムと前記オートフォーカスカメラとの両方へ通信可能に結合されたプロセッサと；
    前記プロセッサへ通信可能に結合された非一時的プロセッサ可読記憶媒体であって、前記プロセッサにより実行されると前記視線追跡器サブシステムにより判断された前記ユーザの前記眼の前記凝視方向と前記オートフォーカスカメラにより判断された前記画像センサの前記視野の少なくとも一部分の集束特性との間のマッピングを前記プロセッサに行わせるプロセッサ実行可能データ及び／又は命令を格納する、非一時的プロセッサ可読記憶媒体とをさらに含む請求項２０に記載のＷＨＵＤ。
JP2018567834A 2016-06-30 2017-06-30 視線追跡に基づき自動合焦する画像捕捉システム、デバイス及び方法 Pending JP2019527377A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662357201P 2016-06-30 2016-06-30
US62/357,201 2016-06-30
PCT/US2017/040323 WO2018005985A1 (en) 2016-06-30 2017-06-30 Image capture systems, devices, and methods that autofocus based on eye-tracking

Publications (1)

Publication Number Publication Date
JP2019527377A true JP2019527377A (ja) 2019-09-26

Family

ID=60787612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018567834A Pending JP2019527377A (ja) 2016-06-30 2017-06-30 視線追跡に基づき自動合焦する画像捕捉システム、デバイス及び方法

Country Status (8)

Country Link
US (3) US20180007255A1 (ja)
EP (1) EP3479564A1 (ja)
JP (1) JP2019527377A (ja)
KR (1) KR20190015573A (ja)
CN (1) CN109983755A (ja)
AU (1) AU2017290811A1 (ja)
CA (1) CA3029234A1 (ja)
WO (1) WO2018005985A1 (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9874744B2 (en) 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
KR102617849B1 (ko) 2015-02-17 2023-12-26 구글 엘엘씨 웨어러블 헤드-업 디스플레이 내의 아이박스 확장을 위한 시스템, 장치, 및 방법
US10175488B2 (en) 2015-05-04 2019-01-08 North Inc. Systems, devices, and methods for spatially-multiplexed holographic optical elements
WO2016191709A1 (en) 2015-05-28 2016-12-01 Thalmic Labs Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
TWI676281B (zh) 2015-07-23 2019-11-01 光澄科技股份有限公司 光偵測器及其製造方法
WO2017024121A1 (en) 2015-08-04 2017-02-09 Artilux Corporation Germanium-silicon light sensing apparatus
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
US10761599B2 (en) * 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
CN115824395B (zh) 2015-08-27 2023-08-15 光程研创股份有限公司 宽频谱光学传感器
WO2017041010A1 (en) 2015-09-04 2017-03-09 Thalmic Labs Inc. Systems, articles, and methods for integrating holographic optical elements with eyeglass lenses
CA3007196A1 (en) 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
JP6266675B2 (ja) * 2016-03-18 2018-01-24 株式会社Ｓｕｂａｒｕ 捜索支援装置、捜索支援方法及び捜索支援プログラム
CA3020631A1 (en) 2016-04-13 2017-10-19 Thalmic Labs Inc. Systems, devices, and methods for focusing laser projectors
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
US10459221B2 (en) 2016-08-12 2019-10-29 North Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
US10215987B2 (en) 2016-11-10 2019-02-26 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
WO2018098579A1 (en) 2016-11-30 2018-06-07 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10365492B2 (en) 2016-12-23 2019-07-30 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US10437074B2 (en) 2017-01-25 2019-10-08 North Inc. Systems, devices, and methods for beam combining in laser projectors
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10901216B2 (en) 2017-10-23 2021-01-26 Google Llc Free space multiple laser diode modules
JP2019129366A (ja) * 2018-01-23 2019-08-01 セイコーエプソン株式会社 頭部装着型表示装置、音声伝送システム、及び頭部装着型表示装置の制御方法
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
CN113540142A (zh) 2018-02-23 2021-10-22 奥特逻科公司 光检测装置
TWI780007B (zh) 2018-04-08 2022-10-01 美商光程研創股份有限公司 光偵測裝置及其系統
US10642049B2 (en) * 2018-04-25 2020-05-05 Apple Inc. Head-mounted device with active optical foveation
US10854770B2 (en) 2018-05-07 2020-12-01 Artilux, Inc. Avalanche photo-transistor
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
WO2020069420A2 (en) 2018-09-28 2020-04-02 Ocelot Laboratories Llc Camera system
SE542553C2 (en) * 2018-12-17 2020-06-02 Tobii Ab Gaze tracking via tracing of light paths
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
KR102149732B1 (ko) * 2019-04-17 2020-08-31 라쿠텐 인코포레이티드 표시 제어 장치, 표시 제어 방법, 프로그램, 및 비일시적인 컴퓨터 판독 가능한 정보 기록 매체
CN110049252B (zh) * 2019-05-31 2021-11-02 努比亚技术有限公司 一种追焦拍摄方法、设备及计算机可读存储介质
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
KR20210019826A (ko) 2019-08-13 2021-02-23 삼성전자주식회사 Ar 글래스 장치 및 그 동작 방법
CN114365077B (zh) * 2019-09-05 2024-01-02 杜比实验室特许公司 观看者同步的照明感测
KR20210072498A (ko) 2019-12-09 2021-06-17 삼성전자주식회사 디스플레이의 지정된 영역에 표시를 변경하는 전자 장치 및 이의 동작 방법
CN111225157B (zh) * 2020-03-03 2022-01-14 Oppo广东移动通信有限公司 追焦方法及相关设备
JP2021150760A (ja) * 2020-03-18 2021-09-27 キヤノン株式会社 撮像装置およびその制御方法
US20210365673A1 (en) * 2020-05-19 2021-11-25 Board Of Regents, The University Of Texas System Method and apparatus for discreet person identification on pocket-size offline mobile platform with augmented reality feedback with real-time training capability for usage by universal users
IL280256A (en) * 2021-01-18 2022-08-01 Emza Visual Sense Ltd Device and method for determining connection to an item
WO2022170287A2 (en) 2021-06-07 2022-08-11 Panamorph, Inc. Near-eye display system
US11558560B2 (en) 2021-06-16 2023-01-17 Varjo Technologies Oy Imaging apparatuses and optical devices having spatially variable focal length
CN115695768A (zh) * 2021-07-26 2023-02-03 北京有竹居网络技术有限公司 拍摄方法、装置、电子设备、存储介质和计算机程序产品
WO2023126572A1 (en) * 2022-01-03 2023-07-06 Varjo Technologies Oy Optical focus adjustment based on occlusion
US20230308770A1 (en) * 2022-03-07 2023-09-28 Meta Platforms, Inc. Methods, apparatuses and computer program products for utilizing gestures and eye tracking information to facilitate camera operations on artificial reality devices

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2859270B2 (ja) * 1987-06-11 1999-02-17 旭光学工業株式会社 カメラの視線方向検出装置
CA2233047C (en) * 1998-02-02 2000-09-26 Steve Mann Wearable camera system with viewfinder means
CN101169897A (zh) * 2006-10-25 2008-04-30 友立资讯股份有限公司 多媒体系统的脸部检测的遥控系统及其方法及多媒体系统
JP4873729B2 (ja) * 2007-04-06 2012-02-08 キヤノン株式会社 光学機器
US7736000B2 (en) * 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
CN101567004B (zh) * 2009-02-06 2012-05-30 浙江大学 基于眼球跟踪的英文文本自动摘要方法
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US20130088413A1 (en) * 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
US9338370B2 (en) * 2012-11-05 2016-05-10 Honeywell International Inc. Visual system having multiple cameras
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
US8958158B1 (en) * 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
NZ773819A (en) * 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments

Also Published As

Publication number Publication date
US20180007255A1 (en) 2018-01-04
CA3029234A1 (en) 2018-01-04
US20180103194A1 (en) 2018-04-12
KR20190015573A (ko) 2019-02-13
US20180103193A1 (en) 2018-04-12
WO2018005985A1 (en) 2018-01-04
EP3479564A1 (en) 2019-05-08
CN109983755A (zh) 2019-07-05
AU2017290811A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
JP2019527377A (ja) 視線追跡に基づき自動合焦する画像捕捉システム、デバイス及び方法
US11880033B2 (en) Display systems and methods for determining registration between a display and a user's eyes
US11290706B2 (en) Display systems and methods for determining registration between a display and a user's eyes
US11880043B2 (en) Display systems and methods for determining registration between display and eyes of user
EP3228072B1 (en) Virtual focus feedback
US20150003819A1 (en) Camera auto-focus based on eye gaze
KR20180096434A (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US20180068449A1 (en) Sensor fusion systems and methods for eye-tracking applications
WO2014204755A1 (en) Multi-step virtual object selection
WO2013067230A1 (en) See-through display brightness control
WO2019187487A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN116033864A (zh) 使用非球形角膜模型的眼睛跟踪
Lander et al. hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation
JP7081599B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021016704A1 (en) Method and system for automatic pupil detection