JP2004234002A - 眼の焦点測定値を用いたデジタルカメラのオートフォーカス - Google Patents

Abstract

【課題】逆反射した眼の焦点測定値を用いてオートフォーカスを行うビューファインダ装置、方法およびデジタルカメラを提供する。
【解決手段】ユーザが意図した像の対象であるシーンの一部を見ると、眼の焦点はその点にまさに合う。本発明は、シーン内の希望する位置に目が合ったときに、眼の焦点距離を測定し、その焦点距離を用いてカメラの焦点をセットする。
【選択図】 図５

Description

本発明は、包括的には、デジタルカメラに関し、より詳細には、デジタルカメラをオートフォーカスするための逆反射した（retroreflected：再帰反射した）眼の焦点の測定値の使用に関する。

オートフォーカスは、フィルムカメラおよびデジタルカメラの両方の標準的な機能となった。長年にわたって変革および開発が行なわれてきたが、オートフォーカスにはやはり、往々にして、焦点がずれた像をもたらすいくつかの問題を有する。

最大の問題は、ユーザの意図である。複数の距離に複数の物体があるシーンでは、ユーザが焦点を合わせたいのが像のどの部分かを、カメラが選択せねばならない。従来の解決法は、被写体が中心にあると仮定して、像の中心領域に焦点を合わせることである。この技法は、２人の人物が並んで立っているという昔からよくある場面では、両者の間の背景にカメラの焦点が合うためうまくいかない。

さらに、デジタルカメラの従来のオートフォーカス技法はまた、低コントラストすなわち光が不足する条件では、低速で、エネルギー多消費型で、不正確である。

オートフォーカスに対するユーザの意図の問題に対する１つの高度な手法は、アイトラッキングの使用である。ユーザがファインダを覗くと、ＩＲエミッタおよび検出器アレイが、ショットのフレーミング中にユーザが見ている場所を追尾する。次に、カメラは、シーンのその位置でオートフォーカスゾーンまたはスポットを使用する。次に、カメラのレンズを通して見た像を用いて、オートフォーカスアルゴリズムが従来のように進行する。しかしながら、この解決策には依然として、従来のオートフォーカスの速度、パワー、および精度の問題がある。

本発明に関する従来技術は以下の通りである。

米国特許第６，０７２，４４３号の開示内容によると、「眼投影ディスプレイ（ocular projection display）（１２）は、ユーザ（１０）の眼（２６）に直接像を投影する。像の焦点は、種々のユーザプロファイルに対応するように、または長期間にわたり一定の焦点を維持するストレスを軽減するように、変えることができる。任意に、眼投影ディスプレイ（１２）は、ユーザの眼の位置を特定してユーザの眼に適切に像を向けるための位置および距離センサ（４６）と、ユーザの焦点合わせ能力を補正するための焦点検出回路（５４）とを含み得る。」

米国特許第５，８５７，１２０号は、「画面内のどの位置にユーザの視線が向いているかを検知する視線検出装置であって、画面を複数に分割し、指定する手段と、この分割された画面内の各エリアの視線に関する複数種の視線情報を用いて、使用者の注視点を抽出する手段とを備える視線検出装置」を開示している。

米国特許第５，１５５，５１６号の開示によると、「当接面を有するアイカップを備える接眼部の窓を含むファインダ光学系であって、当接面の形状は、接眼部の軸に関してレンズの軸を傾斜させるように形成される。当接面（contact surface）の形状は、レンズの形状に対応して湾曲している。当接面は、眼鏡のレンズに適合するように形成される」。

米国特許第５，６０８，４８９号の開示によると、「視線検出装置において、観察光学系に適用されるアナモフィックレンズ系は、光源からの照明光を、観察光学系を覗くように位置付けられた撮影者の眼の横方向に平行で、撮影者の眼の位置の縦方向に発散し、撮影者の眼の位置に実質的に集中するように修正する。アナモフィックレンズ系は、光源から、観察光学系の光軸から離れて位置する照明光射出端面へ照明光を透過し、照明光は、照明光射出端面から撮影者の眼の位置へ投光されて、眼鏡を装用している場合には、眼の像および眼鏡により形成された像からの信号が分離される。照明光射出端面は、観察光学系の視野の長辺方向と平行な長辺を有する矩形の窓であり、撮影者の眼の位置より下に位置する。」

米国再発行特許ＲＥ３６，２３７（米国特許第５，１５５，５１６号に対応する）の開示によると、「当接面を有するアイカップを備える接眼部の窓を含むファインダ光学系であって、当接面の形状は、接眼部の軸に関してレンズの軸を傾斜させるように形成されている。当接面の形状は、レンズの形状に対応して湾曲している。当接面は、眼鏡のレンズに適合するように形成される。」

米国特許第５，３２７，１９１号および第５，５５７，３６４号の開示によると、「撮影者の眼に平行光線を導く送光系を有するカメラ用の視線方向検出装置は、眼の角膜鏡面反射および眼の網膜からの反射光に基づき第１プルキンエ（Purkinje）像が形成される受光部を有する受光系を有し、受光部は受光出力を発生する。この装置は、受光部の受光出力に基づき眼の視線方向を検出するための処理回路をさらに備える。さらに、この発明の教示によると、いくつかの等しく傾斜した表面を有する光学部材を含み、この光学部材は、屈折光により視線方向検出装置の受光系内に虚像が形成されることを防ぐ。」

米国特許第５，３３１，１４９号の開示によると、「光検出器アレイに接続されたディスプレイでできたアイトラッキングモジュールからなるアイトラッキングシステムが開示される。ディスプレイの各画素は、対応する光検出器と位置合わせされている。ディスプレイにより生成された像は、観察スクリーン上に、またはビューワ（viewer）に向けて投影される。ディスプレイの画素からの軸方向の光線は、眼により反射されて、各光検出器により検出され、光検出器は眼の位置を示す電気信号を生成する。」

米国特許第５，６１４，９８５号は、「撮影者の注視方向を検出する視線検出手段と、複数の測距領域を有し、各測距領域の焦点の検出が可能な焦点検出手段と、視線検出手段により検出された視線の情報に基づいて、複数の測距領域のうちから少なくとも１つを選択する選択手段と、を有するカメラであって、選択手段は、視線検出手段による視線の検出状態に応じて、焦点検出手段による焦点検出結果に基づいて、測距領域を選択するようになっているカメラ」を開示している。

米国特許第５，８８２，３０１号の開示によると、「励起光学系および受光光学系の相対方向は、空気中でその光学軸により形成される角度が１４°であり、光学軸により形成される角度を眼球軸が二等分する方向に眼球が固定されるように、設定される。受光光学系の一次元固体撮像素子の光入射側には、励起光ビーム上で眼球の深さ位置の異なる部位から発生する測定光成分を、撮像素子の異なる位置の光電変換素子に入力させるスリットが配置される。眼球の各部位から光学軸に平行に発生される測定光成分は、スリットを通して一次元固体撮像素子に入射し、同時に検出されて、光電変換素子の位置と眼球の位置を生成する測定光成分とが互いに一致するようになる。」

米国特許第５，６１０，６８１号は、「観察者の眼を照明する照明デバイスと、所定のピッチを有するいくつかの画素を有するセンサと、眼により反射された光をセンサ上に結像する結像光学ユニットと、センサからの出力に従って眼の視線の方向を示す信号を形成する電子回路と、を有する装置であって、結像ユニットの結像倍率をβ、センサの画素ピッチをピッチＸとしたとき、ピッチＸ／β＜０．４１ｍｍで表される関係が満足され、それにより眼の視線の検出精度が向上する装置」を開示している。

米国特許第６，０１４，５２４号は、「物体を観察するファインダ手段と、操作者がファインダ手段を覗く際に用いる、操作者の眼を照明する照明手段と、操作者の眼からの反射光を集光する集光光学系と、集光された反射光を受光する光電変換手段と、光電変換手段の出力に基づいて、操作者の眼の視軸の方向を計算する計算手段と、計算手段の計算結果に応じてカメラの撮影状態を設定するように動作可能な状態設定手段と、を備えるカメラ」を開示している。

米国特許第６，３９４，６０２号の開示によると、「物体の可視像を形成するための顕微鏡またはカメラなどの光学機器が提供される。光学機器は、像面において可視像を形成する対物レンズと、可視像を見ているユーザの凝視方向を検知するアイセンサと、検知された凝視方向に応じて、光学機器の制御可能な機能を制御する手段と、を備える。アイセンサは、ユーザの網膜から反射した光を集束するセンサレンズと、ユーザの網膜の一部の電子像サインを生成するための、センサレンズに関して像面と対をなす平面に配置された画像化トランスデューサと、ユーザの網膜像情報を格納するメモリと、画像化トランスデューサにより生成された網膜像信号を格納された網膜像情報と比較して、ユーザの凝視方向を示す凝視情報を生成する回路と、を含む。」

米国特許第６，０２７，２１６号の開示によると、「眼底から逆反射した光の偏光関連の変化を検出することにより、眼の注視方向を評価する装置および方法が提供される。眼の網膜の神経線維は、複屈折性であり、神経線維の向きの関数として神経線維を通過する光の偏光状態を変える。神経線維は、網膜において独特のパターンで配列されており、具体的には、中心窩から外側に放射状に広がり、視神経乳頭（optic nerve head）に集まる。複数の網膜領域からの逆反射光の偏光関連の変化を順次または同時に評価することにより、眼の注視方向を評価するために用いられる網膜の各部分の独特の複屈折特徴（birefringence signatures）を特定することができる。さらに、角膜の複屈折による干渉が、子午線方向からほぼ独立した偏光状態を有する入射光を用いることにより低減される。この評価には、円偏波光または非偏光の光が用いられる。角膜の複屈折による干渉は、子午線方向の角膜の複屈折からほぼ独立した偏光関連の変化を検出することにより、さらに低減される。これは、ストークス（Stokes）のパラメータＳ₃のみを測定することによるか、または任意の２つのストークスのパラメータを測定することによって、楕円率の変化を検出することにより達成される。代替法は、中心窩付近でルテインの顔料粒子の二色性が評価に用いられる場合、逆反射光の全体の輝度を測定することである。」

しかしながら、これらの従来技術の参照は、逆反射した眼の焦点測定値を用いることであって、それにより、眼の焦点距離を測定してこの距離を用いてカメラの焦点を設定する眼の焦点測定値を用いることについては、開示も示唆もしていない。

逆反射した眼の焦点測定値を用いてオートフォーカスを行い、かつ従来の実施態様よりも改善されたデジタルカメラ、ファインダ装置、および方法を提供することが、本発明の目的である。

上記および他の目的を達成するために、本発明は、逆反射した眼の焦点測定値を用いてオートフォーカスを行うファインダ装置、デジタルカメラ、および方法を提供する。ユーザが意図した像の対象であるシーンの一部を見ると、眼の焦点はその点にまさに合う。眼の位置を追尾するのではなく、本発明は、眼の焦点距離を測定し、この距離を用いてカメラの焦点を設定する。カメラは、焦点を決定するのにシーンの焦点を検出しない。

発明の背景の項に記載したアイトラッキング技法と同様に、ユーザの意図の問題が解決される。さらに、本発明は、人間の眼の優れたオートフォーカス能力を利用する。本発明は、従来の電子オートフォーカスシステムよりも、低コントラストおよび光が不足する条件で、高速、より正確、かつよりロバストである。

さらに、本発明は、ビデオ録画に有利に用いることができる。焦点合わせのためにカメラのレンズおよびセンサを用いる他の技法では、最も焦点が合った点をレンズが「探し回る（hunt around）」ことが必要であり、それにより、周期的に焦点がずれたビデオ画像が生成される。本発明は、カメラのレンズの焦点合わせを乱すことなく、「探し回って」ユーザの眼の焦点距離を見つけることによりこの問題を回避する。

本発明の実施形態の様々な特徴および利点は、以下の詳細な説明を添付図面とともに参照すれば、より容易に理解することができ、図面において、同様の参照番号は同様の構成要素を示す。

図面を参照すると、図１は、デジタルカメラ２０とともに用いるための、本発明の原理によるオートフォーカス装置１０（デジタルカメラオートフォーカス装置１０）の第１の例示的な実施形態を示す。デジタルカメラオートフォーカス装置１０の第１の例示的な実施形態は、シーン１５の逆反射像（retroreflected image）に焦点を合わせる。

デジタルカメラオートフォーカス装置１０の第１の例示的な実施形態は、ユーザが自身の眼１６で覗くファインダ１１を備える。ファインダ１１は、選択的に移動可能なエリアアレイイメージセンサ１２と、選択的に移動可能な光学要素１３すなわちレンズ１３と、ビームスプリッタ１４すなわち傾斜した部分反射性かつ部分透過性のミラー１４とを含み、これらは光学軸に沿って配置される。ユーザは、ビームスプリッタすなわち傾斜した部分反射性かつ部分透過性のミラー１４を介して像のシーンすなわち目標物１５を見る。

ユーザが意図した像の対象であるシーンの一部を見ると、ユーザの眼１６の焦点はその点にまさに合う。眼１６の位置を追尾するのではなく、本発明のオートフォーカス装置１０は、眼１６の焦点距離を測定し、この距離を用いてカメラ２０の焦点を設定する。カメラ２０はシーンの焦点を検出しない。

センサ１２と、移動可能な光学要素１３すなわちレンズ１３と、ビームスプリッタ１４すなわち傾斜した部分反射性かつ部分透過性のミラー１４とを含む眼の焦点検知要素は、ビューファインダに組み込まれている。シーン１５を見るユーザの視野を修正するような拡大または焦点合わせ要素を何も含まない反射ファインダを想像することが最も簡単である。ユーザはシーン１５を普通に見て、自身の眼１６の焦点を対象の被写体に自然に合わせる。

オートフォーカス装置１０の第１の例示的な実施形態は、シーン１５の逆反射像を用いて眼１６の焦点距離を測定する。図１に示すように、レンズ１３および／またはイメージセンサ１２は、眼１６の網膜１６ａに投影されたシーン１５の像がセンサ１２において焦点合わせされるまで移動される。レンズ１３および／またはセンサ１２の変位により、眼１６の焦点距離の測度が提供される。カメラ２０は、網膜１６ａ上の像に焦点が合っている場合のレンズ１３および／またはセンサ１２の変位に関連付けられる距離で焦点合わせされる。

測定された眼の焦点距離から得られたオートフォーカスデータからカメラのレンズの焦点距離を設定することは、いくつかの方法により行うことができる。１つの例示的な方法は、事前に格納されたテーブルを用いることであり、このテーブルは、上述のファインダ装置における移動可能な要素の変位を、カメラのレンズの適切な変位にマッピングする。このテーブルは、工場較正手順の一部として生成するため、ファインダ要素およびカメラ要素の両方の製造のばらつきを補償することができる。あるいは、カメラのレンズの移動は、数式による処理（３５）により、ファインダ要素の変位から導出することができる。

図２は、本発明の原理によるデジタルカメラオートフォーカス装置１０ａの第２の例示的な実施形態を示す。オートフォーカス装置１０ａの第２の例示的な実施形態は、選択的に移動可能なエリアアレイイメージセンサ１２と、選択的に移動可能な光学要素１３すなわちレンズ１３と、第１のビームスプリッタ１４すなわち傾斜した部分反射性かつ部分透過性のミラー１４と、第２のビームスプリッタ１４ａすなわち傾斜した部分反射性かつ部分透過性のミラー１４ａとを含み、これらはそれぞれ第１の光学軸に沿って配置される。赤外線発光ダイオード照明器１７が、第２のビームスプリッタ１４ａすなわち傾斜した部分反射性かつ部分透過性のミラーと交わる第２の光学軸に沿って配置される。

図２に示すように、デジタルカメラオートフォーカス装置１０ａの第２の例示的な実施形態は、光が不足した条件でも動作し、シーン１５すなわち目標物１５の近赤外線像を、第２のビームスプリッタ１４ａを介して眼１６に投影する。目標物１５の逆反射像は、赤外線イメージセンサ１２により検知される。図１を参照して開示したように、レンズ１３および／またはセンサ１２は、網膜１６ａに投影された目標物１５の像が焦点合わせされるまで移動されるため、レンズ１３および／またはセンサ１２の変位は眼１６の焦点距離の測度（measure）である。

図３は、本発明の原理によるデジタルカメラオートフォーカス装置１０ｂの第３の例示的な実施形態を示す。オートフォーカス装置１０ｂの第３の例示的な実施形態は、選択的に移動可能なエリアアレイイメージセンサ１２と、選択的に移動可能な光学要素１３すなわちレンズ１３と、第１のビームスプリッタ１４すなわち傾斜した部分反射性かつ部分透過性のミラー１４と、第２のビームスプリッタ１４ａすなわち傾斜した部分反射性かつ部分透過性のミラー１４ａとを備え、これらはそれぞれ第１の光学軸に沿って配置される。

赤外線発光ダイオード照明器１７が、第２のビームスプリッタ１４ａすなわち傾斜した部分反射性かつ部分透過性のミラーと交わる第２の光学軸に沿って配置される。非点収差要素（astigmatic element）１８が、第２の光学軸に沿って、赤外線発光ダイオード照明器１７と第２のビームスプリッタ１４ａすなわち傾斜した部分反射性かつ部分透過性のミラー１４ａとの間に配置される。

第３の例示的なオートフォーカス装置１０ｂは、光ディスクで用いられるフォーカストラッキング技法を取り入れた変形形態である。非点収差要素１８は、図３に示すように、赤外線光路に導入される。その結果、逆反射されたスポットまたは目標物１５の形状は、眼１６の焦点距離に応じて変わる。これは、センサ１２により生成されるバイポーラ焦点信号（bipolar focus signal）を生成するために用いられる。バイポーラ焦点信号は、最も焦点が合っている位置がわかっているため（バランスがとれている場合）、リアルタイムで焦点を追尾することがより容易で確実（robust）であるという利点を有する。

図４は、本発明の原理によるデジタルカメラオートフォーカス装置１０ｃの、おそらく最善の例示的な第４の実施形態を示す。オートフォーカス装置１０ｃの第４の例示的な実施形態は、傾斜したエリアアレイイメージセンサ１２と、光学要素１３すなわちレンズ１３と、第１のビームスプリッタ１４すなわち傾斜した部分反射性かつ部分透過性のミラー１４と、第２のビームスプリッタ１４ａすなわち傾斜した部分反射性かつ部分透過性のミラー１４ａとを備え、これらはそれぞれ第１の光学軸に沿って配置される。赤外線発光ダイオード照明器１７が、第２のビームスプリッタ１４ａすなわち傾斜した部分反射性かつ部分透過性のミラー１４ａと交わる第２の光学軸に沿って配置される。

第４の例示的なオートフォーカス装置１０ｃは、様々な焦点深度にある一連の目標物１５を含む逆反射パターンを生成する。これを行うことができる１つの方法は、図４に示すように、照明器１７と第２のビームッスプリッタ１４ａすなわち傾斜した部分反射性かつ部分透過性のミラー１４ａとの間に配置された目標物レチクル１９を傾斜させ、センサ１２を傾斜させて、共役距離の変化に一致するようにすることによるものである。逆反射像は、傾斜した目標物１５の一領域に最も焦点が合っている。これにより、ほぼ瞬時のフォーカス測定データが生成され、レンズ１３またはセンサ１２を移動させる必要がなくなる。

ここでもまた、反射ファインダ１１はシーンに対するユーザの焦点を修正するような光学要素を何も含まないと仮定される。ズームファインダ１１を含む従来の光学ファインダ１１とともに、これら上述の技法のいずれを用いることも可能である。ファインダ１１への光学パワーにより導入される焦点距離の変化を補償するように注意せねばならない。

図５は、本発明の原理による例示的な方法３０を示す。例示的な方法３０は、以下のステップを含む。

デジタルカメラ２０のユーザがファインダ１１を通して像のシーン１５を見る（ステップ３１）。像のシーン１５は、ユーザの眼１６から逆反射される（ステップ３２）。逆反射された像のシーンは、イメージセンサ１２に焦点合わせされる（ステップ３３）。焦点合わせされた逆反射像に関するデータが、眼１６の焦点距離を求めるために処理される（ステップ３４）。眼１６の焦点距離に関連するデータが、デジタルカメラ２０の焦点を像のシーン１５に合わせるために処理される（ステップ３５）。

さらに詳細な方法は、レンズ１３またはセンサ１２の動きに関する上述の装置の様々な構成要素の動作に向けたものである。これらの方法は、発明を実施するための最良の形態の最初の部分を読めば容易に明らかとなるため、詳細には説明しない。

このように、逆反射された眼の焦点測定値を用いてオートフォーカスを行うデジタルカメラおよびファインダ装置を開示した。上述の実施形態は、本発明の原理の用途を表す多くの具体的な実施形態のいくつかを示すにすぎないことが理解される。明らかに、本発明の範囲から逸脱しない限り、当業者は多くの他の構成を容易に考案することができる。

本発明の原理による、デジタルカメラオートフォーカス装置の第１の例示的な実施形態を示す図である。 本発明の原理による、デジタルカメラオートフォーカス装置の第２の例示的な実施形態を示す図である。 本発明の原理による、デジタルカメラオートフォーカス装置の第３の例示的な実施形態を示す図である。 本発明の原理による、デジタルカメラオートフォーカス装置の第４の例示的な実施形態を示す図である。 本発明の原理による例示的な方法を示す図である。

Claims (9)

1. デジタルカメラのオートフォーカス装置であって、
   ユーザが眼で覗くファインダであって、前記眼から逆反射した光から焦点合わせされた像と、前記眼の焦点距離を示し、前記デジタルカメラの焦点を合わせるために用いられる関連データとを生成するファインダ、を備えることを特徴とする、デジタルカメラのオートフォーカス装置。
2. 前記ファインダは、光学軸に沿って配置されたエリアアレイイメージセンサと、光学要素と、ビームスプリッタと、を備えることを特徴とし、これらの少なくとも１つがその他に対して選択的に移動可能である、請求項１に記載のオートフォーカス装置。
3. 前記ファインダは、第１の光学軸に沿って配置されたエリアアレイイメージセンサと、光学要素と、第１のビームスプリッタと、第２のビームスプリッタと、該第２のビームスプリッタと交わる第２の光学軸に沿って配置された赤外線発光ダイオード照明器と、を備えることを特徴とし、これらの少なくとも１つがその他に対して選択的に移動可能である、請求項１に記載のオートフォーカス装置。
4. オートフォーカス装置であって、
   前記ファインダは、第１の光学軸に沿って配置されたエリアアレイイメージセンサと、光学要素と、第１のビームスプリッタと、第２のビームスプリッタと、該第２のビームスプリッタと交わる第２の光学軸に沿って配置された赤外線発光ダイオード照明器と、前記第２の光学軸に沿って前記赤外線発光ダイオード照明器および前記第２のビームスプリッタ間に配置された非点収差要素と、を備えることを特徴とする、請求項１に記載のオートフォーカス装置。
5. 前記ファインダは、第１の光学軸に沿って配置された傾斜したエリアアレイイメージセンサと、光学要素と、第１のビームスプリッタと、第２のビームスプリッタと、該第２のビームスプリッタと交わる第２の光学軸に沿って配置された赤外線発光ダイオード照明器と、該照明器および前記第２のビームスプリッタ間に配置された目標物レチクルと、を備えることを特徴とする、請求項１に記載のオートフォーカス装置。
6. 前記センサにより、様々な焦点深度にある一連の傾斜した目標物を含む逆反射パターンが生成され、最も焦点が合っている目標物に、前記カメラの焦点を合わせるために用いられるデータが関連付けられる、請求項５に記載のオートフォーカス装置。
7. デジタルカメラで用いるオートフォーカス方法であって、
   像のシーンをデジタルカメラのファインダを通して見るステップと、
   前記像のシーンをユーザの眼から逆反射させるステップと、
   前記逆反射された像のシーンをイメージセンサにおいて焦点合わせさせるステップと、
   前記焦点合わせされた像に関するデータを処理して、前記眼の焦点距離を求めるステップと、
   前記眼の焦点距離に関連するデータを処理して、前記デジタルカメラの焦点を前記像のシーンに合わせるステップと、を含むことを特徴とする、オートフォーカス方法。
8. 前記ファインダは、光学軸に沿って配置されたアレイイメージセンサと、光学要素と、ビームスプリッタとを備えることを特徴とし、
   前記イメージセンサまたは前記光学要素を選択的に移動させて、前記反射された像のシーンを前記イメージセンサに焦点合わせさせるステップ、
   を含むことを特徴とする、請求項７に記載のオートフォーカス方法。
9. 赤外光を照明器からユーザの眼に向けるステップを含むことを特徴とし、赤外線像が、焦点合わせされ、かつ、処理されて、前記眼の焦点距離が求められる、請求項７に記載のオートフォーカス方法。
   

Images