JP2017521710A - 画像キャプチャ装置を較正する方法 - Google Patents
画像キャプチャ装置を較正する方法 Download PDFInfo
- Publication number
- JP2017521710A JP2017521710A JP2017500074A JP2017500074A JP2017521710A JP 2017521710 A JP2017521710 A JP 2017521710A JP 2017500074 A JP2017500074 A JP 2017500074A JP 2017500074 A JP2017500074 A JP 2017500074A JP 2017521710 A JP2017521710 A JP 2017521710A
- Authority
- JP
- Japan
- Prior art keywords
- lens
- lens actuator
- setting
- image capture
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
- G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Lens Barrels (AREA)
Abstract
画像キャプチャ装置を較正する方法は、水平面に対する複数の配向を介して動かすために、あるバッチから少なくとも1つのサンプル装置を取り付けることを含む。所与の配向について、サンプル装置は、一連の位置において焦点を合わせて、各位置が装置からそれぞれ焦点距離にあるようにする。レンズアクチュエータ設定が、各位置においてサンプル装置について記録される。これが、サンプル装置の複数の異なる配向において繰り返される。複数の異なる配向からの異なる配向について任意の所与の位置におけるレンズアクチュエータ設定と、複数の異なる配向のうちの選択された配向におけるアクチュエータ設定との間のそれぞれの関係式が決定される。それぞれ画像キャプチャ装置が選択された配向で位置付けられている状態での装置から指定の焦点距離にある、少なくとも2つの関心点(POI)において、較正される画像キャプチャ装置のためのレンズアクチュエータ設定が記録される。決定された関係式及び記録されたレンズアクチュエータ設定に基づいて複数の異なる配向について画像キャプチャ装置が較正される。
Description
本発明は、全般的にデジタル画像キャプチャ装置の分野に関する。より具体的には、本発明は、デジタル画像キャプチャ装置における、その装置及びしたがってその装置のカメラモジュールが多くの異なる配向で使用される場合の、自動焦点動作を改善するための方法に関する。
より具体的には、本発明は、デジタルカメラモジュール、特に、ボイスコイル及びMEMS焦点システムなどの小型化された焦点システム用の自動焦点システムの較正に関する。
カメラの自動焦点(オートフォーカス:AF)システムは、カメラのレンズを自動的に調節して、被写体への焦点を取得する。一般に、AFシステムは、カメラ内のコントラストセンサを用いる(パッシブAF)か、又は信号を発することによって被写体に照らし若しくは被写体までの距離を推定する(アクティブAF)。パッシブAFは、コントラスト検出方法又は位相検出方法のいずれかを採用できるが、その両方とも自動焦点を達成するためにコントラストに依存している。
一部のデジタルカメラには、カメラの画像センサとは異なる自動焦点センサを用いるものがある。これは、例えば、単機能デジタルカメラにおいて見られる。しかしながら、携帯電話、タブレットコンピュータ、携帯情報端末、及びポータブルミュージック/ビデオプレーヤなどの小型の多機能装置では、多くの場合、別個の画像センサ及び自動焦点センサは用いられない。これらのような装置では、自動焦点動作は、指定の数の場所でカメラレンズ(又はレンズ組立体)の位置を調節することと、連続する画像内の対応する地点間の焦点(例えば、コントラスト)を評価すること(最大コントラストは、最大鮮鋭度又は「最良」の焦点に対応すると仮定される)と、を含む場合がある。
多機能装置は、典型的には、コントラスト/焦点を、画像内の一定数の点において評価し、連続する画像を取得するためにレンズが移動されるときに、一定数のレンズ位置、又はPOI(関心点、points of interest)において評価する。このように、これらの装置は、一定の速度で、一定の解像度を有する自動焦点動作を提供することができる。
米国特許出願公開第2013/0076967号には、装置の配向の知識を用いたデジタル画像キャプチャ装置用の自動焦点動作が記載されている。この方法は、配向センサから装置の配向を決定することを含み、1つの例証的な配向センサは、加速度計である。少なくとも部分的に装置の配向に基づいて、自動焦点動作のための可動域を決定することができる。この可動域は、自動焦点動作の間にレンズ又はレンズ組立体が移動する距離を指す。
しかし、米国特許出願公開第2013/0076967号は、装置配向の影響が本質的に線形であることを仮定し、個別の装置のアクチュエータ特性が異なる配向において一貫していることを更に想定している。実のところ、これは真実ではなく、アクチュエータ特性が配向の間で顕著に変わり、その結果、予め規定されたPOIは、非水平配向において自動焦点システムアルゴリズムが正しく動作できるようにするほど十分に正確ではない。
米国特許第8577216号には、画像キャプチャ装置において自動焦点プロセスの間にサーチ範囲内でレンズを移動させるために使用されるレンズアクチュエータの較正が開示されている。画像キャプチャ装置は、遠焦点条件(far focus condition)と近焦点条件(near focus condition)とを含む異なる焦点条件について選択されたレンズ位置に基づいて、サーチ範囲に対する基準位置を調節する。焦点条件は、装置が使用される検出された環境に基づいて、決定される。屋内環境の検出は、近くのオブジェクトの焦点の可能性を示すことができるが、屋外環境の検出は、遠くのオブジェクトの焦点の可能性を示すことができる。
本発明の第1の態様によれば、請求項1による方法が提供される。
本発明は、異なる角度配向についてそれぞれ個別のモジュールを精密に較正する必要性を回避しつつ、デジタルカメラモジュールにおける焦点合わせステップの正確な較正を提供する。
本発明の第2の態様によれば、請求項27による方法が提供される。
本発明の実施形態は、特に、ボイスコイルモジュール(VCM:voice-coil module)又はマイクロ電子機械システム(MEMS:micro-electromechanical system)に基づいた焦点アクチュエータを有する小型化されたコンシューマ用カメラの大量生産に適用可能である。
ここで本発明の実施形態について、例として、添付の図面を参照して説明する。
ここで本発明の実施形態について、例として、添付の図面を参照して説明する。
本開示は、少なくとも部分的に装置の配向に基づいて、画像キャプチャ装置の自動焦点(AF)動作を動的に調節するためのシステム、方法、及びコンピュータ可読媒体に関する。より具体的には、本発明は、デジタルカメラモジュール用の自動焦点システムの改善された較正の提供に関し、特に、VCM及びMEMS焦点システムなどの小型化された焦点システムの改善された較正の提供に関し、かかるシステム固有の非線形を克服する。特に、本発明は、焦点アクチュエータの変位のフルクローズドループ制御が実行できないか、あるいはコスト上の制約のため実用的ではない場合があるカメラモジュールの大量生産に適応可能である。
以下の記述においては、説明目的のため、本発明の概念の完全な理解を提供するために、多くの特定の詳細が述べられる。この記述の一部として、本開示の図面の一部は、本発明を曖昧にしないために、構造体及び装置をブロック図の形態で表す。この文脈において、関連した識別子なしの番号が付された図面の要素(例えば、100)に対する言及は、識別子を有する図面の要素(例えば、100a及び100b)の全ての例に言及するものであることを理解すべきである。更に、本開示に用いられる言葉は、主として読みやすさ及び教育的目的のために選択されたものであり、本発明の主題を明確に描写すること又は制限するために選択されたものでは場合があり、こうした本発明の主題を判断するのには特許請求の範囲に頼る必要がある。本開示における「一実施形態」又は「1つの実施形態」に対する言及は、実施形態と関連して説明される特定の特徴、構造体、又は特性が、本発明の少なくとも1つの実施形態内に含まれることを意味し、「一実施形態」又は「1つの実施形態」に対する複数の言及は、必ずしも全てが同じ実施形態を言及するものとして理解されるべきではない。
いずれの実際の実施の開発においても(いずれかの開発プロジェクトにおけるような)、開発者の特定の目標(例えば、システム及びビジネス関連の制約の順守)を達成するために多くの決定を行う必要があること、及び、これらの目標は、その実施ごとに変わることが理解されるであろう。こうした開発努力は、複雑であり時間がかかるが、それにもかかわらず、本開示の利益を有する画像キャプチャ装置の設計における当業者にとっては通常の仕事であることも理解されるであろう。
自動焦点システム
本発明をより理解するため、最新の手持ち式の画像化装置における自動焦点(AF)システムの動作を理解するのが有用である。トップレベルの視点から、自動焦点システムは、2つの主な構成要素、すなわち、焦点を調節し画像を取得できるカメラモジュールと、典型的には、カメラモジュールを含む主装置専用のカメラプリプロセッサである画像信号処理装置(ISP)内に実装される自動焦点アルゴリズムと、に分離することができる。この主装置は、専用のデジタルスチルカメラ若しくはデジタルビデオカメラ、カメラ付き電話、スマートフォン、タブレットコンピュータ、又は任意のこのような装置のいずれかとすることができる。
本発明をより理解するため、最新の手持ち式の画像化装置における自動焦点(AF)システムの動作を理解するのが有用である。トップレベルの視点から、自動焦点システムは、2つの主な構成要素、すなわち、焦点を調節し画像を取得できるカメラモジュールと、典型的には、カメラモジュールを含む主装置専用のカメラプリプロセッサである画像信号処理装置(ISP)内に実装される自動焦点アルゴリズムと、に分離することができる。この主装置は、専用のデジタルスチルカメラ若しくはデジタルビデオカメラ、カメラ付き電話、スマートフォン、タブレットコンピュータ、又は任意のこのような装置のいずれかとすることができる。
自動焦点アルゴリズムは周知であり、様々な試み及び改良点に関する相当数の文献があるが、実際のところ、全てのAFアルゴリズムは、コントラストベースの自動焦点(CB−AF)として周知の技法を動作させる。簡単に言うと、これは、画像化されたシーンの領域を分析して、局所コントラストを決定することを伴い、その後、焦点を、コントラストが再び決定される次の位置に移動し、コントラストの変化に基づいて、更なる調節が決定される。こうしたアルゴリズムは、各焦点ステップ又はPOI(関心点)に対する光学システムの正確な位置決めに依存する。
典型的な光学システムでは、POIの数が限定される。なぜなら、2個のPOIの間の光学的差異は、相対コントラストにおける差異を見分けられるほど十分に異なるものでなければならないからである。最新式の手持ち式の画像化装置では、典型的には、8〜12個のPOIが存在し、光学設計に応じて2m〜5mの距離を越えると、レンズは無限遠位置にあると考えられる。それでもなお、本発明は、より粒度の細かい焦点と自動焦点POI数の増加とに等しく適用できることが理解されるであろう。
POI精度が悪い場合、すなわち、POIについて実際のレンズ焦点距離と公称焦点距離との間に差異がある場合、自動焦点の性能も悪くなり、結果的に、長い焦点時間及び(カメラが、好ましい(かつ正しい)焦点設定にロックせずに、2つの焦点位置の間で切り替わり続ける)焦点ハンチングにつながる。
ここで、今日の手持ち式のデジタル画像化装置に使用されるカメラモジュールアクチュエータ技術を参照する。2つの特定の技術、ボイスコイルモータ(VCM)とマイクロ電子機械システム(MEMS)が市場をリードしている。
ボイスコイルモータシステム
VCMシステムは、定電流源によって駆動される誘導コイルを使用する。理論的には、アクチュエータ変位はインダクタンスと線形で、駆動電流に比例する。VCMでは、光学部品は通常、複数の複合レンズを含み得る主レンズ鏡筒であり、比較的質量が重い。VCMを用いた動きは、繰り返し可能で、ギヤレスであり、レンズの位置は、モータの力とばね力をバランスさせることによって固定されている。ばねは、レンズを無限遠焦点位置まで戻し、焦点を合わせる必要がなければ、電力を消費しない。それは、機械的に堅牢で、耐衝撃性の、コストの低い機械的構造を有する。これらのモータは、典型的には、ヒステリシスが最小限なので、電流対位置の関係は直接的であり、結果として、レンズの位置のフィードバックは通常、必要ではない。
VCMシステムは、定電流源によって駆動される誘導コイルを使用する。理論的には、アクチュエータ変位はインダクタンスと線形で、駆動電流に比例する。VCMでは、光学部品は通常、複数の複合レンズを含み得る主レンズ鏡筒であり、比較的質量が重い。VCMを用いた動きは、繰り返し可能で、ギヤレスであり、レンズの位置は、モータの力とばね力をバランスさせることによって固定されている。ばねは、レンズを無限遠焦点位置まで戻し、焦点を合わせる必要がなければ、電力を消費しない。それは、機械的に堅牢で、耐衝撃性の、コストの低い機械的構造を有する。これらのモータは、典型的には、ヒステリシスが最小限なので、電流対位置の関係は直接的であり、結果として、レンズの位置のフィードバックは通常、必要ではない。
VCMの典型的なフルストロークの変位は、0.25mmから数ミリメートルまでに及ぶ。
MEMSシステム
カメラの焦点面、すなわち、光軸又はZ軸に直交するX−Y面においてレンズ、レンズ群、又は画像化センサなどの光学素子の動きを実施するように適合されたMEMSアクチュエータ装置の例が、参照により本明細書に組み込まれる米国特許出願第2012/0081598号に詳細に記載されている。MEMSアクチュエータは、電気制御が電圧として提供され、アクチュエータの固有機構が本質的に容量性である点で、VCMとは異なる。それにもかかわらず、MEMSは、電気制御信号で駆動され、アクチュエータ変位はそのインピーダンス(静電容量)に線形関係にある。
カメラの焦点面、すなわち、光軸又はZ軸に直交するX−Y面においてレンズ、レンズ群、又は画像化センサなどの光学素子の動きを実施するように適合されたMEMSアクチュエータ装置の例が、参照により本明細書に組み込まれる米国特許出願第2012/0081598号に詳細に記載されている。MEMSアクチュエータは、電気制御が電圧として提供され、アクチュエータの固有機構が本質的に容量性である点で、VCMとは異なる。それにもかかわらず、MEMSは、電気制御信号で駆動され、アクチュエータ変位はそのインピーダンス(静電容量)に線形関係にある。
VCMとは対称的に、MEMSのフルストロークは、典型的には、単一のレンズ又は光学素子しか移動しないので、0.2mm未満である。
要するに、VCMは定電流信号によって駆動される誘導電気システムであるのに対し、MEMSは定電圧信号によって駆動される静電容量性電気システムであると言うことができる。本開示で提供される較正方法は、有利にも、両方のタイプの焦点アクチュエータに適合することができ、アクチュエータ位置の検知又はクローズドループ制御システムの実装を必要とせずに、より信頼性が高く、正確に、焦点POIを判定することができる。
非水平配向による重力
レンズシステムのアクチュエータ変位への重力の影響は、米国特許出願公開第2013/0076967号で言及されており、これには、装置の配向の知識を用いたデジタル画像キャプチャ装置のための自動焦点動作を実施する方法が記載されている。配向は、図1に示すように、装置の画像センサの面に平行に走る水平軸を中心としたカメラの相対回転(カメラを上向き又は下向きに傾けること)を意味する。
レンズシステムのアクチュエータ変位への重力の影響は、米国特許出願公開第2013/0076967号で言及されており、これには、装置の配向の知識を用いたデジタル画像キャプチャ装置のための自動焦点動作を実施する方法が記載されている。配向は、図1に示すように、装置の画像センサの面に平行に走る水平軸を中心としたカメラの相対回転(カメラを上向き又は下向きに傾けること)を意味する。
前述のように、今日の最新式の焦点アクチュエータは、8〜12個の別々のPOIの範囲内で調節できる。典型的には、アクチュエータ用の電気制御信号(ECS)は、必要なPOIの数より高解像度のデジタル・アナログコンバータ(DAC)(多くの場合、255個の異なる電圧出力値を有する8ビットDACコード、又は1024個の電圧値を有する10ビットDACコード)によって駆動される。こうして、自動焦点アルゴリズムはPOIを特定し、POIは必要なDACコードに変換され、DACは、アクチュエータ出力回路に応じてDACコードを等価のアナログアクチュエータ電圧値又は電流値に変換する。
光学部品(レンズ又はレンズ鏡筒)は、移動し始める前に、初期起動電圧又は電流を必要とするので、ECSの全範囲は一般に使用されない。また、アクチュエータがその終端位置を越えて移動しようとするのを防止するため、ECSは、典型的には、ある最大値に限定されることになる。こうして、典型的には、DACコード及びECS範囲の全範囲のうち限定されたサブセットが、アクチュエータを駆動するのに用いられる。
MEMSセンサの実用的な装置特性の例が図2に提供され、VCMモジュールの実用的な装置特性の例が図3に提供される。なお、図3のVCMアクチュエータにおける各ステップでのリンギングは、図2のMEMSアクチュエータのものより大きい。これは、VCMでは、全レンズ鏡筒が通常移動され、この大きな質量が、各ステップの動きの後、数十ミリ秒にわたって振動し続けるからである。
図2及び図3から留意すべき点は、これらの動作特性の個別のステップは配向の異なる角度において同じ変位範囲を提供しないことである。例えば、図2は、MEMsアクチュエータ特性の異なる角度配向の影響を示し、特に、−90度配向で決定された場合におけるアクチュエータを駆動する電圧範囲は、+90度配向での電圧範囲より幾分幅広い。こうして、アクチュエータが克服しなければならない追加の(又は低減された)「起動力」に加えて、個別の焦点POIの較正を修正しなければならないことは明らかである。これらの特性が非線形であるので、これは、ECSの簡単な修正によって(例えば、ECSを電流又は電圧の固定量だけ増加させることによって)達成することはできない。これは、アクチュエータ特性の開始点を補正できるが、それに続く個別のステップは、関連POIに対して正しくない変位となるであろう。次いで、このことは、カメラモジュールを組み込んだ装置に実装された主自動焦点アルゴリズム(複数可)に悪影響を及ぼすであろう。
モジュールの実用的な較正
カメラモジュールの完全較正は、典型的には、装置のDACを用いて、ステップ関数のシーケンスを生成することと、各POIで停止することとを伴うことになり、それぞれの後、典型的には、30ms間[30フレーム/秒(fps)での画像フレーム取得時間]、又はVCMアクチュエータの場合にあり得るように、アクチュエータが追加の設定時間を必要とする場合は、60ms間一時停止する。異なるカメラ配向を考慮に入れるために、カメラの配向を水平面に対し−90度、−30度、0度、+30度、+90度の各角度にした状態でアクチュエータステップ特性を測定することができる。これは、必要な精度を達成するのに概ね十分であるが、精度及び信頼度を改善するために、追加の中間角度測定が必要とされてもよい、又は採用されてもよい。
カメラモジュールの完全較正は、典型的には、装置のDACを用いて、ステップ関数のシーケンスを生成することと、各POIで停止することとを伴うことになり、それぞれの後、典型的には、30ms間[30フレーム/秒(fps)での画像フレーム取得時間]、又はVCMアクチュエータの場合にあり得るように、アクチュエータが追加の設定時間を必要とする場合は、60ms間一時停止する。異なるカメラ配向を考慮に入れるために、カメラの配向を水平面に対し−90度、−30度、0度、+30度、+90度の各角度にした状態でアクチュエータステップ特性を測定することができる。これは、必要な精度を達成するのに概ね十分であるが、精度及び信頼度を改善するために、追加の中間角度測定が必要とされてもよい、又は採用されてもよい。
いくつかの異なるPOI(関心点)に対していくつかの配向にわたってカメラを完全に較正するために、カメラは、典型的には、例えば、ABBから入手可能なタイプのロボットアームに取り付ける必要があり、変位システム、例えば、Keyenceのレーザー変位システムがロボットアームに固定され、変位システムはカメラに対する位置範囲の間でターゲットを移動可能である。アーム、変位システム及びカメラのそれぞれは、取得システムに接続される必要があり、取得システムはカメラモジュール、変位システム及びアームを制御できるとともに、自動的に較正テストのシーケンスを実行できる。典型的には、取得システムは、USB又は類似のシリアル接続を介してカメラと接続し、専用のコードを使用して、必要な各配向、及び各配向における各POIを通してカメラを移動させる較正ルーチンを実行することになる。
特に、スマートフォンなどの装置用の大量販売市場用のレンズシステムについて、全てのPOIに対して種々のカメラ配向において全ての装置を特徴付けるのは、時間がかかるだけでなく、様々な配向を通してカメラを移動させるとともに、各配向においてテストカードを様々なPOIを通して移動させるための複雑なテスト設備を必要とすることが理解されるであろう。これは、明らかに経済的ではない。
一方、バッチ内には装置のばらつきがある程度存在することがあるので、あるレベルの装置固有な較正を実施する必要があることが理解される。
本発明の実施形態は、概して、特定のアクチュエータ設計を特徴付けることと、またこの特徴付けに基づいて、あるバッチから1つ又はそれ以上のサンプルを取り出しそれにテストを実施して、全ての配向にわたって特定のバッチの統計的な特徴付けを決定することに基づく。単一配向測定特性は、その後、あるバッチのうち各モジュールアクチュエータに対して判定され、このデータはそのモジュールとともに格納される。
その後、個別のカメラモジュールを組み込んだ手持ち式の装置においては、自動焦点のための次の焦点POIに対する適切なDAC設定を、装置固有の単一配向特性、統計的な複数の配向のバッチ特性、及び現在の配向から決定することができる。
あるいは、装置内には、ワンタイムプログラマブルメモリが、任意の所与の配向における任意の必要なPOIに対する必要なDACコードを直接戻すように較正時にプログラムされた装置固有の複数の配向特性セットを含む場合がある。
包括的なアクチュエータの特徴付け
下記の特定の実施例は、MEMSアクチュエータの較正に関する。
下記の特定の実施例は、MEMSアクチュエータの較正に関する。
VCMについての類似の分析は、ボイスコイルのインピーダンス(インダクタンス)及び変位に関する線形性に相応に着目するであろう。同様に、ECSは、電圧信号ではなく、電流信号となるであろう。
図4から気づくであろうように、MEMSアクチュエータに対する複雑さの1つは、VCMアクチュエータと違って、アクチュエータ変位とECS(又はDACコード)との間の関係が線形ではないことである。アクチュエータ静電容量とDAC電圧との間の関係も線形ではない。しかし、静電容量を正確に測定するのは単純明快であり、アクチュエータ変位とMEMS静電容量との間には高い線形的な相関がある。したがって、静電容量の測定によって、アクチュエータ性能は特徴付けられ得、これは、より簡単であり、アクチュエータ運動及び最終変位を直接測定するのと同じ精度を提供する。(運動から静電容量への変換係数は通常、本明細書で提供された実施例であるMEMSモジュールについては0.68pF/umである。)
図4はまた、レンズアクチュエータに対するアクチュエータ(及びレンズ)変位の無限遠位置(及びより所望の下方閾値)が、典型的には、アクチュエータの自然な休止位置の少し上であることを示す。アクチュエータがまず電源投入されると、この初期位置まで初期化される。
また、マクロ(近接焦点)変位位置は、典型的には、アクチュエータに対する機械的かつ電気的ストレスを避けるために、飽和位置の少し下である。こうして、DAC出力は、DAC Stop、又はマクロ値に限定されることが所望される。
特に、無限遠及びマクロの両方について図2から、また無限遠に関連して図3から分かるように、装置の異なる各配向は、異なるDACマクロ停止設定及び異なるDAC無限遠設定を有することになるが、これらの設定における静電容量は、全ての装置の配向にわたってほぼ一定である。
無限遠及びマクロPOIにおける各静電容量は光学較正によって決定される。このプロセスは、典型的には、2.4mの距離に置かれた光学チャートを用いて、無限遠静電容量設定を決定することを含む。アクチュエータは、全焦点範囲を通してレンズを動作させて、光学チャートの最鮮鋭画像を測定することによって決定される無限遠焦点ピークを決定する。このプロセスは、マクロ位置に対して繰り返されるが、光学チャートは、レンズから10cmの距離に移動する。モジュールは、これらのテストのため水平(0度)配向であり、マクロ及び無限遠位置は、全ての配向にわたって採用される。
一旦、アクチュエータの無限遠位置及びマクロ位置の静電容量が決定されると、アクチュエータ変位範囲(ADR)が定義される。
静電容量特性は、動的ではなく静的時限測定であり、すなわち、アクチュエータは、図2及び図3から看取されるように、ステップ関数入力に従って落ち着くことができるようになることを留意すべきである。
こうして、DACの各電圧設定については、アクチュエータ(及びしたがってその静電容量)は、DACコード(ECS電圧)が変わってカメラモジュールをその次の位置まで前進する前に、その最終値に落ち着くことができる。
各配向−90度、−30度、0度、30度、及び90度に対する測定は、共通の静電容量セットに対応するそれぞれのDAC電圧コードセットを生成する。5つの配向の全てにわたるDAC電圧コード対静電容量の関係の一例を図5に示す。
図5では、簡略化のために、アクチュエータ変位範囲は、焦点POIに関連するいくつかの等しい変位に分割されている。この例では、無限遠位置とマクロ位置との間に10個の追加のPOIを想定しているため、総数12個のPOIとなる。したがって、アクチュエータ変位範囲(ADR)は11個の等しいステップに分割される。
かかる表は、特定のカメラに、自動焦点アルゴリズムを実装するのに必要となるDACコード較正情報の全てを提供することになるが、上記の記述から、全てのカメラモジュールに対してこの情報を生成するのに必要な較正ステップは経済的ではないことが理解されるであろう。
統計的バッチ特徴付け
説明したように、理想的には、各モジュールを個別に特徴付けることが所望されるが、大規模生産環境では、これはまったく実用的ではない。しかしながら、あるバッチからの限定されたランダムサンプルの装置に対して完全な特徴付けを実施し、統計的バッチデータを決定すること、すなわち、装置のサンプルセットから抽出されたデータから平均化された図5に示すような表形式データを提供することは可能である。次にこれを用いて、単一の測定セットから残りのモジュールを特徴付けることができる。
説明したように、理想的には、各モジュールを個別に特徴付けることが所望されるが、大規模生産環境では、これはまったく実用的ではない。しかしながら、あるバッチからの限定されたランダムサンプルの装置に対して完全な特徴付けを実施し、統計的バッチデータを決定すること、すなわち、装置のサンプルセットから抽出されたデータから平均化された図5に示すような表形式データを提供することは可能である。次にこれを用いて、単一の測定セットから残りのモジュールを特徴付けることができる。
一つのインプリメンテーションでは、このバッチ特徴付けは、各生産バッチにおいて実施され、入力部品及び材料、操作手順、機械設定、並びに個別生産ライン間の差異を含む生産環境に関して起こり得る多くのばらつきを考慮する。
装置のランダムサンプルは、ある生産バッチから選択される。典型的なサンプリング率は、初期テストについては1000個の装置から1個である。したがって、50,000個のバッチから50個の装置のサンプルが選択される。個別のモジュールは、上記に概説したように、モジュールを異なる配向に移動させることができるロボットアームに搭載されたテストリグに電気的に接続されている。各装置を、その後、無限遠位置からマクロまで走らせ、典型的には、32個(8個に1つ)、又は64個(4個に1つ)のDACコードを使用しながら焦点の全範囲のスイープのシーケンスに通す。装置の静電容量は、各焦点設定で測定される。
モジュールの性質及び特徴付けによっては、より粒度の細かいDACコードが特定の領域に使用される場合がある。この例示のMEMSモジュールの場合には、マクロPOIに向かって追加の解像度を有することが所望されるので、特性のこの部分に対しては、そのレベルの解像度の個別DACコードが使用され得る。
無限遠からマクロ、更に無限遠に戻る焦点範囲の複数のスイープ、典型的には3回のスイープが実施され、装置ヒステリシス及び反復性を決定する。このプロセスは主要な配向のそれぞれにおいて繰り返される(本明細書の例示の実施形態では、+90度、+30度、0度、−30度、及び−90度)。結果として得られたデータセットが主な配向のいずれかについて通常の許容範囲を越えている場合、あるいはヒステリシス又は反復性が所定のばらつきを越えている場合には、その後、このバッチからのサンプリングのレベルをより高くすることが指示される場合がある。しかしながら、理想的には、データ、並びに個別モジュール及び全体バッチサンプルについての反復性及びヒステリシスは、所定の許容範囲内にあるであろう。
追加のバッチ特徴付けは、予想動作温度、湿度条件、微粒子濃度、及び他の環境要因の1セットにわたってこれらの測定を繰り返すことを含んでもよい。なお、これらのモジュールが密封されているときは、温度だけが通常考慮されるが、特定の実施形態では、追加の環境要因が重要になる場合がある。
バッチが主なテストに合格した後、大量のバッチ特徴付けデータが利用可能になり、統計的に処理される。これがバッチ固有特性セットを提供する。各バッチデータは、基準データセットから、平均において、また分散においても変動するであろう。目的は、(i)これらのばらつきが許容閾値を越えていないことを保証することと、(ii)上述したように詳細な特徴付けの全セットを繰り返す必要なく、あるバッチ内の残りのモジュールを特徴付ける手段を提供することである。
この時点で、包括的な装置特徴付けが提示されており、及びランダムバッチサンプルの等価特性を決定する手段。したがって、図5に示すような平均バッチ特性セットが、例えば、50,000個のバッチから50個単位のサンプルに基づいて利用可能となる。(なお、図5は、説明の目的のためだけにPOI間隔に分割されている。サンプル装置が完全に較正されている際、バッチ特徴付けの間、最終的に装置AFアルゴリズムによって必要とされることになる同じPOIでの較正点を選択する必要はない。むしろ、多くの配向にわたる所与の焦点距離での(MEMS装置静電容量のための)装置のアクチュエータ設定を関係付けることができることが重要である)。平均化された特性に加えて、データはまた、各角度配向についての特性の分散に関しても利用可能である。異常な結果が生じなかったと想定すると、平均化された特性及び関連する分散の両方は、特定の所定限界内にあるはずであり、次に、このバッチ特性を、生産バッチ内の残りのモジュールに適用する必要がある。
図5のデータを、図6に示すように、グラフで表現することができる。MEMSの場合静電容量と同義である、任意の焦点距離で、各配向+90度、+30度、−30度、及び−90度でのDACコードは、共通の配向(この場合は、0度(水平))でのDACコードに関連付けることができることが看取され得る。
図7は、図6からのデータを示し、+90、+30、−30、及び−90配向についてのデータが水平配向と比較して正規化されている。この正規化データは、変換マトリクスと呼ばれ、それは、任意の所与のバッチを特徴付けるデータである。
個別装置の特徴付け
個別のカメラモジュールを特徴付けるために、カメラは、装置を異なる配向を通して移動させるのに必要なロボットアームが必要とされないこと以外は、完全装置較正に使用されるものと類似のリグに取り付けられたコントローラと接続することができる。
個別のカメラモジュールを特徴付けるために、カメラは、装置を異なる配向を通して移動させるのに必要なロボットアームが必要とされないこと以外は、完全装置較正に使用されるものと類似のリグに取り付けられたコントローラと接続することができる。
その代わりに、テストパターンを無限遠位置に移動し、その位置における装置静電容量を決定する。図8に示す表では、静電容量を174と測定する。この位置でのDACコードも記録し、この場合には、DACコードは146である。これらの図面における図5のバッチ平均との差異に注意されたい。
その後、テストパターンをマクロ位置に移動し、再びこの位置での静電容量(233)及びDACコード(215)を記録する。
以下の説明では簡略化のため、無限遠位置とマクロ位置との間の静電容量の範囲は、線形POI間隔に分割される。しかし、理解されるように、この分割は、非線形とすることができる。必要な変位は、レンズ素子の光学設計、及びカメラ装置に使用される自動焦点アルゴリズムの要件に依存する。一実施形態では、ここでカメラは各POIまで進められ、必要な静電容量で落ち着くことができ、その静電容量での測定されたDACコードが記録される。これは、値146と値215との間にある列V[0]内の図8のDACコードを提供する。
別の実施形態では、DACコードと静電容量との間の関係は、図4に示すように、関係式:静電容量=A*exp(B*DAC+C)に従ってモデル化される。指数Bは、図5に示すようなフルセットのデータを用いてバッチ較正時間において決定され得る。A値及びC値は、その後、特定の装置について得られた、無限遠設定及びマクロ設定についての電圧、静電容量の対に合わせて調整され、それによって水平におけるマクロ及び無限遠中間DACコードを、無限遠及びマクロ中間静電容量値に従って内挿することができる。
ここで、無限遠設定とマクロ設定との間の各POIについての水平におけるDACコード及びバッチ用の図7の変換マトリクスを用いると、図8に示す表の残り、すなわち、列V[−90],V[−30],V[30]及びV[90]を決定することができる。変換マトリクスが、較正されている装置についてのPOI間隔の静電容量と一致しないデータ点を含む場合には、何らかの内挿が必要となることが理解されるべきである。
上記の実施形態では、DACコード(ECS電圧)と変位との間の関係が非線形であるMEMsアクチュエータについて説明してきた。
しかし、VCMカメラモジュールの場合には、DACコード(ECS電流)と変位との間の関係は線形であり、その実施形態の場合、特徴付けは、各POIについてDACコードのみを用いて、図7に示すような変換マトリクスを構築し、その後、各カメラモジュールについては、無限遠とマクロの両方において水平配向についてのDACコードを取得し、それらの間は内挿することに基づきことができる。あるいは、マクロと無限遠との間の各POIについては、MEMSアクチュエータについて上述したアプローチと類似する。
いずれの場合にも、上記の実施形態により装置固有の較正が1つの配向において1回、及びその配向においてわずか2回の測定で実施できるので、非常に合理的に完全較正の利益を提供することができることが看取されるであろう。
代替的な実施形態
主な実施形態は上述され、それは、個別の装置が、生産時に、詳細なLUTセットを装置のワンタイムプログラマブル(OTP)メモリに埋め込むことによって複数の配向について較正されることを含む。しかし、複数の環境要因及び複数の角度配向が提供され、焦点POIの数が増加する場合には、OTPメモリに対する要求により、より限定された較正がアクチュエータに対して提供されることが必要となる。
主な実施形態は上述され、それは、個別の装置が、生産時に、詳細なLUTセットを装置のワンタイムプログラマブル(OTP)メモリに埋め込むことによって複数の配向について較正されることを含む。しかし、複数の環境要因及び複数の角度配向が提供され、焦点POIの数が増加する場合には、OTPメモリに対する要求により、より限定された較正がアクチュエータに対して提供されることが必要となる。
なお、特定の装置では、特にMEMSベースの焦点アクチュエータでは、アクチュエータ自体から配向を決定することができる。これは、米国特許出願公開第2014/0028887号に記載され、参照により本明細書に組み込まれる。かかる実施形態では、主装置のAFアルゴリズムは、配向情報がアクチュエータ特性自体から決定され得るので、主装置から配向情報を取得する必要はない。
代替的な一実施形態では、アクチュエータは、変換マトリクスを水平配向DACコードに適用することによって、POI設定に対して、全ての配向についてはプログラムされていない。その代わりに、装置は、水平配向DACコードに対してだけプログラムされており、変換マトリクスが、代わりに、モジュールが埋め込まれた手持ち式の画像化装置用のドライバとして提供される。この実施形態では、カメラモジュールドライバソフトウェアが、装置動作中、アクチュエータの水平配向DACコードを決定することになり、それは、装置の配向及びドライバ内に提供される変換マトリクスに基づいてPOIデータを動的に生成することになる。このアプローチは、モジュールが、生産バッチからの変換マトリクスを組み込んだドライバコードに縛られている点で欠点を有するが、ソフトウェアの柔軟性が高いという利点を提供し、生産バッチ間の安定性が比較的均一であると判断される場合に有利となり得る。
別の実施形態では、マクロ位置及び/又は無限遠位置をいくつかのDACコードの分だけ上/下に調節するオプションが提供され得る。ユーザは、マクロ/無限遠位置に位置付けられている光学較正チャートを使用することができる。かかる実施形態によれば、OTP内の予め設定されたPOI値は、同様に、新しいマクロ/無限遠設定(複数可)に基づいてPOIの相対位置を維持するように調整され得る。これにより、調節された水平配向DACコードセットが生成され、これは、次いで他の配向についてDACコードに対する調節が必要となるであろう。こうしたユーザ調節は、格納されたOTPプロファイルを分析でき、格納されたプロファイルに基づいて新しい複数配向のDACコードを生成でき、更にOTPメモリを再プログラムできるソフトウェアアプリケーションを必要とする場合がある。
上記で指摘したように、カメラモジュール性能は、例えば、動作温度の変動、装置の経年変化により、又は装置のオン時間によって、時間の経過とともに変動する場合がある。
ここで、図9を参照すると、VCMカメラモジュールは、+30℃の室温で計算され、OTPメモリに格納された、DAC_Start_OTP及びDAC_Stop_OTPを有する。これらの値から開始して、カメラモジュールは、上述したように全ての中間位置及び配向について較正され得る。しかし、動作温度が、例えば−15℃に変化する場合には、レンズ変位をDACコードに関係付ける変位曲線は、左にシフトするであろう。この場合には、DAC_Start_OTPは、30℃の周囲温度に対しては50umレンズ変位に対応し、−15℃では85umに対応する。これは、較正されたDAC_Start_OTPを用いると、カメラモジュールは無限遠位置に到達できないことを意味している。
上記に指摘したように、バッチ特徴付けは、動作温度の範囲にわたって各動作温度に対する個別の較正データのセットを提供すること、カメラモジュールによって、測定された(レンズ)動作温度に最も近い較正温度(複数可)に対して較正された格納されたDACコードを使用すること、を含むことができる。(モジュールは、最も近いセットを選ぶか、又は隣接するセットのデータの間で内挿するかのいずれかをすることができる。)
更なる代替案として、各動作温度についての較正データの個別のセットの間の変動がモデル化され得、ただ1つの(又は少なくとも少ない数の)セットの較正データが、そのデータを装置の動作温度にマッピングするモデル化されたパラメータとともに装置内に格納されることになる。
しかし、測定された動作温度による格納されたDACコード間のスワッピング又はその使用は、全ての動作のばらつきを完全には補償できない。(また、レンズ温度の正確な測定を得ることもできない可能性がある。)
カメラモジュールの変動を補償するために光学較正チャートを用いることに対する代替案として、他の既知又は一定基準を用いて、カメラモジュールの動作の変動を補償するために、自動的にDACコードを、オンザフライ(on-the-fly)でも調節することも可能である。かかる一定基準の1つは、典型的な大人の人間の顔であり、特に、両目の間の距離が6.5〜7cmであると知られている。かかる一定基準を用いて、DAC_Start及びDAC_Stopを再較正し、下記に記載する様々な動作条件を補償することができる。
通常の顔、すなわち、印刷された顔、又は赤ちゃんの顔、又は横向きの顔ではなく、両目の間の距離が実際に6.5〜7cmである顔が検出されたとき、こうした補償を随時実施することができる。顔はまた、カメラ光学部品により顔が焦点内にくることができる距離にある必要もある。
補償は、以下のように作動する。
・実際の(前向きの)顔が取得された画像内に検出される(これは、較正補償画像取得前のある期間にわたって検出及び追跡された顔とすることができる);
・両目の間の距離(ed)は6.5〜7cmであると想定される;
・カメラモジュール焦点距離(f)は既知である;
・カメラモジュール画素サイズ(ps)は既知である;
・画素単位での目の距離(edp)が測定される;
・被写体までの距離(ds)は、以下のとおり計算される:
ds=f*(ed/(edp*ps);
・この距離(ds)に対するレンズ変位(ld)を、以下の関係式を用いて計算することができる:
1/(ld+f)=1/f−1/ds;
・このレンズ変位(ld)の対応するDAC_Code_Faceは、図9に示す較正されたデータに基づいて計算することができ、実施例では、150umのレンズ変位は通常、514に近接するDACコードを提供する。しかし、看取できるように、これは温度とともに(左方向へ)変動する。
・カメラモジュールは、その後、レンズ変位の範囲にわたってスイープを実行し、DAC_Code_Sweepを取得する(このレンズ変位は顔領域に最大鮮鋭度をもたらす)。
・DAC_Code_FaceとDAC_Code_Sweepとの間の差異が閾値より小さい場合、較正されたOTPデータは依然として有効であるとみなされ、いかなる補償も実施されない。
・2つのDACコードの間の差異が閾値より大きい場合、これは、カメラモジュールにおいて何かが変わったこと(温度シフト、経年変化など)を示し、DAC_Start_OTP及びDAC_Stop_OTPに対して補正が必要となる。
・変位曲線が線形である場合、この補正は以下のとおり実施され得る:
DAC_Start_New=DAC_Start_OTP−(DAC_Code_Face−DAC_Code_Sweep)
DAC_Stop_New=DAC_Stop_OTP−(DAC_Code_Face−DAC_Code_Sweep)
それでもなお、必要な場合、上記式の他の変形を採用できることが理解されるであろう。
・OTPメモリを再プログラムすることができない場合は、これらの新しいDAC値を、装置の永久記憶装置に格納できる。この場合には、カメラモジュールが起動されるたびに、カメラモジュールは、まず、装置の永久記憶装置内のDAC Start/Stopコードをチェックすることができ、DAC Start/Stopコードがない場合には、このモジュールは、次いで、OTPメモリから当初較正されたDACコードを読み出し、必要な、又は可能な場合は、上記のように再補償することができる。
・実際の(前向きの)顔が取得された画像内に検出される(これは、較正補償画像取得前のある期間にわたって検出及び追跡された顔とすることができる);
・両目の間の距離(ed)は6.5〜7cmであると想定される;
・カメラモジュール焦点距離(f)は既知である;
・カメラモジュール画素サイズ(ps)は既知である;
・画素単位での目の距離(edp)が測定される;
・被写体までの距離(ds)は、以下のとおり計算される:
ds=f*(ed/(edp*ps);
・この距離(ds)に対するレンズ変位(ld)を、以下の関係式を用いて計算することができる:
1/(ld+f)=1/f−1/ds;
・このレンズ変位(ld)の対応するDAC_Code_Faceは、図9に示す較正されたデータに基づいて計算することができ、実施例では、150umのレンズ変位は通常、514に近接するDACコードを提供する。しかし、看取できるように、これは温度とともに(左方向へ)変動する。
・カメラモジュールは、その後、レンズ変位の範囲にわたってスイープを実行し、DAC_Code_Sweepを取得する(このレンズ変位は顔領域に最大鮮鋭度をもたらす)。
・DAC_Code_FaceとDAC_Code_Sweepとの間の差異が閾値より小さい場合、較正されたOTPデータは依然として有効であるとみなされ、いかなる補償も実施されない。
・2つのDACコードの間の差異が閾値より大きい場合、これは、カメラモジュールにおいて何かが変わったこと(温度シフト、経年変化など)を示し、DAC_Start_OTP及びDAC_Stop_OTPに対して補正が必要となる。
・変位曲線が線形である場合、この補正は以下のとおり実施され得る:
DAC_Start_New=DAC_Start_OTP−(DAC_Code_Face−DAC_Code_Sweep)
DAC_Stop_New=DAC_Stop_OTP−(DAC_Code_Face−DAC_Code_Sweep)
それでもなお、必要な場合、上記式の他の変形を採用できることが理解されるであろう。
・OTPメモリを再プログラムすることができない場合は、これらの新しいDAC値を、装置の永久記憶装置に格納できる。この場合には、カメラモジュールが起動されるたびに、カメラモジュールは、まず、装置の永久記憶装置内のDAC Start/Stopコードをチェックすることができ、DAC Start/Stopコードがない場合には、このモジュールは、次いで、OTPメモリから当初較正されたDACコードを読み出し、必要な、又は可能な場合は、上記のように再補償することができる。
更なる変形では、上述したような顔検出ベースの自動焦点(FDAF)を使用してカメラからのオブジェクトの距離を決定するのではなく、カメラは、LG G3(登録商標)を含むスマートフォンで採用されるようなレーザー検出自動焦点(LDAF)システムなどの別個の距離測定システムを含むことができる。この場合、レーザー検出モジュールは、シーン内の任意の画像化されたオブジェクトの距離と、オブジェクトに対する検出された距離とを相関させるのに使用され得る。一旦、この距離(ds)が知られると、カメラは、FDAFについての上述のように進めることができる。
上記補償手順の間、装置配向を考慮しなければならないことが理解されるであろう。この手順は、カメラが水平にあるときだけ実行するように限定され得るが、カメラの配向の知識は、他の動作のばらつきによるレンズ変位から、配向によるレンズ変位のばらつきを分離するのに有用である。
上記補償手順は、カメラモジュールが単一の動作温度で較正されただけの場合、動作温度のばらつきを補償するのに使用され得るが、同様に、任意の所与の較正された動作温度で提供されたDACコードを更新するのに補償が実行され得ることが看取されるであろう。
装置の再較正のトリガーには、多くの可能性がある。例えば、アプリケーション又はオペレーティングシステムのメニュー内の再較正アプリケーション又はメニューオプションが利用でき、ユーザが要求時にカメラモジュールを再較正できるようになる。アプリケーションは、「装置から50cm、1m、2mなどの距離で立つ」ようにユーザに指示をすることもでき、その後、それに従って再較正するために、カメラモジュールに制御を戻すことができる。
あるいは、再較正は、(i)特定の期間後自動的に、(ii)経年変動の影響を補償するため、多数の動作サイクルが経過した後、(iii)異常温度が検出/判定されたことに反応して、(これは、温度の直接的な測定によるもの、又は装置がマクロ位置若しくは無限遠位置に到達することができないことによるものがあり得る)、(iv)又はその他の状況でトリガーとされ得る。
特定のインプリメンテーションは、装置のハードウェア及びオペレーティングシステムの能力に依存する場合があり、例えば、一部のインプリメンテーションでは、再較正アプリケーションは、DAC設定を直接再プログラムすることが可能であるが、その他では、アプリケーションは、フラッシュ/EEPROMを内部で再プログラムするためにカメラモジュールを介してインターフェースする必要がある場合がある。更なる実施形態では、アクチュエータは、様々なLUT角度に対してDACコードの間で内挿し、閉じたDAC設定を決定して、要求されたAFステップを、−90度、−30度、0度、30度、及び90度の間の特定のカメラ配向に対して整合させるように構成されている。内挿法は、簡単な線形なものであってもよく、あるいは、特定の実施形態では、専用マイクロコントローラ又はゲートアレイを組み込んでもよい精巧な電子アクチュエータに依存したより高度な技法を用いてもよい。かかる実施形態では、装置のAFアルゴリズムは、装置配向を、装置の運動分析サブシステムから入手可能な精度レベルまでより精密に特定することができる。
あるいは、より粒度の細かいAFステップセット(Pol)が当初の較正に設けられてもよく(例えば、11個ではなく、50個)、調節は、装置ユーザインターフェースから手動でマクロ/無限遠点を調節し、残りのAFステップを等距離で、又は所定のスケールに従って離間することによって行われてもよい。
再び、例証された実施例では、焦点POIに関連した変位は、等しく均一であるが、システムのこの態様は、光学設計に依存し、しばしばPOIは、スケールのマクロ端又は無限遠端に向かってより幅広く離間されることになる。
本発明は、容易に、IR画像化アプリケーションに使用されるような切替可能な可視光フィルタ(VLF)を有するカメラを含む交換可能な又は切替可能なレンズモジュールを有するカメラに適合できることが理解されるであろう。こうして、異なる較正データを格納でき、その後、カメラによって使用される異なるレンズモジュール用に、又は任意のフィルタ用に選択できる。
本発明者らは、レンズモジュールのねじについては、レンズ鏡筒が、較正時に前面を上向きにしてカメラモジュールにねじ留めされる場合には、問題が起きることがあることも指摘しておく。典型的には、較正されているときには、レンズは、テスト画像の鮮鋭度がある閾値を超えるまでねじ留めされている。これは、カメラモジュールは、最も好適な場合(上向き)に無限遠位置に到達することを意味するが、それほど好適ではない一部の他の場合(下向き、又は周囲温度が低い)には、(レンズ鏡筒内の)焦点面は、重力のため、画像センサに対してシフトするか、あるいは、実際に、焦点距離が変化する場合があり、それによってカメラが無限遠位置に到達するのが不可能になる場合がある。これが発生するのを回避するため、鮮鋭度が閾値に到達した後、テスト画像の鮮鋭度が再び閾値未満に減少するまでレンズ鏡筒を引き続きねじ込むことが有用な場合がある。このレンズ鏡筒の過度ねじ留めは、レンズを無限遠位置に配置するのにDACコードが常に利用できることを確実にすることができる。
レンズ鏡筒のねじ込みは、人の操作者によって実施され得るか、又は好適な工具を用いて生産ラインで自動的に行われるかのいずれかであり得る。後者の場合には、ねじ留め工具は、レンズ鏡筒が過度ねじ留めされなければならない程度を判定するための角度値を必要とする。このねじ留め角度は、以下のように決定することができる。
・特別なカメラモジュール又はモジュールのバッチについては、全ての配向及び全周囲温度範囲[例えば、−15〜+45℃]に対するレンズ変位シフトが、上述したように測定される。
・(例えば、上向きで)生産ラインで所定位置にねじ込まれているときのレンズ鏡筒の配向を知ることにより、上記の全ての場合(異なる配向及び熱によるレンズ鏡筒/焦点距離シフト)について適応させるのに必要なレンズの過度ねじ留め変位を計算することができる。これは、レンズ鏡筒を過度ねじ留めするマイクロメートル単位で測定された値(例えば、12um)を提供する。
・レンズ鏡筒のねじ勾配を知ることにより、自動レンズ鏡筒ねじ留め機械が過度ねじ留め動作を実施できるように回転角度で測定された過度ねじ留め値を計算することができる。例えば、ねじ勾配が250um/360度である場合、12umの変位が17.28度(12um*360度/250um)の過度ねじ留め角度と等価である。
・特別なカメラモジュール又はモジュールのバッチについては、全ての配向及び全周囲温度範囲[例えば、−15〜+45℃]に対するレンズ変位シフトが、上述したように測定される。
・(例えば、上向きで)生産ラインで所定位置にねじ込まれているときのレンズ鏡筒の配向を知ることにより、上記の全ての場合(異なる配向及び熱によるレンズ鏡筒/焦点距離シフト)について適応させるのに必要なレンズの過度ねじ留め変位を計算することができる。これは、レンズ鏡筒を過度ねじ留めするマイクロメートル単位で測定された値(例えば、12um)を提供する。
・レンズ鏡筒のねじ勾配を知ることにより、自動レンズ鏡筒ねじ留め機械が過度ねじ留め動作を実施できるように回転角度で測定された過度ねじ留め値を計算することができる。例えば、ねじ勾配が250um/360度である場合、12umの変位が17.28度(12um*360度/250um)の過度ねじ留め角度と等価である。
いずれの場合にも、本発明は、複数の配向において複数のカメラモジュールから取得されたバッチ特徴付けデータと、単一配向における所与の装置との組み合わせに基づいた高速で、費用対効果のよい装置固有な較正の供給を提供するものである。
較正データは、自動焦点ドライバ又はモジュール内に使用でき、それによって、カメラの自動焦点アルゴリズムは、簡単に必要なPOI、本実施例では、1〜12個、を特定でき、カメラが実際に必要な焦点距離に焦点を合わせることを確信することができる。
Claims (28)
- 画像キャプチャ装置を較正する方法であって、
a)水平面に対する複数の配向を通して動かすために、バッチから少なくとも1つのサンプル装置を搭載することと、
b)所与の配向について、前記サンプル装置を一連の位置において焦点を合わせることであって、各位置が前記装置からそれぞれの焦点距離にある、ことと、
c)各位置における前記サンプル装置についてのレンズアクチュエータ設定を記録することと、
d)前記サンプル装置の複数の異なる配向においてステップb)及びステップc)を繰り返すことと、
e)前記複数の異なる配向から異なる配向について任意の所与の位置におけるレンズアクチュエータ設定と、前記複数の異なる配向のうち選択された配向におけるアクチュエータ設定との間のそれぞれの関係を決定することと、
f)それぞれ前記画像キャプチャ装置が前記選択された配向で位置付けられている状態での前記装置から指定の焦点距離である、少なくとも2つの関心点(POI)において較正される前記画像キャプチャ装置についてのレンズアクチュエータ設定を記録することと、
g)前記決定された関係及び前記記録されたレンズアクチュエータ設定に基づいて前記複数の異なる配向について前記画像キャプチャ装置を較正することと、を含む、方法。 - バッチからのいくつかのサンプル装置についてステップa)〜ステップd)を繰り返すことをさらに含み、ステップe)は、前記サンプル装置について前記記録されたレンズアクチュエータ設定を統計的に分析し、前記関係を決定することを含む、請求項1に記載の方法。
- テストパターンを前記装置から各指定の焦点距離に位置付けて、前記装置が前記指定の焦点距離に焦点を合わせることを可能にすることを含む、請求項1に記載の方法。
- ステップf)は、カメラのマクロ設定及び無限遠設定のそれぞれにおいて前記レンズアクチュエータ設定を記録することと、レンズアクチュエータ設定と焦点距離との間のモデル化された関係に従って、前記選択された配向における前記マクロ設定と無限遠設定との間の各POIについてのレンズアクチュエータ設定を内挿することと、を含む、請求項1に記載の方法。
- 前記画像キャプチャ装置は、MEMS作動レンズを含むカメラモジュールを含み、前記モデル化された関係は、静電容量=A*exp(B*レンズアクチュエータ設定+C)、の形式であり、式中、A、B、及びCはスカラー値である、請求項4に記載の方法。
- 前記画像キャプチャ装置は、VCM作動レンズを含むカメラモジュールを含み、前記モデル化された関係は線形である、請求項4に記載の方法。
- ステップf)は、前記選択された配向における前記装置のマクロ設定と無限遠設定との間の各POIでの前記レンズアクチュエータ設定を記録することを含む、請求項1に記載の方法。
- 前記選択された配向は水平であり、前記複数の異なる配向は、水平に対して−90度、−30度、30度、90度を含む、請求項1に記載の方法。
- 前記レンズアクチュエータ設定は、前記レンズを各POIに位置付けるためのDACコードを含む、請求項1に記載の方法。
- 前記画像キャプチャ装置は、MEMS作動レンズを含むカメラモジュールを含む、請求項9に記載の方法。
- ステップc)は、
反復してサンプル装置に対してDACコードを通してスイープすることと、
各DACコードについてレンズアクチュエータの静電容量を記録することと、を含む、請求項10に記載の方法。 - ステップf)は、
マクロ設定及び無限遠設定におけるレンズアクチュエータの静電容量を記録することと、
前記少なくとも2個のPOIにおけるDACコードを記録することと、を含む、請求項10に記載の方法。 - 前記画像キャプチャ装置は、VCM作動レンズを含むカメラモジュールを含む、請求項1に記載の方法。
- 前記ステップg)は、前記決定された関係及び前記記録されたレンズアクチュエータ設定を装置メモリに記録することを含む、請求項1に記載の方法。
- 前記ステップg)は、前記記録されたレンズアクチュエータ設定を前記決定された関係と組み合わせて、各配向及び各POIについてのレンズアクチュエータ設定を含む表を提供することと、前記表を装置メモリに記録することと、を含む、請求項1に記載の方法。
- いくつかの動作温度のそれぞれについて、ステップf)及びg)を繰り返すことを含む、請求項1に記載の方法。
- 前記動作温度は、カメラレンズ又は前記画像キャプチャ装置の1つに対する温度センサ読み取りに対応する、請求項16に記載の方法。
- 前記画像キャプチャ装置を較正することは、前記画像キャプチャ装置内のワンタイムプログラマブルメモリ(OTP)に装置固有の較正情報を格納することを含む、請求項1に記載の方法。
- 請求項1に記載の較正方法を実施するように構成された較正システム。
- 請求項1に記載の方法に従って較正された装置。
- 既知の寸法をもつ特徴を有するオブジェクトを含むシーンの画像を取得することと、
前記特徴の前記画像サイズに基づいて前記オブジェクトとの距離を決定することと、
前記距離に対する第1のレンズ変位を決定することと、
前記第1のレンズ変位に対する第1の較正されたレンズアクチュエータ設定を決定することと、
前記シーン内で前記特徴に対して最大鮮鋭度をもたらす第2のレンズ変位を得ることと、
前記第2のレンズ変位に対する第2のレンズアクチュエータ設定を決定することと、
前記第1の較正されたレンズアクチュエータ設定と前記第2のレンズアクチュエータ設定との間の任意の差異に従って、前記較正されたレンズアクチュエータ設定を調節することと、によって、装置の動作のばらつきを補償するように構成されている、請求項20に記載の装置。 - 前記オブジェクトが人の顔であり、前記特徴が両目であり、前記寸法が前記両目の間の距離である、請求項21に記載の装置。
- シーン内のオブジェクトとの距離を決定することと、
前記距離に対する第1のレンズ変位を決定することと、
前記第1のレンズ変位に対する第1の較正されたレンズアクチュエータ設定を決定することと、
前記シーン内で前記特徴に対して最大鮮鋭度をもたらす第2のレンズ変位を得ることと、
前記第2のレンズ変位に対する第2のレンズアクチュエータ設定を決定することと、
前記第1の較正されたレンズアクチュエータ設定と前記第2のレンズアクチュエータ設定との間の任意の差異に従って、前記較正されたレンズアクチュエータ設定を調節することと、によって、装置の動作のばらつきを補償するように構成されている、請求項20に記載の装置。 - 前記装置は、レーザーベースの距離測定システムを含み、前記距離は、シーン内に画像化されたオブジェクトの距離を、前記距離測定システムによって測定された前記オブジェクトとの距離と相関させることによって決定される、請求項23に記載の装置。
- 前記装置は、測定された動作のばらつきに応じて前記補償を実施するか、定期的に前記補償を実施するか、又は、ユーザの要求に応じて前記補償を実施するように構成されている、請求項21に記載の装置。
- a)シーン内のオブジェクトとの距離を決定することと、
b)前記距離に対する第1のレンズ変位を決定することと、
c)前記第1のレンズ変位に対する第1の較正されたレンズアクチュエータ設定を決定することと、
d)前記シーン内で前記特徴に対して最大鮮鋭度をもたらす第2のレンズ変位を得ることと、
e)前記第2のレンズ変位に対する第2のレンズアクチュエータ設定を決定することと、
f)前記第1の較正されたレンズアクチュエータ設定と前記第2のレンズアクチュエータ設定との間の任意の差異に従って、前記較正されたレンズアクチュエータ設定を調節することと、によって、装置の動作のばらつきを補償するように構成されている、画像取得装置。 - 前記装置は、既知の寸法をもつ特徴を有するオブジェクトを含むシーンの画像を取得し、前記特徴の前記画像サイズに基づいて前記オブジェクトとの前記距離を決定するように構成されている、請求項26に記載の装置。
- 前記装置にステップa)〜ステップf)を実施させるようインスタンス化可能なユーザアプリケーションを含む、請求項26に記載の装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462019704P | 2014-07-01 | 2014-07-01 | |
US62/019,704 | 2014-07-01 | ||
US201462089381P | 2014-12-09 | 2014-12-09 | |
US62/089,381 | 2014-12-09 | ||
PCT/EP2015/061919 WO2016000874A1 (en) | 2014-07-01 | 2015-05-28 | A method for calibrating an image capture device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017521710A true JP2017521710A (ja) | 2017-08-03 |
Family
ID=55018480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017500074A Pending JP2017521710A (ja) | 2014-07-01 | 2015-05-28 | 画像キャプチャ装置を較正する方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10123003B2 (ja) |
EP (2) | EP3151048A1 (ja) |
JP (1) | JP2017521710A (ja) |
KR (1) | KR101975433B1 (ja) |
CN (1) | CN106664365B (ja) |
WO (1) | WO2016000874A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104796616A (zh) * | 2015-04-27 | 2015-07-22 | 惠州Tcl移动通信有限公司 | 一种基于移动终端距离传感器的对焦方法及对焦系统 |
WO2017032468A1 (en) | 2015-08-26 | 2017-03-02 | Fotonation Limited | Image processing apparatus |
WO2017140438A1 (en) | 2016-02-19 | 2017-08-24 | Fotonation Limited | A method of stabilizing a sequence of images |
US11477382B2 (en) | 2016-02-19 | 2022-10-18 | Fotonation Limited | Method of stabilizing a sequence of images |
US10148943B2 (en) | 2016-08-08 | 2018-12-04 | Fotonation Limited | Image acquisition device and method based on a sharpness measure and an image acquistion parameter |
US10334152B2 (en) | 2016-08-08 | 2019-06-25 | Fotonation Limited | Image acquisition device and method for determining a focus position based on sharpness |
CN107865473B (zh) * | 2016-09-26 | 2019-10-25 | 华硕电脑股份有限公司 | 人体特征测距装置及其测距方法 |
WO2018119554A1 (zh) * | 2016-12-26 | 2018-07-05 | 上海传英信息技术有限公司 | 一种智能终端相机控制方法 |
WO2018156321A1 (en) * | 2017-02-27 | 2018-08-30 | Thomson Licensing | Method, system and apparatus for visual effects |
US10311554B2 (en) | 2017-03-01 | 2019-06-04 | Fotonation Limited | Method of providing a sharpness measure for an image |
US10148945B1 (en) | 2017-05-25 | 2018-12-04 | Fotonation Limited | Method for dynamically calibrating an image capture device |
US11218626B2 (en) * | 2017-07-28 | 2022-01-04 | Black Sesame International Holding Limited | Fast focus using dual cameras |
DE102017214474A1 (de) | 2017-08-18 | 2019-02-21 | Dialog Semiconductor (Uk) Limited | Aktuator mit inhärentem Positionssensor |
CN107948536B (zh) * | 2018-01-03 | 2020-04-24 | 上海传英信息技术有限公司 | 一种动态校准手动对焦方法 |
WO2020024576A1 (zh) * | 2018-08-01 | 2020-02-06 | Oppo广东移动通信有限公司 | 摄像头校准方法和装置、电子设备、计算机可读存储介质 |
US11393125B1 (en) * | 2019-12-09 | 2022-07-19 | Gopro, Inc. | Systems and methods for dynamic optical medium calibration |
CN111158107B (zh) * | 2020-01-03 | 2021-07-06 | 支付宝(杭州)信息技术有限公司 | 一种镜头模组的对焦方法、装置及设备 |
CN113496522A (zh) * | 2020-04-01 | 2021-10-12 | 支付宝(杭州)信息技术有限公司 | 一种对包含音圈电机的镜头模组进行标定的方法及装置 |
CN114114589B (zh) * | 2020-08-28 | 2022-11-22 | 宁波舜宇光电信息有限公司 | 具有对焦、防抖及矫正光轴功能的摄像模组 |
US11988894B2 (en) | 2021-02-26 | 2024-05-21 | Stmicroelectronics (Research & Development) Limited | Lens displacement detection circuit for an optical device |
CN113870285B (zh) * | 2021-09-29 | 2022-05-20 | 深圳大学 | 一种集成北斗和视觉的基础设施结构形变测量方法及系统 |
EP4362319A1 (en) * | 2022-10-28 | 2024-05-01 | Goodix Technology (Belgium) B.V. | Motion control module to adjust lens position in a camera system |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0760209B2 (ja) * | 1987-10-15 | 1995-06-28 | キヤノン株式会社 | オートフオーカス装置 |
JP2008009341A (ja) * | 2006-06-30 | 2008-01-17 | Sony Corp | オートフォーカス装置、撮像装置及びオートフォーカス方法 |
US7609958B2 (en) * | 2006-08-01 | 2009-10-27 | Eastman Kodak Company | Automatic focus system calibration for image capture systems |
US8577216B2 (en) | 2008-02-13 | 2013-11-05 | Qualcomm Incorporated | Auto-focus calibration for image capture device |
EP2510679B1 (en) * | 2009-12-07 | 2016-08-03 | Nokia Technologies Oy | An apparatus, a method, and a computer program product for automatic focusing |
US8581986B2 (en) * | 2010-08-30 | 2013-11-12 | Datacolor Holding Ag | Method and apparatus for measuring the focus performance of a camera and lens combination |
US8941192B2 (en) | 2010-11-15 | 2015-01-27 | DigitalOptics Corporation MEMS | MEMS actuator device deployment |
TWI417640B (zh) * | 2010-12-31 | 2013-12-01 | Altek Corp | 鏡頭校準系統 |
US9313390B2 (en) * | 2011-04-08 | 2016-04-12 | Qualcomm Incorporated | Systems and methods to calibrate a multi camera device |
US8908083B2 (en) | 2011-09-28 | 2014-12-09 | Apple Inc. | Dynamic autofocus operations |
US8619182B2 (en) * | 2012-03-06 | 2013-12-31 | Csr Technology Inc. | Fast auto focus techniques for digital cameras |
US20140028897A1 (en) | 2012-07-25 | 2014-01-30 | Digitaloptics Corporation | Camera Orientation Sensing Using Camera Module Processor |
KR102052553B1 (ko) * | 2013-05-14 | 2019-12-05 | 삼성전자주식회사 | 이미징 시스템 및 그것의 자동초점 방법 |
-
2015
- 2015-05-28 EP EP16198363.0A patent/EP3151048A1/en not_active Withdrawn
- 2015-05-28 CN CN201580036204.3A patent/CN106664365B/zh active Active
- 2015-05-28 KR KR1020177002750A patent/KR101975433B1/ko active IP Right Grant
- 2015-05-28 WO PCT/EP2015/061919 patent/WO2016000874A1/en active Application Filing
- 2015-05-28 US US15/323,411 patent/US10123003B2/en active Active
- 2015-05-28 JP JP2017500074A patent/JP2017521710A/ja active Pending
- 2015-05-28 EP EP15726124.9A patent/EP3004957B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10123003B2 (en) | 2018-11-06 |
KR101975433B1 (ko) | 2019-05-07 |
EP3151048A1 (en) | 2017-04-05 |
US20170155896A1 (en) | 2017-06-01 |
KR20170024085A (ko) | 2017-03-06 |
WO2016000874A1 (en) | 2016-01-07 |
CN106664365B (zh) | 2020-02-14 |
CN106664365A (zh) | 2017-05-10 |
EP3004957B1 (en) | 2016-11-23 |
EP3004957A1 (en) | 2016-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017521710A (ja) | 画像キャプチャ装置を較正する方法 | |
US10101636B2 (en) | Auto-focus camera module with MEMS capacitance estimator | |
JP6266714B2 (ja) | マルチカメラデバイスを較正するためのシステムおよび方法 | |
TWI619963B (zh) | 具有微機電系統閉迴路補償器的自動聚焦照相機模組 | |
US9156168B2 (en) | Active alignment using continuous motion sweeps and temporal interpolation | |
US9167143B2 (en) | Apparatus, a method, and a computer program for automatic focusing | |
US11022858B2 (en) | Multiple camera apparatus and method for synchronized autofocus | |
WO2018237079A1 (en) | DESIGN, TESTING AND OPERATION OF A SMALL THERMAL IMAGING CORE | |
KR101824081B1 (ko) | 액추에이터의 선형 구동이 가능한 자동초점 조절 카메라 모듈 및 자동초점 조절 카메라 모듈의 액추에이터 선형 구동방법 | |
CN112651382A (zh) | 对焦数据标定系统和虹膜图像采集系统 | |
JP2006227274A (ja) | 撮像装置 | |
KR102327732B1 (ko) | 액추에이터 구동 장치 및 이를 포함하는 카메라 모듈 | |
KR101558981B1 (ko) | 카메라의 자동 초점 조절 장치 | |
TW201643537A (zh) | 影像擷取裝置及對焦方法 | |
TW201442512A (zh) | 自動對焦設計系統、電子裝置及自動對焦設計方法 | |
CN113940051B (zh) | 相机模块及相机模块控制方法 | |
KR101558982B1 (ko) | 카메라의 자동 초점 조절 방법 | |
KR20140074746A (ko) | 카메라 모듈 및 그 평가 방법 |