JP2013542461A - 顔検知及びトラッキングに基づいた連続的なオートフォーカス - Google Patents

顔検知及びトラッキングに基づいた連続的なオートフォーカス Download PDF

Info

Publication number
JP2013542461A
JP2013542461A JP2013529676A JP2013529676A JP2013542461A JP 2013542461 A JP2013542461 A JP 2013542461A JP 2013529676 A JP2013529676 A JP 2013529676A JP 2013529676 A JP2013529676 A JP 2013529676A JP 2013542461 A JP2013542461 A JP 2013542461A
Authority
JP
Japan
Prior art keywords
faces
face
partial
defocused
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013529676A
Other languages
English (en)
Other versions
JP6027005B2 (ja
Inventor
ナヌー,フローリン
ニコラエ スタン,コスミン
コーコラン,ピーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Ltd
Original Assignee
DigitalOptics Corp Europe Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DigitalOptics Corp Europe Ltd filed Critical DigitalOptics Corp Europe Ltd
Publication of JP2013542461A publication Critical patent/JP2013542461A/ja
Application granted granted Critical
Publication of JP6027005B2 publication Critical patent/JP6027005B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

オートフォーカスの方法は、1以上の焦点がずれた顔及び/又は部分的な顔を含むシーンのイメージを得ることを含む。方法は、焦点がずれた顔に向けられた1以上セットの分類器の適用により、デジタル画像内の焦点がずれた顔及び/又は部分的な顔の1以上を検知することを含む。各々1以上の焦点がずれた顔及び/又は部分的な顔の1以上のサイズが、デジタル画像内に決定される。1以上の各々の深度は、デジタル画像内の1以上の顔及び/又は部分的な顔の1以上のサイズに基づいて、1以上の焦点がずれた顔及び/又は部分的な顔に決定される。レンズの1以上の各々の焦点位置は、1以上の決定したそれぞれの深度で、近似的に焦点を合わせるために調節される。
【選択図】図6

Description

今日のディジタル・カメラは多くの場合オートフォーカス機構を含む。2種類の従来のオートフォーカス機構は、コントラスト検知オートフォーカス及び位相検知オートフォーカスである。
(コントラスト検知オートフォーカス)
コントラスト検知オートフォーカスでは、カメラ・レンズは、最も接近している焦点ポイントに最初に位置する。レンズは漸増的に移動し、イメージシャープネスは各ステップで評価される。シャープネス中のピークに到達する場合には、レンズ移動が止められる。コントラスト検知オートフォーカスは、従来のデジタルスチルカメラ又はDSC、カムコーダー・カメラ電話、ウェッブカメラ及び偵察カメラの中で使用される。それらはピクセル・レベル測定及び微細な走査に基づいて、非常に正確である。それらは、フレーム内のいかなる場所にも焦点を合わせることが可能である。しかしながら、それらは、ただ一般的にフレームの中心のまわりで焦点を合わせる。しかしながら、それらが焦点範囲をスキャンすることを含むので、コントラスト検知オートフォーカス機構は遅い。さらに、それらは、獲得した被写体のトラッキングを可能にしない。被写体が前又は後焦点へ移動したかどうか判断するために、さらなる走査が必要とされ、焦点探索(hunting)として知られている。コントラスト検知オートフォーカス機構は一般的に低コストで粗い。
(位相検知オートフォーカス)
位相検知オートフォーカスは、一般に、第2の鏡、セパレーター・レンズ及び焦点センサーを含む特別のオプトエレクトロニクスを含む。セパレーター・レンズは、レンズの反対面から来る光をオートフォーカス・センサーへ導く。2つのイメージ間の位相差が測定される。レンズは、位相差に相当する距離へシフトする。位相検知オートフォーカスは従来の一眼レフカメラ又はSLRで使用される。これらは、位相差を必ずしもあまり正確に見積ることが可能であるとは限らないため、コントラスト検知オートフォーカス機構ほど一般に正確ではない。それらは、フレームの内の固定されたポイントの中の焦点のみを得ることが可能であり、これらは、カメラ・ユーザーによって一般的にマニュアルで示される。単一の測定によって被写体の相対位置を検知することが可能であるので、それらは一般的に速い。それらは、被写体が前又は後焦点に移動したかどうかそれが判断することが可能であるときトラッキングを可能にするが、ある焦点ポイントから他のポイントまで跳ぶことだけである。位相検知オートフォーカス機構は一般的に高価で脆弱である。図1は、位相検知オートフォーカス機構が機能する手法を示し、すなわち、位相差は中央の図形のように0である場合には、その後、被写体は焦点が合っていると理解される。
コントラスト検知及び位相検知オートフォーカス機構のどちらかの著しい欠点がない改善されたオートフォーカス機構を持つことが望まれる。米国特許公開番号2010/0208091は、カメラによって取り込まれたイメージの中の顔を検知し、顔のサイズを計算するカメラについて記述する。それは、多くの予め格納された顔サイズの中から計算された顔サイズに近いものを選択する。それは、選択され予め格納された顔サイズに関連している予め格納されたレンズ焦点位置を検索する。それは、ディジタル・カメラの移動可能なレンズ系に、検索され予め格納されたレンズ焦点位置により与えられた最終の焦点位置へ移動するように信号を送る。米国2010/0208091に記述された技術に関する問題は、それらの不明瞭で焦点がずれた状態により、顔の非検知の著しく高い率を有することである。もし、さらなる向上が提供されなければ、これは不満足に遅いイメージ取得プロセスにつながるだろう。
オートフォーカスの方法は顔検知に基づいたデジタル画像取得装置のために提供される。方法は、レンズ、イメージセンサ及び装置のプロセッサの使用を含む。デジタル画像は、焦点がずれた顔及び/又は部分的な顔を1以上含むシーンに得られる。方法は、焦点がずれた顔に向けられた1以上セットの分類器(classifier)の適用により、デジタル画像内の1以上の焦点がずれた顔及び/又は部分的な顔を検知することを含む。焦点がずれた顔及び/又は部分的な顔よりそれぞれの1つの1以上のサイズが、デジタル画像内で決定される。それぞれの1以上の深さは、デジタル画像内の、より多くの顔及び/又は部分的な顔のうちの1つの1以上のサイズに基づいて、1以上の焦点がずれた顔及び/又は部分的な顔に対して決定される。レンズの1以上のそれぞれの焦点位置が、近似的に1以上の決定されたそれぞれの深さで焦点を合わせるために調節される。1以上のさらなるイメージが、1以上のそれぞれ調整された焦点位置で合焦したレンズでの1以上の顔及び/又は部分的な顔の少なくとも1つを含むシーンに得られる。
1以上のそれぞれの焦点位置の調節に際して、方法は、微細な走査を実行すること、及び、微細な走査に基づいて、1以上のそれぞれの焦点位置を微細に調節することをさらに含んでよい。シーンは、顔分類器の1以上のセットの適用により検知されなかった、少なくとも1つの焦点がずれた顔及び/又は部分的な顔を含んでよく、そして、そこで、方法は、焦点がずれた顔に向けられた1以上のセットの分類器の適用により検知されなかった、少なくとも1つの焦点がずれた顔又は部分的な顔又は両方を得るために、コントラスト検知走査又は位相検知走査又は両方を適用することをさらに含む。
1以上の部分的な顔は目領域を含んでよい。
1以上の顔及び/又は部分的な顔の少なくとも1つが、少なくともしきい値量のサイズを変更する場合には、方法は1以上のそれぞれの焦点位置の少なくとも1つを調節することを含んでよい。
方法はさらに顔及び/又は部分的な顔の少なくとも1つを追跡し、トラッキングに基づいた1以上の顔及び/又は部分的な顔の少なくとも1つのサイズの中の変化の決定を含んでよい。
方法はさらに、デジタル画像取得装置の絞りを絞ることにより、被写界深度を増加させることを含んでよい。
1以上の顔及び/又は部分的な顔は、それらの異なる決定したサイズに基づいて近似的に決定された、複数の異なる深度にそれぞれ位置した、複数の顔及び/又は部分的な顔を含んでよい。
1以上の深度の決定は、1以上の決定したサイズの少なくとも1つに対応する少なくとも1つの平均深度を割り当てることを含んでよい。
1以上の深度の決定は、検知された顔又は部分的な顔又は両方を特定の個人が所有していることと認識すること、特定の顔又は部分的な顔又は両方に対応するメモリから既知の顔又は部分的な顔の空間パラメータを呼び出すこと、及び、決定したサイズ及び既知の顔又は部分的な顔の空間パラメータに対応する深度を決定することを含んでよい。
1以上のそれぞれの焦点位置の調節はMEMS(微小電気機械システム)部材を利用してよい。
ここに記述された方法のうちのいかなるものを実行するために、プロセッサのプログラムのためにそこに収録されたコードを有する、1以上のプロセッサ読取り可能なメディアも提供される。
レンズ、イメージセンサ、プロセッサ及びここに記述された方法のうちのいかなるものも実行するために、プロセッサのプログラムのためにそこにコードを取り込むメモリを含むデジタル画像取得装置も提供される。
図1は、従来の位相検知オートフォーカス機構を示す。 図2Aは、特定の実施形態に従うデジタル画像取得装置のレンズのシャープネス対焦点位置のプロットである。図2Bは、焦点がずれ、そしてまだ、検知された顔領域のまわりの顔検知ボックスを有する顔を含むデジタル画像を図示する。 図3A-3Bは、各々特定の実施形態に従って検知されるシャープな顔及び焦点がずれた顔を含むデジタル画像の第1の例をそれぞれ図示する。 図4A-4Bは、各々特定の実施形態に従って検知されるシャープな顔及び焦点がずれた顔を含むデジタル画像の第2の例をそれぞれ図示する。 図5は、シャープな顔及び焦点がずれた顔を含むデジタル画像を示す。 図6は、特定の実施形態に従う方法を図示するフローチャートである。 図7は、顔サイズに基づいた焦点距離の計算を示す。 図8A-8Dは、相対的にシャープな顔8A及び8C、及び、相対的に焦点がずれた顔8Bと8Dを含むデジタル画像を図示する。 図9は、特定の実施形態に従ってディジタル・カメラ・イメージ・パイプラインを示す。
被写体が焦点をずれて移動する場合には、通常のコントラスト検知オートフォーカスは遅く探索する。コントラスト検知オートフォーカスは、不明瞭な顔が検知されない場合には、米国2010/0208091により提供されたプロセスを、しばしば遅くしすぎることがあった。焦点を合わせるスピードを上げて、かつ、連続的なオートフォーカスにおいて焦点ハンティングを低減するために顔検知を使用する方法が提供される。焦点がずれた顔及び/又は部分的な顔に1以上のセットのトレーニングされた分類器を備えることにより、顔に焦点が合っていない場合さえ、非常に信頼できる顔検知がまず第1に提供される。例えば、3セットの顔分類器が備わってよい。1つ目は、シャープな顔にトレーニングされ(trained)、他のものは多少不明瞭な顔にトレーニングされ、そして、3つ目は、さらに不明瞭であり焦点がずれた顔にトレーニングされる。分類器セットの異なる数がトレーニングされ使用されてよい。この有利な技術は、米国2010/0208091の技術より、はるかに少数の非検知イベントを行ない、より速く、より信頼できるイメージ取込プロセスに結びつく。特に、均一に照らされるかもしれないし、照らされないかもしれないし、前に面し、はっきりと焦点を合わせた顔分類器のトレーニングによる顔検知は、本出願の譲受人により、広く研究されており開発されている。例えば、米国特許番号7,362,368、7,616,233、7,315,630、7,269,292、7,471,846、7,574,016、7,440,593、7,317,815、7,551,755、7,558,408、7,587,068、7,555,148、7,564,994、7,565,030、7,715,597、7,606,417、7,692,696、7,680,342、7,792,335、7,551,754、7,315,631、7,469,071、7,403,643、7,460,695、7,630,527、7,469,055、7,460,694、7,515,740、7,466,866、7,693,311、7,702,136、7,620,218、7,634,109、7,684,630、7,796,822、及び、米国特許公開番号米国2006-0204034、米国2007-0201725、米国2007-0110305、米国2009-0273685、米国2008-0175481、米国2007-0160307、米国2008-0292193、米国2007-0269108、米国2008-0013798、米国2008-0013799、米国2009-0080713、米国2009-0196466、米国2008-0143854、米国2008-0220750、米国2008-0219517、米国2008-0205712、米国2009-0185753、米国2008-0266419、米国2009-0263022、米国2009-0244296、米国2009-0003708、米国2008-0316328、米国2008-0267461、米国2010-0054549、米国2010-0054533、米国2009-0179998、米国2009-0052750、米国2009-0052749、米国2009-0087042、米国2009-0040342、米国2009-0002514、米国2009-0003661、米国2009-0208056、米国2009-0190803、米国2009-0245693、米国2009-0303342、米国2009-0238419、米国2009-0238410、米国2010-0014721、米国2010-0066822、米国2010-0039525、米国2010-0165150、米国2010-0060727、米国2010-0141787、米国2010-0141786、米国2010-0220899、米国2010-0092039、米国2010-0188530、米国2010-0188525、米国2010-0182458、米国2010-0165140、及び、米国2010-0202707に記述される。
焦点がずれた顔及び/又は部分的な顔の検知の後に、技術は、被写体が位置する距離を決定するために、顔サイズに依存することを含んでいる。すなわち、レンズの焦点位置が、図2Aで図示されたシャープネス・ピークの値で最良にシャープなイメージを提供するよう配置されない場合には、その後、図2Bで図示されたように、被写体の顔は焦点がずれるだろう。ここに提供されるような焦点がずれた顔を検知するようにトレーニングされた有利な分類器で、被験者の顔に枠をはめる長方形により図示されたように、図2Bで図示された不明瞭な顔はそれにもかかわらず検知される。顔検知は、顔サイズの変化の分析(より大きい=前に、より小さい=後ろに)により、焦点に向かって、又は、離れて被写体が移動したかどうか識別している。これは、顔検知が、それがカメラから、より近く/より遠く移動させるように顔を追跡することを可能にする。
図3A-3B、各々特定の実施形態に従って検知される、シャープな顔及び焦点がずれた顔を含むデジタル画像の第1の例をそれぞれ図示する。図3Aにおいて、被写体に対する距離は1メートルである。また、焦点面に対する距離は1メートルである。したがって、顔はシャープである。また、焦点を合わせる部材は移動される必要はない。図3Bにおいて、被写体に対する距離は1メートルであり、しかし、焦点面に対する距離は0.2メートルであり、それで、顔は不明瞭であるが、不明瞭な顔(被験者の顔を枠にはめる長方形により示されたように)を検知するようにトレーニングされた分類器の使用により、さらに検知された。焦点を合わせる部材は、図3Bの不明瞭な顔の検知に際して、検知された顔のサイズに基づいて、1メートルであるような顔に対する距離の推定のために、0.2メートルの代わりに1メートルで焦点を合わせるために、これらの実施形態に従って移動される。
図4A-4Bは、各々特定の実施形態に従って検知されるシャープな顔及び焦点がずれた顔を含むデジタル画像の第2の例をそれぞれ図示する。図4Aにおいて、被写体に対する距離は0.5メートルであり、また、焦点面に対する距離は0.5メートルであり、したがって、顔はシャープであり、焦点を合わせる部材は移動される必要はない。図4Bにおいて、被写体に対する距離は0.5メートルであり、しかしながら、焦点面に対する距離は0.25メートルであり、したがって、顔は不明瞭であるが、不明瞭な顔を検知するようにトレーニングされた分類器の使用により、さらに検知された。焦点が図3Bの中でのように、遠くにないことに注意し、したがって、分類器の異なるセットは、図3Bの顔を検知するために使用されるものより、不明瞭でない顔を検知するようにトレーニングされて使用されてもよい。検知された顔のサイズに基づいた0.5メートルであるような顔に対する距離の推定により、0.25メートルの代わりに0.5メートルで焦点を合わせるために、焦点を合わせる部材は、図4Bの不明瞭な顔の検知に際して、これらの実施形態に従って移動されるだろう。
一旦、被写体に対する距離が、図7で提供される計算式に例えば基づくルックアップテーブルに従って計算又は評価により決定されれば、カメラの焦点を合わせる部材は、焦点範囲全体をスキャンする必要なしに、それはそれに対応する距離に焦点を合わせさせる位置に直接移動されてよい。更に、連続モードにおいて、顔サイズの中の変化の測定により、被写体がフロント又はバックフォーカスの方向に移動したかどうかは決定されてよい。これは、焦点探索を低減して、正しい方向に焦点部材の動作をこのように可能にする。
そのプロセスは、例えば、米国特許、7,747,155、7,729,603、7,729,601、7,702,226、7,697,834、7,697,831、7,697,829、7,693,408、7,663,817、7,663,289、7,660,056、7,646,969、7,640,803、7,583,006、7,565,070、7,560,679、7,555,210、7,545,591、7,515,362、7,495,852、7,477,842、7,477,400、7,403,344、7,359,131の、7,359,130、7,345,827、7,266,272、7,113,688及び/又は6,934,087、7,769,281の何れかに述べられたように、MEMsの技術の利用により、まださらに促進することが可能である。この考えは、そのサイズが予め知られていなくても、識別し、追跡することが可能である任意の物体に一般化することが可能である。
言及されるように、非常に有利な特徴が備わり、それにより、焦点がずれた場合さえ、顔検知プロセスはそれによって顔上で確実に実行される。これは、それらに実際に焦点を合わせ始める前に顔を検知するために、ここに記述された実施形態に従う有利なオートフォーカス技術を可能にする。一旦不明瞭な焦点がずれた顔が検知されれば、概算の距離は被写体に対して計算されるかもしれない。人間の顔がサイズにおいて相当に変化しないので、これは可能である。さらなる精度は顔認識の使用により提供されてよく、それによって、特定人物の顔は、データベースに格納された人の他の顔データとの比較により、又は、マニュアル・ユーザー指示、又は、1以上の写真が、同一人物に最近撮られた場合には、これらの組み合わせ、及び、他の顔認識技術により認識される。その後、その人の特に知られている顔サイズを使用することが可能である。
被写体に対する距離は、レンズの焦点距離(これが35mmの同等物でない場合には、センサー・サイズ)を考慮にさらに入れることにより計算してよい。被写体に対する距離が既知の場合には、焦点を合わせる部材は付加的な走査なしで対応する位置に直接移動されてよい。その後、微細なコントラスト検知走査だけが、その距離のまわりで任意に実行される。顔が大きすぎる、及び/又は、単に部分的に検知された場合には、コントラストは、顔領域上に、又は顔の目領域上で測定される。これはコントラストの計算のために計算上の負担を軽減するのに有利である。ビデオモードにおいて、焦点が新しい顔に達せられるごとに、同じことは実行されてよい。一旦焦点がある顔に達せられれば、顔サイズにおける変化は特定の実施形態に従ってモニターされる。変化が重要でない場合、アルゴリズムは顔長方形上(又は目領域又は他の部分的な顔領域)にコントラストを測定し、これがある値より下に落ちない場合には、焦点位置は調節されない。反対に、コントラストが落ちるが、顔サイズが変化しない場合には、微細に再び焦点を合わせることは現在の焦点距離のまわりで行われてよい。顔サイズがあるマージン以上の変更が分かる場合には、被写体が前又は後焦点の中で移動したかどうか判断するために、新しいサイズは古いサイズと比較される。これに基づいて、焦点が再び得られるまで、焦点を合わせる部材は適切な方向(後又は前)に向かって移動される。有利に、焦点トラッキングは探索(hunting)なしで提供される。例えば、顔サイズが増加している場合には、被写体が前焦点に移動したと判定され、したがって、それがより接近して焦点を合わせるように、焦点を合わせる部材は移動される。
予め言及されたように、この方法は、既知のサイズの任意の物体に一般化することが可能である。例えば、顔検知はペット検知のために変更することが可能である。更に、方法は未知のサイズの物体に一般化されるかもしれない。一旦、正常なコントラスト検知及び/又は、位相検知アルゴリズムを使用して、焦点がある物体上で得られれば、その物体は、サイズにおけるその変化に関して追跡しモニターすることが可能である。方法は、物体が、より大きくなるか、より小さくなるか、そして、どのように多いか判断することを含み、連続的な焦点合わせは未知のサイズの物体にさえ探索せずに提供される。
シーンが図5で図示されるような複数の顔を含んでいる場合には、フレーム中の複数の顔が検知されてよい。その後、これらの顔の各々のサイズに対応する距離は計算される。距離はソートされ、複数の顔のために格納される。分割統治スタイル探索は焦点距離にわたって実行されてよい。各ステップでは、COC直径が、レンズ口径を与えられた距離、焦点距離及び焦点距離の各々のために計算されてよい。1つの実施形態において、全体的なシャープネスの測定はこれらの直径を与えられた複数の顔にわたって測定されてよい。これらの探索の結果は、写真中のすべての顔にわたって理論上シャープネスを最大限にする焦点距離になるだろう。レンズは、その距離で直接焦点を合わせるだろう。また、必要であれば、微細なスキャン・シーケンスはより多くの精度を保証するために行うことが可能である。さらに自動露出技術と共にこの技術を適用することができ、その結果、十分な焦点深度又はDOFが入手可能でなければ、オートフォーカス又はAFアルゴリズムは、DOFを増加させるために絞りを絞る決定することが可能である。他の多くのオプションが利用可能である、例えば、シャープな顔の合成イメージは多数のイメージの迅速なキャプチャーにより提供されてよい。計算された焦点位置の各々で取り込まれた1つのイメージ、又は、顔に焦点を合わせられた場合には、ユーザーは選択してもよく、又は、最大の顔は焦点を合わせられてよい。顔の重みを加えることは上に引用された前の出願で説明される。
図6は、特定の実施形態に従う方法を図示するフローチャートである。関心領域又はROIは602で入力される。ROIが顔かどうかは604で決定される。そうでない場合には、その後、606で、一定のステップを備えた反復の探索は最良のグレードのために実行される。顔が検知される場合には、それが新しい顔かどうか、608で決定される。そうでない場合には、その後、610で、顔サイズは、予め決定された顔サイズと同じか、又は、接近しているかどうか決定される。それがそうである場合には、その後、ピント調整は必要ではないが、予め検知された顔のサイズがサイズを変更したと判定される場合には、その後、顔の距離に対する粗い焦点は612で実行される。検知された顔が608の新しい顔であるとわかる場合、顔の距離に対する粗い焦点は612で実行される。614で、シャープネス・グレードが計算されてよい。614で算出されたグレードがOKであると判定される場合には、616で、その後プロセスは終了し、しかし、グレードがOKでない場合には、その後、現在の距離前後の微細な再焦点合わせが、618で実行される。
図7は、被写体に対する距離の計算を示す。被写体に対する距離は、ピクセル中のイメージ分解能、及びこの実施形態中の35mmの相当焦点距離に比例し、検知された顔のピクセル中のサイズに反比例する。150/36の乗数がさらにある。図8A-8Dは、図7で図示された計算に基づいて、物体/被写体に対し、計算されたか推定された距離を各々示す左のテーブルの第1のラインを伴う顔及び焦点深度の異なる距離の例を単に表わす。
ディジタル・カメラ・イメージ・パイプラインは図9で図示される。ハードウェア実装による加速はさらに速い顔検知を得るために使用されてもよい。
ここに記述された実施形態に従う技術は、多くのカテゴリーに高く成し遂げる。例えば、それは速く、非常に低い電力を必要とし、非常に低いモーター摩耗をもたらす。ビデオモードにおいて、それは、被写体が前又は後焦点の中で移動したかどうか知っている。したがって、それは探索する必要はない。この特徴は、DSC及びカメラ電話のためのムービーモードにおける連続的なオートフォーカスを可能にし、それは現在の技術において利用可能でない。更に、技術は付加的なハードウェアを要求しない。したがって、実装することは安く、それは頑丈で(任意の落下試験にも合格する)、いかなる方法で焦点の品質を落とさずに、これをすべて行う。さらに、それは非常に正確である。様々な深度に位置する多数の顔の焦点合わせをカメラに可能にするマルチ顔オートフォーカスも提供される。ここに記述した実施形態に従うマルチ顔AFでは、これは顔のサイズの評価、及び、顔の各々に対する距離の計算、及び、その後、上に記述されるようにこれらのすべての顔にわたって、又は他の方法でシャープネスを最大限にする仮想焦点距離を決めることにより行うことが可能である。その後、さらに、焦点範囲をスキャンする、又は、イメージ中の多数の領域上のシャープネスを測定する必要なしで、合焦はほとんど即座に達成される。すなわち、それらがともに、フレームの大きな領域をカバーする場合には、これは他の方法で非常に遅くなりえる。
好ましい実施形態によってここに実行されるかもしれない、及び、それは上に記述されたかもしれない方法において、動作は選択された印刷上のシーケンスに記述された。しかしながら、シーケンスは選択され、したがって、印刷の便宜のために配列され、特に順序が明らかに述べられるかもしれない場合、又は、ここで当業者は特に順序が必要であると考えるかもしれない場合を除いて、動作を実行するための任意の特に順序も意味するようには意図されない。

Claims (13)

  1. デジタル画像取得装置のレンズ、イメージセンサ及びプロセッサを使用し、
    1以上の焦点がずれた顔又は部分的な顔又は両方を含むシーンのデジタル画像を取得し、
    焦点がずれた顔にトレーニングされた1つの以上セットの分類器を適用することにより、前記デジタル画像の中で、前記1以上の焦点がずれた顔又は部分的な顔又は両方を検知し、
    前記1以上の前記デジタル画像内の焦点がずれた顔又は部分的な顔又は両方のそれぞれの1以上のサイズを決定し、
    前記デジタル画像内の前記1以上の顔又は部分的な顔又は両方の前記1以上のサイズに基づいて、前記1以上の焦点がずれた顔又は部分的な顔又はその両方に対する1以上のそれぞれの深度を決定し、
    近似的に前記決定された1以上の各々の深度で焦点を合わせる前記レンズの1以上のそれぞれの焦点位置を調節し、
    前記レンズで、前記1以上の各々調節された焦点位置で焦点を合わせた、前記1以上の顔又は部分的な顔又は両方の少なくとも1つを含むシーンの1以上のさらなるイメージを得る、
    ことを含む顔検知に基づいたデジタル画像取得装置のためのオートフォーカスの方法。
  2. 前記1以上の各々の焦点位置の調節に際して、微細な走査を実行し、前記微細な走査に基づいて、前記1以上の各々の焦点位置を微細に調節することをさらに含む請求項1の方法。
  3. 前記シーンは、前記1以上のセットの顔分類器の適用により検知されなかった、少なくとも1つの焦点がずれた顔又は部分的な顔又は両方を含み、前記方法は、前記1以上のセットの顔分類器の適用により検知されない前記少なくとも1つの焦点がずれた顔又は部分的な顔又は両方を得るためにコントラスト検知走査又は位相検知走査又は両方を適用することをさらに含む請求項2の方法。
  4. 前記1以上の部分的な顔の少なくとも1つは、目領域を含む請求項1の方法。
  5. 前記1以上の顔又は部分的な顔又は両方の少なくとも1つが、少なくとも1つのしきい値量のサイズを変化させる場合には、前記1以上の各々の焦点位置の少なくとも1つを調節することをさらに含む請求項1の方法。
  6. 前記少なくとも1つの前記顔又は部分的な顔又は両方をトラッキングし、前記トラッキングに基づいて、前記1以上の顔又は部分的な顔又は両方の前記少なくとも1つのサイズの前記変化を決定することをさらに含む請求項5の方法。
  7. 前記デジタル画像取得装置の前記絞りを絞ることにより被写界深度を増加させることをさらに含む請求項1の方法。
  8. 前記1以上の顔又は部分的な顔又は両方は、それらの異なる決定されたサイズに基づいて近似的に決定された複数の異なる深度にそれぞれ位置した、複数の顔又は部分的な顔又は両方を含む請求項1の方法。
  9. 前記1以上の深度を前記決定することは、前記1以上の決定されたサイズの少なくとも1つに対応する少なくとも1つの平均深度を割り当てることを含む請求項1の方法。
  10. 前記1以上の深度を前記決定することは、検知された顔又は部分的な顔又は両方を特定の個人が所有していると認識し、前記特定の顔又は部分的な顔又は両方に対応する、メモリから既知の顔又は部分的な顔の空間パラメータを呼び出し、決定したサイズ及び前記既知の顔又は部分的な顔の空間パラメータに対応する深度を決定することを含む請求項1の方法
  11. 前記1以上の各々の焦点位置を前記調節することは、MEMS(micro-electro mechanical system)部材を使用することを含む請求項1の方法。
  12. 前記上記の方法のいずれかを実行するために、1以上の焦点がずれた顔又は部分的な顔又はその両方を含むシーンのデジタル画像を得るために、レンズとイメージセンサを使用する、プロセッサを有する装置をプログラムするための、その中に取り込まれたコードを有する1以上のプロセッサ読取り可能なメディア。
  13. レンズ、イメージセンサ、プロセッサ、及び、請求項1から11の前記方法のいずれかに従う顔検知に基づいたオートフォーカスの方法を実行するために、前記プロセッサをプログラムするための、その中に取り込まれたコードを有するメモリを含むデジタル画像取得装置。
JP2013529676A 2010-09-28 2011-09-28 顔検知及びトラッキングに基づいた連続的なオートフォーカス Active JP6027005B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US38744910P 2010-09-28 2010-09-28
PCT/EP2011/066835 WO2012041892A1 (en) 2010-09-28 2011-09-28 Continuous autofocus based on face detection and tracking

Publications (2)

Publication Number Publication Date
JP2013542461A true JP2013542461A (ja) 2013-11-21
JP6027005B2 JP6027005B2 (ja) 2016-11-16

Family

ID=44759672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013529676A Active JP6027005B2 (ja) 2010-09-28 2011-09-28 顔検知及びトラッキングに基づいた連続的なオートフォーカス

Country Status (6)

Country Link
US (1) US8970770B2 (ja)
EP (1) EP2622840B1 (ja)
JP (1) JP6027005B2 (ja)
KR (1) KR101783847B1 (ja)
CN (1) CN103155537B (ja)
WO (1) WO2012041892A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017521742A (ja) * 2015-06-30 2017-08-03 シャオミ・インコーポレイテッド 虹彩画像を取得する方法および装置、ならびに虹彩識別機器

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8633999B2 (en) 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8970770B2 (en) 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
US8659697B2 (en) 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8648959B2 (en) 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8308379B2 (en) 2010-12-01 2012-11-13 Digitaloptics Corporation Three-pole tilt control system for camera module
US8548206B2 (en) 2011-01-20 2013-10-01 Daon Holdings Limited Methods and systems for capturing biometric data
US8508652B2 (en) 2011-02-03 2013-08-13 DigitalOptics Corporation Europe Limited Autofocus method
US9294667B2 (en) 2012-03-10 2016-03-22 Digitaloptics Corporation MEMS auto focus miniature camera module with fixed and movable lens groups
US9354486B2 (en) * 2012-06-07 2016-05-31 DigitalOptics Corporation MEMS MEMS fast focus camera module
US9001268B2 (en) 2012-08-10 2015-04-07 Nan Chang O-Film Optoelectronics Technology Ltd Auto-focus camera module with flexible printed circuit extension
US9007520B2 (en) 2012-08-10 2015-04-14 Nanchang O-Film Optoelectronics Technology Ltd Camera module with EMI shield
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
KR101487516B1 (ko) * 2012-09-28 2015-01-30 주식회사 팬택 연속 자동 초점을 이용한 멀티 초점 이미지 캡처 장치 및 방법
US8988586B2 (en) 2012-12-31 2015-03-24 Digitaloptics Corporation Auto-focus camera module with MEMS closed loop compensator
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9094576B1 (en) 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
JP6102602B2 (ja) 2013-07-23 2017-03-29 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
CN104427237B (zh) * 2013-09-05 2018-08-21 华为技术有限公司 一种聚焦图片的显示方法及图像处理设备
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
DE102013224704A1 (de) * 2013-12-03 2015-06-03 Robert Bosch Gmbh Verfahren zur automatischen Fokussierung einer Kamera
US9633462B2 (en) 2014-05-09 2017-04-25 Google Inc. Providing pre-edits for photos
US10242313B2 (en) * 2014-07-18 2019-03-26 James LaRue Joint proximity association template for neural networks
US10419658B1 (en) 2014-07-20 2019-09-17 Promanthan Brains LLC, Series Point only Camera optimizing for several directions of interest
CN105704360A (zh) * 2014-11-25 2016-06-22 索尼公司 辅助自动对焦方法、装置以及电子设备
WO2016091545A1 (en) * 2014-12-09 2016-06-16 Fotonation Limited Image processing method
US9686463B2 (en) * 2015-03-10 2017-06-20 Qualcomm Incorporated Systems and methods for continuous auto focus (CAF)
CN104853088A (zh) * 2015-04-09 2015-08-19 来安县新元机电设备设计有限公司 一种移动终端拍照时快速对焦的方法及移动终端
EP3109695B1 (en) 2015-06-24 2019-01-30 Samsung Electronics Co., Ltd. Method and electronic device for automatically focusing on moving object
CN106125879A (zh) * 2016-06-14 2016-11-16 深圳市金立通信设备有限公司 一种降低终端功耗的方法及终端
US10148943B2 (en) * 2016-08-08 2018-12-04 Fotonation Limited Image acquisition device and method based on a sharpness measure and an image acquistion parameter
US10334152B2 (en) 2016-08-08 2019-06-25 Fotonation Limited Image acquisition device and method for determining a focus position based on sharpness
US10015389B2 (en) * 2016-09-22 2018-07-03 Omnivision Technologies, Inc. Image sensor with asymmetric-microlens phase-detection auto-focus (PDAF) detectors, associated PDAF imaging system, and associated method
CN106506969B (zh) * 2016-11-29 2019-07-19 Oppo广东移动通信有限公司 摄像模组、通过其进行人像追踪的方法以及电子设备
US10148945B1 (en) 2017-05-25 2018-12-04 Fotonation Limited Method for dynamically calibrating an image capture device
JP2020532914A (ja) * 2017-09-01 2020-11-12 ディーティーエス・インコーポレイテッドDTS,Inc. 仮想オーディオのスイートスポット適応法
CN108234879B (zh) * 2018-02-02 2021-01-26 成都西纬科技有限公司 一种获取滑动变焦视频的方法和装置
CN108920047A (zh) * 2018-05-29 2018-11-30 努比亚技术有限公司 一种应用程序的控制方法、终端和计算机可读存储介质
KR20210108082A (ko) 2020-02-25 2021-09-02 삼성전자주식회사 위상 차를 이용하는 라이브니스 검출 방법 및 장치
EP3936917B1 (en) * 2020-07-09 2024-05-01 Beijing Xiaomi Mobile Software Co., Ltd. A digital image acquisition apparatus and an autofocus method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289468A (ja) * 2002-03-28 2003-10-10 Sanyo Electric Co Ltd 撮像装置
JP2006319596A (ja) * 2005-05-12 2006-11-24 Fuji Photo Film Co Ltd 撮像装置および撮像方法
JP2008090059A (ja) * 2006-10-03 2008-04-17 Samsung Techwin Co Ltd 撮像装置およびそのオートフォーカス制御方法
JP2008262001A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp 撮像装置及びその主要被写体検出方法並びに合焦制御方法
JP2009069551A (ja) * 2007-09-14 2009-04-02 Sony Corp データ処理装置、およびデータ処理方法、並びにプログラム
JP2009094946A (ja) * 2007-10-11 2009-04-30 Fujifilm Corp 撮像装置及び撮像装置における肖像権保護方法
JP2009199049A (ja) * 2008-01-25 2009-09-03 Sony Corp 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2010015024A (ja) * 2008-07-04 2010-01-21 Canon Inc 撮像装置、その制御方法、プログラム及び記憶媒体
JP2010210968A (ja) * 2009-03-11 2010-09-24 Fujifilm Corp 光学モジュールおよびその製造方法、並びに撮像装置

Family Cites Families (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5870217A (ja) 1981-10-23 1983-04-26 Fuji Photo Film Co Ltd カメラブレ検出装置
US5835138A (en) 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
KR100188116B1 (ko) 1995-12-28 1999-06-01 김광호 손떨림 영상 안정화 회로
US6407777B1 (en) 1997-10-09 2002-06-18 Deluca Michael Joseph Red-eye filter method and apparatus
US6430312B1 (en) 1997-12-29 2002-08-06 Cornell Research Foundation, Inc. Image subregion querying using color correlograms
US6963361B1 (en) 1998-02-24 2005-11-08 Canon Kabushiki Kaisha Image sensing method and apparatus capable of performing vibration correction when sensing a moving image
JP3825222B2 (ja) * 2000-03-24 2006-09-27 松下電器産業株式会社 本人認証装置および本人認証システムならびに電子決済システム
US6747690B2 (en) 2000-07-11 2004-06-08 Phase One A/S Digital camera with integrated accelerometers
US7359130B1 (en) 2002-02-04 2008-04-15 Siimpel Corporation Lens mount and alignment method
US6850675B1 (en) 2002-02-04 2005-02-01 Siwave, Inc. Base, payload and connecting structure and methods of making the same
US6934087B1 (en) 2002-09-25 2005-08-23 Siimpel Corporation Fiber optic collimator and collimator array
JP4092636B2 (ja) 2002-11-01 2008-05-28 フジノン株式会社 オートフォーカスシステム
US7317815B2 (en) 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7315630B2 (en) 2003-06-26 2008-01-01 Fotonation Vision Limited Perfecting of digital image rendering parameters within rendering devices using face detection
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7616233B2 (en) 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7587068B1 (en) 2004-01-22 2009-09-08 Fotonation Vision Limited Classification database for consumer digital images
US7362368B2 (en) 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7792335B2 (en) 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8204330B2 (en) 2009-06-29 2012-06-19 DigitalOptics Corporation Europe Limited Adaptive PSF estimation technique using a sharp preview and a blurred image
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US8155397B2 (en) * 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US9160897B2 (en) 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US8363951B2 (en) 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US20050140801A1 (en) 2003-08-05 2005-06-30 Yury Prilutsky Optimized performance and performance for red-eye filter method and apparatus
US7826139B2 (en) 2003-12-16 2010-11-02 The Invention Science Fund I, Llc Image correction using individual manipulation of microlenses in a microlens array
US7558408B1 (en) 2004-01-22 2009-07-07 Fotonation Vision Limited Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7555148B1 (en) 2004-01-22 2009-06-30 Fotonation Vision Limited Classification system for consumer digital images using workflow, face detection, normalization, and face recognition
US7564994B1 (en) 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7663289B1 (en) 2004-02-18 2010-02-16 Siimpel Corporation Centipede actuator motion stage
US7477842B2 (en) 2004-03-12 2009-01-13 Siimpel, Inc. Miniature camera
US7640803B1 (en) 2004-05-26 2010-01-05 Siimpel Corporation Micro-electromechanical system inertial sensor
US7733412B2 (en) 2004-06-03 2010-06-08 Canon Kabushiki Kaisha Image pickup apparatus and image pickup method
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP4674471B2 (ja) 2005-01-18 2011-04-20 株式会社ニコン デジタルカメラ
US7555210B2 (en) 2005-02-28 2009-06-30 Siimpel, Inc. Axial snubbers for camera
US7359131B1 (en) 2005-02-28 2008-04-15 Siimpel Corporation Lens positioning systems and methods
US7646969B2 (en) 2005-02-28 2010-01-12 Siimpel Corporation Camera snubber assembly
US7565070B1 (en) 2005-02-28 2009-07-21 Siimpel Corporation Telephone vibrator
US7403344B2 (en) 2005-02-28 2008-07-22 Siimpel Corporation Lens Assembly
US7345827B1 (en) 2005-02-28 2008-03-18 Siimpel Corporation Lens barrel
US7495852B2 (en) 2005-02-28 2009-02-24 Siimpel Corporation Zoom lens assembly
US7729603B2 (en) 2005-02-28 2010-06-01 Siimpel Corporation Resolution adjustment for miniature camera
US20060239579A1 (en) 2005-04-22 2006-10-26 Ritter Bradford A Non Uniform Blending of Exposure and/or Focus Bracketed Photographic Images
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US7583006B2 (en) 2005-07-26 2009-09-01 Siimpel Corporation MEMS digital linear actuator
US7697829B1 (en) 2005-09-02 2010-04-13 Siimpel Corporation Electronic damping for stage positioning
US7477400B2 (en) 2005-09-02 2009-01-13 Siimpel Corporation Range and speed finder
US7692696B2 (en) 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
IES20060558A2 (en) 2006-02-14 2006-11-01 Fotonation Vision Ltd Image blurring
WO2007095477A2 (en) 2006-02-14 2007-08-23 Fotonation Vision Limited Image blurring
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
US7551754B2 (en) 2006-02-24 2009-06-23 Fotonation Vision Limited Method and apparatus for selective rejection of digital images
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
IES20060564A2 (en) 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
JP4264660B2 (ja) 2006-06-09 2009-05-20 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US7965875B2 (en) 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
US7769281B1 (en) 2006-07-18 2010-08-03 Siimpel Corporation Stage with built-in damping
US7702226B1 (en) 2006-07-20 2010-04-20 Siimpel Corporation Board mounted hermetically sealed optical device enclosure and manufacturing methods therefor
US7515740B2 (en) 2006-08-02 2009-04-07 Fotonation Vision Limited Face recognition with combined PCA-based datasets
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7697834B1 (en) 2006-10-13 2010-04-13 Siimpel Corporation Hidden autofocus
US7693408B1 (en) 2006-10-13 2010-04-06 Siimpel Corporation Camera with multiple focus captures
US7545591B1 (en) 2006-10-17 2009-06-09 Siimpel Corporation Uniform wall thickness lens barrel
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US7663817B1 (en) 2007-01-19 2010-02-16 Siimpel Corporation Optical system with plano convex lens
US7697831B1 (en) 2007-02-20 2010-04-13 Siimpel Corporation Auto-focus with lens vibration
EP2115662B1 (en) 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
WO2008109622A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face categorization and annotation of a mobile phone contact list
WO2008117584A1 (ja) 2007-03-23 2008-10-02 Kabushiki Kaisha Toshiba 手ぶれ補正装置、撮像装置、手ぶれ補正プログラム、撮像プログラム、手ぶれ補正方法、撮像方法
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
JP4678603B2 (ja) 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
WO2008131823A1 (en) 2007-04-30 2008-11-06 Fotonation Vision Limited Method and apparatus for automatically controlling the decisive moment for an image acquisition device
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP2009010777A (ja) * 2007-06-28 2009-01-15 Sony Corp 撮像装置、撮影制御方法、プログラム
KR101431535B1 (ko) * 2007-08-30 2014-08-19 삼성전자주식회사 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법
US7729601B1 (en) 2007-08-31 2010-06-01 Siimpel Corporation Shutter for autofocus
JP5048468B2 (ja) * 2007-11-28 2012-10-17 富士フイルム株式会社 撮像装置およびその撮像方法
JP4956401B2 (ja) 2007-12-18 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5337818B2 (ja) 2008-01-18 2013-11-06 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 画像処理方法および装置
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
JP5079552B2 (ja) 2008-03-13 2012-11-21 オリンパス株式会社 画像処理装置、撮像装置及び画像処理方法
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
KR20090113076A (ko) 2008-04-25 2009-10-29 삼성디지털이미징 주식회사 디지털 영상 처리기에서 브라케팅 촬영 장치 및 방법
JP4524717B2 (ja) 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5163446B2 (ja) 2008-11-25 2013-03-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
WO2010063463A2 (en) 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
JP4893758B2 (ja) 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
US8665326B2 (en) 2009-01-30 2014-03-04 Olympus Corporation Scene-change detecting device, computer readable storage medium storing scene-change detection program, and scene-change detecting method
US8233078B2 (en) * 2009-02-19 2012-07-31 Apple Inc. Auto focus speed enhancement using object recognition and resolution
JP5374220B2 (ja) 2009-04-23 2013-12-25 キヤノン株式会社 動きベクトル検出装置およびその制御方法、ならびに撮像装置
US8798388B2 (en) 2009-12-03 2014-08-05 Qualcomm Incorporated Digital image combining to produce optical effects
US20100283868A1 (en) 2010-03-27 2010-11-11 Lloyd Douglas Clark Apparatus and Method for Application of Selective Digital Photomontage to Motion Pictures
US8045046B1 (en) 2010-04-13 2011-10-25 Sony Corporation Four-dimensional polynomial model for depth estimation based on two-picture matching
US8970770B2 (en) 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
US8659697B2 (en) 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8648959B2 (en) 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289468A (ja) * 2002-03-28 2003-10-10 Sanyo Electric Co Ltd 撮像装置
JP2006319596A (ja) * 2005-05-12 2006-11-24 Fuji Photo Film Co Ltd 撮像装置および撮像方法
JP2008090059A (ja) * 2006-10-03 2008-04-17 Samsung Techwin Co Ltd 撮像装置およびそのオートフォーカス制御方法
JP2008262001A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp 撮像装置及びその主要被写体検出方法並びに合焦制御方法
JP2009069551A (ja) * 2007-09-14 2009-04-02 Sony Corp データ処理装置、およびデータ処理方法、並びにプログラム
JP2009094946A (ja) * 2007-10-11 2009-04-30 Fujifilm Corp 撮像装置及び撮像装置における肖像権保護方法
JP2009199049A (ja) * 2008-01-25 2009-09-03 Sony Corp 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2010015024A (ja) * 2008-07-04 2010-01-21 Canon Inc 撮像装置、その制御方法、プログラム及び記憶媒体
JP2010210968A (ja) * 2009-03-11 2010-09-24 Fujifilm Corp 光学モジュールおよびその製造方法、並びに撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017521742A (ja) * 2015-06-30 2017-08-03 シャオミ・インコーポレイテッド 虹彩画像を取得する方法および装置、ならびに虹彩識別機器

Also Published As

Publication number Publication date
CN103155537A (zh) 2013-06-12
US20120075492A1 (en) 2012-03-29
EP2622840B1 (en) 2017-07-19
KR101783847B1 (ko) 2017-10-10
EP2622840A1 (en) 2013-08-07
CN103155537B (zh) 2016-08-10
KR20130112036A (ko) 2013-10-11
WO2012041892A1 (en) 2012-04-05
US8970770B2 (en) 2015-03-03
JP6027005B2 (ja) 2016-11-16

Similar Documents

Publication Publication Date Title
JP6027005B2 (ja) 顔検知及びトラッキングに基づいた連続的なオートフォーカス
US8213782B2 (en) Predictive autofocusing system
US7714927B2 (en) Imaging apparatus, imaging apparatus control method and computer program product, with eye blink detection features
US7929042B2 (en) Imaging apparatus, control method of imaging apparatus, and computer program
EP3318054B1 (en) Systems and methods for autofocus trigger
USRE45692E1 (en) Automatic focusing apparatus and image pickup apparatus
JP5003529B2 (ja) 撮像装置および対象物の検出方法
US20100002128A1 (en) Image pickup apparatus, method of controlling the same, and storage medium
JP4998308B2 (ja) 焦点調節装置および撮像装置
EP3281398B1 (en) Methods and apparatus for defocus reduction using laser autofocus
JP5950664B2 (ja) 撮像装置およびその制御方法
JP5216137B2 (ja) カメラおよびカメラの制御方法
JP2012500506A5 (ja)
JP4329694B2 (ja) 撮像装置
JP2013085089A (ja) 被写体追尾装置およびカメラ
JP2007328360A (ja) 自動焦点カメラ及び撮影方法
JP4996568B2 (ja) 撮像装置および撮像装置の制御方法
JP5359150B2 (ja) 撮像装置
JP2009092747A (ja) 撮像装置、および撮像方法
JP5420034B2 (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
JP6478537B2 (ja) 撮像装置及び制御方法
JP2012189736A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150717

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20151002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151106

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161013

R150 Certificate of patent or registration of utility model

Ref document number: 6027005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250