JP2020502559A - オブジェクトの距離情報に基づいてオートフォーカス機能を提供するためのデバイス、システム、および方法 - Google Patents

オブジェクトの距離情報に基づいてオートフォーカス機能を提供するためのデバイス、システム、および方法 Download PDF

Info

Publication number
JP2020502559A
JP2020502559A JP2019525784A JP2019525784A JP2020502559A JP 2020502559 A JP2020502559 A JP 2020502559A JP 2019525784 A JP2019525784 A JP 2019525784A JP 2019525784 A JP2019525784 A JP 2019525784A JP 2020502559 A JP2020502559 A JP 2020502559A
Authority
JP
Japan
Prior art keywords
objects
field
focus
lens system
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019525784A
Other languages
English (en)
Other versions
JP2020502559A5 (ja
JP6960455B2 (ja
Inventor
パサレラ,カトリーナ
カーデイ,ブラッド・コンスタンティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2020502559A publication Critical patent/JP2020502559A/ja
Publication of JP2020502559A5 publication Critical patent/JP2020502559A5/ja
Application granted granted Critical
Publication of JP6960455B2 publication Critical patent/JP6960455B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18Focusing aids
    • G03B13/30Focusing aids indicating depth of field
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

レンズ系の構成を決定するための技術および機構。実施形態では、レンズ系を介して観測可能な複数のオブジェクトの各々について基準からのそれぞれの距離を判断する。オブジェクトの距離に基づいて、レンズ系の対応する合焦構成の各々についての合焦オブジェクトの数を判断する。このような合焦オブジェクトの数の各々は、当該対応する合焦構成の間に焦点が合う(または焦点が合うことになる)オブジェクトの総数を表し、複数のオブジェクトのそれぞれは、対応する合焦構成の近被写界深度に位置する。その他の実施形態では、1つの合焦構成を別の合焦構成よりも優先することは、合焦オブジェクトの数に基づいて決定される。

Description

背景
1.技術分野
本開示は、全体的に、光学分野に関し、特に、可変焦点レンズ系を用いてイメージセンサを操作することに関するが、これに限定されない。
2.背景技術
光学において、被写界深度(「DOF:Depth Of Field」)とは、シーンにおける近景と遠景との間の範囲である。近景と遠景との間では、画像の中のオブジェクトは、差し支えなく鮮明に見ることができる。このような鮮明さは、この焦点距離の両側に向かって徐々に薄れていくので、固定焦点レンズは、シーン内の1つの深度にしか正確に焦点を合わせることができない。被写界深度に収まるオブジェクトは、差し支えのない鮮明さを有していると考えられる。
デジタルカメラなど、デジタル撮像装置は、多くの場合、イメージセンサに像光の焦点を合わせるレンズアセンブリを備える。イメージセンサは、この像光を測定し、測定値に基づいて画像を生成する。可変焦点レンズは、その焦点距離を、その時々で異なる距離に焦点が合うよう、調整することができる。これにより、撮像装置は、様々な距離にあるオブジェクトに焦点が合うように被写界深度を変換することが可能になる。従来の撮像装置は、多くの場合、焦点距離の変更を容易にするオートフォーカス機能をサポートしている。撮像装置のフォームファクターの数および種類が増えるにつれて、反応がよく、かつ/または効率のよいオートフォーカス機能を提供するソリューションの需要が増えると見込まれる。
添付の図面の図において、本発明の様々な実施形態を一例として記載するが、限定ではない。
実施形態に係る、合焦構成を決定するためのシステムに含まれる要素を示す機能ブロック図である。 実施形態に係る、イメージセンサデバイスを操作するための方法に含まれる要素を説明するフロー図である。 実施形態に係る、オートフォーカス機能を提供するためのデバイスを含む環境の平面図である。 実施形態に係る、合焦構成を決定するために実行される処理を説明するグラフである。 実施形態に係る、合焦構成を決定するための処理に含まれる要素を説明するフロー図である。 実施形態に係る、イメージセンサデバイスがオートフォーカス機能を提供する環境の特徴を説明する様々なビューを示す図である。
詳細な説明
本明細書に記載の実施形態は、レンズ系とともに提供されるフォーカスの種類を決定するための技術および機構を様々な方法で提供する。いくつかの実施形態では、このようなレンズ系は、(たとえば、レンズ系に光結合されたイメージセンサの特定の絞りおよび/またはその他の動作特性を仮定して)レンズ系を通して観測可能なオブジェクトに様々な方法で焦点が合っているか、外れているかの評価に基づいて構成されてもよい。1つのレンズ系構成によって、別のレンズ系構成よりも多くのオブジェクトの焦点が合っている(または、合うようになる)と判断された場合、実施形態に従って、当該1つのレンズ系構成が別のレンズ系構成よりも優先されることを示す信号が生成されてもよい。
下記の記載において、実施形態の十分な理解のため、多くの具体的な詳細を説明する。しかしながら、本明細書に記載の技術は、具体的な詳細のうちの1つ以上がなくても実施することができ、または、その他の方法、構成要素、材料などを用いて実施できることが当業者にはわかるであろう。他の例では、周知の構造、材料、または動作については、特定の態様を曖昧にしないよう、詳細は説明しない。本明細書全体で、「一実施形態」または「実施形態」への言及は、実施形態に関して説明する特定の特徴、構造、または特性が本発明の少なくとも1つの実施形態に含まれていることを意味する。よって、本明細書の様々な箇所で出現する「一実施形態では」または「実施形態では」という表現は、すべてが必ずしも同じ実施形態について言及しているわけではない。さらに、特定の特徴、構造、または特性は、任意の適した方法で1つ以上の実施形態に組み合わされてもよい。
従来のデジタルイメージングでは、シーンに1つの被写体しか存在しない場合、オートフォーカス(AF:Auto Focus)アルゴリズムは、通常、レンズ位置を調整して焦点距離をその1つの被写体に設定する。いくつかの実施形態は、様々な距離に位置する人の顔などのいくつかのオブジェクトを含むシーンには、状況によってはこの手法があまり最適ではない場合がある、という発明者らの認識に基づいている。このような実施形態は、1つの焦点視野によって別の焦点視野よりも多くの合焦オブジェクトが生じ得るおよび/または合焦オブジェクトのより良い配置が生じ得ることを見分ける機構を提供することによって、従来のオートフォーカス技術を様々な方法でより良いものにする。
本明細書において使用するとき、「視野(field of view)」とは、レンズ系を通して観測可能な環境の部分を指す。視野は、たとえば、3次元環境のその部分を指してもよく、当該部分は、当該部分に向けられた特定のレンズ系を介して2次元画像として撮影されてもよい。用語「焦点視野(field of focus)」(「focus field」または「focal field」)は、所定の基準に応じて、レンズ系を通して観測される1つまたは複数のオブジェクトに十分に焦点が合っている視野のその部分を指す。所与の焦点視野(たとえば、イメージングシステムの所与の絞りに部分的に依存し得る)は、焦点距離および被写界深度から構成される。
「焦点距離」とは、ある基準点(たとえば、レンズ系のレンズの中心)から焦点視野の中心までの距離である。「被写界深度」とは、(たとえば、基準点まで/基準点から延在する方向線に沿って測定される)焦点視野の全体の深度である。「焦点範囲」としても知られる被写界深度は、近被写界深度と遠被写界深度との間に延在する。用語「近被写界深度」は、レンズ系のレンズの中心などの基準点から測定される被写界深度の最も近いエッジまでの距離を指す。同様に、「遠被写界深度」は、本明細書において、基準点から被写界深度の最も遠いエッジまでの距離を指す。
多くの光学系では、焦点距離(複数可)と近被写界深度(Dn)との関係は、(たとえば)下記の式によって一般的に表すことができる。
Dn<Hの場合、s≒(Dn×H)/(H−Dn) (1)
過焦点距離(H)は、無限遠のオブジェクトを差し支えなく鮮明にしたままレンズ系の焦点を合わせることができる最短距離である。通常、レンズの焦点が過焦点距離に合わせられている場合、過焦点距離の半分の距離から無限遠までの距離にあるすべてのオブジェクトが差し支えなく鮮明になる。イメージングシステムの過焦点距離は、イメージングシステムの設定(たとえば、絞り)によって異なってもよい。
また、Dnと、sと、Hとの関係は、下記の式によって一般的に表されてもよい。
s<Hの場合、Dn≒(Hs)/(H+s) (2)
s≧Hの場合、Dn≒H/2 (3)
遠被写界深度(Df)と、sと、Hとの関係は、下記の式によって一般的に表されてもよい。
s<Hの場合、Df≒(Hs)/(H−s) (4)
s≧Hの場合、Df≒∞ (5)
しかしながら、Dnと、Dfと、Hと、sとの間の様々な関係を識別するために、(たとえば、従来のイメージング技術から作り替えられた1つ以上の式を含む)各種の追加のまたは別の基準が用いられてもよい。
表現「合焦構成」は、本明細書において、対応する焦点視野を提供することを容易にするためのレンズ系の所与の構成(たとえば、複数のあり得る構成のうちの1つ)を指す。焦点視野は、レンズ系自体の焦点視野であってもよい。これに代えて、焦点視野は、1つ以上のその他のデバイス(たとえば、別の1つ以上のレンズ、特定の絞り構造、および/またはイメージフォーカスソフトウェアを実行するための回路などを含む)と組み合わせたレンズ系によって提供される全体的な焦点視野であってもよい。
本明細書に記載の実施形態は、1つの合焦構成を別の合焦構成よりも優先させることを様々な方法で(たとえば、自動的に)決定し、このような決定は、焦点視野に存在している可能性がある1つまたは複数のオブジェクトの評価に基づく。別段の指示がない限り、「識別されたオブジェクト」または「識別された複数のオブジェクト」は、本明細書において、レンズ系の視野に存在し、かつ、レンズ系においてまたはレンズ系上で特定される点などの基準から距離を有するとして各々が識別される(たとえば、互いに区別されることを含む)1つ以上のオブジェクトを様々な方法で指す。このような1つ以上のオブジェクトは、レンズ系を通して観測可能なより大きな複数のオブジェクトからなるサブセットを含むだけでもよい(たとえば、サブセットは、視野の少なくとも最小部分を各々が占めるオブジェクトのみを含む)。
本明細書において使用するとき、「合焦オブジェクトセット」は、1つ以上の特定されたオブジェクトからなるセットを指す。当該1つ以上の識別されたオブジェクトは、その特定の合焦構成時に、レンズ系を用いて観測すると焦点が合っているまたは焦点が合う。よって、レンズ系の様々な合焦構成は、異なるそれぞれの合焦オブジェクトセットに対応してもよい。所与の合焦オブジェクトセットに含まれる1つ以上のオブジェクトのうち、レンズ系に最も近いオブジェクトは、「最近合焦オブジェクト」と称され得、レンズ系から最も遠いオブジェクトは、「最遠合焦オブジェクト」として称され得る。したがって、様々な合焦オブジェクトセットは、異なるそれぞれの最近合焦オブジェクトおよび/または最遠合焦オブジェクトから構成されてもよい。「合焦オブジェクトの数」(説明が煩雑になるのを防ぐため、本明細書において、「オブジェクト数」とも称する)は、本明細書において、合焦オブジェクトセットに含まれる1つ以上のオブジェクトの総数を指す。
図1は、実施形態に係る、撮像動作において使用するために実装される合焦構成を決定するための、システム100に含まれる要素を示す図である。システム100は、視野内に存在するオブジェクトのそれぞれの距離に基づいて1つの合焦構成を別の合焦構成よりも優先すると決定するように構成された実施形態の一例に過ぎない。このような優先は、たとえば、合焦構成の各々について算出されるスコアに基づいて決定されてもよい。スコアは、各々、対応する焦点視野に対応付けられた、合焦オブジェクトの数に等しくてもよく、またはこれに基づいてもよい。
図に示す例示的な実施形態では、システム100は、外部環境からの光105を受光するための1つ以上のレンズ(図に示す例示的なレンズ112など)から構成されるレンズ系110を備える。レンズ系110は、調整可能なフォーカス機能に対応した各種の光デバイスを含んでもよい。このような光デバイスは、本明細書に記載の技術に基づいて、従来のオートフォーカス技術から作り替えられた1つ以上のフォーカス調整機構を利用して制御されてもよい。
レンズ系110は、外部環境からの光105をシステム100のイメージセンサ120に向けるために光結合されてもよい(たとえば、レンズ系110によって出力された光の焦点は、絞り122を通して画素アレイ124に合わせられる)。画素アレイ124は、CMOS(Complementary Metal−Oxide−Semiconductor)画素および/または従来の画像センシング技術から作り替えられた各種その他の画素を含んでもよい。いくつかの実施形態は、光105に基づいて画像データを生成する際に使用するための特定の画素アレイアーキテクチャに限定されない。いくつかの実施形態では、レンズ系110の構成は、特定の大きさの絞り122を仮定して決定される(たとえば、イメージセンサ120は、絞りが固定されたデバイスである、または、特定の大きさの絞り122と組み合わせて使用するための複数のあり得る合焦構成の中から1つの合焦構成が選択される)。
たとえば、システム100は、レンズ系110を用いて観測可能な視野に存在するオブジェクトを検出するためのレンジファインダーとして動作するように構成された距離センサ140をさらに備えてもよい。距離センサ140を用いたオブジェクトの距離の検出は、従来の距離測定(range−finding)技術から作り替えられた1つ以上の動作を含んでもよい。当該1つ以上の動作については、様々な実施形態の特徴を曖昧にしないように、本明細書において、詳細は説明しない。例示として、距離センサ140は、レーザー距離計、超音波距離計、または赤外線距離計の機能を提供してもよいが、これらに限定されない。LIDAR(LIght Detection And Ranging)、RADAR(RAdio Detection And Ranging)、マイクロ波距離測定など、距離測定のためのその他の手段も可能である。
距離センサ140は、システム100の距離評価回路150に信号142を出力するために連結されてもよい。距離評価回路150は、レンズ系110を通して観測可能な視野に複数のオブジェクトが存在すると信号142に基づいて検出するように構成された論理(たとえば、特定用途向け集積回路(特定用途向け集積回路)、プロセッサ回路、状態機械および/またはその他の半導体ハードウェアを含む)を含んでもよい。このようなオブジェクトの一部またはすべては、システム100からの異なるそれぞれの距離によって互いに区別されてもよい。
距離センサ140および距離評価回路150を用いた距離測定は、アクティブ検出技術、パッシブ検出技術(たとえば、位相検出、および/またはコントラスト測定などを含む)または、それらの組合せを含んでもよい。一実施形態では、距離評価回路150は、複数のオブジェクトのオブジェクトごとに、システム100内またはシステム100上の基準位置を基準としたオブジェクトまでの距離を識別してもよい。この識別は、たとえば、距離センサ140から出力されるレーザーおよび/またはその他の距離測定信号に対する閾値応答に基づいてもよい。このような最小閾値応答によって、識別された複数のオブジェクトを、少なくとも視野の最小閾値量を各々が占めるオブジェクトに限定してもよい。これに加えて、または、これに代えて、このような最小閾値応答によって、識別された複数のオブジェクトを、視野においてシステム100から最大閾値距離内に存在するオブジェクトに限定してもよい。
距離センサ140は、視野の異なるそれぞれの部分について、少なくとも一部が視野のその部分を占めているオブジェクトまでの距離を識別する方向距離測定機能を提供してもよいが、いくつかの実施形態は、この点において限定されない。たとえば、距離センサ140は、視野を順次(またはその他)スイープするように操作されてもよく、これによって、距離センサ140によって順次受信される対応する応答信号は、各々、当該視野の異なる部分に対応付けられる。このような実施形態では、距離評価回路150は、様々なオブジェクト距離の各々を、視野の異なる部分に一致させてもよい。
システム100は、複数のオブジェクトのシステム100からの距離のそれぞれを指定または示す情報を距離評価回路150から受信するために連結された選択回路160をさらに備えてもよい。選択回路160は、レンズ系110を用いて実装する合焦構成をこのようなオブジェクト距離に基づいて決定するための論理を含んでもよい(たとえば、特定用途向け集積回路、および/またはプロセッサ回路などを含む)。このような決定は、第1の合焦構成が第2の合焦構成よりも優先されることを選択回路160が識別することを含んでもよい。この優先は、たとえば、第1の合焦構成によって第2の合焦構成よりも多くの数の合焦オブジェクトおよび/または合焦オブジェクトのより良い配置(スコアまたはその他の評価指標によって示される)が生じるという判断に基づいてもよい。
1つの例示的な実施形態では、選択回路160は、焦点距離(複数可)、近被写界深度(Dn)、遠被写界深度(Df)、過焦点距離(H)、および/またはレンズ系100を用いて提供される任意の様々なその他の光学特性、の間の1つ以上の関係を記述した参考情報を含むまたは当該参考情報にアクセスすることができる。例示として、選択回路160は、このような参考情報が(たとえば、メーカー、小売業者、コンピュータネットワークサービス、またはその他の業者によって)予めプログラムされたメモリ130を備える、または、当該メモリ130に連結されてもよいが、これに限定されない。距離評価回路150からのオブジェクト距離データに基づいて、選択回路160は、メモリ130の参考情報にアクセスして、このような1つのオブジェクトの所与の距離について、レンズ系110の対応する合焦構成時に焦点が合う(または合うことになる)オブジェクトの総数を選択、算出、および/または決定してもよい。たとえば、合焦構成は、レンズ系110を用いて提供される近被写界深度に位置する当該オブジェクトに対応してもよい。
複数のあり得る合焦構成の評価に基づいて、選択回路160は、少なくとも1つの別の合焦構成よりも優先されると判断された合焦構成を識別または示す信号162を出力してもよい。信号162に応答して、システム100の焦点コントローラ(FC:Focus Controller)170は、レンズ系110を用いて実装される焦点視野を調整または設定してもよい。FC170は、レンズ系110を用いて提供される有効な焦点距離を変更するための各種の1つ以上のハードウェアおよび/またはソフトウェアメカニズムを含んでもよい。例示として、FC170は、レンズ系110のレンズを相互に移動させる、および/または画素アレイ124に対して移動させるためのモーターを含んでもよいが、これに限定されない。これに加えて、または、これに代えて、FC170は、たとえば、有効な焦点視野を画像処理演算として少なくとも部分的に実装するための論理(たとえば、特定用途向け集積回路、プロセッサ、および/または実行ソフトウェアなどを含む)を含んでもよい。信号162に基づいて、FC170は、レンズ系110を用いて特定の被写界深度を提供する合焦構成を実装してもよい。このような合焦構成時に、イメージセンサ120は、外部環境を撮影するように(たとえば、選択回路160および/またはFC170に応答して)操作されてもよい。
距離評価回路150は、画像認識回路(図示せず)をさらに含むまたは当該画像認識回路に連結されてもよいが、いくつかの実施形態は、この点において限定されない。画像認識回路は、レンズ系110を介して受光した光に基づいて画素アレイ124が生成した画像情報を受信して処理するように構成される。このような画像認識回路には、たとえば、1つ以上のオブジェクトクラスを記述した他の参考情報が予めプログラムされていてもよい(または、当該他の参考情報にアクセスできてもよい)。このような他の参考情報に基づいて、画像認識回路は、画素アレイ124からの信号を評価し、予め定義されたオブジェクトクラスに属するオブジェクトの表示を視野のいずれかの領域が含んでいるかどうかを判断してもよい。オブジェクトクラスとして、目クラス、口クラス、頭クラス、自動車クラス、および/または建物クラスなどが上げられるが、これらに限定されない。オブジェクトクラスに含まれる1つ以上のオブジェクトの識別には、従来の画像認識技術から作り替えられた動作が含まれてもよい。実施形態では、信号142によって様々な方法で示される1つ以上のオブジェクト距離は、各々、対応するオブジェクトクラスに属していると識別されたオブジェクトに対応付けられてもよい。
まとめると、図1に示すデバイス(システム100)は、下記の要素のうちの少なくともいくつかの組合せを含んでもよい。デバイスの外部の環境からの光を受光するためのレンズ系110;第1オブジェクトおよび第2オブジェクトを少なくとも含んだ複数のオブジェクトの各々までの距離を識別するように構成された距離評価回路150、距離評価回路150は、距離センサ140の出力信号142を処理するため、および信号142の評価に基づいてオブジェクトの距離を判断するために、距離センサ140に連結されてもよい;レンズ系110の焦点を決定するために距離評価回路150に連結された選択回路160、選択回路160は、論理を含み、当該論理は、実行されると、デバイス(システム100)に以下を含む動作を実行させる。複数のオブジェクトのうち、第1オブジェクトが第1の近被写界深度Dnに位置している間に第1の合焦構成(たとえば、レンズ系110の所与の構成)および第1の絞り122(たとえば、レンズ系110を用いて受像した画像を撮像するためにレンズ系110と光結合されたイメージセンサ120の画素アレイ124に光の焦点を合わせる第1の絞り122のサイズ)によって焦点が合うオブジェクトの第1の数を判断すること;複数のオブジェクトのうち、第2オブジェクトが第2の近被写界深度Dnに位置している間に第2の合焦構成および第1の絞りによって焦点が合うオブジェクトの第2の数を判断すること;第1の数に基づく第1スコアと、第2の数に基づく第2スコアとを比較すること;比較に基づいて、第1の合焦構成または第2の合焦構成との間でどちらを優先するかを示す信号162を提供すること。
ここで、第1の数/第2の数の第1スコアまたは第2スコアは、第1の数の値または第2の数の値にそれぞれ基づいてもよい。たとえば、スコアは、関連する重み付きの数から導出されてもよく、この数に含まれている個々のオブジェクトには、それぞれ異なる重みが割り当てられてもよい。このような重みが無視された場合、第1スコアおよび第2スコアは、第1の数および第2の数にそれぞれ等しくてもよい。その他の場合、スコアは、視野に存在するオブジェクトに割り当てられた重み値に少なくとも部分的に基づいてもよい。
さらに、デバイスは、信号162に基づいてレンズ系110を調整するために連結された焦点コントローラ170を備えてもよい。
また、デバイス(システム100)によって実行され得るこれらの動作は、オブジェクト距離情報に基づいてオートフォーカス機能を提供するための方法を規定する。オブジェクト距離情報については、一実施形態を例にさらに詳細を後述する。オブジェクト距離情報は、非一時的なコンピュータ読み取り可能な記憶媒体に格納された対応する命令を実行することによって実現されてもよい。
図2は、実施形態に係る、レンズ系の合焦構成を決定するための方法200に含まれる要素を説明する図である。様々な実施形態の特定の特徴を例示するために、本明細書において、図3A、図3Bに示すシナリオ例を例に方法200を説明する。図3Aは、実施形態に係る、イメージセンサデバイス310を操作する環境300の上面図を示す。図3Bは、イメージセンサデバイス310から環境300に存在するそれぞれのオブジェクトまでの、単一線360上に投影された様々な距離のビュー350を示す図である。方法200は、イメージセンサデバイス310に含まれる1つ以上の構成要素を用いて実行されてもよい(たとえば、イメージセンサデバイス310は、システム100の特徴の一部またはすべてを含む)。しかしながら、その他の実施形態は、本明細書に記載の特徴を有する各種その他のイメージセンサデバイスによって実行される方法200を含む。
一実施形態では、方法200は、ステップ210において、レンズ系の視野に存在する複数のオブジェクトの各々までの距離を識別することを含む。たとえば、図3Aに示すように、イメージセンサデバイス310のレンズ系312を通して観測可能な(たとえば、境界線(lines of sight)322、324との間の)視野320に、図に示す6つのオブジェクトA〜Fなど、複数のオブジェクトが各々存在するよう、イメージセンサデバイス310が配置されてもよい(置かれるまたは向けられてもよい)。オブジェクトA〜Fは、いくつかの実施形態を限定するものではなく、イメージセンサデバイス310は、より多くの、より少ない、および/または配置が異なるオブジェクトに基づいて方法200を実行するように構成されてもよい。
視野320におけるオブジェクトの位置は、たとえば、距離寸法xおよび半径寸法θからなる極座標系(たとえば、円筒座標系または球面座標系の一部)を少なくとも部分的に参照して識別されてもよい。図に示すシナリオ例において、視野320は、オブジェクトAを位置(x1,θ4)に、オブジェクトBを位置(x2,θ3)に、オブジェクトCを位置(x3,θ2)に、オブジェクトDを位置(x4,θ5)に、オブジェクトEを位置(x5,θ6)に、オブジェクトFを位置(x6,θ1)に有する。図3Aに示すシナリオ例では、オブジェクトA〜Fは、各々、2次元平面に存在する。しかしながら、このようなオブジェクトの一部またはすべては、様々な方法で3次元空間におけるそれぞれ異なる上下方向の高さに位置してもよいことが分かるであろう(この場合、たとえば、オブジェクトの位置の上下方向の高さを有するコンポーネントによって、オブジェクトとイメージセンサ310との間にさらなる距離が生じ得る可能性がある)。ステップ210における判断は、たとえば、距離x1、x2、x3、x4、x5、x6を識別することを含んでもよい(このような識別は、この場合、たとえば、信号142に基づいて距離評価回路150を用いて行われる)。
方法200は、(図3Aの例において、レンズ系312を用いて)実装される合焦構成の第1の決定を行うことをさらに含んでもよい。このような決定(本明細書において、説明が煩雑になるのを防ぐため、「第1の焦点決定」とも称す)によって、レンズ系の焦点が決定されてもよい(たとえば、合焦オブジェクトの数に基づいて少なくとも2つの合焦構成の比較評価を提供するための動作を含む)。たとえば、第1の焦点決定は、ステップ220において、複数のオブジェクトのうちの第1オブジェクトが第1の近被写界深度に位置している間に、複数のオブジェクトのうち、レンズ系の第1の合焦構成および第1の絞り(すなわち、固定あるいは調整可能であってもよい特定の絞りサイズ)によって焦点が合うオブジェクトの第1の数を判断することを含んでもよい。第1の数は、複数のオブジェクトのうち、第1焦点視野が第1の合焦構成および第1の絞りの両方を用いて実装されている間にレンズ系を用いて観測した場合に焦点が合って見えるオブジェクトの第1の総数を表してもよい。
第1の焦点決定は、ステップ230において、複数のオブジェクトのうちの第2オブジェクトが第2の近被写界深度に位置している間に、複数のオブジェクトのうち、第2の合焦構成および第1の絞りによって焦点が合うオブジェクトの第2の数を判断することをさらに含んでもよい。第2の数は、複数のオブジェクトのうち、第2焦点視野がレンズ系の第2の合焦構成および第1の絞りを用いて実装される間にレンズ系を用いて観測した場合に焦点が合って見えるオブジェクトの第2の総数を表してもよい。ステップ230における判断は、第2の合焦構成に対応する第2の合焦オブジェクトセットに含まれるオブジェクトの総数を計数することを含んでもよい。
図3Bは、合焦構成決定(ステップ220および230における決定を含む決定など)の一例を説明する図である。合焦構成決定は、複数の合焦構成の各々について、その合焦構成に対応する合焦オブジェクトセットに含まれるオブジェクトの数を計数することを含む。このような数(本明細書において、「合焦オブジェクト数」と称す)は、特定のオブジェクト距離の距離に等しい距離に近被写界深度変数を設定することと、近被写界深度値に対応する(たとえば、一致する)遠被写界深度値を算出または決定することとを含んでもよい。次に、ステップ210において識別された距離を評価して、どのオブジェクトが近被写界深度と近被写界深度に対応する遠被写界深度との間に存在するかを判断してもよい。
たとえば、ビュー350に示すように、合焦構成決定は、焦点視野D1について第1の合焦オブジェクト数を行ってもよく、D1の近被写界深度は、イメージセンサ310からオブジェクトAと同じだけ離れた距離(x1−x0)に位置することになる。第1の合焦オブジェクト数は、レンズ系312がD1を助長するために第1の合焦構成を有する場合、オブジェクトA〜Fのうちの1つ(すなわち、オブジェクトA)の焦点だけが合っている(または焦点が合うことになる)と判断してもよい。焦点視野D2について第2の合焦オブジェクト数の計数を行ってもよく、D2の近被写界深度は、イメージセンサ310からオブジェクトBと同じだけ離れた距離(x2−x0)に位置することになる。第2の合焦オブジェクト数は、レンズ系312がD2を助長するために第2の合焦構成を有する場合、オブジェクトのうち、合わせて3つのオブジェクト(すなわち、オブジェクトB、C、およびD)の焦点が合っているまたは合うことになると判断してもよい。
合焦構成決定は、さらに、焦点視野D3について第3の合焦オブジェクト数の計数を行ってもよく、D3の近被写界深度は、イメージセンサ310からオブジェクトCと同じだけ離れた距離(x3−x0)に位置することになる。第3の合焦オブジェクト数によって、レンズ系312がD3を助長するために第3の合焦構成を有する場合、オブジェクトのうち、合わせて2つのオブジェクト(すなわち、オブジェクトCおよびD)の焦点が合っているまたは合うことになると判断してもよい。焦点視野D4について第4の合焦オブジェクト数の計数を行ってもよく、D4の近被写界深度は、イメージセンサ310からオブジェクトDと同じだけ離れた距離(x4−x0)に位置することになる。第4の合焦オブジェクト数によって、レンズ系312がD4を助長するために第4の合焦構成を有する場合、オブジェクトのうち、合わせて2つのオブジェクト(すなわち、オブジェクトDおよびE)の焦点が合っているまたは合うことになると判断してもよい。
合焦構成決定は、さらに、焦点視野D5について第5の合焦オブジェクト数の計数を行ってもよく、D5の近被写界深度は、イメージセンサ310からオブジェクトEと同じだけ離れた距離(x5−x0)に位置することになる。第5の合焦オブジェクト数によって、レンズ系312がD5を助長するために第5の合焦構成を有する場合、1つのオブジェクト(すなわち、オブジェクトE)の焦点だけが合っているまたは合うことになると判断してもよい。焦点視野D6について第6の合焦オブジェクト数の計数を行ってもよく、D6の近被写界深度は、イメージセンサ310からオブジェクトFと同じだけ離れた距離(x6〜x0)に位置することになる。第6の合焦オブジェクト数によって、レンズ系312がD6を助長するために第6の合焦構成を有する場合、1つのオブジェクト(すなわち、オブジェクトF)の焦点だけが合っているまたは合うことになると判断してもよい。D1〜D6のそれぞれの被写界深度は、実質的に等しくてもよい(たとえば、互いに10%以内、いくつかの実施形態では、互いに5%以内)。
方法200によって行われる合焦構成決定は、さらに、ステップ240において、ステップ220で判断された第1の数に基づく第1スコアと、ステップ230で判断された第2の数に基づく第2スコアとの比較を行うことを含んでもよい。たとえば、第1スコアおよび第2スコアは、第1の数および第2の数とそれぞれ等しくてもよい。別の実施形態では、スコアは、視野に存在するオブジェクトに割り当てられた重み値に少なくとも部分的に基づいてもよい。このような重み値の割り当ては、たとえば、視野に存在する当該オブジェクトの位置に基づいてもよい。例示として、視野の基準点または基準線(たとえば、中心、中線、エッジおよび/または角)を基準としたオブジェクトの位置に少なくとも部分的に基づいて重み値がオブジェクトに割り当てられてもよいが、これに限定されない。これに加えて、または、これに代えて、このような重み値は、視野に存在する1つ以上のその他のオブジェクトを基準とした視野におけるオブジェクトの位置に少なくとも部分的に基づいて当該オブジェクトに割り当てられてもよい。これに加えて、または、これに代えて、このような重み値は、画像認識処理によって、オブジェクトに対応するとして識別されたオブジェクトクラス型に少なくとも部分的に基づいて割り当てられてもよい。
ステップ240において行われた比較結果に基づいて、方法200は、さらに、ステップ250において、第1の合焦構成または第2の合焦構成との間でどちらを優先するかを示す信号を提供することさらに含んでもよい。たとえば、この信号は、第1の合焦構成が第2の合焦構成よりも優先されることを指定または示してもよい。ステップ250においても提供される信号は、第1の合焦構成とともに提供される第1焦点視野によって、他の場合に第2の合焦構成によって提供され得る第2焦点視野よりも多くの合焦オブジェクト(および/または、合焦オブジェクトについてのより良く重み付けされたスコア)が生じることを示してもよい。
図3Bに示すシナリオ例を再び参照すると、ステップ250において、信号は、D2を助長する合焦構成が、D1を助長する合焦構成よりも優先されることを示してもよい。このような信号は、複数のこのような構成の中から、最も多くの合焦オブジェクトを生じさせる合焦構成を識別してもよい。いくつかの実施形態では、ステップ250において提供される信号は、複数のオブジェクトの各々が近被写界深度からずれている間に焦点が合うオブジェクトの数とは関係なく(たとえば、複数のオブジェクトのうちの1つを近被写界深度に配置するための合焦構成以外の合焦構成に対応する合焦オブジェクト数の判断とは関係なく)生成されてもよい。たとえば、視野320に存在するオブジェクトA〜Fについて行われる合焦構成決定は、6つの合焦オブジェクト数の計数(すなわち、図に示す焦点視野D1〜D6の各々について)のみを行うことを含んでもよい。
レンズの焦点を決定するための従来の技術は、様々な方法で焦点距離の範囲全体をスイープし、大きい焦点視野セットの各々についての計算を行う。このより大きなセットは、通常、近被写界深度に位置する(または、位置することになる)識別されたオブジェクトが存在しない多くの焦点視野を含む。対照的に、いくつかの実施形態は、より少ない、より具体的な焦点視野セットのスコアを算出する(たとえば、焦点視野の総数が複数のオブジェクトの総数よりも大きくならない)。D1〜D6の比較評価(たとえば、D1〜D6のそれぞれ の間の多くの中間焦点視野も評価しない)によって、多くのこのような実施形態から得られる1つの効率が示される。従来の技術と比較すると、このような実施形態は、焦点視野を評価するためのより簡潔で、それゆえ、より高速の処理を提供することによって、より効率的である。
ステップ250において提供される信号に基づいてイメージセンサデバイスを操作するために、方法200は、1つ以上の動作(図示せず)をさらに含んでもよいが、いくつかの実施形態は、この点について限定されない。たとえば、方法200は、さらに、ステップ250において提供される信号に基づいてレンズ系を構成するステップを含んでもよい(たとえば、レンズ系は、第1オブジェクトを近被写界深度に位置させるための第1の構成を実装するためのものである)。このような実施形態では、第1オブジェクトではないオブジェクトが(すべての複数のオブジェクトのうちの)レンズアレイに対する最近オブジェクトであってもよい。レンズ系を構成した後、方法200は、さらに、画素アレイを操作して、レンズ系を用いて受像した画像を撮像してもよい。方法200は、1回以上繰り返されてもよいが、いくつかの実施形態は、この点について限定されない(たとえば、選択回路160が(たとえば)第1の焦点決定を含む複数の焦点決定のうちの1つ以上の焦点決定をさらに行うことを含む)。たとえば、このような複数の焦点決定の一部またはすべては、各々、レンズ系を用いて動作する異なる絞りに対応してもよい。
図4は、実施形態に係る、合焦構成を決定するための方法400に含まれる要素を示す図である。方法200は、たとえば、システム100またはイメージセンサデバイス310を用いて実行されてもよい。実施形態では、方法200は、方法200の特徴の一部またはすべてを含む。
図に示す例示的な実施形態では、方法400は、好ましい合焦構成を決定する際に用いられる変数を初期化するための動作を含む。例示として、このような動作は、ステップ405において、現在優先されている近焦点視野を表す変数DmaxおよびDmaxに対応する合焦オブジェクト数を表す別の変数Nmaxの各々を0に設定することを含んでもよいが、これに限定されない。これに加えて、または、これに代えて、ステップ405における動作は、カウンタ変数xを初期値(たとえば、1)に設定することを含んでもよい。
方法400は、さらに、ステップ410において、レンズ系を介して観測可能な視野内にあると判断された複数のオブジェクトのうち、x番目のオブジェクト(x番目は、変数xの現在値に対応する順序)の距離dxを判断することを含んでもよい。距離dxは、レンズ系のレンズにおけるまたはレンズ上の中心点などの基準位置と比較して判断されてもよい。ステップ415において、方法400は、合焦オブジェクト数を表す値Nxを決定してもよい(すなわち、x番目のオブジェクトを近焦点視野に配置する合焦構成をレンズ系が有する間に焦点が合っている(または焦点が合うことになる)オブジェクトの数)。ステップ415における決定は、たとえば、ステップ220における判断またはステップ230における判断の動作など、1つ以上の動作を含んでもよい。
方法400は、ステップ415において直近で決定された値NxがNmaxの現在値よりも大きいかどうかを、ステップ420において判断することをさらに含んでもよい。Nmaxが現在のNmax値よりも大きいとステップ420において判断された場合、方法400は、直近で決定されたNxの値に等しい値にNmaxを設定することを含む動作をステップ425において行ってもよい。ステップ425における動作は、さらに、直近で決定されたDnの値に等しい値にDmaxを設定することを含んでもよい。次に、ステップ430において、複数のオブジェクトのうちのその他のオブジェクトが方法400による対処の対象であるかどうかの判断が行われてもよい。ステップ420において、Nmaxが現在のNmax値よりも小さい(または、いくつかの実施形態では、等しい)と判断された場合、方法400は、ステップ425における動作のインスタンスを行わずにステップ430の判断に進んでもよい。
ステップ430における、複数のオブジェクトの各々が既に対処済みであるという判断に応答して、方法400は、Dmax直近の値に等しい近被写界深度を提供する合焦構成をレンズ系において実装するための後続の動作(図示せず)に進んでもよい。430において、オブジェクトのうちの少なくとも1つが未対処であると判断された場合、方法400は、ステップ435において、カウンタxをインクリメントし、ステップ410における判断の別のインスタンスを(xの新たにインクリメントされた値について)実行してもよい。
一実施形態では、方法400による対処の対象である複数のオブジェクトのうちの最初のx番目のオブジェクト(すなわち、第1オブジェクト)は、複数のオブジェクトのうち、レンズ系に最も近いオブジェクトである。方法400による対処の対象である次のx番目のオブジェクトの各々は、たとえば、レンズ系から次に遠く離れているオブジェクトであってもよい。このような実施形態では、1つ以上のテスト条件(図示せず)をさらに評価して、方法400から出るかどうかを判断してもよい。
例示として、(たとえば、ステップ420における)Nxがx番目のオブジェクトおよび(複数のオブジェクトのうちの)x番目のオブジェクトよりもレンズ系から離れているすべてのその他のオブジェクトを表すとの判断に応答して、方法400から早く出てもよいが、これに限定されない。これに加えて、または、これに代えて、(たとえば、ステップ420における)後続のNxについての評価がいずれもNmaxの現在値以下であるとの判断に応答して、方法400から早く出てもよい(たとえば、方法400が、レンズ系からのそれぞれの距離の昇順に従って順にオブジェクトに対処する)。
図5は、視野に存在するオブジェクトのそれぞれのスコアに基づいてレンズ系の合焦構成が決定される実施形態の特徴を示す図であり、スコアは、当該オブジェクトのそれぞれに割り当てられるそれぞれ異なる重み値に基づいて決定される。このような決定は、たとえば、1つのシステム100またはイメージセンサデバイス310によって行われてもよい(たとえば、方法200、400の一方に従って)。
図5は、実施形態に係る、イメージセンサデバイス510を操作する環境500の上面図を示す。図5に示すように、オブジェクト(たとえば、図に示す複数のオブジェクトA〜F)が各々、境界線522、524との間の、イメージセンサデバイス510のレンズ系512を通して観測可能な視野520に存在するよう、イメージセンサデバイス510が配置されてもよい(置かれるまたは向けられてもよい)。これに加えて、または、これに代えて、イメージセンサデバイス510は、様々な実施形態において、より多くの、より少ない、および/または配置が異なるオブジェクトを撮像するように配置されてもよい。
図5Bは、視野520内のオブジェクトA〜F(シナリオ例における、人)のビュー550の一例を示す図であり、ビュー550は、レンズ系512を通して見えている。レンズ系512についての合焦構成は、たとえば、オブジェクトA〜Fのレンズ系512からのそれぞれの距離x1〜x6に少なくとも部分的に基づいて決定されてもよい。いくつかの実施形態では、このような合焦構成の決定は、さらに、ビュー550に含まれるオブジェクトA〜Fの一部またはすべてのそれぞれの位置に基づいてもよい。
たとえば、予めプログラムされた参考情報(たとえば、メモリ130に格納された)は、ビュー550のそれぞれ異なる領域に対応してもよく、各領域は、その領域に存在するオブジェクトに付けられた価値の程度を示す値を各々が有する。図に示す例示的な実施形態では、このような領域は、ビュー550(視野520の中心線526に一致する中心)の中心に位置する領域554を含む。領域は、領域554と隣り合い、かつ領域554を中心に広がる領域556と、領域556と隣り合い、かつ領域556を中心に広がる別の領域558とをさらに含んでもよい。領域558を中心に広がるさらに別の領域は、ビュー550のエッジ552まで広がってもよい。
このような領域のうちの所与の領域について、当該領域に存在すると識別されたオブジェクトには、その領域に対応付けられた予め定義された価値と等しいまたは当該価値に基づいた重みが割り当てられてもよい。図に示す例示的な実施形態では、オブジェクトAには、領域554に対応する第1の重みが割り当てられてもよく、オブジェクトB、C、およびDには、各々、領域558に対応する第2の重みが割り当てられてもよい。オブジェクトEおよびFには、各々、領域558と隣り合い、かつ、領域558を囲む領域に対応する第3の重みが割り当てられてもよい。
レンズ系512の所与の合焦構成CxについてのスコアSを算出してもよい(たとえば、Cxは、複数のオブジェクトのうちのx番目のオブジェクトのレンズ系512からの距離に等しい近被写界深度を提供する)。一実施形態では、S値は、下記に従って算出されてもよい。
Iは、複数のオブジェクトの総数に等しい整数であり、Bixは、Cx時にi番目のオブジェクトの焦点が合うまたは合うことになる場合の「1」に等しい(そうでない場合、「0」に等しい)Boolean値であり、Wは、i番目のオブジェクトが位置するビュー550の領域に対応付けられた重み値である。これに加えて、または、これに代えて、他の実施形態では、所与の重み値Wは、対応するi番目のオブジェクトが属するオブジェクト型に基づいて決定されてもよい。例示として、重み値Wは、当該対応するi番目のオブジェクトが人の顔(またはその一部)オブジェクト型の1つのインスタンスであると画像認識処理が識別した場合、より有意であってもよいが、これに限定されない。特定の重みをオブジェクトにそれぞれ割り当てることは、(たとえば、メーカー、小売業者、コンピュータネットワークサービス、またはその他の業者によって)予めプログラムされたまたは予め定められた多種多様なあり得るオブジェクト型のいずれを優先するかに基づいてもよい。1つの例示的な実施形態では、人の顔オブジェクト型のオブジェクトには、1つ以上の別のオブジェクト型よりも有意な(たとえば、大きな値の)重みが割り当てられてもよい。しかしながら、このような優先を決定する技術は、実装に特有な詳細によって異なってもよく、いくつかの実施形態に対する限定ではない。合焦オブジェクト数とは対照的に、S値(または、W値)は、たとえば、整数以外の数字であってもよい。式(6)は、所与のx番目のオブジェクトのSを決定するための計算の一例に過ぎない。異なる実施形態に従って各種その他の計算を行いS値を決定してもよい。
いくつかの実施形態は、視野520に位置していると識別されたIオブジェクトうちの2つ以上(たとえば、各々)についてのS値を算出してもよい。次に、このようなスコアのこのような評価に基づいてレンズ系512が構成されてもよい。たとえば、最大S値を有する合焦構成に基づいてレンズ系512の合焦構成を実装してもよい。いくつかのシナリオでは、2つ以上の合焦構成が同じS値を有してもよい(このS値は、算出されたいずれのS値よりも大きい)。このような実施形態では、このような2つ以上の合焦構成のうちの1つが、その他の合焦構成と比べて最短焦点距離を有することに基づいて選択および実装されてもよい。
光デバイスを操作するための技術およびアーキテクチャを本明細書において説明した。本明細書における詳細な説明の一部は、アルゴリズムおよびコンピュータメモリ内のデータビットに対する操作のシンボル表現という形で示した。これらのアルゴリズムによる説明および表現は、コンピュータ技術の当業者が作業の要旨を他の当業者に最も効果的に伝えるために用いられる手段である。アルゴリズムは、本明細書において、一般に、所望の結果をもたらす首尾一貫した一連のステップであると考えられる。これらのステップは、物理量の物理的な操作を必要とするステップである。通常、必須ではないが、これらの量は、格納、転送、結合、比較、または操作することができる電気信号または磁気信号の形をとる。主に一般的な使用方法という理由から、これらの信号をビット、値、要素、記号、文字、用語、数字などと称することが便利である場合があることが示されている。
しかしながら、これらのおよび同様の用語のすべては、適切な物理量に対応付けられており、これらの量に付された便利な名称に過ぎないことを留意されたい。特に具体的に明示しない限り、本明細書における説明から明らかなように、説明の全体を通して、「処理する(processing)」、「演算する(computing)」、「算出する(calculating)」、「決定/判断する(determining)」、または「表示する(displaying)」などの用語を用いた説明は、コンピュータシステムのレジスタおよびメモリ内の、物理(電子)量で表されるデータを操作して、コンピュータシステムメモリ、レジスタ、またはその他のこのような情報記憶装置、送信装置もしくは表示装置内の物理量として同様に表されるその他のデータに変換するコンピュータシステムまたは同様の電子コンピューティングデバイスのアクションおよび処理を指すことが分かる。
また、特定の実施形態は、本明細書に記載の動作を実行するための装置に関してもよい。この装置は、要求される目的を実現するために特別に構成されていてもよく、コンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータを備えてもよい。このようなコンピュータプログラムは、フロッピー(登録商標)ディスク、光ディスク、CD−ROM、および光磁気ディスクを含む任意の種類のディスク、ROM(Read−Only Memory)、DRAM(Dynamic RAM)などのRAM(Random Access Memory)、EPROM、EEPROM、磁気カードもしくは光カード、または電子命令を格納するのに適した、コンピュータシステムバスに連結された任意の種類の媒体など、コンピュータ読み取り可能な記憶媒体に格納されてもよいが、これらに限定されない。
本明細書において示したアルゴリズムおよび表示は、特定のコンピュータまたはその他の装置に固有に関連するものではない。本明細書における教示に従って、プログラムとともに様々な汎用システムを利用してもよく、必要な方法ステップを実行するために、より特化した装置を構成することが便利であることが示されるだろう。様々なこうしたシステムに必要な構造は、本明細書の説明から明らかになるであろう。これに加えて、特定のプログラミング言語を例に特定の実施形態を説明していない。本明細書に記載のこのような実施形態の教示を実現するために、様々なプログラミング言語を利用してもよいことが分かるであろう。
本明細書において説明したものに加えて、請求項の範囲から逸脱することなく、開示の実施形態およびその実装形態に対して様々な変更がなされてもよい。そのため、本明細書における例示は、厳密ではなく、例示であると解釈されるべきである。本発明の範囲は、添付の特許請求の範囲によってのみ示されるべきである。

Claims (22)

  1. デバイスであって、
    前記デバイスの外部の環境から光を受光するためのレンズ系と、
    第1オブジェクトおよび第2オブジェクトを含んだ複数のオブジェクトの各々までの距離を識別するように構成された距離評価回路と、
    前記レンズ系の焦点を決定するために前記距離評価回路に連結された選択回路とを備え、前記選択回路は、論理を含み、前記論理は、実行されると、前記デバイスに動作を実行させ、前記動作は、
    前記複数のオブジェクトのうち、前記第1オブジェクトが第1の近被写界深度に位置している間に第1の合焦構成および第1の絞りによって焦点が合うオブジェクトの第1の数を判断することと、
    前記複数のオブジェクトのうち、前記第2オブジェクトが第2の近被写界深度に位置している間に第2の合焦構成および前記第1の絞りによって焦点が合うオブジェクトの第2の数を判断することと、
    前記第1の数に基づく第1スコアと、前記第2の数に基づく第2スコアとを比較することと、
    前記比較に基づいて、前記第1の合焦構成または前記第2の合焦構成との間でどちらを優先するかを示す信号を提供することとを含み、前記デバイスは、さらに、
    前記信号に基づいて前記レンズ系を調整するために連結された焦点コントローラと、
    前記レンズ系を用いて受像した画像を撮像するために光結合されたイメージセンサとを備える、デバイス。
  2. 前記選択回路は、前記複数のオブジェクトの各々が近被写界深度からずれている間に焦点が合うオブジェクトの数とは関係なく前記信号を生成する、請求項1に記載のデバイス。
  3. 前記選択回路は、さらに、前記レンズ系の1つ以上の他の焦点を決定し、前記1つ以上の他の焦点の各々は、部分的に、前記第1の絞り以外の絞りによる焦点である、請求項1に記載のデバイス。
  4. 前記信号は、前記第1の合焦構成を識別し、前記複数のオブジェクトのうち、前記第1オブジェクトではないオブジェクトが前記レンズアレイに最も近いオブジェクトである、請求項1に記載のデバイス。
  5. 前記動作は、前記視野におけるオブジェクトの位置に基づいて前記オブジェクトに割り当てられる第1の重み値に基づいて、前記第1スコアを算出することをさらに含む、請求項1に記載のデバイス。
  6. 前記視野における前記オブジェクトの位置は、前記視野の基準点または基準線を基準とした位置である、請求項5に記載のデバイス。
  7. 前記基準点は、前記視野の中心である、請求項6に記載のデバイス。
  8. 前記視野における前記オブジェクトの位置は、前記複数のオブジェクトのうちの別のオブジェクトを基準とした位置である、請求項5に記載のデバイス。
  9. 前記第1スコアは、整数以外の数字を含む、請求項5に記載のデバイス。
  10. 前記動作は、オブジェクトのオブジェクト型に基づいて前記オブジェクトに割り当てられる第1の重み値に基づいて、前記第1スコアを算出することをさらに含む、請求項1に記載のデバイス。
  11. 前記オブジェクト型は、人の顔オブジェクト型を含む、請求項10に記載のデバイス。
  12. 命令を格納した非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令は、1つ以上の処理装置によって実行されると、前記1つ以上の処理装置に、方法を実行させ、前記方法は、
    レンズ系の視野に存在する、第1オブジェクトおよび第2オブジェクトを含んだ複数のオブジェクトの各々までの距離を識別するステップと、
    前記レンズ系の焦点を決定するステップとを含み、前記決定するステップは、
    前記複数のオブジェクトのうち、前記第1オブジェクトが第1の近被写界深度に位置している間に第1の合焦構成および第1の絞りによって焦点が合うオブジェクトの第1の数を判断することと、
    前記複数のオブジェクトのうち、前記第2オブジェクトが第2の近被写界深度に位置している間に第2の合焦構成および前記第1の絞りによって焦点が合うオブジェクトの第2の数を判断することと、
    前記第1の数に基づく第1スコアと、前記第2の数に基づく第2スコアとを比較することと、
    前記比較に基づいて、前記第1の合焦構成または前記第2の合焦構成との間でどちらを優先するかを示す信号を提供することとを含み、前記方法は、さらに、
    前記信号に基づいて前記レンズ系を調整するステップと、
    前記レンズ系を用いて受像した画像を撮像するステップとを含む、コンピュータ読み取り可能な記憶媒体。
  13. 前記信号は、前記複数のオブジェクトの各々が近被写界深度からずれている間に焦点が合うオブジェクトの数とは関係なく生成される、請求項12に記載のコンピュータ読み取り可能な記憶媒体。
  14. 前記方法は、前記レンズ系の1つ以上の他の焦点を決定するステップをさらに含み、前記1つ以上の他の焦点の各々は、部分的に、前記第1の絞り以外の絞りによる焦点である、請求項12に記載のコンピュータ読み取り可能な記憶媒体。
  15. 前記信号は、前記第1の合焦構成を識別し、前記複数のオブジェクトのうち、前記第1オブジェクトではないオブジェクトが前記レンズアレイに最も近いオブジェクトである、請求項12に記載のコンピュータ読み取り可能な記憶媒体。
  16. 前記方法は、前記視野におけるオブジェクトの位置に基づいて前記オブジェクトに割り当てられる第1の重み値に基づいて、前記第1スコアを算出するステップをさらに含む、請求項12に記載のコンピュータ読み取り可能な記憶媒体。
  17. 前記視野における前記オブジェクトの位置は、前記視野の基準点または基準線を基準とした位置である、請求項16に記載のコンピュータ読み取り可能な記憶媒体。
  18. 前記視野における前記オブジェクトの位置は、前記複数のオブジェクトのうちの別のオブジェクトを基準とした位置である、請求項16に記載のコンピュータ読み取り可能な記憶媒体。
  19. 方法であって、
    レンズ系の視野に存在する、第1オブジェクトおよび第2オブジェクトを含んだ複数のオブジェクトの各々までの距離を識別するステップと、
    前記レンズ系の焦点を決定するステップとを含み、前記決定するステップは、
    前記複数のオブジェクトのうち、前記第1オブジェクトが第1の近被写界深度に位置している間に第1の合焦構成および第1の絞りによって焦点が合うオブジェクトの第1の数を判断することと、
    前記複数のオブジェクトのうち、前記第2オブジェクトが第2の近被写界深度に位置している間に第2の合焦構成および前記第1の絞りによって焦点が合うオブジェクトの第2の数を判断することと、
    前記第1の数に基づく第1スコアと、前記第2の数に基づく第2スコアとを比較することと、
    前記比較に基づいて、前記第1の合焦構成または前記第2の合焦構成との間でどちらを優先するかを示す信号を提供することとを含み、前記方法は、さらに、
    前記信号に基づいて前記レンズ系を調整するステップと、
    前記レンズ系を用いて受像した画像を撮像するステップとを含む、方法。
  20. 前記信号は、前記複数のオブジェクトの各々が近被写界深度からずれている間に焦点が合うオブジェクトの数とは関係なく生成される、請求項19に記載の方法。
  21. 前記信号は、前記第1の合焦構成を識別し、前記複数のオブジェクトのうち、前記第1オブジェクトではないオブジェクトが前記レンズアレイに最も近いオブジェクトである、請求項19に記載の方法。
  22. 前記視野におけるオブジェクトの位置に基づいて前記オブジェクトに割り当てられる第1の重み値に基づいて、前記第1スコアを算出するステップをさらに含む、請求項19に記載の方法。
JP2019525784A 2016-11-15 2017-07-20 オブジェクトの距離情報に基づいてオートフォーカス機能を提供するためのデバイス、システム、および方法 Active JP6960455B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/352,503 US10027879B2 (en) 2016-11-15 2016-11-15 Device, system and method to provide an auto-focus capability based on object distance information
US15/352,503 2016-11-15
PCT/US2017/043017 WO2018093423A1 (en) 2016-11-15 2017-07-20 Device, system and method to provide an auto-focus capability based on object distance information

Publications (3)

Publication Number Publication Date
JP2020502559A true JP2020502559A (ja) 2020-01-23
JP2020502559A5 JP2020502559A5 (ja) 2020-03-12
JP6960455B2 JP6960455B2 (ja) 2021-11-05

Family

ID=59700161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019525784A Active JP6960455B2 (ja) 2016-11-15 2017-07-20 オブジェクトの距離情報に基づいてオートフォーカス機能を提供するためのデバイス、システム、および方法

Country Status (8)

Country Link
US (1) US10027879B2 (ja)
JP (1) JP6960455B2 (ja)
KR (1) KR102138845B1 (ja)
CN (1) CN108076268B (ja)
BR (1) BR112019009917B1 (ja)
DE (2) DE102017121395A1 (ja)
GB (1) GB2555942B (ja)
WO (1) WO2018093423A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108663803B (zh) * 2017-03-30 2021-03-26 腾讯科技(深圳)有限公司 虚拟现实眼镜、镜筒调节方法及装置
CN112291469A (zh) * 2018-07-23 2021-01-29 深圳市真迈生物科技有限公司 成像方法、装置及系统
CN118158524A (zh) * 2018-07-23 2024-06-07 深圳市真迈生物科技有限公司 成像方法、装置及系统
WO2020041734A1 (en) * 2018-08-24 2020-02-27 Bossa Nova Robotics Ip, Inc. Shelf-viewing camera with multiple focus depths
US10554918B1 (en) * 2018-12-06 2020-02-04 Alibaba Group Holding Limited High definition, large capture volume, camera array system
CN110225244B (zh) * 2019-05-15 2021-02-09 华为技术有限公司 一种图像拍摄方法与电子设备
CN112073601B (zh) * 2019-06-11 2022-02-01 杭州海康微影传感科技有限公司 一种聚焦方法、装置、成像设备及计算机可读存储介质
JP2023502792A (ja) * 2019-11-25 2023-01-25 ホロジック インコーポレイティド デジタル撮像システム及び方法
CN114667457A (zh) * 2019-12-11 2022-06-24 三星电子株式会社 电子设备及其控制方法
US20210326064A1 (en) * 2020-04-15 2021-10-21 Micron Technology, Inc. Media type selection based on object distance
CN111521119B (zh) * 2020-04-24 2021-07-23 北京科技大学 一种铸坯厚度自适应在线图像采集方法
CN114079726B (zh) * 2020-08-13 2023-05-02 华为技术有限公司 一种拍摄方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110104748A (ko) * 2010-03-17 2011-09-23 삼성테크윈 주식회사 디지털 촬영장치 및 그 제어방법
JP2012181324A (ja) * 2011-03-01 2012-09-20 Nikon Corp 撮像装置
JP2014235224A (ja) * 2013-05-31 2014-12-15 株式会社ニコン 撮像装置および制御プログラム
US20150301431A1 (en) * 2014-04-21 2015-10-22 Lustrous Electro-Optic Co., Ltd. Method of capturing images

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3437145C2 (de) 1984-10-10 1996-03-28 Ricoh Kk Automatische Scharfeinstellvorrichtung für photographische Kameras
GB2196134B (en) 1986-09-30 1990-12-19 Canon Kk Camera having auto focus apparatus
JPH02254432A (ja) 1989-03-29 1990-10-15 Canon Inc オートフオーカスカメラ
DE4104113C2 (de) 1990-02-14 1996-05-23 Asahi Optical Co Ltd Kamera mit motorbetriebenem Zoomobjektiv
US5532782A (en) 1994-02-17 1996-07-02 Nikon Corporation Camera having a depth priority operation mode
JPH085915A (ja) 1994-06-15 1996-01-12 Minolta Co Ltd 固定焦点式ズームレンズ
US7099575B2 (en) * 2002-07-08 2006-08-29 Fuji Photo Film Co., Ltd. Manual focus device and autofocus camera
JP4794963B2 (ja) * 2005-06-28 2011-10-19 キヤノン株式会社 撮像装置および撮像プログラム
CN101713904B (zh) * 2005-12-06 2012-08-29 松下电器产业株式会社 数字相机、相机机身、相机系统及该数字相机的控制方法
US7646977B2 (en) * 2007-01-17 2010-01-12 Gateway, Inc. Depth of field bracketing
US20090015681A1 (en) 2007-07-12 2009-01-15 Sony Ericsson Mobile Communications Ab Multipoint autofocus for adjusting depth of field
US20110002680A1 (en) * 2009-07-02 2011-01-06 Texas Instruments Incorporated Method and apparatus for focusing an image of an imaging device
US8229172B2 (en) * 2009-12-16 2012-07-24 Sony Corporation Algorithms for estimating precise and relative object distances in a scene
US8655162B2 (en) 2012-03-30 2014-02-18 Hewlett-Packard Development Company, L.P. Lens position based on focus scores of objects
US9065993B1 (en) 2012-07-31 2015-06-23 Google Inc. Fixed focus camera with lateral sharpness transfer
US9477138B2 (en) * 2013-06-10 2016-10-25 Apple Inc. Autofocus
JP6018029B2 (ja) * 2013-09-26 2016-11-02 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
TWI522720B (zh) 2013-10-29 2016-02-21 Nat Univ Chung Cheng Adjust the focus method
CN105827928A (zh) * 2015-01-05 2016-08-03 中兴通讯股份有限公司 一种选择对焦区域的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110104748A (ko) * 2010-03-17 2011-09-23 삼성테크윈 주식회사 디지털 촬영장치 및 그 제어방법
JP2012181324A (ja) * 2011-03-01 2012-09-20 Nikon Corp 撮像装置
JP2014235224A (ja) * 2013-05-31 2014-12-15 株式会社ニコン 撮像装置および制御プログラム
US20150301431A1 (en) * 2014-04-21 2015-10-22 Lustrous Electro-Optic Co., Ltd. Method of capturing images

Also Published As

Publication number Publication date
GB2555942B (en) 2020-01-15
US20180139376A1 (en) 2018-05-17
KR20190085964A (ko) 2019-07-19
DE202017105587U1 (de) 2018-03-19
CN108076268B (zh) 2020-04-10
CN108076268A (zh) 2018-05-25
KR102138845B1 (ko) 2020-07-28
BR112019009917B1 (pt) 2021-08-31
BR112019009917A2 (pt) 2020-01-14
GB201715163D0 (en) 2017-11-01
GB2555942A (en) 2018-05-16
JP6960455B2 (ja) 2021-11-05
US10027879B2 (en) 2018-07-17
WO2018093423A1 (en) 2018-05-24
DE102017121395A1 (de) 2018-05-17

Similar Documents

Publication Publication Date Title
KR102138845B1 (ko) 오브젝트 거리 정보에 기초하여 자동-초점 기능을 제공하기 위한 디바이스, 시스템 및 방법
JP6887960B2 (ja) 自動焦点トリガのためのシステムおよび方法
JP6731738B2 (ja) 位相検出ピクセルを利用して深さマップを生成するための映像生成装置
CN108401457A (zh) 一种曝光的控制方法、装置以及无人机
KR20080027443A (ko) 촬상장치 및 촬상장치 제어방법과, 컴퓨터 프로그램
KR20170056698A (ko) 자동 포커싱 방법, 장치 및 전자 장치
JP2014057303A (ja) 深度推定手順において改善されたシーン検出を利用するためのシステム及び方法
JP2009098317A (ja) オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
CN110458888A (zh) 基于图像的测距方法、装置、存储介质和电子设备
US10121067B2 (en) Image processing apparatus that determines processing target area of an image based on degree of saliency, image processing method, and storage medium
CN108632604B (zh) 镜头光心的检测方法及装置
WO2023020375A1 (zh) 自动对焦方法、装置、拍摄终端及计算机可读存储介质
JP5968379B2 (ja) 画像処理装置およびその制御方法
US8655162B2 (en) Lens position based on focus scores of objects
US9906724B2 (en) Method and device for setting a focus of a camera
CN106507102A (zh) 一种镜头校正方法及装置
WO2018110282A1 (ja) 焦点調節装置、焦点調節方法、およびプログラムを記憶した記憶媒体
CN112672130B (zh) 图像缝合装置及其操作方法
CN118250551A (zh) 图像拍摄方法及电子设备
CN116418971A (zh) 传感器的平整度检测方法、装置、计算机设备及存储介质
JP2024110273A (ja) 制御装置、制御方法、及びプログラム
JP2023084284A (ja) 物体検知装置、物体検知方法および物体検知プログラム
CN115136580A (zh) 用于图像捕捉的感兴趣区域的动态调整
JP2014106361A (ja) 撮像装置、撮像システム、および、撮像装置の制御方法
KR20200009283A (ko) 포커스 지정 방법 및 이를 수행하는 촬영 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211011

R150 Certificate of patent or registration of utility model

Ref document number: 6960455

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250