JP2014063142A - 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法 - Google Patents

距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法 Download PDF

Info

Publication number
JP2014063142A
JP2014063142A JP2013161913A JP2013161913A JP2014063142A JP 2014063142 A JP2014063142 A JP 2014063142A JP 2013161913 A JP2013161913 A JP 2013161913A JP 2013161913 A JP2013161913 A JP 2013161913A JP 2014063142 A JP2014063142 A JP 2014063142A
Authority
JP
Japan
Prior art keywords
signal
subject
distance
distance detection
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013161913A
Other languages
English (en)
Other versions
JP6202927B2 (ja
Inventor
Kazuya Nohayashi
和哉 野林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013161913A priority Critical patent/JP6202927B2/ja
Priority to US14/417,367 priority patent/US9307140B2/en
Priority to PCT/JP2013/073465 priority patent/WO2014034918A1/en
Publication of JP2014063142A publication Critical patent/JP2014063142A/ja
Application granted granted Critical
Publication of JP6202927B2 publication Critical patent/JP6202927B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/702SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

【課題】被写体によらず被写体距離を高精度に算出可能な距離検出装置及び方法、距離検出装置を用いた撮像装置などを提供する。
【解決手段】距離検出装置110は、複数の画素が配列して構成された撮像手段102により生成された、結像光学系101の第1の瞳領域107を通過した光束による第1の信号と結像光学系の第1の瞳領域とは異なる第2の瞳領域108を通過した光束による第2の信号とに基づき、被写体105までの被写体距離を検出する演算手段104を備える。演算手段は、位相差方式により、第1の信号と第2の信号とに基づきデフォーカス量あるいは被写体距離を算出する第1の処理と、DFD方式により、第1の信号と第2の信号とに基づきデフォーカス量あるいは被写体距離を算出する第2の処理と、を行う。
【選択図】図1

Description

本発明は、距離検出装置に関し、特にデジタルカメラやデジタルビデオカメラなどの撮像装置等に用いられる距離検出装置などに関するものである。
デジタルカメラやデジタルビデオカメラにおいて、撮像素子の一部あるいは全部の画素の位置に、測距機能を有する画素(以下、測距画素)を配置し、位相差方式で被写体の距離を検出するようにした固体撮像素子が提案されている(特許文献1参照)。測距画素は、複数の光電変換部を備え、カメラレンズの瞳上の異なる領域を通過した光束が、それぞれ、異なる光電変換部に導かれるように構成される。各測距画素に含まれる光電変換部で得た信号により、異なる瞳領域を通過した光束により生成される光像(それぞれ「A像」、「B像」とも呼び、両像をまとめて「AB像」とも呼ぶ)を取得する。このAB像の相対的位置変化であるズレ量(以下、「像ズレ量」とも呼ぶ)を検出する。この像ズレ量を、デフォーカス量に変換することで、被写体までの距離を算出できる。デフォーカスとは、撮影レンズの結像面と撮像面(受光面)とが一致せず、レンズの結像面が光軸方向にズレた状態のことを言い、この量がデフォーカス量である。これによると、従来のコントラスト方式とは異なり、距離を測定するためにレンズを動かす必要が無いので、高速・高精度な測距が可能となる。
また、被写体までの距離情報を取得可能な他の方式として、Depth−from−Defocus(DFD)方式が提案されている(特許文献2参照)。DFD方式では、デジタルカメラ等に搭載される撮影レンズの撮影条件(焦点距離、絞り値等)を変えて2画像を取得し、画素毎に画像間のボケの相関値を算出する。ボケの相関値と被写体距離の関係を定めた参照ルックアップテーブルを参照することで、画素毎に被写体までの距離を算出することができる。
特許第4027113号明細書 特許第2756803号明細書
位相差方式は、A像とB像の相関演算を行い像ズレ量の検出を行う。そのため、周期的な被写体などにおいては、被写体が1周期ずれた位置でも、相関があると判断されるため、像ズレ量の候補として複数の値が算出されることがある。一方、DFD方式は、撮影条件の異なる2画像を取得する必要があり、移動する被写体に対しては、高精度の被写体距離を検出できないことがある。また、撮影条件が適切ではない場合には、複数の被写体距離情報が算出されてしまうことがある。このように、従来の距離検出装置では、1回の撮影で被写体までの距離を検出する際に、被写体によっては被写体距離を誤って算出してしまうということがあった。
上記課題に鑑み、本発明の距離検出装置は、複数の画素が配列して構成された撮像手段により生成された、結像光学系の第1の瞳領域を通過した光束による第1の信号と前記結像光学系の前記第1の瞳領域とは異なる第2の瞳領域を通過した光束による第2の信号とに基づき、被写体までの被写体距離を検出する演算手段を備える。前記演算手段は、位相差方式により、前記第1の信号と前記第2の信号とに基づきデフォーカス量あるいは前記被写体距離を算出する第1の処理と、DFD方式により、前記第1の信号と前記第2の信号とに基づきデフォーカス量あるいは前記被写体距離を算出する第2の処理と、を行う。
本発明によれば、上記2つの方式の処理を行うので、被写体によらず被写体距離を高精度に算出可能な距離検出装置、これを用いた撮像装置、距離検出方法などを実現することができる。
本発明の距離検出装置を備えたデジタルカメラの例を示す概略図。 本発明の距離検出装置の実施例1の撮像素子と画素を説明する図。 実施例1の測距画素の画素感度を説明する図。 被写体距離検出のフローチャート。 被写体距離検出のフローチャート。 基線長算出方法を説明する図。 実施例1の動作原理の説明図。 被写体距離検出のフローチャート。 被写体距離検出のフローチャート。 実施例2の画素を説明する図 被写体距離検出のフローチャート。 実施例2の説明図。 実施例2の説明図。
本発明の特徴は、次のことにある。複数の画素が配列して構成された撮像手段により生成された、結像光学系の第1の瞳領域を通過した光束による第1の信号と第2の瞳領域を通過した光束による第2の信号とに基づき、被写体までの距離を検出する。そのために、位相差方式により、第1の信号と第2の信号とに基づきデフォーカス量あるいは前記被写体距離を算出する第1の処理と、DFD方式により、第1の信号と第2の信号とに基づきデフォーカス量あるいは前記被写体距離を算出する第2の処理を含む演算を行う。位相差方式の第1の処理とDFD方式の第2の処理を他の処理とどの様に組み合わせて行うかは、適宜、被写体の状況、距離検出の要求精度、演算部の周りの装置構成などを考慮して種々に決めることができる。
以下、図を用いて本発明の距離検出装置、距離検出方法等について説明する。その際、実施の形態にて、距離検出装置を備えた撮像装置の一例としてデジタルカメラを用いて説明するが、本発明の適用はこれに限定するものではない。例えば、デジタルビデオカメラやライブビューカメラ等の撮像装置、デジタル距離計測器などに用いることができる。また以下、図を用いて説明するが、その際、全ての図において同一の機能を有するものは同一の符号を付け、その繰り返しの説明はなるべく省略する。
(実施例1)
本発明の距離検出装置の実施例1を備えたデジタルカメラの説明をする。
<距離検出装置の構成>
図1において、100は、本実施例の距離検出装置を備えたデジタルカメラである。デジタルカメラ100は、撮影レンズ101、撮像手段である撮像素子102、距離検出装置110を含む。距離検出装置110は、距離検出手段である距離検出部103、メモリ109を含む。図1においては、焦点位置120が撮像素子102からデフォーカスした状態を示している。
本実施例の距離検出装置110に含まれる撮像素子102を図2に示す。図2(a)に、2行×2列の画素を画素群201及び画素群202にて示した。画素群201内には、対角方向に緑画素201Ghが配置され、他の対角方向に、赤画素201Rhと青画素201Bhが配置されている。同様に、画素群202内にも、対角方向に緑画素202Gvが、他の対角方向に、赤画素202Rvと青画素202Bvが配置されている。そして、撮像素子102において、画素群201と画素群202が市松模様状に配列されている。
図2(b)に、図2(a)内のI−I’概略断面図を示す。201MLはマイクロレンズ、201CFはカラーフィルタ、そして201A及び201Bは光電変換部である。図2(c)に、図2(a)内のJ−J’概略断面図を示す。202MLはマイクロレンズ、202CFはカラーフィルタ、そして202A及び202Bは光電変換部である。また、図2(b)及び(c)において、220は受光面であり、光電変換部の光入射側のxy面(+z側の面)である。本実施例の撮像素子102では、1つの画素(緑画素などの各画素)内に光電変換部を2つ配置し、受光面220と射出瞳106が光学的に共役関係になるようにマイクロレンズ201ML、202MLのパワーを設定している。このような配置とすることで、光電変換部201Aと201B(及び202Aと202B)では、それぞれ、射出瞳106の異なる領域を通過した光束を受光することができる。また、画素群201と画素群202では、2つの光電変換部の配置が90°回転している。このような構成とすることで、画素群201では射出瞳106をx方向に分割した異なる領域を通過した光束を光電変換部201Aと光電変換部201Bでそれぞれ受光する。このことで、x方向にコントラスト変化のある被写体に対して被写体距離の検出を行うことができる。また、画素群202では射出瞳106をy方向に分割した異なる領域を通過した光束を光電変換部202Aと光電変換部202Bでそれぞれ受光する。このことで、y方向にコントラスト変化のある被写体に対して被写体距離の検出を行うことができる。一般に、射出瞳106を所定の方向に分割した異なる領域の光束をそれぞれ異なる光電変換部にて受光することを、瞳分割と呼び、前記所定の方向を瞳分割方向と呼ぶ。例えば、光電変換部201Aと光電変換部201Bにおける瞳分割方向はx方向となる。本実施例の撮像素子102の各画素では、主として前述のA像を受光する光電変換部(201A、202A)と主として前述のB像を受光する光電変換部(201B、202B)の受光面220におけるxy断面形状を異なる形状にしている。異なる形状にすることで、射出瞳106上の瞳重心と光学的に共役関係にある受光面220上の共役点を通り、瞳分割方向と垂直な軸に対して、A像を受光する光電変換部とB像を受光する光電変換部が線対称性を有さない関係にしている(非対称にしている)。前記共役点は、瞳重心と光学的に共役関係にある光電変換部の入射側の面上の点であり、瞳分割方向と垂直な軸は第1及び第2の瞳領域の重心位置を結ぶ直線と垂直な軸である。光電変換部(201A、202A)の生成する像信号が依拠する像がA像であり、光電変換部(201B、202B)の生成する像信号が依拠する像がB像である。これに鑑み、以下、光電変換部(201A、202A)を「A画素」、光電変換部(201B、202B)を「B画素」と呼ぶ。このように非対称にすることで、図3及び図6を用いて後述するようにA画素とB画素の感度を非対称にしている。A画素とB画素の感度を非対称にすることで、A画素とB画素は、射出瞳上の異なる領域を通過し、且つ実効的なF値の異なる光束をそれぞれ受光する。A画素により生成されるA像とB画素により生成されるB像を用いることで、後述の位相差方式とDFD方式の距離検出を行うことができる。本明細書において、非対称とは、光電変換部の受光面220におけるxy断面形状や感度分布が、瞳重心と光学的に共役関係にある共役点に対して回転対称性を有さない、または共役点を含み且つ瞳分割方向とは異なる対称軸に対して線対称性を有さないこと指す。
被写体105の距離情報検出方法について、画素群201を例に説明する。被写体105の距離情報を検出するために、撮影レンズ101により、被写体105の像を撮像素子102へ結像する。撮像素子102には、2次元行列状に測距画素(画素群201及び202)が複数配置されている。各測距画素は、射出瞳106の異なる領域(第1の瞳領域107及び第2の瞳領域108)を通過した光束の第1の被写体像信号(A像信号)と第2の被写体像信号(B像信号)を取得する。さらに、後述する処理フローを、距離検出部103内の演算部104(演算手段)にて行うことで、被写体の距離情報を検出する。
本実施例における測距画素の感度は、図3に示すように、入射角度=0°に関して非対称な入射角度依存を有している。図3において、横軸は、光線が光軸(図1の130)となす入射角度、縦軸は感度である。また、実線301は第1の瞳領域107からの光束を主として受光するA画素の感度を示しており、破線302は第2の瞳領域108からの光束を主として受光するB画素の感度を示している。本実施例においては、撮像素子102内全域に測距画素である画素群201及び202を配置している。全域に図2に示す測距画素を配置することで、A画素の光電変換部(201A、202A)にて得られる像信号とB画素の光電変換部(201B、202B)にて得られる像信号を用いて画像生成も可能となる。
<距離検出の処理フロー>
本実施例における、被写体の距離情報を検出する処理を図4のフローチャートに沿って詳細に説明する。ステップS401では、被写体のA像とB像を取得し、各像信号を距離検出部103に伝送する。ステップS402は、デフォーカス量算出工程であり、S401にて取得したA像とB像の像信号に基づき、デフォーカス量を算出する。S402における処理については、図5を用いて後述する。ステップS403は、デフォーカス量を被写体距離へ変換する工程である。S402にて算出されたデフォーカス量と、撮影レンズ101の情報(焦点距離、主点位置など)に基づきデフォーカス量を被写体距離に変換する。
次に、図5を用いてS402におけるデフォーカス量算出工程の処理について説明する。S402では図5(a)に沿った処理を行う。ステップS501は、位相差方式でデフォーカス量の算出を行う位相差方式デフォーカス量算出工程である。S501のより詳細な処理については、図5(b)を用いて後述する。ステップS502は、DFD方式でデフォーカス量の算出を行うDFD方式デフォーカス量算出工程である。S502のより詳細な処理については、図5(c)を用いて後述する。ステップS503は、信頼度の高いデフォーカス量を選ぶデフォーカス量選定工程である。ここでは、メモリ109に格納されている、S501にて得られたデフォーカス量とS502にて得られたデフォーカス量を読み出す。さらに双方のデフォーカス量を比較し、信頼度の高いデフォーカス量を選択する。
続いて、図5(b)に沿って、S501の処理について説明する。ステップS5011は、基線長算出工程である。図6は基線長算出方法を説明する図である。図6(a)は、図1のデジタルカメラ100の中で、射出瞳106と撮像素子102を模式的に示した図である。図3に示すA画素とB画素の感度を撮像素子102から射出瞳106に射影する。この時、撮像素子102内にてA像とB像の像ズレ量を検出する範囲の中心位置を起点に射影を行う。画素感度を射影して得られた瞳感度分布が図6(b)である。図6(b)の瞳感度分布では、色が濃い領域ほど高い感度を有している。また枠602は射出瞳の枠を示している。A画素、B画素それぞれの瞳感度分布の重心位置を601Aと601Bとして示した。重心位置601Aと重心位置601Bを結んだ長さが基線長wとなる。なお、本実施例の撮像素子102においては、A画素を構成する光電変換部(201A、202A)とB画素を構成する光電変換部(201B、202B)の受光面202におけるxy断面形状を異なる形状にしている。その為、A画素の瞳感度分布とB画素の瞳感度分布は、瞳重心(図6(b)中の(x、y)=(0,0))を通り瞳分割方向と垂直な軸(y方向)に対して、回転対称性を有さないようにしている。
次のステップS5012は像ズレ量算出工程である。ここではA像とB像の相関演算を行うことで、像ズレ量rの算出を行う。相関演算は公知の手法を用いることができ、例えば数式1により相関値S(k)を算出し、S(k)=0となるkから、像ズレ量rを算出することができる。ここで、A(i)はA像の像信号データ、B(i)はB像の像信号データ、iは画素番号、kはA像とB像の相対的シフト量である。nは、相関値S(k)の算出に用いる対象画素範囲(測距範囲)を表している。
次のステップS5013はデフォーカス量算出工程である。S5011とS5012にて算出された基線長wと像ズレ量rを数式2の変換式に代入することでデフォーカス量ΔLを算出できる。
なお、Lは撮像素子102から射出瞳106までの距離である。本明細書においては、撮像素子102を基準に−z軸方向のデフォーカス量を負として算出している。上述の説明では、像ズレ量rが1つ算出された場合を例に示したが、被写体によってはS5012にて像ズレ量の候補値が複数算出される場合がある。このような場合に備えて、S5013において各像ズレ量に対応した複数のデフォーカス量を算出し、メモリ109に格納しておく。
図5(c)に沿って、S502の処理について説明する。ステップS5021は、A像とB像のボケ評価値を算出するボケ評価値算出工程である。A画素の像信号とB画素の像信号を用いて、それぞれのボケ評価値を算出する。本実施例では、ボケ評価値として、A画素像信号とB画素像信号のそれぞれのMTF(modulation−transfer−function)を算出する。ステップS5022は、前記第1の被写体像信号と前記第2の被写体像信号のボケの差異を表すボケ相関値の算出を行うボケ相関値算出工程である。本実施例ではA画素像信号のMTFとB画素像信号のMTFの比を算出し、ボケ相関値としている。ステップS5023は、ボケ相関値からデフォーカス量の算出を行うデフォーカス量算出工程である。ボケ相関値とデフォーカス量の関係を定めた参照ルックアップテーブルを予め用意しておく。S5022にて得られたボケ相関値と、参照ルックアップテーブルを用いてボケ相関値をデフォーカス量に変換することで、デフォーカス量を算出する。S5013と同様に、S5023にて算出されたデフォーカス量をメモリ109に格納し、S503にて用いることができるようにしておく。
以上の処理を行うことで、本実施例の距離検出装置110は、被写体によらず、高精度の被写体距離検出を行うことができる。
<被写体によらず高精度の距離算出が可能となる理由>
次に、本実施例の距離検出装置110により、被写体によらず高精度の距離算出が可能となる理由について図7を用いて述べる。図7(a)に、撮像素子102にて得られたA画素の像信号(実線701)とB画素の像信号(破線702)の強度を示した。縦軸は像信号強度であり、横軸は撮像素子102の画素番号である。図7(a)から分かるように、被写体は周期的な輝度分布を有している。撮像素子102に配置されるA画素とB画素がそれぞれ異なる瞳領域からの光束を受光することにより、A像とB像の間にて相対的位置変化(像ズレ)のある像信号を得ることができる。A像とB像の像ズレ量を検出するために、数式1を用いて相関演算を行った結果が図7(b)である。縦軸は相関値S(k)であり、横軸は像のシフト量kである。被写体が周期的な輝度分布を有しているため、相関が高いと判定されるS(k)=0となるkの値が複数出力される。
図7(c)に、ボケ相関値とデフォーカス量の関係を定めた参照ルックアップテーブルを実線706で示した。横軸はデフォーカス量であり、縦軸はボケ相関値である。本実施例の撮像素子102は、図3に示すように非対称な画素感度特性を有する。これは図6(b)の瞳感度分布に示すように、A画素とB画素の瞳上の透過率分布が異なることにより、実効的なF値が異なることを意味する。実効的なF値がA画素とB画素とで異なることにより、デフォーカス量毎のボケ評価値がA画素とB画素間で異なるようになる。図7(c)にて、本実施例のステップS5022にて算出されたボケ相関値を一点鎖線704で示し、ステップS5013にて算出されたデフォーカス量を破線705で示した。図7(b)にて示したように、被写体が周期的な輝度分布を有するとき、複数の像ズレ量が算出される。その為、図7(c)の破線705に示すように、位相差方式により算出されたデフォーカス量(破線705)は複数出力される。一方、DFD方式にて算出されたボケ相関値を用いた場合、一点鎖線704と実線706の交点がデフォーカス量となる。交点を複数有するとき、DFD方式にて算出されるデフォーカス量も複数出力される。
本実施例の距離検出装置110では、ステップS503のデフォーカス量選定工程により、位相差方式とDFD方式のそれぞれにて算出されたデフォーカス量を比較し、信頼度の高いデフォーカス量を選定している。本実施例では、図7(c)の丸707にて示した一点鎖線704、破線705及び実線706の交点は、位相差方式とDFD方式のデフォーカス量が略等しくなる点であることから、この交点の値を信頼度の高いデフォーカス量として選定している。本実施例では、S501及びS502の工程にてデフォーカス量の算出を行ったが、撮影レンズ101の情報を用いてデフォーカス量を被写体距離に変換することで、被写体距離の算出を行ってもよい。その場合には、図4のステップS403の処理を行う必要はない。上記例では、周期的な輝度分布を有する被写体を例に説明したが、位相差方式にてA像とB像の相関演算を行う範囲内に距離の異なる被写体が混在した場合にも、複数の像ズレ量が検出される。このような場合にも位相差方式とDFD方式の双方のデフォーカス量を比較することで高精度に被写体距離を算出することができる。
本実施例の距離検出装置110では、A画素とB画素とで非対称な画素感度特性を有する測距画素を備えた撮像素子102を用いることで、位相差方式による距離検出と、DFD方式による距離検出を行うことができる。すなわち、距離検出手段の演算手段は、第1及び第2の被写体像信号の相対的位置変化に基づき被写体距離を検出する位相差方式距離検出処理と、第1及び第2の被写体像信号のボケ相関値に基づき被写体距離を検出するDFD方式距離検出処理を行うことができる。さらに、位相差方式とDFD方式のそれぞれで検出された被写体距離を比較し、信頼度の高い被写体距離を選択することで、被写体によらず高精度の距離検出を行うことができる。すなわち、演算手段は、位相差方式距離検出工程にて検出された被写体距離とDFD方式距離検出工程にて検出された被写体距離とに基づき、信頼度の高い被写体距離を選択する被写体距離選定処理をさらに行うことができる。ここにおいて、演算手段は、撮像手段を構成する複数の画素の少なくとも一部領域(像ズレ量を検出するための各測距範囲)において得られた第1の被写体像信号と第2の被写体像信号とに基づき位相差方式距離検出処理とDFD方式距離検出処理を行う。
A画素とB画素の画素感度を非対称にするために、A画素とB画素の光電変換部を非対称な構成としたが、マイクロレンズを偏心させることで非対称な画素感度を得てもよい。また、マイクロレンズではなくカラーフィルタと光電変換部の間に導波路を設ける場合には、導波路部を非対称な構成にすることで非対称な画素感度を得ることができる。また、A画素とB画素の画素感度を非対称にすることで、A画素とB画素の像信号間でボケ評価値に差が表れるように構成したが、A画素とB画素の像信号間でボケ評価値に差があればよく、他の方法を用いてもよい。撮影レンズ101の横収差を瞳中心(より一般的に言えば瞳重心であるが、本明細書では瞳中心とも呼ぶ)に対して非対称にすることで、A画素とB画素の像信号間でベストピント位置を変えることができ、これにより、ボケ評価値に差が出るようにしてもよい。つまり、第1の瞳領域内の横収差と第2の瞳領域内の横収差を、結像光学系の射出瞳上の瞳重心に対して非対称としてもよい。位相差方式による距離検出を行うためには、射出瞳に射影したA画素の瞳感度分布とB画素の瞳感度分布のそれぞれの重心位置が異なる位置にあればよい。また、DFD方式による距離検出を行うためには、射出瞳に射影したA画素の瞳感度分布に依拠するA画素が受光する光束の実効的なF値と、射出瞳に射影したB画素の瞳感度分布に依拠するB画素が受光する光束の実効的なF値が異なればよい。A画素とB画素の画素感度を瞳重心に対して非対称性にすることで、位相差方式による距離検出とDFD方式による距離検出の双方を行うことができる測距画素を構成することができる。
本実施例の距離検出装置110内の演算部104では、S402の処理として図5に沿った処理を行ったが、被写体情報に基づく処理を行ってもよく、図8(a)に沿った処理を行ってもよい。ステップS801は、被写体情報を検出する被写体情報検出工程である。ここでは、被写体の輝度情報から被写体の周期性を検出し、また、被写体のコントラストから距離の異なる被写体の有無を判定する。すなわち、演算手段は、第1の被写体像信号と第2の被写体像信号の少なくとも一方を用いて、被写体像のコントラスト情報と周期性情報のいずれかを検出する被写体情報検出処理をさらに行うことができる。次のステップS802の方式選択工程にて、S801の結果に基づき、S501とS502のどちらの処理を行うか判定する。被写体のコントラストが変化する方向と瞳分割方向とが等しい場合、または被写体に周期性があるかまたは距離の異なる被写体が含まれる場合にはS502の処理(DFD方式のデフォーカス量算出)を行う。そうでない場合にはS501の処理(位相差方式のデフォーカス量算出)を行う。周期性の有無については、被写体像の周期が、撮影レンズ101のF値と想定する最大のデフォーカス量より算出される最大像ズレ量よりも小さい場合には周期性があると判断し、また大きい場合には周期性がないと判断することが望ましい。被写体情報に基づき、処理を分岐することで、被写体距離の算出に必要な計算量を削減し、より高速な処理を行うことができる。DFD方式デフォーカス量算出工程にて、複数のデフォーカス量が算出される時には、図8(b)に示すように、図8(a)のS502の処理をS501とS502の処理に置き換えてもよい。すなわち、演算手段は、被写体情報検出工程にて検出された周期性情報が、所定の閾値よりも小さい場合には、位相差方式距離検出処理とDFD方式距離検出処理を行い、所定の閾値以上の場合には、位相差方式距離検出処理のみを行うことができる。
また、より簡便にDFD方式距離検出処理を行うか否かの判定を行うために、S402の処理として図9に沿った処理を行ってもよい。ステップS901は、DFD方式距離検出処理を行うか否かの判定を行うDFD方式実施判定工程である。S901では、S501にて算出されたデフォーカス量が複数あるか否かの判定を行い、複数ある場合にはS502の処理を行い、単一のデフォーカス量のみが出力された場合にはそのまま処理を終了する。図9に沿った処理を行うことで、被写体情報を検出する必要が無くなり、より高速に被写体距離を検出することができる。なお、図9の処理において、S501とS502の処理を入れ替え、S901にて、DFD方式距離検出処理にて算出されたデフォーカス量が複数あると判定された場合には、S501の処理を行うようにしてもよい。ここでは、演算手段は、位相差方式距離検出工程にて算出された距離情報の数とノイズ量情報の少なくとも一方に基づき、位相差方式以外のDFD方式により距離検出処理を行うか否かを決定するDFD方式実施判定処理を行う。或いは、演算手段は、DFD方式距離検出工程にて算出された距離情報の数とノイズ量の少なくとも一方に基づき、位相差方式距離検出処理を行うか否かを判定する位相差方式実施判定処理を行う。本実施例のS5021ではボケ評価値としてMTFを用いたが、A像とB像のボケを評価できる値であればよく、実空間にてA像とB像のボケ評価値を算出してもよい。さらに、S5021とS5022の処理を統合して、ボケ相関値のみを算出する処理としてもよい。S5021とS5022の処理を統合することで、被写体距離の算出に必要な計算量を削減し、より高速に処理を行うことができる。
デジタルスチルカメラ等のように、小さいサイズの撮像素子を用いる場合には、被写界深度が深いために、明確なボケ相関値の差を得にくい。このような場合には、A像とB像の像信号にハイパスフィルタを施した後に、ボケ評価値の算出を行う方法を用いることができる。ハイパスフィルタを用いることで、より高精度に被写体距離を算出することができる。ハイパスフィルタとしては、1次微分フィルタであるグラディエントフィルタや2次微分フィルタであるラプラシアンフィルタを用いることができる。
なお、本実施例では、図5(a)のS503のデフォーカス量選定工程を行うことで、自動的に信頼度の高いデフォーカス量を算出したが、S503の処理は必ずしも行う必要はない。S503の処理を行わず、デジタルカメラ100の使用者が複数の被写体距離の中から選択できるようにしてもよい。
次に、実施例1とは異なる実施形態について説明する。
(実施例2)
本実施例のデジタルカメラ100は、撮像素子102及び距離検出装置110を除き、実施例1と同様の構成を有する。本実施例の撮像素子102は、図10(a)及び図10(b)に概略断面図を示す測距画素を備えている。画素1001Bhは、図2(a)中の画素201Bhの位置に配置され、画素1001Ghは、画素201Ghの位置に配置される。画素1002Gvは図2(a)中の画素202Gvの位置に配置され、画素1002Bvは画素202Bvの位置に配置される。図2(b)及び図2(c)とは異なり、A画素の光電変換部(201A、202A)とB画素の光電変換部(201B、202B)が対称な配置となっている。そのため、図12(a)に画素感度を示すように、入射角度=0°に対して対称な画素感度を有する。図12(a)の横軸及び縦軸は図3と同様であり、実線1201はA画素の画素感度、破線1202はB画素の画素感度を示している。
本実施例の演算部104では、図4に沿った処理を行い、被写体までの距離を検出する。本実施例においては、S402の処理として、撮像素子102面内の光軸130近傍では図11(a)に沿った処理を行い、周辺領域では図11(b)に沿った処理を行う。光軸130近傍では、図11(a)に示すように、位相差方式のデフォーカス量算出工程のみを行う。他方、撮像素子102の周辺領域では、図11(b)に示すように、位相差方式とDFD方式のデフォーカス量算出工程を行う。すなわち、光電変換部(201B、202B)が対称な配置となっている本実施例では、演算手段は、撮像手段の周辺領域では位相差方式距離検出処理とDFD方式距離検出処理を行い、撮像手段の中央領域では位相差方式距離検出処理を行う。
一般に、デジタルカメラ100の撮影レンズ101は、像側テレセントリック光学系にはなっておらず、有限な射出瞳距離を有する。その為、像高に応じて、入射する光束の角度範囲が変化する。光軸130近傍では、図12(a)の角度範囲1203の光束が撮像素子102に入射する。図12(b)に瞳感度分布を示すように、光軸130近傍ではA画素とB画素は射出瞳の中心に対して略対称な瞳感度分布を有する。各瞳感度分布の重心位置は1205A及び1205Bとなり、基線長wcは重心位置1205Aと1205Bを結んだ長さとなる。A画素とB画素の最大感度を有する位置が瞳の枠602内の周辺部に位置するため、光軸130近傍では基線長wcを長くとることができる。
一方、撮像素子102の周辺領域では、図12(a)の角度範囲1204の光束が撮像素子102に入射するため、角度範囲1204の中心に対してA画素とB画素は非対称な画素感度を有する。すなわち、図12(c)に瞳感度分布を示すように、A画素とB画素は非対称な瞳感度分布を有する。撮像素子102の周辺領域では、A画素とB画素が非対称な画素感度を有するため、実施例1と同様にデフォーカス量毎のボケ相関値が異なることを用いたDFD方式の被写体距離検出を行うことができる。なお、位相差方式については、A画素とB画素で射出瞳106内の異なる領域からの光束を受光することにより発生する像ズレ量をデフォーカス量に変換することで被写体距離を検出することができる。周辺領域における重心位置は1206Aと1206Bとなり、各重心位置を結んだ長さが基線長weとなる。周辺領域では、A画素の最大感度を有する位置が瞳の中心付近に寄り、B画素の最大感度を有する位置が瞳の枠602の外に位置するため、基線長weが短くなる。また周辺領域では、撮影レンズ101のヴィネッティングにより瞳の枠602が小さくなることも、基線長weが短くなる要因となる。
位相差方式では、数式2にて像ズレ量rをデフォーカス量(さらには被写体距離)に変換している。一般に、撮像素子102にて得られる像信号はショットノイズ等のノイズを含んだ信号となる。ノイズを含んだ信号を用いて相関演算により像ズレ量rを算出すると、像ズレ量の検出誤差が発生する。基線長が長い場合には、像ズレ量の検出誤差が、算出されるデフォーカス量の検出誤差に与える影響は小さい。一方、基線長が短くなると、像ズレ量の検出誤差によるデフォーカス量の検出誤差が大きくなる。デフォーカス量を被写体距離に変換しているため、光軸130近傍に比べて、周辺領域では、被写体距離の検出誤差が大きくなる。
そこで、本実施例の距離検出装置110では、演算手段は、周辺領域においては位相差方式とDFD方式のデフォーカス量算出処理を行う。図5(a)のS503のデフォーカス量選定工程にて、両方式にて算出されたデフォーカス量を比較し、信頼度の高いデフォーカス量を算出することで、周辺領域においても高精度に被写体までの距離を算出することができる。
周辺領域にて高精度に被写体距離を検出できる理由について、より詳細に説明する。図13は、横軸にデフォーカス量をとった図である。位相差方式により算出されたデフォーカス量の誤差範囲を領域1301で示し、DFD方式により算出されたデフォーカス量の誤差範囲を領域1302で示した。領域1301の範囲と領域1302の範囲を比較することで、両範囲が重なる領域1303は信頼度の高いデフォーカス量と判定できる。領域1303は、領域1301に比べて狭い範囲となるため、高精度に被写体までの距離を検出することができる。なお、領域1301及び1302の幅はノイズに依存する。どの程度のノイズが発生するかの指標としてデジタルカメラ100の測光量または被写体像の輝度情報を用いることができる。予めISO設定値ごとの領域1301と領域1302をメモリ109に格納しておき、デジタルカメラ100の設定に基づき領域1301と領域1302の幅を設定することができる。
周辺領域では、図11(b)に沿った処理を行ったが、実施例1と同様に図11(b)の処理を図8や図9の処理で置き換えてもよい。その際、S802の方式選択工程及びS901のDFD方式実施判定工程では、ノイズ量の指標となるデジタルカメラ100側のISO設定値を考慮することが望ましい。ISO値が小さく、ノイズ量が小さい場合には、位相差方式とDFD方式のいずれの方式であっても、高精度に被写体までの距離を算出することができる。図8または図9に沿った処理を用いることで、より高速に被写体までの距離を算出することができる。すなわち、演算手段は、被写体情報検出工程にて検出された情報と、第1の被写体像信号及び/または第2の被写体像信号のノイズ量との少なくとも1つに基づき、後工程にて行う距離検出処理の方式を選定することができる。
本実施例では、撮像素子102の画素感度が、撮像素子102の全域にて図12(a)となるように配置した。これは、各画素の光電変換部が無限遠に位置する射出瞳と光学的に共役になっていることを意味する。撮像素子102内の像高によらず、位相差方式による被写体距離検出精度を向上させる観点からは、撮影レンズ101の射出瞳位置に合わせて、光電変換部が有限距離の射出瞳位置と光学的に共役になるように、各画素の画素感度を設定することが望ましい。光学的に共役になるように各画素の画素感度を設定することで、周辺領域についても、画素に入射する光束の角度範囲の中心を図12(a)の入射角度=0°近傍にすることができ、位相差方式の距離検出精度を向上させることができる。各画素の光電変換部を有限距離の射出瞳と光学的に共役関係とする際であっても、周辺領域における撮影レンズ101の横収差は、射出瞳の中心に対して非対称となるため、DFD方式による被写体距離の検出を行うことができる。なお、各画素の光電変換部が有限距離の射出瞳と光学的に共役関係にあるように設定する方法としては、各画素の像高に応じて、マイクロレンズ201ML、202MLを偏心させる方法がある。
次に、実施例1、実施例2とは異なる実施形態について説明する。
(実施例3)
本実施例のデジタルカメラ100は、撮像素子102及び距離検出装置110を除き、実施例1と同様の構成を有する。本実施例の撮像素子102は、図2(a)に示した画素群201のみを備えている。すなわち、A像とB像の像ズレがx方向にのみ発生し、y方向には発生しない構成となっている。第1の被写体像信号と第2の被写体像信号の相対的位置変化の方向が、撮像手段内において同一の方向である。
本実施例の演算部104においては、図4のS402の処理として、図8(a)に沿った処理を行う。本実施例においては、S801の被写体情報検出工程において、被写体のコントラストの方向を検出する。続くS802の方式選択工程では、S801にて検出されたコントラストの方向に基づき、S501とS502のどちらの方式で被写体距離を検出するかを選択する。つまり、演算手段は被写体情報検出工程にて検出されたコントラストの方向に応じて、後工程にて行う距離検出処理の方式を選定する。より具体的には、S801にて被写体のコントラストの方向がx方向であると検出された場合には、S501の位相差方式による被写体距離の検出を行う。一方、コントラストの方向がy方向であると検出された場合には、S502のDFD方式による被写体距離の検出を行う。すなわち、演算手段は、被写体情報検出工程にて検出されたコントラストの方向と、第1の被写体像信号と第2の被写体像信号の相対的位置変化の方向が異なる場合には、DFD方式距離検出処理を行い、等しい場合には、位相差方式距離検出処理を行う。
位相差方式デフォーカス量算出工程では、実施例2にて述べたように像ズレ量の検出誤差が大きいほど、被写体距離の検出誤差が大きくなる。像ズレ量の検出誤差を小さくするためには、同じ方向にA像とB像の像ズレ量が発生する測距画素を密に配置し、サンプリング間隔を短くすることが必要となる。本実施例では、像ズレ量がx方向にのみ発生する画素群201のみを配置している。そのため、画素群201である測距画素を密に配置することができ、被写体距離の検出誤差を小さくすることができる。一方、コントラストの方向がy方向の被写体に対しては、DFD方式によるデフォーカス量算出を行うことで、被写体距離の検出を行うことができる。
本実施例においては、各測距画素においてA像とB像の像ズレがx方向にのみ発生するように撮像素子102を構成することで、コントラストの方向がx方向となる被写体に対して高精度に被写体距離を検出することができる。本実施例では、一般に、デジタルカメラ100を横長に構えて使用する頻度が高いことを考慮し、x方向にのみ像ズレが発生するように画素群201のみを配置した。しかし、画素群202のみを配置し、y方向にのみ像ズレが発生するように構成してもよい。
また、像ズレがy=xの関係を満たす方向にのみ発生するように測距画素を配置し、S402の処理として図8(b)に沿った処理を行ってもよい。このように構成することで、コントラストの方向によらず位相差方式による被写体距離検出を行うことができる。一方で、コントラストの方向がy=xを満たさない場合には、画素群201のみを配置した場合に比べて基線長が短くなり、位相差方式による被写体距離検出精度が低下する。このような場合に備え、S802の方式選択工程では、コントラストの方向がy=xを満たさない場合にはS501とS502の工程を行うようにすることで、高精度に被写体距離を検出することができる。また、S402の処理として図9に沿った処理を行うことでも、実施例2と同様に高精度に被写体距離を検出することができる。
(他の実施形態)
本発明の目的は、以下の実施形態によって達成することもできる。即ち、前述した実施形態の機能(演算部などの機能)を実現するソフトウェアのプログラムコードを格納した記憶ないし記録媒体を、距離検出装置に供給する。そして、その演算部のコンピュータ(またはCPU、MPUなど)が記憶媒体に格納されたプログラムコードを読み出し上記機能を実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラム、これを格納した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
本発明のデジタルカメラなどへの適用を考えると、本発明は、被写体像を撮像する撮像部とは別に距離検出を専用で行う距離検出装置(一眼レフカメラ等で用いられる)よりも、撮像部を用いて距離検出をも行う所謂撮像面測距に好適な装置と捉えることができる。上述した様に、本発明の演算部は、半導体素子を集積化した集積回路を用いて構成することができ、IC、LSI、システムLSI、マイクロ処理ユニット(MPU)、中央演算装置(CPU)等で構成することができる。演算部をマイクロ処理ユニットや中央演算装置(CPU)等で構成する場合には、演算部は、コンピュータとして捉えることが可能である。本発明のプログラムは、所定の結像光学系、所定の撮像部、コンピュータなどを備えた撮像装置のコンピュータにインストールすることによって、撮像装置を高精度の距離検出が可能なものとなすことができる。本発明のプログラムは、記録媒体の他、インターネットを通じて頒布することも可能である。
本発明により検出される距離を用いて、撮像装置にて得られる画像と対応する距離分布(距離マップ)を生成することができる。また、画像内の被写体のボケ量はデフォーカス量に依存するので、得られた画像に対して距離分布に基づく処理を行うことで、任意のボケ付加処理、撮影後のリフォーカス処理(任意の位置にピントを合わせる処理)等の画像処理などを適切に行うことができる。
100・・デジタルカメラ(撮像装置)、110・・距離検出装置、101・・撮影レンズ(結像光学系)、102・・撮像素子(撮像手段)、103・・距離検出部(距離検出手段)、104・・演算部(演算手段)、105・・被写体、106・・射出瞳、107・・第1の瞳領域、108・・第2の瞳領域、109・・メモリ部

Claims (15)

  1. 複数の画素が配列して構成された撮像手段により生成された、結像光学系の第1の瞳領域を通過した光束による第1の信号と前記結像光学系の前記第1の瞳領域とは異なる第2の瞳領域を通過した光束による第2の信号とに基づき、被写体までの被写体距離を検出する演算手段を備える距離検出装置であって、
    前記演算手段は、
    位相差方式により、前記第1の信号と前記第2の信号とに基づきデフォーカス量あるいは前記被写体距離を算出する第1の処理と、
    DFD方式により、前記第1の信号と前記第2の信号とに基づきデフォーカス量あるいは前記被写体距離を算出する第2の処理と、を行うことを特徴とする距離検出装置。
  2. 前記演算手段は、
    前記第1の処理および前記第2の処理で算出した複数のデフォーカス量あるいは複数の被写体距離から信頼度の高いデフォーカス量あるいは被写体距離を選択する被写体距離選定処理をさらに行うことを特徴とする請求項1に記載の距離検出装置。
  3. 前記演算手段は、
    前記複数の画素の少なくとも一部において、前記第1の処理と前記第2の処理を行うことを特徴とする請求項1または2に記載の距離検出装置。
  4. 前記第1の瞳領域と前記第2の瞳領域は、前記結像光学系の射出瞳の重心に対して非対称であることを特徴とする請求項1乃至3のいずれか1項に記載の距離検出装置。
  5. 前記画素は、前記第1の瞳領域を通過した光束を受光する第1の光電変換部と前記第2の瞳領域を通過した光束を受光する第2光電変換部とを有し、
    前記第1の光電変換部と前記第2の光電変換部の形状が、前記結像光学系の射出瞳の重心と光学的に共役関係にある前記第1の光電変換部と前記第2の光電変換部の入射側の面上の点を含み、前記第1の瞳領域の重心位置と前記第2の瞳領域の重心位置とを結ぶ直線と垂直な軸に対して線対称性を有さないことを特徴とする請求項1乃至4のいずれか1項に記載の距離検出装置
  6. 前記第1の瞳領域内の横収差と前記第2の瞳領域内の横収差が、前記結像光学系の射出瞳の重心に対して非対称であることを特徴とする請求項1乃至3のいずれか1項に記載の距離検出装置。
  7. 前記演算手段は、
    前記撮像手段の周辺領域にある画素では、前記第1の信号と前記第2の信号を用いて前記第1の処理と前記第2の処理を行い、前記撮像手段の中央領域にある画素では、前記第1の信号と前記第2の信号を用いて前記第1の処理のみを行うことを特徴とする請求項3に記載の距離検出装置。
  8. 複数の画素が配列して構成された撮像手段により生成された、結像光学系の第1の瞳領域を通過した光束による第1の信号と前記結像光学系の前記第1の瞳領域とは異なる第2の瞳領域を通過した光束による第2の信号とに基づき、被写体までの被写体距離を検出する演算手段を備える距離検出装置であって、
    前記演算手段は、
    前記第1の信号と前記第2の信号の少なくとも一方を用いて、被写体像のコントラスト情報と周期性情報のいずれかを検出する被写体情報検出処理を行い、
    前記被写体情報検出処理にて検出された周期性情報が所定の閾値よりも小さい、あるいは、前記コントラストの方向と前記第1の信号と前記第2の信号の相対的位置変化の方向とが等しい第1の場合には、少なくとも位相差方式により、前記第1の信号と前記第2の信号とに基づきデフォーカス量あるいは前記被写体距離を算出する処理を行い、
    前記被写体情報検出処理にて検出された周期性情報が所定の閾値以上、あるいは、前記コントラストの方向と前記第1の信号と前記第2の信号の相対的位置変化の方向とが異なる第2の場合には、DFD方式により、前記第1の信号と前記第2の信号とに基づきデフォーカス量あるいは前記被写体距離を算出する処理を行うことを特徴とする距離検出装置。
  9. 前記第1の場合において、DFD方式により、前記第1の信号と前記第2の信号とに基づきデフォーカス量あるいは前記被写体距離を算出する処理をさらに行うことを特徴とする請求項8に記載の距離検出装置。
  10. 前記演算手段は
    前記被写体情報検出処理にて検出された情報と、前記第1の信号及び/または前記第2の信号のノイズ量情報との少なくとも1つに基づき、前記位相差方式以外にDFD方式により、前記第1の信号と前記第2の信号とに基づきデフォーカス量あるいは前記被写体距離を算出する処理を行うことを決定する処理を行うことを特徴とする請求項9に記載の距離検出装置。
  11. 前記第1の信号と前記第2の信号の相対的位置変化の方向が、前記撮像手段内において同一の方向であることを特徴とする請求項8乃至10のいずれか1項に記載の距離検出装置。
  12. 複数の画素が配列して構成された撮像手段と、被写体の像を前記撮像手段へ結像する結像光学系と、請求項1乃至11の何れか1項に記載の距離検出装置と、を備えたことを特徴とする撮像装置。
  13. 複数の画素が配列して構成された撮像手段により生成された、結像光学系の第1の瞳領域を通過した光束による第1の信号と前記結像光学系の前記第1の瞳領域とは異なる第2の瞳領域を通過した光束による第2の信号とに基づき、被写体までの被写体距離を検出するためのコンピュータに、
    位相差方式により、前記第1の信号と前記第2の信号に基づきフォーカス量あるいは前記被写体距離を検出する工程と、
    DFD方式により、前記第1の信号と前記第2の信号に基づき被写体距離を検出する工程と、
    を実行させることを特徴とするプログラム。
  14. 請求項13に記載のプログラムを格納したことを特徴とする記憶媒体。
  15. 複数の画素が配列して構成された撮像手段により生成された、結像光学系の第1の瞳領域を通過した光束による第1の信号と前記結像光学系の前記第1の瞳領域とは異なる第2の瞳領域を通過した光束による第2の信号とに基づき、被写体までの被写体距離を検出する距離検出方法であって、
    位相差方式により、前記第1の信号と前記第2の信号に基づき被写体距離を検出する工程と、
    DFD方式により、前記第1の信号と前記第2の信号に基づき被写体距離を検出する工程と、
    を含むことを特徴とする距離検出方法。
JP2013161913A 2012-08-31 2013-08-03 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法 Expired - Fee Related JP6202927B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013161913A JP6202927B2 (ja) 2012-08-31 2013-08-03 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法
US14/417,367 US9307140B2 (en) 2012-08-31 2013-08-27 Distance detection apparatus, image sensing apparatus, program, recording medium, and distance detection method
PCT/JP2013/073465 WO2014034918A1 (en) 2012-08-31 2013-08-27 Distance detection apparatus, image sensing apparatus, program, recording medium, and distance detection method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012191347 2012-08-31
JP2012191347 2012-08-31
JP2013161913A JP6202927B2 (ja) 2012-08-31 2013-08-03 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法

Publications (2)

Publication Number Publication Date
JP2014063142A true JP2014063142A (ja) 2014-04-10
JP6202927B2 JP6202927B2 (ja) 2017-09-27

Family

ID=49182469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013161913A Expired - Fee Related JP6202927B2 (ja) 2012-08-31 2013-08-03 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法

Country Status (3)

Country Link
US (1) US9307140B2 (ja)
JP (1) JP6202927B2 (ja)
WO (1) WO2014034918A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016018116A (ja) * 2014-07-09 2016-02-01 キヤノン株式会社 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
JP2016090568A (ja) * 2014-10-31 2016-05-23 キヤノン株式会社 距離計測装置、撮像装置、および距離計測方法
JP2017032646A (ja) * 2015-07-29 2017-02-09 キヤノン株式会社 撮像装置及びその制御方法
JP2017040802A (ja) * 2015-08-20 2017-02-23 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2017044983A (ja) * 2015-08-28 2017-03-02 キヤノン株式会社 画像処理装置及び画像処理方法
WO2018185940A1 (ja) * 2017-04-07 2018-10-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム
JP2020057017A (ja) * 2019-12-25 2020-04-09 キヤノン株式会社 撮像装置及びその制御方法
JP7113327B1 (ja) 2021-07-12 2022-08-05 パナソニックIpマネジメント株式会社 撮像装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI494792B (zh) * 2012-09-07 2015-08-01 Pixart Imaging Inc 手勢辨識系統及方法
JP6429444B2 (ja) * 2013-10-02 2018-11-28 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
JP6432038B2 (ja) * 2014-03-19 2018-12-05 パナソニックIpマネジメント株式会社 撮像装置
JP6381422B2 (ja) * 2014-11-21 2018-08-29 キヤノン株式会社 距離検出装置、撮像装置、および距離検出方法
JP6485116B2 (ja) * 2015-02-27 2019-03-20 富士通株式会社 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP6645682B2 (ja) 2015-03-17 2020-02-14 キヤノン株式会社 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法
US10306132B2 (en) 2015-05-11 2019-05-28 Canon Kabushiki Kaisha Distance calculation apparatus, imaging apparatus and distance calculation method that include confidence calculation of distance information
US10659766B2 (en) 2015-10-30 2020-05-19 Canon Kabushiki Kaisha Confidence generation apparatus, confidence generation method, and imaging apparatus
JP7057090B2 (ja) * 2017-10-11 2022-04-19 キヤノン株式会社 測距装置および測距方法
US10347678B2 (en) * 2017-11-16 2019-07-09 Visera Technologies Company Limited Image sensor with shifted microlens array
JP7117914B2 (ja) * 2018-06-29 2022-08-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11443448B2 (en) * 2019-12-03 2022-09-13 Samsung Electronics Co., Ltd. Incoherent digital holography based depth camera
JP2022083913A (ja) * 2020-11-25 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069577A (ja) * 2007-09-14 2009-04-02 Canon Inc 撮像装置
JP2010016743A (ja) * 2008-07-07 2010-01-21 Olympus Corp 測距装置、測距方法、測距プログラム又は撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965840A (en) 1987-11-27 1990-10-23 State University Of New York Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system
US5170202A (en) * 1990-07-03 1992-12-08 Eastman Kodak Company Contrast-based autofocus mechanism
JPH1167610A (ja) 1997-08-08 1999-03-09 Hitachi Aic Inc 保安装置付コンデンサ
JP4027113B2 (ja) 2002-02-19 2007-12-26 キヤノン株式会社 撮像装置及びシステム
JP2007264299A (ja) * 2006-03-28 2007-10-11 Olympus Imaging Corp 焦点調節装置
JP5028154B2 (ja) * 2007-06-20 2012-09-19 キヤノン株式会社 撮像装置及びその制御方法
JP2009175279A (ja) 2008-01-22 2009-08-06 Olympus Imaging Corp カメラシステム
JP5552214B2 (ja) * 2008-03-11 2014-07-16 キヤノン株式会社 焦点検出装置
JP5675157B2 (ja) 2009-05-12 2015-02-25 キヤノン株式会社 焦点検出装置
JP2012003087A (ja) 2010-06-17 2012-01-05 Olympus Corp 撮像装置
CN102472622B (zh) 2010-06-17 2015-12-02 松下电器产业株式会社 距离推定装置以及距离推定方法
JP6335423B2 (ja) 2012-08-31 2018-05-30 キヤノン株式会社 情報処理装置および情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069577A (ja) * 2007-09-14 2009-04-02 Canon Inc 撮像装置
JP2010016743A (ja) * 2008-07-07 2010-01-21 Olympus Corp 測距装置、測距方法、測距プログラム又は撮像装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016018116A (ja) * 2014-07-09 2016-02-01 キヤノン株式会社 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
JP2016090568A (ja) * 2014-10-31 2016-05-23 キヤノン株式会社 距離計測装置、撮像装置、および距離計測方法
JP2017032646A (ja) * 2015-07-29 2017-02-09 キヤノン株式会社 撮像装置及びその制御方法
US10602050B2 (en) 2015-07-29 2020-03-24 Canon Kabushiki Kaisha Image pickup apparatus and control method therefor
JP2017040802A (ja) * 2015-08-20 2017-02-23 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2017044983A (ja) * 2015-08-28 2017-03-02 キヤノン株式会社 画像処理装置及び画像処理方法
WO2018185940A1 (ja) * 2017-04-07 2018-10-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム
JPWO2018185940A1 (ja) * 2017-04-07 2019-04-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム
JP2020057017A (ja) * 2019-12-25 2020-04-09 キヤノン株式会社 撮像装置及びその制御方法
JP7113327B1 (ja) 2021-07-12 2022-08-05 パナソニックIpマネジメント株式会社 撮像装置
JP2023011279A (ja) * 2021-07-12 2023-01-24 パナソニックIpマネジメント株式会社 撮像装置
US11880991B2 (en) 2021-07-12 2024-01-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus including depth information at first or second spatial resolution at different regions in the image

Also Published As

Publication number Publication date
JP6202927B2 (ja) 2017-09-27
US9307140B2 (en) 2016-04-05
US20150201121A1 (en) 2015-07-16
WO2014034918A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
JP6202927B2 (ja) 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法
JP6335423B2 (ja) 情報処理装置および情報処理方法
JP4788481B2 (ja) 結像状態検出装置、カメラ、及び受光ユニット
JP6214271B2 (ja) 距離検出装置、撮像装置、距離検出方法、プログラム及び記録媒体
JP6172978B2 (ja) 撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体
JP6021780B2 (ja) 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法
JP2009175680A (ja) 受光装置、焦点検出装置および撮像装置
JP6137316B2 (ja) 深さ位置検出装置、撮像素子、及び深さ位置検出方法
JP6116151B2 (ja) 距離検出装置
US9841580B2 (en) Distance measuring apparatus
EP3819588A1 (en) Distance measurement camera
JP6173549B2 (ja) 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法
US10339665B2 (en) Positional shift amount calculation apparatus and imaging apparatus
JP2007316521A (ja) 光電検出装置、光学特性検出装置、および撮像装置
JP2007033652A (ja) 焦点検出装置及びそれを有する撮像装置
JP6632406B2 (ja) 距離算出装置、撮像装置、および距離算出方法
JP2014056085A (ja) 撮像素子及びそれを用いた測距装置
JP2016090975A (ja) 距離検出装置、撮像装置、距離検出方法、およびプログラム
JP2024021700A (ja) 画像処理装置、撮像装置、画像処理方法、及びコンピュータプログラム
US20220120562A1 (en) Distance measuring camera
JP6590463B2 (ja) 距離算出装置
JP6153424B2 (ja) 焦点検出装置および撮像装置並びに焦点検出方法、プログラム
JP2015022264A (ja) 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置
JP2014102478A (ja) オートフォーカス装置及び撮像装置
JP2017219557A (ja) 撮像装置およびその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170829

R151 Written notification of patent or utility model registration

Ref document number: 6202927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

LAPS Cancellation because of no payment of annual fees