JP2016099247A - 距離検出装置、撮像装置、および距離検出方法 - Google Patents
距離検出装置、撮像装置、および距離検出方法 Download PDFInfo
- Publication number
- JP2016099247A JP2016099247A JP2014236881A JP2014236881A JP2016099247A JP 2016099247 A JP2016099247 A JP 2016099247A JP 2014236881 A JP2014236881 A JP 2014236881A JP 2014236881 A JP2014236881 A JP 2014236881A JP 2016099247 A JP2016099247 A JP 2016099247A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- amount
- distance detection
- shift amount
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Focusing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】高速かつ高精度な測距が可能となる距離検出装置を提供する。【解決手段】結像光学系の射出瞳の第1の瞳領域を通過した光束に対応する第1の信号と、前記第1の瞳領域とは異なる第2の瞳領域を通過した光束に対応する第2の信号とに基づいて被写体までの距離情報を検出する距離検出装置であって、前記第1の信号と前記第2の信号の位置ズレ量である第1のズレ量を算出する第1算出手段と、前記第1のズレ量に応じた変位量だけ前記第1の信号と第2の信号を相対的に変位させるフィルタ処理を、前記第1の信号および第2の信号の少なくとも一方に施して修正信号を生成する信号処理手段と、フィルタ処理を施した第1の信号と第2の信号、またはフィルタ処理を施した一方の信号とフィルタ処理を施していない他方の信号の間の位置ズレ量である第2のズレ量を算出する第2算出手段と、を備える、距離検出装置。【選択図】図4
Description
本発明は、距離検出装置、撮像装置、および距離検出方法に関する。
デジタルカメラに適用可能な距離検出技術として、撮像素子の一部または全ての画素に測距機能を持たせ、位相差方式で被写体までの距離を検出する距離検出技術が知られている。測距機能を有する画素(以下、「測距画素」ともいう)は、結像光学系の瞳上の異なる領域をそれぞれ通過した光束を受光する複数の光電変換部を備える。各光電変換部で生成される像信号のズレ量を推定し、変換係数を用いてズレ量をデフォーカス量に変換することによって測距が行われる。
測距精度低下の要因として、各光電変換部で生成される像信号の形状変化が挙げられる。光学系の枠などによる光束のケラレや画素の感度特性の相違により、各光電変換部で生成される像信号が互いに異なる形状となると、像信号のズレ量の推定精度が低下し、測距精度が低下してしまう。特許文献1には、像信号に像信号修正フィルタを施すことで像形状を修正し、ズレ量の検出精度を向上させる手法が記載されている。
測距精度低下の他の要因として、変換係数の変動も挙げられる。変換係数は、デフォーカス量の大きさや測距を行う撮像素子上の位置に応じて変動する。測距条件によらず固定の変換係数を用いて、ズレ量をデフォーカス量に変換すると、変換誤差が生じる。特許文献2には、デフォーカス量の大きさに応じて変換係数を算出することで、距離の算出誤差を低減する手法が記載されている。
像信号の修正処理及び変換係数の算出処理を両方行うと、測距演算の処理時間が増加し、測距速度が低下する。本発明は、上記課題に鑑み、高速で高精度な測距を行うことができる手法を提供することを目的とする。
本発明に係る距離検出装置は、結像光学系の射出瞳の第1の瞳領域を通過した光束に対応する第1の信号と、前記第1の瞳領域とは異なる第2の瞳領域を通過した光束に対応する第2の信号とに基づいて被写体までの距離情報を検出する距離検出装置であって、前記第1の信号と前記第2の信号の位置ズレ量である第1のズレ量を算出する第1算出手段と、前記第1のズレ量に応じた変位量だけ前記第1の信号と第2の信号を相対的に変位させるフィルタ処理を、前記第1の信号および第2の信号の少なくとも一方に施して修正信号を生成する信号処理手段と、フィルタ処理を施した第1の信号と第2の信号、またはフィルタ処理を施した一方の信号とフィルタ処理を施していない他方の信号の間の位置ズレ量である第2のズレ量を算出する第2算出手段と、を備える。
本発明に係る距離検出方法は、結像光学系の射出瞳の第1の瞳領域を通過した光束に対応する第1の信号と、前記第1の瞳領域とは異なる第2の瞳領域を通過した光束に対応す
る第2の信号とに基づいて被写体までの距離情報を検出する距離検出装置によって行われる距離検出方法であって、前記第1の信号と前記第2の信号の位置ズレ量である第1のズレ量を算出する第1算出ステップと、前記第1のズレ量に応じた変位量だけ前記第1の信号と第2の信号を相対的に変位させるフィルタ処理を、前記第1の信号および第2の信号の少なくとも一方に施して修正信号を生成する信号処理ステップと、フィルタ処理を施した第1の信号と第2の信号、またはフィルタ処理を施した一方の信号とフィルタ処理を施していない他方の信号の間の位置ズレ量である第2のズレ量を算出する第2算出ステップと、を含む。
る第2の信号とに基づいて被写体までの距離情報を検出する距離検出装置によって行われる距離検出方法であって、前記第1の信号と前記第2の信号の位置ズレ量である第1のズレ量を算出する第1算出ステップと、前記第1のズレ量に応じた変位量だけ前記第1の信号と第2の信号を相対的に変位させるフィルタ処理を、前記第1の信号および第2の信号の少なくとも一方に施して修正信号を生成する信号処理ステップと、フィルタ処理を施した第1の信号と第2の信号、またはフィルタ処理を施した一方の信号とフィルタ処理を施していない他方の信号の間の位置ズレ量である第2のズレ量を算出する第2算出ステップと、を含む。
本発明によれば、高速かつ高精度な測距が可能となる距離検出装置、距離検出方法を提供することができる。
以下の説明では、本発明に係る距離検出装置を備えた撮像装置の一例として、デジタルスチルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明に係る距離検出装置は、デジタルビデオカメラやデジタル距離計測器などにも適用することができる。
なお、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。
(実施形態1)
<距離検出装置>
図1(a)は、本実施形態に係る距離検出装置40を有する撮像装置の模式図である。この撮像装置は、距離検出装置40の他に、撮像素子10と結像光学系20と記録装置30とを有する。さらに、撮像装置は、結像光学系20の合焦のための駆動機構、シャッター、観賞用画像生成手段、画像確認用の液晶等のディスプレイ等を有している。
<距離検出装置>
図1(a)は、本実施形態に係る距離検出装置40を有する撮像装置の模式図である。この撮像装置は、距離検出装置40の他に、撮像素子10と結像光学系20と記録装置30とを有する。さらに、撮像装置は、結像光学系20の合焦のための駆動機構、シャッター、観賞用画像生成手段、画像確認用の液晶等のディスプレイ等を有している。
図1(b)は、撮像素子10の一例を示す模式図である。撮像素子10は、光電変換部11、12を含む測距画素13を複数有している(以下、測距画素のことを単に画素とも称する)。具体的には、CMOSセンサ(相補型金属酸化物半導体を用いたセンサ)や、CCDセンサ(電荷結合素子を用いたセンサ)等の固体撮像素子を撮像素子10として用いることができる。撮像素子上の位置を像高と呼び、撮像素子10の中央付近、周辺付近の位置をそれぞれ中央像高、周辺像高と呼ぶ。
図1(c)は、画素13の一例を示す断面模式図である。画素13の光電変換部11、12は基板14内に形成されている。画素13はマイクロレンズ15を有している。
図1に示すように、結像光学系20は、外界の被写体の像を撮像素子10の面上に結像する。撮像素子10は、結像光学系20の射出瞳21を透過した光束を、マイクロレンズ15を介して画素13の光電変換部11または光電変換部12で取得し、電気信号に変換する。具体的には、射出瞳21の第1の瞳領域81(図2(b))を通過した光束は各画素13の光電変換部11で電気信号に変換される。また、射出瞳21の第1の瞳領域とは異なる第2の瞳領域82(図2(c))を通過した光束は各画素13の光電変換部12で電気信号に変換される。画素13は、電気信号を距離検出装置40に出力するために、フローティングディフュージョン(FD)部、ゲート電極、配線等を備えている。
距離検出装置40は、結像光学系20の射出瞳21の第1の瞳領域81を通過した光束に対応する第1の信号S1と、第2の瞳領域82を通過した光束に対応する第2の信号S2と、に基づき、被写体の距離を算出する距離算出部41を有している。距離検出装置40は、例えば、CPU、メモリを含む信号処理基板で構成され、CPUがプログラムを実行することによりその機能を実現する。信号処理基板は、半導体素子を集積化した集積回路を用いて構成することができ、IC、LSI、システムLSI、マイクロ処理ユニット(MPU)、中央演算装置(CPU)等で構成することができる。
なお、第1の信号S1は、各画素13の光電変換部11で生成された各電気信号の集合である。第1の信号S1において、各画素13の撮像素子上の位置と各画素13の光電変換部11で生成された各電気信号とが対応付けられている。また、第2の信号S2は、各画素13の光電変換部12で生成された各電気信号の集合である。第2の信号S2において、各画素13の撮像素子上の位置と各画素の光電変換部12で生成された各電気信号とが対応付けられている。
距離検出装置40は、距離算出部41の他に、信号処理部42、ズレ量算出部43、フィルタ生成部44を備える。信号処理部42は、第1の信号S1に対応する光学伝達関数と第2の信号S2に対応する光学伝達関数とに基づくフィルタ(デジタルフィルタ)を用いて、第1の信号S1と第2の信号S2のうちいずれか一つの信号をフィルタ処理する機能を有している。ズレ量算出部43は、2つの像信号の位置ズレ量を算出する機能を有している。ズレ量算出部43は、例えば、第1の信号S1と第2の信号S2の間のズレ量(第1のズレ量)を算出したり、後述するフィルタ処理後の第1の信号CS1と第2の信号CS2の間のズレ量(第2のズレ量)を算出したりする。フィルタ生成部44は、ズレ量算出部43で算出されたズレ量に基づき、信号処理部42のフィルタ処理時に使用するフィルタを生成する機能を有している。記録装置30は、読み出した信号あるいは演算結果を記録する機能を有している。
画素13は複数の光電変換部11,12を有する構成なので、光電変換部11、12で取得した信号を合算することで、画素13が単一の光電変換部を有する場合と同等の画像信号を作成することができる。撮像素子10の全画素にこのような画素13を配置してもよいし、単一の光電変換部を有する画素と複数の光電変換部を有する画素13とを両方有する構成であってもよい。後者の構成では、画素13で測距を行い、残りの画素で被写体の画像を取得することができる。なお、画素13は、撮像素子10の中で離散的に配置されていてもよく、X方向とY方向で異なる間隔で配置されていてもよい。
<距離検出方法>
本実施形態においては、画素13の大きさに対して、結像光学系20と撮像素子10の間の距離が長い。このため、結像光学系20の射出瞳21上の異なる位置を通過した光束は、異なる入射角の光束として撮像素子10の面上に入射する。光電変換部11、12には、射出瞳21の形状や像高(光束が到達する撮像素子上の位置)に応じて、所定の角度範囲22(図1(a))からの光束が入射する。入射した光束に対する光電変換部11、
12の感度特性を、角度に応じて射出瞳上に射影したときの射出瞳上の感度分布を瞳透過率分布という。このときの瞳透過率分布の重心位置を瞳重心という。瞳重心は、以下の式1で算出することができる。式1において、rは射出瞳21上の座標であり、tは光電変換部11、12の瞳透過率分布を表し、積分範囲は射出瞳21上の領域である。
本実施形態においては、画素13の大きさに対して、結像光学系20と撮像素子10の間の距離が長い。このため、結像光学系20の射出瞳21上の異なる位置を通過した光束は、異なる入射角の光束として撮像素子10の面上に入射する。光電変換部11、12には、射出瞳21の形状や像高(光束が到達する撮像素子上の位置)に応じて、所定の角度範囲22(図1(a))からの光束が入射する。入射した光束に対する光電変換部11、
12の感度特性を、角度に応じて射出瞳上に射影したときの射出瞳上の感度分布を瞳透過率分布という。このときの瞳透過率分布の重心位置を瞳重心という。瞳重心は、以下の式1で算出することができる。式1において、rは射出瞳21上の座標であり、tは光電変換部11、12の瞳透過率分布を表し、積分範囲は射出瞳21上の領域である。
また、光電変換部で受光される光束が通過する射出瞳21上の領域のうち、瞳重心を含み、対応する光電変換部の感度が所定の閾値よりも高い領域を瞳領域という。また、2つの瞳領域の瞳重心を結ぶ方向を瞳分割方向といい、瞳重心間の長さを基線長という。本実施形態においては、瞳分割方向はx方向であり、この方向を第1の方向とし、x方向に垂直なy方向を第2の方向とする。
図2(a)は、xz平面内において入射した光束に対する、光電変換部11の感度特性51と光電変換部12の感度特性52を示す。横軸は、xz平面内における入射光束とz軸が成す角度を示し、縦軸は感度を表している。
図2(b)は、結像光学系20の射出瞳21、および光電変換部11に対応する瞳透過率分布61と瞳重心71と瞳領域81(第1の瞳領域)を示した図である。瞳領域81は、射出瞳21の中心から+x方向(第1の方向)に偏心した瞳領域である。各画素13の光電変換部11は、主として瞳領域81を通過した光束を受光するように構成されている。この構成により、瞳領域81を通過した光束に対応する第1の信号S1が得られる。
図2(c)は、結像光学系20の射出瞳21、および光電変換部12に対応する瞳透過率分布62と瞳重心72と瞳領域82(第2の瞳領域)を示した図である。瞳領域82は、射出瞳21の中心から−x方向(第2の方向)に偏心した瞳領域である。各画素13の光電変換部12は、主として瞳領域82を通過した光束を受光するように構成されている。この構成により、瞳領域82を通過した光束に対応する第2の信号S2が得られる。
信号S1、S2は、以下の式2で記述できる。
fは被写体の光量分布、*は畳み込み積分を表している。添え字jは、1または2を表す。PSFj、OTFjは、それぞれ実空間領域、空間周波数領域において、被写体から
の光束が信号Sjとして取得される際の結像光学系20や撮像素子10による劣化度合い
を表す伝達関数であり、点像分布関数、光学伝達関数という。FFTはフーリエ変換を表し、FFT[f]は被写体の光量分布fをフーリエ変換したものである。FFT−1は逆フーリエ変換を表している。
の光束が信号Sjとして取得される際の結像光学系20や撮像素子10による劣化度合い
を表す伝達関数であり、点像分布関数、光学伝達関数という。FFTはフーリエ変換を表し、FFT[f]は被写体の光量分布fをフーリエ変換したものである。FFT−1は逆フーリエ変換を表している。
OTFjは、空間周波数領域において、振幅伝達関数MTFjを振幅項に、位相伝達関数PTFjを位相項に有する関数として表される(OTFj=MTFj・exp(iPTFj))。MTFj、PTFjは、それぞれ伝達に伴う各空間周波数成分の振幅、位置の変化量を決定する関数である。光学系の枠などによる光束のケラレや画素13の感度特性が異なることにより、
PSF1とPSF2、あるいはMTF1とMTF2、あるいはPTF1とPTF2は、それぞれ互いに異なる形状を有する関数となる。図3(a)は、PSF1、PSF2を示したものであり、縦軸及び横軸はそれぞれx座標、y座標を表しており、値が大きいほど白く記されている。図3(b)は各PSFのx方向の断面図を示したものである。図3(a)(b)のようにPSF1とPSF2が異なるため、信号S1とS2は形状が異なる信号となり、したがって、ズレ量を算出する際に誤差が生じやすくなる。
PSF1とPSF2、あるいはMTF1とMTF2、あるいはPTF1とPTF2は、それぞれ互いに異なる形状を有する関数となる。図3(a)は、PSF1、PSF2を示したものであり、縦軸及び横軸はそれぞれx座標、y座標を表しており、値が大きいほど白く記されている。図3(b)は各PSFのx方向の断面図を示したものである。図3(a)(b)のようにPSF1とPSF2が異なるため、信号S1とS2は形状が異なる信号となり、したがって、ズレ量を算出する際に誤差が生じやすくなる。
図4に、距離検出装置40で行われる、被写体までの距離を検出する距離検出方法のフローチャートの一例を示す。この距離検出方法は、ズレ量算出工程と信号処理工程と距離算出工程を有する。
[暫定ズレ量の算出工程]
まず、図4(a)で示すように、ズレ量算出部43は、第1の信号S1と第2の信号S2から、暫定的なズレ量を算出する(ステップS10)。信号S1とS2のx方向(第1の方向)における信号のズレ量は公知の方法により求められる。例えば、一対の信号(S1、S2)のうち、片方の信号をx方向にずらしながら相関演算を行い、最も相関が高いときのズレ量を算出することで求められる。なお、暫定ズレ量算出ステップS10を実行するズレ量算出部43が、本発明における第1算出手段に相当する。
まず、図4(a)で示すように、ズレ量算出部43は、第1の信号S1と第2の信号S2から、暫定的なズレ量を算出する(ステップS10)。信号S1とS2のx方向(第1の方向)における信号のズレ量は公知の方法により求められる。例えば、一対の信号(S1、S2)のうち、片方の信号をx方向にずらしながら相関演算を行い、最も相関が高いときのズレ量を算出することで求められる。なお、暫定ズレ量算出ステップS10を実行するズレ量算出部43が、本発明における第1算出手段に相当する。
[像信号の修正工程]
次に、図4(a)で示すように、信号処理部42は、信号S1、S2に像信号修正処理を施す(ステップS20)。ステップS20によって、修正信号CS1、CS2が生成される。像修正処理S20の詳細を図4(b)に示す。像修正処理S20は、像信号を修正するフィルタの生成工程(ステップS21)と、修正信号の生成工程(ステップS22)を有する。ステップS21では、フィルタ生成部44がステップS10で算出された暫定ズレ量の大きさを元に像信号修正フィルタを生成する。例えば、フィルタ生成部44は、各条件に応じたフィルタデータ(セル値)を予め保持しておき、ステップS10で算出された暫定ズレ量に基づき、それに対応したフィルタデータを呼び出すことで像信号修正フィルタを生成する。次に、信号処理部42が、信号S1、S2にステップS21で生成した像信号修正フィルタを畳み込み積分することで修正信号CS1、CS2を生成する。
次に、図4(a)で示すように、信号処理部42は、信号S1、S2に像信号修正処理を施す(ステップS20)。ステップS20によって、修正信号CS1、CS2が生成される。像修正処理S20の詳細を図4(b)に示す。像修正処理S20は、像信号を修正するフィルタの生成工程(ステップS21)と、修正信号の生成工程(ステップS22)を有する。ステップS21では、フィルタ生成部44がステップS10で算出された暫定ズレ量の大きさを元に像信号修正フィルタを生成する。例えば、フィルタ生成部44は、各条件に応じたフィルタデータ(セル値)を予め保持しておき、ステップS10で算出された暫定ズレ量に基づき、それに対応したフィルタデータを呼び出すことで像信号修正フィルタを生成する。次に、信号処理部42が、信号S1、S2にステップS21で生成した像信号修正フィルタを畳み込み積分することで修正信号CS1、CS2を生成する。
この処理で使用されるフィルタは、x方向にAx、y方向にAy(Ax及びAyは1以上の整数)のセル数を有するフィルタである。また、フィルタは、光学伝達関数OTFに基づいて作成される。より具体的には、信号S1に施すフィルタICF1は、周波数空間において、OTF1の逆数と位相成分PG1とFPP1とを追加した関数で表される。信号S2に施すフィルタICF2は、周波数空間において、OTF2の逆数と位相成分PG2とFFP2とを追加した関数で表される。フィルタICFは、以下の式4乃至7で表される。添え字jは、1または2を表す。
FMj、FPjは、ICFjの周波数空間における振幅項、位相項である。位相項FPjは、像信号を変形させる成分FPSj(第1の位相成分)と、変位させる成分FPPj(第2の位相成分)とを有する。FPSjは、実空間では空間周波数によって異なる値を
有する成分であり、形状を補正する成分である。PGjは、PSFjの重心位置のデフォーカスに伴う移動量を、各空間周波数に対する位相量に換算した成分であり、信号の形状には影響しない成分である。PGjは、変形成分FPSjのPTFjに含まれる位置変化分を相殺するために加えられている。FPPjは、実空間では空間周波数によらず一定の値を有する成分であり、位置を補正する成分である。FPPjは、距離検出装置40のデフォーカス量とズレ量の関係と、後述する距離算出工程で用いる変換係数とに応じて作成される。なお、式4乃至7は他の式の形に変形してもよい。いずれの変形式も、本発明にかかるフィルタの実施形態に含まれるものである。
有する成分であり、形状を補正する成分である。PGjは、PSFjの重心位置のデフォーカスに伴う移動量を、各空間周波数に対する位相量に換算した成分であり、信号の形状には影響しない成分である。PGjは、変形成分FPSjのPTFjに含まれる位置変化分を相殺するために加えられている。FPPjは、実空間では空間周波数によらず一定の値を有する成分であり、位置を補正する成分である。FPPjは、距離検出装置40のデフォーカス量とズレ量の関係と、後述する距離算出工程で用いる変換係数とに応じて作成される。なお、式4乃至7は他の式の形に変形してもよい。いずれの変形式も、本発明にかかるフィルタの実施形態に含まれるものである。
上述したように、フィルタは測距条件に応じて決定される。フィルタ生成部44は、各条件に対応するフィルタデータを予め保持しておき、条件に応じてフィルタデータを読み出すことでICFを得る。また、フィルタ生成部44は、代表的な暫定ズレ量に対応するフィルタデータのみを保持しておき、代表値以外の暫定ズレ量に対しては、予め保持してあるフィルタデータ間を補間することでフィルタを生成してもよい。あるいは、フィルタデータを関数で近似し、関数の各係数を保持してもよい。例えば、フィルタのセル値をフィルタ内の位置を変数とする多項式で近似し、フィルタ生成部44が関数(多項式)の各係数を保持しておく。次に、フィルタ生成部44は、測距条件に応じて係数を読み出して、フィルタを作成する。このような方法により、保持するフィルタデータ量を削減でき、フィルタ保持用の記録容量を低減できる。
修正信号CSjは、式2、4乃至7を用いて、式8で表わされる。
信号CSjは、PSFjを変形した点像分布関数CPSFjを用いると、式9のように記述できる。CPSFjの形状が修正信号CSjの形状を決定する。
図5(a)は、CPSF1、CPSF2を示したものであり、縦軸及び横軸はそれぞれx座標、y座標を表しており、値が大きいほど白く記されている。図5(b)はCPSF1及びCPSF2のx方向の断面図を示したものであり、実線はCPSF1、破線CPSF2を表している。図5(a)(b)から分かるように、CPSF1とCPSF2は互いに近い形状となる。修正信号CS1とCS2は、互いに形状が近い信号となり、ズレ量を高精度に算出することができる。このため、後述する距離算出工程によって被写体の距離を高精度に算出することができる。なお、式8で位相成分PGj、FPPjは形状に寄与しない項であることから、修正信号CS1とCS2とは互いに形状が近い信号となることが分かる。また、修正信号CSjは、信号Sjのデフォーカスに伴う位置変化量に相当する成分PGjに加えて、位置補正成分FPPjだけ変位する。
[ズレ量算出工程]
ズレ量算出部43は、修正信号CS1とCS2と間のx方向(第1の方向)のズレ量を算出する(ステップS30)。ステップS30におけるズレ量の算出処理には、ステップS10の暫定ズレ量算出処理と同じ方法を用いることができる。なお、ズレ量算出ステップS30を実行するズレ量算出部43が、本発明における第2算出手段に相当する。
ズレ量算出部43は、修正信号CS1とCS2と間のx方向(第1の方向)のズレ量を算出する(ステップS30)。ステップS30におけるズレ量の算出処理には、ステップS10の暫定ズレ量算出処理と同じ方法を用いることができる。なお、ズレ量算出ステップS30を実行するズレ量算出部43が、本発明における第2算出手段に相当する。
[距離算出工程]
距離算出部41は、修正信号CS1とCS2から算出したズレ量に基づいて、被写体までの距離情報を算出する(ステップS40)。距離算出部41は、求めたズレ量からデフ
ォーカス量を求め、デフォーカス量と結像光学系20の結像関係とから被写体の距離を算出することができる。デフォーカス量ΔLは、例えば以下の式10により算出することができる。
ここで、dはズレ量、Kaは変換係数を表している。ただし、変換係数Kaは、ズレ量算出部43で算出されるズレ量の大きさによらず同じ値を有し、像高に応じて異なる値を有する係数である。変換係数Kaがズレ量の大きさに依存しない理由は、像信号修正処理において、ズレ量とデフォーカス量の関係が線型となるように像を変位させているためである。なお、変換係数Kaは、像高に応じて異なる値であってもよい。
距離算出部41は、修正信号CS1とCS2から算出したズレ量に基づいて、被写体までの距離情報を算出する(ステップS40)。距離算出部41は、求めたズレ量からデフ
ォーカス量を求め、デフォーカス量と結像光学系20の結像関係とから被写体の距離を算出することができる。デフォーカス量ΔLは、例えば以下の式10により算出することができる。
なおデフォーカス量は結像光学系の結像関係を用いて実空間における被写体までの距離に容易に変更可能であるため、デフォーカス量は被写体までの距離情報であると捉えることができる。距離算出部41は、被写体までの距離情報として、デフォーカス量を出力してもよいし、実空間における距離を出力してもよい。距離算出部41が出力する距離情報は、フォーカス位置からの相対距離であってもよいし、撮影時の撮像装置からの絶対距離であってもよい。また、絶対距離あるいは相対距離は、像面側での距離、物体側での距離のどちらであってもよい。また、距離は、実空間の距離で表されてもよいし、デフォーカス量や像ズレ量など実空間の距離に換算できる量で表されてもよい。
このような距離検出方法により、被写体の距離を高速かつ高精度に算出することができる。
<像信号修正フィルタにおける位置補正成分の決定方法>
以下、本実施形態における像信号修正フィルタの位置補正成分(FPPj)の決定方法についてより詳細に説明する。
以下、本実施形態における像信号修正フィルタの位置補正成分(FPPj)の決定方法についてより詳細に説明する。
図6は、ズレ量とデフォーカス量の関係を示す図である。距離検出装置40における信号S1とS2の間のズレ量とデフォーカス量の関係は一定ではない。結像光学系20のデフォーカス量や像高に応じて、画素13に入射する光束の角度範囲が変動し、瞳上透過率分布が変動する。瞳上透過率分布が変動すると、基線長が変動し、変換係数(ズレ量とデフォーカス量の関係)が変動する。図6における実線L1は、ある像高における像信号S1とS2のズレ量とデフォーカス量の関係を表す線である。変換係数の変動により、実線L1は複雑に変化する。
一方、図6における破線Ltは、信号S1とS2より算出されるズレ量をズレ量の大きさによらず一定の値を有する変換係数を用いてデフォーカス量に変換する場合の、ズレ量とデフォーカス量の関係を表す線である。本説明ではデフォーカス量が小さいときのデフォーカス量とズレ量の関係より算出される変換係数Kaを用いた例を示している。
デフォーカス量Dtの撮影条件で取得した信号S1とS2より算出されるズレ量はR1となる。このズレ量R1を、変換係数Kaを用いてデフォーカス量に変換すると、デフォーカス量としてD1が得られる。すなわち、変換誤差ΔD1(=Dt−D1)が生じる。
そこで、本実施形態では、ズレ量に依存する変換係数の変動が抑制されるように、像信号修正フィルタを用いて像を変位させる位置補正を行っている。像信号修正フィルタによって、上記の変換誤差ΔD1に対応する変位量ΔP1だけ像の位置を変位させることで、変換係数の変動による誤差を抑制できる。
ここで一般に、ある像高Xにおいて暫定ズレ量としてRが得られた場合の変位量ΔPは、以下の式により求めることができる。
ΔP = Lx(R)/Ka − R.
なお、Lxは像高Xにおける像信号S1とS2のズレ量とデフォーカス量とを対応付ける関数であり、Kaは式10における変換係数である。各像高におけるズレ量とデフォーカス量の関係Lxは、実測あるいは数値計算によりあらかじめ取得可能である。また、変換係数Kaは一般に像高に応じた値であることに留意されたい。
ΔP = Lx(R)/Ka − R.
なお、Lxは像高Xにおける像信号S1とS2のズレ量とデフォーカス量とを対応付ける関数であり、Kaは式10における変換係数である。各像高におけるズレ量とデフォーカス量の関係Lxは、実測あるいは数値計算によりあらかじめ取得可能である。また、変換係数Kaは一般に像高に応じた値であることに留意されたい。
ステップS21のフィルタ生成処理では、フィルタ生成部44が、このようにして得られる変位量ΔPを変位成分(位置補正成分FPP)として有するフィルタを生成する。なお、像信号の変位は、信号S1およびS2のいずれか一方のみに与えてもよいし、両方に与えてもよい。すなわち、フィルタICF1およびICF2によって信号S1とS2が相対的に変位量ΔP1だけ変位しさえすれば、各フィルタの変位量(位置補正成分)は任意であってよい。
この像信号修正処理により、修正信号を用いて算出されるズレ量(例えば信号S1のみを変位させた場合は、修正信号CS1と信号S2から算出されるズレ量)はR1´となる。変換係数Kaを用いてデフォーカス量に変換すると、正解のデフォーカス量Dtに近い値D1´を得ることができる。また、像信号修正処理で、像形状の修正を行うことで、修正信号のズレ量を高精度に検出することが可能となる。
図7は、本実施形態による像信号の修正処理の効果を示す図である。図7における実線は像信号の修正工程を行った場合に得られるデフォーカス量、破線は修正工程を行わない場合に得られるデフォーカス量を示す。横軸は正解のデフォーカス量、縦軸は検出したデフォーカス量を示している。像信号の修正工程を行うことにより、正解値に近いデフォーカス量が検出されることが分かる。像信号修正処理で、像の形状と位置を補正することで、ズレ量の算出誤差と変換誤差を低減することができ、高精度な距離検出が可能となる。また、ズレ量に応じて変換係数を算出する処理を省くことができ、処理を高速化することができる。変換係数は、デフォーカス量が大きくなるほど、大きく変動する。実施形態1の距離検出装置を用いることで、特にデフォーカス量が大きいときに、高速かつ高精度な距離検出が可能となる。
<その他の像信号修正フィルタ>
像信号修正フィルタICFは、位相項FPのみを有するフィルタであってもよい。つまり、像信号修正フィルタICFは、式11のように、周波数空間における位相のみを補正するフィルタを用いてもよい。
像信号修正フィルタICFは、位相項FPのみを有するフィルタであってもよい。つまり、像信号修正フィルタICFは、式11のように、周波数空間における位相のみを補正するフィルタを用いてもよい。
式11で表されるフィルタもOTF1、OTF2に基づくフィルタである。このようなフィルタを用いても、第1の信号S1の形状と位置を補正することができ、前述のズレ量算出誤差と変換誤差を低減する効果を得ることができる。
あるいは、像信号修正フィルタICFは、式12のように、位置のみを補正するフィルタを用いてもよい。
このようなフィルタを用いると、第1の信号S1の位置を補正することができ、前述の
変換誤差を低減する効果を得ることができる。
変換誤差を低減する効果を得ることができる。
像信号修正処理により生成された修正信号CSjは、式2、13乃至17を用いて、式18、19で表わされる。
修正信号の形状は、振幅成分MTF1・MTF2および位相成分PTF1+PTF2で決定されることから、修正信号CS1とCS2とは互いに形状が近い信号となる。また、信号CSjの位置は、各信号のデフォーカスに伴う位置変化量に相当する位相PGjに加えて、位置補正成分FPPjだけ変位する。
あるいは、信号S1あるいは信号S2のいずれか一方のみに像信号修正処理を行ってもよい。例えば、信号S1に施すフィルタICFは、光学伝達関数OTF1の逆数と光学伝達関数OTF2に基づいて作成される。ICFは、周波数空間において、OTF1の逆数とOTF2の積(OTF2/OTF1)に、位相PG1とPG2とFPPとを追加した関数で表される。像信号修正フィルタICFは、以下の式20乃至23で表される。
位相成分PG1、PG2、FPPjは形状に寄与しない成分であることから、信号CS1とS2とは互いに形状が近い信号となる。PG2はPTF2に含まれる位置変化成分と相殺される。信号CS1の位置は、信号S1のデフォーカスに伴う位置変化量に相当する成分PG1に加えて、位置補正成分FPPだけ変位する。像信号修正処理を一方の像信号(第1の信号S1)に対してのみ行うだけで、形状と位置の補正を行うことができる。像信号修正処理の計算負荷を減らすことができ、高速な前処理が可能となる。像信号修正処理を一方の像信号(例えば第1の信号S1)に対してのみ行う場合は、修正像信号(例え
ば信号CS1)と像信号修正処理を施していない他方の像信号(例えば第2の信号S2)の間のズレ量がステップS30において求められる。
ば信号CS1)と像信号修正処理を施していない他方の像信号(例えば第2の信号S2)の間のズレ量がステップS30において求められる。
以上のようなフィルタを用いることで、前述と同様に、像形状の差を軽減することができ、ズレ量の算出誤差を低減することができる。また、元の信号に適切な位置補正成分を付与することで、変換係数補正処理が無くても変換誤差を軽減することができ、高速かつ高精度な測距が可能となる。
本実施形態において、実空間でフィルタを信号に畳み込み積分することで修正信号を生成する処理方法について示したが、周波数空間で像信号修正処理を行ってもよい。この場合、信号処理部42は、以下に示す処理を行うように構成される。まず、周波数空間におけるフィルタデータ(式4における逆フーリエ変換FFT−1の括弧内のデータ)を予め保持しておく。次に、取得した信号Sjをフーリエ変換し、周波数空間における修正信号FSjを生成する。修正信号FSjにフィルタを乗算し、逆フーリエ変換することで修正信号CSjを生成することができる。フィルタを施す際に、畳み込み積分するよりも計算負荷を軽減することができ、高速かつ高精度な測距が可能となる。
また、フィルタICFを構成する各伝達関数は、上述した関数でなくても、他の関数で近似した関数を用いてもよい。各伝達関数を多項式等で近似した関数を用いてもよい。これらの方法で像信号修正フィルタICFを生成しても、前述の効果を得ることができる。
<距離算出工程の変形例>
例えば、式25のように、ズレ量dと被写体距離Lを結びつける変換係数Kを用いて、被写体の距離Lを直接算出してもよい。式25において、Kaは変換係数であり、ズレ量算出工程で検出されたズレ量の大きさによらず、同じ値を有している。前記と同様に、係数算出処理を省くことができ、高速な距離算出が可能となる。
例えば、式25のように、ズレ量dと被写体距離Lを結びつける変換係数Kを用いて、被写体の距離Lを直接算出してもよい。式25において、Kaは変換係数であり、ズレ量算出工程で検出されたズレ量の大きさによらず、同じ値を有している。前記と同様に、係数算出処理を省くことができ、高速な距離算出が可能となる。
あるいは式26よりデフォーカス量ΔLを算出し、デフォーカス量ΔLから被写体距離を算出してもよい。ここで、Hは射出瞳21と撮像素子10までの距離を表している。このような式を用いることにより、より高精度にデフォーカス量及び距離を算出することができる。
<測距結果>
本発明の距離検出装置の測距結果は、例えば、結像光学系の焦点検出に用いることができる。本発明の距離検出装置によって、高速かつ高精度に被写体の距離を測定することができ、被写体と結像光学系の焦点位置とのズレ量を知ることができる。結像光学系の焦点位置を制御することで、被写体に対して高速かつ高精度に焦点位置を合わせることができる。本実施形態の距離検出装置を備えてデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置を構成でき、距離検出装置の距離検出結果に基づき、光学系の焦点検出を行うことができる。また、本発明の距離検出装置で、撮像素子10上の複数の位置で距離を算出することで、距離マップを生成することができる。
本発明の距離検出装置の測距結果は、例えば、結像光学系の焦点検出に用いることができる。本発明の距離検出装置によって、高速かつ高精度に被写体の距離を測定することができ、被写体と結像光学系の焦点位置とのズレ量を知ることができる。結像光学系の焦点位置を制御することで、被写体に対して高速かつ高精度に焦点位置を合わせることができる。本実施形態の距離検出装置を備えてデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置を構成でき、距離検出装置の距離検出結果に基づき、光学系の焦点検出を行うことができる。また、本発明の距離検出装置で、撮像素子10上の複数の位置で距離を算出することで、距離マップを生成することができる。
(実施形態2)
本実施形態では、フィルタを用いた前処理により、像高に応じて生じるズレ量の算出誤差と変換誤差を低減し、高速かつ高精度な測距を可能にする例について説明する。本実施形態では、フィルタの作成工程で生成するフィルタの位相補正量と距離算出工程で用いる変換係数が実施形態1とは異なる。それ以外の構成は実施形態1と同じであるため説明は省略する。
本実施形態では、フィルタを用いた前処理により、像高に応じて生じるズレ量の算出誤差と変換誤差を低減し、高速かつ高精度な測距を可能にする例について説明する。本実施形態では、フィルタの作成工程で生成するフィルタの位相補正量と距離算出工程で用いる変換係数が実施形態1とは異なる。それ以外の構成は実施形態1と同じであるため説明は省略する。
図4(b)のフィルタの作成工程(ステップS21)では、ステップS10で算出された暫定ズレ量と像高情報に基づいて、フィルタ生成部44が像信号修正フィルタを作成する。フィルタは、式4乃至7あるいは式13乃至17あるいは式20乃至23を用いることができ、実施形態1とは位置補正量である位相成分FPPjが異なる。本実施形態における位相成分FPPjは、各像高におけるデフォーカス量とズレ量の関係と、距離算出工程で用いる変換係数とに応じて作成される。なお、実施形態1と同様に、各式は他の式の形に変形してもよい。いずれの変形式も、本発明にかかるフィルタの実施形態に含まれるものである。修正信号の生成工程(ステップS22)では、フィルタを信号に施し、修正信号を生成する。
距離算出部41は、修正信号より算出したズレ量より被写体までの距離を算出する。被写体距離は、例えば、式27より算出することができる。ただし、変換係数Kbとして、像高によらず同じ値を有し、ズレ量算出部43で算出されるズレ量の大きさに応じて異なる値を有する係数を用いる。このような距離検出方法により、被写体の距離を高速かつ高精度に算出することができる。なお、変換係数Kbは、ズレ量に応じて異なる値であってもよい。
図8は、ズレ量とデフォーカス量の関係を示す図である。図8において、破線Lt、実線L2は、それぞれ像高X1、X2におけるデフォーカス量とズレ量の関係を表す線である。あるデフォーカス量Dtでは、像高X1、X2において信号S1とS2より算出されるズレ量はそれぞれRt、R2となる。
ここで、式27に示すように像高によらず一定の変換係数を用いてデフォーカス量とズレ量を変換することを考える。例えば、式27における変換係数Kbとして、像高X1におけるデフォーカス量とズレ量の関係に基づく変換係数を用いた場合を想定する。この場合、デフォーカス量とズレ量は図8における破線Ltにしたがって変換される。したがって、ズレ量Rt、R2はそれぞれデフォーカス量Dt、D2に変換され、像高X2では変換誤差ΔD2(=Dt−D2)が生じる。
そこで、本実施形態では、像高に依存する変換係数の変動が抑制されるように、像信号修正フィルタを用いて像を変位させる位置補正を行っている。像信号修正フィルタによって、上記の変換誤差ΔD2に対応する変位量ΔP2だけ像の位置を変位させることで、変換係数の変動による誤差を抑制できる。
ここで一般に、像高Xにおいて暫定ズレ量としてRが得られた場合の変位量ΔPは、以下の式により求めることができる。
ΔP = Lt−1(Lx(R)) − R.
なお、Lxは像高Xにおける像信号S1とS2のズレ量とデフォーカス量とを対応付ける関数であり、Lt−1は式27で表される関数の逆関数である。各像高におけるズレ量とデフォーカス量の関係Lxは、実測あるいは数値計算によりあらかじめ取得可能である。また、式27中の変換係数Kbは一般にズレ量に応じた値であることに留意されたい。
ΔP = Lt−1(Lx(R)) − R.
なお、Lxは像高Xにおける像信号S1とS2のズレ量とデフォーカス量とを対応付ける関数であり、Lt−1は式27で表される関数の逆関数である。各像高におけるズレ量とデフォーカス量の関係Lxは、実測あるいは数値計算によりあらかじめ取得可能である。また、式27中の変換係数Kbは一般にズレ量に応じた値であることに留意されたい。
ステップS21のフィルタ生成処理では、フィルタ生成部44が、このようにして得られる変位量ΔPを変位成分(位置補正成分FPP)として有するフィルタを生成する。なお、像信号の変位は、信号S1およびS2のいずれか一方のみに与えてもよいし、両方に与えてもよい。すなわち、フィルタICF1およびICF2によって信号S1とS2が相対的に変位量ΔP2だけ変位しさえすれば、各フィルタの変位量(位置補正成分)は任意であってよい。
この像信号修正処理により、修正信号を用いて算出されるズレ量(例えば信号S1のみを変位させた場合は、修正信号CS1と信号S2から算出されるズレ量)はR2´となる。変換係数Kbを用いてデフォーカス量に変換すると、正解のデフォーカス量Dtに近い値D2´を得ることができる。また、像信号修正処理で、像形状の修正を行うことで、修正信号のズレ量を高精度に検出することが可能となる。
像信号修正処理で、像の形状と位置を補正することで、ズレ量の算出誤差およびズレ量からデフォーカス量への変換誤差を低減することができ、高精度な距離検出が可能となる。また、像高に応じて変換係数を算出する処理を省くことができ、処理を高速化することができる。変換係数は、周辺像高において大きく変動する。実施形態2の距離検出装置を行うことで、特に周辺像高において、高速かつ高精度な距離検出が可能となる。
(実施形態3)
本実施形態では、フィルタを用いた前処理により、デフォーカス量と像高に応じて生じるズレ量の算出誤差およびズレ量からデフォーカス量への変換誤差を低減し、高速かつ高精度な測距を可能にする例について説明する。本実施形態では、像信号修正フィルタの作成工程で生成するフィルタの位相補正量と距離算出工程で用いる変換係数が実施形態1とは異なる。それ以外の構成は実施形態1と同じであるため説明は省略する。
本実施形態では、フィルタを用いた前処理により、デフォーカス量と像高に応じて生じるズレ量の算出誤差およびズレ量からデフォーカス量への変換誤差を低減し、高速かつ高精度な測距を可能にする例について説明する。本実施形態では、像信号修正フィルタの作成工程で生成するフィルタの位相補正量と距離算出工程で用いる変換係数が実施形態1とは異なる。それ以外の構成は実施形態1と同じであるため説明は省略する。
図4(b)のフィルタの作成工程(ステップS21)では、ステップS10で算出された暫定ズレ量と像高情報に基づいて、フィルタ生成部44が像信号修正フィルタを作成する。フィルタは、式4乃至7あるいは式13乃至17あるいは式20乃至23を用いることができ、実施形態1とは位置補正量である位相成分FPPjが異なる。本実施形態における位相成分FPPjは、各像高におけるデフォーカス量とズレ量の関係と、距離算出工程で用いる変換係数とに応じて作成される。なお、実施形態1と同様に、各式は他の式の形に変形してもよい。いずれの変形式も、本発明にかかる像信号修正フィルタの実施形態に含まれるものである。修正信号の生成工程(ステップS22)では、フィルタを信号に施し、修正信号を生成する。
距離算出部41は、修正信号より算出したズレ量より被写体までの距離を算出する。被写体距離は、例えば、式28より算出することができる。ただし、変換係数Kcとして、ズレ量の大きさや像高によらず同じ値を有する係数を用いる。このような距離検出方法により、被写体の距離を高速かつ高精度に算出することができる。
図9は、ズレ量とデフォーカス量の関係を示す図である。図9において、実線L1、L2は、それぞれ像高X1、X2におけるデフォーカス量とズレ量の関係を表す線である。破線Ltは、式28によって定義されるデフォーカス量とズレ量の関係を表す線である。なお、ここでは式28の変換係数Kcとして、像高X1においてデフォーカス量が小さいときのデフォーカス量とズレ量の関係より算出される係数を採用している。
ズレ量とデフォーカス量の変換誤差について考える。あるデフォーカス量Dtにおいて、像高X1、X2において信号S1とS2より算出されるズレ量はそれぞれR1、R2となる。一方、式28の関係(破線Lt)にしたがって各ズレ量R1、R2をデフォーカス量に変換するとD1、D2となる。すなわち、像高X1、X2では、それぞれ変換誤差ΔD1(=Dt−D1)、ΔD2(=Dt−D2)が生じる。
そこで、本実施形態では、デフォーカス量および像高に依存する変換係数の変動が抑制されるように、像信号修正フィルタを用いて像を変位させる位置補正を行っている。像信号修正フィルタによって、上記の変換誤差ΔD1、ΔD2に対応する変位量ΔP1、ΔP2だけ像の位置を変位させることで、変換係数の変動による誤差を抑制できる。
ここで一般に、像高Xにおいて暫定ズレ量としてRが得られた場合の変位量ΔPは、以下の式により求めることができる。
ΔP = Lx(R)/Kc − R。
なお、Lxは像高Xにおける像信号S1とS2のズレ量とデフォーカス量とを対応付ける関数であり、Kcは式27における変換係数である。各像高におけるズレ量とデフォーカス量の関係Lxは、実測あるいは数値計算によりあらかじめ取得可能である。また、変換係数Kcはズレ量にも像高にも依らない値であることに留意されたい。
ΔP = Lx(R)/Kc − R。
なお、Lxは像高Xにおける像信号S1とS2のズレ量とデフォーカス量とを対応付ける関数であり、Kcは式27における変換係数である。各像高におけるズレ量とデフォーカス量の関係Lxは、実測あるいは数値計算によりあらかじめ取得可能である。また、変換係数Kcはズレ量にも像高にも依らない値であることに留意されたい。
ステップS21のフィルタ生成処理では、フィルタ生成部44が、このようにして得られる変位量ΔPを変位成分(位置補正成分FPP)として有するフィルタを生成する。なお、像信号の変位は、信号S1およびS2のいずれか一方のみに与えてもよいし、両方に与えてもよい。すなわち、フィルタICF1およびICF2によって信号S1とS2が相対的に変位量ΔPだけ変位しさえすれば、各フィルタの変位量(位置補正成分)は任意であってよい。
この像信号修正処理で、像の形状と位置を補正することで、ズレ量の算出誤差と変換誤差を低減することができ、高精度な距離検出が可能となる。また、ズレ量の大きさ及び像高に応じて変換係数を算出する処理を省くことができ、処理を高速化することができる。実施形態1、2と比べて、変換係数を算出する処理を更に省略することができ、処理を更に高速化することができる。結像光学系20の焦点距離や絞りが変わると、瞳透過率分布が変動し、基線長及び変換係数が変動する。焦点距離や絞りに応じて前記の変位成分を各信号に与えるように像信号修正処理を行っても良い。同様の効果を得ることが出来る。
(実施形態4)
上述した実施形態では被写体までの距離を算出する例について示したが、ズレ量に対応する視差量を検出する視差量検出装置にも本発明を提供することができる。例えば、視差量検出装置では、ズレ量に基づいて、合焦位置近傍の被写体を画像から切り出すなどの処理を施すことができる。なお、視差量とは、2つの信号のズレ量であってもよく、またはそれらに関連した物理量であってもよい。
上述した実施形態では被写体までの距離を算出する例について示したが、ズレ量に対応する視差量を検出する視差量検出装置にも本発明を提供することができる。例えば、視差量検出装置では、ズレ量に基づいて、合焦位置近傍の被写体を画像から切り出すなどの処理を施すことができる。なお、視差量とは、2つの信号のズレ量であってもよく、またはそれらに関連した物理量であってもよい。
この視差量検出装置は、実施形態1の距離検出装置40の距離算出部41の代わりに、2つの信号のズレ量に対応する視差量を算出する視差量算出部を有する構成とすれば、その他の構成は距離検出装置40と同じでよい。さらに、視差量検出装置は、視差量(ズレ量)に応じて、所定の視差量の被写体を画像から抽出する抽出部を有していてもよい。
本実施形態の視差量検出方法は、図4(a)のフローチャートにおいて、距離算出処理S30の代わりに視差量算出処理を行うようにすれば、その他の処理工程は、図4(a)、(b)と同じでよい。なお、視差量の算出は、式10を用いてデフォーカス量を算出し
てもよいし、信号のズレ量を算出してもよいし、それらに関連した物理量を算出するようにしてもよい。
てもよいし、信号のズレ量を算出してもよいし、それらに関連した物理量を算出するようにしてもよい。
本実施形態においても、第1の信号と第2の信号のうちいずれか一方の信号にだけ、像信号修正フィルタを用いたフィルタ処理を施すため、高速で高精度に視差量を検出することができる。
また、この視差量検出装置も実施形態1乃至3の距離検出装置と同様に撮像装置の一部として用いることができる。
(その他の実施例)
本発明は、距離検出装置や視差量検出装置の他にコンピュータプログラムをも包含する。本実施形態のコンピュータプログラムは、距離の算出あるいは視差量の算出のために、コンピュータに所定の工程を実行させるものである。
本発明は、距離検出装置や視差量検出装置の他にコンピュータプログラムをも包含する。本実施形態のコンピュータプログラムは、距離の算出あるいは視差量の算出のために、コンピュータに所定の工程を実行させるものである。
本実施形態のプログラムは、距離検出装置、視差量検出装置またはそのいずれかを備えるデジタルカメラ等の撮像装置のコンピュータにインストールされる。インストールされたプログラムがコンピュータによって実行されることで上記の機能が実現し、高速で高精度な距離検出、視差量検出が可能なものとすることができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
40 距離検出装置
42 信号処理部
43 ズレ量算出部
42 信号処理部
43 ズレ量算出部
Claims (15)
- 結像光学系の射出瞳の第1の瞳領域を通過した光束に対応する第1の信号と、前記第1の瞳領域とは異なる第2の瞳領域を通過した光束に対応する第2の信号とに基づいて被写体までの距離情報を検出する距離検出装置であって、
前記第1の信号と前記第2の信号の位置ズレ量である第1のズレ量を算出する第1算出手段と、
前記第1のズレ量に応じた変位量だけ前記第1の信号と第2の信号を相対的に変位させるフィルタ処理を、前記第1の信号および第2の信号の少なくとも一方に施して修正信号を生成する信号処理手段と、
フィルタ処理を施した第1の信号と第2の信号、またはフィルタ処理を施した一方の信号とフィルタ処理を施していない他方の信号の間の位置ズレ量である第2のズレ量を算出する第2算出手段と、
を備える、距離検出装置。 - 前記変位量は、デフォーカス量に依らない変換係数を用いて前記第1のズレ量を変換して得られるデフォーカス量と、あらかじめ求められるデフォーカス量と前記第1のズレ量の関係から得られるデフォーカス量と、の間の誤差を抑制するように決定される、
請求項1に記載の距離検出装置。 - デフォーカス量に依らない前記変換係数を用いて前記第2のズレ量をデフォーカス量に変換する距離算出手段を、更に有する、
請求項2に記載の距離検出装置。 - 前記変位量は、前記光束が到達する撮像素子上の位置に依らない変換係数を用いて前記第1のズレ量を変換して得られるデフォーカス量と、あらかじめ求められるデフォーカス量と前記第1のズレ量の関係から得られるデフォーカス量と、の間の誤差を抑制するように決定される、
請求項1に記載の距離検出装置。 - 前記光束が到達する撮像素子上の位置に依らない前記変換係数を用いて前記第2のズレ量をデフォーカス量に変換する距離算出手段を、更に有する、
請求項4に記載の距離検出装置。 - 前記変位量は、前記光束が到達する撮像素子上の位置およびデフォーカス量に依らない変換係数を用いて前記第1のズレ量を変換して得られるデフォーカス量と、あらかじめ求められるデフォーカス量と前記第1のズレ量の関係から得られるデフォーカス量と、の間の誤差を抑制するように決定される、
請求項1に記載の距離検出装置。 - 前記光束が到達する撮像素子上の位置およびデフォーカス量に依らない前記変換係数を用いて前記第2のズレ量をデフォーカス量に変換する距離算出手段を、更に有する、
請求項6に記載の距離検出装置。 - 前記フィルタ処理は、前記第1のズレ量に応じて前記第1の信号と第2の信号を相対的に変形させる処理も含む、
請求項1から7のいずれか1項に記載の距離検出装置。 - 前記信号処理手段は、前記変形を与える第1の位相成分と前記変位を与える第2の位相成分とを位相項に有するフィルタを、前記第1の信号および第2の信号の少なくとも一方
に適用するものであり、
前記第1の位相成分は、実空間において空間周波数によって異なる値を有し、
前記第2の位相成分は、実空間において空間周波数によらず一定の値を有する、
請求項8に記載の距離検出装置。 - 前記フィルタ処理に用いられるフィルタは、前記第1の信号に対応する光学伝達関数あるいは前記第2の信号に対応する光学伝達関数に基づいて生成される、
請求項8または9に記載の距離検出装置。 - 前記信号処理手段は、前記第1の信号のみに前記フィルタ処理を施すものであり、
前記フィルタ処理に用いられるフィルタは、前記第1の信号に対応する光学伝達関数の逆数と前記第2の信号に対応する光学伝達関数とに基づいて生成される、
請求項8から10のいずれか1項に記載の距離検出装置。 - デフォーカス量と前記第1のズレ量の関係をあらかじめ記憶し、当該関係と前記第1の像ズレ量に基づいて前記フィルタ処理で用いるフィルタを生成するフィルタ生成手段を更に有する、
請求項1から11のいずれか1項に記載の距離検出装置。 - 結像光学系と、
前記結像光学系の第1の瞳領域および第2の瞳領域を通過した光束に対応する第1の信号と第2の信号とを取得する撮像素子と、
請求項1から12のいずれか1項に記載の距離検出装置と、
を備える撮像装置。 - 結像光学系の射出瞳の第1の瞳領域を通過した光束に対応する第1の信号と、前記第1の瞳領域とは異なる第2の瞳領域を通過した光束に対応する第2の信号とに基づいて被写体までの距離情報を検出する距離検出装置によって行われる距離検出方法であって、
前記第1の信号と前記第2の信号の位置ズレ量である第1のズレ量を算出する第1算出ステップと、
前記第1のズレ量に応じた変位量だけ前記第1の信号と第2の信号を相対的に変位させるフィルタ処理を、前記第1の信号および第2の信号の少なくとも一方に施して修正信号を生成する信号処理ステップと、
フィルタ処理を施した第1の信号と第2の信号、またはフィルタ処理を施した一方の信号とフィルタ処理を施していない他方の信号の間の位置ズレ量である第2のズレ量を算出する第2算出ステップと、
を含む、距離検出方法。 - 請求項14に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014236881A JP6381422B2 (ja) | 2014-11-21 | 2014-11-21 | 距離検出装置、撮像装置、および距離検出方法 |
PCT/JP2015/005674 WO2016079965A1 (en) | 2014-11-21 | 2015-11-13 | Depth detection apparatus, imaging apparatus and depth detection method |
CN201580063075.7A CN107003119B (zh) | 2014-11-21 | 2015-11-13 | 深度检测设备、摄像设备和深度检测方法 |
US15/527,424 US10006765B2 (en) | 2014-11-21 | 2015-11-13 | Depth detection apparatus, imaging apparatus and depth detection method |
KR1020177016548A KR101879261B1 (ko) | 2014-11-21 | 2015-11-13 | 거리검출 장치, 촬상 장치, 및 거리검출 방법 |
EP15860826.5A EP3221661B1 (en) | 2014-11-21 | 2015-11-13 | Depth detection apparatus, imaging apparatus and depth detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014236881A JP6381422B2 (ja) | 2014-11-21 | 2014-11-21 | 距離検出装置、撮像装置、および距離検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016099247A true JP2016099247A (ja) | 2016-05-30 |
JP6381422B2 JP6381422B2 (ja) | 2018-08-29 |
Family
ID=56013538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014236881A Active JP6381422B2 (ja) | 2014-11-21 | 2014-11-21 | 距離検出装置、撮像装置、および距離検出方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10006765B2 (ja) |
EP (1) | EP3221661B1 (ja) |
JP (1) | JP6381422B2 (ja) |
KR (1) | KR101879261B1 (ja) |
CN (1) | CN107003119B (ja) |
WO (1) | WO2016079965A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018077190A (ja) * | 2016-11-11 | 2018-05-17 | 株式会社東芝 | 撮像装置及び自動制御システム |
JP6942480B2 (ja) | 2017-02-14 | 2021-09-29 | キヤノン株式会社 | 焦点検出装置、焦点検出方法、および焦点検出プログラム |
KR102472156B1 (ko) * | 2018-04-19 | 2022-11-30 | 삼성전자주식회사 | 전자 장치 및 그 깊이 정보 생성 방법 |
JP2020034830A (ja) * | 2018-08-31 | 2020-03-05 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、補正方法及びコンピュータプログラム |
CN109714536B (zh) * | 2019-01-23 | 2021-02-23 | Oppo广东移动通信有限公司 | 图像校正方法、装置、电子设备及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110085786A1 (en) * | 2009-10-13 | 2011-04-14 | Canon Kabushiki Kaisha | Focus adjusting apparatus and focus adjusting method |
JP2012037550A (ja) * | 2010-08-03 | 2012-02-23 | Canon Inc | 焦点検出装置および撮像装置 |
JP2014029393A (ja) * | 2012-07-31 | 2014-02-13 | Canon Inc | 距離検出装置 |
JP2014153494A (ja) * | 2013-02-07 | 2014-08-25 | Canon Inc | 測距装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009276294A (ja) * | 2008-05-16 | 2009-11-26 | Toshiba Corp | 画像処理方法 |
JP5963514B2 (ja) * | 2012-04-19 | 2016-08-03 | キヤノン株式会社 | 測距装置、測距方法及び撮像システム |
JP6202927B2 (ja) * | 2012-08-31 | 2017-09-27 | キヤノン株式会社 | 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法 |
JP6335589B2 (ja) * | 2014-03-31 | 2018-05-30 | キヤノン株式会社 | 距離検出装置、撮像装置、距離検出方法及び視差量検出装置 |
-
2014
- 2014-11-21 JP JP2014236881A patent/JP6381422B2/ja active Active
-
2015
- 2015-11-13 WO PCT/JP2015/005674 patent/WO2016079965A1/en active Application Filing
- 2015-11-13 EP EP15860826.5A patent/EP3221661B1/en active Active
- 2015-11-13 KR KR1020177016548A patent/KR101879261B1/ko active IP Right Grant
- 2015-11-13 US US15/527,424 patent/US10006765B2/en active Active
- 2015-11-13 CN CN201580063075.7A patent/CN107003119B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110085786A1 (en) * | 2009-10-13 | 2011-04-14 | Canon Kabushiki Kaisha | Focus adjusting apparatus and focus adjusting method |
JP2012037550A (ja) * | 2010-08-03 | 2012-02-23 | Canon Inc | 焦点検出装置および撮像装置 |
JP2014029393A (ja) * | 2012-07-31 | 2014-02-13 | Canon Inc | 距離検出装置 |
JP2014153494A (ja) * | 2013-02-07 | 2014-08-25 | Canon Inc | 測距装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20170087910A (ko) | 2017-07-31 |
EP3221661A1 (en) | 2017-09-27 |
US20170322023A1 (en) | 2017-11-09 |
EP3221661A4 (en) | 2018-07-11 |
CN107003119B (zh) | 2019-07-09 |
KR101879261B1 (ko) | 2018-07-17 |
EP3221661B1 (en) | 2020-02-05 |
WO2016079965A1 (en) | 2016-05-26 |
JP6381422B2 (ja) | 2018-08-29 |
US10006765B2 (en) | 2018-06-26 |
CN107003119A (zh) | 2017-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6381422B2 (ja) | 距離検出装置、撮像装置、および距離検出方法 | |
JPWO2011158498A1 (ja) | 撮像装置及び撮像方法 | |
JP2014048459A (ja) | 距離算出装置 | |
US10204400B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and recording medium | |
JP6272112B2 (ja) | 距離検出装置、撮像装置、距離検出方法及び視差量検出装置 | |
JP5477464B2 (ja) | 撮像装置 | |
JP2015004883A (ja) | 結像光学系および撮像システムおよび撮像方法 | |
JP2014029393A (ja) | 距離検出装置 | |
US9596403B2 (en) | Distance detecting device, imaging apparatus, distance detecting method and parallax-amount detecting device | |
JP6642998B2 (ja) | 像ズレ量算出装置、撮像装置、および像ズレ量算出方法 | |
JP6590639B2 (ja) | 距離検出装置、撮像装置、および距離検出方法 | |
JP6362070B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP2018018425A (ja) | 画像処理装置及び画像処理方法 | |
US11070715B2 (en) | Image shift amount calculation apparatus and method, image capturing apparatus, defocus amount calculation apparatus, and distance calculation apparatus | |
WO2016042721A1 (en) | Positional shift amount calculation apparatus and imaging apparatus | |
JP5741671B2 (ja) | 撮像装置及び撮像方法 | |
JP6598550B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2016090975A (ja) | 距離検出装置、撮像装置、距離検出方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180731 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6381422 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |