JP2014131109A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2014131109A
JP2014131109A JP2012286688A JP2012286688A JP2014131109A JP 2014131109 A JP2014131109 A JP 2014131109A JP 2012286688 A JP2012286688 A JP 2012286688A JP 2012286688 A JP2012286688 A JP 2012286688A JP 2014131109 A JP2014131109 A JP 2014131109A
Authority
JP
Japan
Prior art keywords
light beam
opening
imaging
image
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012286688A
Other languages
English (en)
Other versions
JP6112862B2 (ja
JP2014131109A5 (ja
Inventor
Keiichiro Ishihara
圭一郎 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012286688A priority Critical patent/JP6112862B2/ja
Priority to PCT/JP2013/085294 priority patent/WO2014104379A1/en
Priority to US14/758,209 priority patent/US9398218B2/en
Publication of JP2014131109A publication Critical patent/JP2014131109A/ja
Publication of JP2014131109A5 publication Critical patent/JP2014131109A5/ja
Application granted granted Critical
Publication of JP6112862B2 publication Critical patent/JP6112862B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Diaphragms For Cameras (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

【課題】 複数枚の画像を撮影する際に、複数枚の画像間に生じる被写体ブレや手ブレによる差を軽減すること。
【解決手段】 撮像装置10は、撮像光学系11と撮像光学系11からの光束を撮像する撮像素子14とを備える。撮像光学系11は、第1開口部と第2開口部とを含む開口絞り12を有する。撮像素子11は、第1画素と第2画素とを有する。第1開口部には、通過する光束を第1符号で符号化する第1光学フィルタが配置されている。第1画素は、第1符号で符号化された第1符号化光束を受光する。第2画素は、第1符号化光束を受光せずに第1符号化光束以外の光束を受光する。
【選択図】 図1

Description

本発明は、撮像装置に関し、特に、複数の画像を同時に撮影することが可能な撮像装置に関する。
デジタルカメラやデジタルビデオカメラ、携帯電話用カメラ、監視カメラ、医用カメラなどの撮像装置によって撮影した画像を用いて、被写体の距離情報を取得する方法としてDepth From Defocus(DFD)方式が提案されている。
DFD方式では、撮影レンズ等の撮影パラメータを制御することにより、ボケ量の異なる複数の画像を撮影する。そして、各画素において、周囲の画素を含めた領域のボケ量の相関量を求め、予め用意されたボケの相関量と被写体距離との関係から、各画素における被写体距離を求める。
特許文献1には、異なる撮影パラメータで撮影したぼけの異なる複数の画像において、測距対象画素を含有する処理対象領域毎にぼけの相関量を演算し、ぼけの相関量から被写体距離を算出することが開示されている。
また、特許文献2には、カメラ開口及びカメラ口径を高速に切り換える方法が開示されている。
特開2010−016743号公報 特開2007−043687号公報
DFD方式において制御可能な撮影パラメータの1つに開口絞りの開口径があり、異なる開口径で撮影した2枚の画像から、被写体の距離情報を算出することができる。
しかしながら、特許文献1に開示されているような方法で、開口径を変更して複数の画像を撮影した場合、第1の開口径で撮影した画像と第2の開口径で撮影した画像とでは撮影時間に差が生じてしまい、被写体ブレや手ブレが問題となっていた。
例えば、被写体が移動した場合は2枚の画像で被写体の位置が異なってしまい被写体ブレの問題が発生する。また、カメラを手持ちで撮影した場合はカメラが移動することによって2枚の画像で被写体の位置が異なってしまい手ブレの問題が発生する。
DFD方式では、基本的に被写体は同じ位置にあるものとして2枚の画像におけるぼけ量の相関値から距離情報を取得している。よって、被写体ブレや手ブレが発生した場合は、対象の被写体は2枚の画像間で同位置におらず、異なった位置の相関値から距離情報を取得することとなり、結果として距離計測精度が劣化することが問題となっていた。
本発明は、複数枚の画像を撮影する際に、複数枚の画像間に生じる被写体ブレや手ブレによる差を軽減することを目的としている。
本発明の一側面としての撮像装置は、撮像光学系と前記撮像光学系からの光束を撮像する撮像素子とを備える撮像装置において、前記撮像光学系は、第1開口部と第2開口部とを含む開口絞りを有し、前記撮像素子は、第1画素と第2画素とを有し、前記第1開口部には、通過する光束を第1符号で符号化する第1光学フィルタが配置されており、前記第1画素は、前記第1符号で符号化された第1符号化光束を受光し、前記第2画素は、前記第1符号化光束を受光せずに該第1符号化光束以外の光束を受光することを特徴とする。
本発明によれば、複数枚の画像を同時に撮影することが可能となり、複数枚の画像間における被写体ブレの誤差又は手ブレの誤差を大幅に改善することが可能となる。
本発明を適用できる実施例1における撮像装置の構成図 本発明を適用できる実施例1における撮像装置の開口絞りの構成図 本発明を適用できる実施例2における撮像装置の開口絞りの構成図 本発明を適用できる実施例3における撮像装置の構成図 本発明を適用できる実施例4における撮像装置の開口絞りの構成図 本発明を適用できる実施例4における撮像装置の開口部光学フィルタ及び撮像光学フィルタの分光透過率を表すグラフ
以下に、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明する。
図1は、本発明を適用できる実施例1における撮像装置の構成図である。
図1(A)は主被写体Omを本発明の撮像装置で撮像した様子を示す。図1(A)に示したように、本実施例の撮像装置10は、撮像光学系11、開口絞り12、撮像部光学フィルタ13、電子撮像素子(撮像素子)14、画像処理部15を有する。撮像光学系11は主被写体Omにピントを合わせており、開口絞り12と撮像部光学フィルタ13を介して、主被写体Omからの光束を電子撮像素子14上に結像させている。
図1(B)は主被写体Omにピントを合わせた状態で、撮像装置10から見て主被写体Omよりも遠方にある背景物体Obを撮影した様子を示す。撮像光学系11は背景物体Obにはピントを合わせておらず、背景物体Obからの光束は開口絞り12と撮像部光学フィルタ13を介して電子撮像素子14の手前で結像し、電子撮像素子14にはぼけた画像が撮影される。このとき、開口絞り12を通過した光束は光束幅を制限されており、所望の焦点深度を得ている。また、開口絞り12の中心は撮像光学系11の光軸上に配置している。
図2に本実施例における開口絞りの構成図を示す。本実施例では、直線偏光を用いて開口絞りを通過する光束を符号化している。なお、本明細書において、符号化とは、開口絞りの領域(開口部)ごとに、そこを通過する光束に符号を与えることであると定義する。符号を与えることで、その光束がどの領域を通過したかを把握することが可能となる。符号は、例えば所定の偏光や波長の光だけを透過させることにより、与えることができる。開口絞り12は、開口絞り12の中央部に配置した円形の開口部(第2開口部)12aと、開口部(第1開口部)12aの周囲に配置したリング形状の開口部12bを有している。開口部12aと開口部12bとを同軸に配置している。さらには、これらの開口部12a、12bを撮像光学系11の光軸とも同軸に配置している。開口部12aは空孔であり、開口部12bにはP偏光光束を透過させる開口部偏光フィルタAPPF1を設置している。このように本実施例の撮像装置の開口絞り12は、開口部12bのみに直線偏光の光学フィルタを配置して開口部12bを通過する光束をP偏光に符号化した第1符号化光束としている。したがって、本実施例における撮像装置の開口絞り12では、S偏光光束は開口部12aのみを通過することができ、P偏光光束は開口部12a及び開口部12bの両方を通過することができる。
また、図1(A)に示したように、電子撮像素子14の直前に配置した撮像部光学フィルタ13にはS偏光光束のみを通過させる撮像部偏光フィルタICPF1とP偏光光束のみを通過させる撮像部偏光フィルタICPF2とを交互に配列している。そのため、電子撮像素子14では、画素毎に異なる偏光の画像を取得している。
カラー画像用の撮像装置の場合、電子撮像素子14には赤、緑、青のカラーフィルタが配置されている。赤、緑、青のカラーフィルタはベイヤー配列で構成されているものがあり、その場合赤色や青色と比べて緑色のカラーフィルタの数が多いのが一般的である。そこで、撮像部偏光フィルタICPF1及び撮像部偏光フィルタICPF2を、緑色を取得する画素だけに配置しても良い。その際、後述する画像処理部15の距離算出にも緑色の画像のみを使用する。
このように本実施例の撮像装置の電子撮素子14は、第1符号化光束であるP偏光光束のみを受光する画素(第1画素)と第1符号化光束以外の光束であるS偏光光束のみを受光する画素(第2画素)とを有している。つまり、電子撮素子14は、開口絞り12で符号化された光束を選択的に取得する画素を有している。
ここで図2に示したように、S偏光光束のみで取得した画像は開口径が小さい状態で撮影した画像Iaであり、具体的な撮像光学系の絞り値はF/8.0で開口形状は円形開口である。一方、P偏光光束のみで取得した画像は、開口径が大きい状態で撮影した画像Ibであり、具体的な撮像光学系の絞り値はF/4.0で開口形状は円形開口である。
このように、本実施例の撮像装置では異なる開口絞りによる複数枚の画像を同時に撮影することができる。特には、開口径が異なる2枚の画像を同時に撮影することができる。これにより、同時に撮影した複数の画像間において被写体ブレや手ブレなどによる主被写体や背景画像の位置ずれを大幅に軽減することができる。
開口径が小さい状態で撮影すると撮像光学系の被写界深度が深くなりピント面から離れた位置においてもぼけ量を小さくすることができる。一方、開口径が大きい状態で撮影すると撮像光学系の被写界深度は浅くなりピント面近傍のみがシャープに撮影され、ピント面から離れるに従ってぼけ量が大きくなる。つまり、主被写体Omにおいて画像Iaおよび画像Ibは高い解像力を有しているが、背景物体Obにおいて画像Iaは高い解像力を有しているが、画像Ibはほけた状態の画像となる。
このぼけ量の違いからDFD方式を用いて画素毎の距離情報を算出することができる。具体的には、ぼけ量が小さい画像Isとぼけ量が大きい画像Ilとから同じ位置の小領域を切り出し、切り出した画像の相関値を算出する。これらの画像の相関が下がる要因は主にぼけ量の違いであることから、相関値の変化(低下)により被写体がどれだけピント位置から離れているかを推定することができる。デフォーカスによるぼけ量の変化は、画像の高収差成分から先に解像力もしくはコントラストが低下する。そこで、2枚の画像Ia,Ibの高周波成分を抽出してから画像の相関値を算出すると、より高精度に距離を推定することができる。画像処理部15は、このようにして、開口径が異なる2枚の画像Ia,Ibを用いてDFD方式により画素毎の距離情報を算出している。なお、画像処理部15は、電子撮像素子14からの信号に基づいて画像のデータを処理するコンピュータ又は演算回路である。画像処理部15は、S偏光光束のみを受光する複数の画素(複数の第2画素)からの信号に基づいて画像Iaのデータを生成し、P偏光光束のみを受光する複数の画素(複数の第1画素)からの信号に基づいて画像Ibのデータを生成する。
本実施例では、小さな開口径の画像Iaと大きな開口径の画像Ibとを同時に取得することが可能となり、両者間の被写体ブレや手ブレによる誤差を大幅に低減することができる。また、これらの画像を用いることによりDFDによる距離推定精度を格段に向上させている。また、開口部12aと開口部12bを同軸に構成したのでデフォーカスしても2枚の画像Ia,Ibに映る被写体の位置ずれが発生せず、ピント位置から離れた位置にある被写体(背景物体)におけるDFDの距離推定精度を向上させることができる。さらに、開口部12a及び開口部12bを撮像光学系11と同軸に配置したので、奥行きが異なる被写体であっても位置ずれが発生しないメリットがある。
本実施例では開口部12aを空孔としたのでS偏光光束とP偏光光束の両方が通過できる。そのため、開口部12aのみを通過したS偏光光束と開口部12a及び開口部12bの両方を通過したP偏光光束は、その開口形状を共に円形開口としている。円形開口は焦点深度が狭く、デフォーカスに対して2画像の相関値の変化が急峻となる。その為、ピント面近傍の距離を精度良く検出できるメリットがある。また、開口部12bだけに偏光フィルタを配置しているため、開口絞り12を通過する光束の光量ロスを低減することができる。
なお、小さな開口径の画像であるS偏光光束の画像の露光時間を、大きな開口径の画像であるP偏光光束の画像の露光時間よりも長くすることにより、2枚の画像の明るさを揃えることができる。これにより、DFDによる距離推定精度を更に向上させることができる。P偏光光束の露光時間が終了したら開口絞り12に新たに偏光板を挿入してS偏光光束だけを露光させるようにしたメカニカルシッターを用いても良い。また、S偏光を受光する画素とP偏光を受光する画素とで電子シャッター方式により露光時間を変えても良い。
また、開口部12a及び開口部12bの少なくとも一方に透過率を設定する透過フィルタを配置して第1符号化光束であるP偏光光束の透過光量を減光させて、P偏光光束とS偏光光束との光量が均一になるように調整しても良い。
開口部12aの開口径をD1、開口部12bの開口径をD2、開口部12aにおける第1符号化光束であるP偏光光束の透過率をT11、開口部12aにおける第1符号化光束以外の光束であるS偏光光束の透過率をT12、開口部12bにおける第1符号化光束の透過率をT21、開口部12bにおける第1符号化光束以外の光束の透過率をT22としたとき、次式を満足させると良い。
Figure 2014131109
本実施例の場合、T11=0.10、T12=0.90、T21=0.10、T22=0.00としており、式(1)の値は1.44で式(1)に示した範囲を満足している。これにより、P偏光光束とS偏光光束との光量をほぼ均一にすることができる。
なお、本実施例の撮像装置では偏光によって符号化する光学フィルタを用いたが、これに限ったものではなく、例えば波長によって符号化する光学フィルタを用いても良い。特にカラー画像用の撮像装置の場合は、カラーフィルタの透過特性がある(透過率10%以上)スペクトルにおいて波長毎に区別し、符号化すると良い。
本発明を適用可能な実施例2を示す。本実施例の撮像装置は、実施例1の撮像装置と開口絞りが異なるが、それ以外の構成は同じである。
図3に本実施例における開口絞りの構成図を示す。本実施例でも直線偏光を用いて開口絞りを通過する光束を符号化している。開口絞り12は、開口絞り12の中央部に配置した円形の第1開口部12aと、第1開口部の周囲に配置したリング形状の第2開口部12bとを有しており、第1開口部12aと第2開口部12bとを同軸に配置している。さらに、第1開口部12a及び第2開口部12bは撮像光学系11の光軸とも同時に配置している。第1開口部12aにはS偏光光束(成分)のみを透過させる第1開口部偏光フィルタAPPF1を、第2開口部12bにはP偏光光束(成分)のみを透過させる第2開口部偏光フィルタAPPF2を設置している。
このように本実施例の撮像装置の開口絞り12は、第1開口部12aと第2開口部12bに直線偏光の光学フィルタを配置している。第1開口部12aを通過する光束をS偏光で符号化した第1符号化光束とし、第2開口部12bを通過する光束をP偏光で符号化した第2符号化光束としている。本実施例では、第1符号化光束と第2符号化光束とで開口絞り12の開口径及び開口形状を異ならせている。なお、本明細書において、開口径とは開口絞りの中心(撮像光学系の光軸)とその中心から最も離れている開口部の位置との距離の2倍の値であると定義する。例えば、本実施例において、第2開口部12bの開口径は、図3に示したような値(D2)となる。
S偏光光束は第1開口部12aのみを通過しており、S偏光光束のみを受光することで取得した画像Iaは撮像光学系の絞り値F/5.6、開口形状は円形開口の画像である。一方、P偏光光束は第2開口部12bのみを通過しており、P偏光光束のみを受光することで取得した画像Ibは撮像光学系の絞り値F/4.0、開口形状は輪帯開口の画像である。
輪帯開口は円形開口の場合と比べてスポット径(Point Spread FunctionをPeak値の1/e^2の値でスライスしたときの幅)を小さくすることができるので、被写体の高周波成分をより忠実に描写できるメリットがある。したがって、ぼけ量の変化をより正確に検出することができ、DFDによる距離推定精度を向上させることができる。なお、輪帯開口は円形開口と比べてスポット径の焦点深度が深いのでDFDによる距離検出が可能な範囲を広げることができる。
本実施例のように、円形開口で絞り値F/5.6のPSFと輪帯開口で絞り値F/4.0のPSFの場合、デフォーカス量に対するPSFのピークの落ち具合はほぼ同等であるが、PSFの周辺部の変化量の変化の仕方に違いが生じる。円形開口で絞り値F/5.6のPSFは周辺部が徐々に盛り上がるのに対して、輪帯開口で絞り値F/4.0のPSFは周辺部にあるサイドローブが徐々に小さくなる。この周辺部の違いを検出することで距離情報を取得することができる。このように、開口形状の違いを利用して距離情報を算出することができる。
本実施例の開口絞り12では、第1開口部12aと第2開口部12bとの面積をほぼ等しくしている。具体的には、第2開口部12bの開口径D2を第1開口部12aの開口径D1の√2倍に設定しており、次式の範囲を満足させるとほぼ同等の効果が得られる。
0.8×√2 ≦ D2/D1 ≦ 1.2×√2・・・(2)
これにより、第1開口部のみを通過したS偏光光束の画像Iaと第2開口部のみを通過したP偏光光束の画像Ibとで露光時間を等しく設定できるので、2つの画像間における被写体ブレや手ブレの誤差を低減することができる。
これにより、被写体ブレや手ブレによって生じた被写体の位置ずれを低減することができるので、これらの画像を用いることによりDFDの距離推定精度を格段に向上させることができる。
また、2枚の画像で露光時間を等しく設定すれば、共通のシャッター(メカニカルシャッターや電子シャッターなど)を使用できる撮像装置上のメリットもある。
また、式(2)を満足しない場合でも、実施例1と同様に、第1開口部12aと第2開口部12bとに透過率制御フィルタを配置して式(1)を満足させるとP偏光光束とS偏光光束の光量をほぼ均一に揃えることができる。
図4に本発明を適用可能な実施例3を示す。
本実施例の撮像装置は、実施例1の撮像装置に対して、撮像光学系11と電子撮像素子14との間に複屈折光学素子16を配置した点が異なる。
本実施例の撮像装置における複屈折光学素子16は例えば水晶であり、入射光線に対して光学軸OAを斜めに配置すると、紙面と垂直方向に偏光するS偏光光束は直進し紙面と平行方向に偏光するP偏光光束は斜めの方向へ進み2つの光路に分かれる。この特性を利用して複屈折光学素子16の同じ位置Piに入射した光束を電子撮像素子14の別々の画素へ入射させている。
撮像部光学フィルタ13は、S偏光光束のみを透過させる撮像部光学フィルタ13aとP偏光光束のみを透過させる撮像部光学フィルタ13bを有している。本実施例の撮像装置では、複屈折光学素子16によって分離された光束が夫々対応する偏光方向の光学フィルタの画素に入射するように構成している。これにより、S偏光光束の画像Ia及びP偏光光束の画像Ibは、全く同じ画角の画像を取得することが可能となる。
DFD方式では、ぼけ量から距離推定する際に被写体のテクスチャの空間周波数の影響を受けてしまうことがある。したがって、S偏光光束の画像IaとP偏光光束の画像Ibとで1画素相当の画角が異なる場合、両者で撮像した被写体の位置が少しだけ(1画素程度)異なっており、異なるテクスチャから距離を推定していたため、距離推定精度を劣化させていた。
本実施例では、複屈折光学素子16を用いてS偏光光束の画像IaとP偏光光束の画像Ibと全く同じ画角としたので、両者で撮像した被写体の位置を全く同じにすることができる。これにより、同じテクスチャによって距離を推定することができるようになり、安定した距離推定精度を得ることが可能となる。
本実施例における撮像装置はモノクロ画像を例に挙げたが、カラー画像の撮像装置においてカラーフィルタがベイヤー配列の場合、緑色の画像は斜め方向で隣合わせとなっている。そこで、複屈折光学素子16を用いて光束を分離する際、斜め方向に1画素分だけ分離するように、複屈折光学素子16の光学軸の角度や厚みを調整すると良い。
本実施例の複屈折光学素子16は水晶を例に挙げたが、方解石、液晶などでも良く、また微細構造を用いた複屈折板でも良い。
本実施例の撮像装置は、実施例1の撮像装置と開口絞りと撮像部光学フィルタが異なるが、それ以外の構成は同じである。
図5に本実施例における開口絞りを示す。
本実施例では波長を用いて開口絞りを通過する光束を符号化している。開口絞り12は、開口絞り12の中央部に配置した円形の第1開口部12aと、第1開口部の周囲に配置したリング形状の第2開口部12bと、第2開口部の周囲に配置したリング形状の第3開口部12cとを有している。第1開口部12aと第2開口部12bと第3開口部12cとは同軸に配置されている。さらに、第1開口部12a及び第2開口部12b及び第3開口部12cは撮像光学系11の光軸とも同時に配置している。第1開口部12aには第1スペクトルを透過させる開口部第1カラーフィルタAPCF1を、第2開口部12bには遮光部STOPを、第3開口部12cには第2スペクトルを透過させる開口部第2カラーフィルタAPCF2を設置している。
図6に本実施例における開口部カラーフィルタの分光透過率Tを示す。図中の実線は開口部第1カラーフィルタAPCF1における第1スペクトルSP1の分光透過率であり、破線は開口部第2カラーフィルタAPCF2における第2スペクトルSP2の分光透過率である。
このように本実施例の撮像装置の開口絞り12は、第1開口部12aと第3開口部12cにカラーフィルタを配置している。第1開口部12aを通過する光束を第1スペクトルSP1で符号化した第2符号化光束とし、第3開口部12cを通過する光束を第2スペクトルで符号化した第1符号化光束としている。
本実施例では、第1符号化光束と第2符号化光束とで開口絞り12の開口径及び開口形状を異ならせている。
第1スペクトルSP1は第1開口部12aのみを通過しており、第1スペクトルSP1のみで取得した画像Iaは撮像光学系の絞り値F/8.0、開口形状は円形開口の画像である。一方、第2スペクトルSP2は第3開口部12cのみを通過しており、第2スペクトルSP2のみで取得した画像Ibは撮像光学系の絞り値F/4.0、開口形状は輪帯開口の画像である。
また、電子撮像素子14の直前に配置した撮像部光学フィルタ13には、第1スペクトルSP1のみを通過させる撮像部第1カラーフィルタICCF1と第2スペクトルSP2のみを通過させる撮像部第2カラーフィルタICCF2とが交互に配列されている。そのため、電子撮像素子14は、画素毎に異なるスペクトルの画像を取得している。
このように、本実施例の電子撮像素子は、第1符号で符号化された第1符号化光束を受光する画素と、第1符号化光束以外の光束を受光する画素とを有している。
これらによって本実施例の撮像装置は、波長を用いて符号化された光束によって異なる開口径や開口形状の画像を同時に取得することが可能となる。
また、実施例1と同様に、第1開口部12aと第3開口部12cとに透過率制御フィルタを配置して式(1)を満足させると、第1符号化光束と第1符号化光束以外の光束の光量をほぼ均一に揃えることができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
例えば、以上の実施例では、複数の開口部の開口径又は開口形状を互いに異ならせたり、開口形状を円形又は輪帯としたりすることを例示したが、それらに限られない。同時に撮影した複数枚の画像のぼけ量が互いに異なるように複数の開口部が構成されていれば良い。
10 撮像装置
11 撮像光学系
12 開口絞り
13 撮像部光学フィルタ(光学フィルタ)
14 電子撮像素子(撮像素子)
15 画像処理部

Claims (15)

  1. 撮像光学系と前記撮像光学系からの光束を撮像する撮像素子とを備える撮像装置において、
    前記撮像光学系は、第1開口部と第2開口部とを含む開口絞りを有し、
    前記撮像素子は、第1画素と第2画素とを有し、
    前記第1開口部には、通過する光束を第1符号で符号化する第1光学フィルタが配置されており、
    前記第1画素は、前記第1符号で符号化された第1符号化光束を受光し、
    前記第2画素は、前記第1符号化光束を受光せずに該第1符号化光束以外の光束を受光する
    ことを特徴とする撮像装置。
  2. 前記第2開口部には、通過する光束を第2符号で符号化する第2光学フィルタが配置されており、
    前記第2画素は、前記第2符号で符号化された第2符号化光束を受光する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像光学系と前記第1画素との間には、前記第1符号化光束を透過する第3の光学フィルタが配置されており、
    前記撮像光学系と前記第2画素との間には、前記第1符号化光束を透過せずに該第1符号化光束以外の光束を透過する第4の光学フィルタが配置されている
    ことを特徴とする請求項1に記載の撮像装置。
  4. 前記撮像光学系と前記第1画素との間には、前記第1及び第2符号化光束のうち該第1符号化光束だけを透過する第3の光学フィルタが配置されており、
    前記撮像光学系と前記第2画素との間には、前記第1及び第2符号化光束のうち該第2符号化光束だけを透過する第4の光学フィルタが配置されている
    ことを特徴とする請求項2に記載の撮像装置。
  5. 前記光学フィルタは、偏光によって光束を符号化する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記光学フィルタは、波長によって光束を符号化する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  7. 前記第1開口部の面積と前記第2開口部の面積とは等しい
    ことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 前記第1開口部の開口径をD1、前記第2開口部の開口径をD2としたとき、次式を満足する
    0.8×√2 ≦ D2/D1 ≦ 1.2×√2
    ことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 前記第1及び第2開口部の少なくとも一方には、前記第1符号化光束及び前記第1符号化光束以外の光束の少なくとも一方の透過率を設定する透過フィルタが配置されている
    ことを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
  10. 前記第1開口部の開口径をD1、前記第2開口部の開口径をD2、前記第1開口部における前記第1符号化光束の透過率をT11、前記第1開口部における前記第1符号化光束以外の光束の透過率をT12、前記第2開口部における前記第1符号化光束の透過率をT21、前記第2開口部における前記第1符号化光束以外の光束の透過率をT22としたとき、次式を満足する
    Figure 2014131109

    ことを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
  11. 前記撮像光学系と前記撮像素子との間に配置されている複屈折光学素子を備え、
    前記複屈折光学素子は、前記第1符号化光束を前記第1画素へ導き、前記第1符号化光束以外の光束を前記第2画素へ導く
    ことを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。
  12. 前記撮像素子からの信号に基づいて画像のデータを処理する画像処理部を備え、
    前記画像処理部は、複数の前記第1画素からの信号に基づいて第1画像のデータを生成し、複数の前記第2画素からの信号に基づいて第2画像のデータを生成し、
    前記第1及び第2開口部は、前記第1画像のぼけと前記第2画像のぼけとが異なるように構成されている
    ことを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
  13. 前記画像処理部は、前記第1及び第2画像のデータに基づいて、被写体の距離情報を求める
    ことを特徴とする請求項12に記載の撮像装置。
  14. 前記第1及び第2開口部は、同軸である
    ことを特徴とする請求項1乃至13のいずれか1項に記載の撮像装置。
  15. 前記第1及び第2開口部は、開口径が異なる
    ことを特徴とする請求項1乃至14のいずれか1項に記載の撮像装置。
JP2012286688A 2012-12-28 2012-12-28 撮像装置 Active JP6112862B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012286688A JP6112862B2 (ja) 2012-12-28 2012-12-28 撮像装置
PCT/JP2013/085294 WO2014104379A1 (en) 2012-12-28 2013-12-19 Image capturing apparatus
US14/758,209 US9398218B2 (en) 2012-12-28 2013-12-19 Image capturing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012286688A JP6112862B2 (ja) 2012-12-28 2012-12-28 撮像装置

Publications (3)

Publication Number Publication Date
JP2014131109A true JP2014131109A (ja) 2014-07-10
JP2014131109A5 JP2014131109A5 (ja) 2016-02-04
JP6112862B2 JP6112862B2 (ja) 2017-04-12

Family

ID=50069269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012286688A Active JP6112862B2 (ja) 2012-12-28 2012-12-28 撮像装置

Country Status (3)

Country Link
US (1) US9398218B2 (ja)
JP (1) JP6112862B2 (ja)
WO (1) WO2014104379A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016133595A (ja) * 2015-01-19 2016-07-25 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JPWO2019131382A1 (ja) * 2017-12-26 2021-01-07 富士フイルム株式会社 撮像装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10277889B2 (en) * 2016-12-27 2019-04-30 Qualcomm Incorporated Method and system for depth estimation based upon object magnification
CN116529785A (zh) * 2020-11-23 2023-08-01 指纹卡安娜卡敦知识产权有限公司 包括滤光器的生物特征成像装置和使用生物特征成像装置进行成像的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016611A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置及びカメラ
JP2010079298A (ja) * 2008-09-12 2010-04-08 Sharp Corp カメラ及び撮像システム
JP2011133360A (ja) * 2009-12-24 2011-07-07 Canon Inc 距離計測装置、距離計測方法、及びプログラム
WO2011101035A1 (en) * 2010-02-19 2011-08-25 Iplink Limited Processing multi-aperture image data
JP2012080065A (ja) * 2010-09-07 2012-04-19 Sony Corp 固体撮像素子、固体撮像装置、撮像機器、及び、偏光素子の製造方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091451A (en) * 1997-08-19 2000-07-18 Hewlett-Packard Company Digital imaging system having an anti color aliasing filter
US6034372A (en) * 1997-12-03 2000-03-07 The United States Of America As Represented By The Secretary Of The Air Force Pupil stop for multi-band focal plane arrays
US6344893B1 (en) 2000-06-19 2002-02-05 Ramot University Authority For Applied Research And Industrial Development Ltd. Super-resolving imaging system
US20050146634A1 (en) * 2003-12-31 2005-07-07 Silverstein D. A. Cameras, optical systems, imaging methods, and optical filter configuration methods
US7224540B2 (en) * 2005-01-31 2007-05-29 Datalogic Scanning, Inc. Extended depth of field imaging system using chromatic aberration
DE102005026912A1 (de) * 2005-06-10 2006-12-14 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Filmscanner
US7367723B2 (en) 2005-07-29 2008-05-06 Mitsubishi Electric Research Laboratories, Inc. Fast switching camera aperture
US7400458B2 (en) * 2005-08-12 2008-07-15 Philips Lumileds Lighting Company, Llc Imaging optics with wavelength dependent aperture stop
US7894078B2 (en) 2007-04-23 2011-02-22 California Institute Of Technology Single-lens 3-D imaging device using a polarization-coded aperture masks combined with a polarization-sensitive sensor
JP5315574B2 (ja) * 2007-03-22 2013-10-16 富士フイルム株式会社 撮像装置
JP4990234B2 (ja) 2008-07-07 2012-08-01 オリンパス株式会社 測距装置、測距方法、測距プログラム又は撮像装置
US7881603B2 (en) * 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
EP2471258B1 (en) * 2009-08-25 2017-05-24 Dual Aperture International Co. Ltd. Reducing noise in a color image
JP5368369B2 (ja) 2010-04-28 2013-12-18 株式会社デンソー 車載用撮像装置及び車載用画像処理装置
CN102713513B (zh) 2010-11-24 2015-08-12 松下电器产业株式会社 摄像装置、摄像方法、程序以及集成电路
US8749636B2 (en) * 2011-07-12 2014-06-10 Lockheed Martin Corporation Passive multi-band aperture filters and cameras therefrom

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016611A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置及びカメラ
JP2010079298A (ja) * 2008-09-12 2010-04-08 Sharp Corp カメラ及び撮像システム
JP2011133360A (ja) * 2009-12-24 2011-07-07 Canon Inc 距離計測装置、距離計測方法、及びプログラム
WO2011101035A1 (en) * 2010-02-19 2011-08-25 Iplink Limited Processing multi-aperture image data
JP2012080065A (ja) * 2010-09-07 2012-04-19 Sony Corp 固体撮像素子、固体撮像装置、撮像機器、及び、偏光素子の製造方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016133595A (ja) * 2015-01-19 2016-07-25 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JPWO2019131382A1 (ja) * 2017-12-26 2021-01-07 富士フイルム株式会社 撮像装置
US11288780B2 (en) 2017-12-26 2022-03-29 Fujifilm Corporation Imaging apparatus

Also Published As

Publication number Publication date
US20150341560A1 (en) 2015-11-26
US9398218B2 (en) 2016-07-19
WO2014104379A1 (en) 2014-07-03
JP6112862B2 (ja) 2017-04-12

Similar Documents

Publication Publication Date Title
JP5388544B2 (ja) 撮像装置およびそのフォーカス制御方法
US20180241933A1 (en) Focusing adjustment apparatus and focusing adjustment method
JP5791349B2 (ja) 撮像装置及びその制御方法
US9456119B2 (en) Focusing apparatus capable of changing a driving amount of a focus lens based on focus detection results acquired at different focus positions
EP2179581A1 (en) Image-pickup apparatus and control method therof
US8848096B2 (en) Image-pickup apparatus and control method therefor
JP6019556B2 (ja) 焦点検出装置、撮像装置、およびカメラ。
KR20170094968A (ko) 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
JP2009175528A (ja) 焦点調節装置および撮像装置
JP6112862B2 (ja) 撮像装置
US11333927B2 (en) Image processing device, image capturing device, and image processing method
JP2013160832A (ja) 光学機器
JP2013254166A (ja) 撮像装置及びその制御方法
WO2013035427A1 (ja) 立体撮像装置および方法
JP2015046777A (ja) 撮像装置および撮像装置の制御方法
US20200092489A1 (en) Optical apparatus, control method, and non-transitory computer-readable storage medium
JP2014142497A (ja) 撮像装置及びその制御方法
JP5796388B2 (ja) 焦点検出装置および撮像装置
JP2011142464A (ja) 焦点検出装置および撮像装置
JP2014194502A (ja) 撮像装置および撮像システム
JP5454521B2 (ja) 撮像装置
JP2008233389A (ja) 焦点判定方法、焦点判定装置、および焦点判定プログラム
US9531941B2 (en) Imaging apparatus
WO2023026701A1 (ja) 撮像装置、撮像装置の駆動方法、及びプログラム
JP5423734B2 (ja) レンズ鏡筒および撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170314

R151 Written notification of patent or utility model registration

Ref document number: 6112862

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151