JP2018132613A - 焦点検出装置、および撮像装置 - Google Patents

焦点検出装置、および撮像装置 Download PDF

Info

Publication number
JP2018132613A
JP2018132613A JP2017025380A JP2017025380A JP2018132613A JP 2018132613 A JP2018132613 A JP 2018132613A JP 2017025380 A JP2017025380 A JP 2017025380A JP 2017025380 A JP2017025380 A JP 2017025380A JP 2018132613 A JP2018132613 A JP 2018132613A
Authority
JP
Japan
Prior art keywords
pair
focus detection
noise
image signals
parallax image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017025380A
Other languages
English (en)
Other versions
JP6873729B2 (ja
Inventor
瓦田 昌大
Masahiro Kawarada
昌大 瓦田
宏和 石井
Hirokazu Ishii
宏和 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017025380A priority Critical patent/JP6873729B2/ja
Priority to US15/883,929 priority patent/US10462352B2/en
Priority to CN201810150361.2A priority patent/CN108429873B9/zh
Publication of JP2018132613A publication Critical patent/JP2018132613A/ja
Application granted granted Critical
Publication of JP6873729B2 publication Critical patent/JP6873729B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/021Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

【課題】 ノイズの影響を低減して焦点検出を行うことを可能にする焦点検出装置を提供することにある。【解決手段】 焦点検出装置は、一対の視差画像信号に含まれるノイズの影響度を判定する判定手段と、一対の視差画像信号に基づく相関演算により、一対の視差画像の位相差に関する情報を取得する取得手段とを備える。記取得手段は、判定手段の判定結果に基づいて、周波数特性の異なる複数のフィルターの中から位相差に関する情報の取得に用いるフィルターを選択し、選択されたフィルターによる処理が行われた一対の視差画像信号に基づく相関演算により取得された位相差に関する情報を焦点検出結果として出力する。【選択図】 図9

Description

本発明は、位相差検出方式を用いた焦点検出装置、及び撮像装置に関する。
従来、被写体像の光束を射出瞳面で分割して、それぞれを2次元の撮像素子における一対の画素列の各々に結像させ、一対の画素列で光電変換された各像信号の位相差に基づいて焦点検出を行う方法が位相差検出方式の焦点検出方法として知られている。
特許文献1には、各画素にマイクロレンズが形成された2次元の撮像素子を用いて位相差検出方式の焦点検出を行う撮像装置の記載がある。この撮像装置において、各画素は瞳分割された一方の像を光電変換するフォトダイオードA、他方の像を光電変換するフォトダイオードB、フォトダイオードAおよびBからの電荷を一時的に保持するフローティングディフュージョン領域を有する。フォトダイオードAおよびBからフローティングディフュージョン領域への電荷の転送制御は、はじめにフォトダイオードAの電荷のみを転送して電圧変換することで、瞳分割された一方の像信号(以後、A像信号と呼ぶ。)を得ることができる。また、ここでフローティングディフュージョン領域をリセットすることなく、つづけてフォトダイオードBの電荷をフローティングディフュージョン領域に転送して電圧変換することで、瞳分割前の像信号(以後、A+B像信号と呼ぶ。)を得ることができる。
瞳分割された他方の像が入射するフォトダイオードBに対応する像信号(以後、B像信号と呼ぶ。)は、A+B像信号からA像信号を差し引くことで、電気的に求められる。このようにして求められた一対のA像信号およびB像信号の画像信号は視差画像信号であるため、A像信号とB像信号に対して、その位相差を公知の相関演算で求めることにより、被写体の焦点位置を検出することができる。また、A+B像信号は撮像装置による撮像画像の生成に用いる。このように、特許文献1に記載の撮像装置は、A像、B像、A+B像という3種類の像信号を、2回の読み出しで取得することができる。加えて、フローティングディフュージョン領域で電荷を混合してA+B像信号を生成するため、A像信号とB像信号とを読み出してから加算する方法に比べて、ノイズの少ない瞳分割前の像信号(A+B像信号)が得られる。
特開2014−89260号公報
一般的な光電変換の回路構成において、フローティングディフュージョン領域に光ショットノイズや暗電流ノイズが混入する。したがって、フォトダイオードから転送された電荷には、フローティングディフュージョン領域で一時的に保持されるタイミングによって、異なる電荷量のノイズが混入する。瞳分割された一対の像をそれぞれ光電変換する場合、フローティングディフュージョン領域にて上述したA像信号を一時的に保持するタイミングと、同じく上述したA+B像信号を一時的に保持するタイミングとで、異なる電荷量のノイズが混入する。よって、特許文献1のように、A+B像信号からA像信号を減じて生成したB像信号は、A像信号に含まれるノイズ成分と正負が逆の信号成分(逆波形ノイズと呼ぶ。)を含む。
一対の視差画像信号において、ノイズの影響がなければ合焦時は位相シフト量=0の時に相関量が最も小さくなるが、このようにA+B像信号とA像信号の差分をB像信号とすると、位相シフト量=0の時に他のシフト量のときよりもノイズの影響が大きくなる。その結果、誤測距やハンチングが起きる可能性がある。特に、合焦位置近傍での焦点検出の際、位相差ゼロの近傍で画素列が高い負の相関を示すことにより、焦点検出に誤差が生じてしまう可能性がある。また、被写体が特に低輝度または低コントラストである場合、本来の被写体に起因する像信号の振幅が小さくなるため、ノイズの影響度が相対的に高くなる。
また、像信号対に含まれるノイズ成分が相関を有するのは、B像信号をA+B像信号とA像信号との差分から取得する場合だけに限らない。列方向で読出し配線、及びAD変換部を複数画素で共有している撮像素子では、列毎の特性の相違により列毎に異なる固定のノイズが発生する。そのため、列方向でアドレスが同一のA像副画素、A+B像(もしくはB像)画素で垂直読み出し線を共有した場合、A像副画素、A+B像画素では同傾向の列ノイズが撮像信号に混入する。この場合、逆波形ノイズとは逆に、一対の画素列においては、A像に表れたノイズの波形と、B像に表れるノイズの波形は同傾向のノイズ波形となる。そのため、上述した例とは傾向が逆になり、相関演算時に、位相シフト量ゼロ近傍での相関量が局所的に高い正の相関を示すことになる。この場合も、本来の被写体に起因する像信号の相関性とは異なる位置で高い相関値が取得されるため、位相差の誤検出が発生する可能性がある。このように、A像信号とB像信号とで正の相関を示すノイズと、A像信号とB像信号とで負の相関を示すノイズ(逆波形ノイズ)のことをあわせて、本発明および本明細書では相関ノイズと呼ぶことがある。
そこで、本発明は上述した課題に鑑みてなされたものであり、その目的の一つは、ノイズの影響を低減して焦点検出を行うことを可能にする焦点検出装置を提供することにある。
上記目的を達成するために、本発明の撮像装置は、一対の視差画像信号に含まれるノイズの影響度を判定する判定手段と、前記一対の視差画像信号に基づく相関演算により、前記一対の視差画像の位相差に関する情報を取得する取得手段とを備え、前記取得手段は、前記判定手段の判定結果に基づいて、周波数特性の異なる複数のフィルターの中から前記位相差に関する情報の取得に用いるフィルターを選択し、選択されたフィルターによる処理が行われた前記一対の視差画像信号に基づく前記相関演算により取得された前記位相差に関する情報を焦点検出結果として出力することを特徴とする。本発明のその他の側面は、発明を実施するための形態で説明をする。
本発明によれば、ノイズの影響を低減して焦点検出を行うことが可能な焦点検出装置を提供できる。
本発明の第1の実施形態に係る撮像装置の一例であるデジタルカメラの概略構成を示す図である。 本発明の第1の実施形態における焦点検出画素列に処理するデジタルフィルタの特性例を示すグラフである。 撮像素子の構成を示す模式図である。 撮像素子の画素の回路構成及び駆動タイミングを示す図である。 像信号に表れるノイズの出方を説明するのに用いるパターン被写体である。 パターン被写体に対する第1および第2の焦点検出画素列の像信号およびその加算信号を示したグラフである。 ノイズが混入した場合における第1および第2の焦点検出画素列の像信号およびその加算信号を示したグラフである。 第1および第2の副画素列の相関を位相シフト量ごとに示したグラフである。 第1の実施形態におけるデジタルカメラの焦点検出動作の流れを示すフローチャートである。 第1の実施形態におけるデジタルカメラのノイズ影響度の判定の流れを示すフローチャートである。 第2の実施形態におけるデジタルカメラのノイズ影響度の判定の流れを示すフローチャートである。 第2の実施形態における像信号の先鋭度とデフォーカス量の関係を示す図である。
以下、本発明の実施の形態を、図面を参照して詳細に説明する。ここでは、本発明にかかる焦点検出装置を、レンズ交換式のデジタル一眼レフカメラに適用した実施形態について説明をする。しかしながら、本発明にかかる焦点検出装置は、位相差検出方式の焦点検出に用いる信号を生成可能な撮像素子を有する任意の電子機器に適用可能である。電子機器としては、レンズ交換できないタイプのデジタルカメラや、ビデオカメラの他、カメラを備えた携帯電話機、パーソナルコンピュータ、ゲーム機、家電機器などが例として挙げられる。
以下で説明する実施形態に係る焦点検出装置は、像面位相差方式の焦点検出を行う焦点検出装置であり、一対の視差画像信号に含まれるノイズの影響度を判定する。そして、判定結果に基づいて選択されたバンドパスフィルタ処理を施された一対の視差画像信号に基づく相関演算により取得された像ズレ量に関する情報を取得する。例えば、ノイズの影響が大きいと判定された場合は、ノイズの影響を受けにくい、比較的低周波帯域の信号が通過するようなバンドパスフィルタを選択する。一方で、ノイズの影響が小さいと判定された場合は、より高い精度で焦点検出を行うことができる、比較的高周波帯域の信号が通過するようなバンドパスフィルタを選択する。これにより、ノイズの影響を低減した焦点検出を行うことができる。
[第1の実施形態]
<デジタルカメラシステムの構成>
図1は、本発明の第1の実施形態に係る撮像装置の一例であるデジタルカメラシステムの概略構成を示す図である。
図1において、デジタルカメラシステムは、レンズ部100とカメラ部200備える。レンズ部100は、不図示のマウント部のレンズ装着機構を介してカメラ部200に着脱可能に取り付けられている。マウント部には、電気接点ユニット108が設けられている。この電気接点ユニット108には、通信バスライン用の端子があり、レンズ部100とカメラ部200が通信可能になっている。
レンズ部100には、撮像光学系を構成し、フォーカスレンズやズームレンズを有するレンズ群101、及び入射光線を制御する絞り102が設けられている。また、レンズ群101のズームやフォーカスを行うためのステッピングモータからなる駆動系及び駆動系の制御部を有するレンズ駆動ユニット103が設けられている。レンズ駆動ユニット103と駆動系は焦点調節手段を構成する。また、レンズ部100には、絞り102の開口を制御する絞り制御ユニット104と、レンズ群101のズーム、フォーカス、絞りの各種光学設計値が記録された光学情報記録部106が設けられている。レンズ駆動ユニット103、絞り制御ユニット104、および光学情報記録部106は、レンズ部100全体の動作を制御するCPUからなるレンズコントローラ105に接続されている。また、レンズ部100には、レンズ駆動ユニット103に内包されたステッピングモータの位相波形を取得してレンズの位置情報を検出するレンズ位置検出部107が設けられている。
カメラ部200は、レンズ部100と電気接点ユニット108を介して通信を行い、レンズ群101のズームやフォーカス、絞り102の開口について制御要求を送信し、制御結果を受信する。また、カメラ部200には、カメラ部200へ操作入力を行うための操作スイッチ214が設けられている。操作スイッチ214は、2段ストロークタイプのスイッチで構成されている。1段目のスイッチ(SW1)は、撮像信号を用いた測光や焦点検出など撮影準備動作を開始させるためのスイッチである。2段目のスイッチ(SW2)は、静止画を取得するため、撮像部213で電荷蓄積及び電荷読み出しといった撮影動作を開始させるためのスイッチである。
撮像部213は、光電変換部を有する画素を複数有する撮像素子と、撮像素子から出力された電気信号を、デジタルデータである像信号に変換するA/D変換器と、現像演算を行うプロセッサを有する。入射光線は、レンズ群101及び絞り102を介して、撮像素子へ導かれる。撮像部213では、入射した被写体像を光電変換して現像演算することで撮像データが得られる。撮像素子としては、CCDイメージセンサーやCMOSイメージセンサーを用いることができる。また、A/D変換器は撮像素子に組み込まれていても良い。尚、本明細書では、画素が像信号に対応する電気信号を出力することを、単に、画素が像信号を出力するということがある。撮像素子が有する画素のうち、少なくとも一部の画素は焦点検出のために用いる像信号を出力可能である。撮像素子で得られた焦点検出用の像信号は、カメラコントローラ215と接続されているメモリ216に一時記憶される。メモリ216に一時記憶された一対の視差画像信号(以下、単に一対の像信号と呼ぶことがある)は、カメラコントローラ215と接続されている画素加算部217へ送られる。
画素加算部217は、一対の像信号に対して、位置的に対応する画素から得られた像信号を、加算カウンタ218でカウントされた回数が所定回数に達するまで加算する。加算された一対の像信号は、カメラコントローラ215と接続されている相関量取得手段である相関演算部219へ送られ、相関演算部219は相関演算により一対の像信号の位相シフト量ごとの相関量(一対の像信号の差分で示される)を算出する。算出された相関量は、カメラコントローラ215と接続されている相関量加算部220で、加算カウンタ218でカウントされた回数が所定回数に達するまで加算される。加算された相関量は、位相差取得部221へ送られ、最も相関が高くなる位相差(相関量が最小値を示す位相差。本発明および本明細書では、単に位相差というときは、視差画像信号を構成する2像の相関が最も高い位相差のことを指す)が取得される。
デフォーカス量取得手段であるデフォーカス量取得部222は、位相差取得部221で取得された位相差とレンズ部100の光学特性に基づいて、公知の方法によりデフォーカス量を取得する。取得されたデフォーカス量は、デフォーカス量加算部223へ送られ、加算カウンタ218でカウントされた回数が所定回数に達するまで加算される。
カメラコントローラ215は、電気接点ユニット108を介してレンズコントローラ105と制御情報を送受信し、デフォーカス量検出部222あるいはデフォーカス量加算部223で算出されたデフォーカス量に基づいて、レンズ群101の焦点位置を制御する。
本実施形態におけるデジタルカメラは、撮像部213で撮像された被写体像や各種の操作状況を表示する表示部224と、撮像部213の動作を、ライブビューモードあるいは動画記録モードに切り替えるための操作部225を備える。撮像部213で撮像された静止画や動画は、所定のデータフォーマットで記録部226に記録される。
また、カメラ部200は、撮像部213から2つの像信号を入力して一方の像信号から他方を減算する画素減算部227と、像信号に1次元のバンドパスフィルタリング(BPF)を行うBPF処理部228を備える。BPF処理部は所定の空間周波数特性を透過させる第1のフィルタと、第1のフィルタより低域に特性を持たせた第2のフィルタを備える。第1と第2のフィルタの空間周波数特性の例を図2に示す。
図2において、第1のフィルタの空間周波数特性を実線、第2のフィルタの空間周波数特性を点線で示している。図中のNyは一対の焦点検出画素列のナイキスト周波数を示している。第1のフィルタは周波数f1で最大振幅となる空間周波数特性を持つ。第2のフィルタは周波数f1より低域の周波数f2で最大振幅となる空間周波数を持つ。よって、第2のフィルタのほうが、第1のフィルタよりも、低い帯域の信号を通過させるバンドパスフィルタであることが分かる。なお、BPF処理部228はフィルタ演算後に最大振幅の正規化演算を行う。このため、第1と第2のフィルタの最大振幅がともに値1となっている。
また、カメラ部200は、相関演算部219で算出した位相差ごとの相関量を2セット分だけ一時記憶する記憶領域と、2セットの相関量における任意の位相シフト量の相関量差を算出する相関量差算出部229を備える。相関量差算出部229は、カメラコントローラ215と共に、一対の視差画像信号に含まれるノイズの影響度を判定する判定手段として機能する。
次に、撮像部213が備える撮像素子の構成について、図3、4を用いて説明する。
図3(a)は、撮像素子の受光面を入射光側から見た模式図である。撮像素子が備える画素のそれぞれは、射出瞳面で分割された一対の光線がそれぞれ入射する第1の副画素S1および第2の副画素S2を備える。第1の副画素S1には、射出瞳の第1の瞳領域を通過する光束が入射し、第2の副画素S2には、射出瞳の第2の瞳領域を通過する光束が入射する。第1の副画素S1および第2の副画素S2の前面には、集光用にマイクロレンズMLが配置されている。撮像素子の受光面には、第1の副画素S1、第2の副画素S2、およびマイクロレンズMLを組とする画素が、水平方向にh画素、垂直方向にv画素配置されている。第1及び第2の副画素S1、S2からの像信号は焦点検出用に、単位画素からの像信号は撮像用に用いることができる。また、同じ画素を構成する第1の副画素と第2の副画素のことを、対をなす副画素ということがある。対をなす副画素同士には、同一のマイクロレンズMLを通過した光束が入射する。
図3(b)は図3(a)における画素の断面図である。光入射側(図中上)から、マイクロレンズML、マイクロレンズMLを配置するための平面を構成する平滑層701、遮光層702(702a,702b)、第1及び第2のフォトダイオード703a、703bが配置されている。射出瞳の第1の瞳領域を通過する光束は第1のフォトダイオード703aへ、第2の瞳領域を通過する光束は第2のフォトダイオード703bへ入射する。遮光層702は、第1の焦点検出画素S1の光電変換領域703aと第2の焦点検出画素S2の光電変換領域703bに不必要な斜め角度の光線を入射させないようにするために配置される。画素がこのような構成を有することにより、撮像光学系の瞳が対称に分割され、分割されたそれぞれの光束に対応する像信号が取得できる。
次に、撮像素子の画素の回路構成について、図4(a)を用いて説明する。画素300は、第1のフォトダイオード301A、第2のフォトダイオード301B、第1の転送スイッチ302A、第2の転送スイッチ302B、フローティングディフュージョン領域303を備える。さらに、単位画素300は、増幅部304、リセットスイッチ305、選択スイッチ306を備える。符号308は共通電源VDDである。尚、第1のフォトダイオード301Aと第1の転送スイッチ302Aは第1の副画素S1を構成し、第2のフォトダイオード301Bと第2の転送スイッチ302Bは第2の副画素S2を構成する。
第1と第2のフォトダイオード301A、301Bは、同一のマイクロレンズMLを通過してそれぞれに入射する光線を光電変換する。第1および第2の転送スイッチ302A、302Bは、それぞれ第1と第2のフォトダイオード301A、301Bで発生した電荷を、選択的に共通のフローティングディフュージョン領域303へ転送するよう制御する。第1と第2の転送スイッチ302A、302Bは、それぞれ第1および第2の転送パルス信号PTXAおよびPTXBによって制御される。フローティングディフュージョン領域303は、第1と第2のフォトダイオード301A、301Bからそれぞれ転送された電荷を一時的に保持し、保持した電荷を電圧信号に変換する。増幅部304は、ソースフォロワMOSトランジスタで構成され、フローティングディフュージョン領域303に保持された電荷に基づく電圧信号を増幅して、画素信号として出力する。リセットスイッチ305は、フローティングディフュージョン領域303の電位を基準電位VDDにリセットする。リセットスイッチ305は、リセットパルス信号PRESにより制御される。選択スイッチ306は、増幅部304から垂直出力線307への画素信号の出力を制御する。選択スイッチ306は、垂直選択パルス信号PSELにより制御される。
次に、図4(a)に示す単位画素300の回路の駆動を、図4(b)の駆動タイミングチャートを用いて説明する。はじめに、時刻t1乃至t2の間において、第1と第2のフォトダイオード301Aおよび301Bをリセットする。時刻t2において、第1と第2のフォトダイオード301Aおよび301Bでの電荷の蓄積を開始する。所望の露光量に基づく必要時間だけ電荷蓄積を行った後、時刻t3において、選択スイッチ306をONにする。つづいて時刻t4において、フローティングディフュージョン領域303のリセットを解除する。時刻t5乃至t6の間において、第1の転送スイッチ302AをONにして、第1のフォトダイオード301Aの電荷をフローティングディフュージョン領域303へ転送する。時刻t6において、第1のフォトダイオード301Aに蓄積された電荷がフローティングディフュージョン領域303に読み出される。電荷が読み出されることで、電位の変化に応じた電圧信号が増幅部304と選択スイッチ306を経て、第1の焦点検出画素信号として垂直出力線307に出力される。時刻t7乃至t8の間において、第1と第2の転送スイッチ302Aおよび302BをONにする。これにより、第1と第2のフォトダイオード301Aおよび301Bの電荷が、同時にフローティングディフュージョン領域303へ転送される。時刻t8において、転送された電荷がフローティングディフュージョン領域303に読み出される。電荷が読み出されることで、電位の変化に応じた電圧信号が増幅部304と選択スイッチ306を経て、第1と第2の焦点検出画素信号の加算信号として垂直出力線307に出力される。時刻t9において、フローティングディフュージョン領域303をリセットする。
以上の動作が単位画素ごとに順次行われ、第1の副画素の画素列の像信号と、第1と第2の副画素の画素列から取得される像信号の加算信号の読み出しが完了する。
読み出された第1の副画素の画素列の像信号および第1と第2の副画素の画素列の加算信号は、画素減算部227に入力されて、電気的に第2の副画素の画素列の像信号が生成される。尚、本明細書では、第1の副画素の画素列から取得される像信号をA像信号、第2の副画素の画素列から取得される像信号をB像信号とし、第1と第2の副画素の画素列から取得される像信号をA+B像信号とする。また、本実施形態のように、実際にはB像信号のみの読み出しをせず、間接的にB像信号を取得する場合であっても、B像信号は第2の副画素又は第2のフォトダイオード301Bから得られるとする。
<位相差とデフォーカス量の関係>
相関演算により取得される、一対の視差画像信号を構成する2像の位相差(像ずれ量ともいう)と、デフォーカス量とは比例関係にあり、位相差が大きくなるにつれてデフォーカス量が単調に増加する。また、位相差の向きとデフォーカス量の向き(至近側/無限側)が対応する。尚、本発明および本明細書では、単に一対の視差画像信号の位相差というときは、一対の視差画像信号の相関が最も高い(つまり相関量が最小値をとる)ときの位相差のことを指すものとする。位相差は、公知の手法によりデフォーカス量に変換することができ、さらにデフォーカス量とレンズ群101の倍率関係に基づき、公知の手法により被写体までの距離を算出することもできる。
<瞳分割した一方の像信号にノイズが混入することによる他方の像信号への影響>
次に、第1あるいは第2の副画素列にノイズが混入した場合の、像信号と相関量について説明する。
図5には、説明用に分かりやすい図形パターンで示したパターン被写体1300を示す。パターン被写体1300は、灰色部1301と白色部1302で構成されている。図5において、説明用に着目する焦点検出に用いる画素列の領域(いわゆる焦点検出領域)を1303とする。
図6は、図5に示すパターン被写体1300に対するA像信号(b)、B像信号(c)、及びA+B像信号(a)を示したグラフである。なお、レンズ群101の焦点は合焦状態で、A像信号とB像信号とに位相差が生じていないものとする。
図6(a)は加算信号であるA+B像信号のグラフであり、水平方向のX座標がX乃至Xの区間とX乃至Xの区間における輝度の低い灰色部1301の像信号出力がYで示されている。また、X乃至Xの区間における輝度の高い白色部1302の像信号出力がYで示されている。撮像部213で発生する暗電流の影響により、入射光量の無い状態でも一定の信号値が加わるため、その信号レベルがOBで示されている。
図6(b)はA像信号を示すグラフであり、図6(c)はB信号を示すグラフである。図6(b)と(c)において、水平方向のX座標がX乃至Xの区間とX乃至Xの区間における輝度の低い灰色部1301の像信号出力がYで示されている。また、X乃至Xの区間における輝度の高い白色部1302の像信号出力がYで示されている。ここで、像信号出力Yは、像信号出力YとOBの中間値である。また、像信号出力Yは、像信号出力YとOBの中間値である。
図7は、図6で示したA像信号(b)と、A+B像信号(a)とにおいて、それぞれ独立したノイズが混入した場合における、B像信号(c)を示したグラフである。
本実施形態の撮像部213は、フローティングディフュージョン領域303において、第1の副画素列のみの電荷を電圧変換するタイミングと、第1と第2の副画素列の加算信号の電荷を電圧変換するタイミングが異なっている。このため、双方に加わるノイズは必ずしも一致しない。このため、図7では、それぞれ独立したノイズが混入している場合を示している。
A+B像信号に混入したノイズを模式的にノイズΔNABで、A像信号に混入したノイズを模式的にノイズΔNで、B像信号に混入したノイズを模式的にノイズΔNで示す。ここでB像信号は、A+B像信号からA像信号を、電気的に差し引くことで求められる。このため、B像信号(B+ΔN)は、下記の式1に示す信号となる。
B+ΔN=(A+B+ΔNab)−(A+ΔN
=B+ΔNab−ΔN
∴ΔN=ΔNab−ΔN…(式1)
A:第1のフォトダイオードで生成された電荷に基づく信号(A像信号からノイズを引いた信号)
B:第2のフォトダイオードで生成された電荷に基づく信号(B像信号からノイズを引いた信号)
ΔNab:加算信号に重畳するノイズ
ΔN:A像信号に重畳するノイズ
ΔN:B像信号に重畳するノイズ
図7の(b)と(c)を比べると、ΔNとΔNが正負逆向きに生じており、ノイズ混入の無い図6の(b)と(c)の様態と比べて、像信号の相関が低下していること分かる。
図8((a)〜(c))は、一対の視差画像信号を相関演算して取得される相関曲線である。図8(a)は、図6に示したA像信号とB像信号の相関曲線であり、横軸に位相シフト量、縦軸に相関量(2像の差分)を示したグラフである。図8(a)において、レンズ群101の焦点は合焦状態のため、位相シフト量がゼロの場合に相関量が最小値のCとなっている。
図8(b)は、図7に示したA像信号とB像信号の相関曲線である。図8(b)において、A像信号とB像信号にそれぞれノイズΔNとΔNが混入しているため、位相シフト量がゼロを挟んだ値±Pの範囲で相関量が増加している。相関量は位相シフト量が値±PにおいてCである一方、位相シフト量ゼロで相関量がΔC増加してしまい、値Cまで増加してしまっている。このような相関量が得られてしまうと、本来は位相シフト量ゼロが最も相関が高いと判断すべきところが、位相シフト量−Pあるいは+Pが最も相関が高いと判断して誤差が生じてしまう。このように相関量に誤差が生じてしまうと、焦点検出の精度の低下やハンチングの発生につながる可能性がある。
図8(c)は、図8(a)、(b)に示した相関量に対して、位相シフト量が−P乃至+P付近における相関量の差分を示したグラフである。相関量の差分を算出すると、ノイズ混入による相関量の増加により、シフト量0位置で極大値を得る。ノイズ混入が多くなると、相関が悪化して、シフト量0位置の相関量である値Cが高くなる。このため、ノイズ混入有無の違いによる相関量差を示すΔCが高くなる。
<デジタルカメラシステムの動作>
図9は、本実施形態におけるデジタルカメラシステムの焦点検出動作の流れを示すフローチャートである。本動作は、カメラコントローラ215が各部を制御することにより実現される。
本実施形態のデジタルカメラシステムでは、電源投入後に、動作モードがライブビューモードに自動的に設定され、撮像部213で撮像を連続的に行いつつ、A像信号と、A+B像信号が生成されているものとする。また、A+B像信号に基づく被写体像が表示部224に表示されているものとする。
まず、操作スイッチ214のSW1が押下されて、焦点検出命令が発生することにより、焦点検出動作が開始される。
ステップS1901では、A像信号とB像信号とを取得する。本ステップでは、A像信号とA+B像信号が、撮像部213から画素減算部227へ転送される。(A像信号とB像信号を、2像と呼ぶことがある。)画素減算部227は、A+B像信号から、A像信号を電気的に減算することで、B像信号を取得する。これにより、独立したA像信号とB像信号を取得する。取得後、ステップS1902へ進む。
ステップS1902では、2像に対してそれぞれ独立して、黒レベル補正や撮像光学系に起因する周辺光量落ちなど、各種の信号レベル変動を抑える補正処理を行う。信号レベルが変動する要因は、被写体像を射出瞳面で光線分割したことにより、第1の副画素S1と第2の副画素S2の画素列に、角度の異なる光線が入射するためである。補正処理後、ステップS1903へ進む。
ステップS1903では、図7〜8を用いて説明したノイズの影響が相関演算に与える影響の大きさを判定する。判定処理の詳細は、図10を用いて説明する。
ステップS2001では、BPF処理部228にて、一対の焦点検出用画素列に第1のフィルタ処理を行い、相関演算部219へ出力する。出力後、ステップS2002へ進む。
ステップS2002では、相関演算部219にて、S2001により取得されたフィルタ処理後の一対の焦点検出用画素列を用いて相関演算を行い、位相差ごとの相関量(第1の相関量)を算出する。算出された第1の相関量は相関量差算出部229へ出力される。出力後、ステップS2003へ進む。
ステップS2003では、BPF処理部228にて、一対の焦点検出画素列に第1のフィルタより低域の周波数特性を有する第2のフィルタ処理を行い、相関演算部219へ出力する。出力後、ステップS2004へ進む。
ステップS2004では、相関演算部219にて、S2003により取得されたフィルタ処理後の一対の焦点検出画素列の相関演算を行い、位相差ごとの相関量(第2の相関量)を算出する。算出された第2の相関量は相関量差算出部229へ出力される。出力後、ステップS2005へ進む。尚、第2の相関量は、第1の相関量よりも低域の信号を用いた相関演算により算出されたため、第1の相関量よりもノイズの影響が低減された相関量である。
ステップS2005では、相関量差算出部229が、第1と第2の相関量の、位相差ゼロにおける相関量差を算出し、算出結果が第1の閾値以上か否かを判断する。さらに、第1の相関量と、第2の相関量との差分を、位相差ゼロを含む所定の位相差シフト量範囲で算出し、位相差ゼロで極大値を取りうるか判断する。位相差ゼロにおける相関量差が第1の閾値以上でかつ極大値となっていれば、ステップS2006へ進む。そうでなければ、ステップS2007へ進む。
ステップS2006では、図7〜8を用いて説明したような、位相差ゼロの位置近傍に現れる相関ノイズの影響が所定の大きさ以上であり、2像の相関の低下が大きいとカメラコントローラ215が判断し、このサブルーチンの動作を終了する。
一方、ステップS2007では、位相差ゼロの位置近傍に現れる相関ノイズの影響が所定の大きさ未満であり、2像の相関の低下が小さいとカメラコントローラ215が判断し、このサブルーチンの動作を終了する。
図19のフローチャートに戻り、ステップS1904では、ステップS1903の判定結果に基づいて、ノイズ対策を行う条件か否かをカメラコントローラ215が判断する。ステップS1903により、ノイズの影響が所定の大きさ以上であると判定された場合は、ステップS1905へ進む。一方、ステップS1903により、ノイズの影響が所定の大きさ未満であると判定された場合は、ステップS1906へ進む。
ステップS1905では、焦点検出におけるノイズの影響を軽減するため、より低域の空間周波数特性を持つ第2のフィルタで演算された第2の相関量に基づいて、一対の視差画像信号を構成する2像の相関量が最も高くなる位相差が位相差検出部221にて取得される。位相差の取得後、ステップS1907へ進む。
ステップS1906では、焦点検出に与えるノイズの影響が小さいため、被写体像のエッジ成分をできるだけ保って位相差の検出精度を高めるために、より高域の空間周波数特性を持つ第1のフィルタで演算された第1の相関量に基づいて、一対の視差画像信号を構成する2像の相関量が最も高くなる位相差が取得される。位相差の取得後、ステップS1907へ進む。つまり、ステップS1904〜S1906は、ステップS1903によるノイズの影響の大小の判定結果を受けて、位相差取得に用いるバンドパスフィルタを第1と第2のフィルタから選択する。
ステップS1907では、デフォーカス量取得部222にて、ステップS1905又はS1906で取得された位相差とレンズ部100の光学特性に基づいて、公知の方法によりデフォーカス量を取得する。取得されたデフォーカス量は、デフォーカス量加算部223へ送られ、加算カウンタ218で回数をカウントしながら、所定回数だけ加算される。加算処理を行うことで、位相差検出のばらつきを抑えている。加算後、ステップS1908へ進む。
ステップS1908では、デフォーカス量加算部223で算出され、焦点検出装置から出力されたデフォーカス量に基づいて、レンズ群101の焦点位置を制御することで、焦点調節を行う。
上述した動作を行うことにより、相関ノイズが焦点検出に与える影響の大きさを判定できるようになる。加えて、この判定結果を用いて、適切なフィルタを選択することで、相関ノイズの影響を低減した焦点検出を行うことができるようになる。
[第1の実施形態の変形例]
ここで、ステップS1903に対する変形例を説明する。第1の実施形態では、ステップS1903にて、空間周波数特性の異なる第1と第2のフィルタを用いて、第1の相関量と第2の相関量の差の大小および極大の位置に基づいて、ノイズの影響量を判定していた。しかし、ノイズの影響量の判断材料として、種々の情報を追加してもよい。
例えば、一対の視差画像信号の強度を追加してもよい。具体的には、一対の視差画像信号を構成する2像のうち、少なくとも一方の像信号の最大値あるいは平均値が第2の閾値以下か否かの判定を追加する。ステップS2005の判定に追加してもよい。そして、位相シフト量がゼロの位置での相関量差が、第1の閾値以上且つ極大値であり、さらに一対視差画像信号の強度が第2の閾値以下であるときに限ってノイズの影響が大きいと判断しても良い。このような動作を追加することで、像信号レベルが大きくノイズの影響度が比較的小さい条件下において、高周波特性の被写体が混入して第1と第2の相関量差が大きくなるような場合に、ノイズの影響が大きいと誤判定する可能性を低減することができるようになる。
尚、一対の視差画像信号の強度の代わりに、記録用の画像信号(A+B像信号に基づく信号)の強度をノイズの影響の大小の判定材料としてもよい。一対の視差画像信号や、記録用の画像信号等、撮像素子で取得された撮像信号全般を本発明および本明細書撮像信号と呼び、加算信号に基づく信号を撮像用信号と呼ぶ。
また、撮像部213が備える撮像素子の電荷蓄積時間と絞り102の絞り値からAPEX値におけるEV値(Exposure Value)を取得し、EV値が第3の閾値値以下である場合に限ってノイズの影響が大きいと判定してもよい。
また、ISOが第4の閾値以上の場合に限ってノイズの影響が大きいと判定してもよい。
次に、ステップS2005に対する変形例を説明する。第1の実施形態では、ステップS2005にて、位相差ゼロにおける相関量の差が所定の閾値以上か否かを判断していた。しかし、ΔCnのような逆波形ノイズは位相差ゼロに限らず、位相差ゼロを中心に位相シフト量−P乃至+Pの範囲に分布する。このことから、第1と第2の相関量の差を、位相差ゼロのみで算出せず、位相差ゼロを中心に所定位相シフト量範囲で広く算出しても良い。このような動作を行うことにより、より正確にノイズの影響量が大きいか判断できるようになる。また、位相差ゼロ近傍の相関量差であれば、位相差ゼロの相関量差の代わりに用いることもできる。
また、第1の実施形態では、ステップS1903で算出した相関量に基づいて、ステップS1905又はS1906で位相差を取得したが、ステップS1905、S1906で再度相関演算をおこなってもよい。これにより、演算量が増加する一方、ステップS1903で用いる第1と第2のフィルタと異なるフィルタを用いて、位相差を取得することができるようになる。よって、ノイズの検出に適したフィルタ(第1、第2のフィルタ)と位相差の取得に適したフィルタ(S1905、S1906で用いるフィルタ。第3、第4のフィルタと呼ぶ)とをそれぞれ選択することができる。また、第1と第2の相関量差の閾値を複数設け、ノイズの影響の大きさを3段階以上で評価し、評価結果に応じて、3種類以上のバンドパスフィルタから位相差取得に用いるフィルタを選択することもできる。
また、ステップS1907では、2像の位相差からデフォーカス量を取得したが、位相差から直接、合焦位置にレンズを移動させるために必要な駆動量(移動距離やパルス数等)を取得してもよい。位相差、デフォーカス量、合焦位置にレンズを移動させるために必要な駆動量等、位相差から取得される情報を、位相差に関する情報と呼ぶ。
[第2の実施形態]
第1の実施形態では、第1と第2の相関量の差分を用いてノイズの影響度を判定し、ノイズの影響が大きいと判定された場合は相対的に低い周波数特性を有するバンドパスフィルタを用いて位相差を取得した。
本実施形態では、ノイズの影響を判定する方法として、被写体のコントラストに関する情報と像信号に混入しているノイズに関する情報から、ノイズの影響を判定する点が第1の実施形態と異なる。言い換えると、本実施形態に係るデジタルカメラシステムの構成及び、焦点検出動作(図9に示すフローチャート)は第1の実施形態と同様であり、ステップS1903のサブルーチンが第1の実施形態と異なる。ステップS1903のサブルーチンのフローチャートを図11に示す。
ステップS2101〜S2104では、第1の実施形態のステップS2001〜S2004と同様に、一対の像信号に第1、第2のフィルタ処理をそれぞれ行って、第1、第2の相関量を取得する。尚、本実施形態では、ステップS1903においては第1、第2の相関量を用いずにノイズの影響度を判定することが可能であるため、このステップを省略することもできる。
ステップS2105では、被写体のコントラストに関する情報として、一対の像信号のコントラストを評価するためのコントラスト評価値を取得する。ここでは、評価値の1つとして、像信号の最大値(Peak値)と最小値(Bottom値)の差分である、波形振幅PBを演算する。A像信号とB像信号とのそれぞれの振幅PBを取得し、この平均を一対の像信号のPBとする。A像信号とB像信号のいずれかの振幅PBだけを取得して、これを一対の像信号のPBとしてもよい。また、ステップS2105ではさらに、コントラスト評価値の一つとして、下式によって、像の先鋭度(Sharpness)を表す評価値を演算する。
Figure 2018132613
ここで、aは焦点検出用の副画素列の信号(つまり、A像又はB像)であり、nは副画素列の画素数を表す。一例として、図12に高周波被写体(実線)と低周波被写体(点線)でのShartpnessとデフォーカス量との関係を示す。図12は、デフォーカス量が小さくなる(ボケが小さくなる)につれて、被写体像がシャープになるためShartpnessが高くなることを示す。また、高周波被写体に対して、低周波被写体ではデフォーカス量が小さくなっても、Sharpnessが大きくならないことを示す。一対の像信号に混入しているノイズ量が同等量である場合、像信号の波形振幅PBが大きいほど、また、像信号の像先鋭度Sharpnessの値が大きいほど、ノイズの影響は低減される。
続くステップS2106では、像信号に混入しているノイズに関する情報を評価するためのノイズ評価値を演算する。ここでは、フォトダイオードのノイズ成分となる暗電流ノイズ、光ショットノイズなど撮像素子の出力値や、撮像条件となる蓄積時間やISO感度などのゲインに関系し得る種々の設定パラメータ毎に予めテーブル化、もしくは式化した係数を基にノイズ評価値Noiseを算出する。簡易的な演算としては光ショットノイズ、及びISO感度に応じたノイズ評価値として、下式より演算する。
Figure 2018132613
ここで、ISOGainはISO感度の値に応じたゲイン量を表す値であり、Peakは像信号の最大値である。また、上式では取り扱っていないが、列毎に異なる垂直読み出し線の特性差分による固定パターンのノイズ成分なども、焦点検出信号の出力値に応じた値として予め個体毎に測定した値をテーブル化して推定するよう演算しても良い。
続くステップS2107、S2108では、ステップS2105、及びステップS2106でそれぞれ取得したコントラスト評価値とノイズ評価値とに基づいて、ノイズの影響度を判断する。ステップS2107では、ノイズ評価値Noiseとコントラスト評価値の1つである像信号の波形振幅PBとの比(Noise/PB)が第5の閾値未満か否かを判断し、第5の閾値未満であれば、ステップS2108へ進む。一方、ステップS2107で第5の閾値以上となる場合は、ステップS2109へ進み、相関演算に与えるノイズの影響度が大きいと判定する。
ステップS2108では、ノイズ評価値Noiseと焦点検出信号の像の先鋭度Sharpnessとの比(Noise/Sharpness)が第6の閾値未満か否かを判断し、第6の閾値未満であればステップS2110へ進み、相関演算に与えるノイズの影響度が小さいと判定する。一方、ステップS2108で第6の閾値2以上と判断されると、ステップS2109へ進み、ノイズの影響が相関演算に与える影響は大きいと判断し、サブルーチンの動作を終了する。また、ステップS2109へ進んだ場合には、ノイズの影響が相関演算に与える影響は大きい判定し、このサブルーチンの動作を終了して、図19のフローチャートに戻る。そして、ステップS2109を通った場合は、ステップS1905へ進み、ステップS2110を通った場合は、ステップS1906へ進む。ステップS1904以降は、第1の実施形態と同じである。ステップS1903の判定結果に基づいて、第1と第2のいずれのフィルタの処理をされた像信号に基づく相関演算により2像の位相差を取得するかを選択する。しかしながら、ステップS1903のサブルーチンで第1と第2の相関量を取得しない場合は、ステップS1903の判定結果に基づいて選択されたバンドパスフィルタを一対の像信号に施し、選択されたフィルタによる処理が行われた一対の像信号を用いた相関演算により2像の位相差を取得する。尚、ステップS1903が終わるまでに、一対の像信号に第1、第2のフィルタ処理をしておいてもよい。この場合、ステップS1903の判定結果に基づいて何れのフィルタ処理をされた像信号を用いて相関演算を行うかを選択する。本発明および本明細書では、このように、異なるフィルタ処理をされた信号を選択する場合も、フィルターを選択しているとみなす。
上述した動作を行うことにより、ノイズが焦点検出に与える影響の大きさを判定できるようになる。加えて、加えて、この判定結果を用いて、適切なフィルタを選択することで、相関ノイズの影響を低減した焦点検出を行うことができるようになる。第1の実施形態では、相関ノイズの大きさの推定結果から相関ノイズの影響度を判定するのに対し、本実施形態では、ノイズの大きさから相関ノイズの影響度を判定する。デジタルカメラシステムは、シーンに応じて第1と第2の実施形態を使い分けてもよい。シーンは、ユーザによるモード切り替えにより判別してもよい。
[第2実施例の変形例]
ここで、ステップS1903に対する変形例を説明する。第2の実施形態では、ステップS1903にて、ノイズに関する情報(ノイズ評価値Noise)と像信号のコントラストに関する情報(波形振幅PB、先鋭度Sharpness)とをそれぞれ取得し、それらの比の大小に基づいて、ノイズの影響度を判定した(S2105〜2110)。個の方法の代わりに、簡易的に、ISO感度毎に波形振幅PBに閾値を設定し、波形振幅PBがこの閾値未満であればノイズの影響が大きいと判定し、この閾値以上であればノイズの影響が小さいと判定してもよい。ISO感度毎に設定した波形振幅PBの閾値は、テーブル化して記憶しておけば良く、この方法をとることで、波形振幅PBのみでのノイズの影響度を判定し、フィルタの選択を行なうことができる。このように、コントラストに関する情報とノイズに関する情報のいずれかに設定された閾値を用いてノイズの影響度を判定する場合であっても、その閾値がもう一方の情報に応じて変更される場合は、ノイズに関する情報とコントラストの関する情報とに基づいて、ノイズの影響度を判定しているという。
また、ノイズに関する情報としては、フォトダイオードのノイズ成分となる暗電流ノイズ、光ショットノイズなど撮像素子の出力値や、撮像条件となる蓄積時間やISO感度があげられるが、これらの情報から複数の情報を使用してノイズ評価値としてもよいし、1つ(例えばISO感度)の情報のみを使用してノイズ評価値としてもよい。
また、この他、被写体に応じてノイズの影響を受けやすい被写体か否かの情報からフィルタの選択を行なうようにしてもよい。一般的には人物の顔などは、空間周波数の高い部分と、極端に低い部分が混在している被写体として、空間周波数の低い部分においては、ノイズの影響を非常に受けやすい被写体となり得る。そのため、本実施例の構成からさらに画角内に存在する顔の位置、サイズ、検出信頼性など顔の検出手段を有する焦点検出装置においては、顔検出情報や撮像条件に応じて、フィルタの選択を行なうようにしてもよい。具体的には、撮像条件となるISO感度が所定値以上であり、顔が検出された領域と焦点検出領域とが重畳する場合は、ノイズの影響度が大きいと判定し、相対的に低い周波数特性を持つフィルタを選択する。
また、第1、第2の実施形態における、撮像素子の変形例を説明する。図3(a)を用いて説明したように、撮像素子は、第1の焦点検出画素S1、第2の焦点検出画素S2、およびマイクロレンズMLの組を単位画素として、水平方向にh画素、垂直方向にv画素並んだ構成となっている。しかし、これに限らず、射出瞳面で分割しない通常画素と上記単位画素が混在していても差し支えない。このような構成であっても、本発明の効果が同様に得ることができる。
以上説明した実施例は代表的な例にすぎず、本発明の実施に際しては、実施例に対して種々の変形や変更が可能である。
100 レンズ部
101 レンズ群
200 カメラ部
213 撮像部
ML マイクロレンズ
S1 第1の焦点検出画素
S2 第2の焦点検出画素

Claims (20)

  1. 一対の視差画像信号に含まれるノイズの影響度を判定する判定手段と、
    前記一対の視差画像信号に基づく相関演算により、前記一対の視差画像の位相差に関する情報を取得する取得手段とを備え、
    前記取得手段は、前記判定手段の判定結果に基づいて、周波数特性の異なる複数のフィルターの中から前記位相差に関する情報の取得に用いるフィルターを選択し、選択されたフィルターによる処理が行われた前記一対の視差画像信号に基づく前記相関演算により取得された前記位相差に関する情報を焦点検出結果として出力することを特徴とする焦点検出装置。
  2. 前記取得手段は、
    前記判定手段により前記ノイズの影響が所定の大きさ以上であると判定されたとき、前記像ズレ量に関する情報の取得に用いるフィルタ―として第2のフィルターを選択し、
    前記判定手段により前記ノイズの影響度が所定値未満であると判定されたとき、前記像ズレ量に関する情報の取得に用いるフィルタ―として前記第1のフィルターよりも低い周波数成分を透過させる第2のフィルターを選択することを特徴とする請求項1に記載の焦点検出装置。
  3. 前記判定手段は、
    第3のフィルタを用いた前記一対の視差画像信号に基づく相関演算により取得された第3の相関量と、前記第3のフィルタよりも低い周波数成分を通過させる第4のフィルタを用いた前記一対の視差画像信号に基づく相関演算により取得された第4の相関量との差分に基づいて前記ノイズの影響度を判定することを特徴とする請求項1又は2に記載の焦点検出装置。
  4. 前記判定手段は、前記第1のフィルタを用いた前記一対の視差画像信号に基づく相関演算により取得された第1の相関量と、前記第2のフィルタを用いた前記一対の視差画像信号に基づく相関演算により取得された第2の相関量との差分に基づいて前記ノイズの影響度を判定することを特徴とする請求項2に記載の焦点検出装置。
  5. 前記判定手段は、前記ノイズの影響度の判定に、前記一対の視差画像信号を構成する少なくとも一方の信号の強度に関する情報を用いることを特徴とする請求項3又は4に記載の焦点検出装置。
  6. 前記信号の強度に関する情報は、前記信号の強度の最大値と前記信号の強度の平均値との少なくともいずれかであることを特徴とする請求項5に記載の焦点検出装置。
  7. 前記判定手段は、
    前記一対の視差画像信号のコントラストに関する情報とノイズに関する情報とに基づいて前記一対の視差画像信号に含まれるノイズの影響度を判定することを特徴とする請求項1又は2に記載の焦点検出装置。
  8. 前記コントラストに関する情報は、前記一対の視差画像信号を構成する少なくとも一方の像信号の、振幅と先鋭度の少なくともいずれかであることを特徴とする請求項7に記載の焦点検出装置。
  9. 前記ノイズに関する情報は、前記一対の視差画像信号の取得に用いられた撮像素子に起因するノイズ成分と、前記一対の視差画像信号にかけられるゲイン成分に関する設定値の少なくともいずれかであることを特徴とする請求項7または8に記載の焦点検出装置。
  10. 前記ゲイン成分に関する設定値は、前記一対の視差画像信号を取得する際の電荷の蓄積時間と感度の少なくともいずれかであることを特徴とする請求項9に記載の焦点検出装置。
  11. 前記判定手段は、
    前記一対の視差画像信号の前記コントラストに関する情報に基づいて取得される評価値と、
    前記一対の視差画像信号のノイズに関する情報に基づいて決定される閾値とを比較することで前記ノイズの影響度を判定する請求項7乃至10のいずれか1項に記載の焦点検出装置。
  12. 前記判定手段は、前記評価値が前記閾値よりも大きい場合、前記ノイズの影響度が所定値以下であり、前記評価値が前記閾値以下の場合、前記ノイズの影響度が前記所定値より大きいと判定することを特徴とする請求項11に記載の焦点検出装置。
  13. 前記取得手段は、
    前記一対の視差画像信号に対して前記選択されたフィルタを用いたフィルタ処理を行うことで、前記選択されたフィルタによる処理を施された前記一対の視差画像信号を取得することを特徴とする請求項1乃至12のいずれか1項に記載の焦点検出装置。
  14. 前記取得手段は、
    前記一対の視差画像信号に対して前記複数のフィルターのそれぞれを用いたフィルター処理を行うことで、複数のフィルターのそれぞれによる処理を施された複数の前記一対の視差画像信号を取得し、
    複数の前記一対の視差画像信号のなかから、前記選択されたフィルターによる処理を施された前記一対の視差画像信号を選択し、選択した前記一対の視差画像信号に基づく前記相関演算により、前記像ズレ量に関する情報を取得することを特徴とする請求項1乃至12のいずれか1項に記載の焦点検出装置。
  15. 前記取得手段は、
    前記一対の視差画像信号に対して前記複数のフィルタのそれぞれを用いたフィルタ処理を行うことで、複数のフィルタのそれぞれによる処理を施された複数の前記一対の視差画像信号を取得し、
    複数の前記一対の視差画像信号のそれぞれに基づく相関演算により複数の前記像ズレ量に関する情報を取得し、
    複数の前記像ズレ量に関する情報のなから、前記選択されたフィルタによる処理を施された前記一対の視差画像信号に基づく相関演算による前記像ズレ量に関する情報を選択することにより、前記像ズレ量に関する情報を取得すること特徴とする請求項1乃至12のいずれか1項に記載の焦点検出装置。
  16. 前記判定手段は、前記ノイズの影響度の判定に、前記一対の視差画像信号を取得するための撮像時の感度を使用することを特徴とする請求項1乃至15のいずれか1項に記載の焦点検出装置。
  17. 前記判定手段は、前記ノイズの影響度の判定に、前記一対の視差画像信号を取得するための撮像時のEV値を使用することを特徴とする請求項1乃至16のいずれか1項に記載の焦点検出装置。
  18. 前記一対の視差画像信号は、撮影光学系からの光を光電変換することで生成される信号に基づくことを特徴とする請求項1乃至17のいずれか1項に記載の焦点検出装置。
  19. 前記位相差に関する情報は、デフォーカス量、前記撮影光学系に含まれるレンズを合焦位置に移動させるために必要な駆動量の少なくともいずれかを含むことを特徴とする請求項1乃至18のいずれか1項に記載の焦点検出装置。
  20. 請求項1乃至19のいずれか1項に記載の焦点検出装置と、
    前記一対の視差画像信号を撮影光学系からの光を光電変換する撮像素子とを備える撮像装置。
JP2017025380A 2017-02-14 2017-02-14 焦点検出装置、および撮像装置 Active JP6873729B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017025380A JP6873729B2 (ja) 2017-02-14 2017-02-14 焦点検出装置、および撮像装置
US15/883,929 US10462352B2 (en) 2017-02-14 2018-01-30 Focus detection apparatus and image pickup apparatus
CN201810150361.2A CN108429873B9 (zh) 2017-02-14 2018-02-13 焦点检测设备和摄像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017025380A JP6873729B2 (ja) 2017-02-14 2017-02-14 焦点検出装置、および撮像装置

Publications (2)

Publication Number Publication Date
JP2018132613A true JP2018132613A (ja) 2018-08-23
JP6873729B2 JP6873729B2 (ja) 2021-05-19

Family

ID=63105543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017025380A Active JP6873729B2 (ja) 2017-02-14 2017-02-14 焦点検出装置、および撮像装置

Country Status (3)

Country Link
US (1) US10462352B2 (ja)
JP (1) JP6873729B2 (ja)
CN (1) CN108429873B9 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110352489B (zh) * 2017-02-28 2020-10-16 Bae系统成像解决方案有限公司 用于cmos成像传感器的自动对焦系统
JP7299711B2 (ja) * 2019-01-30 2023-06-28 キヤノン株式会社 光電変換装置及びその駆動方法
JP2021162829A (ja) * 2020-04-03 2021-10-11 キヤノン株式会社 焦点検出装置、撮像装置および焦点検出方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145559A (ja) * 2010-01-15 2011-07-28 Canon Inc 撮像装置
WO2016080161A1 (ja) * 2014-11-18 2016-05-26 富士フイルム株式会社 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5180407B2 (ja) * 2010-03-24 2013-04-10 富士フイルム株式会社 立体撮像装置および視差画像復元方法
JP6222915B2 (ja) * 2012-10-29 2017-11-01 キヤノン株式会社 撮像装置、撮像装置の駆動方法、プログラム及び記録媒体
JP6124564B2 (ja) * 2012-11-21 2017-05-10 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
JP6234144B2 (ja) * 2013-10-02 2017-11-22 オリンパス株式会社 焦点検出装置および焦点検出方法
JP6017399B2 (ja) * 2013-10-23 2016-11-02 オリンパス株式会社 撮像装置及び位相差検出方法
US9420164B1 (en) * 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145559A (ja) * 2010-01-15 2011-07-28 Canon Inc 撮像装置
WO2016080161A1 (ja) * 2014-11-18 2016-05-26 富士フイルム株式会社 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置

Also Published As

Publication number Publication date
CN108429873B9 (zh) 2021-11-02
CN108429873A (zh) 2018-08-21
JP6873729B2 (ja) 2021-05-19
CN108429873B (zh) 2021-04-16
US20180234618A1 (en) 2018-08-16
US10462352B2 (en) 2019-10-29

Similar Documents

Publication Publication Date Title
JP6116301B2 (ja) 撮像装置及びその制御方法
JP2015215371A (ja) 焦点調節装置およびその制御方法
JP2016038414A (ja) 焦点検出装置およびその制御方法、並びに撮像装置
JP6099536B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6381274B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2016133674A (ja) フォーカス制御装置及びその方法、プログラム、記憶媒体
US10362214B2 (en) Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium
CN108429873B (zh) 焦点检测设备和摄像设备
US10412330B2 (en) Image capture apparatus and method for controlling the same
JP6748477B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP2017032646A (ja) 撮像装置及びその制御方法
JP6270400B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JPWO2019202984A1 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体
JP6171110B2 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JP6467289B2 (ja) 撮像装置およびその制御方法
JP6017641B1 (ja) 撮像装置,信号処理方法,信号処理プログラム
JP2020057017A (ja) 撮像装置及びその制御方法
JP2019153918A (ja) 表示制御装置及び方法、及び撮像装置
JP2017187726A (ja) 撮像装置および撮像素子の駆動方法
JP2018004706A (ja) 焦点検出装置、焦点検出方法、およびプログラム
JP2018064249A (ja) 撮像装置及びその制御方法
JP2020067489A (ja) 撮像装置およびその制御方法
JP2024002703A (ja) 撮像装置およびその制御方法
JP2021096320A (ja) 制御装置およびその制御方法
JP2020038319A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210421

R151 Written notification of patent or utility model registration

Ref document number: 6873729

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151