JP2017156376A - ごみ検出手段 - Google Patents

Abstract

【課題】撮像面位相差AFの機能を有する撮像装置において、レンズを絞り込んだ上でデフォーカスさせてセンサ出力の変化を見ることにより、ごみを検知する方法を提供すること。【解決手段】分割測光手段と、撮像面位相差AFの機能と、レンズ群を一定量駆動してデフォーカス量を変化できる機能と、撮像素子の出力信号が示すデフォーカス量の変化量からゴミの有無を判定する機能を有する撮像装置において、分割測光手段の測定結果により、測距エリア毎にＡＦ像蓄積条件を設定し、それぞれのエリア毎に設定された蓄積条件でゴミ検出を行う。【選択図】図６

Description

本発明は、撮像面位相差検出装置を有する撮像装置のごみ検出手段に関する。

CMOSセンサのような撮像素子と光学レンズを組み合わせ、画像を保存する撮像装置が広く利用されている。こうした撮像装置において、ごみが撮像素子に付くことが以前より問題視されている。ごみが付着したまま撮影を行うと、付着したごみが撮影画像に写りこんでしまうことがあり、特にレンズ交換式の撮像装置では保存される画像の品質が低下してしまう場合があった。

また、近年は撮像素子に位相差式の測距機能(位相差AF方式)を持たせ、合焦機能をスムーズにする技術が開発されている。こうした技術を持つ製品では、センサ面にゴミが付着していると、撮像装置は波形の形状が被写体によるものなのかゴミに起因するものなのか判断ができない。そのため、ゴミが付着したままAF動作を行うと、ごみによって生じる波形を含めてデフォーカス量を検出することになり、精度が落ちることになる。

図１は位相差AF方式で見た波形データである。図の信号が凹んでいる部分がごみによる波形のケラレである。

この状態でAF動作を行うと、ごみの波形も含めてデフォーカス量を計算してしまう。ごみは実際の被写体より至近側にあるため、ごみを含めてデフォーカス量の検出を行うことにより、実際よりも至近側にピントがシフトしてしまう。

このための対策として、白壁や面光源といった、画面全体が一様光となるような被写体を撮影し、ごみが付着した位置を特定する技術が一般に使用されている。

また、特許文献１は、撮像装置内で独立して存在する位相差AF装置の波形について、レンズをデフォーカスしたときにゴミ波形だけは波形変化が生じないことを利用してゴミ検出を行う方法を開示している。

特開2009-271428号公報

撮像面位相差AFを有する撮像装置において、レンズを絞り込んでフォーカス信号によりゴミ検出を行う方法を提供する。特許文献１は位相差AFユニットについて言及しており、撮像面位相差AFについては考慮されていない。したがって、撮像面のごみを検出することはできない。また、撮像面位相差AFではレンズの絞りを十分に絞り込まないと、ごみがセンサに写りこまないため、上記開示内容では撮像面位相差AFのごみ検出を行うことができない。また、被写体に輝度ムラがあった場合、輝度の明るいところと暗いところで最適なAF蓄積条件とする事が出来ず、ゴミ検出精度が落ちるという問題があった。

図９(A)は、測距する際のゲインが低い、または蓄積時間が短かった場合、センサー出力が低くなり、ごみ波形が小さくなり、ゴミ検出精度が低下する。図９(B)は、逆に測距する際のゲインが高い、または蓄積時間が長すぎた場合、センサー出力が飽和してしまい、これもゴミ検出精度が低下する。

本発明は、上記に記載した問題点を解決するための手段であり、専用の環境を用意する必要がなく、何処でも簡単に撮像素子表面のごみを検出できる撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、
分割測光手段と、撮像面位相差AFの機能と、レンズ群を一定量駆動してデフォーカス量を変化できる機能と、撮像素子の出力信号が示すデフォーカス量の変化量からゴミの有無を判定する機能を有する撮像装置において、分割測光手段の測定結果により、測距エリア毎にＡＦ像蓄積条件を設定し、それぞれのエリア毎に設定された蓄積条件でゴミ検出を行う機能を有することを特徴とする。

本発明に係る撮像装置によれば、これまで必要とされた面倒な環境設定が必要とせずに、撮像面のゴミ検出が可能になる。

位相差AF方式でとらえたごみ波形 撮像装置構成 撮像面の画素構造 瞳分割概念図 デフォーカス量検知フローチャート ごみ検知機能フローチャート レンズを駆動した際の波形の変化 測距エリア・測距エリアの分割 ＡＦ像蓄積条件による波形の違い 測距エリアの利用方法 測距エリアの分割方法

以下、図面を参照して、本発明の実施形態を説明する。

［実施例］
図２は本実施形態の撮像装置の構成例である。なお、図の左側の被写体側を撮像装置の前方と定義して、以下の説明を行う。

第１レンズ群101は撮像光学系を構成するレンズのうち、最も前方にあり、光軸方向に運動可能なように設置されている。絞り102はレンズ光軸上で開口径を操作することで撮像素子へ入る光量を調整したり被写界深度のコントロールを行う。なお、構造上シャッター幕を持たない撮像装置では、絞りがシャッター幕を兼ねる場合もある。第2レンズ群103は絞りと共に光軸方向に運動し、第1レンズ群と連動してズーム動作を行う。第3レンズ群105は光軸方向に運動することで焦点調整を行う。

106はローパスフィルタで、撮像画像に偽色やモアレが発生することを防止する。撮像素子107は、例えばCMOSセンサと、その周辺回路で構成されている。撮像素子107は横方向にm個、縦方向にn個の画素を持ち、その前部にベイヤー配列の原色カラーモザイクフィルタを配置している。撮像素子駆動回路124は撮像素子107の動作を制御するとともに、取得した撮像画像をA/D変換してCPU１２１へ送信する。画像処理回路125は、CPU121から撮像画像を受け取り、取得したデータのγ変換、カラー補完、JPEG圧縮等を行う。

レンズROM110は、撮像装置本体に着脱可能なレンズごとに固有のデータを記憶しており、焦点位置検出等に必要なレンズ情報をCPU121に送信する。また、レンズ情報の１つとして、射出瞳距離情報が記憶されている。ズームアクチュエータ111とズーム駆動回路129は第1レンズ群と第2レンズ群を光軸方向に運動させることでズーム操作を行う。絞りシャッタアクチュエータ112と絞りシャッタ駆動回路128は開口径を操作して、光量の調節と露出時間の調整を行う。フォーカスアクチュエータ114とフォーカス駆動回路126は第3レンズ群を駆動し、焦点位置の調整を行う。

測光回路141は、測光センサー142が接続され、撮像範囲内の輝度分布を測定する。その測光範囲は、図8aに示すように画面内をArea1〜Area45まで45分割する形となっている。ストロボ115とAF補助光装置、およびそれぞれの制御回路である、電子フラッシュ制御回路122、補助光駆動回路123は、被写体が暗い場合やコントラストが低い場合に用いられるが、本発明には直接関係しないため、省略する。

CPU121は撮像装置全体の制御を行う。CPU121には演算部、ROM、RAM、A/Dコンバータ、A/Dコンバータ、通信インターフェイス回路等が実装されており、焦点検出、絞り制御、撮影、画像処理、画像の記録といった、一連の作業に関する演算を行い、各駆動回路を制御する。

表示器131にはLCD等が使用され、撮影に関する情報や設定内容、撮影前のライブビュー画像や撮影後の確認画像等を表示する。操作部132は電源SW、レリーズボタン、撮影モードダイヤル等で構成される。記録媒体133は例えばCFカードのような撮像装置に着脱可能なフラッシュメモリであり、撮影した画像データを記録する。

次に、撮像素子107の構造を説明する。

図３(A)は撮像素子の画素配列の概略図であり、CMOSセンサの画素配列を4行×4列の範囲で示している。画素群210の配列は2行×2列のベイヤー配列を採用しており、緑の分光感度の画素が2画素(210G)、赤(210R)と青(210B)の画素がそれぞれ1画素配置されている。以上、説明した全ての画素が、瞳分割用の2つの副画素201a、201bを有する。

副画素201aは第1瞳領域を通過した光束を受光する第1画素であり、201bは第2領域を通過した光束を受光する第2画素である。各画素を構成する検出素子は、撮像用素子と焦点検出素子を兼用している。

図３(B)は図３(A)の撮像素子を拡大した図である。座標系は、x-y平面が撮像素子面、z方向が光軸方向である。副画素201aと201bはx軸方向に並行に配置されている。

図３(C)は図3(B)内のa-a線で画素201Gを切断した断面図である。検出部はp型層200とn型層から構成されるフォトダイオードを有し、光軸方向(z方向)に所定の距離をおいてマイクロレンズ202が配置されている。マイクロレンズは配線層203上に形成される。

本実施形態では、全ての画素部が上述の撮像素子で構成されており、副画素を焦点検出用画素として利用している。また、信号の信頼性を上げるため、複数の画素(縦・横共に100画素以上)の情報を加算して演算する。なお、全ての素子を上述の素子としなくても、本発明を利用することは可能である。

次に、撮像素子107の瞳分割状況について解説する。

図４は1つの画素部による瞳分割の様子を示す。検出部はp型層300とn型層301a、301bを備える。p型層300とn型層301aは副画素201aに相当する検出素子を構成し、p型層300とn型層301bは副画素201bに相当する検出素子を構成する。光軸上にはマイクロレンズ303が配置される。

図４の上部には、射出瞳302と、絞りやレンズ等の枠304を示している。副画素301aと301bは1つの画素内に配置されており、それぞれx方向、-x方向に偏心している。そのため、1つのマイクロレンズ303で形成される射出瞳302内で瞳分割を行うことが可能である。副画素301aで形成される像信号Aと、副画素301bで形成される像信号Bとの相対的なずれ量を検出し、相関演算を行うことで、デフォーカス量を算出することができる。算出された結果から、レンズの焦点ずれ量を調整する動作が行われる。

なお、本実施例では、副画素をx方向に偏心させた例を提示したが、y方向に偏心させても同様の作業を行うことが可能である。また、マイクロレンズ内に複数の副画素を配置しなくても、副画素を1つ備えた素子を複数用意し、それぞれの偏心量を変えることで焦点検出を行うことも可能である。

次に、図５を用いて焦点ずれ量を検出する原理について説明する。

先に説明したように、撮像素子は瞳分割された像信号Aと像信号Bの組み合わせの像データを取得できる。この組み合わせにおいて、撮影レンズの焦点が撮像面より前方にある場合、各像信号はたがいに近付いた位置になり、後方にある場合の像信号は離れた位置になる。この被写体像の相対位置の変異量は焦点ずれ量と特定の相関関係にあるため、各波形出力に対して相関演算を行えば、焦点ずれ量(=デフォーカス量と記す)が求められる。

デフォーカス量の検知は、撮像素子の蓄積、焦点検出演算、判定、の３つの動作からなる。デフォーカス量検知が開始されると、ステップ402でCPU121が測距中の素子が無いか確認し、測距中の素子が無い1回目の測距でなければ、ステップ403で撮像素子駆動回路124を用いて、選択した撮像素子107とCPU121内部のメモリを初期化して以降の検知に備える。最初の検知であれば、内部のメモリにデータは入っていないため、何も行わずにステップ404へ進む。

次に撮像素子の蓄積を実行する。撮像素子は複数存在する(本実施例ではN個と表現する)ため、全ての素子を順番に蓄積させる。最初に1つ目の素子を読み出すため、ステップ404で撮像素子駆動回路内のカウンタをn=1として、以下の蓄積フローを開始する。具体的には撮像素子駆動回路124へ蓄積開始命令を出して撮像素子107内の全測距素子の蓄積を開始させ(ステップ405)、蓄積完了とともに、ステップ406で上記駆動回路124からの各測距素子の蓄積終了信号を読み込む。

次にステップ408でカウンタの数字が撮像素子と一致しているかを確認し、一致していれば、すべての撮像素子が蓄積を完了しているので蓄積完了割り込みが実行され、ステップ409で撮像素子107の蓄積が停止する。カウンタの数字が撮像素子数より少ない場合は、ステップ407でカウンタに1を加算し、ステップ405で次の撮像素子の蓄積を行う。

焦点検出演算では、ステップ410で撮像素子の蓄積データをCPU121内でA/D変換してデジタルデータにした後、CPU121の内部メモリにデータとして記憶する。このデータを画像処理回路125を用い、ステップ411で複数まとめた測距エリアの波形データとして形成し、ステップ412でCPU121で相関演算を行う。撮像面位相差AFで使用する副画素201a、201bは非常に小さいため、ノイズを減らす目的で複数の素子を平均加算して使用することが多い。撮像素子の使い方の一例を図１０に示す。図１０では、縦・横各9画素ずつをまとめている。

横方向の素子は波形をチェックするための画素数としてそのまま利用する。縦方向の9画素は信頼性を高めるために平均加算して1画素分のデータとして使用する。そのため、図１０(A)の測距範囲の素子は実際には図１０(B)のラインセンサとして作動する。

ここでの相関演算は先に述べた対になる撮像素子に入射した２像の間隔、すなわち像ずれ量を算出する演算処理である。この演算では対をなす撮像素子データの比較を行い、この比較の結果、相関値が最小となる像ずれ量が算出される。さらに、算出された像ずれ量に基づいて、ステップ413でデフォーカス量を算出する。デフォーカス量は、像ずれ量に対して光学的に算出できる係数を用いて算出される。

すべての撮像素子のデフォーカス量を算出した後、検出結果が有効であるか無効であるかを判定する。ここでの判定は各撮像素子の出力信号に対してコントラストが十分あるか、相関演算の結果が適切かを判断する。

最初に、ステップ414で出力信号を確認し、コントラストがあるかどうかを判断する。コントラストが基準値を下回る撮像素子は合焦不能と判定してステップ417へ進む。コントラストに問題が無ければ、ステップ415へ進み、相関演算値の評価を行う。相関値が低い場合は信頼性が低いと判断してステップ417へ進む。信頼性に問題が無ければステップ416へ進み、検出結果が有効であると判定して終了する(ステップ418)。ステップ417へ進んだ場合は検出結果の信頼性が低いと判断して終了する(ステップ418)。

以上の作業を行って、信頼性があると認めた撮像素子のデフォーカス量のみを利用する。以上の理論を用いて本発明の動作を行う。

次に、本発明の動作を図６のフローチャートを用いて説明する。

撮像装置の電源が入ったとき、もしくは、レンズを交換した直後に自動で動作を開始する(ステップ501)。なお、使用者が撮影タイミングを重視する等、本動作を行うのに都合が良くない場合には、操作部132と表示器131のメニュー画面により、前もって前もって本動作を停止することも可能である。また、撮影者がメニュー等から、ごみ検知モードを選択することも可能である。

本発明はレンズのフォーカス位置を変化させてごみを検出するため、ステップ502でレンズROM110を読むことでレンズの有無を確認する。レンズが付いていない場合には、以降の動作を止めると同時に、表示器131の背面液晶等により撮影者にアナウンスを行う(ステップ524)。

ステップ503で前回行ったごみ検出結果の記録を削除する。ステップ504以降でごみ検知をおこなう。

ステップ504では、測光手段である測光回路141により撮像範囲内の測光を行う。画面を分割して測光を行う分割測光手段である。

ステップ505では、測光結果の輝度分布により、測距エリア毎のAF蓄積条件を設定する。測距エリアは、図８(A)で説明した測光エリアの分割形態と同じように分割され制御される。図８(B)のような被写体の場合、Area1〜Area12、Area17〜Area20、Area27、Area28、Area30は輝度の高いエリアとある。それ以外のエリアは輝度の暗いエリアとなる。輝度に応じて、最適なAF蓄積条件を設定する。

ステップ506では、撮像面に付着したゴミを検知出来るよう、絞りシャッタ駆動回路128により、絞りを十分に絞り込む。具体的には、各レンズの最少絞りF16やF32といった値まで絞り込めば、十分にごみを検知可能である。

ステップ507では、ごみ検出エリアの選択を行う。本実施例では、ステップ504での測光結果で輝度の高かった測距エリアから順次、ごみ検出を行っていく。同じAF蓄積条件となった測距エリアは、同時に行っていく。

次にステップ508でデフォーカス量の検出を行う。まず、ステップ508で以下の手順でデフォーカス量の算出を行う。ごみを検知する相関演算は演算範囲にある像を全て使ってデフォーカス量を検出してしまうため、ごみの存在を特定するには測距範囲を適度に分割してごみ波形だけを演算して読みだすことが望ましい。この分割数は、ごみのデフォーカス量に依存する。ごみが付着している際に計算されるデフォーカス量より大きく、かつ、レンズを駆動した際の波形移動量が十分に認識できるサンプリング長さを保ちながら、極力細かく分割することで、ごみの検出精度を向上させることができる。

本実施例では、図１１に示すように、一つの測光エリアに対応する測距エリアを３つに分割した場合について説明を行う。

図１１は図１０で例に挙げた撮像素子を3分割した様子を示しており、図１１(A)が測距エリアの分割方法、図１１(B)が図９(A)をラインセンサとして利用するときの分割方法である。

まず、ステップ505で以下の手順でデフォーカス量の算出を行う。CPU121は撮像素子駆動回路124を介して撮像素子107の一つの測距エリアへ各撮像素子の出力を行わせる。出力された信号は、画像処理回路125を用いてごみ検知を行うための測距エリアL,C,R(図11参照)に分割を行った後、CPU121自身で持つA/Dコンバーターでデジタル信号に変換してデフォーカス量の計算を行う。

次にごみ確認を行う。ごみ確認作業では、複数回のデフォーカス量確認を行うため、ごみを検知した回数を表す「ごみあり」フラグを使用する。そのため、最初にステップ509で「ごみあり」フラグの数字をリセットしておく。

撮像面撮像素子表面のごみを検知するため、ステップ510で信頼性のある演算値から、デフォーカス量が撮像素子表面までの距離と一致している測距エリアを選択し、ステップ511でごみが付着していると判断して「ごみあり」フラグに1を加算し、撮像装置内のメモリに記憶する。また、ステップ510において撮像素子表面のデフォーカス量に一致する測距エリアが無ければ、今回ごみ検出を行ったエリアにはごみは付着していないと判断して、ステップ519へ移る。

撮像装置が同一色の壁等、一様光の被写体を見ている場合は、素子で読み取るコントラストは全てごみによるものと考えられるので、上記で記憶した位置にごみが付いていると結論付けられる。しかし、実際の動作時には、図７(A)にあるように、ごみ以外に被写体の像を読み取っており測距エリア内に被写体波形の一部が入った時等にはごみと被写体の区別がつかないことがある。このように、間違ってごみと識別してしまった測距エリアのデフォーカス量は、レンズのフォーカス位置が変化に伴って変化する。そのため、レンズを駆動してフォーカス位置を変化させた後に再びデフォーカス量を測定すれば、ごみとごみ以外の被写体の区別をつけることが可能である。

以上の考え方に従い、ステップ512でデフォーカスの変化が十分検出できる程度にレンズを駆動する。次にステップ514でデフォーカス量の算出を行うが、２回目のデフォーカス量算出は、１回目の検出結果からごみ以外の被写体を取り除くための作業である。よって、ステップ513で、ステップ510でごみを検知した測距エリアをメモリから読み出し、読み出した測距エリアのみでデフォーカス量の算出を行う。

次にステップ515でごみ確認を行う。ここで行う作業は、先に説明したステップ510からステップ511までの内容と同じである。２回目の検出でごみが発見された箇所には、再びステップ516で「ごみあり」フラグを加算する。ごみが無ければ何もせずにステップ517へ進む。

ステップ516で「ごみあり」フラグ=１となり、ごみが検出できなかった場合は、ごみは付着していないと判断してステップ519へ進み、全エリアのごみ検出動作が完了したか判定する。全エリアのごみ検出動作が完了していなければ、次のエリアのごみ検出を行うためステップ507へ進み、全エリアのごみ検出動作が完了していれば、ステップ520へ進む。

ステップ517では上で得られた波形データにより、ごみの有無を判断する。「ごみあり」フラグが２となっている個所は、１回目のデフォーカス量検出の際に撮像面上の異物を予測し、レンズを駆動してもデフォーカス量に変化が無かったことを示している。従って、撮像面上にごみが付着していると判断できる。

フラグが１の場合は、レンズの駆動によりデフォーカス量が変化しているので、撮像素子より外側の映像を見ていたと判断できる。よって、ごみは付着しておらず、例えば被写体波形の一部を検知していたか、ゴースト光や撮像素子ノイズ等の影響でイレギュラーな測定結果を得ていたと判断できる。

ステップ518では、ステップ517でフラグが２となっている測距エリアをごみ検出エリアとして記憶する。ステップ519へ進み、全エリアのごみ検出動作が完了したか判定する。全エリアのごみ検出動作が完了していなければ、次のエリアのごみ検出を行うためステップ507へ進み、全エリアのごみ検出動作が完了していれば、ステップ520へ進む。

図７(A)はごみが付着した撮像素子で読み取った波形データである。測距エリアLの山の部分が実際の映像をよみとった波形であり、測距エリアR側の凹んだ部分は撮像素子にごみが付着したことによる波形ケラレが引き起こした波形である。測距エリアCは、左端に測距エリアL上の波形の先端が入り込んでおり、デフォーカス量の演算を行うと測距エリアCと測距エリアRにごみが付着していると判断される。よって、「ごみあり」フラグは、測距エリアL=０、測距エリアC=１、測距エリアR=１ となる。

図７(B)は図７(A)の状態からレンズを駆動し、デフォーカス量を変化させた後の波形である。このとき、実際の映像による波形は、レンズのフォーカス位置が変化したためにA/B像の間隔が変わり、デフォーカス量が変化していることがわかる。それに対し、ごみ波形はレンズを動かしても変化しない。その結果、「ごみあり」フラグは測距エリアRのみ加算されて、測距エリアL=０、測距エリアC=１、測距エリアR=２となる。以上の結果から、測距エリアRにごみが付着していると判定できる。

ステップ520では、全エリアのごみ検出した結果、ごみを検出した場合は、ステップ521へ進み、表示器131を通じてごみの存在を撮影者に通知する。通知後の動作内容は撮影者の都合によって、選択可能である。たとえば、ステップ514の様に、ごみの付着している個所以外で合焦作業を行ったり、異物補正データDDDの取得を行うことができる。また、撮像面表面にある光学部品を振動させることにより、ごみを除去する機能を有する撮像装置であれば、ごみを検知した上で除去機能をスタートさせることが可能である。

ステップ523で動作を完了させる。なお、以上の例では撮像面とレンズの間に遮蔽物の無い場合について述べているが、例えばサブミラーレスカメラの様に、他にごみが付着し得る部品がある撮像装置でも本アイデアは同様に使用することができる。サブミラーレスカメラの場合は、撮像面以外にメインミラー面上と同距離のデフォーカス信号を示す個所をメモリに記憶すれば良い。

また、本実施例では、測光手段として撮像素子とは別の測光手段（測光センサー141、測光回路142）を設けたが、撮像素子で行っても同様の結果が得られる。また、測光結果により同一のAF蓄積条件となった測距エリアはひとまとめにしてごみ検出を行うので、ごみ検出の繰り返し回数を抑える事が出来、ごみ検出時間の短縮になる。また、測光結果により変更されるAF蓄積条件は、蓄積時間、ゲインのうち少なくとも一つを含むものである。

また、測光結果により、非常に暗いところはごみ検出を行わないようにする事で、ごみ検出が不確実となるエリアでのごみ検出動作を実行しなくする事が出来るので、ごみ検出動作のスピードアップと不確実なごみ検出を防止する事が可能となる。

102 絞り、105 第３レンズ群(焦点調整用)、107 撮像素子、
112 絞りシャッタアクチュエータ、114 フォーカスアクチュエータ、121 ＣＰＵ、
124 撮像素子駆動回路、126 フォーカス駆動回路、128 絞りシャッタ駆動回路、
141 測光センサー、142 測光回路、
201,301 副画素(デフォーカス量検知のために分割された画素)

Claims (2)

1. 分割測光手段(141,142)と、
   撮像面位相差AFの機能と、
   レンズ群(105)を一定量駆動してデフォーカス量を変化できる機能と、
   撮像素子(107)の出力信号が示すデフォーカス量の変化量からゴミの有無を判定する機能を有する撮像装置において、
   分割測光手段(141,142)の測定結果により、測距エリア毎にＡＦ像蓄積条件を設定（S505）し、それぞれのエリア毎に設定された蓄積条件でゴミ検出を行う（S511）撮像面位相差ＡＦ機能を有することを特徴とする撮像装置。
2. 分割測光手段の測光結果で所定値以下の測距エリアは、ごみ検出を行わないことを特徴とする請求項１に記載の撮像装置。