JP2019080267A - 撮像装置 - Google Patents

Abstract

【課題】撮像素子の前面に配置された光学部材の表面に異物が付着した場合でも、異物の影響の少ない撮影画像を得ることができる撮像装置を提供する。【解決手段】デジタル一眼レフカメラにおいて、被写体像の撮像光束を複数の光束に分割光束分割手段４と、分割された第一の光束を受光する第１の撮像素子６と、分割された第二の光束を受光する第２の撮像素子７とを有し、第２の撮像素子からの出力信号に応じた合焦処理後に、第２の撮像素子で第２の画像を取得する。さらに、異物検出手段３１を備え、第２の画像取得後に光束分割手段を退避させ、第１の撮像素子からの出力信号に応じた合焦処理後に第１の撮像素子で第１の画像を取得し、第１の画像上に存在する異物を検出する。異物検出手段により検出された異物検出情報に基づいて、第１の画像における異物が写り込んだ画像領域を、画像領域に対応する第２の画像の画像領域で画像補正動作を実行する。【選択図】図２

Description

本発明は、デジタルカメラ等の撮像装置において、特に撮像素子の前面に配置された光学部材の表面に付着した異物が画像品質に影響を与えることを抑制する技術に関するものである。

従来、レンズ交換式のデジタル一眼レフカメラでは、レンズの交換等の作業において外部から侵入した塵埃やカメラ内の駆動部品から発生した摩耗粉などの異物が撮像素子の前面に配置された光学部材の表面に付着し、撮影画像に異物が写り込んでしまうという問題が生じていた。

そこで、これまでに撮像素子の前面に配置された光学部材の表面に付着した異物による撮影画像の品質の低下を防ぐ方法がいくつか提案されている。

例えば、一つの撮像素子から連続して取得した複数画像の位置ずれ情報と、記憶手段に記憶された異物領域情報に基づいて、異物の写り込んだ一部の画像を、異物の写り込んでいないもう一方の一部の画像で補正する撮像装置が提案されている（例えば、特許文献１）。

また、記録用と測光用の２つの撮像素子で画像情報を取得し、記録用の撮像素子の前面に配置された光学部材の表面に異物が存在することを検出した場合、画像情報に含まれる異物の影を画像処理により補正する画像補正処理部備えた撮像装置も提案されている（例えば、特許文献２）。

特許第４７５７０８５号公報 特開２０１１−２４０６０号公報

しかしながら、特許文献１に示す構成では、被写体が動かない場合、連続して取得した複数画像間において被写体像に位置ずれが生じないため異物の写り込みを正確に判別することができない。

また、特許文献２に示す構成では、ミラーアップ前に測光用の撮像素子で第１の画像を取得し、ミラーアップ後に記録用の撮像素子で第２の画像を取得するため、両画像間には時間差が発生してしまう。そのため、被写体が両画像を取得する間に移動した場合、両画像間に差異が生まれてしまうため異物を正確に判別することができない。

結果として、どちらの構成も被写体が動かない場合と、動く場合の両方の条件において連続して取得した複数の画像間から異物を正確に判別することは難しいため、正確に画像の補正ができず、所望の補正画像を得られない場合がある。

そこで、本発明に係る目的は、撮像素子の前面に配置された光学部材の表面に異物が付着した場合でも、撮影画像上に写り込んだ異物を正確に除去し、異物の影響を抑制した撮影画像を得ることができる撮像装置を提供することである。

上記課題を解決する為の本発明に係る撮像装置は、
被写体像の撮像光束を複数の光束に分割し、かつ撮像光束外に退避可能な光束分割手段（４）と、
前記光束分割手段（４）が撮像光束外に退避した際の光束を受光する、複数の撮影画素を配した第１の撮像素子（６）と、
前記光束分割手段（４）にて分割された光束の一部を受光する、複数の撮影画素を配した第２の撮像素子（７）と、を有し、
被写体像が前記第２の撮像素子（７）に合焦する位置を予測して算出した駆動量Ｂで撮影レンズ（２０１）を駆動した後、前記第２の撮像素子（７）で第２の画像（４０２）を取得し、
前記第２の画像（４０２）取得後に前記光束分割手段（４）を撮像光束外に退避すると共に、被写体像が前記第１の撮像素子（６）に合焦する位置を予測して算出した駆動量Ｃで前記撮影レンズ（２０１）を駆動した後、前記第１の撮像素子（６）で第１の画像（４０１）を取得し、
前記第１の画像（４０１）上に存在する異物を検出する異物検出手段（３１）を備え、
前記異物検出手段（３１）により検出された異物検出情報に基づいて、前記第１の画像（４０１）における前記異物が写り込んだ画像領域（４０１ａ）を、前記画像領域（４０１ａ）に対応する前記第２の画像（４０２）の画像領域（４０２ａ）で画像補正動作を実行する、ことを特徴とする。

以上説明したように、本発明によれば、撮像素子の前面に配置された光学部材の表面に異物が付着した場合でも、撮影画像上に写り込んだ異物を正確に除去し、異物の影響を抑制した撮影画像を得ることができる撮像装置の提供を可能とする。

本実施例に係る実施形態の一例であるデジタル一眼レフカメラの撮影時の画像処理動作におけるフローチャート図 本実施例に係る実施形態の一例であるデジタル一眼レフカメラの主要な電気的構成を示すブロック図 本実施例に係る実施形態の一例であるデジタル一眼レフカメラの撮影レンズの射出瞳から出た光束が単位画素に入射する時の光線を概念的に示した概略図 本実施例に係る実施形態の一例であるデジタル一眼レフカメラの画像補正パターンを説明する模式図

以下に模式図を参照して、この発明を実施するための好ましい実施形態を例示的に詳しく説明する。

［実施例１］
図２は、本発明の実施形態の一例であるデジタル一眼レフカメラの主要な電気的構成を示すブロック図である。

不図示のカメラ本体に内蔵されたマイクロコンピュータからなる中央処理装置（以下、「ＭＰＵ」と称する）１００は、カメラの動作制御を司るものであり、各要素に対して様々な処理や指示を実行する。

ＭＰＵ１００には、ミラー駆動回路１０１、焦点検出回路１０２、シャッタ駆動回路１０３、映像信号処理回路１０４、スイッチセンス回路１０５、測光回路１０６が接続されている。また、ＭＰＵ１００には、液晶表示駆動回路１０７、バッテリーチェック回路１０８、時刻計測回路１０９、電源供給回路１１０、圧電素子駆動回路１１１が接続されている。これらの回路は、ＭＰＵ１００の制御により動作するものである。

ＭＰＵ１００は、撮影レンズユニット２００内のレンズ制御回路２０２とマウント接点２０６を介して通信を行う。マウント接点２０６は、撮影レンズユニット２００が接続されるとＭＰＵ１００へ信号を送信する機能も有する。これにより、レンズ制御回路２０２は、ＭＰＵ１００との間で通信を行い、ＡＦ駆動回路２０３及び絞り駆動回路２０４を介して撮影レンズユニット２００内の撮影レンズ２０１及び絞り２０５の駆動を行う。なお、図２では便宜上１枚の撮影レンズ２０１のみを図示しているが、実際は多数のレンズ群によって構成される。

ＡＦ駆動回路２０３は、例えばステッピングモータ等によって構成され、レンズ制御回路２０２の制御により撮影レンズ２０１内のフォーカスレンズ位置を変化させ、第１の撮像素子６及び第２の撮像素子７に撮影光束の焦点を合わせるように調整する。絞り駆動回路２０４は、例えばオートアイリス等によって構成され、レンズ制御回路２０２の制御により絞り２０５を変化させ、光学的な絞り値を得る。

光束分割手段であるメインミラー４とサブミラー５は、例えばＤＣモータとギヤトレイン等によって構成されたミラー駆動回路１０１により駆動され、ファインダ１で被写体像を観察可能とするミラーダウン位置と、撮影光束から待避するミラーアップ位置（不図示）とに配置される。

ミラーダウン位置では、メインミラー４は撮影光軸５０に対して４５°の角度に保持された状態で配置されており、撮影レンズ２０１を通過して入射した撮影光束の一部を反射し、ペンタダハミラー３へと導く。

更に、メインミラー４は、撮像光束の一部を透過させ、透過した撮像光束はメインミラー４の背面側に設けられたサブミラー５で反射され、焦点検出手段を持つ第２の撮像素子７に導かれる。

ミラーアップ位置では、メインミラー４とサブミラー５は共に撮影光束から退避するよう配置される。第２の撮像素子７に入射した撮像光束は、第２の撮像素子７で光電変換されて焦点検出回路１０２へ出力され、被写体像信号に換算された後、ＭＰＵ１００へ送信される。

ＣＭＯＳエリアセンサからなる第１の撮像素子６および第２の撮像素子７は、被写体像を電気信号に変換するマトリクス状に配置された画素部を有する。第１の撮像素子６および第２の撮像素子７のそれぞれが有する複数の画素部は、焦点検出信号と記録又は表示用の画像信号の両方を取得することができる。画素部の構造については後述する。撮像ユニット６０は、主に光学ローパスフィルタ６１、圧電部材である圧電素子６２、第１の撮像素子６で構成される。

異物検出手段３１は第１の撮像素子６によって取得された画像内に写り込む異物情報（異物の位置、大きさ等）を取得する。異物情報の検出方法としては、例えば複数の撮像素子から取得された画像情報に基づいてパターン認識などを行い検出する方法や、撮像素子によって取得された画像のコントラスト情報によって検出する方法等がある。取得した異物情報はメモリ３９上に蓄積される。また、本実施例で指す異物とは、第１の撮像素子６の前面に配置された光学部材の表面に付着したものを指しており、ここでの光学部材とは例えば該光学ローパスフィルタ６１や第１の撮像素子６のパッケージ前面に配置されたガラスを指す。

第１の撮像素子６の前方に配置された光学ローパスフィルタ６１は、水晶からなる１枚の複屈折板であり、その形状は矩形状である。圧電素子６２は、単板の圧電素子（ピエゾ素子）であり、ＭＰＵ１００の指示を受けた圧電素子駆動回路１１１により加振され、その振動を光学ローパスフィルタ６１に伝えるように構成されている。

ペンタダハミラー３は、メインミラー４により反射された撮影光束を正立正像に変換反射し、ファインダ２と測光センサ４６に撮影光束を導くこれにより、撮影者はファインダ光学系を介してファインダ１から被写体像を観察することができる。

また、測光センサ４６へと導かれた撮影光束は、測光回路１０６で観察面上の各エリアの輝度信号に変換され、ＭＰＵ１００に出力される。ＭＰＵ１００は、得られた輝度信号に基づいて露出値を算出する。

シャッタユニット（機械フォーカルプレーンシャッタ）３２は、撮影者がファインダ１により被写体像を観察している時には、撮影光束を遮る。また、撮像時にはレリーズ信号に応じて、不図示のシャッタ先幕とシャッタ後幕の走行する時間差により、第１の撮像素子６に対して所望の露光時間を得るように構成されている。シャッタユニット３２は、ＭＰＵ１００の指令を受けたシャッタ駆動回路１０３により制御される。

クランプ／ＣＤＳ（相関二重サンプリング）回路３４は、Ａ／Ｄ変換する前の基本的なアナログ処理を行うものであり、クランプレベルを変更することも可能である。ＡＧＣ（自動利得調整装置）３５は、Ａ／Ｄ変換する前の基本的なアナログ処理を行うものであり、ＡＧＣ基本レベルを変更することも可能である。Ａ／Ｄ変換器３６は、第１の撮像素子６第２の撮像素子７のアナログ出力信号をデジタル信号に変換する。

映像信号処理回路１０４は、デジタル化された画像データに対してガンマ／ニー処理、フィルタ処理、モニタ表示用の情報合成処理等、ハードウエアによる画像処理全般を実行する。この映像信号処理回路１０４からのモニタ表示用の画像データは、カラー液晶駆動回路１１２を介してカラー液晶モニタ部６５に表示される。また、映像信号処理回路１０４は、ＭＰＵ１００の指示に従って、メモリコントローラ３８を通じてバッファメモリ３７に画像データを保存することもできる。さらに、映像信号処理回路１０４は、ＪＰＥＧ等の画像データ圧縮処理を行うこともできる。

連写撮影等、連続して撮影が行われる場合は、一旦バッファメモリ３７に画像データを格納し、メモリコントローラ３８を通して未処理の画像データを順次読み出すこともできる。これにより、映像信号処理回路１０４は、Ａ／Ｄ変換器３６から入力されてくる画像データの速度に関わらず、画像処理や圧縮処理を順次行うことができる。

メモリコントローラ３８は、外部インタフェース４０から入力される画像データを外部メモリ３９に記憶し、外部メモリ３９に記憶されている画像データを外部インタフェース４０から出力する機能を有する。外部メモリ３９としては、不図示のカメラ本体に着脱可能なフラッシュメモリ等が用いられる。

スイッチセンス回路１０５は、各スイッチの操作状態に応じて入力信号をＭＰＵ１００に送信する。スイッチセンス回路１０５には、スイッチＳＷ１（６６ａ）、スイッチＳＷ２（６６ｂ）、電源ＳＷ６３、メイン操作ダイヤルＳＷ６４が接続されている。

スイッチＳＷ１（６６ａ）は、レリーズボタン６６（不図示）の第１ストローク（半押し）によりＯＮする。スイッチＳＷ２（６６ｂ）は、レリーズボタン６６の第２ストローク（全押し）によりＯＮする。スイッチＳＷ１（６６ａ）がＯＮされると、焦点検出動作開始の指示がＭＰＵ１００に送信される。スイッチＳＷ２（６６ｂ）がＯＮされると、撮影開始の指示がＭＰＵ１００に送信される。ＳＷ２（６６ｂ）がＯＮされた後の撮影動作に関しては、後で詳しく説明する。

液晶表示駆動回路１０７は、ＭＰＵ１００の指示に従って、ファインダ内表示部２を駆動する。バッテリーチェック回路１０８は、ＭＰＵ１００の指示に従って、バッテリーチェックを行い、その検出結果をＭＰＵ１００に送信する。電源４２は、カメラの各要素に対して電源を供給する。時刻計測回路１０９は、電源ＳＷ６３がＯＦＦされて次にＯＮされるまでの時間や日付を計測し、ＭＰＵ１００からの指示に従って、計測結果をＭＰＵ１００に送信する。

［画素部の構造］
次に、図３を用いて、第１の撮像素子６及び第２の撮像素子７有する複数の画素部の構造について説明する。

図３は、撮影レンズの射出瞳から出た光束が単位画素に入射する時の光線を概念的に示した図である。第１の撮像素子６及び第２の撮像素子７が有する画素部は、マイクロレンズ３０３、カラーフィルタ３０２、単位画素３０１をそれぞれ備えている。単位画素３０１には受光した光を電気信号に変換する第１のフォトダイオード３０１ａおよび第２のフォトダイオード３０１ｂを有する。

単位画素３０１に対して、射出瞳３０４から出た光束の中心を光軸３０５とすると、射出瞳３０４を通過した光は、光軸３０５を中心として単位画素３０１に入射する。図３に示すように、３０６、３０７を撮影レンズの射出瞳の一部領域とすると、瞳領域３０６を通過する光束はマイクロレンズ３０３を通して、フォトダイオード３０１ａで受光される。同様に、瞳領域３０７を通過する光束はマイクロレンズ３０３を通してフォトダイオード３０１ｂで受光される。

位相差式の焦点検出を行う場合は、フォトダイオード３０１ａ及び３０１ｂが受光した光から変換した出力信号をＭＰＵ１００で独立に処理して１対２像を取得し、当該２像の相対的な像ずれ量から撮像面における被写体像のデフォーカス量を算出する。

本実施例における撮像装置は、算出されたデフォーカス量をＭＰＵ１００で独立に処理して、第２の撮像素子によって取得された画像に対して、画像取得後にピント位置の調整を行うリフォーカス処理を実行することができる。

画像の記録または表示を行う場合は、それぞれの出力信号を加算して記録用もしくは表示用の画像信号を得ればよい。

本実施例における撮像装置は、第１の撮像素子および第２の撮像素子によって取得された画像信号に基づく顔検出、パターンマッチング等の演算をＭＰＵ１００で独立に処理して、被写体の位置を検出することができる。また、検出した第１の撮像素子６における被写体の位置と第２の撮像素子７における被写体の位置との画像面内方向の位置ずれｔ１に基づいて、ＭＰＵ１００によって、被写体が動いたことを判別することができる。位置ずれｔ１が所定の閾値以上の場合は、被写体が各撮像素子で取得した画像間で画像面内方向に動いたと判定する。

［撮影時の画像補正動作について］
次に、図１及び図４を参照して、本実施形態に係る撮像装置の撮影時の画像補正動作について説明する。図４は、本実施形態に係る撮像装置の画像補正パターンを説明する模式図である。図１は、本実施形態に係る撮像装置の撮影時の画像処理動作におけるフローチャートを示す図である。

まず、本実施形態において第１の撮像素子６によって取得された撮影画像である第１の画像４０１内に異物を検出した場合の画像補正パターンについて図４（ａ）〜（ｄ）を用いて説明する。

第１の画像４０１内に異物を検出した場合の画像補正パターンとしては、異物が主被写体上に存在するかどうかでパターン分けされる。

異物が主被写体上に存在する場合、第２の画像４０２を取得してから第１の画像４０１を取得するまでの間に、主被写体が画像面内方向に動かないパターンＡと、主被写体が画像面内方向に動くパターンＢに分けられる。図４（ａ）はパターンＡ、図４（ｂ）はパターンＢをそれぞれ示している。また、異物が主被写体上に存在せず背景上に存在する場合、第１の画像４０１と第２の画像４０２の絞り値を比較し、絞り値が同じパターンＣと、絞り値が異なるパターンＤに分けられる。図４（ｃ）はパターンＣ、図４（ｄ）はパターンＤをそれぞれ示している。

被写体が画像面内方向に動かないパターンＡの場合、まず、異物検出手段３１が第１の撮像素子６によって取得された第１の画像４０１内に異物を検出すると、異物検出手段３１は、異物が存在する異物領域４０１ｂの情報を取得する。取得した異物領域４０１ｂは、異物領域４０１ｂを含む画像４０１内の画像領域４０１ａとともに、外部メモリ３９上に蓄積される。

次に、第２の撮像素子７によって取得された第２の画像４０２内の画像領域４０２ａを取得する。画像領域４０２ａは、画像領域４０１ａと位置と大きさが対応した異物が写り込んでいない画像情報である。

最後に、画像領域４０１ａを画像領域４０２ａで置き換えることで、異物が写り込んだ第１の画像４０１に対して異物が写り込んでいない補正画像４０３を取得する。

次に、被写体が画像面内方向に動くパターンＢの場合について説明する。図４（ｂ）の補正動作において、異物領域４０１ｂおよび画像領域４０１ａは図４（ａ）の補正動作と同様の動作によって取得されるため、説明を省略する。

次に、第２の撮像素子７によって取得された第２の画像４０２内の画像領域４０２ｂを取得する。画像領域４０２ｂは、画像領域４０１ａと大きさが対応した異物が写り込んでいない画像情報である。第２の画像４０２内における画像領域４０２ｂの位置は、画像領域４０１ａとは対応しておらず、異物領域４０１ｂと重なる被写体像が、第１の画像４０１上の位置へ動く前に第２の画像４０２において存在した位置である。

最後に、画像領域４０１ａを画像領域４０２ｂで置き換えることで、異物が写り込んだ第１の画像４０１に対して異物が写り込んでいない補正画像４０３を取得する。パターンＢの補正動作において、パターンＡのように、画像領域４０１ａを画像領域４０２ａで置き換えず、位置を補正した画像領域４０２ｂで置き換える理由は、パターンＢにおいては、被写体が画像面内方向に動作しているためである。仮に画像領域４０１ａを画像領域４０２ａで置き換えたとすると、画像領域４０２ａ内には被写体が存在しない、或いは、位置がずれているため、画像４０５における被写体像に所望の補正画像が得られない。

異物が背景上に存在し、第１の画像４０１と第２の画像４０２の絞り値が同じパターンＣの場合、異物検出手段３１は、異物が存在する異物領域４０１ｂの情報を取得する。取得した異物領域４０１ｂは、異物領域４０１ｂを含む画像４０１内の画像領域４０１ａとともに、外部メモリ３９上に蓄積される。

次に、第２の撮像素子７によって取得された第２の画像４０２内の画像領域４０２ａを取得する。画像領域４０２ａは、画像領域４０１ａと位置と大きさが対応した異物が写り込んでいない画像情報である。

最後に、画像領域４０１ａを画像領域４０２ａで置き換えることで、異物が写り込んだ第１の画像４０１に対して異物が写り込んでいない補正画像４０５を取得する。異物が背景上に存在し、第１の画像４０１と第２の画像４０２の絞り値が異なるパターンＤの場合、まず、異物検出手段３１は、異物が存在する異物領域４０１ｂの情報を取得する。取得した異物領域４０１ｂは、異物領域４０１ｂを含む画像４０１内の画像領域４０１ａとともに、外部メモリ３９上に蓄積される。

次に、第２の画像４０２の絞り値が第１の画像４０１と同様の絞り値になるように絞り値の補正をかけた絞り補正画像４０４を取得し、補正画像４０４内の画像領域４０４ａを取得する。画像領域４０４ａは、画像領域４０１ａと位置と大きさが対応した異物が写り込んでいない画像情報である。

最後に、画像領域４０１ａを画像領域４０４ａで置き換えることで、異物が写り込んだ第１の画像４０１に対して異物が写り込んでいない補正画像４０５を取得する。

パターンＤの補正動作において、パターンＣのように、画像領域４０１ａを画像領域４０２ａで置き換えず、絞り値を補正した画像領域４０４ａで置き換える理由は、絞り値が異なることで置き換えたい画像領域のボケ感がお互いにマッチしていないためである。仮に画像領域４０１ａを絞り値の補正をかけていない画像領域４０２ａで置き換えたとすると、ボケ感の異なる画像で異物領域４０１ｂを置き換えることになるため、所望の補正画像が得られない。

以上、本実施例における４つの補正動作について説明したが、異物検出手段３１が異物を検出しない場合、本実施例の撮像装置は図４（ａ）〜（ｄ）に示す補正動作を実行しない。

次に、本実施形態に係る撮像装置の撮影時の画像処理動作における信号処理の流れを図１用いて説明する。本実施例においては、撮影時に被写体に対してピントを合わせ続ける場合を例に挙げて説明する。

まずは、ＳＷ２（６６ｂ）が１回のみＯＮされる単写時の画像処理動作について説明する。本動作は、スイッチＳＷ１（６６ａ）がＯＮされて、焦点検出動作開始の指示がＭＰＵ１００に送信されると開始する。

まず、焦点検出動作が開始されると、ステップＳ５０１において第２の撮像素子７により撮影レンズ２０１の焦点状態を検出する。ステップＳ５０２では、ステップＳ５０１の焦点検出結果より撮影レンズ２０１のデフォーカス量を算出し、デフォーカス量に基づいて撮影レンズ２０１の駆動量Ａを算出する。

ステップＳ５０３で当該レンズ駆動量Ａに基づき、ＡＦ駆動回路２０３で撮影レンズ２０１を駆動させ、撮影レンズ２０１を第２の撮像素子７に対して合焦状態とする。

次のステップ５０４では、ステップＳ５０３のレンズ駆動Ａ動作が終了して一定時間が経過するまでの間にスイッチＳＷ２（６６ｂ）がＯＮされるかどうかを判定する。スイッチＳＷ２（６６ｂ）がＯＮされればステップＳ５０５に進み、ＯＮされない場合は、ステップＳ５０１に戻り、ステップＳ５０１〜Ｓ５０４の動作を繰り返す。ここで、もしステップＳ５０２とステップＳ５０３の動作が完了するまでの間にＳＷ２（６６ｂ）がＯＮされた場合には、ステップＳ５０３の動作が完了するのを待ってからステップＳ５０５に進む。

ステップＳ５０５では再び焦点検出動作を実施し、第２の撮像素子７により撮影レンズ２０１の焦点状態を検出する。次のステップＳ５０６では、ステップＳ５０５で算出したデフォーカス量の他に、スイッチＳＷ１のＯＮからステップＳ５０５の焦点検出動作までの間に得られた複数の合焦位置と時間情報に基づいて予測した予測移動量から撮影レンズ２０１の駆動量を算出する。

ここでの駆動量は、各動作のタイムラグを加味して、ＳＷ２をＯＮしてから第２の撮像素子７で画像取得するまでの予測駆動量Ｂ、第２の撮像素子７で画像取得してからミラーアップし、第１の撮像素子６で画像取得するまでの予測駆動量Ｃをそれぞれ算出する。

次のステップＳ５０７では当該レンズ予測駆動量Ｂに基づき、第２の画像４０２取得時に第２の撮像素子７に対して被写体像が合焦状態となるようにＡＦ駆動回路２０３で撮影レンズ２０１を駆動させる。レンズ駆動動作が完了したら、ステップＳ５０８に進み、撮影レンズ２０１から入射した光束から第２の撮像素子７で撮像を行い第２の画像４０２を取得する。

第２の画像４０２を取得したら、ステップＳ５０９に進み当該レンズ予測駆動量Ｃに基づき、第１の画像４０１取得時に第１の撮像素子６に対して被写体像が合焦状態となるようにＡＦ駆動回路２０３で撮影レンズ２０１を駆動させる。それと同時にメインミラー４を駆動し、撮影光路外のミラーアップ位置（不図示）に退避させる。ステップＳ５０９の動作が完了したら、ステップＳ５１０で、撮影レンズ２０１から入射した光束から第１の撮像素子６で撮像を行い、第１の画像４０１を取得する。

次のステップＳ５１１では、異物検出手段３１により、例えば前述した公知の方法を用いて第１の撮像素子６上の異物検出動作を実施する。異物が検出されなかった場合は、異物の除去補正を実施せず本ルーチンを終了する。

異物が検出された場合は、異物が存在する異物領域４０１ｂを、補正対象領域とする該異物領域４０１ｂを含む画像４０１内の画像領域４０１ａと共に、外部メモリ３９上に蓄積し、ステップＳ５１２に進む。次のステップＳ５１２では異物が主被写体上にあるか否かを判別し、主被写体上にある場合にはステップＳ５１３へ、主被写体上になく背景上にある場合にはステップＳ５１７へ進む。

異物が主被写体上に検出された場合は、ステップＳ５１３で第１の画像４０１に対する第２の画像４０２の主被写体間の位置ずれの有無をＭＰＵ１００で判定する。ステップＳ５１３で位置ずれが無いと判定した場合は、ステップＳ５１４に進み、ステップＳ５１１で検出した第１の画像４０１の画像領域４０１ａに対応する第２の画像４０２の画像領域４０２ａを抽出する。そして、ステップＳ５１５ではステップＳ５１４で抽出した画像領域４０２ａで第１の画像４０１の画像領域４０１ａを補正し、異物の写り込んでいない所望の補正画像４０３を得て本ルーチンを終了する。

ステップＳ５１３で位置ずれがあると判定した場合は、ステップＳ５１６に進み、ステップＳ５１３で得た位置ずれ情報から第２の画像４０２の位置ずれ量を補正し、第１の画像４０１の画像領域４０１ａに対応する画像領域４０２ｂを抽出する。その後、ステップＳ５１５に進み、ステップＳ５１６で抽出した画像領域４０２ｂで第１の画像４０１の画像領域４０１ａを補正し、異物の写り込んでいない所望の補正画像４０３を得て本ルーチンを終了する。

一方、ステップＳ５１２で異物が主被写体上になく背景上にある場合と判定された場合には、ステップＳ５１７に進み、第１の画像４０１と第２の画像４０２の絞り値が同じか否かを判定する。絞り値が同じと判定された場合はステップＳ５１８へ、絞り値が異なると判定された場合はステップＳ５２０へ進む。

絞り値が同じと判定された場合は、ステップＳ５１８で、第１の画像４０１の画像領域４０１ａに対応する第２の画像４０２の画像領域４０２ａを抽出する。その後ステップ５２１では、抽出した画像領域４０２ａで画像領域４０１ａを補正し、異物の写り込んでいない所望の補正画像４０５を得て本ルーチンを終了する。

絞り値が異なると判定された場合は、ステップＳ５２０で、第１の画像４０１の絞り値を再現するように第２の画像４０２の絞り値に補正をかけた絞り補正画像４０４を取得する。それからステップＳ５１８に進み、第１の画像４０１の画像領域４０１ａに対応する絞り補正画像４０４の画像領域４０４ａを抽出する。その後ステップ５１９では、抽出した画像領域４０４ａで画像領域４０１ａを補正し、異物の写り込んでいない所望の補正画像４０５を得て本ルーチンを終了する。

また、ＳＷ２（６６ｂ）がＯＮされ続ける連写時には、ＳＷ２（６６ｂ）のＯＮが解除されるまでステップＳ５０５からＥＮＤまでの動作フローを繰り返す。繰り返し時のステップＳ５０６では、ステップＳ５０５で算出したデフォーカス量の他に、ＳＷ１（６６ａ）がＯＮされてから取得した複数の合焦位置と時間情報に基づいて予測した予測移動量から撮影レンズ２０１の駆動量を算出する。その他のステップについては単写時と同様の動作を行う。

以上説明したように、本実施例によれば、撮像素子の前面に配置された光学部材の表面に異物が付着した場合でも、合焦後に撮像素子で取得した画像を用いて撮影画像を補正することで、撮影画像上に写り込んだ異物を正確に除去し、異物の影響の少ない撮影画像を得ることができる撮像装置の提供を可能とする。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

４ 光束分割手段
６ 第１の撮像素子
７ 第２の撮像素子
３１ 異物検出手段
２０１ 撮影レンズ
４０１ 第１の画像
４０１ａ 画像領域
４０２ 第２の画像
４０２ａ 画像領域

Claims (6)

1. 被写体像の撮像光束を複数の光束に分割し、かつ撮像光束外に退避可能な光束分割手段（４）と、
   前記光束分割手段（４）が撮像光束外に退避した際の光束を受光する、複数の撮影画素を配した第１の撮像素子（６）と、
   前記光束分割手段（４）にて分割された光束の一部を受光する、複数の撮影画素を配した第２の撮像素子（７）と、を有し、
   被写体像が前記第２の撮像素子（７）に合焦する位置を予測して算出した駆動量Ｂで撮影レンズ（２０１）を駆動した後、前記第２の撮像素子（７）で第２の画像（４０２）を取得し、
   前記第２の画像（４０２）取得後に前記光束分割手段（４）を撮像光束外に退避すると共に、被写体像が前記第１の撮像素子（６）に合焦する位置を予測して算出した駆動量Ｃで前記撮影レンズ（２０１）を駆動した後、前記第１の撮像素子（６）で第１の画像（４０１）を取得し、
   前記第１の画像（４０１）上に存在する異物を検出する異物検出手段（３１）を備え、
   前記異物検出手段（３１）により検出された異物検出情報に基づいて、前記第１の画像（４０１）における前記異物が写り込んだ画像領域（４０１ａ）を、前記画像領域（４０１ａ）に対応する前記第２の画像（４０２）の画像領域（４０２ａ）で画像補正動作を実行する、ことを特徴とする撮像装置。
2. 前記第１の画像（４０１）と、前記第２の画像（４０２）との主被写体間の位置ずれを検出し、検出した位置ずれ情報に基づいて前記第２の画像（４０２）の位置ずれを補正した後に前記画像補正動作を実行する、ことを特徴とする請求項１に記載の撮像装置。
3. 前記異物検出手段（３１）により検出された異物が、主被写体上に存在するかどうかを判別する判別手段を有することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記異物検出手段（３１）により検出された異物が、前記判別手段により主被写体上に存在しないと判別された際に、前記第１の画像（４０１）と前記第２の画像（４０２）との絞り値の違いを判別し、前記第１の画像（４０１）の絞り値に対し前記第２の画像（４０２）の絞り値を合わせるように前記第２の画像（４０２）を補正した絞り補正画像（４０４）で前記画像補正動作により前記第１の画像（４０１）を補正する、ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 前記駆動量Ｂ及び前記駆動量Ｃは、前記第２の撮像素子（７）での複数の焦点検出動作により得られた 複数の合焦位置情報と時間情報に基づいて予測される予測移動量から算出される、ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
6. 前記複数の焦点検出動作は、ＳＷ１がＯＮされてからＳＷ２がＯＮされるまで繰り返される前記第２の撮像素子（７）での焦点検出動作と、ＳＷ２がＯＮされた後に実施される前記第２の撮像素子（７）での焦点検出動作である、ことを特徴とする請求項５に記載の撮像装置。