JP2018107546A - 撮像装置 - Google Patents

Abstract

【課題】撮像素子の前面に配置された光学部材の表面に異物が付着した場合でも、異物の影響を抑制した撮影画像を得る撮像装置を提供する。【解決手段】被写体像の光束を分割するミラーと、ミラーが光束外に退避した際に導光される、複数の撮影画素を配した第１の撮像素子と、分割された一方の光束が導光される、複数の撮影画素と複数の位相差検出画素とを配した第２の撮像素子と、ミラーが退避する直前に第２の撮像素子によって第２の画像を取得し、ミラーが退避した後に第１の撮像素子によって第１の画像を取得し、第１の画像上に存在する異物を検出する異物検出手段を備える。異物が検出された場合、異物が存在する領域に対応する第２の画像における領域を用いて、第１の画像における異物が存在する領域に対する補正動作を、第２の画像を取得してから第１の画像を取得する間での被写体の動作および撮影レンズの駆動の有無に応じて変更して実行する。【選択図】図２

Description

本発明は、デジタルカメラ等の撮像装置において、撮像素子の前面に配置された光学部材の表面に付着した異物が画像品質に影響を与えることを抑制する技術に関するものである。

従来、レンズ交換式のデジタル一眼レフカメラでは、レンズの交換等の作業において外部から侵入した塵埃や、カメラ内の駆動部品から発生した摩耗粉などの異物が撮像素子の前面に配置された光学部材の表面に付着し、撮影画像に異物が写り込んでしまうという問題が生じていた。そこで、これまでに撮像素子の前面に配置された光学部材の表面に付着した異物による撮影画像の品質の低下を防ぐ方法がいくつか提案されている。

例えば、１つの撮像素子から連続して取得した複数画像の位置ずれ情報と、記憶手段に記憶された異物領域情報に基づいて、異物の写り込んだ一部の画像を、異物の写り込んでいないもう一方の一部の画像で補正する撮像装置が提案されている（例えば、特許文献１）。また、記録用と測光用の２つの撮像素子で画像情報を取得し、記録用の撮像素子の前面に配置された光学部材の表面に異物が存在することを検出した場合、画像情報に含まれる異物の影を画像処理により補正する記録用画像補正処理部を備えた撮像装置も提案されている（例えば、特許文献２）。

特許第４７５７０８５号公報 特開２０１１−２４０６０号公報

しかしながら、特許文献１に示す構成では、被写体が動かない場合、連続して取得した複数の画像間において被写体像に位置ずれが生じないため異物の写り込みを正確に判別することができない。

また、特許文献２に示す構成では、ミラーアップ前に測光用の撮像素子で第１の画像を取得し、ミラーアップ後に記録用の撮像素子で第２の画像を取得するため、両画像間には時間差が発生してしまう。そのため、被写体が両画像を取得する間に移動した場合、両画像間に差異が生まれてしまうため異物を正確に判別することができない。結果として、どちらの構成も被写体が動かない場合と、動く場合の両方の条件において取得した複数の画像間から異物を正確に判別することができないため、正確に画像の補正ができず、所望の補正画像を得られない場合がある。

そこで、本発明に係る目的は、撮像素子の前面に配置された光学部材の表面に異物が付着した場合でも、被写体の動作および撮影レンズ駆動の有無に応じて、撮影画像上に写り込んだ異物を正確に除去し、異物の影響を抑制した撮影画像を得ることができる撮像装置を提供することである。

被写体像の光束を複数の光束に分割するミラー（４）と、
前記ミラー（４）が光束外に退避した際の光束が導光される、複数の撮影画素を配した第１の撮像素子（６）と、
前記ミラー（４）によって分割された一方の光束が導光される、複数の撮影画素と複数の位相差検出画素とを配した第２の撮像素子（７）と、
前記ミラー（４）が光束外に退避する直前に前記第２の撮像素子（７）によって第２の画像（４０３）を取得し、
前記ミラー（４）が光束外に退避した後に前記第１の撮像素子（６）によって第１の画像（４０１）を取得し、
前記第１の画像（４０１）上に存在する異物を検出する異物検出手段（３１）を備え、
前記異物検出手段（３１）によって、第１の画像（４０１）から異物が検出された場合、第１の画像（４０１）における異物が存在する画像領域に対応する第２の画像（４０３）における画像領域を用いて、第１の画像における異物が存在する画像領域に対する補正動作を、第２の画像（４０３）を取得してから第１の画像（４０１）を取得する間での被写体の動作および撮影レンズ２０１の駆動の有無に応じて変更して実行すること、
を特徴とする。

本発明によれば、撮像素子の前面に配置された光学部材の表面に異物が付着した場合でも、被写体の動作および撮影レンズ駆動の有無に応じて、撮影画像上に写り込んだ異物を正確に除去し、異物の影響を抑制した撮影画像を得ることができる。

本発明の実施形態の一例であるデジタル一眼レフカメラの撮影動作の流れの概略を示したフローチャートを示す図 本発明の実施形態の一例であるデジタル一眼レフカメラの主要な電気的構成を示すブロック図 本発明の実施形態の一例であるデジタル一眼レフカメラの撮影レンズの射出瞳から出た光束が単位画素に入射する時の光線を概念的に示した図 本発明の実施形態の一例であるデジタル一眼レフカメラの異物領域に対する補正動作について説明するための図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
［実施例１］
図２は、本発明の実施形態の一例であるデジタル一眼レフカメラの主要な電気的構成を示すブロック図である。不図示のカメラ本体に内蔵されたマイクロコンピュータからなる中央処理装置（以下、「ＭＰＵ」と称する）１００は、カメラの動作制御を司るものであり、各要素に対して様々な処理や指示を実行する。

ＭＰＵ１００には、ミラー駆動回路１０１、焦点検出回路１０２、シャッタ駆動回路１０３、映像信号処理回路１０４、スイッチセンス回路１０５、測光回路１０６が接続されている。また、ＭＰＵ１００には、液晶表示駆動回路１０７、バッテリーチェック回路１０８、電源供給回路１１０、圧電素子駆動回路１１１が接続されている。これらの回路は、ＭＰＵ１００の制御により動作するものである。

ＭＰＵ１００は、撮影レンズユニット２００内のレンズ制御回路２０２とマウント接点２０６を介して通信を行う。マウント接点２０６は、撮影レンズユニット２００が接続されるとＭＰＵ１００へ信号を送信する機能も有する。これにより、レンズ制御回路２０２は、ＭＰＵ１００との間で通信を行い、ＡＦ駆動回路２０３及び絞り駆動回路２０４を介して撮影レンズユニット２００内の撮影レンズ２０１及び絞り２０５の駆動を行う。なお、図２では便宜上１枚の撮影レンズ２０１のみを図示しているが、実際はフォーカスレンズ等、多数のレンズ群によって構成される。

ＡＦ駆動回路２０３は、例えばステッピングモータ等によって構成され、レンズ制御回路２０２の制御により撮影レンズ２０１内のフォーカスレンズ位置を変化させ、第１の撮像素子６に撮影光束の焦点を合わせるように調整する。絞り駆動回路２０４は、例えばオートアイリス等によって構成され、レンズ制御回路２０２の制御により絞り２０５を変化させ、光学的な絞り値を得る。

メインミラー４及びサブミラー５は、例えばＤＣモータとギヤトレイン等によって構成されたミラー駆動回路１０１により駆動され、ファインダ１で被写体像を観察可能とするミラーダウン位置と、撮影光束から待避するミラーアップ位置とに配置される。メインミラー４は本発明のミラーに相当する。ミラーダウン位置では、メインミラー４は撮影光軸５０に対して４５°の角度に保持された状態で配置されており、撮影レンズ２０１を通過して入射した撮影光束の一部を反射し、ペンタダハミラー３へと導く。

更に、メインミラー４は、撮像光束の一部を透過させ、透過した撮像光束はメインミラー４の背面側に設けられたサブミラー５で反射され、焦点検出手段を持つ第２の撮像素子７に導かれる。ミラーアップ位置では、メインミラー４とサブミラー５は共に撮影光束から退避するよう配置される。第２の撮像素子７に入射した撮像光束は、第２の撮像素子７で光電変換されて焦点検出回路１０２へ出力され、被写体像信号に換算された後、ＭＰＵ１００へ送信される。

ＣＭＯＳエリアセンサからなる第１の撮像素子６および第２の撮像素子７は、被写体像を電気信号に変換するマトリクス状に配置された画素部を有する。第１の撮像素子６および第２の撮像素子７のそれぞれが有する複数の画素部は、焦点検出信号と記録又は表示用の画像信号の両方を取得することができる。画素部の構造については後述する。撮像ユニット６０は、主に光学ローパスフィルタ６１、圧電部材である圧電素子６２、第１の撮像素子６がユニット化されたものである。

異物検出手段３１は第１の撮像素子によって取得された画像内に写り込む異物情報（異物の位置、大きさ等）を取得する。異物情報の検出方法としては、例えば複数の撮像素子から取得された画像情報に基づいてパターン認識などを行い検出する方法や、撮像素子によって取得された画像のコントラスト情報によって検出する方法等がある。取得した異物情報はメモリ３９上に蓄積される。

また、本実施例で指す異物とは、第１の撮像素子６の前面に配置された光学部材の表面に付着したものを指しており、ここでの光学部材とは例えば該光学ローパスフィルタ６１や第１の撮像素子６のパッケージ前面に配置されたガラスを指す。第１の撮像素子６の前方に配置された光学ローパスフィルタ６１は、水晶からなる１枚の複屈折板であり、その形状は矩形状である。圧電素子６２は、単板の圧電素子（ピエゾ素子）であり、ＭＰＵ１００の指示を受けた圧電素子駆動回路１１１により加振され、その振動を光学ローパスフィルタ６１に伝えるように構成されている。

ペンタダハミラー３は、メインミラー４により反射された撮影光束を正立正像に変換反射する。撮影者はファインダ光学系を介してファインダ１から被写体像を観察することができる。ペンタダハミラー３は、撮影光束の一部を測光センサ４６へも導く。測光回路１０６は、測光センサ４６の出力を得て、観察面上の各エリアの輝度信号に変換し、ＭＰＵ１００に出力する。ＭＰＵ１００は、輝度信号に基づいて露出値を算出する。

シャッタユニット（機械フォーカルプレーンシャッタ）３２は、撮影者がファインダ１により被写体像を観察している時には、撮影光束を遮る。また、撮像時にはレリーズ信号に応じて、不図示のシャッタ先幕とシャッタ後幕の走行する時間差により、第１の撮像素子６に対して所望の露光時間を得るように構成されている。シャッタユニット３２は、ＭＰＵ１００の指令を受けたシャッタ駆動回路１０３により制御される。

クランプ／ＣＤＳ（相関二重サンプリング）回路１１３は、Ａ／Ｄ変換する前の基本的なアナログ処理を行うものであり、クランプレベルを変更することも可能である。ＡＧＣ（自動利得調整装置）１１４は、Ａ／Ｄ変換する前の基本的なアナログ処理を行うものであり、ＡＧＣ基本レベルを変更することも可能である。Ａ／Ｄ変換器１１５は、第１の撮像素子６のアナログ出力信号をデジタル信号に変換する。

映像信号処理回路１０４は、デジタル化された画像データに対してガンマ／ニー処理、フィルタ処理、モニタ表示用の情報合成処理等、ハードウエアによる画像処理全般を実行する。この映像信号処理回路１０４からのモニタ表示用の画像データは、カラー液晶駆動回路１１２を介してカラー液晶モニタ部６５に表示される。また、映像信号処理回路１０４は、ＭＰＵ１００の指示に従って、メモリコントローラ３８を通じてバッファメモリ３７に画像データを保存することもできる。

さらに、映像信号処理回路１０４は、ＪＰＥＧ等の画像データ圧縮処理を行うこともできる。連写撮影等、連続して撮影が行われる場合は、一旦バッファメモリ３７に画像データを格納し、メモリコントローラ３８を通して未処理の画像データを順次読み出すこともできる。これにより、映像信号処理回路１０４は、Ａ／Ｄ変換器１１５から入力されてくる画像データの速度に関わらず、画像処理や圧縮処理を順次行うことができる。

メモリコントローラ３８は、外部インタフェース４０から入力される画像データを外部メモリ３９に記憶し、外部メモリ３９に記憶されている画像データを外部インタフェース４０から出力する機能を有する。外部メモリ３９としては、不図示のカメラ本体に着脱可能なフラッシュメモリ等が用いられる。

スイッチセンス回路１０５は、各スイッチの操作状態に応じて入力信号をＭＰＵ１００に送信する。スイッチセンス回路１０５には、スイッチＳＷ１（６６ａ）、スイッチＳＷ２（６６ｂ）、電源ＳＷ６３、メイン操作ダイヤルＳＷ６４が接続されている。スイッチＳＷ１（６６ａ）は、レリーズボタン６６の第１ストローク（半押し）によりＯＮする。スイッチＳＷ２（６６ｂ）は、レリーズボタン６６の第２ストローク（全押し）によりＯＮする。スイッチＳＷ１（６６ａ）がＯＮされると、焦点検出動作開始の指示がＭＰＵ１００に送信される。

スイッチＳＷ２（６６ｂ）がＯＮされると、撮影開始の指示がＭＰＵ１００に送信される。撮影開始の指示がＭＰＵ１００に送信されると、第１の撮像素子で露光するときに合焦するように撮影レンズ２０１が駆動を開始する。その後、後述する第２の撮像素子７によって取得される画像４０３を取得する。また、撮影レンズ２０１の駆動が開始されて、メインミラー４がミラーアップ位置に移動した後に、後述する第１の撮像素子６によって取得される画像４０１を取得する。

液晶表示駆動回路１０７は、ＭＰＵ１００の指示に従って、ファインダ内表示部２を駆動する。バッテリーチェック回路１０８は、ＭＰＵ１００の指示に従って、バッテリーチェックを行い、その検出結果をＭＰＵ１００に送信する。電源４２は、カメラの各要素に対して電源を供給する。

次に、図３を用いて、第１の撮像素子６および第２の撮像素子７が有する複数の画素部の構造について説明する。図３は、撮影レンズ２０１の射出瞳から出た光束が単位画素に入射する時の光線を概念的に示した図である。第１の撮像素子６及び第２の撮像素子７が有する画素部は、マイクロレンズ３０３、カラーフィルタ３０２、単位画素３０１をそれぞれ備えている。単位画素３０１には受光した光を電気信号に変換する第１のフォトダイオード３０１ａおよび第２のフォトダイオード３０１ｂを有する。

単位画素３０１に対して、射出瞳３０４から出た光束の中心を光軸３０５とすると、射出瞳３０４を通過した光は、光軸３０５を中心として単位画素３０１に入射する。図３に示すように、３０６、３０７を撮影レンズの射出瞳の一部領域とすると、瞳領域３０６を通過する光束はマイクロレンズ３０３を通して、フォトダイオード３０１ａで受光される。同様に、瞳領域３０７を通過する光束はマイクロレンズ３０３を通してフォトダイオード３０１ｂで受光される。

位相差式の焦点検出を行う場合は、フォトダイオード３０１ａ及び３０１ｂが受光した光から変換した出力信号をＭＰＵ１００で独立に処理して１対２像を取得し、当該２像の相対的な像ずれ量から撮像面における被写体像のデフォーカス量を算出する。

本実施例における撮像装置は、算出されたデフォーカス量をＭＰＵ１００で処理して、第２の撮像素子７によって取得された画像に対して、画像取得後にピント位置の調整を行うリフォーカス処理を実行することができる。画像の記録または表示を行う場合は、それぞれの出力信号を加算して記録用もしくは表示用の画像信号を得ればよい。

本実施例における撮像装置は、第１の撮像素子６および第２の撮像素子７によって取得された画像信号に基づく顔検出、パターンマッチング等の演算をＭＰＵ１００で処理して、被写体の位置を検出することができる。また、検出した第１の撮像素子６に対する被写体の位置と第２の撮像素子７に対する被写体の位置との画像面内方向の位置ずれｔ１および画像面直方向の位置ずれｔ２に基づいて、ＭＰＵ１００によって、被写体が動いたことを判別することができる。

位置ずれｔ１が閾値以上の場合は、被写体が第１の撮像素子６に対して画像面内方向に動いたと判定する。位置ずれｔ２が閾値以上の場合は、被写体が第１の撮像素子６に対して画像面直方向に動いたと判定する。

以下、図１および図４を参照して、本発明の実施形態の一例であるデジタル一眼レフカメラの異物検出手段３１が第１の撮像素子６によって取得された画像内に異物を検出した場合に実行する補正動作について説明する。

図４は、本発明の実施形態の一例であるデジタル一眼レフカメラの異物領域に対する補正動作について説明するための図である。

本実施例における補正動作には、後述する画像４０１から画像４０３の間での被写体の動作および撮影レンズ２０１の駆動の有無に応じて、実行される。また、被写体が動かない場合でも、後述する画像４０３における被写体像が第１の撮像素子６に対して合焦していない場合は、正確な補正動作とならない。そのため、本実施例における補正動作では、被写体の動作に加えて、撮影レンズ２０１の駆動の有無も考慮して実行する。

被写体が画像面直方向に動作する場合でも、画像４０３における被写体像は合焦状態とならないため、撮影レンズ２０１を駆動する必要がある。そのため、被写体が第１の撮像素子６に対して画像面内方向に動くか、また、撮影レンズ２０１が駆動するかによって、以下の図４（ａ）〜（ｄ）の補正動作パターンを説明する。

図４（ａ）は、画像４０１から画像４０３の間で被写体が動かない、且つ、撮影レンズ２０１が駆動しない場合の補正動作を説明するための図である。まず、異物検出手段３１が第１の撮像素子６によって取得された画像４０１内に異物を検出すると、異物検出手段３１は、異物が存在する異物領域４０２を取得する。画像４０１は本発明における第１の画像に相当する。取得した異物領域４０２は、異物領域４０２を含む画像４０１内の画像領域４０１ａとともに、外部メモリ３９上に蓄積される。

次に、第２の撮像素子によって取得された画像４０３内の画像領域４０３ａを取得する。画像領域４０３ａは、画像領域４０１ａと位置と大きさが対応した異物が写り込んでいない画像情報である。また、画像４０３は本発明における第２の画像に相当する。最後に、画像領域４０１ａを画像領域４０３ａで置き換える補正動作を実行することで、画像４０１に対して異物が写り込んでいない画像４０５を取得することが可能となる。

図４（ｂ）は、画像４０１から画像４０３の間で被写体が第１の撮像素子６に対して画像面内方向に動く場合の補正動作を説明するための図である。図４（ｂ）の補正動作において、画像４０１内の（以下、図４（ｃ）、（ｄ）も同じ）異物領域４０２および画像領域４０１ａは図４（ａ）の補正動作と同様の動作によって取得されるため、説明を省略する。

次に、第２の撮像素子によって取得された画像４０３内の画像領域４０３ｂを取得する。画像領域４０３ｂは、画像領域４０１ａと大きさが対応した異物が写り込んでいない画像情報である。画像４０３内における画像領域４０３ｂの位置は、画像領域４０１ａとは対応しておらず、異物領域４０２と重なる被写体像が、画像４０１上の位置へ動く前に画像４０３において存在したと予測される位置である。最後に、画像領域４０１ａを画像領域４０３ｂで置き換える補正動作を実行することで、画像４０１に対して異物が写り込んでいない画像４０５を取得することが可能となる。

図４（ｂ）の補正動作において、図４（ａ）のように、画像領域４０１ａを画像領域４０３ａで置き換えず、画像領域４０３ｂで置き換える理由は、図４（ｂ）において、画像領域４０１ａを画像領域４０３ａで置き換えたとすると、被写体は画像面内方向に動作しているので、画像領域４０３ａ内には被写体が存在しない、あるいは、位置がずれており、画像４０５における被写体像に不適合が生じてしまうためである。

図４（ｃ）は、画像４０１から画像４０３の間で撮影レンズ２０１が駆動する場合の補正動作を説明するための図である。図４（ｃ）の補正動作において、異物領域４０２および画像領域４０１ａは図４（ａ）の補正動作と同様の動作によって取得されるため、説明を省略する。

次に、第２の撮像素子によって取得された画像４０３に対して、リフォーカス処理を実行した画像４０４を取得する。画像４０３に対してリフォーカス処理を実行する理由は、画像４０３が被写体に対して合焦していない画像となっているためである。本実施例の撮像装置では、画像４０３を取得するときは、第１の撮像素子に対して合焦するようにレンズ駆動しており、第２の撮像素子に対しては合焦しない。そのため、画像４０３は被写体に対して合焦していない画像となる。

次に、画像４０４内の画像領域４０４ａを取得する。画像領域４０４ａは、画像領域４０１ａと位置および大きさが対応した異物が写り込んでいない画像情報である。最後に、画像領域４０１ａを画像領域４０４ａで置き換える補正動作を実行することで、画像４０１に対して異物が写り込んでいない画像４０５を取得することが可能となる。図４（ｄ）は、画像４０１から画像４０３の間で被写体が第１の撮像素子６に対して画像面内方向動く、且つ、撮影レンズ２０１が駆動する場合の補正動作を説明するための図である。

図４（ｄ）の補正動作において、異物領域４０２および画像領域４０１ａは図４（ａ）の補正動作と同様の動作によって取得されるため、説明を省略する。次に、第２の撮像素子によって取得された画像４０３に対して、リフォーカス処理を実行した画像４０４を取得する。画像４０３に対してリフォーカス処理を実行する理由は、図４（ｃ）の補正動作と同様である。

そして、画像４０４内の画像領域４０４ｂを取得する。画像領域４０４ｂは、画像領域４０１ａと大きさが対応した異物が写り込んでいない画像情報である。画像４０４内における画像領域４０４ｂの位置は、画像領域４０１ａとは対応しておらず、異物領域４０２と重なる被写体が、画像４０１上の位置へ動く前に画像４０３において存在したと予測される位置である。

最後に、画像領域４０１ａを画像領域４０４ｂで置き換える補正動作を実行することで、画像４０１に対して異物が写り込んでいない画像４０５を取得することが可能となる。図４（ｃ）のように画像領域４０１ａを画像領域４０４ａで置き換えない理由は、図４（ｂ）の補正動作と同様である。

以上、本実施例における４つの補正動作について説明したが、異物検出手段３１が異物を検出しない場合、本実施例の撮像装置は図４（ａ）〜（ｄ）に示す補正動作を実行しない。また、被写体が第１の撮像素子６に対して画像面直方向に動くことで、画像４０１と画像４０３とで被写体像の大きさが合わない場合は、画像４０３での被写体像の大きさに合わせるように画像４０１での被写体像の大きさを補正してもよい。

図１は、本発明の実施形態の一例であるデジタル一眼レフカメラの撮影動作の流れの概略を示したフローチャートを示す図である。本動作は、スイッチＳＷ１（６６ａ）がＯＮされて、焦点検出動作開始の指示がＭＰＵ１００に送信されると開始する。始めに、ステップＳ５０１〜ステップＳ５０９の動作によって、画像４０１と画像４０３を取得する動作について説明する。

まず、ステップＳ５０１では、第２の撮像素子７の位相差検出用画素部により撮影レンズ２０１の焦点状態を検出する。ステップＳ５０２では、ステップＳ５０１の焦点状態検出結果より撮影レンズ２０１のデフォーカス量を算出する。ステップＳ５０３では、スイッチＳＷ２（６６ｂ）がＯＮされたことを、ＭＰＵ１００によって判別する。ステップＳ５０３においてスイッチＳＷ２（６６ｂ）がＯＮでない場合は、ステップＳ５０４に進む。ステップＳ５０４では、ステップＳ５０２で算出したデフォーカス量に基づいて撮影レンズ２０１の駆動量を算出して、レンズ駆動を開始する。そして、ステップＳ５０１に戻り、ステップＳ５０１〜ステップＳ５０２の動作を繰り返す。

ステップＳ５０３においてスイッチＳＷ２（６６ｂ）がＯＮである場合は、ステップＳ５０５に進む。ステップＳ５０５では、Ｓ５０２において算出したデフォーカス量に基づいて、後に詳細説明するステップＳ５１０において第１の撮像素子６に対して被写体像が合焦するための撮影レンズ２０１の位置を予測して、撮影レンズ２０１の駆動量を算出する。ステップＳ５０６では、ステップＳ５０５において算出したレンズ駆動量に基づいて、撮影レンズ２０１の駆動を開始する。

ステップＳ５０７では、撮影レンズ２０１から入射してメインミラー４を透過し、サブミラー５で反射した光束で第２の撮像素子７の撮像画素部により撮像を行い、画像４０３を取得する。ステップＳ５０８では、メインミラー４をミラー駆動回路１０１により駆動して、メインミラー４を撮影光路外に退避させる。また、Ｓ５０６において撮影レンズ２０１の駆動が開始された後に、ステップ５０７〜ステップＳ５０８と並行して、ステップＳ５０９が実行される。ステップＳ５０９では、ステップＳ５０６において開始した撮影レンズ２０１の駆動を終了する。

そして、ステップＳ５０８およびステップＳ５０９を実行した後に、ステップＳ５１０に進む。ステップ５１０では、撮影レンズ２０１から入射した光束で第１の撮像素子６の撮像画素部により撮像を行い、画像４０１を取得する。

次に、ステップＳ５１１〜ステップＳ５２３の動作によって、画像４０１に対して異物が写り込んでいない画像４０５を取得する。まず、ステップＳ５１１では、異物検出手段３１によって、画像４０１内に異物が写り込んでいるか判別される。ステップＳ５１０において画像４０１内に異物が写り込んでいない場合は、図４（ａ）〜（ｄ）で示した補正動作を実行しないで撮影動作を終了する。ステップＳ５１１において画像４０１内に異物が写り込んでいる場合は、ステップＳ５１２に進む。ステップＳ５１２では、ステップＳ５０６において撮影レンズ２０１が駆動したか判別される。

ステップＳ５１２において、ステップＳ５０６において撮影レンズ２０１が駆動したと判別した場合は、被写体が第１の撮像素子６に対して画像面直方向に動き、ステップＳ５０７で取得される画像４０３内の被写体像が合焦していないことを意味する。そのため、次のステップＳ５１３に進み、第２の撮像素子７によって取得した画像４０３に対してリフォーカス処理を実行することで、合焦した画像４０４を取得する。そして、ステップＳ５１４に進む。

以下、ステップＳ５１４〜ステップＳ５１６は図４（ｄ）における補正動作を示す。ステップＳ５１４では、位置ずれｔ１の値によって、被写体が画像４０３から画像４０１に対して画像面内方向に動いているか判別される。ステップＳ５１４において位置ずれｔ１が閾値以上の場合は、ＭＰＵ１００によって、被写体が画像面内方向に動いたことを検出して、ステップＳ５１５に進む。

ステップＳ５１５では、異物領域４０２と重なる被写体像が画像４０３において存在したと予測される位置に対応する画像４０４上の画像領域４０４ｂを取得する。そして、ステップＳ５１６において、画像領域４０４ｂで画像領域４０１ａを置き換えて、画像４０１に対して異物が写り込んでいない画像４０５を取得する。

ステップＳ５１４において位置ずれｔ１が閾値以下の場合は、ステップＳ５１７に進む。以下、ステップＳ５１７〜ステップＳ５１８は図４（ｃ）における補正動作を示す。まず、ステップＳ５１７では、異物領域４０２と位置および大きさが対応する画像４０４上の画像領域４０４ａを取得する。そして、ステップＳ５１８において、画像領域４０４ａで画像領域４０１ａを置き換えて、画像４０１に対して異物が写り込んでいない画像４０５を取得する。

ステップＳ５１２において、ステップＳ５０６において撮影レンズ２０１が駆動していないと判別された場合は、ステップＳ５０７で取得される画像４０３内の被写体像が合焦していることを意味するため、ステップＳ５１３の様なリフォーカス処理は実行しない。次のステップＳ５１９に進む。ステップＳ５１９では、ステップＳ５１４と同様に、位置ずれｔ１の値によって、被写体が画像４０３から画像４０１に対して画像面内方向に動いているか判別される。

ステップＳ５１９において、位置ずれｔ１が閾値以上の場合は、ステップＳ５２０に進む。以下、ステップＳ５２０〜ステップＳ５２１は図４（ｂ）における補正動作を示す。まず、ステップＳ５２０では、異物領域４０２と重なる被写体像が画像４０３において存在したであろう位置に対応する画像４０３上の画像領域４０３ｂを取得する。そして、ステップＳ５２１において、画像領域４０３ｂで画像領域４０１ａを置き換えて、画像４０１に対して異物が写り込んでいない画像４０５を取得する。

ステップＳ５１９において、位置ずれｔ１が閾値以下の場合は、ステップＳ５２２に進む。以下、ステップＳ５２２〜ステップＳ５２３は図４（ａ）における補正動作を示す。まず、ステップＳ５２２では、異物領域４０２と位置および大きさが対応する画像４０４上の画像領域４０３ａを取得する。そして、ステップＳ５２３において、画像領域４０３ａで画像領域４０１ａを置き換えて、画像４０１に対して異物が写り込んでいない画像４０５を取得する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

４ メインミラー
６ 第１の撮像素子
７ 第２の撮像素子
３１ 異物検出手段
２０１ 撮影レンズ
４０１ 第１の画像
４０３ 第２の画像

Claims (5)

1. 被写体像の光束を複数の光束に分割するミラー（４）と、
   前記ミラー（４）が光束外に退避した際の光束が導光される、複数の撮影画素を配した第１の撮像素子（６）と、
   前記ミラー（４）によって分割された一方の光束が導光される、複数の撮影画素と複数の位相差検出画素とを配した第２の撮像素子（７）と、
   前記ミラー（４）が光束外に退避する直前に前記第２の撮像素子（７）によって第２の画像（４０３）を取得し、
   前記ミラー（４）が光束外に退避した後に前記第１の撮像素子（６）によって第１の画像（４０１）を取得し、
   前記第１の画像（４０１）上に存在する異物を検出する異物検出手段（３１）を備え、
   前記異物検出手段（３１）によって、第１の画像（４０１）から異物が検出された場合、第１の画像（４０１）における異物が存在する画像領域に対応する第２の画像（４０３）における画像領域を用いて、第１の画像における異物が存在する画像領域に対する補正動作を、第２の画像（４０３）を取得してから第１の画像（４０１）を取得する間での被写体の動作および撮影レンズ２０１の駆動の有無に応じて変更して実行すること、
   を特徴とする撮像装置。
2. 前記撮像装置はさらに、前記第２の画像（４０３）を取得してから前記第１の画像（４０１）を取得する間での被写体の画像面内方向の位置ずれｔ１を算出し、位置ずれｔ１が閾値以上の場合は被写体が第１の撮像素子（６）に対して画像面内方向に動いたと判別し、位置ずれｔ１が閾値以下の場合は画像面内方向に動きなしと判別する判別手段（１００）を備え、前記第２の画像（４０３）を取得してから前記第１の画像（４０１）を取得する間で、前記撮影レンズ２０１が駆動する、且つ、被写体が画像面内方向に動く場合、前記第２の画像（４０３）に対してリフォーカス処理を実行した画像（４０４）を取得した後、前記第１の画像（４０１）上の異物が存在する画像領域（４０１ａ）に対応し、且つ、前記第２の画像（４０３）における被写体が存在したと予測される位置に対応する画像（４０４）上の画像領域（４０４ｂ）を用いて、前記画像領域（４０１ａ）に対して補正動作を実行する請求項１に記載の撮像装置。
3. 前記撮像装置はさらに、前記第２の画像（４０３）を取得してから前記第１の画像（４０１）を取得する間での被写体の画像面内方向の位置ずれｔ１を算出し、位置ずれｔ１が閾値以上の場合は被写体が第１の撮像素子（６）に対して画像面内方向に動いたと判別し、位置ずれｔ１が閾値以下の場合は画像面内方向に動きなしと判別する判別手段（１００）を備え、前記第２の画像（４０３）を取得してから前記第１の画像（４０１）を取得する間で、前記撮影レンズ２０１が駆動しない、且つ、被写体が画像面内方向に動く場合、前記第１の画像（４０１）上の異物が存在する画像領域（４０１ａ）に対応し、且つ、前記第２の画像（４０３）における被写体が存在したと予測される位置に対応する画像領域（４０３ｂ）を用いて、前記画像領域（４０１ａ）に対して補正動作を実行する請求項１に記載の撮像装置。
4. 前記撮像装置はさらに、前記第２の画像（４０３）を取得してから前記第１の画像（４０１）を取得する間での被写体の画像面内方向の位置ずれｔ１を算出し、位置ずれｔ１が閾値以上の場合は被写体が第１の撮像素子（６）に対して画像面内方向に動いたと判別し、位置ずれｔ１が閾値以下の場合は画像面内方向に動きなしと判別する判別手段（１００）を備え、前記第２の画像（４０３）を取得してから前記第１の画像（４０１）を取得する間で、前記撮影レンズ２０１が駆動する、且つ、被写体が画像面内方向に動かない場合、前記第２の画像（４０３）に対してリフォーカス処理を実行した画像（４０４）を取得した後、前記第１の画像（４０１）上の異物が存在する画像領域（４０１ａ）に対応する前記第２の画像（４０３）における画像領域（４０４ａ）を用いて、前記画像領域（４０１ａ）に対して補正動作を実行する請求項１に記載の撮像装置。
5. 前記撮像装置はさらに、前記第２の画像（４０３）を取得してから前記第１の画像（４０１）を取得する間での被写体の画像面内方向の位置ずれｔ１を算出し、位置ずれｔ１が閾値以上の場合は被写体が第１の撮像素子（６）に対して画像面内方向に動いたと判別し、位置ずれｔ１が閾値以下の場合は画像面内方向に動きなしと判別する判別手段（１００）を備え、前記第２の画像（４０３）を取得してから前記第１の画像（４０１）を取得する間で、前記撮影レンズ２０１が駆動しない、且つ、被写体が画像面内方向に動かない場合、前記第１の画像（４０１）上の異物が存在する画像領域（４０１ａ）に対応する第２の画像（４０３）における画像領域（４０３ａ）を用いて、前記画像領域（４０１ａ）に対して補正動作を実行する請求項１に記載の撮像装置。