JP2014075729A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 複数回に分割して露光を行い、信号加算によって１枚の画像を生成する分割露光撮影における、瞬き欠陥画素による画質の低下を軽減する。
【解決手段】 分割露光撮影中に瞬き欠陥画素の判断を行い、瞬き欠陥と判断された場合と判断されなかった場合で、分割露光画像の加算方法を変更する。
【選択図】 図１１

Description

本発明は、画像処理装置及び画像処理方法に関するものである。

従来、デジタルカメラやビデオカメラ等の撮像装置において、ＣＣＤやＣＭＯＳセンサ等の固体撮像素子が一般的に使用されている。この固体撮像素子では、製造過程において発生する欠陥画素が、画質の低下や製造上の歩留まりを下げる要因の一つとなっていることが知られている。

欠陥画素にはいくつかの種類があり、遮光した状態で撮影したにも関わらず、画素出力が白く飽和してしまう白欠陥画素や、逆に光をあてた状態で撮影したにも関わらず、画素出力が黒のままになってしまう黒欠陥画素がある。また、撮像素子から読み出したときに、数回に一回の頻度で、画素出力が白くなってしまう瞬き欠陥画素も存在する。

欠陥画素を完全に無くすことは困難であることから、このような欠陥画素対策として、一般的に、欠陥画素の周囲画素の出力信号を用いた補間処理を行って画質向上を図ることが知られている。まず、工場出荷時等に所定の条件下において固体撮像素子の欠陥画素を検出し、検出された欠陥画素の位置及び出力レベル等の欠陥画素情報を記憶しておく。そして、カメラで撮影を行なう際に、記憶されている欠陥画素情報に基づいて、欠陥画素に隣接する画素の出力を用いて、欠陥画素の出力の補間処理を行う（特許文献１を参照）。

また、撮像素子から出力される信号が前後の信号レベルと比較してレベルの高い突出した信号であり、かつ該突出した部分の信号が設定された所定の画素数分の幅以下の信号である場合に、白欠陥画素の信号であると判断する。そして、突出した部分の信号レベルを前後の信号レベルまで抑制することで、画質の向上を図る技術も知られている（特許文献２を参照）。

特開２００３−３３３４３５号公報 特開２０００−２０９５０５号公報

従来のデジタルカメラにおいて、露光時間の長い静止画撮影を行なう場合に、全露光時間を複数回に分割して露光および信号の読出しを行い、複数回に分割して読み出した信号を加算することによって１枚の画像を生成する分割露光撮影を行うことがある。分割露光撮影を行なう場合の複数回に分割して撮影した露光画像のいずれかにおいて、前記したような瞬き欠陥画素が発生した場合、画質を低下させる恐れがある。また、工場出荷時等に取得した欠陥画素情報に瞬き欠陥画素を含めてしまうと、その画素において瞬き欠陥が発生していない場合でも、欠陥画素として補正処理が行われることになり、画質が低下する。

本発明は上記課題を鑑みてなされたものであり、瞬き欠陥画素などの影響を受けることなく、分割露光信号を加算処理することのできる画像処理装置及び画像処理方法を提供することを目的とする。

本発明は、上記課題を解決するためになされたもので、請求項１に記載の画像処理装置は、複数の画素を有する撮像素子を複数回に分割して露光することで、前記撮像素子から出力される前記複数の分割露光信号を加算する加算手段と、前記複数の分割露光信号における検出対象分割露光信号と前記検出対象分割露光信号以外の分割露光信号とを比較することで前記撮像素子の欠陥画素を検出する欠陥画素検出手段と、前記欠陥画素検出手段により検出された前記撮像素子の欠陥画素から出力された分割露光信号を前記加算手段が加算しないように制御する制御手段と、を備えたことを特徴とする。

また、請求項４に記載の画像処理方法は、複数の画素を有する撮像素子を複数回に分割して露光することで、前記撮像素子から出力される前記複数の分割露光信号を加算手段が加算するステップと、前記複数の分割露光信号における検出対象分割露光信号と前記検出対象分割露光信号以外の分割露光信号とを比較することで前記撮像素子の欠陥画素を欠陥画素検出手段が検出するステップと、前記欠陥画素検出手段により検出された前記撮像素子の欠陥画素から出力された分割露光信号を前記加算手段が加算しないように制御手段が制御するステップと、を備えたことを特徴とする。

本発明によれば、瞬き欠陥画素などの影響を受けることなく、分割露光画像を加算処理することができる。

実施例の撮像装置のブロック図である。 実施例の主ルーチンのフローチャートである。 実施例の主ルーチンのフローチャートである。 実施例の側距・測光データ更新のフローチャートである。 実施例の撮影ルーチンのフローチャートである。 実施例の通常露光ルーチンのフローチャートである。 実施例の記録ルーチンのフローチャートである。 実施例の分割露光ルーチンのフローチャートである。 実施例の瞬き欠陥検出時の図である。 実施例の瞬き欠陥検出時の平均値取得図である。 実施例の画像処理装置とメモリの詳細図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

（実施例１）
図１は、本発明の実施例における撮像システムの構成を示す図である。図１において、画像処理装置１００は、以下のような構成を備えている。

撮像素子１４は、撮影レンズ１０により結像された光学像を電気信号に変換する。撮影レンズ１０と撮像素子１４の間には、絞り機能を備えた機械式シャッター１２が配置されている。Ａ／Ｄ変換器１６は、撮像素子１４のアナログ出力信号をデジタル信号に変換する。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御され、撮像素子１４やＡ／Ｄ変換器１６にクロック信号や制御信号を供給する。撮像素子１８のリセットタイミングの制御により、撮像素子１８の蓄積時間を制御することが可能であり、動画撮影などにおける電子シャッターとして使用可能である。

画像処理回路２０は、Ａ／Ｄ変換器１６から出力されるデジタルデータ或いはメモリ制御回路２２によりメモリ３０から読み出されたデータに対して、所定の画素補間処理や色変換処理を行う。また、画像処理回路２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される撮像画像データを用いて所定の演算処理を行なう。そして、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行うことで、ＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。さらに、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される撮像画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。また、画像処理回路２０は、画像データの画像識別や、前フレーム画像との変化量を検出する処理も行っている。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。そして、メモリ制御回路２２の制御により、Ａ／Ｄ変換器１６から出力されるデータが画像処理回路２０、メモリ制御回路２２を介してメモリ３０に書き込まれる。画像表示部２８は、ＴＦＴＬＣＤ等から成り、メモリ２０に書き込まれた表示用の画像データはメモリ制御回路２２の制御により画像表示部２８に表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には、画像処理装置１００の電力消費を大幅に低減することが出来る。また、画像表示部２８にタッチパネルを用いた場合、タッチパネルを操作部としても使用することで、操作部７０を省くことも可能である。

メモリ３０は、撮影した静止画像や動画像を格納するためのものであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像をメモリ３０に対して書き込むことが可能となる。また、メモリ３０をシステム制御回路５０の作業領域としても使用することが可能である。圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長し、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行う。圧縮処理あるいは伸長処理を終えたデータは、メモリ３０に再度書き込まれる。

不揮発性メモリ３１は、ＦｌａｓｈＲＯＭ等で構成される。不揮発性メモリ３１には、システム制御回路５０が実行するプログラムコードが書き込まれており、システム制御回路５０は、不揮発性メモリ３１からプログラムコードを逐次読み出しながら実行する。また、不揮発性メモリ３１内にシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

露光制御部４０は、絞り機能を備えるシャッター１２を制御することで露光制御を行ない、さらにフラッシュ４８と連動することによりフラッシュ調光機能も有する。測距制御部４２は、撮影レンズ１０のフォーカシングを制御し、ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。フラッシュ４８は、ＡＦ補助光の投光機能とフラッシュ調光機能を有する。露光制御手段４０、測距制御手段４２は、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０によりＴＴＬ方式を用いて制御される。システム制御回路５０は、画像処理装置１００全体を制御する。

システム制御回路５０の各種の動作指示を入力するための各種操作部は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数のデバイスの組み合わせで構成される。以下、各種操作部の具体的な説明を行う。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、静止画撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定する。シャッタースイッチ６２（ＳＷ１）は、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。シャッタースイッチ６４（ＳＷ２）は、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。そして、フラッシュ撮影の場合、この露光期間中にフラッシュを発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。

さらに、シャッタースイッチ６４（ＳＷ２）のＯＮにより、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む。そして、画像処理回路２０やメモリ制御回路２２での演算を用いた現像、メモリ３０から画像データを読み出して圧縮・伸長回路３２での圧縮処理、記録媒体２００へ画像データを書き込む記録処理という一連の処理の動作開始を指示する。

表示切替スイッチ６６は、画像表示部２８の表示を切り替えるための操作部である。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。操作部７０は、各種ボタン、タッチパネルや回転式ダイアル等からなり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等を備える。また、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

ズームスイッチ部（以下、ズームスイッチという）７２は、ユーザーにより撮像画像の倍率変更指示が行われる。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。ズームスイッチ７２を用いることによりズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し、光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング処理のトリガともなる。

電源部８６は、アルカリ電池の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。インタフェース９０は、コネクタ９２を介してメモリカードやハードディスク等の記録媒体２００と接続を行う。光学ファインダー１０４は、画像表示部２８による電子ファインダー機能を使用すること無しに撮影を行うためのものである。通信部１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。コネクタ（無線通信の場合はアンテナ）１１２は、画像処理装置１００を他の機器と接続する。記録媒体２００は、メモリカードやハードディスク等である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

図２及び図３は、本実施例の画像処理装置１００の主ルーチンのフローチャートである。電池交換等を含む電源投入により、システム制御回路５０は、フラグや制御変数等を初期化し（Ｓ１０１）、画像表示部２８の画像表示をＯＦＦ状態に設定する（Ｓ１０２）。システム制御回路５０は、モードダイアル６０の設定位置を判断し（Ｓ１０３）、モードダイアル６０が撮影モードに設定されていた場合にはＳ１０６に進む。また、モードダイアル６０が撮影モード以外のモード（例えば、再生モードなど）に設定されていた場合にはＳ１０４に進んで、システム制御回路５０は選択されたモードに応じた処理を実行し、処理を完了後にＳ１０３に戻る。

Ｓ１０６において、システム制御回路５０は、電池等により構成される電源８６の残容量や動作情況が画像処理装置１００の動作に問題があるか否かを判断する（Ｓ１０６）。問題がある場合には、画像や音声により所定の警告表示を行った後に（Ｓ１０８）、Ｓ１０３に戻る。Ｓ１０６において、電源８６などに問題が無い場合には、システム制御回路５０は、記録媒体２００の動作状態が画像処理装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断する（Ｓ１０７）。問題がある場合には、画像や音声により所定の警告表示を行った後に（Ｓ１０８）、Ｓ１０３に戻る。

Ｓ１０７において、記録媒体２００の動作状態に問題が無い場合には、画像表示部２８をＯＮにするとともに、画像処理装置１００の各種設定状態を表示する（Ｓ１０９）。続いて、システム制御回路５０は、撮像した画像データを逐次表示するスルー表示状態に設定する（Ｓ１１６）。スルー表示状態に於いては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、メモリ３０に逐次書き込まれた画像データを、画像表示部２８により逐次表示することにより、電子ファインダー機能を実現する。

Ｓ１１９に進んで、シャッタースイッチ６２（ＳＷ１）が押されていない場合には、Ｓ１０３に戻り、シャッタースイッチ６２（ＳＷ１）が押された場合には、Ｓ１２２に進む。Ｓ１２２では、システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する。測光処理では、必要であればフラッシュの設定も行う。この測距・測光処理（Ｓ１２２）の詳細なフローは、図４を用いて後述する。Ｓ１２２における測距・測光処理を終えたならば、Ｓ１２５に進む。

Ｓ１２５において、シャッタースイッチ６４（ＳＷ２）が押されない場合には、Ｓ１２６に進み、Ｓ１２６において、シャッタースイッチ６２（ＳＷ１）も解除された場合には、Ｓ１０３に戻る。Ｓ１２５において、シャッタースイッチ６４（ＳＷ２）が押された場合には、Ｓ１２９に進んで撮影処理を実行する。この撮影処理の詳細なフローは、図５を用いて後述する。Ｓ１２９における撮影処理が完了すると、Ｓ１３５に進んで、撮影した画像データを記録媒体２００に書き込み、Ｓ１０３に戻る。この記録処理の詳細なフローは、図７を用いて後述する。

図４は、図３のＳ１２２における測距・測光処理の詳細なフローチャートである。システム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に撮影画像データを逐次読み込む（Ｓ２０１）。そして、この逐次読み込まれた画像データを用いて、画像処理回路２０はＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、ＡＦ（オートフォーカス）処理に用いる所定の演算を行なう。なお、Ｓ２０１における各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。

画像処理回路２０での演算結果を用いて、システム制御回路５０は、露出（ＡＥ）が適正であるかどうかを判断し（Ｓ２０２）、Ｓ２０２で露出が適正であると判断されるまで露光制御部４０によりＡＥ制御を行う（Ｓ２０３）。

Ｓ２０３におけるＡＥ制御で得られた測定データを用いて、システム制御回路５０は、フラッシュ４８が必要であるか否かを判断し（Ｓ２０４）、フラッシュ４８が必要である場合には、フラッシュフラグをセットし、フラッシュ４８を充電する（Ｓ２０５）。Ｓ２０２において露出（ＡＥ）が適正であると判断した場合には、測定データ及び／或いは設定パラメータをメモリ３０に記憶し、Ｓ２０６に進む。

Ｓ２０６において、システム制御回路５０は、画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、ホワイトバランスが適正と判断されるまで画像処理回路２０により色処理のパラメータを調節してＡＷＢ制御を行う（Ｓ２０７）。Ｓ２０６においてホワイトバランスが適正と判断した場合には、測定データ及び／或いは設定パラメータをメモリ３０に記憶し、Ｓ２０８に進む。

Ｓ２０３におけるＡＥ制御及びＳ２０７におけるＡＷＢ制御で得られた測定データを用いて、システム制御回路５０は、測距（ＡＦ）動作を行ない、合焦しているかどうかを判断する（Ｓ２０８）。そして、Ｓ２０８で合焦と判断されるまで、測距制御部４２を用いてＡＦ制御を行う（Ｓ２０９）。Ｓ２０８において、合焦と判断した場合には、測定データ及び／或いは設定パラメータをメモリ３０に記憶し、測距・測光処理ルーチンを終了する。

図５は、図３のＳ１２９における撮影処理の詳細なフローチャートである。システム制御回路５０は、メモリ３０に記憶されている測光データに基づいて露光時間を決定し、決定された露光時間、ＩＳＯ感度、及び撮影時の温度に応じて、分割露光撮影を行なうかどうかを判断する（Ｓ３００）。Ｓ３００において、通常露光撮影を行なうと判断された場合には、Ｓ３０１に進んで通常露光撮影を行なう。また、Ｓ３００において、分割露光撮影を行なうと判断された場合には、Ｓ３０２に進み、分割露光撮影を行なう。Ｓ３０１における通常露光撮影又はＳ３０２における分割露光撮影を行なった後、Ｓ３０３において、設定された撮影モードに応じて現像処理を順次行った後、メモリ３０に現像処理を終えた画像データを書き込む。一連の処理を終えたならば、撮影処理ルーチンを終了する。

図７は、図３のＳ１３５における記録処理の詳細なフローチャートである。システム制御回路５０は、メモリ制御回路２２を制御することにより、メモリ３０に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２により行なう（Ｓ４０２）。そして、インタフェース９０、コネクタ９２を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００へ圧縮した画像データを書き込む（Ｓ４０３）。記録媒体への書き込みが終わったならば、記録処理ルーチンを終了する。

図６は、図５のＳ３０１における通常露光撮影のシーケンスを示すフローチャートである。システム制御回路５０は、メモリ３０に記憶される測光データに従い、露光制御部４０によって絞り機能を有するシャッター１２を絞り値に応じて開放し（Ｓ３１１）、撮像素子１０の露光を開始する（Ｓ３１２）。システム制御回路５０は、測光データに従って撮像素子１２の設定された露光時間が経過したかどうかを判断し（Ｓ３１３）、設定された露光時間が経過した場合にシャッター１２を閉じる（Ｓ３１４）。次に、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６によりデジタル信号に変換し、画像処理回路２０により画像データを生成してメモリ制御回路２２によりメモリ３０に書き込むことで、通常露光撮影処理を終了する（Ｓ３１５）。なお、Ａ／Ｄ変換器１６から直接メモリ制御回路２２を介して画像データをメモリ３０に書き込んでもよい。

また、図８は、図５のＳ３０２における分割露光撮影のシーケンスを示すフローチャートである。システム制御回路５０は、メモリ３０に記憶される測光データに従い、露光制御部４０によって絞り機能を有するシャッター１２を絞り値に応じて開放する（Ｓ３３０）。次に、図５のＳ３００において決定された全露光時間を複数（Ｎ）に分割し、複数回（Ｎ回）の露光及び分割露光信号の読み出しを行う。Ｓ３３１において、複数回（Ｎ回）の分割露光が完了したかどうかを判断し、完了していない場合には、ｉ番目の分割露光における撮像素子１０の露光を開始する（Ｓ３３２）。その後、分割露光時間が経過した場合に、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６によりデジタル信号に変換し、画像処理回路２０により画像データ（分割露光信号）を生成してメモリ制御回路２２によりメモリ３０に書き込む（Ｓ３３３）。なお、Ａ／Ｄ変換器１６から直接メモリ制御回路２２を介して画像データをメモリ３０に書き込んでもよい。次に、メモリ３０に書き込まれたｉ分割目の画像データ（分割露光信号）における各画素の出力データについて瞬き欠陥の検出を行なう（Ｓ３３４）。そして、瞬き欠陥が検出された画素の出力データに対する補正処理を行ない（Ｓ３３５）、メモリ３０に書き込まれている（ｉ−１）分割目までの画像データと加算する（Ｓ３３６）。

次に、瞬き欠陥画素の検出と補正の方法について説明する。図９は、瞬き欠陥画素を検出する方法を示す図である。瞬き欠陥画素を検出する際には、各分割露光画像データ（検出対象分割露光信号）の各画素の出力値をその前後複数の分割露光画像データ（検出対象分割露光信号以外の分割露光信号）の各画素の出力平均値と比較する。そして、前後複数の分割露光画像データの各画素の出力平均値よりも出力値が大きい場合に、今回の分割露光画像データの画素が瞬き欠陥画素であると判断する。そして瞬き欠陥画素であると判断された画素の出力値を前後複数の分割露光画像データの平均値に置き換える。

また、図１０は、瞬き欠陥画素を検出するための平均値を取得する分割露光画像の設定方法を示す図である。まず、１分割目の露光画像では、その後の２〜５分割目の露光画像における各画素の平均値と比較して瞬き欠陥画素を検出する。２分割目の露光画像では、その前後の１分割目及び３〜５分割目の露光画像における各画素の平均値と比較し、３分割目の露光画像では、その前後の１、２分割目及び４、５分割目の露光画像における各画素の平均値と比較することで、瞬き欠陥画素を検出する。４分割目以降の露光画像についても、常に平均値を取得する分割露光数が例えば４つ（一定数）になるように分割露光数に応じて平均値を取得する露光画像の設定を変更する。なお、瞬き欠陥画素と判断された場合には、その画素の出力を平均値の演算対象から除外する。

図１１は、画像処理回路２０及びメモリ３０の構成図である。撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６によりデジタル信号に変換した各分割露光画像データをメモリ３０の露光出力１〜４に記録する。また、メモリ３０の露光出力１〜４に記録された各分割露光画像データはそれぞれ読み出され、画像処理回路２０内の瞬き欠陥検出回路３０２（欠陥画素検出手段）に入力する。また、メモリ３０の露光出力１〜４に記録された各分割露光画像データを画像処理回路２０内の平均値算出回路３０１に入力して平均値を算出し、算出した平均値を瞬き欠陥検出回路３０２に入力する。

瞬き欠陥検出回路３０２では、上記２つの入力信号を比較することで瞬き欠陥判定を行なう（瞬き欠陥画素を検出する）。比較の結果、瞬き欠陥画素ではないと判定された場合には、その画素の撮影画像データを加算回路３０３（加算手段）に出力する。また、比較の結果、瞬き欠陥画素であると判断された場合には、その画素に対応する前後４つの分割露光画像データの平均値を加算回路３０３に出力する。なお、瞬き欠陥画素の検出において、前後の分割露光画像データの平均値を算出しながら瞬き欠陥画素を検出するのではなく、分割露光の最初（１番目）の露光出力、もしくは最初から数露光分の出力平均値を基準として、瞬き欠陥検出を行うことも可能である。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実
施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体
を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（または
ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１４ 撮像素子
１６ Ａ／Ｄ変換器
２０ 画像処理回路
２２ メモリ制御回路
３０ メモリ
４０ 露光制御部
５０ システム制御回路
１００ 画像処理装置
３０１ 平均値算出回路
３０２ 瞬き欠陥検出回路
３０３ 加算回路

Claims (6)

1. 複数の画素を有する撮像素子を複数回に分割して露光することで、前記撮像素子から出力される前記複数の分割露光信号を加算する加算手段と、
   前記複数の分割露光信号における検出対象分割露光信号と前記検出対象分割露光信号以外の分割露光信号とを比較することで前記撮像素子の欠陥画素を検出する欠陥画素検出手段と、
   前記欠陥画素検出手段により検出された前記撮像素子の欠陥画素から出力された分割露光信号を前記加算手段が加算しないように制御する制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記欠陥画素検出手段は、前記検出対象分割露光信号を前記検出対象分割露光信号以外の複数の分割露光信号と比較することで前記撮像素子の欠陥画素を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記欠陥画素検出手段により前記検出対象分割露光信号と比較される前記複数の分割露光信号の数が常に一定数となるように制御することを特徴とする請求項２に記載の画像処理装置。
4. 複数の画素を有する撮像素子を複数回に分割して露光することで、前記撮像素子から出力される前記複数の分割露光信号を加算手段が加算するステップと、
   前記複数の分割露光信号における検出対象分割露光信号と前記検出対象分割露光信号以外の分割露光信号とを比較することで前記撮像素子の欠陥画素を欠陥画素検出手段が検出するステップと、
   前記欠陥画素検出手段により検出された前記撮像素子の欠陥画素から出力された分割露光信号を前記加算手段が加算しないように制御手段が制御するステップと、
   を備えたことを特徴とする画像処理方法。
5. 前記欠陥画素検出手段は、前記検出対象分割露光信号を前記検出対象分割露光信号以外の複数の分割露光信号と比較することで前記撮像素子の欠陥画素を検出することを特徴とする請求項４に記載の画像処理方法。
6. 前記制御手段は、前記欠陥画素検出手段により前記検出対象分割露光信号と比較される前記複数の分割露光信号の数が常に一定数となるように制御することを特徴とする請求項５に記載の画像処理方法。

Images