JP2014154913A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】固定パターンノイズ補正の必要性を判別するときに使用するメモリ領域を削減し、かつ判別精度の低下を抑制する。
【解決手段】暗電流の平均蓄積量が同程度になるように、撮像素子を遮光状態としたままで撮影した黒画像から使用する領域を選択して、固定パターンノイズ補正の要否を判断するために用いる間引いた黒画像を遮光画像（間引き画像）生成部が生成し、その間引いた黒画像を用いて、撮像素子を露光させて撮影した本画像に対する固定パターンノイズ補正の要否を補正要否判断部が判断するようにして、黒画像を保持するためのメモリ領域を削減し、かつ補正要否の判別精度の低下を抑制できるようにする。
【選択図】図２

Description

本発明は、固定パターンノイズ補正に係る画像処理装置、画像処理方法、及びプログラムに関する。

近年、デジタルビデオカメラやデジタルスチルカメラ等の撮像機器が一般に普及している。これらの撮像機器に搭載される固体撮像素子は、多数の画素を有する。また、半導体ウエハには、ある程度の基板欠損が必ず存在する。したがって、量産時において、１つでも欠陥画素がある固体撮像素子のすべてを不良品にすると、歩留まりが著しく低下して製造コストを引き上げてしまうので、ある程度の欠陥画素があっても良品にすることにより歩留まりを向上させ製造コストを抑えている。

固体撮像素子の出力信号に含まれる固定パターンノイズ（ＦＰＮ）を補正する技術として、本画像の撮影後に黒画像を撮影し、黒画像を本画像から減算することで補正を行う黒引き撮影がある。また、特許文献１には、固体撮像素子における欠陥画素の位置及びその出力信号に含まれる欠陥成分レベルのデータを記憶しておき、電荷蓄積時間や撮影時温度に応じて欠陥量を予測して補正を行う画像補正技術が提案されている。

特開２００３−２０４４８６号公報

固体撮像素子の出力信号に含まれる固定パターンノイズのレベルは、撮影時の環境や条件等によって変わり得るため、固定パターンノイズの補正が必要となるときもあれば不要なときもある。固体撮像素子を搭載した撮像機器において、撮影時に本画像に対する固定パターンノイズ補正の必要性を、黒画像（遮光画像）の全領域を利用して判別する手法がある。しかし、黒画像の全領域を保持するためにメモリ領域を大きく占有してしまうという問題がある。

この問題を解決するために黒画像の任意のラインを選択することで画像を間引いて使用することが考えられるが、選択したラインの組み合わせによって暗電流の平均蓄積量が異なってしまう。そのため、黒画像の全領域が持つ暗電流の平均蓄積量と黒画像を間引いた画像が持つ暗電流の平均蓄積量とが等しくならない可能性があり、補正要否の判別精度の低下を招いてしまうという問題がある。

本発明の目的は、固定パターンノイズ補正の必要性を判別するときに使用するメモリ領域を削減するとともに、判別精度の低下を抑制することにある。

本発明に係る画像処理装置は、光電変換素子を含む複数の画素が行列状に配置されている撮像素子を露光させて撮影した第１の画像が記憶される第１の記憶手段と、前記撮像素子を遮光状態としたままで撮影した第２の画像から使用する領域を選択して第３の画像を生成する画像生成手段と、前記画像生成手段により生成された第３の画像が記憶される第２の記憶手段と、前記第２の記憶手段に記憶されている第３の画像を用いて、前記第１の画像に対する固定パターンノイズ補正の要否を判断する判断手段と、前記判断手段により前記第１の画像に対する固定パターンノイズ補正が必要であると判断された場合に、前記第１の記憶手段に記憶された第１の画像に補正処理を施す補正処理手段とを有し、前記画像生成手段は、前記第３の画像における暗電流の平均蓄積量が前記第２の画像における暗電流の平均蓄積量と同じになるように領域を選択することを特徴とする。

本発明によれば、暗電流の平均蓄積量が同じになるように、撮像素子を遮光した状態で撮影した画像から使用する領域を選択して固定パターンノイズ補正の必要性を判別するために用いる画像を生成する。これにより、固定パターンノイズ補正の必要性を判別するために用いる画像を保持するためのメモリ領域を削減することができるとともに、補正要否の判別精度の低下を抑制することができる。

本発明の実施形態に係る画像処理装置の構成例を示す図である。 第１の実施形態における画像処理回路の構成例を示す図である。 第１の実施形態における撮影動作を示すフローチャートである。 インターラインに読み出される画像の例を示す図である。 インターラインに読み出される画像データの読み出し順序を示す図である。 インターラインに読み出される画像データの読み出し時間と暗電流の蓄積量との関係を示す図である。 プログレッシブに読み出される画像の例を示す図である。 プログレッシブに読み出される画像データの読み出し順序を示す図である。 プログレッシブに読み出される画像データの読み出し時間と暗電流の蓄積量との関係を示す図である。 白点キズにおけるグレードの概念を示す図である。 第１の実施形態における白点キズの補正処理の例を示すフローチャートである。 白点キズを補正する際に用いる画素の例を示す図である。 複数のブロックに分割した黒画像の例を示す図である。 第１の実施形態におけるダークシェーディング補正処理の例を示すフローチャートである。 ダークシェーディングの補正方法の例を示す図である。 第２の実施形態における画像処理回路の構成例を示す図である。 本実施形態における画像処理装置を実現可能なコンピュータ機能を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、第１の実施形態に係る画像処理装置の構成例を示すブロック図である。画像処理装置１００において、撮像素子１４は、行列状に配置された複数の画素を有し、撮影レンズ１０等により結像された光学像を電気信号に変換する。撮像素子１４が有する画素の各々は、光電変換素子を有する。機械式シャッター１２は絞り機能を有する。Ａ／Ｄ（アナログ／デジタル）変換器１６は、撮像素子１４のアナログ信号出力をデジタル信号に変換する。

タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御され、撮像素子１４及びＡ／Ｄ変換器１６にクロック信号や制御信号を供給する。タイミング発生回路１８による撮像素子１４のリセットタイミングの制御によって、電子シャッターとして蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

画像処理回路２０は、Ａ／Ｄ変換器１６或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行う。この演算処理により得られた演算結果に基づいて、システム制御回路５０が露光制御手段４０や測距制御手段４２に対して制御を行う、ＴＴＬ方式のＡＦ（オートフォーカス）処理やＡＥ（自動露出）処理やＥＦ（フラッシュプリ発光）処理を行っている。さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、及び圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力されたデータが、画像処理回路２０及びメモリ制御回路２２を介して、あるいは直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。画像表示部２８は、ＴＦＴ ＬＣＤ等からなり、メモリ３０に書き込まれた表示用の画像データに基づく画像を表示する。画像表示部２８は、システム制御回路５０の指示により任意に表示をオン／オフすることが可能である。

メモリ３０は、撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。なお、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮・伸長回路３２は、メモリ３０に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ３０に書き込む。

露光制御手段４０は、絞り機能を備えるシャッター１２を制御する。測距制御手段４２は、撮影レンズ１０のフォーカシングを制御する。露光制御手段４０及び測距制御手段４２はＴＴＬ方式を用いて制御されている。ズーム制御手段４４は、撮影レンズ１０のズーミングを制御する。フラッシュ４８は、ＡＦ補助光の投光機能やフラッシュ調光機能等を有する。システム制御回路５０は、画像処理装置１００全体を制御する。システム制御回路５０は、図示しない不揮発性メモリ等からプログラムコードを読み出して実行し、画像処理装置１００が有する各機能部を制御する。

システム制御回路５０に対して各種の動作指示を入力するための操作手段６０、６２、６４、６６、７０及び７２は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

シャッタースイッチ（ＳＷ１）６２は、シャッターボタンの操作途中でオンとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。シャッタースイッチ（ＳＷ２）６４は、シャッターボタンの操作完了でオンとなり、下記の一連の撮像処理の動作開始を指示する。撮像処理では、まず露光制御手段４０による制御によって撮像素子１４をＡＥ処理で決定された露光時間分だけ露光させ、露光期間終了と同時に遮光することで、撮像素子１４への露光を終了させる。次に、撮像素子１４から信号を読み出してＡ／Ｄ変換器１６、メモリ制御回路２２を介しメモリ３０に画像データを書き込む読み出し処理や、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。また、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行って、記録媒体２００に画像データを書き込む記録処理が行われる。

表示切り替えスイッチ６６は、画像表示部２８の表示切り替えをすることができる。操作部７０は、各種ボタン、タッチパネルや回転式ダイアル等からなり、各種の設定や選択の指示を行うことができる。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチ及び広角側に変更させるワイドスイッチからなり、ユーザーが撮像画像の倍率変更指示を行う。電源手段８６は、一次電池や二次電池、ＡＣアダプター等からなる。インタフェース９０は、コネクタ９２を介して接続されるメモリカードやハードディスク等の記録媒体２００とのインタフェースである。

画像処理装置１００は、光学ファインダ１０４を備えており、画像表示部２８による電子ファインダ機能を使用することなしに光学ファインダ１０４のみを用いて撮影を行うことが可能である。通信手段１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有し、画像処理装置１００とコネクタ（無線通信の場合はアンテナ）１１２を介して接続された他の機器と通信を行う。記録媒体２００は、例えばメモリカードやハードディスク等であり、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、及び画像処理装置１００と接続を行うコネクタ２０６を備えている。

図２は、第１の実施形態における画像処理回路２０の構成例を示すブロック図である。図２には、画像処理回路２０が有する固定パターンノイズ補正及びその要否判別に係る構成だけを示している。なお、図示していないが、画像処理回路２０は、色変換処理や所定の演算処理等の他の各種画像処理を行う構成も有している。

記憶部３０１は、撮影によって得られた画像データを記憶する。記憶部３０１は、本画像（撮影画像）の画像データを記憶するための第１の記憶手段としての撮影画像記憶部３０２、及び黒画像（遮光画像）の画像データを記憶するための第２の記憶手段としての遮光画像（間引き画像）記憶部３０３を有する。記憶部３０１は、例えば画像処理装置１００内のメモリ３０を用いたものであっても良いし、画像処理回路２０内に別に設けたメモリ等を用いたものであっても良い。

第１の記憶手段としての撮影画像記憶部３０２には、撮像素子を露光させて撮影された第１の画像としての本画像（撮影画像）の画像データが記憶される。また、第２の記憶手段としての遮光画像（間引き画像）記憶部３０３には、撮像素子を遮光状態としたままで撮影された第２の画像としての黒画像（遮光画像）そのものではなく、第３の画像としての間引かれた黒画像の画像データが記憶される。第３の画像としての間引かれた黒画像は、撮像素子を遮光した状態で撮影された第２の画像としての黒画像を基に遮光画像（間引き画像）生成部３０４により生成される画像である。画像生成手段としての遮光画像（間引き画像）生成部３０４は、撮像素子を遮光した状態で撮影された黒画像（遮光画像）から使用する領域として複数のライン（フィールド）を選択することによってデータ量を削減し、間引かれた黒画像を新たに生成し出力する。

補正要否判断部３０５は、遮光画像（間引き画像）記憶部３０３に記憶された黒画像を用いて、撮影画像記憶部３０２に記憶された本画像に対する固定パターンノイズ補正の必要性を判断する。補正処理部３０６は、固定パターンノイズ補正が必要であると補正要否判断部３０５が判断した場合に、撮影画像記憶部３０２に記憶された本画像に対して固定パターンノイズ補正を行う。出力部３０７は、固定パターンノイズ補正が必要であると補正要否判断部３０５が判断した場合には、補正処理部３０６より補正処理された画像データを出力し、そうでない場合には撮影画像記憶部３０２に記憶されている画像データを出力する。

図３は、第１の実施形態における撮影動作を示すフローチャートである。
シャッターボタンが押下されシャッタースイッチ（ＳＷ２）６４がオンとなると、図３に示す撮影シーケンスが実行される。撮影が開始されると、まずステップＳ１１にて、撮像素子を露光させて本画像（撮影画像）が撮影され、本画像の画像データが取得される。この本画像の画像データは、記憶部３０１の撮影画像記憶部３０２に記憶される。

次に、ステップＳ１２にて、撮像素子を遮光した状態で黒画像（遮光画像）が撮影され、黒画像の画像データが取得される。この黒画像の画像データは、遮光画像（間引き画像）生成部３０４に供給される。続いて、ステップＳ１３にて、遮光画像（間引き画像）生成部３０４が、供給された黒画像を間引くことによって、固体パターンノイズ補正の必要性を判別するために用いる間引き画像を新たに生成する。この新たに生成された間引き黒画像の画像データが、記憶部３０１の遮光画像（間引き画像）記憶部３０３に記憶される。

次に、ステップＳ１４にて、補正要否判断部３０５が、撮影画像記憶部３０２に記憶されている本画像に対する固体パターンノイズ補正の要否判別を行う。この補正要否判別では、遮光画像（間引き画像）記憶部３０３に記憶されている間引き黒画像を用いて、本画像に対して固体パターンノイズ補正の処理を行うか否かの判別を行う。その結果、本画像に対する固体パターンノイズ補正を行うと判断した場合には、ステップＳ１５にて、補正処理部３０６が、本画像に対して固体パターンノイズ補正の処理を施す。一方、本画像に対する固体パターンノイズ補正が不要であると判断した場合には、本画像に対する固体パターンノイズ補正の処理を行わずに終了する。

図４は、システム制御回路５０による制御に基づいて、インターラインに読み出される画像の構成例を示す図である。画像は、フィールドと呼ばれる単位で分割されており、例えば全部でＮ個のフィールドがインターレースとなって画像を構成している。この画像の画像データは、例えば図５に示すような読み出し順序で読み出される。図５に示す例では、システム制御回路５０による制御に基づき、フィールド毎に１フィールド目からＮフィールド目までを順番に読み出している。つまり、撮像素子から１フィールド目の画像データが読み出されるまでの時間が最も短く、Ｎフィールド目の画像データが読み出されるまでの時間が最も長くなる。よって、各フィールド間で撮像素子から画像データが読み出されるまでの時間に差が生じている。

図６は、システム制御回路５０による制御に基づいて、インターラインに読み出される画像データの読み出し時間と暗電流の蓄積量との関係を示す図である。図６に示すように、暗電流の蓄積量は、画像データが読み出されるまでの時間に比例して増加していく。よって、図５に示されるフィールド間での撮像素子から画像データが読み出されるまでの時間差が、各フィールドにおける暗電流の蓄積量の差として現れている。

ここで、固定パターンノイズ補正の必要性を判別するために用いる間引き黒画像の暗電流の平均蓄積量は、撮影された黒画像の全領域での暗電流の平均蓄積量と等しくなることが望ましい。そのため、本実施形態では、インターラインに読み出される画像である場合、図６に示すように選択したフィールドの暗電流の平均蓄積量が、全領域での暗電流の平均蓄積量ＬＶＡに等しくなるようにフィールドを選択して、間引き黒画像を生成する。例えば、１フィールド目とＮフィールド目とを組として選択したり、２フィールド目と（Ｎ−１）フィールド目とを組として選択したりする。すなわち、暗電流の影響量が同程度になるように使用するフィールドを選択する。これにより、固定パターンノイズ補正の必要性を判別する際の精度低下を防ぐことができる。

また、画像データの読み込みは、１フィールド目からＮフィールド目まで順次行っていくため、選択したフィールド番号の最大値が小さい組み合わせを選択することによって、読み出し時間の短縮が図れる。なお、前述した間引き黒画像を生成するために選択するフィールドの組み合わせは一例であり、これに限定されるものではなく任意である。ただし、フィールド間での暗電流の蓄積量の差による影響を低減するために、選択したフィールド番号の平均値が、（画像の全フィールド数）／２＋０．５となることが好ましい。

図７は、システム制御回路５０による制御に基づいて、プログレッシブに読み出される画像の構成例を示す図である。画像は、ラインと呼ばれる単位で分割されている。図７には、Ｎラインで構成される画像を一例として示している。この画像の画像データは、撮像素子からすべて同時に読み出されるのではなく、例えば図８に示すような読み出し順序で読み出される。図８に示す例では、システム制御回路５０による制御に基づき、ライン毎に１ライン目からＮライン目までを順番に読み出している。つまり、撮像素子から１ライン目の画像データが読み出されるまでの時間が最も短く、Ｎライン目の画像データが読み出されるまでの時間が最も長くなる。よって、各ライン間で撮像素子から画像データが読み出されるまでの時間に差が生じている。

図９は、システム制御回路５０による制御に基づいて、プログレッシブに読み出される画像データの読み出し時間と暗電流の蓄積量との関係を示す図である。図９に示すように、暗電流の蓄積量は、画像データが読み出されるまでの時間に比例して増加していく。よって、図８に示されるライン間での撮像素子から画像データが読み出されるまでの時間差が、各ラインにおける暗電流の蓄積量の差として現れてしまう。

前述したように、固定パターンノイズ補正の必要性を判別するために用いる間引き黒画像の暗電流の平均蓄積量は、撮影された黒画像の全領域での暗電流の平均蓄積量と等しくなることが望ましい。そのため、本実施形態では、プログレッシブに読み出される画像である場合、図９に示すように選択したラインの暗電流の平均蓄積量が、全領域での暗電流の平均蓄積量ＬＶＢに等しくなるようにラインを選択して、間引き黒画像を生成する。例えば、１ライン目とＮライン目とを組として選択したり、２ライン目と（Ｎ−１）ライン目とを組として選択したりする。すなわち、暗電流の影響量が同程度になるように使用するラインを選択する。これにより、固定パターンノイズ補正の必要性を判別する際の精度低下を防ぐことができる。

また、画像データの読み込みは、１ライン目からＮライン目まで順次行っていくため、選択したライン番号の最大値が小さい組み合わせを選択することによって、読み出し時間の短縮が図れる。なお、前述した間引き黒画像を生成するために選択するラインの組み合わせは一例であり、これに限定されるものではなく任意である。ただし、ライン間での暗電流の蓄積量の差による影響を低減するために、選択したライン番号の平均値が、（画像の全ライン数）／２＋０．５となることが好ましい。

次に、本実施形態における固定パターンノイズ補正の対象が白点キズである場合、及びダークシェーディングである場合の例について、それぞれ説明する。

・固定パターンノイズ補正の対象が白点キズである場合
図１０は、白点キズにおけるグレードの概念を示した図である。白点キズは、キズの程度に応じて、グレードと呼ばれる単位で分けられている。程度の最も悪い白点キズをグレード０に設定し、程度が良くなるにつれてグレードの値を大きくする。しかし、画像補正には弊害が存在するため、できる限り行わないことが望ましい。そこで、各グレード単位で補正要否の判別を行うことによって、必要以上の白点キズ補正を減らし、画像補正による弊害を減少させることができる。なお、各々の白点キズのグレード情報や位置情報は、あらかじめ調整された情報を保有しているものとする。

図１１は、第１の実施形態における画像処理回路２０での白点キズの補正処理の例を示すフローチャートである。ステップＳ２１にて、あらかじめ設定されている情報に基づいて、使用するフィールド（ライン）が選択され、点キズ補正に用いる画像が生成される。ステップＳ２２にて、各グレード毎に白点キズとされる画素とその周辺領域の画素との信号値の差分平均が算出される。また、ステップＳ２３にて、同じグレード内の白点キズの標準偏差が算出される。

続いて、ステップＳ２４にて、各グレード毎に白点キズの補正要否が判別される。この補正要否の判別では、ステップＳ２２において算出された差分平均を用いて、周辺画素と信号値の差分が大きく異なっていないかが判断されるともに、ステップＳ２３において算出された標準偏差を用いて、白点キズのバラつき具合が判断される。このように白点キズと周辺領域の信号値の差分だけではなく、同じグレード内の白点キズの標準偏差を加味することによって、大きな信号値が発生した一部の画素からの影響も考慮している。

ステップＳ２４での判別の結果、白点キズの補正が必要であると判別された場合には、ステップＳ２５にて、そのグレードの白点キズについて補正処理を施す。一方、白点キズの補正が不要であると判別された場合には、そのグレードの白点キズについて補正の処理を行わずに終了する。なお、補正が必要であると判断されたグレードの白点キズの補正は、例えば図１２に示すように補正対象となる画素４０１の上下左右に配置されている同色４画素４０２、４０３、４０４、４０５の状態を考慮して行われる。

・固定パターンノイズ補正の対象がダークシェーディングである場合
図１３は、複数のブロックに分割した黒画像を示した図である。ダークシェーディングの補正要否を判別する際には、判別に用いる黒画像を任意の分割数で区切り、黒画像をブロック単位で構成して処理を実行する。図１３には、補正要否の判別に用いる黒画像を、Ｍ×Ｎ個のブロック領域に分割した例を示している。

図１４は、第１の実施形態における画像処理回路２０でのダークシェーディング補正処理の例を示すフローチャートである。ステップＳ３１にて、あらかじめ設定されている情報に基づいて、使用するフィールド（ライン）が選択され、ダークシェーディング補正に用いる黒画像が生成される。次に、ステップＳ３２にて、ステップＳ３１において生成された黒画像をＭ×Ｎ個のブロック領域に分割する。

次に、ステップＳ３３にて、ブロック毎に画素信号値の平均値を算出する。そして、Ｓ３４にて、ステップＳ３３において算出したＭ×Ｎ個の各ブロックについての平均値のなかから最大値と最小値を抽出する。次に、ステップＳ３５にて、ステップＳ３４において抽出した最大値と最小値に基づいて、ダークシェーディングの補正要否を判別する。
抽出した最大値と最小値の差分が閾値以上である場合には、ダークシェーディングの補正が必要であると判断し、ステップＳ３６にて、ダークシェーディングの補正処理を行う。一方、抽出した最大値と最小値の差分が閾値より小さい場合には、ダークシェーディングの補正が不要であると判断し、補正処理を行わずに終了する。

図１５は、ダークシェーディングの補正方法を示す図である。図１４に示したステップＳ３５において、ダークシェーディングの補正が必要であると判断された場合、図１５に示すようにして補正処理が行われる。すなわち、演算部５０１に補正対象の本画像５０２が入力される。また、演算部５０１には、補正の必要性を判別するために選択したフィールド（ライン）から生成された画像５０３が、ローパスフィルタ（ＬＰＦ）５０４を通した後に、本画像５０２と同じサイズになるように変倍されて入力される。そして、演算部５０１が、本画像５０２から変倍された画像５０３を差し引くことによって、本画像に発生していたダークシェーディングが補正され、補正された画像５０５が得られる。

第１の実施形態によれば、撮像素子を遮光状態としたままで撮影された黒画像から、暗電流の平均蓄積量が同程度になるように使用するフィールド（ライン）を選択して、固定パターンノイズ補正の必要性を判別するために用いる間引かれた黒画像を生成する。したがって、補正要否を判別するために用いる黒画像のデータ量が削減でき、黒画像を保持するためのメモリ領域を削減することができる。また、暗電流の平均蓄積量が同程度になるように使用する領域を選択して間引かれた黒画像を生成することで、補正要否の判別精度の低下を抑制することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態に係る画像処理装置については、以下に説明する点が前述した第１の実施形態と相違し、それ他の点は前述した第１の実施形態と同様である。

図１６は、第２の実施形態における画像処理回路２０の構成例を示すブロック図である。図１６において、図２に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。なお、図１６においても、画像処理回路２０が有する固定パターンノイズ補正及びその要否判別に係る構成だけを図示しているが、画像処理回路２０は、色変換処理や所定の演算処理等の他の各種画像処理を行う構成も有している。

第２の実施形態における画像処理回路は、記憶部３０１、遮光画像（間引き画像）生成部３０４、補正要否判断部３０５、補正処理部３０６、及び出力部３０７に加え、キズ情報保持部３０８を有する。キズ情報保持部３０８は、工場等で予め検出された撮像素子１４が有する点キズに係るキズ情報を保持する。キズ情報保持部３０８に保持されるキズ情報には、例えば、点キズ毎に、付された番号、位置情報、キズの程度を示すグレード情報、次のキズまでの距離、及びキズが属しているフィールド番号（ライン番号）等を含む。

第２の実施形態では、遮光画像（間引き画像）生成部３０４が、撮影された黒画像（遮光画像）から間引き黒画像を生成する際、キズ情報保持部３０８に保持されているキズ情報を参照し、点キズを多く含む領域を優先的に選択して間引き黒画像を生成する。このように、撮像素子を遮光状態としたままで撮影された黒画像から、点キズを多く含む領域を優先的に選択して間引かれた黒画像を生成することで、黒画像を保持するためのメモリ領域を削減できるとともに、補正要否の判別精度の低下を抑えることができる。

例えば、インターレースで構成されている画像を間引く際には、予め調整して得られキズ情報保持部３０８に保持されているキズ情報を用いて、点キズを最も多く含んでいるフィールドを優先的に選択する。また、例えばプログレッシブで構成されている画像を間引く際には、予め調整して得られキズ情報保持部３０８に保持されているキズ情報を用いて、点キズを最も多く含んでいるラインを優先的に選択する。

図３に示した撮影動作では、ステップＳ１３において生成される画像は、キズ情報保持部３０８に保持されているキズ情報を利用することによって、点キズを多く含むフィールド（ライン）を優先的に選択して生成した画像とする。

また、図１１に示した白点キズの補正処理では、ステップＳ２１において、キズ情報保持部３０８に保持されているキズ情報の位置情報を用いて、点キズを多く保有しているフィールド（ライン）が優先的に選択され、点キズ補正に用いる画像が生成される。また、図１４に示したダークシェーディング補正処理では、ステップＳ３１において、キズ情報保持部３０８に保持されているキズ情報の位置情報を用いて、点キズを多く保有しているフィールド（ライン）を優先的に選択し、補正に用いる画像を生成する。これらは、画像に含まれる点キズの数を利用できる最大数に保つことによって、補正要否の判別精度をできるだけ高い状態に保つためである。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

例えば、第１及び第２の実施形態に係る画像処理装置は、図１７に示すようなコンピュータ機能７００を有し、そのＣＰＵ７０１により第１及び第２の実施形態での動作が実施される。
コンピュータ機能７００は、図１７に示すように、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３とを備える。また、操作部（ＣＯＮＳ）７０９のコントローラ（ＣＯＮＳＣ）７０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）７１０のディスプレイコントローラ（ＤＩＳＰＣ）７０６とを備える。さらに、ハードディスク（ＨＤ）７１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）７１２のコントローラ（ＤＣＯＮＴ）７０７と、ネットワークインタフェースカード（ＮＩＣ）７０８とを備える。それら機能部７０１、７０２、７０３、７０５、７０６、７０７、７０８は、システムバス７０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ７０１は、ＲＯＭ７０２又はＨＤ７１１に記憶されたソフトウェア、又はＳＴＤ７１２より供給されるソフトウェアを実行することで、システムバス７０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ７０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ７０２、ＨＤ７１１、又はＳＴＤ７１２から読み出して実行することで、第１及び第２の実施形態での動作を実現するための制御を行う。ＲＡＭ７０３は、ＣＰＵ７０１の主メモリ又はワークエリア等として機能する。
ＣＯＮＳＣ７０５は、ＣＯＮＳ７０９からの指示入力を制御する。ＤＩＳＰＣ７０６は、ＤＩＳＰ７１０の表示を制御する。ＤＣＯＮＴ７０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び第１及び第２の実施形態における前記処理プログラム等を記憶するＨＤ７１１及びＳＴＤ７１２とのアクセスを制御する。ＮＩＣ７０８はネットワーク７１３上の他の装置と双方向にデータをやりとりする。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１４：撮像素子 ２０：画像処理回路 ５０：システム制御回路 ３０１：記憶部 ３０２：撮影画像記憶部 ３０３：遮光画像（間引き画像）記憶部 ３０４：遮光画像（間引き画像）生成部 ３０５：補正要否判断部 ３０６：補正処理部 ３０７：出力部 ３０８：キズ情報保持部

Claims (7)

1. 光電変換素子を含む複数の画素が行列状に配置されている撮像素子を露光させて撮影した第１の画像が記憶される第１の記憶手段と、
   前記撮像素子を遮光状態としたままで撮影した第２の画像から使用する領域を選択して第３の画像を生成する画像生成手段と、
   前記画像生成手段により生成された第３の画像が記憶される第２の記憶手段と、
   前記第２の記憶手段に記憶されている第３の画像を用いて、前記第１の画像に対する固定パターンノイズ補正の要否を判断する判断手段と、
   前記判断手段により前記第１の画像に対する固定パターンノイズ補正が必要であると判断された場合に、前記第１の記憶手段に記憶された第１の画像に補正処理を施す補正処理手段とを有し、
   前記画像生成手段は、前記第３の画像における暗電流の平均蓄積量が前記第２の画像における暗電流の平均蓄積量と同じになるように領域を選択することを特徴とする画像処理装置。
2. 前記撮像素子が有するキズに係るキズ情報を保持する情報保持手段を有し、
   前記画像生成手段は、前記情報保持手段が保持しているキズ情報を参照し、キズを多く含む領域を優先して選択し前記第２の画像から前記第３の画像を生成することを特徴とする請求項１記載の画像処理装置。
3. 光電変換素子を含む複数の画素が行列状に配置されている撮像素子を露光させて撮影した第１の画像が記憶される第１の記憶手段と、
   前記撮像素子を遮光状態としたままで撮影した第２の画像から使用する領域を選択して第３の画像を生成する画像生成手段と、
   前記画像生成手段により生成された第３の画像が記憶される第２の記憶手段と、
   前記第２の記憶手段に記憶されている第３の画像を用いて、前記第１の画像に対する固定パターンノイズ補正の要否を判断する判断手段と、
   前記判断手段により前記第１の画像に対する固定パターンノイズ補正が必要であると判断された場合に、前記第１の記憶手段に記憶された第１の画像に補正処理を施す補正処理手段と、
   前記撮像素子が有するキズに係るキズ情報を保持する情報保持手段とを有し、
   前記画像生成手段は、前記情報保持手段が保持しているキズ情報を参照し、キズを多く含む領域を優先して選択し前記第２の画像から前記第３の画像を生成することを特徴とする画像処理装置。
4. 前記画像生成手段は、前記第２の画像から使用する領域として選択したライン番号の平均値が、（前記第２の画像の全ライン数）／２＋０．５となるように領域を選択し前記第３の画像を生成することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記固定パターンノイズ補正の対象が白点キズ又はダークシェーディングであることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 光電変換素子を含む複数の画素が行列状に配置されている撮像素子を露光させて撮影した第１の画像を第１の記憶手段に記憶する第１の記憶工程と、
   前記撮像素子を遮光状態としたままで撮影した第２の画像から使用する領域を選択して第３の画像を生成する画像生成工程と、
   前記画像生成工程にて生成された第３の画像を第２の記憶手段に記憶する第２の記憶工程と、
   前記第２の記憶手段に記憶されている第３の画像を用いて、前記第１の画像に対する固定パターンノイズ補正の要否を判断する判断工程と、
   前記判断工程にて前記第１の画像に対する固定パターンノイズ補正が必要であると判断された場合に、前記第１の記憶手段に記憶された第１の画像に補正処理を施す補正処理工程とを有し、
   前記画像生成工程では、前記第３の画像における暗電流の平均蓄積量が前記第２の画像における暗電流の平均蓄積量と同じになるように領域を選択することを特徴とする画像処理方法。
7. 光電変換素子を含む複数の画素が行列状に配置されている撮像素子を露光させて撮影した第１の画像を第１の記憶手段に記憶する第１の記憶ステップと、
   前記撮像素子を遮光状態としたままで撮影した第２の画像と第３の画像における暗電流の平均蓄積量とが同じになるように、前記第２の画像から使用する領域を選択して前記第３の画像を生成する画像生成ステップと、
   前記画像生成ステップにて生成された第３の画像を第２の記憶手段に記憶する第２の記憶ステップと、
   前記第２の記憶手段に記憶されている第３の画像を用いて、前記第１の画像に対する固定パターンノイズ補正の要否を判断する判断ステップと、
   前記判断ステップにて前記第１の画像に対する固定パターンノイズ補正が必要であると判断された場合に、前記第１の記憶手段に記憶された第１の画像に補正処理を施す補正処理ステップとをコンピュータに実行させるためのプログラム。

Images