JP2004222143A - 撮像装置およびプログラム - Google Patents

Abstract

【課題】欠陥画素を撮影状況に応じてより適切に補正することが可能な撮像装置およびプログラムを提供する。
【解決手段】撮像装置１の欠陥検出レベル設定部５３は、撮影モード、シャッタスピード、感度、被写体輝度などの撮影条件に応じて欠陥検出レベルを設定する。そして、検出部５１は、ＣＣＤなどの撮像素子を用いて取得される撮影画像において、所定の画素の画素値と当該所定の画素の周辺画素の画素値とを用いて算出される指標値を、変更された欠陥検出レベルと比較することによって、当該所定の画素が欠陥画素であるか否かを判定し、撮像画像における欠陥画素を検出する。補正部５２は、検出された欠陥画素の画素値を補正する。また、同様の処理をプログラムにより実現するようにしてもよい。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラなどの撮像装置、および撮像装置で撮影された画像データを処理するプログラムに関する。
【０００２】
【従来の技術】
デジタルカメラなどの撮像装置は、ＣＣＤなどの撮像素子を用いて画像を撮影する。
【０００３】
理想的には撮像素子においては全ての画素が正常に動作することが好ましいが、実際の撮像素子においては欠陥画素が存在することがある。なお、「欠陥画素」には、撮像素子が製造された当初から存在するもの（先天性の欠陥画素とも称する）や、撮像素子の製造後使用している間に発生するもの（後天性の欠陥画素とも称する）が存在する。
【０００４】
欠陥画素を補正する技術としては、予め製造時に欠陥画素を検出しておき、その欠陥画素のアドレスをメモリに記憶しておく手法が一般的である。
【０００５】
しかし、この手法では、先天性の欠陥画素を補正することは可能であるが、後天性の欠陥画素を補正することはできない。
【０００６】
そこで、後天性の欠陥画素にも対応可能な技術として、たとえば特許文献１に記載される技術が存在する。
【０００７】
この技術は、撮像画像における所定の画素とその周辺画素との画素値の差が所定の欠陥検出閾値（欠陥検出レベル）よりも大きいときに、欠陥画素であると判定し、その欠陥画素を補正するものである。
【０００８】
なお、この技術においては、欠陥検出閾値を適切な値に設定することが重要である。欠陥検出閾値を適正レベルよりも緩い基準の値（大きな値）に設定すると欠陥画素を見逃してしまうこととなり、逆に欠陥検出閾値を適正レベルよりも厳しい基準の値（小さな値）に設定すると過剰に補正処理を施すことにより画質が劣化してしまうからである。
【０００９】
欠陥検出閾値を適切に設定してこの技術を用いれば、先天性の欠陥画素だけでなく後天性の欠陥画素をも補正することが可能である。
【００１０】
【特許文献１】
特開２００２−２２３３９１号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の従来技術においては、欠陥検出閾値が固定されているため、様々な撮影状況に対応することができないという問題がある。
【００１２】
たとえば、昼間撮影時の撮影画像について画質の劣化を抑制しつつその撮影画像における欠陥画素を的確に補正するような欠陥検出閾値を設定して、夜間撮影時（より詳細には夜景撮影時、天体撮影など）の撮影画像に対して欠陥画素補正を行う場合を想定する。この場合、夜間撮影時の黒い撮影画像の中に欠陥画素としての白い点が見えると、その欠陥画素が目立ちやすいため、画像の鑑賞者によって多数の欠陥画素が知覚されてしまうという事態が発生する。すなわち、補正処理が不十分であると知覚されるのである。
【００１３】
また、逆に、このような事態を解消するために欠陥検出閾値を厳しく設定すると、昼間撮影時の撮影画像については、過剰に補正が施されることによってその画質が劣化してしまうのである。
【００１４】
そこで、本発明は前記問題点に鑑み、欠陥画素を撮影状況に応じてより適切に補正することが可能な撮像装置およびプログラムを提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するため、請求項１の発明は、撮像装置であって、光電変換により被写体像を画像信号に変換する撮像素子と、前記撮像素子を用いて取得される撮影画像において、所定の画素の画素値と当該所定の画素の周辺画素の画素値とを用いて算出される指標値を欠陥検出レベルと比較することによって、当該所定の画素が欠陥画素であるか否かを判定し、前記撮像画像における欠陥画素を検出する検出手段と、前記欠陥画素の画素値を補正する補正手段と、撮影条件に応じて前記欠陥検出レベルを設定するレベル設定手段と、を備えることを特徴とする。
【００１６】
請求項２の発明は、請求項１の発明に係る撮像装置において、前記撮影条件は、撮影モード、シャッタスピード、感度のうちの少なくとも１つ設定情報を含むことを特徴とする。
【００１７】
請求項３の発明は、請求項１の発明に係る撮像装置において、前記撮影条件は、被写体輝度を含むことを特徴とする。
【００１８】
請求項４の発明は、請求項１の発明に係る撮像装置において、前記検出手段は、前記所定の画素の画素値と当該所定の画素の周辺画素の画素値との差を用いて算出される指標値が欠陥検出レベルよりも大きいときに当該所定の画素が欠陥画素であると判定し、前記レベル設定手段は、前記撮影条件の撮影モードが夜景モードであるという条件を満たす場合、あるいは、前記撮影条件の被写体輝度が所定の閾値よりも小さいという条件を満たす場合の前記欠陥検出レベルの値を、当該各条件を満たさない所定の場合の前記欠陥検出レベルの値よりも小さな値に設定することを特徴とする。
【００１９】
請求項５の発明は、コンピュータに、画像データの撮影時における撮影条件に応じて、欠陥検出レベルを設定する手順と、前記画像データにおいて、所定の画素の画素値と当該所定の画素の周辺画素の画素値とを用いて算出される指標値を欠陥検出レベルと比較することによって、当該所定の画素が欠陥画素であるか否かを判定し、前記画像データにおける欠陥画素を検出する手順と、前記欠陥画素の画素値を補正する手順と、を実行させるためのプログラムであることを特徴とする。
【００２０】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００２１】
＜Ａ．第１実施形態＞
＜構成概要＞
図１は、本発明の第１実施形態に係る撮像装置（デジタルカメラ）１の内部構成を示すブロック図である。図１に示すように、撮像装置１は、レンズ部１０、絞り１１、撮像素子２０、増幅部３０、Ａ／Ｄ変換部４０、欠陥画素補正部５０、画像処理部６０、画像メモリ７０、表示部８０、画像記録処理部９０、記録メディア（記録媒体）９５、全体制御部１００、ＡＥ制御部１１０、および操作部２００を備える。
【００２２】
レンズ部１０は、被写体に係る光学像を撮影素子（ここではＣＣＤ）２０上に結像させるものである。
【００２３】
絞り１１は、レンズ部１０によって結像される光学像の光路を遮ることで、ＣＣＤ２０への露光量を調整するものである。具体的には、絞り１１は、被写体が明るく光量が過大な場合は絞り込まれ、被写体が暗く光量が過小な場合は開放されるように制御される。つまり、被写体が明るい場合は光路の遮断量を増加させ（絞り値の増大）、被写体が暗い場合は光路の遮断量を減少させる（絞り値の減少）。
【００２４】
撮像素子（ＣＣＤ）２０は、レンズ部１０によってＣＣＤ２０の撮像面上に結像された光学像（被写体像）を電気信号（画像信号）に光電変換するものである。
【００２５】
ＣＣＤ２０は多数の画素が格子状に配列されており、カラーＣＣＤの場合は各画素毎にカラーフィルターが配置されている。図２は、ＣＣＤ２０の画素配列２１と画素信号出力を説明するための図であり、方向関係を明確にするために直交する垂直方向の軸（Ｖ軸）および水平方向の軸（Ｈ軸）を付している。図２では縦１６個×横１６個の画素にＲＧＢの原色フィルターが配列される所謂ベイヤー配列と称される画素配列２１を例示している。なお、以下では、Ｒ（Ｒｅｄ）のフィルターが付された画素をＲ画素とも称し、Ｇ（Ｇｒｅｅｎ）のフィルターが付された画素をＧ画素とも称し、Ｂ（Ｂｌｕｅ）のフィルターが付された画素をＢ画素とも称することとする。
【００２６】
図２では、図示の都合上、縦１６個×横１６個で合計２５６個の画素配列を例示しているが、ＣＣＤ２０は通常はこれよりも多数の画素で構成される。ＣＣＤ２０としては、例えば数十万ないし数百万画素程度の画素数を有するものが採用される。このように多数の画素を有するＣＣＤでは、各画素を完全に均一化することは極めて困難であり、欠陥画素がある程度内在することになる。
【００２７】
また、ＣＣＤ２０は、各画素において入射された光量に応じて蓄積された電荷量に比例した電気信号を順次出力し、増幅部３０に転送する。具体的には、図２に示すように、最も−Ｖ方向に位置する水平方向の画素列Ｌ１について＋Ｈから−Ｈ方向に向けて信号列ＨＬ１を出力し、続いて一段上側に位置する水平方向の画素列Ｌ２について＋Ｈから−Ｈ方向に向けて信号列ＨＬ２を出力する。そして、全画素について水平方向の画素列を順次出力することによって電気信号の出力が完了する。
【００２８】
また、被写体に係る光学像がＣＣＤ２０上に結像される時間（すなわち露光時間）は、全体制御部１００によって制御される。この露光時間は、「シャッタスピード」という値で表現され、露光時間が短いこととシャッタスピードが小さい（ないし速い）こととは同義であり、露光時間が長いこととシャッタスピードが大きい（ないし遅い）こととは同義である。
【００２９】
増幅部３０は、ＣＣＤ２０から出力された電気信号（画像信号）を全体制御部１００によって設定される増幅率に従って増幅するものである。この増幅率（ゲイン）は、予め設定された固定値を用いても良く、あるいは、被写体の明るさに応じて画像信号を最適なレベルに調整するように変更されてもよい。このゲインを調整することによって、感度（光を感じる度合い）を調整することが可能である。「感度」は、デジタルカメラにおいては、フィルムのＩＳＯ感度に換算した値（ＩＳＯ感度相当値）で表現される。
【００３０】
Ａ／Ｄ変換部４０は、ＣＣＤ２０から出力され増幅部３０で増幅されたアナログの画像信号を各画素毎にデジタル画像データに変換するものである。アナログの画像信号をデジタル画像データ化することにより、種々の画像処理を精度良く実現することが可能となる。
【００３１】
欠陥画素補正部５０は、ＣＣＤ２０の欠陥画素を検出し、検出された欠陥画素に対応する画素値をその周辺の画素に対応する画素値に基づいて補正するものである。ＣＣＤ２０の画素の中には、他の正常な画素と比較して顕著に画素値が相違する画素（欠陥画素）が存在し、均一な画像中において点状の固定ノイズを発生させ画質の低下を招く。そこで、欠陥画素補正部５０において、欠陥画素に対応する画素値を補正し、画質の向上を図る。欠陥画素補正部５０によって欠陥画素に対応する画素値が補正された画像データは画像処理部６０に転送される。
【００３２】
画像処理部６０は、欠陥画素補正部５０から入力された画像データに対してγ変換や色補間等の画像処理を施すものである。画像処理部６０によって画像処理が施された画像データは、画像メモリ７０に転送される。
【００３３】
画像メモリ７０は、画像処理部６０で処理された画像データを一時的に記憶するものである。画像メモリ７０に一時的に記憶された画像データは、表示部８０および画像記録処理部９０に出力される。
【００３４】
表示部８０は、ＬＣＤ等を備えて構成され、画像メモリ７０に記憶されている画像データに基づいた画像等を表示するものである。
【００３５】
画像記録処理部９０は、撮影時において、画像メモリ７０に記憶される画像データを画像ファイル形式に変換して記録メディア９５に記録するものである。なお、画像記録処理部９０では、画像ファイル形式に合わせて、タグ情報やサムネイル画像の生成・付加、および画像データの圧縮処理を行う。
【００３６】
記録メディア９５は、画像記録処理部９０で生成された画像ファイルを記憶するものである。記録メディア９５は、例えば、メモリカード等のように撮像装置１に対して着脱可能に構成される。また、アダプタ等を介してパーソナルコンピュータに画像ファイルをコピーすることができるものを採用してもよい。
【００３７】
操作部２００は、図示を省略するが、撮影モード切替スイッチ、レリーズボタン、および十字キー等の各種スイッチやボタン等を備えて構成される。例えば、撮影モード切替スイッチは、ユーザー（操作者）の操作に基づいて、「夜景モード」、「ポートレートモード」、「スポーツモード」等、被写体や撮影環境等に適合した撮影モードを切替設定することができるものである。操作部２００では、ユーザーの操作に基づく電気信号が全体制御部１００に送信され、全体制御部１００の制御の下で、各種撮影モードの設定や撮影動作等が実行される。各撮影モードにおいては、撮影時における、絞り値、シャッタスピード、ＩＳＯ感度（単に感度、あるいはゲインとも称する）が適宜に設定される。
【００３８】
全体制御部１００は、撮像装置１の各部の動作を統括制御するものであり、主に、ＣＰＵ、ＲＯＭ（ＥＥＰＲＯＭ）、ＲＡＭ等を備えて構成される。全体制御部１００では、ＲＯＭ内に格納されるプログラムがＣＰＵに読み込まれることによって各種機能を具体的に実行する。
【００３９】
また、ＡＥ（自動露光）制御部１１０は、撮影時における露光レベルを調整する機能を有している。ＡＥ制御部１１０は、撮影直前において画像メモリ７０に記憶される画像データを読み取り、露光レベルが最適となるように、絞り値、シャッタスピード、および感度の各撮影パラメータを制御する。具体的には、画像メモリ７０に記憶される画像データが最適な輝度に達していない場合（被写体の輝度が低い場合）は、絞り値を減少させ、シャッタスピードを延長させ、感度を上昇させる方向に制御する。逆に、最適な輝度を超えている場合（被写体の輝度が高い場合）は、絞り値を増大させ、シャッタスピードを減少させ、感度を減少させる方向に設定する。絞り値、シャッタスピード、および感度の３つのパラメータをどのように制御するかについては、ＲＯＭ内に格納されるプログラムによって設定される。
【００４０】
また、全体制御部１００は、被写体輝度、シャッタスピード、感度、および撮影モード等の撮影時の条件（「撮影条件」とも称する）に基づいて、欠陥画素補正部５０における補正方法およびパラメータの設定を変更するように制御する。なお、各種の撮影条件を示すパラメータ値は、全体制御部１００のＲＡＭ内に少なくとも一時的に格納される。
【００４１】
＜欠陥画素補正＞
図３は、欠陥画素補正部５０の詳細構成を示す図である。図３に示すように、欠陥画素補正部５０は、検出部５１、補正部（ないし更新部）５２、および欠陥検出レベル設定部５３を備えている。
【００４２】
検出部５１は、ＣＣＤ２０を用いて取得される撮影画像の中から欠陥画素を検出する機能を有している。検出部５１は、具体的には、注目画素とその周辺画素とを比較することによってその注目画素が欠陥画素であるか否かを判定する。より詳細には、検出部５１は、注目画素の画素値とその注目画素の周辺画素の画素値との差を用いて算出される指標値Ｖが欠陥検出レベル（欠陥検出用の基準レベル）δよりも大きいときにその注目画素が欠陥画素であると判定する。
【００４３】
図４〜図６は、検出原理を説明する図である。
【００４４】
図４は、図２の画素配列のうち注目画素近傍の数画素を示している。ここでは、水平方向の２つの隣接画素を用いてその注目画素が欠陥画素であるか否かを判定する場合について説明する。なお、これに限定されず、垂直方向の２つの隣接画素を用いても良く、あるいは、水平方向および垂直方向の４つの隣接画素を用いても良く、さらには、注目画素を取り囲む８つの隣接画素を用いても良い。
【００４５】
また、ここでは注目画素がＧ画素である場合について説明するが、他の色成分の画素（Ｂ画素、Ｒ画素）についても同様である。
【００４６】
さて、注目画素の画素値が値Ｇｎであり、同じ色成分の隣接画素の画素値がＧｎ−１，Ｇｎ＋１であるとすると、指標値Ｖは次の数１で算出される。
【００４７】
【数１】

【００４８】
数１に示すように、指標値Ｖは、注目画素の画素値Ｇｎとその隣接２画素の画素値の平均値（（Ｇｎ−１＋Ｇｎ＋１）／２）との差（より正確にはその絶対値）である。また、指標値Ｖは、注目画素の画素値Ｇｎと各隣接画素の画素値Ｇｎ−１，Ｇｎ＋１との差の平均値（より正確にはその絶対値）であるとも表現できる。
【００４９】
また、図５は、注目画素が欠陥であるときの各画素値Ｇｎ，Ｇｎ−１，Ｇｎ＋１の関係の一例を示す図であり、図６は、注目画素が欠陥でないときの各画素値Ｇｎ，Ｇｎ−１，Ｇｎ＋１の関係の一例を示す図である。
【００５０】
そして、指標値Ｖが欠陥検出レベルδよりも大きいとき（図５参照）には欠陥であると判定し、指標値Ｖが欠陥検出レベルδよりも小さいとき（図６参照）には欠陥ではないと判定する。指標値Ｖが欠陥検出レベルδと等しいときは、いずれであると判定しても良いが、ここでは、欠陥でないと判定するものとする。
【００５１】
また、補正部５２は、欠陥画素（より詳細には欠陥画素の画素値）を補正して画素値を更新する処理を行う機能を有している。
【００５２】
具体的には、補正部５２は、指標値Ｖと欠陥検出レベルδとに基づく検出部５１による検出結果に応じて、注目画素の画素値の変換処理（更新処理）を行う。
【００５３】
数２は、変換処理を示すものである。
【００５４】
【数２】

【００５５】
この数２に示すように、指標値Ｖが欠陥検出レベルδよりも大きい（Ｖ＞δ）ときには、注目画素が欠陥画素であると判定されるので、この欠陥画素の画素値Ｇｎを隣接２画素の平均値（（Ｇｎ−１＋Ｇｎ＋１）／２）で置き換える。これにより、欠陥画素の画素値が補正されて更新される。一方、指標値Ｖが欠陥検出レベルδ以下（Ｖ≦δ）のときには、注目画素が欠陥画素ではないと判定されるので、この画素の画素値Ｇｎをそのまま維持する。
【００５６】
以上のようにして、欠陥画素の検出処理と検出された欠陥画素の補正処理とが行われる。
【００５７】
また、欠陥検出レベル設定部５３は、上記の欠陥画素検出等に用いられる欠陥検出レベルδを撮影条件に応じて設定する（変更する）機能を有している。具体的には、欠陥検出レベル設定部５３は、撮影毎に欠陥検出レベルδを撮影条件に応じて決定し、検出部５１における欠陥検出レベルδの設定を変更する。
【００５８】
ここでは、欠陥検出レベル設定部５３が、「撮影モード」の設定情報（設定パラメータ）に応じて欠陥検出レベルδを変更する場合を例示する。具体的には、撮影モードが夜景モードに設定されている場合には欠陥検出レベルδとして値δＮが設定され、撮影モードが夜景モード以外に設定されている場合には欠陥検出レベルδとして値δＴが設定されるものとする。
【００５９】
たとえば、値δＴとしては、昼間撮影時の撮影画像について画質の劣化を抑制しつつその撮影画像における欠陥画素を的確に補正するような値δＴ１（＞δＮ）を設定すればよい。また、値δＮは、その昼間撮影時用の値δＴ１よりも厳しいレベルの値（比較的小さな値）として設定される。
【００６０】
そして、撮影モードが夜間モードに設定されている場合において、比較的厳しいレベルの値δＮを用いることによれば、値δＴ１を用いるときよりも多くの欠陥画素を検出することができる。すなわち、欠陥画素を見逃す確率をより低減して欠陥画素をより確実に検出することができる。したがって、人間の視覚特性等に起因して欠陥画素が目立ちやすい夜間撮影時（より詳細には夜景撮影時など）においても、より適切に画像を補正することが可能になる。
【００６１】
一方、撮影モードが夜間モード以外に設定されている場合においては、比較的緩いレベルの値（比較的大きな値）δＴ１を用いて欠陥判定および欠陥補正を行うことによって、画像の劣化を抑制した適切な画像補正を施すことが可能になる。
【００６２】
＜動作＞
つぎに、この撮像装置における撮影動作について説明する。
【００６３】
図７および図８は、この撮像装置における撮影動作の概要を示すフローチャートである。図７は全体の流れを示す図であり、図８は一部の流れ（詳細にはレベル設定動作の流れ）を示す図である。
【００６４】
まず、ステップＳＰ１０（図７）において、欠陥検出レベルが設定される。
【００６５】
具体的には、図８のステップＳＰ１１において、撮影モードが夜景モードであるか否かが判定される。具体的には、操作者によって撮影モードが夜景モードに設定されているか否かは、撮影モードを示す設定情報（内部データ）に基づいて判定される。この設定情報は、撮影モード切替スイッチの位置などに応じて決定され、記憶部（たとえば全体制御部１００のＲＡＭなど）に記憶されている。
【００６６】
そして、撮影モードが夜景モードであると判定されるとステップＳＰ１３に進む。ステップＳＰ１３では、欠陥検出レベル設定部５３が、欠陥検出レベルδとして値δＮを決定する。その後、ステップＳＰ１４に進み、欠陥検出レベル設定部５３によって、検出部５１における欠陥検出レベルδが値δＮに設定される。
【００６７】
一方、撮影モードが夜景モードではないと判定されるとステップＳＰ１２に進む。ステップＳＰ１２では、欠陥検出レベル設定部５３が、欠陥検出レベルδとして値δＴを決定する。その後、ステップＳＰ１４に進み、欠陥検出レベル設定部５３によって、検出部５１における欠陥検出レベルδが値δＴに設定される。
【００６８】
ここで、値δＴは、上述したような値（たとえば、δＴ１）として定められるが、これに限定されない。値δＴについては後に詳述する。
【００６９】
次に、ステップＳＰ２１において、ＣＣＤ２０から読み出された画像信号に対して、増幅部３０およびＡ／Ｄ変換部４０における各理が施されて画像データが生成される。
【００７０】
その後、ステップＳＰ２２において、検出部５１および補正部５２を用いて、当該画像データの各画素に対して欠陥検出処理および欠陥補正処理が施される。欠陥検出処理および欠陥補正処理は、上述したように、欠陥検出レベル設定部５３によって変更された欠陥検出レベルδ、および数２などに基づいて行われる。
【００７１】
そして、ステップＳＰ２３において、画像処理部６０によって、γ変換および色補間等のその他の画像処理が施される。画像処理後の画像データは、画像記録処理部９０によって、ＥＸＩＦ等の画像ファイル形式に変換して記録メディア９５に記録される。なお、このとき、記録対象の画像ファイルのタグ情報ＴＧ（図１１参照）に、その画像データが欠陥画素補正処理済みのものであることを示すフラグ情報を追加することが好ましい。このフラグ情報の利用方法については次の第２実施形態において説明する。
【００７２】
このようにして、設定された欠陥検出レベルδに基づいて、上記の欠陥画素の検出および補正動作が行われる。
【００７３】
以上のように、この第１実施形態の撮像装置１によれば、撮影条件（ここでは撮影モードに関する設定情報）に応じて欠陥検出レベルを変更し、その欠陥検出レベルに応じて各画素が欠陥画素であるか否かが判定されるので、欠陥画素の画素値を撮影状況に応じてより適切に補正することが可能である。
【００７４】
特に、撮影モードが夜間モードに設定されている場合には、暗い環境下での撮影であると判定し、比較的厳しいレベルの値δＮを用いて欠陥画素を検出するので、夜間撮影時（より詳細には夜景撮影時など）の撮影画像における欠陥画素をより的確に補正することが可能になる。
【００７５】
＜第１実施形態の変形例＞
また、上記第１実施形態では、夜間モード以外に設定されているときの欠陥検出レベルδの値δＴとして、固定値δＴ１を用いるものとして説明したが、これに限定されない。
【００７６】
具体的には、上記のステップＳＰ１２において、値δＴとして固定値δＴ１を用いるのではなく、シャッタスピードおよび感度などの撮影パラメータに応じて変更した値を値δＴとして決定するようにしてもよい。より詳細には、シャッタスピード、感度などの撮影パラメータと欠陥検出レベルδＴとの関係をあらかじめ参照テーブルの形でＲＯＭ内に記憶しておき、その参照テーブルに基づいて、値δＴを決定するようにすればよい。なお、各撮影パラメータは、自動露光動作により自動で決定、あるいは操作部２００を用いた所定の設定操作によって手動で決定される。また、これらの撮影パラメータも、撮影モードと同様に設定情報の一種であり、そのデータ値は全体制御部１００のＲＡＭなどに一時的に格納される。
【００７７】
たとえば、撮影時のシャッタスピードが所定の閾値ＴＨ１より速い場合には欠陥検出レベルδ（δＴ）として値δＴ１を用い、撮影時のシャッタスピードが所定の閾値ＴＨ１より遅い場合には欠陥検出レベルδ（δＴ）として値δＴ２を用いるようにしてもよい。ここで、δＴ１＞δＴ２（＞δＮ）である。すなわち、シャッタスピードが遅くなるにつれて、より厳しいレベルの値を欠陥検出レベルδとして用いるようにしてもよい。このように、シャッタスピードに応じて段階的に欠陥検出レベルδを設定することによって、より微妙な調整が可能になる。
【００７８】
また、シャッタスピードが比較的遅い値（たとえば１秒以上）に設定される長時間露光（長秒露光）の場合には、暗い被写体を撮影している状況であると判定し、この場合の欠陥検出レベルδの値を値δＮと同程度かあるいは値δＮよりもさらに小さな値に設定するようにしてもよい。具体的には、撮影時のシャッタスピードが所定の閾値ＴＨ２より速い場合には欠陥検出レベルδ（δＴ）として値δＴ１を用い、撮影時のシャッタスピードが所定の閾値ＴＨ２より遅い場合には、値δＮあるいはδＴ３（＜δＮ）を、欠陥検出レベルδ（δＴ）として用いるようにしてもよい。なお、閾値ＴＨ２としては、長秒撮影であるかを否かを判定するため、例えば１秒ないし数秒程度の値を採用すればよい。
【００７９】
同様に、撮影時の感度が所定の閾値ＴＨ３より低い場合には欠陥検出レベルδ（δＴ）として値δＴ１を用い、撮影時の感度（ＩＳＯ感度相当値）が所定の閾値ＴＨ３より高い場合には欠陥検出レベルδ（δＴ）として値δＴ２を用いるようにしてもよい。ここで、δＴ１＞δＴ２（＞δＮ）である。すなわち、感度が高くなるにつれて、より厳しいレベルの値を欠陥検出レベルδとして用いるようにしてもよい。このように、感度に応じて段階的に欠陥検出レベルδを設定することによって、より微妙な調整が可能になる。
【００８０】
また、高感度撮影時には、暗い被写体を撮影している状況であると判定し、この場合の欠陥検出レベルδの値を値δＮと同程度かあるいは値δＮよりもさらに小さな値に設定するようにしてもよい。具体的には、撮影時の感度が所定の閾値ＴＨ４より低い場合には欠陥検出レベルδ（δＴ）として値δＴ１を用い、撮影時の感度が所定の閾値ＴＨ４より高い場合には、値δＮあるいはδＴ３（＜δＮ）を、欠陥検出レベルδ（δＴ）として用いるようにしてもよい。なお、閾値ＴＨ４としては、高感度撮影であるかを否かを判定するため、例えば最低感度の４〜５倍程度の値を採用すればよい。たとえば、ＩＳＯ感度でＩＳＯ４００相当（あるいはＩＳＯ８００相当）の値を閾値ＴＨ３として採用することができる。
【００８１】
このような変形例においても、撮影モードが夜景モードであるという条件を満たす場合には、値δＴ１よりも厳しいレベルの値δＮ（＜δＴ１）を欠陥検出レベルδとして用いることによって、値δＴ１を用いるときよりも多数の欠陥画素を検出することができる。また、同様に、シャッタスピードが閾値ＴＨ２より遅いという条件を満たす場合、あるいは、感度が閾値ＴＨ４より高いという条件を満たす場合についても、δＮ（＜δＴ１）を欠陥検出レベルδとして用いることによって、値δＴ１を用いるときよりも多数の欠陥画素を検出することができる。また、このような各条件を満たさない一定の場合（例えば、撮影モードが夜景モードでなく、且つ、シャッタスピードが閾値ＴＨ２より速く、且つ、感度が閾値ＴＨ４より低いという条件を満たす場合）には、値δＮよりも緩いレベルの値δＴ１（＞δＮ）を欠陥検出レベルδとして用いることによって、画像の劣化を抑制した適切な画像補正を施すことが可能である。
【００８２】
＜Ｂ．第２実施形態＞
上記第１実施形態においては、撮像画像に対して撮像装置内で欠陥画素の検出動作および補正動作を行う場合について説明したが、本発明はこれに限定されない。この第２実施形態においては、撮像装置で撮影された画像データに対して、撮像装置とは別個の画像処理装置を用いて、欠陥画素の検出動作および補正動作を行う場合について説明する。
【００８３】
図９は、画像処理装置３００のハードウエア構成を示すブロック図である。この画像処理装置３００は、たとえばパーソナルコンピュータなどのコンピュータを用いて構成される。
【００８４】
画像処理装置３００は、図５に示すように、ＣＰＵ３０２と、ＲＡＭ（および／またはＲＯＭ）などの半導体メモリにより構成される主記憶部およびハードディスクドライブ（ＨＤＤ）などの補助記憶部を有する記憶部３０３と、メディアドライブ３０４と、ディスプレイなどの表示部３０５と、キーボードおよびマウスなどの入力部３０６と、ネットワークカードなどの通信部３０７とを備えるコンピュータシステム（以下、単に「コンピュータ」とも称する）として構成される。
【００８５】
画像処理装置３００は、通信部３０７を介した無線若しくは有線のデータ通信等によってネットワーク等を介して撮像装置１との間でデータの授受が可能である。具体的には、有線ＬＡＮ、無線ＬＡＮ、ユニバーサルシリアルバス（ＵＳＢ）を用いたデータ通信等によってデータの授受が可能である。
【００８６】
また、メディアドライブ３０４は、ＣＤ−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体３０９からその中に記録されている情報を読み出す。
【００８７】
この画像処理装置３００は、記録媒体３０９に記録されたソフトウエアプログラム（以下、単に「プログラム」とも称する）を読み込み、そのプログラムをＣＰＵ３０２等を用いて実行することによって、下記のような動作を行う画像処理装置として機能する。なお、各機能を有するプログラムは、記録媒体３０９を介して供給（ないし配給）される場合に限定されず、ＬＡＮおよびインターネットなどのネットワークを介して、このコンピュータに対して供給（ないし配給）されてもよい。
【００８８】
また、画像処理装置３００は、記録媒体３０９あるいはネットワークを介して、撮影画像の画像データを受け取ることができる。このようなデータ通信等によって取得された画像データは記憶部３０３等に格納される。
【００８９】
この第２実施形態においては、取得された画像データに対して、画像処理装置３００を用いて画像補正処理（欠陥画素補正処理）を施す場合について説明する。
【００９０】
図１０は、この画像補正処理を示すフローチャートである。
【００９１】
つぎに、この図１０を参照しながら、画像処理装置３００における欠陥画素補正処理について説明する。
【００９２】
まず、ステップＳＰ３１において、画像処理装置３００は、処理対象となる画像データＤ１を取得する。たとえば、プログラムのメニュー画面等を用いて、処理対象となる画像データが、ハードディスクドライブ内に格納された画像データの中から選択されて特定される。画像処理装置３００は、この指定に応じて、特定された画像データＤ１（図１１参照）を記憶部３０３のＲＡＭに読み出す。
【００９３】
図１１は、画像データＤ１のデータ構造の一例を示す図である。画像データＤ１は、各種の形式で記録され得るが、ここではＥＸＩＦ形式の画像ファイルとして構成される場合を想定している。
【００９４】
この画像データＤ１には、タグ情報ＴＧと、ＪＰＥＧ形式で圧縮された高解像度の画像データ（たとえば数百万画素の画像信号）ＤＰと、サムネイル表示用の画像データ（たとえば数千画素の画像信号）ＤＭとが記録されている。
【００９５】
ステップＳＰ３２においては、画像データＤ１の中からタグ情報ＴＧを読み出す。
【００９６】
このタグ情報ＴＧに基づいて、その画像データが欠陥画素補正処理済みのものであるか否かを判定することができる。具体的には、欠陥画素補正済みに関するフラグスイッチがオンであるかオフであるかを記述した情報が含まれている場合には、そのフラグスイッチの値により判定することができる。また、フラグスイッチ情報自体が存在しない場合には、欠陥画像補正が未だ施されていないと判定するようにすればよい。
【００９７】
ステップＳＰ３３においては、このタグ情報ＴＧ（より詳細には、欠陥画素補正済みに関するフラグ情報）に基づいて、画像データＤ１に対する欠陥画素の補正処理が既に施されているか否かを判定する。
【００９８】
そして、欠陥画素補正が既に施されている場合（補正済みフラグ＝オンの場合）には、ステップＳＰ３４〜ＳＰ３６の処理を行わずに、ステップＳＰ３７に進む。すなわち、再度の欠陥画素補正処理が禁止される。
【００９９】
一方、欠陥画素補正が未だ施されていない場合（補正済みフラグ＝オフの場合）には、ステップＳＰ３４に進む。
【０１００】
ステップＳＰ３４では、欠陥検出レベルの設定動作が行われる。具体的には、上述のステップＳＰ１０における動作と同様の動作が行われる。ただし、このステップＳＰ３４の設定動作は、画像データＤ１のタグ情報ＴＧに基づいて行われる。たとえば、このタグ情報ＴＧ内において、画像データＤ１が「夜景モード」で撮影されたものである旨（撮影モード＝「夜景モード」）が記録されている場合には、画像処理装置３００は欠陥検出レベルδを値δＮに設定する。一方、タグ情報ＴＧ内において、画像データＤ１が「夜景モード」以外の撮影モード（たとえば、「スポーツモード」）で撮影されたものである旨が記録されていれば、画像処理装置３００は欠陥検出レベルδを値δＴに設定する。
【０１０１】
なお、上述したように、この値δＴとしては、値δＴ１を用いても良く、あるいは、その他の撮影パラメータ等を考慮して設定した適宜の値（δＴ２，δＮなど）を用いるようにしてもよい。
【０１０２】
その後、ステップＳＰ３５では、当該画像データの各画素に対して欠陥検出処理および欠陥補正処理が施される。欠陥検出処理および欠陥補正処理は、上記の第１実施形態と同様に、欠陥検出レベル設定部５３によって変更された欠陥検出レベルδおよび数２などに基づいて行われる。そして、高解像度の画像データＤＰとサムネイル表示用の画像データＤＭとが補正処理後のデータに更新される。る。
【０１０３】
次のステップＳＰ３６では、画像処理装置３００は、画像データＤ１のタグ情報ＴＧにおいて、タグ情報ＴＧの欠陥画素補正済みフラグがオン（ＯＮ）であることを記録する。
【０１０４】
その後、ステップＳＰ３７で別の画像を補正するか否かが判定される。具体的には、画像処理装置３００は、補正処理を続行するか否かのダイアログを表示部３０５に表示し、操作者からの指示を受け付ける。そして、別の画像を補正すべき旨の指示を受け付けられた場合には、再びステップＳＰ３１に戻り、同様の動作が繰り返される。一方、補正処理を終了すべき旨の指示が受け付けられた場合には、この処理を終了する。
【０１０５】
以上のように、この第２実施形態によれば、第１実施形態と同様、欠陥検出レベルδが撮影条件に応じて適宜に設定されるので、画像データの撮影状況に応じた適切な画素補正処理を行うことが可能である。
【０１０６】
また、処理対象の画像データが欠陥画素補正済みのものであるか否かをタグ情報ＴＧを用いて検知し、欠陥画素補正済みのものであると判定される場合には、再度の画像補正を禁止している（ステップＳＰ３３）ので、欠陥画像補正が無用に繰り返し行われることを防止できる。
【０１０７】
なお、これに限定されず、欠陥画素補正済みのものであると判定される場合には、再度の画像補正を直ちに禁止するのではなく、その画像が欠陥画素補正済みのものであることをダイアログによる表示等を用いて操作者に報知した上で、さらに欠陥画素補正を行うべきか否かについての操作者からの指示を受け付けるようにしてもよい。
【０１０８】
＜Ｃ．その他＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１０９】
たとえば、上記各実施形態においては、暗い環境下での撮影であることを撮影モードが夜景モードであるか否かなどによって判定する場合を例示したが、これに限定されない。
【０１１０】
具体的には、撮影モードが夜景モードであるか否かを考慮することなく、シャッタスピードが所定の閾値ＴＨ２より遅いか否かのみを考慮して、暗い環境下での撮影であるか否かを判定するようにしてもよい。詳細には、撮影時のシャッタスピードが所定の閾値ＴＨ２より速い場合には（暗い環境下での撮影ではないと判定し）欠陥検出レベルδ（δＴ）として値δＴ１を用い、シャッタスピードが所定の閾値ＴＨ２より遅い場合には（暗い環境下での撮影であると判定し）欠陥検出レベルδ（δＴ）として値δＮ（あるいはδＴ３）を用いるようにしてもよい。
【０１１１】
あるいは、撮影モードが夜景モードであるか否かを考慮することなく、感度が所定の閾値ＴＨ４より高いか否かのみを考慮して、暗い環境下での撮影であるか否かを判定するようにしてもよい。詳細には、撮影時の感度が所定の閾値ＴＨ４より低い場合には（暗い環境下での撮影ではないと判定し）欠陥検出レベルδ（δＴ）として値δＴ１を用い、感度が所定の閾値ＴＨ４より高い場合には（暗い環境下での撮影であると判定し）欠陥検出レベルδ（δＴ）として値δＮ（あるいはδＴ３）を用いるようにしてもよい。
【０１１２】
さらには、撮影モード、シャッタスピード、感度のいずれをも考慮することなく、被写体輝度が所定の閾値ＴＨ５よりも小さいという条件を用いて、暗い環境下での撮影であることを判定するようにしても良い。
【０１１３】
具体的には、被写体輝度が所定の閾値ＴＨ５よりも小さいという条件を満たす場合の欠陥検出レベルδを値δＮに設定し、当該条件を満たさない場合の欠陥検出レベルを値δＮよりも大きな値（たとえば値δＴ１）に設定するように設定すればよい。なお、撮影時の被写体輝度は、ＣＣＤ２０による撮影画像に基づいて求めればよい（検出すればよい）。具体的には、撮影画像の全画素または一部の画素の平均値を用いて被写体輝度を判定すればよい。あるいは、撮像装置本体の表面等に輝度センサーを設けておき、その輝度センサーを用いて撮影時の被写体輝度を測定するようにしてもよい。
【０１１４】
このように、検出された被写体輝度に応じて欠陥検出レベルを変更することによれば、撮影状況に応じた適切な欠陥画素検出および欠陥画素補正を施すことが可能になる。端的に言えば、暗い環境下での撮影であることを自動的に検出し、その撮影環境に応じた欠陥画素検出および補正動作が可能になる。
【０１１５】
また、撮影モード、シャッタスピード、感度、被写体輝度の各種の撮影条件のうちの２つ以上の任意の組合せを考慮して、暗い環境下での撮影であるか否かを判定するようにしてもよい。これによれば、この組合せに関する所定の条件を満たす場合には、暗い環境下での撮影であると判定して、比較的厳しい欠陥検出レベルδを用いて、比較的多数の欠陥画素を検出することができる。また、この組合せに関する条件を満たさない場合のうちの一定の場合（例えば、撮影モードが夜景モードでなく、且つ、シャッタスピードが閾値ＴＨ２より速く、且つ、感度が閾値ＴＨ４より低く、且つ、被写体輝度が閾値ＴＨ５よりも大きいという条件を満たす場合）には、欠陥検出レベルδとして値δＮよりも緩いレベルの値δＴ１（＞δＮ）を用いることによって、画像の劣化を抑制した適切な画像補正を施すことが可能である。
【０１１６】
また、上記各実施形態においては、欠陥検出レベルδを撮影条件に応じて、自動的に決定する場合を例示したが、これに限定されず、さらにこの決定された欠陥検出レベルδの値を手動操作で微調整するようにしてもよい。具体的には、操作部２００に設けられた十字キーの上下ボタンが押下されるごとに、欠陥検出レベルδの値を所定の刻み値（微小値）ごとに増加あるいは減少させることによって、欠陥検出レベルδの微調整を行えばよい。微調整動作直前の欠陥検出レベルδとしては、上述の基準に基づいて決定された値を用いることが好ましい。このようにして、欠陥検出レベルδに対する手動調整を行うことが可能である。これによれば、操作者の意図をより反映させた補正を施すことができる。
【０１１７】
さらに、上述した各種の変形例は、撮像装置１だけではなく、同様に、画像処理装置３００にも適用可能である。
【０１１８】
なお、上述した具体的実施形態には以下の構成を有する発明が含まれている。
【０１１９】
（１）請求項１に記載の撮像装置において、
前記レベル設定手段は、前記撮影条件に基づいて暗い環境下での撮影であるか否かを判定することを特徴とする撮像装置。
【０１２０】
（２）前記（１）に記載の撮像装置において、
前記検出手段は、前記所定の画素の画素値と当該所定の画素の周辺画素の画素値との差を用いて算出される指標値が欠陥検出レベルよりも大きいときに当該所定の画素が欠陥画素であると判定し、
前記レベル設定手段は、暗い環境下での撮影であると判定される場合には、暗い環境下での撮影でないと判定される場合に比べて欠陥検出レベルの値を比較的小さな値に設定することを特徴とする撮像装置。これによれば、暗い環境下での撮影における撮影画像をより適切に補正することができる。
【０１２１】
（３）請求項１に記載の撮像装置において、
前記レベル設定手段は、前記欠陥検出レベルに対する手動調整を行う調整手段、を有することを特徴とする撮像装置。これによれば、操作者の意図をより反映させた補正を施すことができる。
【０１２２】
（４）請求項１に記載の撮像装置において、
前記撮影画像に対して補正済み情報を付加する付加手段、
をさらに備えることを特徴とする撮像装置。これによれば、補正済み情報を用いることによって、欠陥画素に関する補正処理が施されているか否かを認識することができるので、補正処理が無用に繰り返し行われることを防止できる。
【０１２３】
【発明の効果】
以上のように、請求項１ないし請求項５に記載の発明によれば、撮影条件に応じて欠陥検出レベルを変更し、その欠陥検出レベルに応じて各画素が欠陥画素であるか否かが判定されるので、欠陥画素の画素値を撮影状況に応じてより適切に補正することが可能である。
【０１２４】
特に、請求項４に記載の発明によれば、暗い環境下での撮影における撮影画像をより適切に補正することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る撮像装置（デジタルカメラ）の内部構成を示すブロック図である。
【図２】ＣＣＤの画素配列等を説明する図である。
【図３】欠陥画素補正部の詳細構成を示す図である。
【図４】注目画素近傍の画素列を示す図である。
【図５】注目画素が欠陥であるときの各画素値の関係の一例を示す図である。
【図６】注目画素が欠陥でないときの各画素値の関係の一例を示す図である。
【図７】撮像装置における撮影動作の概要を示すフローチャートである。
【図８】レベル設定動作の流れを示すフローチャートである。
【図９】第２実施形態に係る画像処理装置のハードウエア構成を示すブロック図である。
【図１０】画像補正処理プログラムにおける処理手順を示すフローチャートである。
【図１１】画像データのデータ構造の一例を示す図である。
【符号の説明】
１ 撮像装置
２０ 撮像素子（ＣＣＤ）
５０ 欠陥画素補正部
５１ 検出部
５２ 補正部（更新部）
５３ 欠陥検出レベル設定部
９５，３０９ 記録媒体
Ｇｎ，Ｇｎ−１，Ｇｎ＋１ 画素値
ＴＧ タグ情報
Ｖ 指標値
δ 欠陥検出レベル

Claims (5)

1. 撮像装置であって、
   光電変換により被写体像を画像信号に変換する撮像素子と、
   前記撮像素子を用いて取得される撮影画像において、所定の画素の画素値と当該所定の画素の周辺画素の画素値とを用いて算出される指標値を欠陥検出レベルと比較することによって、当該所定の画素が欠陥画素であるか否かを判定し、前記撮像画像における欠陥画素を検出する検出手段と、
   前記欠陥画素の画素値を補正する補正手段と、
   撮影条件に応じて前記欠陥検出レベルを設定するレベル設定手段と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮影条件は、撮影モード、シャッタスピード、感度のうちの少なくとも１つ設定情報を含むことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記撮影条件は、被写体輝度を含むことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記検出手段は、前記所定の画素の画素値と当該所定の画素の周辺画素の画素値との差を用いて算出される指標値が欠陥検出レベルよりも大きいときに当該所定の画素が欠陥画素であると判定し、
   前記レベル設定手段は、前記撮影条件の撮影モードが夜景モードであるという条件を満たす場合、あるいは、前記撮影条件の被写体輝度が所定の閾値よりも小さいという条件を満たす場合の前記欠陥検出レベルの値を、当該各条件を満たさない所定の場合の前記欠陥検出レベルの値よりも小さな値に設定することを特徴とする撮像装置。
5. コンピュータに、
   画像データの撮影時における撮影条件に応じて、欠陥検出レベルを設定する手順と、
   前記画像データにおいて、所定の画素の画素値と当該所定の画素の周辺画素の画素値とを用いて算出される指標値を欠陥検出レベルと比較することによって、当該所定の画素が欠陥画素であるか否かを判定し、前記画像データにおける欠陥画素を検出する手順と、
   前記欠陥画素の画素値を補正する手順と、
   を実行させるためのプログラム。

Images