JP2006180270A - 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】変化の速い被写体を撮像した画像であってもダイナミックレンジの高い画像に変換する
【解決手段】
撮像部２において可視光画像と赤外光画像とを同時に撮像し、画像処理部３に出力する。画像処理部３は、可視光画像に飽和した画素が存在するか否かを検出し、可視光画像に飽和した画素が存在する場合、飽和した画素の周囲のエリア３１の可視光画像の画素出力値と赤外光画像の画素出力値との比（補正係数）を求める。飽和した画素における赤外光画像の画素出力値と補正係数を乗算し補正値を算出する。そして、可視光画像の飽和した画素の画素値と補正値とを入れ換える。
【選択図】図５

Description

本発明は、画像のダイナミックレンジを広くする画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体に関する。

デジタルスチルカメラ及びデジタルカメラでは、画像を撮像するためにＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）を利用する。これらは、いずれも多数の撮像素子から構成されており、撮像素子によって光電変換された信号電荷を測定し、画素の明暗レベルを決める仕組みになっている。撮像素子に蓄積される電荷量は、入射する光の大きさと露光する時間で決まるので露光時間を長くすれば、暗い部分も高いレベルで撮像することができる。しかし、撮像素子に蓄積することのできる最大電荷量は、撮像素子自身の蓄積能力に依存するため、露光時間が長いと明るい部分の画素が飽和する。「白とび」とは、画素に蓄積された電荷量が最大電荷量を超えたときに発生する現象である。「白とび」が発生した画素は、全て真っ白になってしまう。また、光の大きさや露光時間が短すぎると、「黒つぶれ」と呼ばれる現象が発生し、画像が暗く見えにくくなってしまう。

従来、「白とび」や「黒つぶれ」を回避するために、短い電荷蓄積期間で撮像した画像と、長い電荷蓄積期間で撮像した画像との２枚の画像を生成し、それぞれの画像の画素出力値に重み付けを行い、画素出力値の信号レベルを一致させた上で、２枚の画像を滑らかに合成する。これにより、明るい部分と暗い部分との両方の部分の画質を維持したダイナミックレンジの高い画像を生成することができる（例えば、特許文献１参照。）
特開平６−１４２２９号公報

しかしながら、特許文献１記載の撮像装置は、異なる時間に、異なる時間幅で撮像した画像を合成するものである。この撮像装置では、合成する画像の出力時間が異なるため、被写体が動いている場合や撮像装置が手振れで動いた場合に、合成する画像の不整合が発生する。つまり、刻々と光強度が変化する動的なシーンを撮像することができない。

本発明は、上述した課題に鑑みてなされたものであって、変化の速い被写体を撮像した画像であってもダイナミックレンジの高い画像に変換することができる機能を備えた画像処理装置、撮像装置、及び画像処理方法、プログラム、及び記録媒体を提供することを目的とする。

上述した目的を達成するために、本発明にかかる画像処理装置は、可視光画像と、可視光画像と同一の像を撮像した不可視光画像とを取得する画像取得手段と、可視光画像に飽和した画素が存在するか否かを検出する飽和画素検出手段と、可視光画像に飽和した画素が存在する場合、可視光画像の飽和した画素を除く１つ又は複数の画素の画素出力値と、不可視光画像の画素であって１つ又は複数の画素と同じ位置に存在する画素の画素出力値とを基に、可視光画像の画素出力値と不可視光画像の画素出力値との関係を示す値、若しくは、関数を導出する導出手段と、不可視光画像の画素であって可視光画像の飽和した画素と同じ位置に存在する画素の画素出力値と、導出手段が導出した値を基に飽和した画素の画素出力値の補正値を算出する補正値算出手段と、飽和した画素の画素出力値と補正値とを入れ換える入換手段とを備える。

本発明にかかる撮像装置は、可視光画像と、可視光画像と同一の画素数でありかつ同一の像を撮像した不可視光画像とを撮像する撮像手段と、可視光画像に飽和した画素が存在するか否かを検出する飽和画素検出手段と、可視光画像に飽和した画素が存在する場合、可視光画像の飽和した画素を除く１つ又は複数の画素の画素出力値と、不可視光画像の画素であって１又は複数の画素と同じ位置に存在する画素の画素出力値とを基に、可視光画像の画素出力値と不可視光画像の画素出力値との関係を示す値を導出する導出手段と、不可視光画像の画素であって可視光画像の飽和した画素と同じ位置に存在する画素の画素出力値と、導出手段が導出した値を基に飽和した画素の画素出力値の補正値を算出する補正値算出手段とを備える。

本発明にかかる画像処理方法は、可視光画像と、可視光画像と同一の画素数でありかつ同一の像を撮像した不可視光画像とを取得する取得工程と、可視光画像に飽和した画素が存在するか否かを検出する飽和画素検出工程と、可視光画像に飽和した画素が存在する場合、可視光画像の飽和した画素を除く１つ又は複数の画素の画素出力値と、不可視光画像の画素であって１つ又は複数の画素と同じ位置に存在する画素の画素出力値とを基に、可視光画像の画素出力値と不可視光画像の画素出力値との関係を示す値を導出する導出工程と、不可視光画像の画素であって不可視光画像の飽和した画素と同じ位置に存在する画素の画素出力値と、導出工程が導出した値を基に上記飽和した画素の画素出力値の補正値を算出する補正値算出工程とを有する。

本発明にかかるプログラムは、可視光画像と、可視光画像に対応しかつ可視光画像と同一の画素数で撮像した不可視光画像とを取得する取得工程と、可視光画像に飽和した画素が存在するか否かを検出する飽和画素検出工程と、可視光画像に飽和した画素が存在する場合、可視光画像の飽和した画素を除く１つ又は複数の画素の画素出力値と、不可視光画像の画素であって１つ又は複数の画素と同じ位置に存在する画素の画素出力値とを基に、可視光画像の画素出力値と不可視光画像の画素出力値との関係を示す値を導出する導出工程と、不可視光画像の画素であって不可視光画像の飽和した画素と同じ位置に存在する画素の画素出力値と、導出工程が導出した値を基に飽和した画素の画素出力値の補正値を算出する補正値算出工程と飽和した画素の画素出力値と上記補正値とを入れ換える入換工程とを有する。

本発明にかかる記録媒体は、可視光画像と、可視光画像に対応しかつ可視光画像と同一の画素数で撮像した不可視光画像とを取得する取得工程と、可視光画像に飽和した画素が存在するか否かを検出する飽和画素検出工程と、可視光画像に飽和した画素が存在する場合、可視光画像の飽和した画素を除く１つ又は複数の画素の画素出力値と、不可視光画像の画素であって１つ又は複数の画素と同じ位置に存在する画素の画素出力値とを基に、可視光画像の画素出力値と不可視光画像の画素出力値との関係を示す値を導出する導出工程と、不可視光画像の画素であって不可視光画像の飽和した画素と同じ位置に存在する画素の画素出力値と、導出工程が導出した値を基に飽和した画素の画素出力値の補正値を算出する補正値算出工程と飽和した画素の画素出力値と上記補正値とを入れ換える入換工程とを有するプログラムが記録されている。

本発明によれば、不可視光画像を用いて飽和した可視光画像の画素値の補正値を算出するため、明るい部分と暗い部分の画質を維持したダイナミックレンジの高い画像を生成することができる。また、可視光画像と不可視光画像は同時に撮像することができるので、変化の速い被写体を撮像した画像であってもダイナミックレンジの高い画像に変換することができる。

以下、図面を参照して本発明を適用した撮像装置について説明する。図１は、撮像装置が撮像した可視光画像の縦１０画素×横１０画素を抜き出したものである。図では、中心の画素が白くなっている。これらの画素１０では「白とび」が発生している。「白とび」とは、撮像素子に蓄積される電荷量が飽和したときに発生する現象である。撮像素子に蓄積される電荷量は露光量で決まり、露光量が大きいほど撮像素子に蓄積される電荷量が増加する。しかし、撮像素子に蓄積することのできる電荷量には限界があり、露光時間が長すぎたり、入射する光が大きすぎたりすると、撮像素子に蓄積される電荷量が最大電荷量を超えて飽和してしまう。撮像素子が飽和すると、電荷の量が最大電荷量で一定となる。飽和した画素１０ｗの画素出力値は最大画素値、例えば、画素出力値のレンジが０〜２５５であるとすると最大画素値２５５となりこの部分が白く出力される。

ところで、可視光画像において撮像素子が飽和したとしても、赤外光画像を撮像した撮像素子では飽和しないことが多い。これは、撮像素子が可視光に対してよりも赤外光に対して感度が低いため、同じ時間、同じ強度の光を照射したとしても赤外光で蓄積される電荷量が少なく撮像素子の最大電荷量に達しにくいためである。

撮像素子における可視光と赤外光との感度特性を図２に示す。図２は、横軸を光の波長、縦軸を撮像素子の量子効率とし、光の波長に対する撮像素子の量子効率Ｇを示している。波長７００ｎｍ付近より長波長は赤外光領域、波長４００〜７００ｎｍ付近は可視光領域に対応する。図２によると、撮像素子の量子効率は可視光のとき撮像素子が高く、赤外光のときは低い。撮像素子の出力は、感度特性のほかに、光源のスペクトル、及び、カラー式の場合はカラーフィルタ等からの影響を受ける。一般的に太陽光や蛍光灯の下では、赤外光領域の出力は可視光領域の数分の１程度となる。このように、撮像素子は、可視光に対して感度が高く、赤外光に対して感度が低いため、赤外光領域の出力値を増加させれば可視光領域の画素出力値を予測することできる。

図３は、赤外光の画素出力値から可視光の画素出力値を予測する様子を模式的に表している。図３において、Ｇｖは可視光の画素出力値、Ｇｉは赤外光の画素出力値、Ｇｅは可視光の予測画素出力値を示している。赤外光の出力画素値Ｇｉも可視光の出力画素値Ｇｖも露光量に比例して増加するが、可視光の出力画素値Ｇｖの増加率の方が赤外光の画素出力値Ｇｉの増加率よりも高い。可視光の画素出力値Ｇｖは露光量Ａで飽和する。露光量Ａを超えると、出力画素値は２５５で一定となる。しかし、撮像素子に蓄積できる電荷の量に限界がないとすると、出力画素値は飽和することなく点線で示すグラフＧｅのように露光量の増加に伴って増加していくと予測できる。グラフＧｅの値を予測するために赤外光の画素出力値Ｇｉを用いる。そして、画素出力値Ｇｖを予測した値で置き換える。置き換えた値を可視光の補正値と記す。本発明を適用した撮像装置は、赤外光の出力画素値Ｇｉを用いて可視光画像の出力画素値Ｇｅの補正値を算出することを特徴とする。

なお、赤外光は、アゾ染料という有機染料または顔料を含む物体に当たると強く反射する特性を持っている。この現象は、変則反射と呼ばれている。図４は、変則反射する材質Ｂを撮像した画素＃１４〜＃２０及び変則反射しない材質Ａを撮像した画素＃１〜＃１３の画素出力値を示していている。この図では、各画素の赤外光の画素出力値Ｉと可視光の画素出力値Ｖとが並べて描画されている。変則反射が発生する材質Ｂを撮像したときの画素出力値＃１４〜＃２０では、可視光の画素出力値Ｖに対する赤外光の画素出力値Ｉの比が＃１〜＃１３よりも高くなる。このように、変則反射が発生すると、赤外光に対する感度が高くなるが、本発明を適用した撮像装置は、変則反射が発生しても可視光画像の出力画素値を補正することができる。この理由については後述する。

図５に撮像装置1の構成を示す。撮像装置1は、可視光画像と赤外光画像との両方を撮像する撮像部２と、出力画素値が飽和した画素を検出し可視光画像と赤外光画像の画素値とを基に飽和画素値を補正した補正画素値を算出する画像処理部３と、補正画素値に基づいて出力画像の階調を行う階調変換部４と、画像やデータの記憶領域であるメモリ５と、ＬＣＤ６（Liquid Crystal Display）への画像出力、シリアルインターフェース８１やＵＳＢ（Universal Serial Bus）８２等のインターフェースによる外部記録装置９とのデータ送受信を制御するシステムコントロール部７とを備える。

撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などであり、複数の撮像素子２１から構成される。モータ２２は、ドライバ２３の制御により、レンズの焦点やシャッタの切り替えを行う。信号処理部２４は、撮像素子２１が出力した画像にＡＧＣ（Automatic Gain Control）及びＣＤＳ（Correlated Double Sampling）を施して画像処理部３に出力する。

撮像素子２１には、赤外線画像を撮像するための撮像素子２１と、可視光画像を撮像するための撮像素子２１とがある。赤外線画像を撮像する撮像素子２１と可視光画像を撮像する撮像素子２１とは、同画素数、同画角であり、同じ時刻に同じ時間だけ露光される。なお、撮像部２は、可視光用と赤外光用と別々の撮像素子２１を備えてもよいし、１つの撮像素子２１の出力を分光するようにしてもよい。

補正画素値の算出は、画像処理部３で行う。画像処理部３は、信号処理部２４から入力した可視光画像中に飽和した画素が存在するか否かを検出する。そして飽和した画素が存在する場合、画像処理部３は、飽和した画素に隣接する画素の可視光の画素出力値と、赤外光の画素出力値とを基に所定の数値を求める。ここで求めた数値を補正係数と呼ぶ。この例では、補正係数として可視光の画素出力値と赤外光の画素出力値の比を求めている。そして、赤外光の画素出力値に補正係数をかけることにより、可視光の補正値を算出している。補正値を求めるために関数を補正関数と呼ぶ。

補正係数を算出するために、可視光の露光量が飽和した画素に隣接する画素を選択する理由は、被写体による反射光の変化に対応するためである。上述したように、被写体にはアゾ染料のように赤外光を多く反射する材質が存在する赤外光を多く反射する材質を撮像したときと、そうでない材質を撮像したときとでは、赤外光の出力画素値と可視光の出力画素値と比が異なる。このような材質の違いによる変化に対応するために隣接した画素を使用する。隣接する画素には、同じ物体、すなわち、同じ材質の物体が撮像されている可能性が高く、適切な補正処理を行うことができる。

画像処理部３は、補正係数を算出すると、可視光画像の画素出力値が飽和した画素の赤外光画像の画素出力値に補正係数をかけて可視光の補正値を算出する。そして、画像処理部３は、飽和した画素の画素出力値と算出した補正値とを入れ換える。

図６を参照して、補正値の算出手順を具体的に説明する。図６は、２０個の画素＃１〜＃２０の画素出力値を示している。図６には、可視光の画素出力値と、赤外光の画素出力値とが描画されている。可視光の画素出力値は左側の棒グラフＶ、赤外光の画素出力値は右側の棒グラフＩに対応する。また、棒グラフＶに続く斜線部Ｅは、可視光の実際の出力値である。すなわち、画素が飽和しない場合には、ＶとＥとを足した値が出力される。画像処理部３は、補正値は、この値の予測値である。

図６では画素＃８〜＃１１の画素出力値が「２５５（８ビット）」で一定となり飽和点を超えている。これらの画素では、「白とび」が発生している。画像処理部３は、飽和した画素が存在する場合、この画素＃８〜＃１１に隣接する画素、すなわち、画素＃７、＃１２の出力画素値を読み出す。そして、画像処理部３は、可視光の画素出力値に対する赤外光の画素出力値の比を算出する。この算出結果が補正係数である。画像処理部３は、画素＃８〜＃１１における赤外光の画素出力値に補正係数をかけて可視光の画素出力値の補正値を算出する。

ここで、画像処理部３における補正係数の算出方法の具体例を２つ説明する。図７は、可視光画像の画像データの概略図である。図７は、可視光画像から縦１０画素×横１０画素のマトリクスを抜き出している。各画素の明るさは、画素出力値を表している。図面では白色部分の多い画素ほど画素出力値が高い。点線で囲まれたエリア３０は飽和した画素群である。斜線がかかったエリア３１は、飽和したエリア３０を囲む外周一画素分のエリア３１である。このエリア３１の画素出力値を補正係数の算出に利用する。補正係数の算出には、例えば、以下の式（１）を利用する。なお、この式（１）においてｉは画素番号である。

補正係数＝エリア３１の可視光画素出力値の合計／エリア３１の赤外光画素出力値の合計
・・・（１）

このように、複数の画素値の合計から補正係数を算出すると、算出結果が複数の画素出力値で平均化されるため、安定した値になる。

ここでは、補正係数を算出するために、飽和したエリア３０の外周１画素分のエリア３１の画素出力値を使用したが、外周２画素分、外周３画素分、・・・・と増やしてもよい。そして、以下の式（２）により可視光画像の補正値を算出することができる。

飽和した画素＃ｉにおける可視光の補正値＝画素＃ｉにおける赤外光の画素出力値×補正係数
・・・（２）
上述のように画像処理部３が算出した補正値は、画素出力値の最大値「２５５（８ビット）」を超えている。画素出力値の最大値「２５５ビット」を超えると、８ビットの画像データの色数の最大値を超えてしまうので、このままではファイルを生成したり、ＬＣＤ６に表示したりすることができない。

そこで、階調変換部４は、画素出力値を「２５５」以内に抑える階調変換処理を行い、画像データの色数の範囲内で画素出力値を表現できるようにする。階調変換処理の一例を説明する。この処理では、全ての画素出力値に対して画素出力値の最大値「２５５」を補正値の最大値で割った値をかける。補正値の最大値が、例えば、「３００」であれば、画素出力値にかける値は「２５５／３００」となる。掛け算の結果が小数となった場合、小数点以下第１位を切り捨てたり、小数点以下第１位を四捨五入したりする。これにより、「白とび」のない画像データが生成される。なお、階調変換処理は、一般的なものを紹介したものである。これ以外の階調変換処理を用いて画素出力値を「２５５」以内に抑えてもよい。

次いで、上述した撮像装置1の動作を説明する。図８は、撮像装置1の動作を示すフローチャートである。ステップＳ１において、撮像部２は、赤外光画像と可視光画像を撮像する。赤外光画像と可視光画像とは、画像処理部３に出力される。ステップＳ２において、画像処理部３は、可視光画像中に飽和した画素が存在しているか否かを判別する。可視光画像中に飽和した画素が存在しない場合（ステップＳ２；ＮＯ）、ステップＳ３に移行して入力した可視光画像をそのまま出力して補正処理を終了する。

一方、可視光画像中に飽和した画素が存在する場合（ステップＳ２；ＹＥＳ）、ステップＳ４に移行する。ステップＳ４では、可視光が飽和した画素に隣接する画素の画素出力値を読みだし、赤外光の画素出力値に対する可視光の画素出力値の比である補正係数を算出する。ステップＳ５では、可視光が飽和した画素の赤外光の画素出力値を読みだし、赤外光の画素出力値に補正係数をかける。これにより飽和した画素の補正値が出力される。

ステップＳ６では、可視光画像における飽和した画素の画素出力値をステップＳ５で算出した補正値と入れ換える。ステップＳ７では、ステップＳ６で生成した可視光画像の出力画素値に階調変換を施して画素出力値を画像データの色数の範囲内に抑える。これにより、「白とび」のない補正された可視光画像が生成される。補正された可視光画像が生成されると、ステップＳ３に移行し、生成した可視光画像を出力する。可視光画像の出力先は、メモリ５のような一時記憶手段であってもよいし、シリアルインターフェース８１やＵＳＢ８２を介して外部記録装置９に記録させてもよい。また、メモリ５に記憶した可視光画像をＬＣＤ６のような表示部に表示させてもよい。

以上説明したように、本発明を適用した撮像装置1は、可視光画像と赤外光画像とを同じ画素数、画角、露光時間で撮像し、可視光画像の一部が飽和し「白とび」が発生している場合には、赤外光画像の画素出力値を用いて飽和した画素の画素出力値の補正値を算出して、「白とび」が発生した画素を補正することができる。

なお、本実施の形態では、本発明を撮像装置1に適用した例について説明したが、本発明の要旨は、可視光画像と赤外光画像とを用いて飽和した画素を補正する点にあり、撮像部を備えない画像処理装置やパーソナルコンピュータなどの他の電子機器にも適用することができる。

また、上述した画像処理装置は、可視光の画素出力値と赤外光の画素出力値との比を利用して可視光の画素出力値を補正したが、赤外光の画素出力値から可視光の補正値を算出する方法であれば他の方法を利用してもよい。例えば、赤外光の画素出力値と可視光の画素出力値との相関関数を求めてもよいし、赤外光の画素出力値と可視光の画素出力値の差分を求めてもよい。

ここで、差分を用いたこの算出方法では、補正係数として赤外光画像の画素出力と可視光画像の画素出力値の差分を求める。２つめの方法でも、上述した方法と同様に可視光が飽和したエリアの周辺のエリアから補正係数を用いる。補正係数の算出には、例えば、以下の式（３）を利用する。

補正係数＝（エリア３１の可視光画素値の合計−エリア３１の赤外画素値合計）／エリア３１の画素数
・・・（３）

また、以下の式（４）を用いて補正値を算出する。この式（４）においてｉは画素番号である。

飽和した画素＃ｉにおける可視光の補正値＝画素＃ｉにおける赤外項の出力値＋補正係数
・・・（４）
このように、複数の画素値の合計から補正係数を算出すると、算出結果が複数の画素出力値で平均化されるため、安定した値になる。また、差分を用いているため、比を用いたときよりも補正値の増加量が小さくなる。図９は、差分により補正値を算出したときの露光量と画素出力値Ｇｄの関係を示している。図９では、飽和点Ｂで可視光の画素出力値が飽和する。画素出力値Ｇｄが飽和した以降の画素出力値の補正値Ｇｆで表現する。差分を使用すると、補正値Ｇｆは、可視光の画素出力値Ｇｄに比べて傾きが小さくなり階調がつぶることになる。工業用途、例えば、溶接現場の撮影では、極端に明るい被写体とそうでない被写体を一枚の画像に納める必要があるがこの際などには有用となる。

また、この計算方法は、除算が不要であるため、画像処理部３をＬＳＩ（Large Scale Integration）等のハードウェアに簡単に実現することができる。ここでは、エリアは、飽和したエリアの外周１画素分であったが、外周２画素分、外周３画素分、・・・と増やしてもよい。

さらに、赤外光以外の不可視光を用いてもよい。不可視光としては、例えば、紫外光がある。

画像処理部３における補正画素値の算出処理及び階調変換部４における階調変換処理は、制御プログラムに基づいて実行される。このような制御プログラムは、撮像装置１のファームウェアに記録されている。また、制御プログラムは、外部記録装置９が読み取り可能な形式で記録された記録媒体を介して取得してもよい。制御プログラムを記録する記録媒体としては、磁気読取方式の記録媒体（例えば、磁気テープ、フレキシブルディスク、磁気カード）、光学読取方式の記録媒体（例えば、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ）、半導体メモリ（メモリカード、ＩＣカード）等が考えられる。また、制御プログラムは、いわゆるインターネット等を介して取得してもよい。

白とびが発生した画像の一例を示す図である。 可視光と赤外光との量子効率を示す図である。 赤外光の画素出力値から可視光の画素出力値を予測する様子を模式的に表した図である。 変則反射する材質を撮像したときの画素出力値と、変則反射しない材質を撮像したときの画素出力値とを示す図である。 撮像装置１の構成を示す図である。 赤外光の画素出力値と、可視光の画素出力値と、補正値とを示す図である。 白とびが発生した画素の存在するエリアと、補正値の算出に使用する画素の存在するエリアとを示す図である。 撮像装置１の動作を示すフローチャートである。 差分により補正値を算出したときの露光量と画素出力値との関係を示す図である。

符号の説明

１ 撮像装置、２ 撮像部、３ 画像処理部、４ 階調変換部、５ メモリ、６ ＬＣＤ、７ システムコントロール部、８１ シリアルインターフェース、８２ ＵＳＢ ９外部記録装置、１０ 画素

Claims (13)

1. 可視光画像と、上記可視光画像と不可視光画像とを取得する画像取得手段と、
   上記可視光画像に飽和した画素が存在するか否かを検出する飽和画素検出手段と、
   上記可視光画像に飽和した画素が存在する場合、上記可視光画像の飽和した画素を除く１つ又は複数の画素の画素出力値と、上記不可視光画像の画素であって上記１つ又は複数の画素と同じ位置に存在する画素の画素出力値とを基に、上記可視光画像の画素出力値と上記不可視光画像の画素出力値との関係を示す値を導出する導出手段と、
   上記不可視光画像の画素であって上記可視光画像の飽和した画素と同じ位置に存在する画素の画素出力値と、上記導出手段が導出した値を基に上記飽和した画素の画素出力値の補正値を算出する補正値算出手段と、
   上記飽和した画素の画素出力値と上記補正値とを入れ換える入換手段と
   を備えることを特徴とする画像処理装置。
2. 上記導出手段は、上記不可視光画像の画素出力値と上記可視光画像の画素出力値との比率を導出し、上記補正値算出手段は、上記不可視光画像の画素の画素出力値と上記比率との積を補正値として算出することを特徴とする請求項１記載の画像処理装置。
3. 上記導出手段は、上記不可視光画像の画素出力値と上記可視光画像の画素出力値の差分を導出し、上記補正値算出手段は、上記不可視光画像の画素出力値と上記差分との和を補正値として算出することを特徴とする請求項１記載の画像処理装置。
4. 上記不可視光画像は、赤外光に対し感度のある分光特性に基づいて撮像された赤外光画像であることを特徴とする請求項１記載の画像処理装置。
5. 上記不可視光画像は、紫外光に対し感度のある分光特性に基づいて撮像された紫外光画像であることを特徴とする請求項１記載の画像処理装置。
6. 上記１つ又は複数の画素は、上記飽和した画素を囲む複数の画素であることを特徴とする請求項１記載の画像処理装置。
7. 上記不可視光画像は、上記可視光画像と同時刻に同時間露光された画像であること
   を特徴とする請求項１記載の画像処理装置。
8. 上記不可視光画像は、上記可視光画像と同画角であることを特徴とする請求項１記載の画像処理装置。
9. 上記不可視光画像は、上記可視光画像と同解像度であることを特徴とする請求項１記載の画像処理装置。
10. 可視光画像と、上記可視光画像に対応しかつ上記不可視光画像と同一の画素数で撮像した不可視光画像とを撮像する撮像手段と、
    上記可視光画像に飽和した画素が存在するか否かを検出する飽和画素検出手段と、
    上記可視光画像に飽和した画素が存在する場合、上記可視光画像の飽和した画素を除く１つ又は複数の画素の画素出力値と、上記不可視光画像の画素であって上記１又は複数の画素と同じ位置に存在する画素の画素出力値とを基に、上記可視光画像の画素出力値と上記不可視光画像の画素出力値との関係を示す値を導出する導出手段と、
    上記不可視光画像の画素であって上記可視光画像の飽和した画素と同じ位置に存在する画素の画素出力値と、上記導出手段が導出した値を基に上記飽和した画素の画素出力値の補正値を算出する補正値算出手段と
    上記飽和した画素の画素出力値と上記補正値とを入れ換える入換手段と
    を備えることを特徴とする撮像装置。
11. 可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で撮像した不可視光画像とを取得する取得工程と、
    上記可視光画像に飽和した画素が存在するか否かを検出する飽和画素検出工程と、
    上記可視光画像に飽和した画素が存在する場合、上記可視光画像の飽和した画素を除く１つ又は複数の画素の画素出力値と、上記不可視光画像の画素であって上記１つ又は複数の画素と同じ位置に存在する画素の画素出力値とを基に、上記可視光画像の画素出力値と上記不可視光画像の画素出力値との関係を示す値を導出する導出工程と、
    上記不可視光画像の画素であって上記不可視光画像の飽和した画素と同じ位置に存在する画素の画素出力値と、上記導出工程が導出した値を基に上記飽和した画素の画素出力値の補正値を算出する補正値算出工程と
    上記飽和した画素の画素出力値と上記補正値とを入れ換える入換工程と
    を有することを特徴とする画像処理方法。
12. 所定の処理をコンピュータに実行させるプログラムにおいて、
    可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で撮像した不可視光画像とを取得する取得工程と、
    上記可視光画像に飽和した画素が存在するか否かを検出する飽和画素検出工程と、
    上記可視光画像に飽和した画素が存在する場合、上記可視光画像の飽和した画素を除く１つ又は複数の画素の画素出力値と、上記不可視光画像の画素であって上記１つ又は複数の画素と同じ位置に存在する画素の画素出力値とを基に、上記可視光画像の画素出力値と上記不可視光画像の画素出力値との関係を示す値を導出する導出工程と、
    上記不可視光画像の画素であって上記不可視光画像の飽和した画素と同じ位置に存在する画素の画素出力値と、上記導出工程が導出した値を基に上記飽和した画素の画素出力値の補正値を算出する補正値算出工程と
    上記飽和した画素の画素出力値と上記補正値とを入れ換える入換工程と
    を有することを特徴とするプログラム。
13. 所定の処理を実行させるプログラムが記録された記録媒体において、
    可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で撮像した不可視光画像とを取得する取得工程と、
    上記可視光画像に飽和した画素が存在するか否かを検出する飽和画素検出工程と、
    上記可視光画像に飽和した画素が存在する場合、上記可視光画像の飽和した画素を除く１つ又は複数の画素の画素出力値と、上記不可視光画像の画素であって上記１つ又は複数の画素と同じ位置に存在する画素の画素出力値とを基に、上記可視光画像の画素出力値と上記不可視光画像の画素出力値との関係を示す値を導出する導出工程と、
    上記不可視光画像の画素であって上記不可視光画像の飽和した画素と同じ位置に存在する画素の画素出力値と、上記導出工程が導出した値を基に上記飽和した画素の画素出力値の補正値を算出する補正値算出工程と
    上記飽和した画素の画素出力値と上記補正値とを入れ換える入換工程と
    を有するプログラムが記録されたことを特徴とする記録媒体。
    

Images