JP2007306447A - 撮像装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】素子に応じて露光時間を異ならせた撮影データに基づく撮影画像に基づいて高品質画像を生成する装置および方法を提供する。
【解決手段】低感度画素対応素子（ＲＧＢ）と高感度画素対応素子（Ｗ）を持つ撮像素子を適用し、低感度画素対応素子の露光時間を長く設定し、高感度画素対応素子の露光時間を短く設定した撮影画像に対する処理として、低感度画素対応素子（ＲＧＢ）のみのデータからなる評価画像と、高感度画素対応素子（Ｗ）のみのデータからなる評価画像との画素値比較を実行し、差分の大きい画素部分については、一方の画像のみからなる画像生成処理を実行し、差分の小さい画素部分については、２つの画像に基づく画像を生成する。本構成により露光期間の差による移動被写体領域画像の差分によるエラーが発生しない高品質な画像を取得することができる。
【選択図】図１０

Description

本発明は、撮像装置、および画像処理方法、並びにコンピュータ・プログラムに関する。特に、固体撮像素子による撮像データの信号処理を行なう撮像装置、および画像処理方法、並びにコンピュータ・プログラムに関する。

一般的な単板カラー方式の固体撮像素子は、撮像素子の表面に、各画素において特定の波長成分のみを透過するようなカラーフィルタを貼り付け、複数個の画素の組によって必要な色成分を復元するものである。このとき、カラーフィルタで用いられる色配列は、例えば、図１（ａ）に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を表現する色配列や、図１（ｂ）に示すように、輝度信号としての白（Ｙ）と赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせた配列などが用いられる。単板カラー方式の固体撮像素子では、このように各画素は単一の色成分の情報しかもたないため、周囲の画素の色情報を用いて補間処理を行うことによって、各画素において必要な色成分を復元するデモザイク処理が行われる。

単板カラー方式の固体撮像素子を具備する撮像装置の構成を図２に示す。単板カラー方式の固体撮像素子１３は、光学レンズ１１を通して入射される光のうち、カラーフィルタ１２を透過する光を受光する。固体撮像素子１３で光電変換されて電気信号として出力される画像信号は、図示しないＡ／Ｄ変換器によりデジタル信号に変換された後、カメラ信号処理部１４において、クリッピング処理、ガンマ補正、ホワイトバランス補正、デモザイク処理などが施されて、画像圧縮部１５に送られる。画像圧縮部１５は、画像信号のデータ量を削減し、所定の記録用画像フォーマットに変換して出力する。記録部１６は、変換された画像データを記録媒体に記録する。ここで、必ずしも画像圧縮処理が施されなくても良いが、近年では撮像素子の画素数が増加し、かつ装置自体の小型化が要求されているために画像圧縮が行われるのが通常である。

図３を参照して、単板カラー方式の固体撮像素子により取得された画像のデモザイク処理について説明する。単板カラー方式の固体撮像素子は、原色系のベイヤー配列（図１参照）などの色配列を持つカラーフィルタを介した撮像を行なう構成であり、各画素に対して特定の波長の信号、すなわち特定波長の色成分データだけを取得するようになっている。ベイヤー配列の単板カラー方式の固体撮像素子を用いた場合、固体撮像素子の出力画像２０は、各画素にＲ，Ｇ，Ｂいずれかの情報のみを持つ色モザイク画像となる。

デモザイク処理部２１は、画素ごとに色補間処理を行うことにより各色成分データ、すなわち、Ｒ，Ｇ，Ｂの全ての情報を復元する処理を実行する。

まずデモザイク処理部２１の実行するＧ信号の復元について説明する。図１（ａ）に示すベイヤー配列では、Ｇ信号は市松状に取得されている。固体撮像素子の出力画像２０においてＧ信号が存在しない画素（Ｇ_１１を例にとる）では、周囲にあるＧ信号に基づく補間処理によって、Ｇ信号が生成される。具体的には、以下の式によってＧ信号（Ｇ_１１）が復元される。
Ｇ１１＝（１／４）（Ｇ_０１＋Ｇ_２１＋Ｇ_１０＋Ｇ_１２）

次にＲ信号、およびＢ信号の復元について説明する。図１（ａ）に示すベイヤー配列では、Ｒ，Ｂともに、１画素ラインおきにデータが存在する。例えば、図３に示す固体撮像素子の出力画像２０の最上段の画素ラインには、Ｒ信号は存在するがＢ信号は存在しない。また、２番目の画素ラインには、Ｂ信号は存在するがＲ信号は存在しない。

それぞれデータＲまたはＢが存在する画素ラインにおいては１画素おきにデータが取得されている。固体撮像素子の出力画像２０においてＲ信号（Ｂ信号）が存在しない画素で、同ラインにＲ信号（Ｂ信号）が存在する場合（Ｒ_０１，Ｂ_１２を例にとる）、その画素ライン上のＲ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ_０１＝（１／２）（Ｒ_００＋Ｒ_０２）
Ｂ_１２＝（１／２）（Ｂ_１１＋Ｂ_１３）

同様にして、同カラムにＲ信号（Ｂ信号）が存在する場合（Ｒ_１０，Ｂ_２１を例にとる）、Ｒ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ_１０＝（１／２）（Ｒ_００＋Ｒ_２０）
Ｂ_２１＝（１／２）（Ｂ_１１＋Ｂ_３１）

さらに、同ラインにも同カラムにもＲ信号（Ｂ信号）が存在しない場合（Ｒ_１１，Ｂ_２２を例にとる）、Ｒ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ_１１＝（１／４）（Ｒ_００＋Ｒ_０２＋Ｒ_２０＋Ｒ_２２）
Ｂ_２２＝（１／４）（Ｂ_１１＋Ｂ_１３＋Ｂ_３１＋Ｂ_３３）

デモザイク処理部２１は、上述のような色補間処理を行い、全画素に対するＲ信号２２ｒ、Ｇ信号２２ｇ、Ｂ信号２２ｂを出力する。なお、補間処理は一例であり、他の色信号との相関を利用したような色補間処理を行っても良い。

近年、ディジタルスチルカメラやムービーカメラにおいて、低照度の照明下において撮影した画像品質の向上が重要な課題となっている。低照度の照明下において画像を撮影しようとする場合、シャッタースピードを遅くしたり、絞り値の明るいレンズを使用したり、またフラッシュなどの可視光の外部光源を利用するのが一般的である。

この場合、シャッタースピードを遅くすると手ぶれや被写体ぶれを招く。またレンズの絞り値にも通常は限界があってある程度以上は明るくすることができない。さらに、可視光の外部光源を使用すると、その場の照明による雰囲気を損なってしまう問題がある。

たとえば特許文献１、特許文献２には、先に図１（ｂ）を参照して説明した色配列、すなわち輝度信号としての白（Ｙ）と赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせたベイヤー配列を適用した撮像素子を用いて、高解像度の画像を得る信号処理について開示している。特許文献１は、図１（ｂ）に示す白画素を市松配置したカラーフィルタアレイを適用し、市松配置画素の白画素を利用して高い解像度を得る信号処理について説明している。

すなわち、図１（ｂ）に示す配置によれば、市松配列のＹ画素はほぼ可視光全体に感度を持つため、図１（ａ）に示すように緑（Ｇ）画素を市松配置にする構成より大きな信号が得られる。このため、Ｓ／Ｎ比の良い画像を得ることができる。

しかしながら、図１（ｂ）に示すような配列においては、白（Ｙ）に対応する受光素子と、赤（Ｒ）、緑（Ｇ）、青（Ｂ）各画素対応の受光素子の露光期間を同じにしてしまうと、白（Ｙ）対応の素子の受光量が赤（Ｒ）、緑（Ｇ）、青（Ｂ）対応の素子に比較して、大量の光を受光することになる。このような組み合わせ配列においては、一方の素子に応じて光量を調整すると他方の素子に対応する適正な光量とならないという問題が発生する。

このような場合、いずれか一方の素子に適合した露光時間としてしまうと、他方の素子には適合しない露光時間となってしまう。例えば、一方の素子が飽和しないように露光時間を設定した場合、他方の素子で十分な信号電荷が得られずＳ／Ｎが劣化する問題が生じる。一方、いずれもが十分な信号電荷が得られるよう露光時間を設定した場合、一方の素子で飽和するという問題が生じる。
特開平４−８８７８４ ＵＳＰ５３２３２３３

本発明は、異なる光成分の受光を行なう受光素子の組み合わせ配列を持つ撮像素子を適用した構成において、感度のアンバランスを調整し、品質の高い画像データを得ることを可能とする撮像装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
アレイ上に配置された複数素子からなる撮像素子であり、相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子と、
前記撮像素子における高感度画素対応素子と、低感度画素対応素子との露光期間を独立に制御する露光制御部と、
前記撮像素子の出力信号に基づいて画像生成処理を実行する画像生成部を有し、
前記画像生成部は、
前記高感度画素対応素子の出力データに基づく高感度画素評価画像と、前記低感度画素対応素子の出力データに基づく低感度画素評価画像との比較処理を実行し、２つの評価画像における対応画素の画素値差分または画素値比率に基づき対応画素間の差異が小さいと判断された画素領域と、差異が大きいと判断された画素領域とを区分し、各々の画素領域において異なる画像処理を実行する構成であることを特徴とする撮像装置にある。

さらに、本発明の撮像装置の一実施態様において、前記画像生成部は、前記２つの評価画像における対応画素間の差異が小さいと判断された画素領域については、前記高感度画素対応素子の出力データと低感度画素対応素子の出力データの両データを適用した画像処理を実行し、差異が大きいと判断された画素領域については、前記高感度画素対応素子の出力データまたは低感度画素対応素子の出力データの一方のデータのみに基づく画像処理を実行して画像を生成する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、ＲＧＢの各特定波長領域の光を受光する低感度画素対応素子と、可視光領域の光を受光する高感度画素対応素子とから構成され、前記画像生成部は、ＲＧＢ対応の低感度画素対応素子の出力データに基づいて生成する低感度画素評価画像をＷＬ、可視光対応の高感度画素対応素子の出力データに基づいて生成する高感度画素評価画像をＷＨとしたとき、係数としてのパラメータａ，ｂ，ｃを適用した算出式、
ＷＬ＝ａＲ＋ｂＧ＋ｃＢ、
に基づいて、低感度画素評価画像ＷＬを生成する構成であり、前記パラメータａ，ｂ，ｃを、撮像素子の特性に応じて決定する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記画像生成部は、前記パラメータを光源に応じて異なる値を適用する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記画像生成部は、前記高感度画素評価画像と、前記低感度画素評価画像の対応画素の差分絶対値｜Ｅ｜と予め定めた閾値との比較処理を実行し、閾値を超える差分を持つ画素領域と閾値以下の画素領域とで異なる画像処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記画像生成部は、前記高感度画素評価画像と、前記低感度画素評価画像の対応画素の差分絶対値｜Ｅ｜と予め定めた複数の閾値との比較処理を実行し、前記複数の閾値によって規定される差分量に応じて異なる画像処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記画像生成部は、前記複数の閾値によって規定される差分量に応じた異なる画像処理として、前記高感度画素対応素子の出力データと低感度画素対応素子の出力データとの利用比率を変更した画像処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記画像生成部は、前記高感度画素評価画像と、前記低感度画素評価画像の比較処理において、高周波成分をカットした評価画像を生成して比較を行う構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記画像生成部は、前記２つの評価画像における対応画素間の差異の大きい画素および該画素の周囲画素領域について、前記高感度画素対応素子の出力データまたは低感度画素対応素子の出力データの一方のデータのみに基づく画像処理を実行して画像を生成する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記画像生成部は、前記高感度画素評価画像と、前記低感度画素評価画像の比較処理において、補間処理を実行する前のデータを適用した比較処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記撮像素子を構成する高感度画素対応素子は、可視光領域および赤外光などの不可視光を受光する素子であることを特徴とする。

さらに、本発明の第２の側面は、
撮像装置において画像処理を実行する画像処理方法であり、
相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子を適用し、高感度画素対応素子と、低感度画素対応素子との露光期間を独立に制御して撮影された撮像素子の出力信号を画像生成部に入力するステップと、
前記画像生成部において、前記高感度画素対応素子の出力データに基づく高感度画素評価画像と、前記低感度画素対応素子の出力データに基づく低感度画素評価画像との比較処理を実行する評価画像比較ステップと、
前記画像生成部において、２つの評価画像における対応画素の画素値差分または画素値比率に基づき対応画素間の差異が小さいと判断された画素領域と、差異が大きいと判断された画素領域とを区分し、各々の画素領域において異なる画像処理を実行して画像を生成する画像処理ステップと、
を有することを特徴とする画像処理方法にある。

さらに、本発明の画像処理方法の一実施態様において、前記画像処理ステップは、前記２つの評価画像における対応画素間の差異が小さいと判断された画素領域については、前記高感度画素対応素子の出力データと低感度画素対応素子の出力データの両データを適用した画像処理を実行し、差異が大きいと判断された画素領域については、前記高感度画素対応素子の出力データまたは低感度画素対応素子の出力データの一方のデータのみに基づく画像処理を実行して画像を生成する処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記撮像素子は、ＲＧＢの各特定波長領域の光を受光する低感度画素対応素子と、可視光領域の光を受光する高感度画素対応素子とから構成され、前記画像生成部は、ＲＧＢ対応の低感度画素対応素子の出力データに基づいて生成する低感度画素評価画像をＷＬ、可視光対応の高感度画素対応素子の出力データに基づいて生成する高感度画素評価画像をＷＨとしたとき、係数としてのパラメータａ，ｂ，ｃを適用した算出式、
ＷＬ＝ａＲ＋ｂＧ＋ｃＢ、
に基づいて、低感度画素評価画像ＷＬを生成し、前記パラメータａ，ｂ，ｃを、撮像素子の特性に応じて決定する処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像生成部は、前記パラメータを光源に応じて異なる値を適用して、前記低感度画素評価画像ＷＬを生成することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記評価画像比較ステップは、前記高感度画素評価画像と、前記低感度画素評価画像の対応画素の差分絶対値｜Ｅ｜と予め定めた閾値との比較処理を実行するステップであり、前記画像処理ステップは、閾値を超える差分を持つ画素領域と閾値以下の画素領域とで異なる画像処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記評価画像比較ステップは、前記高感度画素評価画像と、前記低感度画素評価画像の対応画素の差分絶対値｜Ｅ｜と予め定めた複数の閾値との比較処理を実行するステップであり、前記画像処理ステップは、前記複数の閾値によって規定される差分量に応じて異なる画像処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像処理ステップは、前記複数の閾値によって規定される差分量に応じた異なる画像処理として、前記高感度画素対応素子の出力データと低感度画素対応素子の出力データとの利用比率を変更した画像処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記評価画像比較ステップは、前記高感度画素評価画像と、前記低感度画素評価画像の比較処理において、高周波成分をカットした評価画像を生成して比較を行うステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像処理ステップは、前記２つの評価画像における対応画素間の差異の大きい画素および該画素の周囲画素領域について、前記高感度画素対応素子の出力データまたは低感度画素対応素子の出力データの一方のデータのみに基づく画像処理を実行して画像を生成する処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記評価画像比較ステップは、前記高感度画素評価画像と、前記低感度画素評価画像の比較処理において、補間処理を実行する前のデータを適用した比較処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記撮像素子を構成する高感度画素対応素子は、可視光領域および赤外光などの不可視光を受光する素子であることを特徴とする。

さらに、本発明の第３の側面は、
撮像装置において画像処理を実行させるコンピュータ・プログラムであり、
制御部の制御の下、相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子を適用し、高感度画素対応素子と、低感度画素対応素子との露光期間を独立に制御して撮影された撮像素子の出力信号を画像生成部に入力させるステップと、
前記画像生成部において、前記高感度画素対応素子の出力データに基づく高感度画素評価画像と、前記低感度画素対応素子の出力データに基づく低感度画素評価画像との比較処理を実行させる評価画像比較ステップと、
前記画像生成部において、２つの評価画像における対応画素の画素値差分または画素値比率に基づき対応画素間の差異が小さいと判断された画素領域と、差異が大きいと判断された画素領域とを区分し、各々の画素領域において異なる画像処理を実行して画像を生成させる画像処理ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、ＲＧＢＷなどの撮像素子、すなわち低感度画素対応素子（ＲＧＢ）と高感度画素対応素子（Ｗ）を持つ撮像素子を適用し、低感度画素対応素子の露光時間を長く設定し、高感度画素対応素子の露光時間を短く設定した撮影を実行する構成において、低感度画素対応素子（ＲＧＢ）のみのデータからなる評価画像と、高感度画素対応素子（Ｗ）のみのデータからなる評価画像との画素値比較を実行して、差分の大きい画素部分については、一方の画像のみからなる画像生成処理を実行し、差分の小さい画素部分については、２つの画像に基づく画像を生成する構成としたので、露光期間の差による移動被写体領域画像の差分によるエラーが発生しない高品質な画像を生成することができる。

以下、図面を参照しながら、本発明の撮像装置、および画像処理方法、並びにコンピュータ・プログラムについて説明する。説明は、以下の順番で行なう。
１．ＲＧＢＷ撮像素子を用いた撮像データの処理例および問題点
２．本発明に係る画像処理構成
（２．１）全体構成
（２．２）評価画像生成処理の詳細
（２．３）評価画像比較処理の詳細
３．その他の実施例
（３．１）評価画像の制御
（３．２）画像処理単位の制御
（３．３）評価画像比較処理範囲の制御
（３．４）画素値差分に応じた最適制御

［１．ＲＧＢＷ撮像素子を用いた撮像データの処理および問題点］
まず、ＲＧＢＷ撮像素子を用いた撮像データの処理例および問題点について説明する。本発明の撮像装置において適用する撮像素子は、例えば図４に示す色配列を有する。すなわち、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これらに加え、
ＲＧＢのすべてを透過するＷ、
これら４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そしてＲＧＢをすべて透過するＷチャネルからなり、この撮像素子によって４種類の分光から成るモザイク画像が得られる。

上記４種類のフィルタの分光特性について、図５を参照して説明する。図５は、横軸に波長、縦軸にＲＧＢＷ各受光素子の受光する強度を示している。強度は、各受光素子に対応するフィルタの透過率に相当する。Ｂ素子は、青色に相当する４５０ｎｍ付近の波長の光信号の透過率が高いフィルタが備えられ、Ｂ素子の受光する光の強度分布は、青色に相当する４５０ｎｍ付近の波長の光信号の強度が最も高い。Ｇ素子に対応するフィルタは、緑色に相当する５５０ｎｍ付近の波長の光信号の透過率が高いフィルタであり、Ｇ素子の受光する光の強度分布は、緑色に相当する５５０ｎｍ付近の波長の光信号の強度が最も高い。Ｒ素子に対応するフィルタは、赤色に相当する６００ｎｍ付近の波長の光信号の透過率が高いフィルタであり、Ｒ素子の受光する光の強度分布は、赤色に相当する６００ｎｍ付近の波長の光信号の強度が最も高い。Ｗ素子に対応するフィルタは、ＲＧＢ成分のすべての信号を透過する性質を持ち、Ｗ素子は、ＲＧＢ各波長領域の全ての可視光を受光する。

このように、本発明の撮像装置において適用する撮像素子は、ＲＧＢ等の特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子（ＲＧＢ素子）と、ＲＧＢ等の可視光全成分を含む光信号を取得する広波長領域信号取得素子（Ｗ素子）によって構成される素子配列を持つ単板式撮像素子である。

本発明の撮像装置において適用する撮像素子は、このような４種類のＲＧＢＷ対応の透過フィルタを持つ撮像素子であり、図４に示すように、ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号全成分を取得するＷ素子によって構成される。なお、ＲＧＢＷの配列は、図４に示す配列構成の他の設定も可能であり、例えば図６に示す配列としてもよい。図６に示す光学フィルタ配列は、図３に示す配列を４５度回転させた構成に相当する。

図４、図６いずれにおいても、Ｗ信号の取得素子は、市松状に配置されている。本発明の撮像装置では、図４や図６に示す撮像素子を適用して撮影した画像データに基づいて信号処理を実行する。

次に、図４または図６に示す撮像素子を適用して撮影した画像データに基づく一般的な信号処理例について、図７を参照して説明する。図７は、図４または図６に示すＲＧＢＷの配列を持つ撮像素子において撮影された画像の信号処理によって、輝度信号（Ｗ）と、２つの色差信号（Ｒ−Ｗ）、（Ｂ−Ｗ）を取得するための信号処理構成を示す図である。なお、撮像素子によって取得されたデータに対しては、例えばホワイトバランス調整などの処理が実行されることになるが、これらの処理は、従来と同様の処理であり、図７には示していない。

図７に示す構成は、図４または図６に示すＲＧＢＷの配列を持つ撮像素子（ＣＣＤ）１０１によって取得される信号から、Ｗ素子の取得信号であるモザイク画像を取得し、広波長領域信号によるＷデモザイク画像を輝度信号として生成する輝度信号生成部と、ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を取得し、可視光領域信号に対応するＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づく色差信号を生成する色差信号生成部とから構成される。図７において、ローパスフィルタ１１１が輝度信号生成部に相当し、ローパスフィルタ１１２〜１１７およびマトリクス演算部１１７が色差信号生成部に相当する。

図７の構成を適用した信号処理について説明する。まず、図４または図６に示すＲＧＢＷの配列を持つ撮像素子（ＣＣＤ）１０１において撮影された信号は、ＡＤ変換部１０２においてデジタルデータに変換される。ここで、生成される信号は、ＲＧＢＷ各々に対応する４つのモザイク画像となる。

例えば、図４を参照して説明した色配列を持つ撮像素子を適用した場合、図８（１）に示すような４つのＲＧＢＷ各々のモザイク画像が取得される。これらの４つのモザイク画像は、画素値の存在しない画素部分を周囲の画素値によって補間する処理によって、全ての画素の画素値を設定する補間処理を実行するローパスフィルタ１１１〜１１６にそれぞれ入力され、デモザイク処理が実行される。

デモザイク処理は、先に図３を参照して説明したように、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、すべての画素の画素値を設定する処理によって行なわれる。例えば、公知のＶａｒｇｒａのアルゴリズムと同様な方法を適用することができる。Ｖａｒｇｒａのアルゴリズムは、画素値の８方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行うアルゴリズムである。

このデモザイク処理は、画素値の存在しない画素部分の画素値を周囲画素の画素値によって決定する処理である。この処理には、いわゆる二次元ＦＩＲフィルタによって行なわれる。すなわち、画素位置に対応する係数を持つフィルタが適用される。なお、Ｒ，Ｂについては、２段階のローパスフィルタが適用され、オフセットサブサンプリングに対応する補間フィルタとしてのローパスフィルタ１１３，１１４での処理の後、ローパスフィルタ１１２と同様のローパスフィルタ１１５，１１６によって、すべての画素の画素値の設定が行なわれる。

この補間処理によって、例えば、図８（２）に示すようなデモザイク画像が得られる。デモザイク画像１５１が、図７に示すローパスフルタ１１３，１１５における補間処理によって生成されるＲチャネルのデモザイク画像であり、デモザイク画像１５２が、図７に示すローパスフルタ１１２における補間処理によって生成されるＲチャネルのデモザイク画像であり、デモザイク画像１５３が、図７に示すローパスフルタ１１４，１１６における補間処理によって生成されるＢチャネルのデモザイク画像であり、デモザイク画像１５４が、図７に示すローパスフルタ１１１における補間処理によって生成されるＷチャネルのデモザイク画像である。

図８（２）に示す４つのデモザイク画像中のＲＧＢＷはモザイク画像によって得られる画素値であり、ｒｇｂｗはデモザイク処理によって得られる補間画素値を示している。

図７に示すローパスフルタ１１１における補間処理によって生成される図８に示すデモザイク画像１１４では、Ｗチャネル、すなわち、ＲＧＢの可視光領域の全波長領域を含む光の強度に対応する画素値が、各画素に設定されることになる。このデモザイク画像は、図７に示すように、ローパスフィルタ１１１からの出力として得られる。

一方、ローバスフィルタ１１２〜１１６において生成されたＲＧＢ対応のデモザイク画像、すなわち、図８（２）に示すデモザイク画像１５１〜１５３は、図７に示すマトリクス演算部１１７に入力され、ＲＧＢ各信号に基づくマトリックス演算によって、色差信号［Ｒ−Ｗ］、［Ｂ−Ｗ］が生成されて出力される。

しかしながら、このようなＲＧＢＷの配列を持つ受光素子を持つ撮像素子において、露光期間を同じにしてしまうと、可視光全般の波長の光を受光するＷ対応の素子の受光量が赤（Ｒ）、緑（Ｇ）、青（Ｂ）対応の素子に比較して、大量の光を受光することになる。このような組み合わせ配列においては、一方の素子に応じて光量を調整すると他方の素子に対応する適正な光量とならないという問題が発生する。このような配列においては、前述したように、一方の素子感度に応じて光量を調整すると他方の素子に対応する適正な光量とならないという問題が発生する。本発明の撮像装置では、このような感度の異なる受光素子の組み合わせ配列を持つ撮像素子を適用した構成において、感度のアンバランスを調整し、品質の高い画像データを得ることを可能とする。

本発明の出願人は、先の特許出願：特願２００６−３１９３２において、感度の異なる受光素子の組み合わせ配列を持つ撮像素子を適用した構成において、感度のアンバランスを調整するための構成として、高感度画素対応素子と低感度画素対応素子とを独立に制御して、それぞれの露光時間を異ならせることで、それぞれの素子に適応した光量を受光する制御構成を持つ装置を提案した。具体的には、低感度画素対応素子に対しては、露光時間を長くして、高感度画素対応素子には露光時間を短くして撮影処理を実行して、これらの撮影画像の合成によって最終的な画像を生成するものである。

しかしながら、このような制御構成とすると、静止被写体を撮影する場合には、問題がないが、動きのある被写体を撮影した場合に問題が発生する。この問題点について、図９を参照して説明する。図９（ａ）は、撮影しようとする被写体の時間経過に伴う状態遷移を示している。時間ｔ１からｔ５に進む期間に、被写体に含まれるボールが左から右に移動している。

この被写体を高感度画素対応素子（Ｗ）と低感度画素対応素子（ＲＧＢ）とを独立に制御して、それぞれの露光時間を異ならせることで、それぞれの素子に適応した光量を受光する制御により、撮影を実行することを想定する。この場合、低感度画素対応素子（ＲＧＢ）の露光時間は図９（ａ）に示す期間Ｔ１、高感度画素対応素子（Ｗ）の露光時間は図９（ａ）に示す期間Ｔ２とする。ここで、Ｔ１＞Ｔ２である。

この結果として、低感度画素対応素子（ＲＧＢ）の取得画像は、時間ｔ１〜ｔ５の画像、すなわち、図９（ｂ１）に示す低感度画素対応素子撮影画像となり、一方、高感度画素対応素子（Ｗ）の取得画像は、時間ｔ１〜ｔ２の画像、すなわち、図９（ｂ２）に示す高感度画素対応素子撮影画像となる。これらの画像から合成画像を生成することになるが、図９（ｂ１）に示す低感度画素対応素子撮影画像と、図９（ｂ２）に示す高感度画素対応素子撮影画像とでは明らかに異なる被写体の画像部分が含まれる。

すなわち、図９（ｂ１）に示す低感度画素対応素子撮影画像には、時間ｔ１〜ｔ３の期間のボールの移動部分が含まれるが、図９（ｂ２）に示す高感度画素対応素子撮影画像には、時間ｔ１〜ｔ３の期間のボールの移動部分が含まれず、この部分には背景画像が撮影されている。従って、この画像部分においては、図７の構成を持つ信号処理回路における色差信号［Ｒ−Ｗ］、［Ｂ−Ｗ］は、ボールの画像情報からのみ生成されるが、輝度信号（Ｗ）は背景画像であり、両者を合成した画像は、実際に存在しないような画像が出力されることになる。

［２．本発明に係る画像処理構成］
以下、本発明の画像処理構成について説明する。本発明の画像処理では、上記問題点、すなわち、異なる感度の素子から構成されるＲＧＢＷの撮像素子に対して、感度に応じた露光時間制御を行って撮影を実行する構成において、被写体に移動物体が含まれる場合であっても、より正確な画像を出力可能とするものである。

（２．１）全体構成
本発明の撮像装置の構成を図１０に示す。撮像装置２００は、低感度画素対応素子２０２と高感度画素対応素子２０３の組み合わせ構成を持つ撮像素子２０１と、撮像素子２０１における低感度画素対応素子２０２と、高感度画素対応素子２０３の露光期間を独立に制御する露光制御部２０５と画像生成部２１０を有する。画像生成部２１０は、低感度画素評価画像生成部２１４、高感度画素評価画像生成部２１５、評価画像比較部２１６、画像処理態様決定部２１７、画像処理部２１８を有する。

撮像素子２０１は、アレイ上に配置された複数素子からなる撮像素子であり、相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子である。例えば、先に図４、図６を参照して説明した
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
ＲＧＢのすべてを透過するＷ、
これら４種類のＲＧＢＷ受光素子からなる受光素子である。低感度画素対応素子２０２が、ＲＧＢ素子、高感度画素対応素子２０３が、Ｗ素子に対応する。なお、高感度画素対応素子２０３は、可視光の全波長を受光する素子であってもよいが、可視光および赤外光などの不可視光領域を受光する素子として構成してもよい。

露光制御部２０５は、撮像素子２０１における低感度画素対応素子２０２と、高感度画素対応素子２０３の露光期間を独立に制御する。すなわち、高感度画素対応素子（Ｗ）と低感度画素対応素子（ＲＧＢ）とを独立に制御して、それぞれの露光時間を異ならせることで、それぞれの素子に適応した光量を受光する制御により、撮影を実行させる。具体的には、先に図９を参照して説明したように、低感度画素対応素子（ＲＧＢ）の露光時間は図９（ａ）に示す期間Ｔ１、高感度画素対応素子（Ｗ）の露光時間は図９（ａ）に示す期間Ｔ２のように、低感度画素対応素子に対しては、露光時間を長くして、高感度画素対応素子には露光時間を短くする制御を行なう。

画像生成部２１０は、制御部の制御の下、撮像素子２０１の出力信号を入力し、入力信号に基づいて画像生成処理を実行する。低感度画素評価画像生成部２１４は、低感度画素対応素子２０２の受光データのみから第１の評価画像としての低感度画素評価画像ＷＬを生成する。低感度画素評価画像ＷＬは、Ｗ素子によって取得されるＷ信号を適用することなく、ＲＧＢ素子によって取得されるＲ，Ｇ，Ｂ信号のみに基づいて生成される画像データである。この画像データは、ＲＧＢ信号のみに基づく補間処理によって生成される。補間処理は、先に図８を参照して説明したデモザイク処理を適用した処理である。

一方、高感度画素評価画像生成部２１５は、高感度画素対応素子２０３の受光データのみから第２の評価画像としての高感度画素評価画像ＷＨを生成する。高感度画素評価画像ＷＨは、Ｗ素子によって取得されるＷ信号のみに基づいて生成される画像データである。この画像データは、Ｗ信号のみに基づく補間処理によって生成される。補間処理は、先に図８を参照して説明したデモザイク処理を適用した処理である。

評価画像比較部２１６は、低感度画素評価画像生成部２１４の生成したＲ，Ｇ，Ｂ信号のみに基づく低感度画素評価画像ＷＬと、高感度画素評価画像生成部２１５の生成したＷ信号のみに基づく高感度画素評価画像ＷＨとの比較を実行する。評価画像比較部２１６は、各画像の対応画素の画素値比較を実行する。例えば、予め定めた閾値より大きい画素値差分を有する画素領域を特定する。

予め定めた閾値より大きい画素値差分を持つ領域は、例えば先に図９を参照して説明した移動被写体の有無が２つの画像間で発生している画素部分に相当する。評価画像比較部２１６は、２つの評価画像に基づいて、予め定めた閾値より大きい画素値差分を持つ画素領域を特定し、画素領域特定情報を画像処理態様決定部２１７に出力する。

画像処理態様決定部２１７は、評価画像比較部２１６から入力する画素領域特定情報に基づいて、画素単位での画像処理態様を決定し、画像処理部２１８を制御して、各画素単位で最適な画像処理を実行させる。具体的には、画像処理態様決定部２１７は、予め定めた閾値より大きい画素値差分を持つ画素領域については、高感度画素対応素子（Ｗ素子）の信号（Ｗ）を適用することなく低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）のみに基づく画像を画像処理部２１８において生成させる。一方、予め定めた閾値以下の画素値差分を持つ画素領域については、高感度画素対応素子（Ｗ素子）の信号（Ｗ）と低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）の双方に基づく画像を画像処理部２１８において生成させる。

なお、画像処理部２１８において、高感度画素対応素子（Ｗ素子）の信号（Ｗ）と低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）の双方に基づいて画像を生成する処理は、先に、図７を参照して説明した信号処理であり、ＲＧＢＷ信号を入力として、輝度信号（Ｗ）、色差信号（Ｒ−Ｗ），（Ｂ−Ｗ）を生成する。一方、画像処理部２１８において、高感度画素対応素子（Ｗ素子）の信号（Ｗ）を適用することなく低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）のみに基づく画像を生成する処理は、図７を参照して説明した構成において、ＲＧＢのみを入力とし、Ｗの代わりに信号（Ｒ＋Ｇ＋Ｂ）を適用した処理として実行される。すなわち、Ｒ＋Ｇ＋Ｂを擬似的な輝度信号Ｗ'として利用して、輝度信号（Ｗ'）、色差信号（Ｒ−Ｗ'），（Ｂ−Ｗ'）を生成する。

（２．２）評価画像生成処理の詳細
低感度画素評価画像生成部２１４が生成するＲ，Ｇ，Ｂ信号のみに基づく低感度画素評価画像ＷＬと、高感度画素評価画像生成部２１５の生成するＷ信号のみに基づく高感度画素評価画像ＷＨとは、正確な画素値比較を可能とするため、撮像素子の特性に応じた制御を行うことが好ましい。

具体的な評価画像の生成処理について、図１１を参照して説明する。先に、説明したように、低感度画素評価画像生成部２１４が生成するＲ，Ｇ，Ｂ信号のみに基づく低感度画素評価画像ＷＬと、高感度画素評価画像生成部２１５の生成するＷ信号のみに基づく高感度画素評価画像ＷＨとの比較は、各対応画素の画素値の比較処理として実行される。この場合、高感度画素評価画像ＷＨの各画素の画素値は、可視光領域の全波長領域の入射光量によって決定される。

図１１（Ａ）は、先に、図５を参照して説明したと同様の撮像素子のフィルタの分光特性を示している。ＲＧＢＷ各素子に対応するフィルタの特性を示している。ＷはＲＧＢの波長領域を含む可視光全領域を透過し、ＲＧＢのそれぞれは、それぞれ赤、緑、青の波長を透過して受光することになる。

このような特性を持つ受光素子によって得られたＷ信号のみから生成した評価画像と、ＲＧＢ信号のみからなる評価画像を正確に比較するため、評価画像の調整処理を行なう。すなわち、図１１（Ｂ）に示すような特性曲線：ａＲ＋ｂＧ＋ｃＢ＝ＷＬを求め、この特性曲線に基づいてＲＧＢのみからなる評価画像を算出する。ａ，ｂ，ｃは係数としてのパラメータであり、撮像素子の分光特性に応じて決定する。具体的には、ａＲ＋ｂＧ＋ｃＢ＝ＷＬによって算出されるＷＬのラインとＷのラインとの差分が最も小さくなるようなパラメータａ，ｂ，ｃを算出する。このパラメータ算出には、例えば最小二乗法を適用する。

係数としてのパラメータａ，ｂ，ｃの算出処理の具体例について説明する。パラメータ：ａ，ｂ，ｃは、以下の手順で算出することができる。まず、Ｒ，Ｇ，Ｂの分光特性に基づいて低感度画素評価画像における各波長対応の強度ＷＬ（λ）を以下の式によって算出する。

上記式において、λは波長であり、Ｒ（λ）、Ｇ（λ）、Ｂ（λ）の各々は、各波長（λ）における各ＲＧＢ素子の受光強度を示している。ここで、
誤差＝Ｗ（λ）−ＷＬ（λ）
上記誤差が最小となるように、係数ａ，ｂ，ｃを算出する。

なお、この係数としてのパラメータ：ａ，ｂ，ｃは、撮影環境によって最適な値が異なり、撮影環境によって異なるパラメータを適用することが好ましい。すなわち、太陽光、蛍光灯、白熱灯など、照射される光源が異なると光源に含まれる波長成分が異なるため最適なパラメータが変化する。従って、このような光源に応じてパラメータを算出または選択することが好ましい。

このような、光源に基づくパラメータ（ａ，ｂ，ｃ）選択を実行して低感度画素評価画像ＷＬを生成する低感度画素評価画像生成部２１４の構成を図１２に示す。図１２は、図１０を参照して説明した撮像装置における低感度画素評価画像生成部２１４の詳細構成例を示すブロック図である。低感度画素評価画像生成部２１４は、光源情報入力部２５１、パラメータ選択部２５２、パラメータテーブル２５３、評価画像生成部２５４を有する。

光源情報入力部２５１は、撮影環境の光源情報を入力する。具体的には、ユーザによる入力部として構成し、太陽光、蛍光灯、白熱灯などの光源情報を入力する。あるいは、センサによる光分析情報を入力し、太陽光、蛍光灯、白熱灯などの光源解析情報を入力する構成としてもよい。

パラメータ選択部２５２は、光源情報入力部２５１から入力される光源情報に基づいて、低感度画素評価画像を生成するための適用係数としてのパラメータ（ａ，ｂ，ｃ）を選択する。記憶部に格納されたパラメータテーブル２５３には、太陽光、蛍光灯、白熱灯などの光源に対応するパラメータが格納されており、パラメータ選択部２５２は、光源情報入力部２５１から入力される光源情報に対応するパラメータを選択して、評価画像生成部２５４に入力する。

評価画像生成部２５４は、低感度画素対応素子（ＲＧＢ素子）に基づく画像を入力し、パラメータ選択部２５２から入力するパラメータを適用して評価画像ＷＬ＝ａＲ＋ｂＧ＋ｃＢを生成する。この生成評価画像ＷＬが、図１０に示す撮像装置中の評価画像比較部２１６に入力され、高感度画素評価画像生成部２１５から入力するＷ素子の受光データによって生成された高感度画素評価画像ＷＨとの比較処理が実行される。

（２．３）評価画像比較処理の詳細
次に、図１０に示す撮像装置中の評価画像比較部２１６における評価画像の比較処理の詳細について説明する。前述したように、評価画像比較部２１６は、低感度画素評価画像生成部２１４の生成したＲ，Ｇ，Ｂ信号のみに基づく低感度画素評価画像ＷＬと、高感度画素評価画像生成部２１５の生成したＷ信号のみに基づく高感度画素評価画像ＷＨとの比較を実行する。

評価画像比較部２１６は、各画像の対応画素の画素値比較を実行し、予め定めた閾値以上の画素値差分を有する画素領域を特定する。評価画像比較部２１６は、低感度画素評価画像ＷＬと、高感度画素評価画像ＷＨの２枚の画像を比較し、この比較結果から、２枚の画像を用いた処理を行うか、１枚の画像（低感度画素対応素子（ＲＧＢ）対応画像）のみを用いた処理を実行するかの判定を行う。

画素値の比較は、各評価画像の対応画素の画素値比較演算処理として実行される。比較演算は、２枚の画像の各対応画素の差分、あるいは比率の算出によって実行される。以下、差分を用いた比較演算処理例について説明する。

評価画像比較部２１６は、以下の式に基づいて、各評価画像の対応画素の差分Ｅを算出する。
Ｅ＝Ｘ_ＷＬ−Ｘ_ＷＨ
上記式において、
Ｘ_ＷＬ：低感度画素評価画像ＷＬの画素値
Ｘ_ＷＨ：高感度画素評価画像ＷＨの画素値
である。

評価画像比較部２１６は、上記式に基づいて算出した差分Ｅの絶対値｜Ｅ｜を予め規定した閾値ＴＨと比較する。
｜Ｅ｜＞ＴＨ
上記式が成立する場合、すなわち、差分絶対値が閾値ＴＨより大きい画素領域は、例えば先に図９を参照して説明した移動被写体の有無が２つの画像間で発生している画素部分に相当する。

このように、評価画像比較部２１６は、２つの評価画像に基づいて、予め定めた閾値より大きい画素値差分を持つ画素領域を特定し、画素領域特定情報を画像処理態様決定部２１７に出力する。画像処理態様決定部２１７は、評価画像比較部２１６から入力する画素領域特定情報に基づいて、画素単位での画像処理態様を決定し、画像処理部２１８を制御して、各画素単位で最適な画像処理を実行させる。具体的には、画像処理態様決定部２１７は、予め定めた閾値より大きい画素値差分を持つ画素領域については、高感度画素対応素子（Ｗ素子）の信号（Ｗ）を適用することなく低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）のみに基づく画像を画像処理部２１８において生成させる。一方、予め定めた閾値以下の画素値差分を持つ画素領域については、高感度画素対応素子（Ｗ素子）の信号（Ｗ）と低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）の双方に基づく画像を画像処理部２１８において生成させる。

なお、評価画像比較部２１６において適用する閾値ＴＨの具体例としては、例えば、各画素値が８ｂｉｔ（２５６階調）と仮定した場合、ＴＨ＝１０階調とする。すなわち、低感度画素評価画像ＷＬの画素値［Ｘ_ＷＬ］と、高感度画素評価画像ＷＨの対応する画素の画素値［Ｘ_ＷＨ］の差分が１０階調を超えるか否かを判定する。差分が１０階調を超える場合は、その画素領域は、各評価画像において異なる画像を持つ領域、すなわち、図９を参照して説明した移動被写体の有無が２つの画像間で発生している画素部分（破綻領域）に相当すると判断する。

しかし、実際には、低感度画素評価画像ＷＬと高感度画素評価画像ＷＨの分光特性を全く同一にするのは困難であるため、判定値は、ある程度の値を持たせる必要があり、双方の分光特性の一致具合で調整するのが望ましい。画像処理態様決定部２１７は、評価画像比較部２１６から入力する判定情報に基づいて、画素単位での画像処理態様を決定し、画像処理部２１８を制御して、各画素単位で最適な画像処理を実行させる。すなわち、高感度の画素と低感度の画素の両者の情報を用いて画像生成を行うか、どちらか一方の情報のみで画像生成を行うかを画素毎に決定する。本実施例の場合、カラー情報を低感度画素が持っているため、差分Ｅが閾値より大きい画像領域は、低感度画素のみを用いて画像生成を実行する。

図９を参照して説明した移動被写体の有無が２つの画像間で発生している画素部分（破綻領域）は、予め定めた閾値より大きい画素値差分を持つ画素領域であり、高感度画素対応素子（Ｗ素子）の信号（Ｗ）を適用することなく低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）のみに基づく画像を画像処理部２１８において生成させる。一方、その他の画像領域、すなわち両画像が共通する被写体を撮影している部分は、予め定めた閾値以下の画素値差分を持つ画素領域であり、高感度画素対応素子（Ｗ素子）の信号（Ｗ）と低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）の双方に基づく画像を画像処理部２１８において生成させる。なお、フィルタ配列からみるＲＧＢのサンプリング周波数は、Ｗよりも低いため、低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）のみに基づく画像の解像度は低下することになるが、この部分は、元々被写体が動いている領域であり解像度の劣化は目立たない。

画像処理部２１８は、各画素領域において、それぞれの画素値差分に応じた画像生成処理を実行し、最終的に生成した各画素毎の生成データを合成して１枚の画像を出力画像として生成する。

なお、前述したように、画像処理部２１８において、高感度画素対応素子（Ｗ素子）の信号（Ｗ）と低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）の双方に基づいて画像を生成する処理は、先に、図７を参照して説明した信号処理であり、ＲＧＢＷ信号を入力として、輝度信号（Ｗ）、色差信号（Ｒ−Ｗ），（Ｂ−Ｗ）を生成する。一方、画像処理部２１８において、高感度画素対応素子（Ｗ素子）の信号（Ｗ）を適用することなく低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）のみに基づく画像を生成する処理は、図７を参照して説明した構成において、ＲＧＢのみを入力とし、Ｗの代わりに信号（Ｒ＋Ｇ＋Ｂ）を適用した処理として実行される。すなわち、Ｒ＋Ｇ＋Ｂを擬似的な輝度信号Ｗ'として利用して、輝度信号（Ｗ'）、色差信号（Ｒ−Ｗ'），（Ｂ−Ｗ'）を生成する。

このように、本発明の撮像装置では、ＲＧＢＷなどの撮像素子、すなわち低感度画素対応素子（ＲＧＢ）と高感度画素対応素子（Ｗ）を持つ撮像素子を適用し、低感度画素対応素子の露光時間を長く設定し、高感度画素対応素子の露光時間を短く設定した撮影を実行する構成において、低感度画素対応素子（ＲＧＢ）のみのデータからなる評価画像と、高感度画素対応素子（Ｗ）のみのデータからなる評価画像との画素値比較を実行して、差分の大きい画素部分については、一方の画像のみからなる画像生成処理を実行し、差分の小さい画素部分については、２つの画像に基づく画像を生成する構成としたので、先に図９を参照して説明したような露光期間の差による移動被写体領域画像の差分によるエラーが発生しない高品質な画像を得ることができる。

なお、上述の実施例では、高感度画素対応素子２０３は、可視光の全波長を受光する素子として説明したが、前述したように、可視光および赤外光などの不可視光領域を受光する素子として構成してもよい。

［３．その他の実施例］
次に、上述した本発明の撮像装置構成を基本構成として、いくつかの変更点を加えた複数の実施例について説明する。

（３．１）評価画像の制御
上述した撮像装置構成において、低感度画素評価画像生成部２１４が生成するＲ，Ｇ，Ｂ信号のみに基づく低感度画素評価画像ＷＬと、高感度画素評価画像生成部２１５の生成するＷ信号のみに基づく高感度画素評価画像ＷＨとは、正確な画素値比較を可能とするため、撮像素子の特性に応じた制御を行うことが好ましい。上述した実施例では、係数としてのパラメータａ，ｂ，ｃを決定して、低感度画素評価画像ＷＬ＝ａＲ＋ｂＧ＋ｃＢを生成する処理例を説明した。

しかし、高感度画素評価画像生成部２１５の生成するＷ信号のみに基づく高感度画素評価画像ＷＨの解像度と、低感度画素評価画像生成部２１４が生成するＲ，Ｇ，Ｂ信号のみに基づく低感度画素評価画像ＷＬの解像度とを比較すると、高感度画素評価画像ＷＨの解像度の方が高くなる。このため、画像の高周波領域で差分値が大きくなる傾向がある。つまり、被写体のエッジ部分において、２つの評価画像間で大きな差分が発生する傾向がある。

高周波成分をカットした評価画像を生成して比較を行うことで、この問題が解決できる。このような高周波成分のカット処理を実行する実施例について説明する。図１３は、本実施例に係る撮像装置の構成例を示す図である。図１３に示す撮像装置２８０は、先に説明した図１０に示す撮像装置２００と同様の構成部として、低感度画素対応素子２０２と高感度画素対応素子２０３の組み合わせ構成を持つ撮像素子２０１と、画像生成部２８１における低感度画素評価画像生成部２１４、高感度画素評価画像生成部２１５、評価画像比較部２１６、画像処理態様決定部２１７、画像処理部２１８を有する。さらに、本実施例の構成では、低感度画素評価画像生成部２１４の生成した評価画像の高域成分カットを実行するローパスフィルタ（ＬＰＦ）２８２と、高感度画素評価画像生成部２１５の生成した評価画像の高域成分カットを実行するローパスフィルタ（ＬＰＦ）２８３を有する。

評価画像比較部２１６は、低感度画素評価画像生成部２１４の生成したＲ，Ｇ，Ｂ信号のみに基づく低感度画素評価画像に対して、ローパスフィルタ（ＬＰＦ）２８２において高域成分がカットされた評価画像ＷＬ'と、高感度画素評価画像生成部２１５の生成したＷ信号のみに基づく高感度画素評価画像に対して、ローパスフィルタ（ＬＰＦ）２８３において高域成分がカットされた評価画像ＷＨ'とを入力して画像比較を実行する。この処理によって、被写体のエッジ部分において、２つの評価画像間で大きな差分が発生する傾向を排除することが可能となり、正確な画像比較が可能となる。なお、ローパスフィルタは例えば、ガウシアンフィルタなどが適用可能であり、それぞれの周波数帯域が、より近くなるようにフィルタのサイズ（タップ数）や形状を最適化する。

（３．２）画像処理単位の制御
先に説明したように、評価画像比較部２１６は、低感度画素評価画像生成部２１４の生成したＲ，Ｇ，Ｂ信号のみに基づく低感度画素評価画像ＷＬと、高感度画素評価画像生成部２１５の生成したＷ信号のみに基づく高感度画素評価画像ＷＨとの比較を、各画像の対応画素の画素値比較として実行し、画像処理態様決定部２１７は、評価画像比較部２１６から入力する画素領域特定情報に基づいて、１画素単位での画像処理態様を決定し、画像処理部２１８を制御して、各画素単位で最適な画像処理を実行させる。具体的には、画像処理態様決定部２１７は、予め定めた閾値より大きい画素値差分を持つ画素領域については、高感度画素対応素子（Ｗ素子）の信号（Ｗ）を適用することなく低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）のみに基づく画像を画像処理部２１８において生成させる。一方、予め定めた閾値以下の画素値差分を持つ画素領域については、高感度画素対応素子（Ｗ素子）の信号（Ｗ）と低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）の双方に基づく画像を画像処理部２１８において生成させる。

しかし、このような１画素単位での評価を実行して画像処理態様を決定して画像処理を行なう構成とした場合、移動被写体の状況によっては、２つの評価画像において、本来、異なる被写体部分が撮影されているにも関わらず、偶然、差分のない画素値になってしまうことも発生し、そのような場合には、正しい画像処理が実行されない画素領域が発生する可能性がある。このようなエラーを防ぐためには、画像の処理単位を１画素単位とするのではなく、複数の画素を含む領域を画像処理単位とする手法が有効となる。このように、画像処理態様決定部２１７は、複数の画素を含む領域を画像処理単位とした処理態様を決定し、画像処理部２１８において実行させる。

画像処理態様決定部２１７における画像処理態様決定理例について、図１４を参照して説明する。例えば、図１４に示すように、ある１つの破綻画素２９１、すなわち、低感度画素評価画像ＷＬと、高感度画素評価画像ＷＨの差分が閾値より大きい破綻画素２９１が検出された場合、その破綻画素２９１を中心とする複数画素領域２９２を１つの画像処理態様での画像処理を実行する領域として設定する。すなわち、高感度画素対応素子（Ｗ素子）の信号（Ｗ）を適用することなく低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）のみに基づく画像を画像処理部２１８において生成させる領域とする。図に示す例では、破綻画素２９１を中心とする５×５の複数画素領域２９２を１つの画像処理単位とした例である。この処理により、破綻エリアの取りこぼしを少なくすることができる。

（３．３）評価画像比較処理範囲の制御
先に説明したように、評価画像比較部２１６は、低感度画素評価画像生成部２１４の生成したＲ，Ｇ，Ｂ信号のみに基づく低感度画素評価画像ＷＬと、高感度画素評価画像生成部２１５の生成したＷ信号のみに基づく高感度画素評価画像ＷＨとの比較を、各画像の対応画素の画素値比較として実行する。

上述した処理例では、先に図８を参照して説明したデモザイク処理、すなわち、低感度画素対応素子の出力データによる補間処理を実行して生成した補間画像に基づいて低感度画素評価画像ＷＬを生成し、同様に、補間画像に基づいて高感度画素評価画像ＷＨを生成して、これらの画像間の評価を実行する構成であった。以下、このような補間処理を実行する前の画像に基づく比較処理構成について説明する。

評価画像比較部２１６の画像比較処理例について、図１５を参照して説明する。図１５は、ＲＧＢＷの素子構成を持つ撮像素子の出力であり、ＲＧＢＷ各信号に対応する補間処理、すなわち、デモザイク処理前のデータである。評価画像比較部２１６はこの補間処理前のデータを撮像素子から入力し、図に示すようにＲＧＢＷのすべての信号が含まれる画素領域、例えば４×４の画素領域を評価単位領域２９３として設定して、比較を実行する。

評価画像比較部２１６は、４×４の画素領域を選択し、
Ｒの平均値、
Ｇの平均値、
Ｂの平均値、
これらの各平均値を算出し、これらの平均値に基づいて、４×４の画素領域におけるＷＬの平均値を算出する。さらに、４×４の画素領域におけるＷの平均値を算出する。算出した平均値ＷＬと平均値Ｗから差分を算出して、予め規定した閾値（ＴＨ）と比較を実行する。なお、比較処理はこの単位で行うが、その後、一画素ピッチで対象エリアを移動しても良いし、このエリアのピッチ（縦横４画素）で移動して比較を行うなど、様々な処理態様が可能である。

予め定めた閾値より大きい画素値差分を持つ領域については、高感度画素対応素子（Ｗ素子）の信号（Ｗ）を適用することなく低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）のみに基づく画像を画像処理部２１８において生成させる。一方、予め定めた閾値以下の画素値差分を持つ画素領域については、高感度画素対応素子（Ｗ素子）の信号（Ｗ）と低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）の双方に基づく画像を画像処理部２１８において生成させる。なお、この処理では、画像処理単位は、１画素単位ではなく、例えば４×４画素のような複数画素の領域毎に区分されて実行されることになる。

（３．４）画素値差分に応じた最適制御
前述した処理例では、１つの閾値（ＴＨ）と、２つの評価画像の画素値差分を比較して、予め定めた閾値より大きい画素値差分を持つ画素領域については、高感度画素対応素子（Ｗ素子）の信号（Ｗ）を適用することなく低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）のみに基づく画像を生成し、一方、予め定めた閾値以下の画素値差分を持つ画素領域については、高感度画素対応素子（Ｗ素子）の信号（Ｗ）と低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）の双方に基づく画像を生成する構成としており、２つの画像処理態様を選択適用する構成としていた。

以下、説明する処理例は、このような２つの画像処理態様を選択するのではなく、２つの評価画像の画素値差分の値に応じて、３以上の複数段階の異なる画像処理を実行する処理例である。

評価画像比較部２１６は、以下の式に基づいて、各評価画像の対応画素の差分Ｅを算出する。
Ｅ＝Ｘ_ＷＬ−Ｘ_ＷＨ
上記式において、
Ｘ_ＷＬ：低感度画素評価画像ＷＬの画素値
Ｘ_ＷＨ：高感度画素評価画像ＷＨの画素値
である。この処理は、前述した処理例と同様である。

評価画像比較部２１６は、上記式に基づいて算出した差分Ｅの絶対値｜Ｅ｜を予め規定した複数の閾値ＴＨ１〜ＴＨｎと比較し、差分Ｅの絶対値｜Ｅ｜に基づいて、以下のように複数の処理態様を決定する。
０≦｜Ｅ｜＜ＴＨ１：低感度：高感度＝０：１０
ＴＨ１≦｜Ｅ｜＜ＴＨ２：低感度：高感度＝３：７
ＴＨ２≦｜Ｅ｜＜ＴＨ３：低感度：高感度＝５：５
ＴＨ３≦｜Ｅ｜＜ＴＨ４：低感度：高感度＝７：３
ＴＨ４≦｜Ｅ｜：低感度：高感度＝１０：０

すなわち、２つの評価画像の差分Ｅの絶対値｜Ｅ｜が０以上ＴＨ１未満である領域は、高感度画素対応素子のデータのみからなる画像を生成し、絶対値｜Ｅ｜がＴＨ１以上ＴＨ２未満である領域は、低感度画素対応素子のデータと高感度画素対応素子のデータとの利用比率を３：７として画像を生成し、絶対値｜Ｅ｜がＴＨ２以上ＴＨ３未満である領域は、低感度画素対応素子のデータと高感度画素対応素子のデータとの利用比率を５：５として画像を生成し、絶対値｜Ｅ｜がＴＨ３以上ＴＨ４未満である領域は、低感度画素対応素子のデータと高感度画素対応素子のデータとの利用比率を７：３として画像を生成し、絶対値｜Ｅ｜がＴＨ４以上である領域は、低感度画素対応素子のデータのみから画像を生成するという設定である。

なお、評価画像比較部２１６において適用する閾値ＴＨの具体例としては、例えば、各画素値が８ｂｉｔ（２５６階調）と仮定した場合、ＴＨ１＝１０階調、ＴＨ１＝２０階調、ＴＨ１＝３０階調、ＴＨ１＝４０階調とする。

例えば、
ＴＨ１≦｜Ｅ｜＜ＴＨ２：低感度：高感度＝３：７
この領域については、図７を参照して説明した構成におけるＷ信号の利用比を、高感度画素対応素子（Ｗ素子）の信号（Ｗ）を７、低感度画素対応素子（ＲＧＢ素子）の取得信号（ＲＧＢ）から生成される擬似的な信号輝度信号Ｗ'＝Ｒ＋Ｇ＋Ｂを３とした配分で処理を実行する。

このように、どちらかの画素情報を使うか否かの二者択一ではなく、これの中間として、何割利用するか（重み）を定義し画像を生成することで、移動被写体のエリアと静止エリアの境界を自然な画像とすることができる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、ＲＧＢＷなどの撮像素子、すなわち低感度画素対応素子（ＲＧＢ）と高感度画素対応素子（Ｗ）を持つ撮像素子を適用し、低感度画素対応素子の露光時間を長く設定し、高感度画素対応素子の露光時間を短く設定した撮影を実行する構成において、低感度画素対応素子（ＲＧＢ）のみのデータからなる評価画像と、高感度画素対応素子（Ｗ）のみのデータからなる評価画像との画素値比較を実行して、差分の大きい画素部分については、一方の画像のみからなる画像生成処理を実行し、差分の小さい画素部分については、２つの画像に基づく画像を生成する構成としたので、露光期間の差による移動被写体領域画像の差分によるエラーが発生しない高品質な画像を生成することができる。

一般的なカラーフィルタで用いられる色配列としてのベイヤー配列の例について説明する図である。 単板カラー方式の固体撮像素子を具備する撮像装置の構成を示す図である。 デモザイク処理について説明する図である。 本発明において適用する撮像素子の配列構成例について説明する図である。 本発明において適用する撮像素子の分光特性を説明する図である。 本発明において適用する撮像素子の配列構成例について説明する図である。 画像信号処理構成例を説明する図である。 本発明の処理において生成されるモザイク画像とデモザイク画像について説明する図である。 露光期間の差異に基づく現象について説明する図である。 本発明の一実施例に係る撮像装置の構成例を説明する図である。 本発明において適用する評価画像の生成処理について説明する図である。 本発明の一実施例に係る撮像装置の低感度画素対応素子体欧亜評価画像生成部の構成例について説明する図である。 本発明の一実施例に係る撮像装置の構成例を説明する図である。 本発明の一実施例に係る撮像装置における画像処理実行態様について説明する図である。 本発明の一実施例に係る撮像装置における画像比較処理構成例について説明する図である。

符号の説明

１１ 光学レンズ
１２ カラーフィルタ
１３ 固体撮像素子
１４ カメラ信号処理部
１５ 画像圧縮部
１６ 記録部
２０ 固体撮像素子の出力画像
２１ デモザイク処理部
２２ デモザイク処理部の出力するＲ，Ｇ，Ｂ信号
１０１ 撮像素子（ＣＣＤ）
１０２ ＡＤ変換部
１１１〜１１６ ローパスフィルタ
１１７ マトリクス演算部
１５１〜１５４ デモザイク画像
２００ 撮像装置
２０１ 撮像素子
２０２ 低感度画素対応素子
２０３ 高感度画素対応素子
２０５ 露光制御部
２１０ 画像生成部
２１４ 低感度画素評価画像生成部
２１５ 高感度画素評価画像生成部
２１６ 評価画像比較部
２１７ 画像処理態様決定部
２１８ 画像処理部
２５１ 光源情報入力部
２５２ パラメータ選択部
２５３ パラメータテーブル
２５４ 評価画像生成部
２８０ 撮像装置
２８１ 画像生成部
２８２，２８３ ローパスフィルタ
２９１ 破綻画素
２９２ 画素領域
２９３ 画素領域

Claims (23)

1. アレイ上に配置された複数素子からなる撮像素子であり、相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子と、
   前記撮像素子における高感度画素対応素子と、低感度画素対応素子との露光期間を独立に制御する露光制御部と、
   前記撮像素子の出力信号に基づいて画像生成処理を実行する画像生成部を有し、
   前記画像生成部は、
   前記高感度画素対応素子の出力データに基づく高感度画素評価画像と、前記低感度画素対応素子の出力データに基づく低感度画素評価画像との比較処理を実行し、２つの評価画像における対応画素の画素値差分または画素値比率に基づき対応画素間の差異が小さいと判断された画素領域と、差異が大きいと判断された画素領域とを区分し、各々の画素領域において異なる画像処理を実行する構成であることを特徴とする撮像装置。
2. 前記画像生成部は、
   前記２つの評価画像における対応画素間の差異が小さいと判断された画素領域については、前記高感度画素対応素子の出力データと低感度画素対応素子の出力データの両データを適用した画像処理を実行し、差異が大きいと判断された画素領域については、前記高感度画素対応素子の出力データまたは低感度画素対応素子の出力データの一方のデータのみに基づく画像処理を実行して画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、
   ＲＧＢの各特定波長領域の光を受光する低感度画素対応素子と、可視光領域の光を受光する高感度画素対応素子とから構成され、
   前記画像生成部は、
   ＲＧＢ対応の低感度画素対応素子の出力データに基づいて生成する低感度画素評価画像をＷＬ、可視光対応の高感度画素対応素子の出力データに基づいて生成する高感度画素評価画像をＷＨとしたとき、係数としてのパラメータａ，ｂ，ｃを適用した算出式、
   ＷＬ＝ａＲ＋ｂＧ＋ｃＢ、
   に基づいて、低感度画素評価画像ＷＬを生成する構成であり、前記パラメータａ，ｂ，ｃを、撮像素子の特性に応じて決定する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
4. 前記画像生成部は、
   前記パラメータを光源に応じて異なる値を適用する構成であることを特徴とする請求項３に記載の撮像装置。
5. 前記画像生成部は、
   前記高感度画素評価画像と、前記低感度画素評価画像の対応画素の差分絶対値｜Ｅ｜と予め定めた閾値との比較処理を実行し、閾値を超える差分を持つ画素領域と閾値以下の画素領域とで異なる画像処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
6. 前記画像生成部は、
   前記高感度画素評価画像と、前記低感度画素評価画像の対応画素の差分絶対値｜Ｅ｜と予め定めた複数の閾値との比較処理を実行し、前記複数の閾値によって規定される差分量に応じて異なる画像処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
7. 前記画像生成部は、
   前記複数の閾値によって規定される差分量に応じた異なる画像処理として、
   前記高感度画素対応素子の出力データと低感度画素対応素子の出力データとの利用比率を変更した画像処理を実行する構成であることを特徴とする請求項６に記載の撮像装置。
8. 前記画像生成部は、
   前記高感度画素評価画像と、前記低感度画素評価画像の比較処理において、高周波成分をカットした評価画像を生成して比較を行う構成であることを特徴とする請求項１に記載の撮像装置。
9. 前記画像生成部は、
   前記２つの評価画像における対応画素間の差異の大きい画素および該画素の周囲画素領域について、前記高感度画素対応素子の出力データまたは低感度画素対応素子の出力データの一方のデータのみに基づく画像処理を実行して画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
10. 前記画像生成部は、
    前記高感度画素評価画像と、前記低感度画素評価画像の比較処理において、補間処理を実行する前のデータを適用した比較処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
11. 前記撮像素子を構成する高感度画素対応素子は、可視光領域および赤外光などの不可視光を受光する素子であることを特徴とする請求項１〜１０いずれかに記載の撮像装置。
12. 撮像装置において画像処理を実行する画像処理方法であり、
    相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子を適用し、高感度画素対応素子と、低感度画素対応素子との露光期間を独立に制御して撮影された撮像素子の出力信号を画像生成部に入力するステップと、
    前記画像生成部において、前記高感度画素対応素子の出力データに基づく高感度画素評価画像と、前記低感度画素対応素子の出力データに基づく低感度画素評価画像との比較処理を実行する評価画像比較ステップと、
    前記画像生成部において、２つの評価画像における対応画素の画素値差分または画素値比率に基づき対応画素間の差異が小さいと判断された画素領域と、差異が大きいと判断された画素領域とを区分し、各々の画素領域において異なる画像処理を実行して画像を生成する画像処理ステップと、
    を有することを特徴とする画像処理方法。
13. 前記画像処理ステップは、
    前記２つの評価画像における対応画素間の差異が小さいと判断された画素領域については、前記高感度画素対応素子の出力データと低感度画素対応素子の出力データの両データを適用した画像処理を実行し、差異が大きいと判断された画素領域については、前記高感度画素対応素子の出力データまたは低感度画素対応素子の出力データの一方のデータのみに基づく画像処理を実行して画像を生成する処理を実行するステップであることを特徴とする請求項１２に記載の画像処理方法。
14. 前記撮像素子は、
    ＲＧＢの各特定波長領域の光を受光する低感度画素対応素子と、可視光領域の光を受光する高感度画素対応素子とから構成され、
    前記画像生成部は、ＲＧＢ対応の低感度画素対応素子の出力データに基づいて生成する低感度画素評価画像をＷＬ、可視光対応の高感度画素対応素子の出力データに基づいて生成する高感度画素評価画像をＷＨとしたとき、係数としてのパラメータａ，ｂ，ｃを適用した算出式、
    ＷＬ＝ａＲ＋ｂＧ＋ｃＢ、
    に基づいて、低感度画素評価画像ＷＬを生成し、前記パラメータａ，ｂ，ｃを、撮像素子の特性に応じて決定する処理を実行することを特徴とする請求項１２に記載の画像処理方法。
15. 前記画像生成部は、前記パラメータを光源に応じて異なる値を適用して、前記低感度画素評価画像ＷＬを生成することを特徴とする請求項１４に記載の画像処理方法。
16. 前記評価画像比較ステップは、
    前記高感度画素評価画像と、前記低感度画素評価画像の対応画素の差分絶対値｜Ｅ｜と予め定めた閾値との比較処理を実行するステップであり、
    前記画像処理ステップは、
    閾値を超える差分を持つ画素領域と閾値以下の画素領域とで異なる画像処理を実行するステップであることを特徴とする請求項１２に記載の画像処理方法。
17. 前記評価画像比較ステップは、
    前記高感度画素評価画像と、前記低感度画素評価画像の対応画素の差分絶対値｜Ｅ｜と予め定めた複数の閾値との比較処理を実行するステップであり、
    前記画像処理ステップは、
    前記複数の閾値によって規定される差分量に応じて異なる画像処理を実行するステップであることを特徴とする請求項１２に記載の画像処理方法。
18. 前記画像処理ステップは、
    前記複数の閾値によって規定される差分量に応じた異なる画像処理として、
    前記高感度画素対応素子の出力データと低感度画素対応素子の出力データとの利用比率を変更した画像処理を実行するステップであることを特徴とする請求項１７に記載の画像処理方法。
19. 前記評価画像比較ステップは、
    前記高感度画素評価画像と、前記低感度画素評価画像の比較処理において、高周波成分をカットした評価画像を生成して比較を行うステップであることを特徴とする請求項１２に記載の画像処理方法。
20. 前記画像処理ステップは、
    前記２つの評価画像における対応画素間の差異の大きい画素および該画素の周囲画素領域について、前記高感度画素対応素子の出力データまたは低感度画素対応素子の出力データの一方のデータのみに基づく画像処理を実行して画像を生成する処理を実行するステップであることを特徴とする請求項１２に記載の画像処理方法。
21. 前記評価画像比較ステップは、
    前記高感度画素評価画像と、前記低感度画素評価画像の比較処理において、補間処理を実行する前のデータを適用した比較処理を実行するステップであることを特徴とする請求項１２に記載の画像処理方法。
22. 前記撮像素子を構成する高感度画素対応素子は、可視光領域および赤外光などの不可視光を受光する素子であることを特徴とする請求項１２〜２１いずれかに記載の画像処理方法。
23. 撮像装置において画像処理を実行させるコンピュータ・プログラムであり、
    制御部の制御の下、相対的に多くの光量を受光する高感度画素対応素子と、相対的に少ない光量を受光する低感度画素対応素子とから構成される撮像素子を適用し、高感度画素対応素子と、低感度画素対応素子との露光期間を独立に制御して撮影された撮像素子の出力信号を画像生成部に入力させるステップと、
    前記画像生成部において、前記高感度画素対応素子の出力データに基づく高感度画素評価画像と、前記低感度画素対応素子の出力データに基づく低感度画素評価画像との比較処理を実行させる評価画像比較ステップと、
    前記画像生成部において、２つの評価画像における対応画素の画素値差分または画素値比率に基づき対応画素間の差異が小さいと判断された画素領域と、差異が大きいと判断された画素領域とを区分し、各々の画素領域において異なる画像処理を実行して画像を生成させる画像処理ステップと、
    を実行させることを特徴とするコンピュータ・プログラム。

Images