JP2010200177A - 撮像装置及び画像処理プログラム - Google Patents

Abstract

【課題】ダイナミックレンジを拡大するとともにノイズを低減できる、又はＳＮ比を向上させることのできる撮像装置を提供する。
【解決手段】本撮影に先立って、被写体に対して撮像素子の受光量を異ならせてプリ撮像することにより複数の予備映像信号を取得する（Ｓ１２）。続いて、複数の予備映像信号を合成した場合のダイナミックレンジ（Ｓ１４）及びノイズ量又はＳＮ比（Ｓ１５）を算出し、このダイナミックレンジ及びノイズ量又はＳＮ比に基づいて、本撮影時の複数の本映像信号間における前記撮像素子の受光量差を算出する（Ｓ１６）。そして、算出された受光量差に基づいて本撮影を行うことにより、受光量の異なる複数の本映像信号を取得し、この本映像信号を合成して合成画像を得る。
【選択図】図７

Description

本発明は、同一被写体を複数回撮影して複数の画像にかかる映像信号を取得し、この複数の映像信号から合成映像信号を生成する撮像装置に関するものである。

一般に、電子カメラに用いられるＣＣＤイメージセンサやＣＭＯＳ型イメージセンサ等種々の固体撮像素子のダイナミックレンジは、被写体の持つダイナミックレンジに比べて狭いため、高輝度部では白飛びが発生し、低輝度部では黒つぶれが発生するという問題があった。このため、露光量の異なる複数枚の映像信号を１枚の映像信号に合成することで、ダイナミックレンジを拡大させた画像を生成する手法が提案されている。

また、特開２００７−３２４７７０号公報（特許文献１）には、露出時間は短く解像度は高いがノイズの多い画像と、露出時間は長いがノイズの少ない解像度の低い画像を合成することによりノイズを抑えた画像を取得する手法が開示されている。
また、特開２００２−１１２１０８号公報（特許文献２）には、撮影信号の鮮鋭度を強調し、複数の撮影における露光比を検出し、鮮鋭度が強調された複数の撮影信号を露光比に応じて合成する手法が開示されている。

特開２００７−３２４７７０号公報 特開２００２−１１２１０８号公報

しかしながら、特許文献１及び特許文献２に開示された発明では、ノイズを抑えた画像の取得について開示されているが、複数枚の撮影における露光差の制御については考慮されていない。

本発明は、上記問題を解決するためになされたもので、ダイナミックレンジを拡大するとともにノイズを低減できる、又はＳＮ比を向上させることのできる撮像装置を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、撮像素子を備え、被写体を本撮影して複数の本映像信号を取得するとともに、前記本撮影に先立って、前記被写体に対して前記撮像素子の受光量を異ならせてプリ撮像することにより複数の予備映像信号を取得する撮影手段と、前記複数の予備映像信号を合成した場合のダイナミックレンジを算出するダイナミックレンジ算出手段と、前記複数の予備映像信号を合成した場合のノイズ量又はＳＮ比を算出するノイズ量算出手段と、前記ダイナミックレンジ及び前記ノイズ量又は前記ＳＮ比に基づいて、本撮影時の複数の本映像信号間における前記撮像素子の受光量差を算出する受光量差算出手段と、を備えた撮像装置を提供する。

また、本発明は、撮像素子を備え、被写体を本撮影して複数の本映像信号を取得するとともに、前記本撮影に先立って、前記被写体に対して前記撮像素子の受光量を異ならせてプリ撮像することにより複数の予備映像信号を取得する撮影ステップと、前記複数の予備映像信号を合成した場合のダイナミックレンジを算出するダイナミックレンジ算出ステップと、前記複数の予備映像信号を合成した場合のノイズ量又はＳＮ比を算出する特徴量算出ステップと、前記ダイナミックレンジ及び前記ノイズ量又は前記ＳＮ比に基づいて、本撮影時の複数の本映像信号間における前記撮像素子の受光量差を算出する受光量差算出ステップと、をコンピュータに実行させる撮像プログラムを提供する。

本発明によれば、ダイナミックレンジを拡大するとともにノイズを低減できる、又はＳＮ比を向上させることができる。

本発明の第１の実施形態にかかる撮像装置の概略構成を示すブロック図である。 本発明の第１の実施形態にかかる撮像装置のダイナミックレンジ算出部の概略構成を示すブロック図である。 本発明の第１の実施形態にかかる撮像装置のノイズ量算出部の概略構成を示すブロック図である。 本発明の第１の実施形態にかかる撮像装置の受光量差算出部の概略構成を示すブロック図である。 本発明の第１の実施形態にかかる撮像装置の受光量差算出部においてダイナミックレンジの受光量差に対する近似曲線及びＳＮ比の受光量差に対する近似曲線を生成した例を示す説明図である。 本発明の第１の実施形態にかかる撮像装置において本映像信号を合成する際の重み付け係数に関する説明図である。 本発明の第１の実施形態にかかる撮像装置における受光量差算出処理の過程を示すフローチャートである。 本発明の第２の実施形態にかかる撮像装置の概略構成を示すブロック図である。 本発明の第２の実施形態にかかる撮像装置における受光量差算出処理の過程を示すフローチャートである。

以下、図面を参照して本発明の実施形態について説明する。
〔第１の実施形態〕
以下、図面を参照して本発明の第１実施形態について説明する。図１は、本実施形態に係る撮像装置の概略構成を示したブロック図である。
本実施形態にかかる撮像装置は、図１に示すように、レンズ系１００、絞り１０１、ＡＦモータ１０２、カラーフィルタ１０３、ＣＣＤ１０４、Ａ／Ｄ変換部１０５、バッファ１０６、撮影制御部１０７、画像処理部１３０、圧縮部１１３、出力部１１４、制御部１１５、外部Ｉ／Ｆ部１１６を備えている。

レンズ１００系は絞り１０１を介して被写体の像を結像し、カラーフィルタ１０３を介して撮像素子であるＣＣＤ１０４上に像を結像するように配置されている。ＡＦモータ１０２は、後述する撮影制御部１０７によって駆動制御され、撮影制御部１０７からの制御信号に基づいて、被写体に対してレンズ系１００を合焦させるように駆動される。ＣＣＤ１０４は、レンズ系１００により結像された被写体の像に基づいて電気的な画像情報を生成し、この電気的な画像情報をＡ／Ｄ変換部１０５に出力する。なお、本実施の形態においては、ＣＣＤ１０４はＲＧＢ原色系の単板ＣＣＤを用いるものとし、Ａ／Ｄ変換部１０５による信号の階調幅をＭビットとして説明する。Ａ／Ｄ変換部１０５では、ＣＣＤ１０４で生成された画像情報を画像処理部１３０において所定の処理が可能な離散化されたデジタルデータとしての映像信号に変換し、変換された映像信号を一旦バッファ１０６に記憶し、バッファ１０６から画像処理部１３０へ出力する。圧縮部１１３では、画像処理部１３０で所定の処理がなされた映像信号を圧縮し、出力部１１６へ出力する。

撮影制御部１０７は、プリ撮影時及び本撮影時の合焦条件及びＣＣＤの受光量などの露光条件に従って、本映像信号又は予備映像信号中の輝度レベルや図示しない輝度センサを用いてＣＣＤ１０４の受光量の調整のため、絞り１０１及びＣＣＤ１０４の電子シャッタ速度などを制御する。プリ撮影時に、複数枚の予備映像信号を撮影する際のＣＣＤ１０４の受光量の差は予め定められており、図示しないメモリ等に記憶されている。また、本撮影時のＣＣＤの受光量は後述する受光量差算出部１１１によって算出された受光量差に基づいて決定される。撮影制御部１０７による制御は、本撮影及びプリ撮影のいずれにおいても複数回行われ、撮影された複数の画像の本映像信号が又は予備映像信号がバッファ１０６に一旦記憶され、バッファ１０６から本映像信号又は予備映像信号が一枚分づつ順次画像処理部１３０へ出力される。なお、バッファ１０６は本実施形態の階調幅Ｍビットの本映像信号又は予備映像信号を所定の複数枚分だけ記憶可能な容量を有している。以下、本実施形態においては説明の便宜上、２枚の予備映像信号が撮影されることとして説明する。

制御部１１７は、撮影制御部１１７、後述する信号処理部１０８、ダイナミックレンジ算出部１０９、ノイズ量算出部１１０、受光量差算出部１１１、画像合成部１１２、及び圧縮部１１３と双方向に接続され、夫々を駆動制御する。外部Ｉ／Ｆ部１１６は、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えている。

画像処理部１３０は、信号処理部１０８、ダイナミックレンジ算出部１０９、ノイズ量算出部１１０、受光量差算出部１１１、及び画像合成手段としての画像合成部１１２を備えている。

信号処理部１０８は、制御部１１５の制御に基づいてバッファ１０６から入力された単板状態の映像信号を読み込み、補間処理、ホワイトバランスの調整処理、電子ズーム処理、ノイズ抑制処理等の所定の画像処理を行い、各画素ＲＧＢの三板状態の映像信号を生成する。また、以下の数１式を用いてＲＧＢ信号をＹＣｂＣｒ信号に変換してもよい。

生成した映像信号は、ダイナミックレンジ算出部１０９、ノイズ量算出部１１０及び画像合成部１１２へ出力される。

ダイナミックレンジ算出部１０９は、複数の予備映像信号、すなわち本実施形態においては２枚の予備映像信号のからその最大の画素値及び最小の画素値を算出するものであり、図２に示すように、最大信号値算出部２００、最小信号値算出部２０１、及び算出部２０２を備えている。

最大信号値算出部２００は、信号処理部１０８から転送された２枚の予備映像信号の最大値を算出する。同様に最小信号値算出部２０１は、信号処理部１０８から転送された２枚の予備映像信号の最小値を算出する。ここで、最大値及び最小値は予備映像信号がＲＧＢ信号の場合Ｇ信号から算出し、ＹＣｂＣｒ信号の場合はＹ信号から算出する。また、ＣＣＤ１０４等のセンサの飽和特性を考慮して映像信号の取り得る最大値の上限の９０％程度を実質的な最大値の上限としてもよい。すなわち、予備映像信号のビット数が８ｂｉｔの場合、予備映像信号の取り得る最大値の上限は２５６となり、その際の実質的な最大値の上限は約２３０となる。同様に、最小信号値算出部２０１から算出される最小値の下限もセンサのノイズ特性を考慮して最小値に所定の値を加えた値を最小値の下限としてもよい。例えば、予備映像信号のビット数が８ｂｉｔの場合、予備映像信号の最小値の下限は０となるが、これに所定値１０を加えた１０を最小値の下限としてもよい。またこの所定の値はセンサのノイズ特性、例えば信号値が０付近における信号の標準偏差によって算出されてもよい。

なお、最大信号値算出部２００及び最小信号値算出部２０１では、２枚の予備映像信号からそれらの最大値及び最小値を算出することもできるが、複数枚、すなわち本実施形態においては２枚の予備映像信号を合成して合成予備映像信号を生成した後に、この合成予備映像信号から最大信号値及び最小信号値を算出することもできる。

最大信号値算出部２００及び最小信号値算出部２０１は算出した最大値Ｖ_ｍａｘ及び最小値Ｖ_ｍｉｎからＡＰＥＸ単位で定義されるＢＶ値を以下の数２式のように算出する。

ここで、ＢＶ^ＩＳＯ _ｍａｘ及びＢＶ^ＩＳＯ _ｍｉｎはそれぞれ、ＢＶ値の最大及び最小値、Ｆは絞り、Ｔは露光時間(秒) を示し、ＩＳＯはＩＳＯ感度を表す。また、ｂｉｔはデジタル信号に変換する際のビット精度であり、ｊ及びｋは予備映像信号をＢＶ値に変換する際の補正係数である。絞り及び露光時間の情報は撮影制御部１０７から制御部１１５を通じて転送される。１枚目の映像信号の最大値及び最小値に対して被写体輝度の最大値Ｂ^ＩＳＯ _1,max及び最小値Ｂ^ＩＳＯ _1,minを以下の数３式に基づいて算出する。

ここで、最大値Ｂ^ＩＳＯ _1,max及び最小値Ｂ^ＩＳＯ _1,minはそれぞれ、１枚目の映像信号のＢＶ値の最大値及び最小値を表し、Ｎ、Ｋは定数を表す。なお、あらかじめＣＣＤ１０４の入射光量に対する出力特性は既知であり、入射光量と出力の関係は線形に補正されているものとする。
２枚目の予備映像信号に対しても同様に被写体輝度の最大値Ｂ^ＩＳＯ _２,max及び最小値Ｂ^ＩＳＯ _２,minを算出する。１枚目及び２枚目の予備映像信号の被写体輝度からダイナミックレンジに相当する輝度範囲ΔＢを、以下の数４式に基づいて算出する。

この数４式の差分によるΔＢはＩＳＯ感度に依存しないものとなる。
また、以下の数５式のようにデジベル値としてダイナミックレンジＤＲを算出してもよい。

算出されたダイナミックレンジは受光量差算出部１１１へ転送される。
ノイズ量算出部１１０は、予備映像信号の特徴量として、ノイズ量を算出し、このノイズ量から信号の強さとノイズの強さの比であるＳＮ比を算出するものであり、図３に示すように、バッファ３００、合成比率設定部３０１、予備合成部３０２、領域抽出部３０３、ノイズ量算出部３０４及び算出部３０５を備えている。

バッファ３００には、信号処理部１０８ら転送された２枚の予備映像信号を記憶する。合成比率設定部３０１は制御部１１５の制御により、バッファ３００に保存されている２枚の予備映像信号の合成割合である合成比率を設定する。具体的には、２枚の予備映像信号の合成比率は１：ｒとして予め定めておき、合成比率設定部３０１がこのｒの値を保持している。ここで、ｒは、ｒは０以上の実数である。合成部３０２は、合成比率設定部３０１の合成比率１：ｒに基づいて、合成予備映像信号の信号値Ｓ´を以下の数６式のように算出する。

ここで、Ｓ₁、Ｓ₂はそれぞれ１枚目及び２枚目の予備映像信号の信号値を表す。ここで、信号値は先に述べたようにＲＧＢ信号のＧ信号でもＹＣｂＣｒ信号のＹ信号など、任意に定めることが出来る。

領域抽出部３０３は、合成信号Ｓ´から、任意の注目画素を中心とする所定の領域、例えば５×５の局所領域を抽出する。なお、この領域の抽出は、合成予備映像信号Ｓ´全体の領域に対して行ってもよいし、撮影者が指定した領域のみに対して行ってもよい。抽出された局所領域の情報は、ノイズ量算出部３０４へ転送される。ノイズ量算出部３０４は、領域抽出部３０３から転送された局所領域の情報を用いて合成信号Ｓ´のノイズ量を算出する。ノイズ量は、算出対象の注目画素ｉにおけるノイズ量をＮｉとした場合、局所領域における信号値の平均値Ｓ(-)´_iに対する関数として、以下の数７式のように算出される。

ここで、α、 β、 γ はＣＣＤ１０４に依存する値であり、予め定められた定数である。ノイズ量Ｎｉは数７式で表された関数によって算出するだけでなく、入力信号に対するノイズ量をルックアップテーブルを用いて算出することも、また、局所領域の信号値に対する標準偏差をノイズ量とすることもできる。ノイズ量算出部３０４は、ノイズ量の算出を合成信号Ｓ´の画素毎に行い、算出部３０５に各画素のノイズ量を転送する。
算出部３０５はノイズ量算出部３０４から転送された画素毎のノイズ量を用いて合成信号Ｓ´全体のノイズ量を算出する。合成信号全体のノイズ量をＮとした場合、ノイズ量Ｎは以下の数８式により算出される。

ここで、Ｍは総画素数を表す。ノイズ量の算出は、上記の数８式のような単純加算による算出だけでなく、撮影者が指定した領域の重みを大きくして合成予備映像信号全体のノイズ量を算出することもできる。
さらに、算出されたノイズ量Ｎに基づいて、以下の数９式により信号の強さとノイズの強さの比であるＳＮ比を算出する。

算出された合成予備映像信号全体のＳＮ比は受光量差算出部１１１へ転送される。
なお、本実施の形態ではＳＮ比を算出して、後述する受光量差算出部１１１での演算に用いたが、必ずしもＳＮ比を算出する必要はなく、ＳＮ比を算出しない場合にはノイズ量Ｎを用いて、受光量差算出部においても演算を行えばよい。

受光量差算出部１１１は、ダイナミックレンジ算出部１０９で算出されたダイナミックレンジ及びノイズ量算出部１１０で算出されたＳＮ比に基づいて、本撮影において複数枚の本映像信号を取得するに際しての、撮像素子の受光量差を算出する。このため、受光量差算出部１１１は、図４に示すように、重み付け部４００及び算出部４０１を備えている。

重み付け部４００は、ノイズ量算出部１１０で算出されたＳＮ比及びダイナミックレンジ算出部１０９で算出されたダイナミックレンジＤＲが入力される。一般に、画像に暗部が多い場合にはノイズが目立つのでノイズを低減させる必要がある一方、明部が多い場合にはダイナミックレンジを広げる必要がある。このため、重み付け部４００では、本撮影時の撮像素子の受光量を決定するに際して、予備映像信号のダイナミックレンジ又はＳＮ比に基づいて、ダイナミックレンジを広げるか又はノイズを低減させるかの何れを優先させるかを判定するために、入力されたダイナミックレンジ及びＳＮ比に対して重み付け処理を行う。従って、図４に示すように、重み付け部４００は、面積抽出部４１１、重み付け係数算出部４１２及び処理部４１３を備えている。

面積抽出部４１１は、合成予備映像信号から明部の面積及び暗部の面積を抽出する。なお、明部の面積及び暗部の面積は、次のように定める。合成予備映像信号の最大値から、予め定めた所定値までの範囲の画素値の数を明部の面積とし、合成予備映像信号の最小値から、予め定めた所定値までの画素値を暗部の面積とする。ここで、命部及び暗部における所定値は、それぞれＣＣＤ１０４の飽和特性及びノイズ特性を考慮して定めることができる。また、ここでは、合成予備映像信号から明部及び暗部の面積を算出する方法について記載したが、合成前の複数の映像信号から明部及び暗部の面積を算出しても良い。絞りが一定の場合には、明部の面積は露光時間の最も長い映像信号から算出し、暗部の面積は露光時間の最も短い映像信号から算出することができる。

重み付け係数算出部４１２は、面積抽出部で抽出された明部の面積と暗部の面積とに基づいて、重み付け係数を算出し算出結果を処理部４１３に出力する。例えば、合成予備映像信号の全体の面積をＯ_tとし、Ｏ_tのうち明部の面積をＯ_l、暗部の面積をＯ_dとしたとき、ダイナミックレンジに対する重み付け係数はＯ_l／Ｏ_tとなり、ＳＮ比に対する重み付け係数はＯ_d／Ｏ_tとなる。

処理部４１３では、重み付け係数算出部４１２により算出された重み付け係数を用いて、重み付け後のＳＮ比´及びダイナミックレンジＤＲ´を算出することにより重み付け処理を行う。重み付け後のＳＮ比であるＳＮ´及びダイナミックレンジＤＲ´は、以下の数１０式を演算することにより算出され、算出結果は算出部４０１に出力される。

受光量差決定部４０１は重み付け部４００から転送されたＤＲ´及びＳＮ´に基づいて複数枚の本撮影における最適な受光量差を決定する。すなわち、受光量差決定部４０１は、上記の数１０式に基づく演算を複数回行うことにより、例えば、図５のような近似曲線を生成する。このため、受光量差算出部４０１は、近似曲線生成部４１４及び交点算出部４１５を備えている。

図５は、２枚の映像信号を取得するプリ撮影を３回（ａ、ｂ、ｃ）行った例を示しており、図５の横軸は２枚撮影した場合の受光量差を示し、縦軸はデシベル値、すなわち、ダイナミックレンジ又はＳＮ値を示している。３回（ａ、ｂ、ｃ）の撮影時の受光量差と、３回（ａ、ｂ、ｃ）それぞれの受光量差で撮影された予備映像信号からダイナミックレンジとＳＮ比を算出し、それを重み付け部４００において、上記数１０式に基づく演算を行うことにより、重み付け後のダイナミックレンジＤＲ´及び重み付け後のＳＮ比であるＳＮ´を算出する。そして、近似曲線生成部４１４が、演算結果をプロットし、これらのプロット点から二次曲線補間やスプライン補間等によりダイナミックレンジの受光量差に対する近似曲線Ａ及びＳＮ比の受光量差に対する近似曲線Ｂを生成する。

図５のように受光量差が大きくなれば、映像信号のダイナミックレンジは大きくなるが、ＳＮ比は小さくなり、合成による信号のノイズ低減の効果は少なくなる。逆に受光量差が小さくなれば、映像信号のダイナミックレンジは小さくなるが、ＳＮ比は大きくなり、合成による信号のノイズ低減の効果が大きくなる。

すなわち、ダイナミックレンジ拡大の効果とノイズ低減の効果はトレードオフの関係にあるため、両者を考慮した最適な受光量差の算出が必要となる。従って、ダイナミックレンジとＳＮ比との双方を考慮し、交点算出部４１５により、ダイナミックレンジの受光量差に対する近似曲線及びＳＮ比の受光量差に対する近似曲線の交点を算出する。受光量差算出部１１１は、この交点の受光量差を本撮影時の複数の本映像信号間における前記撮像素子の受光量差として算出する。図５においては、ダイナミックレンジの受光量差に対する近似曲線ＡとＳＮ比の受光量差に対する近似曲線Ｂとの交点ｘ₁を最適な受光量差として算出する。

なお、本説明においては、異なる受光量で２枚撮影するプリ撮影を３回繰り返すこととして説明したが、例えば、異なる受光量の映像信号を３枚分取得し、その３枚から任意に２枚を抽出して夫々の露光差に基づいて、上記した演算を実行することで図５のような曲線を得ることも可能である。

最適な受光量差ｘ₁は制御部１１５を通じて撮影制御部１０７に転送される。撮影制御部１０７は制御部１１５から転送された最適な受光量差ｘ₁に従って本撮影を行い、受光量のことなる２枚の本映像信号を取得する。２枚の本映像信号はそれぞれバッファ１０６にて一端保存され、信号処理部１０８にて１枚ずつ信号処理される。信号処理された本映像信号は画像合成部１１２に転送される。

画像合成部１１２は、信号処理部１０８から転送された２枚の本映像信号の合成を行う。なお、２枚の映像信号は事前に公知の動きベクトルを用いたマッチング等で位置合わせが行われているものとする。次に、２枚の映像信号に対して、同じ座標の信号値を合成する。合成方法は単純加算でもよいし、以下の数１１式のように重み付けして加算でもよい。

ここで、Ｉ´は合成後の信号、Ｉ₁、Ｉ₂はそれぞれ１枚目及び２枚目の信号、αは重み付け係数を表す。重み付け係数αは図６のように１枚目の入力信号Ｉ₁に対する関数として表されている。このような重み係数を用いることによって、信号の飽和部を考慮した加算が可能となる。なお、加算する信号はＲＧＢ信号に限られずＹＣｂＣｒ信号等任意に定めることが出来る。画像合成部１１２にて合成された映像信号は圧縮部１１３に転送され、ＪＰＥＧ圧縮等を行い、メモリーカード等の出力部１１４へ転送される。

以下、このように構成された本実施の形態の撮像装置における受光量差算出処理の過程について図７のフローチャートを用いて説明する。

撮像装置では、外部Ｉ／Ｆ部１１８を介してＩＳＯ感度，露出などの撮影条件を設定した後，図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。ステップＳ１１では、ＣＣＤ１０４からの映像信号をRawデータとして、ＩＳＯ感度情報や映像信号サイズなどをヘッダー情報として読み込み、次のステップＳ１２へ進む。ステップＳ１２では、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介してプリ撮影された２枚の予備映像信号が、Ａ／Ｄ変換部１０５にてデジタルの映像信号へ変換されてバッファ１０６へ入力される。ステップＳ１３では、信号処理部１０８により補間処理、ホワイトバランスの調整処理、Ｙ／Ｃ信号生成処理、電子ズーム処理、ノイズ抑制処理等の信号処理を行い、ステップＳ１４に進む。

ステップＳ１４では、ダイナミックレンジ算出部１０９により２枚の予備映像信号を合成した際のダイナミックレンジを算出する。すなわち、２枚の予備映像信号から最大の画素値及び最小の画素値を算出し、これに基づいて予備映像信号を合成した場合のダイナミックレンジを算出する。算出されたダイナミックレンジは、受光量差算出部１１に出力され、ステップＳ１６に進む。ステップＳ１４と併行してステップＳ１５では、ノイズ量算出部１１０により２枚の予備映像信号を合成した際のＳＮ比を算出する。ＳＮ比の算出は、上述したように、予め定められた合成比率に従って２枚の予備映像信号を合成して予備合成映像信号を生成し、この予備合成映像信号から任意の局所領域を抽出してノイズ量を算出し、局所領域のノイズ量に基づいて予備合成映像信号全体のノイズ量、さらにはＳＮ比を算出する。算出されたＳＮ比は受光量差算出部１１１に出力され、次のステップＳ１６へ進む。

ステップＳ１６では、受光量差算出部１１１により本撮影に際しての好ましい受光量差を算出する。すなわち受光量差算出部１１１は、先に算出されたダイナミックレンジ及びＳＮ比に対して重み付け処理を行い、その結果に基づいて、ダイナミックレンジの受光量差に対する近似曲線Ａ及びＳＮ比の受光量差に対する近似曲線Ｂを生成し、その交点ｘ₁を本撮影において複数枚の本映像信号を得る際のＣＣＤ１０４の受光量差として算出する。本実施形態にかかる撮像装置における上記処理を終了する。

算出された受光量差は制御部１１５を介して撮影制御部１０７にフィードバックされ、撮影制御部１０７は、この受光量差に従って本撮影を行い、複数枚の本映像信号を取得する。

以上述べたように、ダイナミックレンジ及びノイズ量を考慮して受光量差の算出を行うことにより、好ましい受光量差で本撮影を行うことができ、また、算出された受光量差で本撮影された複数枚の映像信号を合成することで、ダイナミックレンジを拡大するとともにノイズを低減できる、又はＳＮ比を向上させることのできる高品位な画像にかかる映像信号を得ることができる。

〔第２の実施形態〕
以下、本発明の第２の実施形態について図面を参照して説明する。
図８に示すように、本実施の形態の撮像装置では、その画像処理部１３０の構成が、上述した第１の実施形態の撮像装置における画像処理部１３０の構成と異なっている。すなわち、画像処理部１３０では、変換部１２０が設けられ、信号処理部１０８から入力された本映像信号及びプリ映像信号に対して階調変換処理を行い、階調変換処理された映像信号をダイナミックレンジ算出部１０９、ノイズ量算出部１１０及び画像合成部１１２に出力する。

なお、階調変換処理の際の階調変換特性は出力媒体を考慮したものが用いられる。例えば、液晶ディスプレイに出力する場合はディスプレイのガンマ特性が用いられ、プリンタに出力する場合はインクの出力特性が用いられる。また、階調変換特性はガンマ補正等の入力信号に対する関数でもよいし、入力信号に対するルックアップテーブル等任意に定めることができる。変換部１２０以外の構成は第１の実施形態と共通するので、同一の符号を付すとともにその説明を省略する。
以下、変換部１２０が設けられた本実施形態にかかる撮像装置における受光量差算出処理の過程について図９のフローチャートを用いて説明する。

撮像装置では、外部Ｉ／Ｆ部１１８を介してＩＳＯ感度，露出などの撮影条件を設定した後，図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。ステップＳ２１では、ＣＣＤ１０４からの映像信号をRawデータとして、ＩＳＯ感度情報や映像信号サイズなどをヘッダー情報として読み込み、次のステップＳ２２へ進む。ステップＳ２２では、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介してプリ撮影された２枚の予備映像信号が、Ａ／Ｄ変換部１０５にてデジタルの映像信号へ変換されてバッファ１０６へ入力される。ステップＳ２３では、信号処理部１０８により補間処理、ホワイトバランスの調整処理、Ｙ／Ｃ信号生成処理、電子ズーム処理、ノイズ抑制処理等の信号処理を行い、ステップＳ２４に進む。ステップＳ２４では、信号処理部１０８から入力された予備映像信号に対して階調変換処理を行い変換後の予備映像信号をノイズ量算出部１１０及びダイナミックレンジ算出部１０９に出力して次のステップＳ２５へ進む。

ステップＳ２５では、ダイナミックレンジ算出部１０９により階調変換された２枚の予備映像信号を合成した際のダイナミックレンジを算出する。すなわち、２枚の予備映像信号から最大の画素値及び最小の画素値を算出し、これに基づいて予備映像信号を合成した場合のダイナミックレンジを算出する。算出されたダイナミックレンジは、受光量差算出部１１に出力され、ステップＳ２７に進む。ステップＳ２５と併行してステップＳ２６では、ノイズ量算出部１１０により２枚の予備映像信号を合成した際のＳＮ比を算出する。ＳＮ比の算出は、上述したように、予め定められた合成比率に従って２枚の予備映像信号を合成して予備合成映像信号を生成し、この予備合成映像信号から任意の局所領域を抽出してノイズ量を算出し、局所領域のノイズ量に基づいて予備合成映像信号全体のノイズ量、さらにはＳＮ比を算出する。算出されたＳＮ比は受光量差算出部１１１に出力され、次のステップＳ２７へ進む。

ステップＳ２７では、受光量差算出部１１１により本撮影に際しての好ましい受光量差を算出する。すなわち受光量差算出部１１１は、先に算出されたダイナミックレンジ及びＳＮ比に対して重み付け処理を行い、その結果に基づいて、ダイナミックレンジの受光量差に対する近似曲線Ａ及びＳＮ比の受光量差に対する近似曲線Ｂを生成し、その交点ｘ₁を本撮影において複数枚の映像信号を得る際のＣＣＤ１０４の受光量差として算出する。本実施形態にかかる撮像装置における上記処理を終了する。

算出された受光量差は制御部１１５を介して撮影制御部１０７にフィードバックされ、撮影制御部１０７は、この受光量差に従って本撮影を行い、複数枚の本映像信号を取得する。

以上述べたように、ダイナミックレンジ及びノイズ量を考慮して受光量差の算出を行うことにより、好ましい受光量差で本撮影を行うことができ、また、算出された受光量差で本撮影された複数枚の映像信号を合成することで、ダイナミックレンジを拡大するとともにノイズを低減できる、又はＳＮ比を向上させることのできる高品位な画像にかかる映像信号を得ることができる。さらに、出力媒体を考慮して階調変換を行った映像信号に基づいてダイナミックレンジおよびノイズ量を考慮した受光量差の算出をしているので、本撮影時に出力媒体に好ましい映像信号を取得することが出来る。

なお、上述した実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、撮像装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の故障診断装置と同様の処理を実現させる。

ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

１０４ ＣＣＤ
１０７ 撮影制御部
１０８ 信号処理部
１０９ ダイナミックレンジ算出部
１１０ ノイズ量算出部
１１１ 受光量差算出部
１１２ 画像合成部
１１５ 制御部
１２０ 変換部
１３０ 画像処理部
２００ 最大信号値算出部
２０１ 最小信号値算出部
２０２ 算出部
３０１ 合成比率設定部
３０２ 予備合成部
３０３ 領域抽出部
３０４ 領域ノイズ量算出部
３０５ 算出部
４００ 重み付け部
４０１ 算出部
４１１ 面積抽出部
４１２ 重み付け係数算出部
４１３ 処理部
４１４ 近似曲線生成部
４１５ 交点算出部

Claims (11)

1. 撮像素子を備え、被写体を本撮影して複数の本映像信号を取得するとともに、前記本撮影に先立って、前記被写体に対して前記撮像素子の受光量を異ならせてプリ撮像することにより複数の予備映像信号を取得する撮影手段と、
   前記複数の予備映像信号を合成した場合のダイナミックレンジを算出するダイナミックレンジ算出手段と、
   前記複数の予備映像信号を合成した場合のノイズ量又はＳＮ比を算出するノイズ量算出手段と、
   前記ダイナミックレンジ及び前記ノイズ量又は前記ＳＮ比に基づいて、本撮影時の複数の本映像信号間における前記撮像素子の受光量差を算出する受光量差算出手段と、
   を備えた撮像装置。
2. 前記予備映像信号に対して階調変換処理を行う変換手段を備え、
   前記ダイナミックレンジ算出手段は、前記変換手段による階調変換後の前記複数枚の予備映像信号を合成した場合のダイナミックレンジを算出し、
   前記ノイズ量算出手段は、前記変換手段による階調変換後の前記複数枚の予備映像信号を合成した場合のノイズ量又はＳＮ比を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記ダイナミックレンジ算出手段は、
   前記複数の予備映像信号に基づいて最大信号値を算出する最大信号値算出手段と、
   前記複数の予備映像信号に基づいて最小信号値を算出する最小信号値算出手段と、
   を備え、前記最大信号値及び前記最小信号値に基づいて、前記複数の予備映像信号を合成した場合のダイナミックレンジを算出することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記ノイズ量算出手段は、
   前記複数の予備映像信号の合成割合である合成比率を設定する合成比率設定手段と、
   該合成比率に基づいて前記複数の予備映像信号を合成して合成予備映像信号を生成する予備合成手段と、を備え、
   該合成予備映像信号のノイズ量又はＳＮ比を算出することを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
5. 前記ノイズ量算出手段は、
   前記合成予備映像信号の任意の注目画素を中心とする所定の領域を抽出する領域抽出手段と、
   前記領域のノイズ量又はＳＮ比を算出する算出手段と、
   前記領域のノイズ量又はＳＮ比に基づいて前記合成予備映像信号のノイズ量又はＳＮ比を算出することを特徴とする請求項４に記載の撮像装置。
6. 前記受光量差算出手段は、
   前記ダイナミックレンジ及び前記ノイズ量又は前記ＳＮ比の優先度合いを判定するための重み付け処理を行う重み付け手段を備え、
   前記重み付け処理に基づいて本撮影時の複数の本映像信号間における前記撮像素子の受光量差を算出することを特徴とする請求項１乃至請求項５の何れか１項に記載の撮像装置。
7. 前記重み付け手段は、
   前記予備映像信号又は前記合成予備映像信号のうち明部の面積及び暗部の面積を抽出する面積抽出手段と、
   前記明部の面積及び前記暗部の面積に基づいて重み付け係数を算出する重み付け係数算出手段を備え、
   前記ダイナミックレンジ及び前記ＳＮ比に前記重み付け係数を乗じることにより重み付け処理を行うことを特徴とする請求項６に記載の撮像装置。
8. 前記受光量差算出手段は、
   前記重み付け係数を乗じることにより算出された値に基づいて、ダイナミックレンジの受光量差に対する第一近似曲線と、ＳＮ比の受光量差に対する第二近似曲線とを生成する近似曲線生成手段と、
   該第一近似曲線と第二近似曲線の交点を算出する交点算出手段と、を備え、
   前記交点の受光量差を本撮影時の複数の本映像信号間における前記撮像素子の受光量差として算出することを特徴とする請求項７に記載の撮像装置。
9. 前記撮影手段は、前記受光量差算出手段により算出された受光量差に基づいて本撮影して複数の本映像信号を取得し、
   該複数の本映像信号を合成することにより合成映像信号を生成する画像合成手段を備えたことを特徴とする請求項１乃至請求項８の何れか１項に記載の撮像装置。
10. 前記映像信号の画素値に基づいて、前記複数の本映像信号の合成割合である重み付け係数を算出する重み付け算出手段を備え、
    前記画像合成手段は、前記重み付け係数に基づいて、前記複数の本映像信号を重み付けして合成することにより合成映像信号を生成することを特徴とする請求項９に記載の撮像装置。
11. 本撮影に先立って、被写体に対して撮像素子の受光量を異ならせてプリ撮像することにより取得された複数の予備映像信号を入力する予備映像信号入力ステップと、
    前記複数の予備映像信号を合成した場合のダイナミックレンジを算出するダイナミックレンジ算出ステップと、
    前記複数の予備映像信号を合成した場合のノイズ量又はＳＮ比を算出する特徴量算出ステップと、
    前記ダイナミックレンジ及び前記ノイズ量又は前記ＳＮ比に基づいて、本撮影時の複数の本映像信号間における前記撮像素子の受光量差を算出する受光量差算出ステップと、
    をコンピュータに実行させる画像処理プログラム。
    

Images