JP2005072965A - 画像合成方法及び固体撮像装置並びにデジタルカメラ - Google Patents

Abstract

【課題】 高感度画像信号と低感度画像信号と合成して広ダイナミックレンジの合成画像を生成するに際し、Ｓ／Ｎが良好で且つ輝度反転や色ズレを少なくする。
【解決手段】 被写体を撮像して得た高感度画像信号Ｈと低感度画像信号Ｌとを加重加算回路１４で合成するとき、下記合成式
Ｇ_C＝ｋ・Ｈ＋（１−ｋ）・Ｌ
ここで、ｋは合成パラメータ（０≦ｋ≦１）
で合成する。このとき、前記高感度画像信号Ｈ及び前記低感度画像信号Ｌから前記合成パラメータｋの値をｋ値決定部１９で画素位置毎に決定して加重加算回路１４に出力する。
【選択図】 図２

Description

本発明は、被写体を撮像して得られた高感度画像信号と低感度画像信号とを合成してダイナミックレンジの広い画像信号を生成する画像合成方法等に係り、特に、輝度反転が起き難くＳ／Ｎが高い合成画像を得るのに好適な画像合成方法及び固体撮像装置並びにデジタルカメラに関する。

ＣＣＤイメージセンサやＣＭＯＳイメージセンサに代表される固体撮像素子を使用した固体撮像装置で撮像される画像は、ダイナミックレンジが狭いという欠点がある。このため、ダイナミックレンジの広い撮影シーン、例えば、逆光の人物像や、暗い室内から窓越しの昼下がりの庭等の光学像を綺麗に撮ることができない。

そこで、従来のデジタルカメラでは、下記特許文献１に記載されている様に、電荷蓄積期間を制御できる固体撮像素子を搭載し、被写体を長時間露光した画像信号を読み出し、次に連続して同じ被写体を短時間露光して得た画像信号を読み出し、２つの画像信号を合成処理することで、広いダイナミックレンジの被写体画像を得る様にしている。

また、下記特許文献２に記載されている従来技術では、画素配列の１／２を高感度画素として形成し、残り１／２を低感度画素として形成した固体撮像素子を使用し、同一の露光時間で得られた高感度画素からの画像信号と低感度画素からの画像信号とを合成処理し、広いダイナミックレンジの被写体画像を得る様にしている。

尚、固体撮像素子から出力される長時間露光の画像信号あるいは高感度画素から得られる画像信号を高感度画像信号といい、短時間露光の画像信号あるいは低感度画素から得られる画像信号を低感度画像信号と呼ぶことにする。

一般的に、デジタルカメラで処理する画像信号には、デジタルデータとしての制約がある。例えば、合成前の高感度画像信号や低感度画像信号が夫々８ビットの信号であっても、合成画像の画像信号を計１６ビットの信号とすることはコスト的に無理である。このため、ダイナミックレンジの広い合成画像の画像信号も８ビットの信号になるように合成処理する必要がある。

そのため、広いダイナミックレンジを持つ合成画像は、部分的に画像の階調差が小さくなり、メリハリが少なく、単調な画像になってしまうという欠点がある。

そこで、下記特許文献３に記載された従来技術では、図９に示すガンマ特性を用いて全画面の各画素位置における合成画像データを生成している。即ち、高感度画像信号は、高レベルを極端に抑えたガンマ特性Ｉ（実線）で非線形変換処理を行い、低感度画像信号はガンマ特性II（破線）で非線形変換処理を行い、変換処理後の高感度画像信号と低感度画像信号とを加算処理することで、合成画像信号を得ている。得られた合成画像信号は、高感度画像信号が飽和して白飛びする範囲や低感度画像信号が黒潰れする範囲での階調差が表現されるため、メリハリのある合成画像信号となる。

特開平６―１４１２２９号公報 特開昭５９―２１０７７５号公報 特開２００２―１３５６４９号公報

上述した図９のガンマ特性を用いるデジタルカメラでは、高感度画像信号用のガンマ特性Ｉが高レベル領域を極端に抑えたガンマ特性となっているため、この高レベル領域でのＳ／Ｎが悪くなるという課題がある。

また、非線形な高感度画像信号用ガンマ特性や低感度画像信号用ガンマ特性を予め多数用意し、撮影シーンに合わせて高感度画像信号用ガンマ特性及び低感度画像信号用ガンマ特性を選択する必要があるため、ガンマ特性を記憶するメモリ容量が大きくなり、デジタルカメラをコストアップさせてしまうという課題もある。

更に、図９に示す入射露光量レベルＸ１〜Ｘ３の範囲でのガンマ特性Ｉとガンマ特性IIを合成したガンマ特性は、入射露光量レベルが増大するに従って信号量が減少する特性となる。即ち、この範囲Ｘ１〜Ｘ３では、入射露光量レベルＸ２の素地に薄い白線があると、レベルが反転しているため黒い線になってしまい、逆に、薄い黒線は白線になるという輝度反転が発生するという問題が生じる。この輝度反転は、カラー画像の場合には色ズレとして現れる。範囲Ｘ１〜Ｘ３に入る画像部分の全画面中に占める割合が小さい程この問題は小さいが、輝度反転を起こす範囲Ｘ１〜Ｘ３の画像部分が広いと、違和感のある合成画像が生成されてしまう。

本発明の目的は、Ｓ／Ｎが良好で且つ輝度反転や色ズレが少なく、メリハリのある広いダイナミックレンジを持つ画像を合成することができる画像合成方法及び固体撮像装置並びにデジタルカメラを提供することにある。

本発明の画像合成方法は、被写体を撮像して得た高感度画像信号Ｈと低感度画像信号Ｌとを合成式
Ｇ_C＝ｋ・Ｈ＋（１−ｋ）・Ｌ
ここで、ｋは合成パラメータ（０≦ｋ≦１）
で合成して合成画像信号Ｇ_Cを生成するに際し、前記高感度画像信号Ｈ及び前記低感度画像信号Ｌから前記合成パラメータｋの値（以下、ｋ値という。）を画素位置毎に決定して前記合成式で合成することを特徴とする。

この構成により、画面内の明るい領域では低感度画像信号が支配的に合成され、画面内の暗い領域では高感度画像信号が支配的に合成されるため、輝度反転や色ズレの少ない良好な合成画像を得ることができる。また、高レベル部分を極端に抑えたガンマ特性を使用する必要が無くなるため、Ｓ／Ｎも良好となる。

本発明の画像合成方法の前記合成式で用いる高感度画像信号Ｈは、固体撮像素子から出力される高感度画像信号Ｄ_Hを高感度画像信号用非線形特性Ｇ_Hで変換した後の信号Ｇ_H（Ｄ_H）であり、前記合成式で用いる低感度画像信号Ｌは、固体撮像素子から出力される低感度画像信号Ｄ_Lを低感度画像信号用非線形特性Ｇ_Lで変換した後の信号Ｇ_L（Ｄ_L）であることを特徴とする。

この構成により、画面内の明るい領域では低感度画像信号の階調が多く割り当てられ、画面内の暗い領域では高感度画像信号に多くの階調が割り当てられ、画面全体で黒潰れや白飛びのない合成画像が得られる。

本発明の画像合成方法は、前記高感度画像信号のリニア値が所定レベルより低い信号レベルの領域で、前記合成式で用いる非線形変換前の低感度画像信号Ｄ_Lまたは非線形変換後の低感度画像信号Ｇ_L（Ｄ_L）を、非線形変換前の高感度画像信号Ｄ_Hまたは非線形変換後の高感度画像信号Ｇ_H（Ｄ_H）から生成した低感度画像信号に置き換えることを特徴とする。

この構成により、合成画像信号のうち低レベルの信号のＳ／Ｎが更に向上し、良好な合成画像を得ることが可能となる。

本発明の画像合成方法は、高感度画像信号／低感度画像信号＝感度比としたとき〔高感度画像信号／感度比〕の信号と低感度画像信号とを加重平均した信号で低感度画像信号を置き換えると共に、前記所定レベルからゼロレベルへの低感度画像信号の変化に応じて前記加重平均する低感度画像信号を１００％から０％に変化させることを特徴とする。

この構成により、Ｓ／Ｎの悪い低感度画像信号の合成画像中の割合が減り、より一層綺麗な合成画像を得ることが可能となる。

本発明の画像合成方法は、前記高感度画像信号用非線形特性Ｇ_H及び前記低感度画像信号用非線形特性Ｇ_Lは共に単調増大関数且つ二次微分値の変化すなわち傾きの変化が常に正または零の単調減少関数となる特性であり、前記高感度画像信号用非線形特性Ｇ_Hと前記低感度画像信号用非線形特性Ｇ_Lとが同一特性または異なる特性であることを特徴とする。

この構成により、更に輝度反転や色ズレが起こり難くなり、また、輝度反転や色ズレが生じてもそれが目立たない合成画像を得ることが可能となる。

本発明の画像合成方法は、注目画素位置のｋ値を決定するとき該注目画素位置を中心とした所定範囲内の光学像の平均的な明暗に応じて、該光学像が相対的に暗いときはｋ値を“１”に近い値に決め、前記光学像が相対的に明るいときはｋ値を“０”に近い値に決めることを特徴とする。

この構成により、所定範囲内の平均的明暗によって高感度画像信号と低感度画像信号の合成割合が調整されるため、より一層見易く綺麗な合成画像を得ることができる。

本発明の固体撮像装置は、被写体を撮像して得た高感度画像信号Ｈと低感度画像信号Ｌとを合成式
Ｇ_C＝ｋ・Ｈ＋（１−ｋ）・Ｌ
ここで、ｋは合成パラメータ（０≦ｋ≦１）
で合成して合成画像信号Ｇ_Cを生成するとき前記高感度画像信号Ｈ及び前記低感度画像信号Ｌから前記合成パラメータｋの値を画素位置毎に決定し前記合成式で合成処理を行う画像処理手段を備えることを特徴とする。

この構成により、画面内の明るい領域では低感度画像信号が支配的に合成され、画面内の暗い領域では高感度画像信号が支配的に合成されるため、輝度反転や色ズレの少ない良好な合成画像を生成し出力することが可能となる。

本発明の固体撮像装置の前記画像処理手段は、上記のいずれかに記載の画像合成方法で合成処理を行うことを特徴とする。

この構成により、より一層、輝度反転や色ズレの少ない合成画像を生成し出力することが可能となる。

本発明のデジタルカメラは、上記の固体撮像装置を搭載したことを特徴とする。

この構成により、輝度反転や色ズレの少ない良好な合成画像を生成し記録メディアに格納することが可能となる。

本発明によれば、Ｓ／Ｎが良好で、且つ、輝度反転や色ズレが少なく、メリハリのある広いダイナミックレンジを持つ画像を合成することができる。

以下、本発明の一実施形態について、図面を参照して説明する。

〔第１実施形態〕
図１は、本発明の第１実施形態に係るデジタルカメラの構成図である。このデジタルカメラはデジタルスチルカメラであるが、本発明はデジタルビデオカメラ等の他の種類のデジタルカメラにも適用可能である。

図１において、本実施形態に係るデジタルカメラは、レンズ等の光学系１と、光学系１の背部に設けられたメカニカルシャッタ２と、光学系１によって結像された被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等の固体撮像素子３と、固体撮像素子３から出力されるアナログの撮像信号をデジタルの信号に変換するアナログデジタル変換回路（ＡＤＣ）４と、デジタルカメラ全体を統括制御するシステム制御部５と、システム制御部５からの指令信号に基づいて光学系１，メカニカルシャッタ２，固体撮像素子３，ＡＤＣ４を駆動制御する駆動部６と、ＡＤＣ４から出力されるＲ（赤），Ｇ（緑），Ｂ（青）の画像信号を取り込んで最適露光条件を算出しこれらをシステム制御部５に出力する露光条件決定部７とを備える。

固体撮像素子３は、上述した特許文献１に記載されている様に、同一感度の画素がアレイ状に配列され、長時間露光により得られた高感度画像信号と短時間露光により得られた低感度画像信号とが出力される形式のものでもよく、また、上述した特許文献２に記載されている様に、高感度画素と低感度画素とが半導体基板表面に平面的に隣接してアレイ状に配列され、高感度画素により得られた高感度画像信号と低感度画素により得られた低感度画像信号とが出力される形式のものでもよい。更にまた、固体撮像素子の半導体基板の深さ方向に高感度画素と低感度画素とを層構造に形成し、夫々の画素から高感度画像信号と低感度画像信号とを取り出す形式のものでもよい。本実施形態のデジタルカメラでは、高感度画素と低感度画素とが半導体基板表面に平面的に隣接して形成された固体撮像素子３を搭載しているものとして説明する。

デジタルカメラは更に、動画の画像処理部８と、静止画の画像処理部９とを備える。動画の画像処理部８は、ＡＤＣ４から出力されるＲＧＢの画像信号を取り込み、システム制御部５からの指令に基づいて画像処理を行い、動画像信号を出力する。この動画像信号は、例えばカメラ背面等に搭載されているカラー液晶表示部等にスルー画像として表示されたり、あるいは記録メディアに記録される。

静止画の画像処理部９は、システム制御部５からの指令に基づいて画像処理を行い、ＡＤＣ４から出力されるＲＧＢの高感度画像信号及び低感度画像信号を後述の様に合成処理することで、ワイドダイナミックレンジ（ＷＤＲ）の被写体画像データを生成し、出力する。

図２は、図１に示す画像処理部９の詳細構成図である。この静止画の画像処理部９は、ＡＤＣ４から取り込む画像信号が高感度画像信号であるか低感度画像信号であるかにより出力パスを切り替えるスイッチ１０と、スイッチ１０から高感度画像信号を取り込んでホワイトバランス補正を行うホワイトバランス回路１１と、ホワイトバランス補正後の高感度画像信号Ｄ_Hを一時保持するメモリ１２と、メモリ１２を介して取り込んだ高感度画像信号Ｄ_Hに対して非線形処理であるガンマ変換処理Ｇ_Hを施しガンマ変換後の高感度画像信号Ｇ_H（Ｄ_H）を後段の加重加算回路１４に出力するガンマ変換回路１３とを備える。

画像処理部９は、更に、スイッチ１０から低感度画像信号を取り込んでホワイトバランス補正を行うホワイトバランス回路１５と、ホワイトバランス補正後の低感度画像信号Ｄ_Lを一時保持するメモリ１６と、メモリ１６を介して取り込んだ低感度画像信号Ｄ_Lに対して非線形処理であるガンマ変換Ｇ_Lを施しガンマ変換後の低感度画像信号Ｇ_L（Ｄ_L）を後段の加重加算回路１４に出力するガンマ変換回路１７と、加重加算回路１４で加算合成された合成信号に対して公知の同時化処理を施して合成静止画画像信号を出力する信号処理部１８と、両ホワイトバランス回路１１，１５の出力値を取り込んで後述のｋ値（合成パラメータｋの値）を決定してこのｋ値を加重加算回路１４に出力するｋ値決定部１９とを備える。ｋ値は、０≦ｋ≦１の値をとる。

加重加算回路１４は、ガンマ変換回路１３から取り込んだ高感度画像信号Ｇ_H（Ｄ_H）に対して合成パラメータｋの値を乗算した信号〔ｋ・Ｇ_H（Ｄ_H）〕を出力する乗算回路２１と、ガンマ変換回路１７から取り込んだ低感度画像信号Ｇ_L（Ｄ_L）に対して上記のｋ値を“１”から減算した値（１−ｋ）を乗算した信号〔（１−ｋ）・Ｇ_L（Ｄ_L）〕を出力する乗算回路２２と、乗算回路２１，２２の各出力信号を加算し加算信号Ｇ_C〔＝ｋ・Ｇ_H（Ｄ_H）＋（１−ｋ）・Ｇ_L（Ｄ_L）〕を合成信号として信号処理部１８に出力する加算回路２３とを備える。

次に、上述した構成のデジタルカメラの動作について説明する。

このデジタルカメラでは、図示しない電源がＯＮされ撮影モードになっている間は、常時、固体撮像素子３から所定周期で画像信号が読み出されており、露光条件決定部７は、ＡＤＣ４から出力される画像信号を常時取り込み、その時々の最適露光条件を算出し、システム制御部５に出力する。即ち、露光条件決定部７は、高感度画像信号と低感度画像信号とを取り込み、その撮影シーンに対する最適な露光時間を決める。

最適な露光時間は、例えば次のように決定される。最適な露光時間の基で得られる高感度画像信号のヒストグラムをとると、２つの山ができる。一つの山は中央付近にでき、他の山は飽和出力を越えた位置にできる。同様にして最適露光時間の基で得られる低感度画像信号のヒストグラムをとると、これも２つの山ができる。一つの山は中央付近にでき、他の山はゼロに近い領域、つまり、高感度画像信号の領域にできる。このようなヒストグラムの山ができる様な露光時間を最適露光時間として決定する。

システム制御部５は、上述の最適露光時間となるように駆動部６に制御指令を出力し、光学系１，メカニカルシャッタ２，固体撮像素子３の動作パルス等を制御する。

ここで、ユーザがデジタルカメラの図示しないシャッタボタンを押下すると、電子シャッタが開き、決められた露光時間後にメカニカルシャッタ２が閉じられる。固体撮像素子３からは先ず高感度画素から高感度画像信号が読み出され、ＡＤＣ４から出力された高感度画像信号は、図２のスイッチ１０を介してホワイトバランス回路１１でホワイトバランス補正が施された後、メモリ１２に格納される。

次に、固体撮像素子３の低感度画素から低感度画像信号が読み出され、ＡＤＣ４から出力された低感度画像信号は、図２のスイッチ１０を介してホワイトバランス回路１５でホワイトバランス補正が施され、その後、低感度画像信号はメモリ１６に格納される。

そして、これらのメモリ１２，１６からは、同一画素位置の高感度画素からの高感度画像信号と低感度画素からの低感度画像信号とが一画素単位に読み出されて夫々ガンマ変換回路１３，１７でガンマ変換され、次に、合成パラメータｋの値を用いて画像加重加算回路１４で合成処理される。

図３は、本実施形態に係る信号合成の説明図である。図３の曲線Ｇ_Hは、高感度画像信号に対するガンマ特性（ガンマ変換回路１３の変換特性）であり、次のような特徴がある。入射露光量レベル（横軸）が飽和レベルＩ_Hm以上で、高感度画像信号（ガンマ特性Ｇ_H）は飽和値Ｇ_m（普通は、８ビット精度で“２５５”の値となる。）で一定となる。このガンマ特性Ｇ_Hの傾きは、常に“０”または正であり、単調に増大する。そして、入射露光量レベルの増大と共に傾きは小さくなり、飽和レベルＩ_Hm付近で傾きは“０”となる。

傾きの変化は急峻でなく、滑らかに（連続的に）変化するように設定されている。ただし、０付近で雑音が目立つことを避けるためＳ字特性を持たせることがあり、その場合には、０付近の傾きは一時増加する。

図３の曲線Ｇ_Lは、低感度画像信号に対するガンマ特性（ガンマ変換回路１７の変換特性）であり、次のような特徴がある。入力露光量レベルが飽和レベルＩ_Lmで低感度画像信号（ガンマ特性Ｇ_L）は飽和値Ｇ_mとなる。このガンマ特性Ｇ_Lの傾きは、常に“０”または正であり、単調に増大する。そして、入射露光量レベルの増大と共に傾きは小さくなる。

ガンマ特性Ｇ_Lは、ガンマ特性Ｇ_Hのように飽和レベルＩ_Lm付近で傾きを“０”とする必要は無いが、傾き“０”に選んでも良い。傾きの変化は急峻でなく、滑らかに（連続的に）変化するように設定されている。低感度画像信号は、飽和レベルＩ_Lm以上で、飽和値Ｇ_mで一定となる。

本実施形態では、高感度画像信号Ｇ_H（Ｄ_H）と低感度画像信号Ｇ_L（Ｄ_L）とを、合成式
Ｇ_C＝ｋ・Ｇ_H（Ｄ_H）＋（１−ｋ）・Ｇ_L（Ｄ_L）
によりｋ値に応じて合成している。

図３に、ｋ倍した高感度画像信号Ｇ_H（Ｄ_H）（“Ｇ_H”とだけ図示）と（１−ｋ）倍した低感度画像信号Ｇ_L（Ｄ_L）（“Ｇ_L”とだけ図示）と、合成信号Ｇ_Cとを例示する。

この高感度画像信号と低感度画像信号との加重加算は、高感度画像信号に対するガンマ特性Ｇ_Hと低感度画像信号に対するガンマ特性Ｇ_Lとを加重加算したものと同じであり、合成パラメータｋの値は、合成信号中の高感度画像信号の階調（ビット）割り当てに相当するものである。

即ち、合成パラメータｋの値が“１”に近ければ、画像全体に対して、高感度画像信号が支配的となり、反対に、合成パラメータｋの値が“０”に近い値になると、画像全体に対して低感度画像信号が支配的となる。ｋ＝１／２の場合は両者の中間であり、画像全体に対して高感度画像信号と低感度画像信号がバランスすることになる。

図２に示すｋ値決定部１９は、画像合成するときに使用する上述したｋ値を、ホワイトバランス補正後の高感度画像信号と低感度画像信号とから画素位置毎に決定する。即ち、本実施形態のｋ値決定部１９は、画面の明るい部分では低感度画像信号の寄与分が大きくなるようにｋ値を決め、画面の暗い部分は高感度画像信号の寄与分が大きくなるように決め、１つの画面内の部分領域毎にｋ値が最適値となるように演算処理して求めることを特徴とする。

ｋ値決定部１９は、例えば次の様にして、ある注目画素位置（ｘ，ｙ）における最適ｋ値を決定する。８ビット２５６階調の場合、例えばその８０％程度の“２０５”を閾値として、各画素位置における高感度画像信号の信号レベルが“２０５”以上のとき判定値を“０”、それ未満のとき判定値を“１”とする。

そして、注目画素位置を中心とした（２Ｎ＋１）²画素数（但し、Ｎは正整数。Ｎは固体撮像素子３のｘ方向画素数またはｙ方向画素数の数分の１から数１０分の１程度が良い。）の正方領域内の各画素位置における各判定値（“１”，“０”）を求め、これらを加算平均した値Ａ_avからｋ値を決定する。Ａ_av値は、（２Ｎ＋１）²個の“１”，“０”の判定値を加算平均した値であるため、０≦Ａ_av≦１の値となる。

Ａ_av値からｋ値を求める関数は任意である。例えば、図４に示す関数（ｋ＝Ａ_av）を用いたり、あるいは図５に示す関数を用いる。尚、上記の判定値“１”，“０”を決める閾値は、上記の例では高感度画像信号の飽和値の８０％の値としたが、この値は任意に設定でき、また、高感度画像信号で各画素位置における“１”，“０”値を判定するのではなく、低感度画像信号で判定してもよく、更に、高感度画像信号と低感度画像信号の両方で判定してもよい。

このようにして決定したｋ値を用いて合成した合成ガンマ特性Ｇ_Cは、図３から分かるとおり、ｋ値が一定または変化が少なければ、ｋ値の大小に関わらず、単調増加関数となり、輝度反転現象は起きない。

また、室内の暗い領域では、ｋ値は“１”に近いため、合成式Ｇ_Cでは、高感度画像信号Ｇ_H（Ｄ_H）が支配的となり、黒潰れの無い鮮明な画像となる。更に、明るい領域である窓の景色は、ｋ値が“０”に近いため、低感度画像信号Ｇ_L（Ｄ_L）が支配的となり、白飛びの無い良好な画像となる。窓と室内との境界付近では、ｋ値は“１”付近の大きい値から“０”付近の小さな値に徐々に変化するので、輝度反転が起きてもこの輝度反転は目立たなくなる。

更にまたは、本実施形態のｋ値を用いた画像合成では、局所的な薄い黒線や薄い白線に対してｋ値の変化は小さいので、輝度反転が起きることはなく、自然な画像となり、カラー画像の場合には色ズレ現象は起きない。

以上述べた実施形態によれば、Ｓ／Ｎが良好で且つ輝度反転や色ズレが少なく、メリハリのある広いダイナミックレンジを持つ画像を合成することが可能となる。

尚、上記の判定値を加算平均する範囲を決めるＮ値やｋ値の決定方法を撮影シーンに合わせて変えることでもよい。また、図２の実施形態では、ホワイトバランス回路１１，１５から出力されるリニアな高感度画像信号，低感度画像信号を用いてｋ値を決定したが、ガンマ変換後の高感度画像信号，低感度画像信号からｋ値を決定することでもよい。

即ち、ｋ値決定部は、注目画素位置を中心とする所定範囲における光学像の明暗に応じて注目画素のｋ値を決定するものであり、光学像が相対的に暗い場合にはｋ値を相対的に大きな値（“１”に近い値）に決め、光学像が相対的に明るい場合にはｋ値を相対時に小さな値（“０”に近い値）に決めるという条件を満たせばよい。

また、上述した実施形態では、デジタルカメラの画像処理部９が高感度画像信号と低感度画像信号とを合成処理し合成後の静止画像データを出力する例を説明したが、高感度画像信号と低感度画像信号とをＲＡＷデータとして記録メディアに格納しておき、パーソナルコンピュータ等でこれらのＲＡＷデータを読み出して画像合成する場合にも本発明を適用可能である。

〔第２実施形態〕
図６は、本発明の第２実施形態に係るデジタルカメラの画像処理部９の詳細構成図である。デジタルカメラ全体の構成は図１の第１実施形態と同じである。

本実施形態では、ホワイトバランス回路１４で低感度画像信号に対しホワイトバランス補正を行い一時保存するメモリ１６の後段に、低感度画像信号のＳ／Ｎを向上させる加重加算回路２５を挿入し、この加重加算回路２５の出力をガンマ変換回路１７に入力する構成としている点が第１実施形態と異なり、他の点は第１実施形態と同じである。

加重加算回路２５には、ホワイトバランス回路１２からメモリ１２を介して出力される高感度画像信号と、ホワイトバランス回路１５からメモリ１６を介して出力される低感度画像信号と、感度比Ｒとが入力される。感度比Ｒは、図１の露光条件決定部７が最適露光時間を決定すると、必然的に、同一光入力に対する高感度画像信号／低感度画像信号＝感度比Ｒとして決定され、システム制御部５から加重加算回路２５に出力される。

第１実施形態では、低感度画像信号のうち信号レベルが低レベルの部分もそのまま合成信号として画像合成に使用している。しかし、低レベルの低感度画像信号は、Ｓ／Ｎが良くないので、合成画像の画質を劣化させる。そのため、本実施形態では、加重加算回路２５を追加し、ホワイトバランス回路１５から出力される低感度画像信号Ｄ_Lのうち、信号レベルが低い低感度画像信号Ｄ_Lを、Ｓ／Ｎの高い信号Ｄ’_Lに置き換えている。この置き換えに使用する信号Ｄ’_Lは、次式で示されるように、ホワイトバランス回路１１から出力されるＳ／Ｎの高い高感度画像信号Ｄ_Hを用いて生成する。

Ｄ’_L＝Ｄ_L （Ｄ_H＞Ｄ_H2）
Ｄ’_L＝Ｄ_H／Ｒ （Ｄ_H＜Ｄ_H1）
Ｄ’_L＝α・Ｄ_L＋（１−α）・Ｄ_H／Ｒ （その他の場合）
ここで、Ｄ_Lは低感度画像信号のリニア値であり、Ｄ_Hは高感度画像信号のリニア値であり、Ｄ_H1，Ｄ_H2は、それぞれ〔Ｄ_H1＜Ｄ_H2＜高感度画像信号のリニア飽和値〕を満たす高感度画像信号の所定リニア値であり、α＝（Ｄ_H−Ｄ_H1）／（Ｄ_H2−Ｄ_H1）である。

このように、高感度画像信号Ｄ_Hのリニア値が所定値Ｄ_H1より低い信号レベルの領域で、前記合成式で用いるガンマ変換前の低感度画像信号を、高感度画像信号Ｄ_Hを感度比Ｒで除算した信号と低感度画像信号Ｄ_Lとの加重平均信号で置き換えることで、合成画像信号のうち低レベルのＳ／Ｎを改善することが可能となる。

〔第３実施形態〕
図７は、本発明の第３実施形態に係るデジタルカメラの画像処理部９の詳細構成図である。デジタルカメラ全体の構成は図１の第１実施形態，第２実施形態と同じである。

本実施形態では、第２実施形態の加重加算回路２５がガンマ変換回路１７の前段に設けられたのに対し、加重加算回路２６をガンマ変換回路１７の後段に設けた点が第２実施形態と異なり、他の点は第２実施形態と同じである。

第２実施形態では、低感度画像信号のＳ／Ｎ改善を低感度画像信号のリニア値に対して対策したのに対し、本実施形態では、ガンマ変換後の低感度画像信号に対して対策した点が異なる。この加重加算回路２６には、ガンマ変換回路１３から出力される高感度画像信号Ｇ_H（Ｄ_H）と、ガンマ変換回路１７から出力される低感度画像信号Ｇ_L（Ｄ_L）と、上述した感度比Ｒとが入力される。尚、以下、Ｇ_H（Ｄ_H），Ｇ_L（Ｄ_L）等の（Ｄ_H），（Ｄ_L）は省略してＧ_H，Ｇ_Lのみとする。

即ち、本実施形態では、ガンマ変換回路１７から出力される低感度画像信号Ｇ_Lのうち、信号レベルが低い低感度画像信号Ｇ_Lを、Ｓ／Ｎの高い高感度画像信号Ｇ_Hから生成した低感度画像信号Ｇ’_Lに置き換えている。この置き換えに使用する信号Ｇ’_Lは、次式で置き換えられる。

Ｇ’_L＝Ｇ_L （Ｇ_H＞Ｇ_H2）
Ｇ’_L＝Ｇ_H／Ｒ’ （Ｇ_H＜Ｇ_H1）
Ｇ’_L＝β・Ｇ_L＋（１−β）・Ｇ_H／Ｒ’ （その他の場合）
ここで、Ｇ_H1，Ｇ_H2は、それぞれ〔Ｇ_H1＜Ｇ_H2＜ガンマ変換後の高感度画像信号の飽和値〕を満たす所定値であり、β＝（Ｇ_H−Ｇ_H1）／（Ｇ_H2−Ｇ_H1）である。また、Ｒ’は、高感度画像信号を低感度画像信号に換算するための感度比であり、感度比Ｒをガンマ変換した後の感度比である。感度比Ｒ’は、１≦Ｒ’≦Ｒの間の定数となる。

このように、高感度画像信号Ｇ_Hの値が所定値Ｇ_H1より低い信号レベルの領域で、前記合成式で用いるガンマ変換後の低感度画像信号Ｇ_Lを、高感度画像信号Ｇ_Hを感度比Ｒ’で除算した信号と低感度画像信号Ｇ_Lとの加重平均信号で置き換えることで、合成画像信号のうち低レベルのＳ／Ｎを更に改善することが可能となる。

〔第４実施形態〕
図８は、本発明の第４実施形態に係るデジタルカメラの画像処理部９の詳細構成図である。デジタルカメラ全体の構成は図１の第１実施形態と同じである。

前述した第１実施形態の画像処理部９が、高感度画像信号と低感度画像信号とを合成した後に信号処理部１８で同時化処理したのに対し、本実施形態の画像処理部９では、ホワイトバランス回路１１，１５でホワイトバランス補正を行いメモリ１２，１６に一時保存された高感度画像信号と低感度画像信号とを夫々ガンマ補正回路１３，１７でガンマ変換し、スイッチ３１を介して信号処理部１８に入力させ、先に同時化処理を行い、この後に、ｋ値を用いて合成信号を生成する様にした点が異なる。

即ち、本実施形態の画像処理部では、信号処理部１８で同時化処理を行ってからスイッチ３２によって高感度画像信号をメモリ３３に取り込ませ、スイッチ３２によって低感度画像信号をメモリ３４に取り込ませ、同時化処理後の高感度画像信号と低感度画像信号とからｋ値を決定し、メモリ３３内の高感度画像信号とメモリ３４内の低感度画像信号とをｋ値を用いて加重加算回路１４で合成している。このようにすることでも、本実施形態は、第１実施形態と同様の効果を得ることができる。

また、本実施形態の構成に対して、第２実施形態の加重加算回路２５または第３実施形態の加重加算回路２６を付加することで、第２，第３実施形態と同様に低レベル信号のＳ／Ｎを更に向上させることができる。

尚、本実施形態では、同時化処理後の高感度画像信号と低感度画像信号とからｋ値を決定しているが、ｋ値は、同時化処理前の高感度画像信号と低感度画像信号から決定することでもよい。

また、上述した各実施形態では、カラー画像を撮像するデジタルカメラを例に説明したが、当然のことながら、本発明は白黒画像を撮像するデジタルカメラにも適用可能である。また、上述した各実施形態では、高感度画像信号をガンマ変換するガンマ特性と、低感度画像信号をガンマ変換するガンマ特性を異なるガンマ特性としたが、これらを同一のガンマ特性とすることでも本発明を実施可能である。この場合、ガンマ特性のテーブルに必要なメモリ容量が削減される。

更に、上述した第２実施形態と第３実施形態では、加重加算回路２５，２６をデジタルカメラに内蔵したが、これら加重加算回路が行う信号処理は、高感度画像信号と低感度画像信号のＲＡＷデータに対してパーソナルコンピュータ上で実施できることはいうまでもない。

本発明は、高感度画像信号と低感度画像信号とを合成して広いダイナミックレンジの被写体画像を生成するとき画面中の明暗領域に応じて高感度画像信号（あるいは低感度画像信号）の階調を調整するため良好な合成画像を生成することができ、デジタルカメラや画像合成方法、固体撮像装置として有用である。

本発明の第１実施形態に係るデジタルカメラの構成図である。 図１に示す静止画の（ＷＤＲ）画像処理部の詳細構成図である。 本発明の第１実施形態に係る画像合成方法の説明図である。 本発明の第１実施形態に係る画像処理部で行うｋ値の決定方法を説明する関数を示す図である。 本発明の第１実施形態に係る画像処理部で行うｋ値の決定方法を説明する別の関数を示す図である。 本発明の第２実施形態に係るデジタルカメラの画像処理部の詳細構成図である。 本発明の第３実施形態に係るデジタルカメラの画像処理部の詳細構成図である。 本発明の第４実施形態に係るデジタルカメラの画像処理部の詳細構成図である。 従来技術の不具合の説明図である。

符号の説明

１ 光学系
３ 固体撮像素子
４ アナログデジタル変換回路（ＡＤＣ）
５ システム制御部
７ 露光条件決定部
９ 静止画の画像処理部
１１，１５ ホワイトバランス回路
１３，１７ ガンマ変換回路（非線形変換回路）
１４ 画像合成用の加重加算回路
１８ 信号処理部
１９ ｋ値決定部
２１，２２ 乗算回路
２３ 加算回路
２５，２６ Ｓ／Ｎ改善用の加重加算回路

Claims (9)

1. 被写体を撮像して得た高感度画像信号Ｈと低感度画像信号Ｌとを合成式
   Ｇ_C＝ｋ・Ｈ＋（１−ｋ）・Ｌ
   ここで、ｋは合成パラメータ（０≦ｋ≦１）
   で合成して合成画像信号Ｇ_Cを生成するに際し、前記高感度画像信号Ｈ及び前記低感度画像信号Ｌから前記合成パラメータｋの値（以下、ｋ値という。）を画素位置毎に決定して前記合成式で合成することを特徴とする画像合成方法。
2. 前記合成式で用いる高感度画像信号Ｈは、固体撮像素子から出力される高感度画像信号Ｄ_Hを高感度画像信号用非線形特性Ｇ_Hで変換した後の信号Ｇ_H（Ｄ_H）であり、前記合成式で用いる低感度画像信号Ｌは、固体撮像素子から出力される低感度画像信号Ｄ_Lを低感度画像信号用非線形特性Ｇ_Lで変換した後の信号Ｇ_L（Ｄ_L）であることを特徴とする請求項１に記載の画像合成方法。
3. 前記高感度画像信号のリニア値が所定レベルより低い信号レベルの領域で、前記合成式で用いる非線形変換前の低感度画像信号Ｄ_Lまたは非線形変換後の低感度画像信号Ｇ_L（Ｄ_L）を、非線形変換前の高感度画像信号Ｄ_Hまたは非線形変換後の高感度画像信号Ｇ_H（Ｄ_H）から生成した低感度画像信号に置き換えることを特徴とする請求項２に記載の画像合成方法。
4. 高感度画像信号／低感度画像信号＝感度比としたとき〔高感度画像信号／感度比〕の信号と低感度画像信号とを加重平均した信号で低感度画像信号を置き換えると共に、前記所定レベルからゼロレベルへの低感度画像信号の変化に応じて前記加重平均する低感度画像信号を１００％から０％に変化させることを特徴とする請求項３に記載の画像合成方法。
5. 前記高感度画像信号用非線形特性Ｇ_H及び前記低感度画像信号用非線形特性Ｇ_Lは共に単調増大関数且つ二次微分値の変化すなわち傾きの変化が常に正または零の単調減少関数となる特性であり、前記高感度画像信号用非線形特性Ｇ_Hと前記低感度画像信号用非線形特性Ｇ_Lとが同一特性または異なる特性であることを特徴とする請求項２乃至請求項４のいずれかに記載の画像合成方法。
6. 注目画素位置のｋ値を決定するとき該注目画素位置を中心とした所定範囲内の光学像の平均的な明暗に応じて、該光学像が相対的に暗いときはｋ値を“１”に近い値に決め、前記光学像が相対的に明るいときはｋ値を“０”に近い値に決めることを特徴とする請求項１乃至請求項５のいずれかに記載の画像合成方法。
7. 被写体を撮像して得た高感度画像信号Ｈと低感度画像信号Ｌとを合成式
   Ｇ_C＝ｋ・Ｈ＋（１−ｋ）・Ｌ
   ここで、ｋは合成パラメータ（０≦ｋ≦１）
   で合成して合成画像信号Ｇ_Cを生成するとき前記高感度画像信号Ｈ及び前記低感度画像信号Ｌから前記合成パラメータｋの値を画素位置毎に決定し前記合成式で合成処理する画像処理手段を備えることを特徴とする固体撮像装置。
8. 前記画像処理手段は、請求項２乃至請求項６のいずれかに記載の画像合成方法で合成処理を行うことを特徴とする請求項７に記載の固体撮像装置。
9. 請求項７または請求項８に記載の固体撮像装置を搭載したことを特徴とするデジタルカメラ。

Images