JP2005051695A - 画像合成方法及び固体撮像装置並びにデジタルカメラ - Google Patents

Abstract

【課題】 高感度画像信号と低感度画像信号とを合成して広いダイナミックレンジの被写体画像を生成するとき、高感度画像信号の飽和付近で不自然な画像が生成されない様にする。
【解決手段】 被写体を撮像した固体撮像素子から出力される高感度画像信号Ｇ_Hと低感度画像信号Ｇ_Lとを合成して被写体の画像信号を生成する画像合成方法において、固体撮像素子の同一画素位置から出力され非線形変化した後の高感度画像信号Ｇ_H及び低感度画像信号Ｇ_Lを入射光レベルの全範囲で加重加算して被写体の画像信号Ｇ_Cを合成する。これにより、入射光レベルの全範囲で非線形変換特性が滑らかに繋がり、高感度画像信号の飽和付近で不自然な画像が生成されることがなくなる。
【選択図】 図３

Description

本発明は、被写体を撮像して得られた高感度画像信号と低感度画像信号とを合成してダイナミックレンジの広い画像信号を生成する画像合成方法等に係り、特に、高感度画像信号の飽和点付近で合成画像が不自然とならない画像合成方法及び固体撮像装置並びにデジタルカメラに関する。

ＣＣＤイメージセンサやＣＭＯＳイメージセンサに代表される固体撮像素子を使用した固体撮像装置で撮像される画像は、ダイナミックレンジが狭いという欠点がある。このため、ダイナミックレンジの広い撮影シーン、例えば、逆光の人物像や、暗い室内から窓越しの昼下がりの庭等の光学像を綺麗に撮ることができない。

そこで、従来のデジタルカメラでは、下記特許文献１に記載されている様に、電荷蓄積期間を制御できる固体撮像素子を搭載し、被写体を長時間露光した画像信号を読み出し、次に連続して同じ被写体を短時間露光して得た画像信号を読み出し、２つの画像信号を合成処理することで、広いダイナミックレンジの被写体画像を得る様にしている。

また、下記特許文献２に記載されている従来技術では、画素配列の１／２を高感度画素として形成し、残り１／２を低感度画素として形成した固体撮像素子を使用し、同一の露光時間で得られた高感度画素からの画像信号と低感度画素からの画像信号とを合成処理し、広いダイナミックレンジの被写体画像を得る様にしている。

尚、固体撮像素子から出力される長時間露光の画像信号あるいは高感度画素から得られる画像信号を高感度画像信号といい、短時間露光の画像信号あるいは低感度画素から得られる画像信号を低感度画像信号と呼ぶことにする。

高感度画像信号と低感度画像信号を合成する場合、固体撮像素子から出力された画像信号をリニア値のままで合成すると、合成処理に必要なビット数が増大し、ガンマ特性のルックアップテーブルデータ量も増加し、信号処理を行う信号処理回路が大規模化してコスト的に不利である。

そのため、例えば、下記特許文献３に記載されている様に、高感度画像信号と低感度画像信号に対して夫々異なるガンマ特性を使用してガンマ特性変換（非線形処理）を行い、その後、両信号を加算することで信号合成を行う方法が実用に適している。

図９は、この信号合成の一例を示す図であり、横軸が入射露光量レベルであり、縦軸が信号レベルである。高感度画像信号Ｈは、僅かな入射露光量レベルから比較的に急に立ち上がるため、僅かな入射露光量レベルの変化も画像信号として反映するが、入射露光量レベルが所定値ｔに達すると飽和してしまい、明るい被写体の画像が白飛びしてしまうという欠点がある。

これに対し、低感度画像信号Ｌは、入射露光量レベルが高いときでも被写体の画像が白飛びすることはないが、入射露光量レベルが低いと被写体画像が黒潰れしてしまうという欠点がある。この２つの画像信号Ｈ，Ｌを合成した合成信号Ｇは、入射露光量レベルの高低に関わらずその変化が画像信号Ｇの変化として反映するため、上記の白飛びや黒潰れが少なくなり、ダイナミックレンジの広い画像を得ることが可能となる。

特開平６―１４１２２９号公報 特開昭５９―２１０７７５号公報 特開２００２―１３５７８７号公報

一般的に、高感度画像信号Ｈと低感度画像信号Ｌの感度比は、固体撮像素子が持つシェーディング等のため画面全体で一定値でない。また、ホワイトバランスのアンプ利得等により信号レベルの飽和点も変化する。従って、高感度画像信号Ｈの飽和点と低感度画像信号Ｌの始まりとがずれることが起きてしまう。

このような時に、特許文献３の従来技術を適用した信号合成を行うと、高感度画像信号Ｈと低感度画像信号Ｌの繋がり部分で合成信号Ｇが滑らかにならず、この繋がり部分で不自然な画像になってしまうという不都合が生じる。

また、撮影シーンにより最適な感度比やガンマ特性が異なるため、これらに対応するために多数のガンマ特性のルックアップテーブルデータをデジタルカメラのメモリに予め用意しておくことが必要となり、デジタルカメラのコストを上昇させてしまう。

更に、多数のガンマ特性が予め用意されていたとしても、ある撮影シーンを撮像したときデジタルカメラが信号合成処理のためのテーブルデータの書き換えに時間がかかるため、次の撮影シーンのシャッタチャンスを逃す虞が高くなるという問題もある。

本発明の目的は、感度比が変化しても、高感度画像信号と低感度画像信号の繋がり部分が滑らかな合成ガンマ特性となり、不自然な画像とならない広いダイナミックレンジを持つ画像合成方法等を実現すると共に、比較的簡単な処理回路により、様々な撮影シーンに対処できる画像合成方法及び固体撮像装置並びにデジタルカメラを提供することにある。

本発明の画像合成方法は、被写体を撮像した固体撮像素子から出力される高感度画像信号と低感度画像信号とを合成して前記被写体の画像信号を生成する画像合成方法において、前記固体撮像素子の同一画素位置から出力された前記高感度画像信号及び前記低感度画像信号を夫々非線形変換した後に入射光レベルの全範囲で加重加算して前記被写体の画像信号を合成することを特徴とする。

この構成により、非線形変換を行う関数が入射光レベルの全範囲で滑らかに繋がり、合成画像に不自然な部分がなくなる。また、画像合成する処理回路の回路規模が小さくなる。

本発明の画像合成方法は、前記高感度画像信号Ｓ_Hを非線形変換した後の信号をＧ_H（Ｓ_H）とし、前記低感度画像信号Ｓ_Lを非線形変換した後の信号をＧ_L（Ｓ_L）とし、前記合成した画像信号をＧ_Cとしたとき、前記加重加算は
Ｇ_C＝ｋ・Ｇ_H（Ｓ_H）＋（１−ｋ）・Ｇ_L（Ｓ_L）
ここで、合成パラメータｋは０≦ｋ≦１の値
の合成式で行うことを特徴とする。

この構成により、合成パラメータｋの値を変化させることで最適な合成画像の解像度を決定でき、その調整が容易となる。また、多数の非線形変換データを用意する必要がないため、メモリ容量が削減される。更に、テーブル書き換えの時間が不要となるため、シャッタチャンスを逃すこともなくなる。

本発明の画像合成方法の前記合成パラメータｋの値は、前記固体撮像素子の各画素から出力される前記高感度画像信号のヒストグラムと前記低感度画像信号のヒストグラムの各形状により決定することを特徴とする。

この構成により、その時その時の撮影シーンに最適な合成パラメータｋの値を自動的に決定することができる。

本発明の画像合成方法の前記合成パラメータｋの値は、前記高感度画像信号と前記低感度画像信号との感度比により決定することを特徴とする。

この構成により、感度比に応じた合成画像を生成することが可能となり、感度比が変動した場合でも高感度画像信号の飽和点付近で合成画像が不自然になることがない。

本発明の画像合成方法は、前記高感度画像信号のリニア値が所定レベルより低い信号レベルの領域で、前記合成式で用いる非線形変換後の低感度画像信号または非線形変換前の低感度画像信号を、高感度画像信号／低感度画像信号＝感度比としたとき〔高感度画像信号／感度比〕の信号と低感度画像信号とを加重平均した信号で置き換えることを特徴とする。

この構成により、画像合成に用いる低感度画像信号のＳ／Ｎを改善することができ、合成画像のＳ／Ｎが改善する。

本発明の画像合成方法の前記非線形変換は単調増大関数且つ二次微分値の変化すなわち傾きの変化が常に正または零の単調減少関数となるガンマ変換であり、前記高感度画像信号に施すガンマ変換特性と前記低感度画像信号に施すガンマ変換特性とが異なることを特徴とする。

この構成により、画質の優れた合成画像を生成することが可能となる。

本発明の固体撮像装置は、被写体を撮像し高感度画像信号と低感度画像信号とを出力する固体撮像素子と、該固体撮像素子の同一画素位置から出力された前記高感度画像信号及び前記低感度画像信号を夫々非線形変換した後に入射光レベルの全範囲で加重加算して前記被写体の画像信号を合成し合成後の画像信号を出力する信号処理手段とを備えることを特徴とする。

この構成により、固体撮像装置から出力される広いダイナミックレンジの被写体画像のデータに、不自然な画像部分がなくなり、出力画像の品質が向上する。

本発明の固体撮像装置の前記信号処理手段は、上述したいずれかの画像合成方法で画像信号を合成することを特徴とする。

この構成により、固体撮像装置の回路規模を更に小さくすることができる。

本発明のデジタルカメラは、被写体を撮像し高感度画像信号と低感度画像信号とを出力する固体撮像素子と、前記被写体の光学像を前記固体撮像素子に結像させる光学手段と、前記固体撮像素子の同一画素位置から出力された前記高感度画像信号及び前記低感度画像信号を夫々非線形変換した後に入射光レベルの全範囲で加重加算して前記被写体の画像信号を合成し合成後の画像信号を出力する信号処理手段とを備えることを特徴とする。

この構成により、広いダイナミックレンジの品質の優れた被写体画像を撮像可能となる。

本発明のデジタルカメラの前記信号処理手段は、上述したいずれかの画像合成方法で画像信号を合成することを特徴とする。

この構成により、デジタルカメラの回路規模を小さくでき、低コストで高品質な被写体画像を撮像可能となる。

本発明によれば、高感度画像信号と低感度画像信号との繋がりが入射露光量レベルの全範囲で滑らかになるため広いダイナミックレンジの被写体画像が不自然になることがなくなる。

以下、本発明の一実施形態について、図面を参照して説明する。

〔第１実施形態〕
図１は、本発明の第１実施形態に係るデジタルカメラの構成図である。このデジタルカメラはデジタルスチルカメラであるが、本発明はデジタルビデオカメラ等の他の種類のデジタルカメラにも適用可能である。

図１において、本実施形態に係るデジタルカメラは、レンズ等の光学系１と、光学系１の背部に設けられたメカニカルシャッタ２と、光学系１によって結像された被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等の固体撮像素子３と、固体撮像素子３から出力されるアナログの撮像信号をデジタルの信号に変換するアナログデジタル変換回路（ＡＤＣ）４と、デジタルカメラ全体を統括制御するシステム制御部５と、システム制御部５からの指令信号に基づいて光学系１，メカニカルシャッタ２，固体撮像素子３，ＡＤＣ４を駆動制御する駆動部６と、ＡＤＣ４から出力されるＲ（赤），Ｇ（緑），Ｂ（青）の画像信号を取り込んで後述のパラメータｋの値や最適露光条件を算出しこれらをシステム制御部５に出力する露光条件決定部７とを備える。

固体撮像素子３は、上述した特許文献１に記載されている様に、同一感度の画素がアレイ状に配列され、長時間露光により得られた高感度画像信号と短時間露光により得られた低感度画像信号とが出力される形式のものでもよく、また、上述した特許文献２に記載されている様に、高感度画素と低感度画素とが隣接してアレイ状に配列され、高感度画素により得られた高感度画像信号と低感度画素により得られた低感度画像信号とが出力される形式のものでもよいが、このデジタルカメラでは、高感度画素と低感度画素とが形成された固体撮像素子３を搭載しているものとして説明する。

デジタルカメラは更に、動画の画像処理部８と、静止画の画像処理部９とを備える。動画の画像処理部８は、ＡＤＣ４から出力されるＲＧＢの画像信号を取り込み、システム制御部５からの指令に基づいて処理し、動画像信号を出力する。この動画像信号は、例えばカメラ背面等に搭載されているカラー液晶表示部等にスルー画像として表示されたり、あるいは記録メディアに記録される。

静止画の画像処理部９は、ＡＤＣ４から出力されるＲＧＢの高感度画像信号及び低感度画像信号を後述の様に合成処理することで、ワイドダイナミックレンジ（ＷＤＲ）の被写体画像データを生成し、出力する。

図２は、図１に示す画像処理部９の詳細構成図である。この静止画の画像処理部９は、高感度画像信号を取り込んでホワイトバランス補正を行うホワイトバランス回路１１と、ホワイトバランス補正後の高感度画像信号に対して非線形処理であるガンマ変換処理を施しガンマ変換後の高感度画像信号を後段の加重加算回路１３に出力するガンマ変換回路１２と、低感度画像信号を取り込んでホワイトバランス補正を行うホワイトバランス回路１４と、ホワイトバランス補正後の低感度画像信号をガンマ変換しガンマ変換後の低感度画像信号を後段の加重加算回路１３に出力するガンマ変換回路１５と、加重加算回路１３で加算合成された合成信号に対して公知の同時化処理やＲＧＢ／ＹＣ変換処理等の信号処理を施して合成静止画画像信号を出力する信号処理部１６とを備える。

加重加算回路１３は、ガンマ変換回路１２から取り込んだ高感度画像信号Ｇ_H（Ｓ_H）に対してパラメータｋの値を乗算した信号〔ｋ・Ｇ_H（Ｓ_H）〕を出力する乗算回路１７と、ガンマ変換回路１５から取り込んだ低感度画像信号Ｇ_L（Ｓ_L）に対して上記のパラメータ値ｋを“１”から減算した値（１−ｋ）を乗算した信号〔（１−ｋ）・Ｇ_L（Ｓ_L）〕を出力する乗算回路１８と、乗算回路１７，１８の各出力信号を加算し加算信号Ｇ_C〔＝ｋ・Ｇ_H（Ｓ_H）＋（１−ｋ）・Ｇ_L（Ｓ_L）〕を合成信号として信号処理部１６に出力する加算回路１９とを備える。

次に、上述した構成のデジタルカメラの動作について説明する。

このデジタルカメラでは、図示しない電源がＯＮされ撮影モードになっている間は、常時、固体撮像素子３から所定周期で画像信号が読み出されており、露光条件決定部７は、ＡＤＣ４から出力される画像信号を常時取り込み、その時々の最適露光条件と最適な合成パラメータｋの値を算出し、システム制御部５に出力する。

即ち、露光条件決定部７は、高感度画像信号と低感度画像信号とを取り込み、その撮影シーンに対する最適な露光時間を決めると共に、ガンマ特性の合成に使用する合成パラメータｋの値を決める。

最適な露光時間は、例えば次のように決定される。最適な露光時間の基で得られる高感度画像信号のヒストグラムをとると、２つの山ができる。一つの山は中央付近にでき、他の山は飽和出力を越えた位置にできる。同様にして最適露光時間の基で得られる低感度画像信号のヒストグラムをとると、これも２つの山ができる。一つの山は中央付近にでき、他の山はゼロに近い領域、つまり、高感度画像信号の領域にできる。このようなヒストグラムの山ができる様な露光時間を最適露光時間として決定する。

また、合成パラメータｋの値は、例えば次の様に決める。最適露光時間が決まると、必然的に感度比Ｒ（同一光入力に対する高感度画像信号／低感度画像信号）が決まる。この感度比Ｒと、前述のヒストグラムの形状から、最適な合成パラメータｋの値を決める。ｋの値は０≦ｋ≦１の値をとる。

システム制御部５は、このようにして得られた最適露光時間となるように駆動部６に制御指令を出力し、光学系１，メカニカルシャッタ２，固体撮像素子３の動作パルス等を制御する。

ここで、ユーザがデジタルカメラの図示しないシャッタボタンを押下すると、電子シャッタが開き、決められた露光時間後にメカニカルシャッタ２が閉じられる。固体撮像素子３からは先ず高感度画素から高感度画像信号が読み出され、ＡＤＣ４から出力された高感度画像信号が図示しないメモリに格納され、次に、低感度画素から低感度画像信号が読み出され、ＡＤＣ４から出力された低感度画像信号が図示しないメモリに格納される。そして、これらのメモリから一画素単位に読み出された高感度画像信号と低感度画像信号とが静止画の画像処理部９に入力され、同一画素位置から出力された高感度画像信号と低感度画像信号とが合成パラメータｋを用いて信号合成される。

図３は、本実施形態に係る信号合成の説明図である。図３の曲線Ｇ_Hは、高感度画像信号に対するガンマ特性であり、次のような特徴がある。入力露光量レベル（横軸）が飽和レベルＩ_Hm以上で、高感度画像信号（ガンマ特性Ｇ_H）は飽和値Ｇ_m（普通は、８ビット精度で“２５５”の値となる。）で一定となる。このガンマ特性Ｇ_Hの傾きは、常に“０”または正であり、単調に増大する。そして、入力露光量レベルの増大と共に傾きは小さくなり、飽和レベルＩ_Hm付近で傾きは“０”となる。

傾きの変化は急峻でなく、滑らかに（連続的に）変化するように設定されている。ただし、０付近で雑音が目立つことを避けるためＳ字特性を持たせることがあり、その場合には、０付近の傾きは一時増加する。

図３の曲線Ｇ_Lは、低感度画像信号に対するガンマ特性であり、次のような特徴がある。入力露光量レベルが飽和レベルＩ_Lmで低感度画像信号（ガンマ特性ＧＬ）は飽和値Ｇ_mとなる。このガンマ特性Ｇ_Lの傾きは、常に“０”または正であり、単調に増大する。そして、入射露光量レベルの増大と共に傾きは小さくなる。

ガンマ特性Ｇ_Lは、ガンマ特性Ｇ_Hのように飽和レベルＩ_Lm付近で傾きを“０”とする必要は無いが、傾き“０”に選んでも良い。傾きの変化は急峻でなく、滑らかに（連続的に）変化するように設定されている。低感度画像信号は、飽和レベルＩ_Lm以上で、飽和値Ｇ_mで一定となる。

本実施形態では、高感度画像信号と低感度画像信号とを、合成式〔Ｇ_C＝ｋ・Ｇ_H（Ｓ_H）＋（１−ｋ）・Ｇ_L（Ｓ_L）〕により合成信号Ｇ_Cを得ている。図３にｋ倍した高感度画像信号Ｇ_H（（Ｓ_H）は図示省略）と（１−ｋ）倍した低感度画像信号Ｇ_L（（Ｓ_L）は図示省略）と、合成信号Ｇ_Cとを図示する。この高感度画像信号と低感度画像信号との加重加算は、高感度画像信号に対するガンマ特性と低感度画像信号に対するガンマ特性とを加重加算したものと同じであり、合成パラメータｋの値は、合成信号中の高感度画像信号の階調（ビット）割り当てに相当するものである。

即ち、合成パラメータｋの値が“１”に近ければ、画像全体に対して、高感度画像信号が支配的となり、反対に、合成パラメータｋの値が“０”に近い値になると、画像全体に対して低感度画像信号が支配的となる。ｋ＝１／２の場合は両者の中間であり、画像全体に対して高感度画像信号と低感度画像信号がバランスすることになる。

図４は、設定条件から外れた高感度画像信号（感度比が大きい場合）を示す図である。高感度画像信号に対するガンマ特性は、Ｇ_HからＧ’_Hに変化する。しかし、このガンマ特性が高感度画像信号の飽和レベルＩ_Hm付近で傾きが“０”となっているので、感度比が多少設定値から外れても、合成特性Ｇ’_Cは滑らかに繋がり、ガンマ特性不連続に起因する不自然な画像は現れることがない。

図５は、空を被写体としたとき空が白飛びしない様に、周囲の画質は最適に近く、明るい部分だけもう少し解像感を向上したい例（空の色や雲）を示す図である。この例の場合、明るい部分を少し改善すれば良いので、例えば、ｋ＝０．７５のように合成パラメータｋの値を“１”に近い値に設定すれば良い。低レベルの周囲は高感度画像信号で十分階調が得られ、高レベル領域は階調は少ないが、解像できるようになり、全体として広いダイナミックレンジの良好な画像が得られる。

図６は、被写体画像中の暗い部分の黒潰れを改善する例を示す図である。黒潰れを改善したい場合には、例えばｋ＝０．２５のように小さい値に選ぶと良い。全体的な画質は、低感度画像信号の階調で保持され、暗い部分のみ、黒潰れが無くなる。また、逆光の人物や窓越しの景色等のように低レベル部分と高レベル部分も両方目一杯解像したい場合には、ｋ＝０．５に設定すると良い。

この様に、合成パラメータｋの値を撮影シーンに応じて最適な値に設定することで、広いダイナミックレンジの被写体画像中に不自然な部分が入ることがなくなる。また、合成パラメータｋの値を用いて画像合成を行うため、画像処理部の回路規模は小さくて済み、多種類のガンマ特性を用意する必要もなくなり、更に、短時間に画像合成が行われるため次のシャッタチャンスを逃すこともなくなる。

尚、上述した実施形態では、デジタルカメラの画像処理部９が高感度画像信号と低感度画像信号とを合成処理し合成後の静止画像データを出力する例を説明したが、高感度画像信号と低感度画像信号とをＲＡＷデータとして記録メディアに格納しておき、パーソナルコンピュータ等でこれらのＲＡＷデータを読み出して画像合成する場合にも本発明を適用可能である。

この場合、例えば、画像合成に使用する合成パラメータｋの値はユーザが任意に選択可能であるが、そのときの撮影シーンに対してデジタルカメラが最適と判断した合成パラメータｋの値を参考にできるように、デジタルカメラが最適と判断した合成パラメータｋの値もＲＡＷデータにタグ情報として付加しておくのがよい。

また、上述したデジタルカメラでは、合成パラメータｋの値を露光条件決定部７が自動決定したが、ユーザが手操作で指定入力する機能をデジタルカメラに付加することでもよい。これにより、ユーザの好みに合わせた絵作りが可能となる。

〔第２実施形態〕
図７は、本発明の第２実施形態に係るデジタルカメラの画像処理部９の詳細構成図である。デジタルカメラ全体の構成は図１の第１実施形態と同じである。

本実施形態では、低感度画像信号に対してホワイトバランス補正を行うホワイトバランス回路１４の後段に、低感度画像信号のＳ／Ｎを向上させる加重加算回路２１を挿入し、この加重加算回路２１の出力をガンマ変換回路１５に入力する構成としている点が第１実施形態と異なり、他の点は第１実施形態と同じである。

加重加算回路２１には、ホワイトバランス回路１１から出力される高感度画像信号とホワイトバランス回路１４から出力される低感度画像信号と上述した感度比Ｒとが入力される。

第１実施形態では、低感度画像信号のうち信号レベルが低レベルの部分もそのまま合成信号として画像合成に使用される。しかし、低レベルの低感度画像信号は、Ｓ／Ｎが良くないので、合成画像の画質を劣化させる。そのため、本実施形態では、加重加算回路２１を追加し、ホワイトバランス回路１４から出力される低感度画像信号Ｓ_Lのうち、信号レベルが低い低感度画像信号Ｓ_Lを、Ｓ／Ｎの高い信号Ｓ’_Lに置き換えている。この置き換えに使用する信号Ｓ’_Lは、次式で示されるように、ホワイトバランス回路１１から出力されるＳ／Ｎの高い高感度画像信号Ｓ_Hを用いて生成する。

Ｓ’_L＝Ｓ_L （Ｓ_H＞Ｓ_H2）
Ｓ’_L＝Ｓ_H／Ｒ （Ｓ_H＜Ｓ_H1）
Ｓ’_L＝α・Ｓ_L＋（１−α）・Ｓ_H／Ｒ （その他の場合）
ここで、Ｓ_H1，Ｓ_H2は、それぞれ〔Ｓ_H1＜Ｓ_H2＜高感度画像信号のリニア飽和値〕を満たす高感度画像信号の所定リニア値であり、α＝（Ｓ_H−Ｓ_H1）／（Ｓ_H2−Ｓ_H1）である。

このように、高感度画像信号Ｓ_Hのリニア値が所定値Ｓ_H1より低い信号レベルの領域で、前記合成式で用いるガンマ変換前の低感度画像信号を、高感度画像信号Ｓ_Hを感度比Ｒで除算した信号と低感度画像信号Ｓ_Lとの加重平均信号で置き換えることで、合成画像信号のうち低レベルのＳ／Ｎを改善することが可能となる。

〔第３実施形態〕
図８は、本発明の第３実施形態に係るデジタルカメラの画像処理部９の詳細構成図である。デジタルカメラ全体の構成は図１の第１実施形態，第２実施形態と同じである。

本実施形態では、第２実施形態の加重加算回路２１がガンマ変換回路１５の前段に設けられたのに対し、加重加算回路２２をガンマ変換回路１５の後段に設けた点が第２実施形態と異なり、他の点は第２実施形態と同じである。

第２実施形態では、低感度画像信号のＳ／Ｎ改善を低感度画像信号のリニア値に対して対策したのに対し、本実施形態では、ガンマ変換後の低感度画像信号に対して対策した点が異なる。この加重加算回路２２には、ガンマ変換回路１２から出力される高感度画像信号Ｇ_H（Ｓ_H）とガンマ変換回路１５から出力される低感度画像信号Ｇ_L（Ｓ_L）と上述した感度比Ｒとが入力される。尚、以下、Ｇ_H（Ｓ_H），Ｇ_L（Ｓ_L）等の（Ｓ_H），（Ｓ_L）は省略してＧ_H，Ｇ_Lのみとする。

即ち、本実施形態では、ガンマ変換回路１５から出力される低感度画像信号Ｇ_Lのうち、信号レベルが低い低感度画像信号Ｇ_Lを、Ｓ／Ｎの高い高感度画像信号Ｇ_Hから生成した低感度画像信号Ｇ’_Lに置き換えている。この置き換えに使用する信号Ｇ’_Lは、次式で置き換えられる。

Ｇ’_L＝Ｇ_L （Ｇ_H＞Ｇ_H2）
Ｇ’_L＝Ｇ_H／Ｒ’ （Ｇ_H＜Ｇ_H1）
Ｇ’_L＝β・Ｇ_L＋（１−β）・Ｇ_H／Ｒ’ （その他の場合）
ここで、Ｇ_H1，Ｇ_H2は、それぞれ〔Ｇ_H1＜Ｇ_H2＜ガンマ変換後の高感度画像信号の飽和値〕を満たす所定値であり、β＝（Ｇ_H−Ｇ_H1）／（Ｇ_H2−Ｇ_H1）である。また、Ｒ’は、高感度画像信号を低感度画像信号に換算するための感度比であり、感度比Ｒをガンマ変換した後の感度比である。感度比Ｒ’は、１≦Ｒ’≦Ｒの間の定数となる。

このように、高感度画像信号Ｇ_Hの値が所定値Ｇ_H1より低い信号レベルの領域で、前記合成式で用いるガンマ変換後の低感度画像信号Ｇ_Lを、高感度画像信号Ｇ_Hを感度比Ｒ’で除算した信号と低感度画像信号Ｇ_Lとの加重平均信号で置き換えることで、合成画像信号のうち低レベルのＳ／Ｎを改善することが可能となる。

上述した各実施形態では、カラー画像を撮像するデジタルカメラを例に説明したが、当然のことながら、本発明は白黒画像を撮像するデジタルカメラにも適用可能である。また、上述した各実施形態では、高感度画像信号をガンマ変換するガンマ特性と、低感度画像信号をガンマ変換するガンマ特性を異なるガンマ特性としたが、これらを同一のガンマ特性とすることでも本発明を実施可能である。この場合、ガンマ特性のテーブルに必要なメモリ容量が削減される。

尚、上述した第２実施形態と第３実施形態では、加重加算回路２１，２２をデジタルカメラに内蔵したが、これら加重加算回路が行う信号処理は、高感度画像信号と低感度画像信号のＲＡＷデータに対してパーソナルコンピュータ上で実施できることはいうまでもない。

本発明は、高感度画像信号と低感度画像信号とを合成して広いダイナミックレンジの被写体画像を生成するとき不自然な画像部分が生じることないため、デジタルカメラや画像合成方法、固体撮像装置として有用である。

本発明の第１実施形態に係るデジタルカメラの構成図である。 図１に示す静止画の（ＷＤＲ）画像処理部の詳細構成図である。 本発明の第１実施形態に係る画像合成方法の説明図である。 本発明の第１実施形態に係る画像合成方法の別例の説明図である。 本発明の第１実施形態に係る画像合成方法の更に別例の説明図である。 本発明の第１実施形態に係る画像合成方法の更に別例の説明図である。 本発明の第２実施形態に係るデジタルカメラの画像処理部の詳細構成図である。 本発明の第３実施形態に係るデジタルカメラの画像処理部の詳細構成図である。 従来技術の不具合の説明図である。

符号の説明

１ 光学系
３ 固体撮像素子
４ アナログデジタル変換回路（ＡＤＣ）
５ システム制御部
７ 露光条件決定部
９ 静止画の画像処理部
１１，１４ ホワイトバランス回路
１２，１５ ガンマ変換回路
１３ 画像合成用の加重加算回路
１６ 信号処理部
１７，１８ 乗算回路
１９ 加算回路
２１，２２ Ｓ／Ｎ改善用の加重加算回路

Claims (10)

1. 被写体を撮像した固体撮像素子から出力される高感度画像信号と低感度画像信号とを合成して前記被写体の画像信号を生成する画像合成方法において、前記固体撮像素子の同一画素位置から出力された前記高感度画像信号及び前記低感度画像信号を夫々非線形変換した後に入射光レベルの全範囲で加重加算して前記被写体の画像信号を合成することを特徴とする画像合成方法。
2. 前記高感度画像信号Ｓ_Hを非線形変換した後の信号をＧ_H（Ｓ_H）とし、前記低感度画像信号Ｓ_Lを非線形変換した後の信号をＧ_L（Ｓ_L）とし、前記合成した画像信号をＧ_Cとしたとき、前記加重加算は
   Ｇ_C＝ｋ・Ｇ_H（Ｓ_H）＋（１−ｋ）・Ｇ_L（Ｓ_L）
   ここで、合成パラメータｋは０≦ｋ≦１の値
   の合成式で行うことを特徴とする請求項１に記載の画像合成方法。
3. 前記合成パラメータｋの値は、前記固体撮像素子の各画素から出力される前記高感度画像信号のヒストグラムと前記低感度画像信号のヒストグラムの各形状により決定することを特徴とする請求項２に記載の画像合成方法。
4. 前記合成パラメータｋの値は、前記高感度画像信号と前記低感度画像信号との感度比により決定することを特徴とする請求項２または請求項３に記載の画像合成方法。
5. 前記高感度画像信号のリニア値が所定レベルより低い信号レベルの領域で、前記合成式で用いる非線形変換後の低感度画像信号または非線形変換前の低感度画像信号を、高感度画像信号／低感度画像信号＝感度比としたとき〔高感度画像信号／感度比〕の信号と低感度画像信号とを加重平均した信号で置き換えることを特徴とする請求項２乃至請求項４のいずれかに記載の画像合成方法。
6. 前記非線形変換は単調増大関数且つ二次微分値の変化すなわち傾きの変化が常に正または零の単調減少関数となるガンマ変換であり、前記高感度画像信号に施すガンマ変換特性と前記低感度画像信号に施すガンマ変換特性とが異なることを特徴とする請求項１乃至請求項５のいずれかに記載の画像合成方法。
7. 被写体を撮像し高感度画像信号と低感度画像信号とを出力する固体撮像素子と、該固体撮像素子の同一画素位置から出力された前記高感度画像信号及び前記低感度画像信号を夫々非線形変換した後に入射光レベルの全範囲で加重加算して前記被写体の画像信号を合成し合成後の画像信号を出力する信号処理手段とを備えることを特徴とする固体撮像装置。
8. 前記信号処理手段は、請求項２乃至請求項６のいずれかに記載の画像合成方法で画像信号を合成することを特徴とする請求項７に記載の固体撮像装置。
9. 被写体を撮像し高感度画像信号と低感度画像信号とを出力する固体撮像素子と、前記被写体の光学像を前記固体撮像素子に結像させる光学手段と、前記固体撮像素子の同一画素位置から出力された前記高感度画像信号及び前記低感度画像信号を夫々非線形変換した後に入射光レベルの全範囲で加重加算して前記被写体の画像信号を合成し合成後の画像信号を出力する信号処理手段とを備えることを特徴とするデジタルカメラ。
10. 前記信号処理手段は、請求項２乃至請求項６のいずれかに記載の画像合成方法で画像信号を合成することを特徴とする請求項９に記載のデジタルカメラ。

Images