JP2004032171A

JP2004032171A - 撮像装置

Info

Publication number: JP2004032171A
Application number: JP2002182924A
Authority: JP
Inventors: Masaya Tamaru; 田丸　雅也; Koichi Sakamoto; 坂本　浩一; Koji Ichikawa; 市川　幸治; Masahiko Sugimoto; 杉本　雅彦; Manabu Hyodo; 兵藤　学; Kazuhiko Takemura; 竹村　和彦
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2002-06-24
Filing date: 2002-06-24
Publication date: 2004-01-29

Abstract

【課題】高感度画像と低感度画像を加算合成したときホワイトバランスに崩れのない画像を生成する。
【解決手段】低感度信号による画像信号と高感度信号による画像信号とを加算合成しダイナミックレンジを広げた画像を生成する撮像装置において、高感度信号による画像信号を第１ガンマ特性によってガンマ変換する第１ガンマ補正手段１３ａと、低感度信号による画像信号を第１ガンマ特性とは異なる第２ガンマ特性によってガンマ変換する第２ガンマ補正手段１３ｂと、第１ガンマ補正手段１３ａから出力される画像信号と第２ガンマ補正手段１３ｂから出力される画像信号とを加算して出力する加算手段１４とを備える。これにより、違和感が無くダイナミックレンジが広い画像を生成し出力することが可能となる。
【選択図】　図４

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置に係り、特に、広いダイナミックレンジの画像信号を得ることができる撮像装置に関する。
【０００２】
【従来の技術】
デジタルスチルカメラで、例えば室内風景を撮像した場合、室内に存在する被写体の映像は良く映っても、窓から見える青い空が白飛びしてしまい、全体的に不自然な画像になってしまう。これは画像のダイナミックレンジが狭いためであり、この問題を解決するために、従来から、２枚の画像を撮像し合成することで、画像のダイナミックレンジを広げることが行われている。
【０００３】
例えば、高速シャッタを切って１枚目の画像を撮像し、これに連続して低速シャッタを切って２枚目の画像を撮像し、２枚の画像を合成することで、高速シャッタで得られた画像中に映っている窓の外の風景が、室内風景の良く映っている低速シッャタによる画像に重なるようにしている。
【０００４】
２枚の画像の合成は、例えば特開平６―１４１２２９号公報に記載されている様に、低速シッャタで得られた画像信号と高速シャッタで得られた画像信号を夫々同じγ特性で変換し、γ変換後の両画像信号を加算することで行っている。しかし、単純に加算するだけでは、画質に影響を与える中間調の画像が不自然となるため、信号レベルに応じて重み付け加算を行っている。
【０００５】
【発明が解決しようとする課題】
上述した従来技術では、２枚の撮像画像の画像信号を信号レベルに応じて重み付け加算し、中間調は高感度な画像信号のみを使うことで中間調を保持しようとしている。しかしながら、信号レベルに応じて重み付け加算しても、高感度な画像と低感度な画像の夫々のホワイトバランスを厳密に合わせていないと、中間調とハイライト階調でホワイトバランスが異なってしまい、違和感のある合成画像になってしまうという問題がある。
【０００６】
本発明の目的は、ホワイトバランスを厳密に合わせることなく違和感の少ない広ダイナミックレンジの画像を合成し出力することができる撮像装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成する撮像装置は、低感度信号による画像信号と高感度信号による画像信号とを加算合成しダイナミックレンジを広げた画像を生成する撮像装置において、前記高感度信号による画像信号を第１ガンマ特性によってガンマ変換する第１ガンマ補正手段と、前記低感度信号による画像信号を第１ガンマ特性とは異なる第２ガンマ特性によってガンマ変換する第２ガンマ補正手段と、前記第１ガンマ補正手段から出力される画像信号と前記第２ガンマ補正手段から出力される画像信号とを加算して出力する加算手段とを備えることを特徴とする。
【０００８】
この構成により、加算処理するとき信号レベルに応じた重み付け加算を行わなくても違和感の無い画像を生成することが可能となる。
【０００９】
好適には、上記において、〔前記第１ガンマ特性のガンマ値〕＞〔前記第２ガンマ特性のガンマ値〕とし、更には、前記第１ガンマ特性のガンマ値が約０．４５であり、前記第２ガンマ特性のガンマ値が約０．１８とする。この構成により、更に違和感が無くホワイトバランスの崩れや中間調の崩れが少ない画像が生成可能となる。
【００１０】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１１】
図１は、本発明の一実施形態に係る広ダイナミックレンジ撮像装置の画素配置図である。この広ダイナミックレンジ撮像装置のＣＣＤ部分の画素１は、例えば特開平１０―１３６３９１号公報に記載されている画素配置をとり、偶数行の各画素に対して奇数行の各画素が水平方向に１／２ピッチずらして配置され、各画素から読み出された信号電荷を垂直方向に転送する垂直転送路（図示せず）が、垂直方向の各画素を避けるように蛇行配置される構成をとっている。
【００１２】
そして、本実施形態に係る広ダイナミックレンジ撮像装置の各画素１は、図示する例では、画素１の面積の約１／５を占める低感度画素２と、残りの約４／５を占める高感度画素３とに分割して設けられ、各低感度画素２の信号電荷と、各高感度画素３の信号電荷とを区別して上記垂直転送路に読み出し転送することができるようになっている。尚、画素１をどのような割合、どの様な位置で分割するかは設計的に決められるものであり、図１は単なる例示に過ぎない。
【００１３】
上述した〔従来の技術〕の項目では、低感度画像と高感度画像の２枚の画像をシャッタ速度を変えて連続して撮像し合成する例について説明したが、本実施形態の広ダイナミックレンジ撮像装置では、１回の撮像で、低感度画像（低感度画素２で得られた低感度信号による画像）と高感度画像（高感度画素３で得られた高感度信号による画像）を同時に取得し、各画像を各画素２，３から順次読み出し合成して出力する構成としている。
【００１４】
図２は、低感度信号と高感度信号の露光量に対する信号レベルの一般的傾向を示す図である。図示する例では、低感度信号Ｌの信号飽和レベルｎに対して高感度信号Ｈの信号飽和レベルは４倍の４ｎとなっており、信号レベルが飽和レベルに達する光量は、高感度画素３の光量ｍに対して低感度画素２では４倍の光量４ｍとなっている。これは、図１に示す低感度画素２に対して高感度画素３の面積が４倍あることに対応付けて図示したものであるが、実際には、信号の飽和レベル比や飽和に達する光量比は、画素の面積比がそのまま反映するものではない。
【００１５】
図３は、上述した画素配置のＣＣＤ部分を持つ本実施形態に係る広ダイナミックレンジ撮像装置の出力回路のブロック構成図である。この出力回路は、図１に示す各画素（ＣＣＤ）１から出力されＡ／Ｄ変換されたデジタルのＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路１１と、ホワイトバランスをとるゲイン補正回路１２と、ゲイン補正された色信号に対して詳細は後述するようにしてガンマ補正（γ変換）を行うガンマ補正回路１３及び加算処理回路１４とを備える。
【００１６】
本実施形態の出力回路は更に、加算処理後のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部１５と、ＲＧＢ信号から輝度信号Ｙと色差信号Ｃとを求めるＲＧＢ／ＹＣ変換回路１６と、輝度信号Ｙと色差信号Ｃからノイズを低減するノイズ低減回路１７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路１８と、ノイズ低減後の色差信号Ｃに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路１９とを備える。
【００１７】
図４は、図３に示すガンマ補正回路１３及び加算処理回路１４の構成図である。本実施形態に係るガンマ補正回路１３は、第１ガンマ補正回路１３ａと、第２ガンマ補正回路１３ｂと、図３に示すゲイン補正回路１２の出力信号を取り込みいずれか一方のガンマ補正回路１３ａ，１３ｂに出力するスイッチ回路１３ｃとを備え、加算処理回路１４は、第１ガンマ補正回路１３ａの出力信号と第２ガンマ補正回路１３ｂの出力信号とを加算処理して、後段のＲＧＢ補間演算部１５に出力する。
【００１８】
広ダイナミックレンジ撮像装置の各画素１からは、低感度画素２が検出した信号電荷と、高感度画素３が検出した信号電荷とが区別して読み出される。高感度画素３から読み出された画像信号が、オフセット補正回路１１及びゲイン補正回路１２を通ってガンマ補正回路１３に入力されたとき、スイッチ回路１３ｃはこの入力信号を第１ガンマ補正回路１３ａに入力させる。低感度画素２から読み出された画像信号が、オフセット補正回路１１及びゲイン補正回路１２を通ってガンマ補正回路１３に入力されたとき、スイッチ回路１３ｃはこの入力信号を第２ガンマ補正回路１３ｂに入力させる。
【００１９】
γ変換は、入力信号値をγ乗して出力信号値とするものであるが、このとき使用するγ値は入力信号値の全範囲で一定値をとるものではなく、範囲に応じてベースとなるγ値を１０％程度修正して用いるのが一般的である。本実施形態に係る第１ガンマ補正回路１３ａには、γ＝０．４５をベースとする第１ガンマ特性のテーブルデータが設定されており、第２ガンマ補正回路１３ｂには、γ＝０．１８をベースとする第２ガンマ特性のテーブルデータが設定されている。
【００２０】
斯かる構成の出力回路を搭載した広ダイナミックレンジ撮像装置では、高感度画素３から読み出された画像信号は、第１ガンマ補正回路１３ａで約０．４５のγ値を用いたγ変換が行われ、加算処理回路１４に出力される。また、低感度画素２から読み出された画像信号は、第２ガンマ補正回路１３ｂで約０．１８のγ値を用いたγ変換が行われ、加算処理回路１４に出力される。
【００２１】
加算処理回路１４は、第１ガンマ補正回路１３ａでγ変換された高感度画素３からの画像信号と、第２ガンマ補正回路１３ｂでγ変換された低感度画素２からの画像信号とを、画素単位に加算処理し、出力する。
【００２２】
このように、本実施形態では、低感度画素による画像信号と高感度画素による画像信号の夫々を、入力信号の全範囲において夫々異なるγ特性でγ変換し、加算処理して再生画像を生成するため、信号レベルによって重み付け加算を行うことなくホワイトバランスの崩れや中間調の画像の崩れを回避でき、違和感の少ない広ダイナミックレンジを持つ画像を得ることができる。更に本実施形態では、低感度画素の画像信号に施すγ値を、高感度画素の画像信号に施すγ値より小さくしたため、より良好な画像を得ることが可能となる。
【００２３】
尚、上述した実施形態では、高感度画素と低感度画素の両方を搭載した固体撮像装置を対象としたが、本発明はこの実施形態に限定されるものではなく、従来技術で説明したように、高感度画像と低感度画像とをシャッタ速度等を制御し連続して撮像し、上述した実施形態と同様に異なるγ特性を用いて各画像を夫々γ変換した後、加算処理する制御回路をデジタルスチルカメラ等に搭載することでも実現可能である。
【００２４】
【発明の効果】
本発明によれば、低感度画像と高感度画像とを違和感無く合成して広ダイナミックレンジを持つ画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る広ダイナミックレンジ撮像装置の画素の配置例を示す図である。
【図２】図１に示す高感度画素と低感度画素から得られる信号レベルの説明図である。
【図３】本発明の一実施形態に係る広ダイナミックレンジ撮像装置の出力回路部分のブロック構成図である。
【図４】図３に示すガンマ補正回路の構成図である。
【符号の説明】
１　画素
２　低感度画素
３　高感度画素
１３　ガンマ補正回路
１３ａ　第１ガンマ補正回路
１３ｂ　第２ガンマ補正回路
１３ｃ　スイッチ回路
１４　加算処理回路

Claims

低感度信号による画像信号と高感度信号による画像信号とを加算合成しダイナミックレンジを広げた画像を生成する撮像装置において、前記高感度信号による画像信号を第１ガンマ特性によってガンマ変換する第１ガンマ補正手段と、前記低感度信号による画像信号を第１ガンマ特性とは異なる第２ガンマ特性によってガンマ変換する第２ガンマ補正手段と、前記第１ガンマ補正手段から出力される画像信号と前記第２ガンマ補正手段から出力される画像信号とを加算して出力する加算手段とを備えることを特徴とする撮像装置。
〔前記第１ガンマ特性のガンマ値〕＞〔前記第２ガンマ特性のガンマ値〕であることを特徴とする請求項１に記載の撮像装置。
前記第１ガンマ特性のガンマ値が約０．４５であり、前記第２ガンマ特性のガンマ値が約０．１８であることを特徴とする請求項２に記載の撮像装置。