JP2004072196A

JP2004072196A - 撮像装置および画像信号処理方法

Info

Publication number: JP2004072196A
Application number: JP2002225202A
Authority: JP
Inventors: Masahiko Sugimoto; 杉本　雅彦; Manabu Hyodo; 兵藤　学; Koichi Sakamoto; 坂本　浩一; Masaya Tamaru; 田丸　雅也; Hirokazu Kobayashi; 小林　寛和
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2002-08-01
Filing date: 2002-08-01
Publication date: 2004-03-04

Abstract

【課題】広いダイナミックレンジを持ちホワイトバランスの合った合成画像を真数加算方式で求める。
【解決手段】撮像画像データを色信号毎に出力する固体撮像素子と、固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成する画像合成手段４１と、画像合成手段４１にて合成された合成画像データを各色信号毎にニー補正するニー補正手段４２と、ニー補正手段４２から出力される合成画像データに対し色信号毎にホワイトバランスゲインをかけるゲイン補正手段４３とを備える撮像装置において、色信号のうち予め定められた１色の色信号に対するニー特性と各色信号毎のホワイトバランスゲインとから前記色信号のうちの他の色信号に対するニー特性を自動決定しニー補正手段４２にて当該色信号に対するニー補正を行わせる。
【選択図】　図２

Description

【０００１】
【発明の属する技術分野】
本発明はデジタルスチルカメラ等の撮像装置および画像信号処理方法に係り、特に、ホワイトバランスをとりながらダイナミックレンジを広げた画像信号を得ることができる撮像装置および画像信号処理方法に関する。
【０００２】
【従来の技術】
デジタルスチルカメラ等の撮像装置で、例えば室内風景を撮像した場合、室内に存在する被写体の映像は良く映っても、窓から見える青い空が白飛びしてしまい、全体的に不自然な画像になってしまうことがある。これは画像のダイナミックレンジが狭いためであり、この問題を解決するために、従来から、２枚の画像を撮像し合成することで、画像のダイナミックレンジを広げることが行われている。
【０００３】
例えば、高速シャッタを切って１枚目の短時間露光画像（低感度画像）を撮像し、これに連続して低速シャッタを切って２枚目の長時間露光画像（高感度画像）を撮像し、２枚の画像を合成することで、低感度画像中に映っている窓の外の風景が、室内風景の良く映っている高感度画像に重なるようにしている。
【０００４】
特開２０００―３０７９６３号公報に記載されている従来の撮像装置では、２枚の画像を合成するとき、動きのある被写体部分が低感度画像と高感度画像とでピッタリ一致しないため、マスクを使って部分毎に高感度画像と低感度画像を置き換え、画像合成を行う様にしている。
【０００５】
【発明が解決しようとする課題】
上述した従来技術では、２枚の撮像画像の画像信号をマスクを使って合成しているが、ホワイトバランスのズレに関しては考慮していない。このため、合成画像中の高感度画像と低感度画像とでホワイトバランスが異なってしまい、撮影シーンによって違和感のある合成画像になってしまうという問題がある。
【０００６】
本発明の目的は、ホワイトバランスをとりながらダイナミックレンジの広い画像を合成し出力することができる撮像装置および画像信号処理方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成する撮像装置は、撮像画像データを色信号毎に出力する固体撮像素子と、該固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成する画像合成手段と、該画像合成手段にて合成された合成画像データを各色信号毎にニー補正するニー補正手段と、該ニー補正手段から出力される合成画像データに対し色信号毎にホワイトバランスゲインをかけるゲイン補正手段とを備える撮像装置において、前記色信号のうち予め定められた１色の色信号に対するニー特性と各色信号毎のホワイトバランスゲインとから前記色信号のうちの他の色信号に対するニー特性を自動決定し前記ニー補正手段にて当該色信号に対するニー補正を行わせる手段を搭載したことを特徴とする。この構成により、真数加算方式でもホワイトバランスの合った良好な広ダイナミックレンジの合成画像を得ることが可能となる。
【０００８】
好適には、上記において、前記色信号のうちの前記１色は、信号量の大きさに基づいて決めることを特徴とする。この構成により、Ｓ／Ｎの良好な合成画像を得ることが可能となる。
【０００９】
上記目的を達成する画像信号処理方法は、高出力画像の画像データと低出力画像の画像データとを真数加算方式により合成する画像信号処理方法において、色信号のうち１色の色信号に対するニー特性を定め、該ニー特性と各色信号に対する各ホワイトバランスゲインとから他の色信号に対するニー特性を決定し、各ニー特性に基づいて当該色信号に対するニー補正処理を行い、各色信号に対するニー補正処理毎の信号に各ホワイトバランスゲインを乗算することを特徴とする。この構成により、ホワイトバランスの合ったダイナミックレンジの広い合成画像を作成することが可能となる。
【００１０】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１１】
図１は、本発明の一実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例にしているが、デジタルビデオカメラ等の他の種類の撮像装置にも本発明を適用可能である。
【００１２】
図１に示すデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００１３】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。固体撮像素子１１は、ハニカム画素配置のＣＣＤやベイヤー方式のＣＣＤ、あるいはＣＭＯＳセンサである。
【００１４】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００１５】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、固体撮像素子１１から出力されデジタルデータに変換された画像データをＲ，Ｇ，Ｂ毎に積算し積算値をデジタル信号処理部２６に出力する積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００１６】
図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００１７】
図２は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、ハードウェア回路で構成しても、ソフトウェアにて構成することも可能である。本実施形態では、高速シャッタで撮像した低感度画像（各画素からの出力値が低いため、低出力画像ともいう。）と、これに連続して低速シャッタで撮像した高感度画像（各画素からの出力値が低出力画像のデータより高くなるため、高出力画像ともいう。）とを合成する場合のデジタル信号処理部２６の機能構成について説明する。
【００１８】
図示する例のデジタル信号処理部２６は、ガンマ変換前の低感度画像と高感度画像とを画像合成し、その後にガンマ変換する真数加算方式を採用しており、図１に示す積算部２８の出力データを取り込んでホワイトバランス調整用のゲイン値を色（Ｒ，Ｇ，Ｂ）毎に算出するホワイトバランスゲイン算出回路４０と、高感度画像のＲＧＢ色信号と低感度画像のＲＧＢ色信号とを画素単位に取り込み後述する加算式（数１）により加算合成する画像合成回路４１と、画像合成回路４１の出力データ（合成画像データ）にニー補正処理を施すニー補正回路４２と、ニー補正後の合成画像データにホワイトバランス等のゲイン補正を施すゲイン補正回路４３と、ゲイン補正後の合成画像データにガンマ補正を施すガンマ補正回路４４とを備える。
【００１９】
デジタル信号処理部２６は更に、合成した画像データ（ガンマ補正回路４４の出力データ）のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４５と、ＲＧＢ補間演算後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４８と、ノイズ低減後の色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４９とを備える。
【００２０】
ＲＧＢ補間演算部４４は、固体撮像素子１１が３板式の撮像素子であれば不要であるが、本実施形態で使用する固体撮像素子１１は単板式の固体撮像素子であり、各画素からは、Ｒ，Ｇ，Ｂのうちの一色の信号しか出力されないため、出力しない色、即ち、Ｒを出力する画素では、この画素位置においてＧ，Ｂの色信号がどの程度になるかを、周りの画素のＧ，Ｂ信号から補間演算により求めるものである。
【００２１】
本実施形態に係る画像合成回路４１は、次の数１に従って、高感度画像データ（ｈｉｇｈ）と低感度画像データ（ｌｏｗ）とを画素単位に加算し、ニー補正回路４２に出力する。
【００２２】
〔数１〕
ｄａｔａ＝｛ｗｈ・ｈｉｇｈ＋ｗｌ・（ｌｏｗ−ｔｈ／Ｓ＋ｔｈ）｝／（ｗｈ＋ｗｌ）
ここで、ｈｉｇｈ：高感度画像のデータ
ｌｏｗ：低感度画像のデータ
Ｓ：高感度画像と低感度画像の感度比
ｔｈ：閾値
ｗｈ：高感度画像のデータに対する重み
ｗｌ：低感度画像のデータに対する重み
である。
【００２３】
閾値ｔｈとは、１２ビットデータ（４０９６階調）なら０〜４０９５のうちの“２５００”とデジタルスチルカメラの使用者あるいはデジタルスチルカメラの設計者が指定する値である。
【００２４】
本実施形態で採用している真数加算方式では、画像合成回路４１による画像合成後にゲイン補正回路４３によってホワイトバランスゲインを乗算する構成をとっている。このため、ホワイトバランスゲインを乗算したときデータがオーバーフローしてしまわないように、ゲイン補正回路４３の前段にニー補正回路４２を設ける必要がある。
【００２５】
しかし、ゲイン補正回路４３の前段で行うＲ，Ｇ，Ｂの３色夫々のニー補正処理は、ホワイトバランスが揃っていない状態で行われるため、ニー補正回路４２で行うニー補正処理のニー特性を、ホワイトバランスが合うニー特性とする必要がある。そこで、本実施形態では、先ず、３色のうちの１色でニー補正処理を行い、次に、この１色のニー補正処理後の信号に対してホワイトバランスが合う様に残りの２色夫々のニー特性を決定し、夫々のニー補正処理を行う構成とする。
【００２６】
即ち、本実施形態では、Ｒ，Ｇ，Ｂの３色のうち信号量が一番大きい色信号のニー特性を撮像装置の設計者が予め決めておき、撮影シーンに応じて、ホワイトバランスがとれる様に、残り２色のニー特性を、詳細は後述するように自動的に決定する様にしている。この例では、信号量が一番大きい色をＧ（多くの撮影シーンで該当する。）とし、残りの２色をＲ，Ｂとする。
【００２７】
次に、上述した構成のデジタルスチルカメラの動作を、ニー特性の自動決定処理を中心に説明する。
【００２８】
ユーザが操作部２１を操作してダイナミックレンジの広い合成画像の撮像を指示入力した場合、ＣＰＵ１５は、先ず高速シャッタを切って被写体の低感度画像を撮像し、次に低速シャッタを切って同一被写体の高感度画像を撮像し、２枚の画像データをデジタル信号処理部２６が取り込んで合成することになる。
【００２９】
高感度画像のＲＧＢ信号（デジタル信号）と低感度画像のＲＧＢ信号（デジタル信号）は画素単位にデジタル信号処理部２６に取り込まれ、先ず、画像合成回路４１により、上記の数１に従って加算処理される。この加算処理された合成信号のうち、合成Ｇと合成Ｒの大きさ（図示の例では、１２ビット信号）と光量との関係を図３の第１象限に示す。合成Ｇと合成Ｒの各信号線は、数１で加算処理されることで、図示するように夫々２点の折れ線となっている。
【００３０】
以下、合成Ｇの信号線から、合成Ｒのニー特性を自動決定する手順について説明する。図３中の○付き数字がニー特性の自動決定手順の順番を示し、合成Ｇの信号線（▲１▼）から、合成Ｒのニー特性（▲７▼）を自動決定することを目的とする。尚、合成Ｇの信号線から合成Ｂのニー特性も同様にして自動決定されるが、説明が重複するため省略する。
【００３１】
点Ａ，Ｃで折れる合成Ｇの信号線（▲１▼）が求まると、Ａ点をＸ軸に平行に延ばしてＧのニー特性（▲２▼：このニー特性は、撮像装置の設計者が予め設定しておく。ニー特性▲２▼のニーポイントをＤとする。）との交点を求め、この交点をＹ軸に平行に延ばしてＧのゲイン特性線（▲３▼：このゲイン特性線は図２のホワイトバランスゲイン算出回路４０で求められる。）との交点を求め、この交点をＸ軸に平行に延ばした線と信号線▲１▼の折れ点ＡをＹ軸に平行に延ばした線との交点Ｅを求める。
【００３２】
同様にして、信号線▲１▼の折れ点ＣをＸ軸に平行に延ばしてＧのニー特性線▲２▼との交点を求め、この交点をＹ軸に平行に延ばしてＧのゲイン特性線▲３▼との交点を求め、この交点をＸ軸に平行に延ばした線と信号線▲１▼の折れ点ＣをＹ軸に平行に延ばした線との交点Ｆを求める。
【００３３】
次に、ＧのニーポイントＤをＹ軸に平行に延ばしてＧのゲイン特性線▲３▼との交点を求め、この交点をＸ軸に平行に延ばした線と、ニーポイントＤをＸ軸に平行に延ばして得た信号線▲１▼との交点をＹ軸に平行に延ばした線との交点Ｈを求める。
【００３４】
原点から、上記の交点Ｈ，Ｅ，Ｆと順に接続した第４象限内の信号線▲４▼は、ホワイトバランスゲイン後にグレーの被写体がＲ＝Ｇ＝Ｂになっているという仮定に基づいて得られた合成信号（ホワイトバランスの合った、図２のゲイン補正回路４３の出力信号）ということができ、このＧの信号線▲４▼は、Ｒの特性線▲５▼と一致する。
【００３５】
次に、特性線▲５▼の折れ点Ｈ，Ｅ，Ｆを夫々Ｘ軸に平行に延ばしてＲのゲイン特性線（▲６▼：このゲイン特性線も図２のホワイトバランスゲイン算出回路４０で求められる。）との交点を求め、各交点をＹ軸に平行に延ばした線と、折れ点Ｈ，Ｅ，ＦからＹ軸に平行に延ばした線と合成Ｒの信号線との交点を夫々Ｘ軸に平行に延ばした線との交点Ｉ，Ｊ，Ｋとを求める。
【００３６】
この様にして求めた交点Ｉ，Ｊ，Ｋを原点から順に接続することで、合成Ｒのニー特性▲７▼が求まり、同様にして、合成Ｂのニー特性を求める。そして、画像合成回路４１から出力される合成Ｒ信号をニー特性▲７▼でニー補正処理してからＲのホワイトゲイン特性▲６▼でゲイン補正した信号と、画像合成回路４１から出力される合成Ｂ信号をニー特性でニー補正処理してからＢのホワイトバランスゲイン特性（これも図２のホワイトバランスゲイン算出回路４０で求まる。）でゲイン補正した信号と、先にニー特性▲２▼でニー補正処理しゲイン▲３▼でゲイン補正した信号とは、ホワイトバランスの合った信号となり、真数加算方式を採用した場合でも、ホワイトバランスの良好な合成画像が得られることになる。
【００３７】
この様に、本実施形態によれば、３色のうち１色の色信号を基準として他の２色のニー特性を決定するため、ホワイトバランスの良好な合成画像を得ることができ、しかも、信号量の一番大きな色信号を基準とするためノイズが少ない合成画像を得ることが可能となる。
【００３８】
尚、上述した実施形態では、高速シャッタを切って撮像した画像を低感度画像といい、低速シッャタを切って撮像した画像を高感度画像といったが、本発明は感度の違う画像を合成する場合に制限されるものではなく、シャッタ速度は同じであっても絞りの開口量が異なる複数の画像を合成する場合にも適用できる。
【００３９】
例えば、コントラストの高い静物を露出をふって複数枚連続して撮像した場合、開口量の広い絞りで撮像した画像は固体撮像素子１１の各画素からの出力レベルが高いため高出力画像となり、開口量の狭い絞りの基で撮像した画像は高出力画像よりも各画素からの出力レベルが低いため低出力画像となる。
【００４０】
また、上述した実施形態では、高速シャッタと低速シッャタを連続して切って得た複数枚の画像を合成する例について述べたが、高感度画像を撮像する固体撮像素子と低感度画像を撮像する固体撮像素子を複数枚撮像装置に搭載し、両固体撮像素子から得られる画像を合成する場合にも本発明を適用することができる。
【００４１】
更に、１枚の固体撮像素子に、高感度画素と低感度画素の両方を搭載し、高感度画素から読み出した画像と低感度画素から読み出した画像とを合成する場合にも適用できる。これらの場合、同一シッャタ速度同一絞りで信号電荷蓄積量が大きくなる固体撮像素子や高感度画素からの高出力画像を基準としてホワイトバランスのゲイン値を算出するのが良い。
【００４２】
尚、上述した実施形態では、デジタルスチルカメラで撮像した高出力画像と低出力画像とをデジタルスチルカメラ内で合成する例について述べたが、撮像装置で撮像された高感度画像データと低感度画像データとをＣＣＤ―ＲＡＷデータとしてメモリに格納して撮像装置から取り出し、この高感度画像データと低感度画像データとをパソコン等に読み込み、上述した実施形態で述べたデジタル信号処理部２６と同様の画像信号処理を行う場合にも適用でき、ホワイトバランス調整のとれたダイナミックレンジの広い合成画像を生成することができる。
【００４３】
【発明の効果】
本発明によれば、複数の画像をホワイトバランスをとりながら合成しダイナミックレンジを広げることができるため、違和感の少ない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルスチルカメラの構成図である。
【図２】図１に示すデジタル信号処理部の詳細構成図である。
【図３】ニー特性の自動設定方法の説明図である。
【符号の説明】
１１　固体撮像素子
１５　ＣＰＵ
２６　デジタル信号処理部
２８　積算部
４０　ホワイトバランスゲイン算出回路
４１　画像合成回路
４２　ニー補正回路
４３　ゲイン補正回路

Claims

撮像画像データを色信号毎に出力する固体撮像素子と、該固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成する画像合成手段と、該画像合成手段にて合成された合成画像データを各色信号毎にニー補正するニー補正手段と、該ニー補正手段から出力される合成画像データに対し色信号毎にホワイトバランスゲインをかけるゲイン補正手段とを備える撮像装置において、前記色信号のうち予め定められた１色の色信号に対するニー特性と各色信号毎のホワイトバランスゲインとから前記色信号のうちの他の色信号に対するニー特性を自動決定し前記ニー補正手段にて当該色信号に対するニー補正を行わせる手段を搭載したことを特徴とする撮像装置。
前記色信号のうちの前記１色は、信号量の大きさに基づいて決めることを特徴とする請求項１に記載の撮像装置。
高出力画像の画像データと低出力画像の画像データとを真数加算方式により合成する画像信号処理方法において、色信号のうち１色の色信号に対するニー特性を定め、該ニー特性と各色信号に対する各ホワイトバランスゲインとから他の色信号に対するニー特性を決定し、各ニー特性に基づいて当該色信号に対するニー補正処理を行い、各色信号に対するニー補正処理毎の信号に各ホワイトバランスゲインを乗算することを特徴とする画像信号処理方法。