JP2004222160A - Digital camera - Google Patents

Digital camera Download PDF

Info

Publication number
JP2004222160A
JP2004222160A JP2003009805A JP2003009805A JP2004222160A JP 2004222160 A JP2004222160 A JP 2004222160A JP 2003009805 A JP2003009805 A JP 2003009805A JP 2003009805 A JP2003009805 A JP 2003009805A JP 2004222160 A JP2004222160 A JP 2004222160A
Authority
JP
Japan
Prior art keywords
image data
value
digital camera
unit
photometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003009805A
Other languages
Japanese (ja)
Other versions
JP4028395B2 (en
Inventor
Manabu Hyodo
学 兵藤
Akihisa Yamazaki
彰久 山崎
Tetsuo Ashida
哲郎 芦田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003009805A priority Critical patent/JP4028395B2/en
Publication of JP2004222160A publication Critical patent/JP2004222160A/en
Application granted granted Critical
Publication of JP4028395B2 publication Critical patent/JP4028395B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a digital camera capable of performing proper exposure correction at the time of photographing a back-lighted scene. <P>SOLUTION: A figure 1 shows outline flow of exposure correction processing. In step 101, a photometric value Evi calculated when a release button (not shown) is half depressed is fetched. In step 102, the photometric value Evi is used to perform a calculation of a parameter for back-lighted scene discrimination. In step 103, the parameter obtained in step 102 is used to discriminate whether or not it is a back-lighted scene. When the scene is discriminated to be a back-lighted scene, in step 104, an exposure correction value is determined. The exposure correction value is calculated on the basis of a weighted average photometric value EVa, a maximum value EVmax of the photometric value and a target value EVs to the maximum value EVmax of the photometric value. In step 105, an exposure value calculated by a normal method is corrected with the exposure correction value dEV, and the result is outputted. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、逆光シーン撮影時の露出補正機能を有するデジタルカメラに関する。
【0002】
【従来の技術】
CCD撮像素子等の固体撮像素子のダイナミックレンジは、一般に狭く、ハイコントラストの被写体を撮影する場合は、固体撮像素子の受光量がダイナミックレンジを超えて固体撮像素子の出力が飽和してしまい、被写体の情報が欠落する場合がある。
【0003】
このような問題を解決するため、相対的に高感度の第1の画像データ(以下、単に「高感度画像データ」と記述する場合もある。)と相対的に低感度の第2の画像データ(以下、単に「低感度画像データ」と記述する場合もある。)との合成処理を行うことにより、ダイナミックレンジの拡大を図る技術が提案されている(特許文献1、2参照)
【0004】
特許文献1に記載された技術は、異なる露光条件、異なるゲイン制御の少なくとも何れか1つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号(高感度画像データ)と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号(低感度画像データ)を加算して、広ダイナミックレンジ映像信号を得るものである。そして、その際、高輝度映像信号のピーク値を検出し、このピーク値に基づき、標準輝度映像信号と高輝度映像信号にそれぞれ乗算する乗算係数を算出し、それぞれに乗算した後、加算するものである。
【0005】
特許文献2に記載された技術は、被写界を撮像して該被写界を表わす高感度の映像信号及び低感度の映像信号を生成する撮像手段と、高感度の映像信号を第1の量子化分解能で量子化して、対応する高感度の映像信号データを出力する第1の信号変換手段と、低感度の映像信号を第1の量子化分解能より低い第2の量子化分解能で量子化して、対応する低感度の映像信号データを出力する第2の信号変換手段とを含み、高感度の映像信号データ及び対応する低感度の映像信号データを加算合成して、広いダイナミックレンジの映像信号を形成するものである。
【0006】
一方、主要被写体に対して背景が非常に明るい逆光状態での撮影では、背景の明るさの影響で主要被写体の画像が暗い画像となる傾向がある。そのため、逆光状態であると判断される場合には、オーバー側に露出補正を行って撮影している(特許文献3、4参照)。
【0007】
しかし、主要被写体に露出を合わせるために露出をオーバー側に補正すると、背景部分がオーバー露光となって白とびが生じやすいという問題がある。特に、広いダイナミックレンジの映像信号を形成することができないデジタルカメラにいては、この現象が顕著である。
【0008】
【特許文献1】
特開2001−94870号公報
【特許文献2】
特開2001−8104号公報
【特許文献3】
特開2001−242504号公報
【特許文献4】
特開2001−242504号公報
【0009】
【発明が解決しようとする課題】
本発明は、上記事情に鑑みなされたもので、逆光シーンの撮影時に、適切な露出補正を行うことが可能なデジタルカメラを提供することを目的とするものである。
【0010】
【課題を解決するための手段】
本発明のデジタルカメラは、逆光シーン撮影時の露出補正機能を有するデジタルカメラであって、撮像面を分割した複数の領域の測光値を得る分割測光部と、前記測光値に基づいて逆光シーンを判定する逆光判定部と、前記測光値に基づいて求めた画面の重み付け平均測光値、前記測光値の最大値、及び前記測光値の最大値に対する目標値に基づいて、露出補正量を求める露出補正部とを含み、前記目標値は、前記デジタルカメラが再現可能な輝度の範囲を、撮影時の露出設定の基準とする輝度値からの偏位によって示したものであり、前記露出補正部は、前記逆光判定部が逆光シーンであると判定した場合に、前記測光値の最大値と前記重み付け平均測光値の差と、前記目標値とを比較し、前記目標値が前記差より大の場合に、その差を露出補正量とするものである。
【0011】
本発明のデジタルカメラは、前記露出補正部が、前記目標値が前記差より小の場合は、露出補正量を0とするものであるものを含む。
【0012】
本発明のデジタルカメラは、前記露出補正部が、前記露出補正量を、撮影モードに応じて補正するものであるものを含む。
【0013】
本発明のデジタルカメラは、前記目標値が、撮影シーンに応じて変更されるものを含む。
【0014】
本発明のデジタルカメラは、前記目標値が、前記分割測光部による測光値の最大値と最小値との差に応じて変更されるものであるものを含む。
【0015】
本発明のデジタルカメラは、前記目標値が、前記分割測光部による測光値の分布に応じて変更されるものであるものを含む。
【0016】
本発明のデジタルカメラは、さらに、相対的に高感度の第1の画像データと相対的に低感度の第2の画像データとの合成処理を行って合成画像データを得る機能を有し、前記合成処理は、前記第2の画像データが示す被写体輝度の最大値と、前記第1の画像データがとり得る最大値が示す輝度値との比xと求める工程と、前記比xに基づいて、前記第2の画像データのガンマ補正パラメータ、及び前記合成処理パラメータを決定する工程と、前記ガンマ補正パラメータに基づいて前記第2の画像データを補正する工程と、前記合成処理パラメータに基づいて前記第1の画像データと前記第2の画像データとの合成処理を行う工程とを含んで実現されるものを含む。
【0017】
本発明のデジタルカメラは、前記合成処理が、さらに、前記比xに基づいて、前記第2の画像データのガンマ補正パラメータを決定する工程と、前記ガンマ補正パラメータに基づいて前記第2の画像データを補正する工程とを含んで実現されるものを含む。
【0018】
本発明のデジタルカメラは、前記合成処理が、さらに、前記比xに基づいて、合成画像データの彩度補正パラメータを決定する工程と、前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含んで実現されるものを含む。
【0019】
本発明のデジタルカメラは、前記第1の画像データと前記第2の画像データが、感度の異なる光電変換部を有する撮像素子による撮像信号に基づいて取得されるものを含む。
【0020】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。図11は、本発明の実施の形態のデジタルカメラの概略構成を示す図である。図11のデジタルカメラは、撮像部1、アナログ信号処理部2、A/D変換部3、駆動部4、ストロボ5、デジタル信号処理部6、圧縮/伸張処理部7、表示部8、システム制御部9、内部メモリ10、メディアインタフェース11、記録メディア12、操作部13を含んで構成される。デジタル信号処理部6、圧縮/伸張処理部7、表示部8、システム制御部9、内部メモリ10、及びメディアインタフェース11は、システムバス20に接続されている。
【0021】
撮像部1は、撮影レンズ等の光学系及びCCDイメージセンサ等の撮像素子を含み、被写体の撮影を行うものであって、アナログの撮像信号を出力する。撮像部1で得られた撮像信号は、アナログ信号処理部2に送られ、所定のアナログ信号処理が施され、A/D変換部3でデジタル信号に変換された後、いわゆるRAW画像データとしてデジタル信号処理部6に送られる。RAW画像データは、撮像部1からの撮像信号の形式のままデジタル化したデジタル画像データである。
【0022】
撮影に際しては、駆動部4を介して撮像部1が制御される。撮像素子として利用されるCCDイメージセンサ等の固体撮像素子は、半導体基板表面に行方向とこれに直交する列方向に配設された複数の光電変換領域(例えばフォトダイオード)を有し、入射光に対応して発生し、蓄積された信号電荷に基づいたアナログ電圧信号を出力するものである。固体撮像素子は、操作部13の一部であるレリーズボタン(図示せず)の操作によるレリーズスイッチ(図示せず)オンを契機として、所定のタイミングで、駆動部4に含まれるタイミングジェネレータ(図11ではTGと記載)からの駆動信号によって駆動される。駆動部4は、システム制御部9の制御に基づいて所定の駆動信号を出力するものであり、アナログ信号処理部2及びA/D変換部3に対する駆動信号も出力する。
【0023】
撮像部1は、相対的に高感度の撮像信号と相対的に低感度の撮像信号を出力するものであり、撮像信号は、共にアナログ信号処理部2、A/D変換部3を経てデジタル画像データに変換され、デジタル信号処理部6に送られる。撮像部1に含まれる撮像素子は、感度の異なる光電変換部を有するものである。感度の異なる光電変換部を有する撮像素子としては、特許文献2に示すように高感度撮像セルと低感度撮像セルを有する固体撮像素子を利用してもよいし、図12に示すような固体撮像素子を用いてもよい。
【0024】
図12は、高感度撮像信号と低感度撮像信号を出力可能な固体撮像素子の概略構成を示す図である。図12は、いわゆるハニカム構造の固体撮像素子の部分拡大平面図であって、半導体基板表面に行方向(矢印Xで示す方向)とこれに直交する列方向(矢印Yで示す方向)に配設された複数の光電変換領域111〜157(図では一部のみに番号を付してある)、垂直転送部201〜208、水平転送部300、及び出力部400を含む。複数の光電変換領域111〜157の内の奇数列のものは、偶数列のものに対して光電変換領域同士の列方向ピッチの略1/2だけ列方向にずれており、また、奇数行の光電変換領域は、偶数行の光電変換領域対して光電変換領域同士の行方向ピッチの略1/2だけ行方向にずれて配置される。なお、図12では、5行8列の光電変換領域を示してあるが、実際には、さらに多くの光電変換領域が設けられる。
【0025】
光電変換領域111〜157は、入射光量に対応した信号電荷を発生し、蓄積するもので、例えばフォトダイオードである。光電変換領域111〜157は、相対的に広い受光面積を有する主領域mと相対的に狭い受光面積を有する副領域sに分割され(図12では、光電変換領域151のみについて符号を付してある。)、それぞれ所定の分光感度の光に対応する信号電荷を発生し、蓄積する。図12の固体撮像素子においては、赤(Rで示す。)、緑(Gで示す。)、又は青(Bで示す。)のフィルタ(図示せず)が、それぞれの光電変換領域111〜157の上方に設けられ、それぞれの色の光に対応する信号電荷を発生し、蓄積する。
【0026】
垂直転送部201〜208は、光電変換領域111〜157からの信号電荷を読み出し、列方向に転送するものであり、光電変換領域111〜157の各列に対応してその側方に設けられる。列方向の転送は、主領域mの信号電荷と副領域sの信号電荷を、それぞれ独立に垂直転送部201〜208に読み出して行う。水平転送部300は、複数の垂直転送部201〜208からの信号電荷が転送され、転送された信号電荷を行方向に転送するものである。出力部400は、転送された信号電荷量に応じた電圧信号を出力するものである。
【0027】
ストロボ5は、被写体の輝度が所定値以下の場合等に動作するものであり、システム制御部9によって制御される。
【0028】
デジタル信号処理部6では、A/D変換部3からのデジタル画像データに対して、操作部13によって設定された動作モードに応じたデジタル信号処理を行うものである。デジタル信号処理部6が行う処理には、黒レベル補正処理(OB処理)、リニアマトリクス補正処理(撮像部からの原色信号に対して、撮像素子の光電変換特性に起因する混食成分を除去する補正を行う処理。RBG入力に対する3×3のマトリクス演算による。)、ホワイトバランス調整処理(ゲイン調整)、ガンマ補正処理、画像合成処理、同時化処理、Y/C変換処理等が含まれる。デジタル信号処理部6の画像合成処理については、後述する。
【0029】
デジタル信号処理部6は、例えばDSPで構成される。圧縮/伸張処理部7は、デジタル信号処理部6で得られたY/Cデータに対して圧縮処理を施すと共に、記録メディア12から得られた圧縮画像データに対して伸張処理を施すものである。
【0030】
表示部8は、例えばLCD表示装置を含んで構成され、撮影され、デジタル信号処理を経た画像データに基づく画像を表示する。記録メディアに記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。
【0031】
内部メモリ10は、例えばDRAMであり、デジタル信号処理部6、システム処理部9のワークメモリとして利用される他、記録メディアに12に記録される撮影画像データを一時的に記憶するバッファメモリ、表示部8への表示画像データのバッファメモリとしても利用される。メディアインタフェース11は、メモリカード等の記録メディア12との間のデータの入出力を行うものである。
【0032】
システム制御部9は、撮影動作を含むデジタルカメラ全体の制御を行う。システム制御部9は、具体的には所定のプログラムによって動作するプロセッサを主体に構成される。
【0033】
操作部13は、デジタルカメラ使用時の各種操作を行うもので、デジタルカメラの動作モード(撮影モード、再生モード等)、撮影時の撮影方法、撮影条件、設定等を行う。操作部13によって設定される撮影条件には、撮影感度(ISO感度)の設定、電子ズームの動作設定、ストロボの動作設定が含まれる。操作部13は、それぞれの機能に対応する操作部材を設けてもよいが、表示部8の表示と連動して操作部材を共用してもよい。また、操作部13には、撮影動作を起動するためのレリーズボタンも含まれる。
【0034】
次に、撮影時の測光機能、及び測光値に基づく露出制御について、簡単に説明する。測光機能は、操作部13に含まれるレリーズボタン(図示せず)の半押しを契機に実行される。具体的には、システム制御部9の制御により、撮像部1を予め定めた複数の露出値(例えば7EV、11EV、15EV)に設定して露光したときの、画像データに所定の演算を施こすことによって行われる。演算処理は、システム制御部6及びデジタル信号処理部6によって行われる。手順は、次の通りである。
【0035】
(1)取り込んだ複数枚(この例では3枚)の画像データを、撮影画面の複数の分割領域(例えば64分割)について、積算平均し、各領域の測光値Evi(i=0〜63)を求める。測光値Eviは、複数枚の積算演算データの内、オーバーフローもアンダーフローもしていない画像から得られたものを選択し、各色(RGB)毎に積算した値に所定のホワイトバランスゲインを乗じ、さらにそれらを加算したものである。
(2)測光値Eviに次の演算を施し、重み付け平均測光値EVa=Σ(Evi×Wi)/ΣWiを演算する。ここで、Wiは、予め定められた各領域の重みであり、中央部が大きく、周辺部が小さい値となっている。
【0036】
撮影時の露出は、ここで求められた重み付け平均測光値EVaに基づいて定められる。そして、定められた露出に基づいてシステム制御部9から、駆動部4を介して撮像部1の各パラメータが設定され、レリーズボタン(図示せず)の全押しによって、撮影信号の取り込み及び信号処理が開始される。
【0037】
続いて、逆行シーンの検出、及び逆光シーン撮影時の露出補正について説明する。図1は、本発明の実施の形態のデジタルカメラにおける露出補正処理の概略フローを示す図である。ステップ101では、レリーズボタン(図示せず)の半押し時に求められた測光値Eviを取り込む。
【0038】
ステップ102では、測光値Eviを利用して逆光シーン判別用のパラメータの演算を行う。ここでは、次の3つのパラメータを演算する。1つ目は、測光値Eviの最大値EVmaxと測光値Eviの最小値EVminの差EVdiffである。差EVdiffは、被写体の輝度レンジの大きさに対応し、逆光時には大きくなるので、逆光の判別に利用できる。2つ目は、重み付け平均測光値EVaと周辺部分の測光値の平均値である周辺測光値EVbとの差である。このパラメータは、撮影画面の輝度分布を示し、負側になるほど逆光シーンと判断できる。3つ目は、測光値Eviの最大値EVmaxである。逆光シーンにおいては、最大値EVmaxが大きくなるので、逆光シーンの判別に利用できる。
【0039】
ステップ103では、ステップ102で得られたパラメータを利用して逆光シーンか否かの判別を行う。逆光シーンの判別は、これらのパラメータ大きさ及び組合せによって判別するのが好ましい。逆光シーンでない場合は、このまま終了する。
【0040】
逆光シーンであると判別されると、ステップ104で、露出補正量を決定する。露出補正量は、重み付け平均測光値EVa、測光値の最大値EVmax、及び測光値の最大値EVmaxに対する目標値EVsに基づいて演算する。ここで、目標値EVsは、デジタルカメラが再現可能な輝度の範囲を、撮影時の露出設定の基準とする輝度値(重み付け平均測光値EVa等)からの偏位によって示したものである。
【0041】
露出補正量dEVは、dEV=(EVs−(EVmax−EVa))Kの演算によって求める。ただし、dEV<0のときは、dEV=0とする。ここで、Kは、撮影モードに応じて変化する係数であり、通常の撮影時は、K=1である。ストロボのオンオフ、ストロボの動作モード(日中シンクロモード等)等によって変化させることによって、露出補正量を補正できる。例えば、ストロボのオン時は、K=0.7とする。
【0042】
ステップ104で、露出補正量dEVが求められると、ステップ105で、通常の方法で求めた露出値(例えば、重み付け平均測光値EVaを露出値とする。)を露出補正量dEVで補正し、最終露出EVo(=EVa−dEV)として出力する。
【0043】
次に、目標値EVsの決定方法について説明する。目標値EVsは、デジタルカメラが再現可能な輝度の範囲を、撮影時の露出設定の基準とする輝度値(重み付け平均測光値EVa等)からの偏位max_difで示したものであり、被写体の輝度レンジの大きさに対応するEVdiff(最大値EVmaxと測光値Eviの最小値EVminの差)に応じて変化させる。図2に、EVdiffに応じた目標値EVs(=max_dif)の設定例を示す。図2(a)は、偏位max_difとEVdiffとの関係を示したものであり、図2(b)は、図2(a)における変数lとEVmaxとの関係を示したものである。図2の、設定例によれば、目標値EVs(=max_dif)は、2+(EVdiff−4.5)×(4−2)/(7.5−4.5)×lである。
【0044】
目標値EVsとなる偏位max_difは、輝度分布に応じてクリップされる。図3に、クリップ関数dif_clipの一例を示す。図3の横軸は、重み付け平均測光値EVaと周辺測光値EVbとの差であるので、横軸の正方向が順光の輝度分布になり、負方向が逆光になっている。このような、クリップを行うと、EVdiffが大きく、EVmaxが大きくても、輝度分布が逆光側でない場合は、目標値EVsが大きくならない。したがって、過度な逆光補正を避けることができる。
【0045】
このような露出補正が施されて得られた撮像信号は、A/D変換部3でデジタル化され、デジタル信号処理部6に送られる。デジタル信号処理部6の機能を、画像合成処理を中心に説明する。図4は、デジタル信号処理部6の概略機能ブロック図である。デジタル信号処理部6は、OB(オプティカルブラック)処理部61a、61b、LMTX(リニアマトリクス)62a、62b、WB(ホワイトバランス)処理部63a、63b、ガンマ補正部64a、64b、合成ゲインLUT(ルックアップテーブル)65、乗算部66a、66b、加算部67、リミッタ68、同時化及びY/C処理部69、CMTX(色差マトリクス)70、合成レンジ演算部71を含む。
【0046】
OB処理部61a、61bは、画像データの黒レベルを補正するものであり、LMTX62a、62bは、例えば3×3のマトリクス演算を行うことにより、色相を調整するものである。WB処理部63a、63bは、ホワイトバランス補正用のゲインをそれぞれの色を示す画像データに乗算するものであり、ガンマ補正部64a、64bは、それぞれの画像データが所望のガンマ特性になるように入出力特性を変更するものである。
【0047】
合成ゲインLUT65は、高感度画像データと低感度画像データとを加算合成する際のそれぞれのゲインデータを高感度画像データに応じて出力するものである。出力するゲインデータは、合成レンジ演算部71からの合成すべき輝度レンジ情報によって選択される。合成ゲインの求め方については、後述する。
【0048】
デジタル処理部6に入力される高感度画像データHighは、OB処理部61a、LMTX62a、WB処理部63a、ガンマ補正部64aによる処理を経て乗算部66aに入力される。また、同様に低感度画像データLowは、OB処理部61b、LMTX62b、WB処理部63b、ガンマ補正部64bによる処理を経て、乗算部66bに入力される。そして、それぞれ合成ゲインLUT65からのゲインデータと乗算され、乗算結果は加算部67で加算される。
【0049】
加算部67からの画像データは、リミッタ68で予め定めたビット数(例えば8ビット)で表現できる範囲に収まるように制限され、同時化及びY/C処理部69に入力される。同時化及びY/C処理部69は、点順次のRGB信号を補間し、各撮像位置毎にRGB信号を求め、さらにRGB信号から輝度信号Yと色差信号Cr,Cbに変換する。そして、CMTX70によって彩度補正を行い、合成画像データとして出力する。
【0050】
積算処理部71は、LMTX62bを経た低感度画像データを積算するのものであり、具体的には、画像の全領域又は画像の周辺部を除く領域を16×16分割し、各分割領域における緑データGを積算するものである。合成レンジ演算部72は、画像合成を行う場合の合成レンジを求めるものである。合成レンジは、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比xを基に定められる。合成レンジの求め方については後述する。
【0051】
合成レンジ演算部72の出力は、合成ゲインLUT65に送られ、合成レンジに応じたゲインデータを出力する。また、ガンマ補正部64bに送られ、低感度画像データのガンマ補正特性が合成レンジに応じたものとなる。さらに、CMTX70にも送られ、同時化及びY/C処理部69で得られた色差データが、合成レンジに応じたゲインで補正され、出力される合成画像データの彩度が補正される。
【0052】
なお、合成レンジ演算部72からの合成レンジに基づく低感度画像データのガンマ特性の補正、及び彩度補正は必須ではなく、適宜省略してもよい。
【0053】
図5に、撮影時の合成演算処理までのデジタル信号処理の概略シーケンスを示す。期間t1において露光がされた後、期間t2で高感度画像データの取り込みが行われる。期間t3では、低感度画像データの取り込みと同時に高感度画像データに対する信号処理が行われる。ここでは、ホワイトバランスゲイン決定処理(AWB)、キズ補正処理(キズ)、及び前処理が行われる。前処理には、OB処理、LMTX演算、WB処理、ガンマ補正処理が含まれる。
【0054】
低感度画像データの取り込みが終了すると、期間t4で合成レンジの演算処理が行われる。ここでの合成レンジの演算処理には、低感度画像データのOB処理、LMTX演算、積算処理も含まれる。合成レンジが決定すると、期間t5で低感度画像データの前処理(WB処理、ガンマ補正処理が含まれる)が行われる。そして、期間t6で、ガンマ補正後の高感度画像データ及び低感度画像データの合成演算が行われる。
【0055】
次いで、合成ゲインLUT65に記憶されるゲインデータについて説明する。ゲインデータは、合成データdataを求める式(1)に基づいて作成される。
【0056】
data=[high+MIN(high/th,1)×low]×MAX[(−lg×high/th)+1,p] (1)
ここで、
highは、ガンマ補正後の高感度画像データ
lowは、ガンマ補正後の低感度画像データ
thは、低感度画像データの加算比率を変更する閾値
pは、トータルゲイン
lgは、高感度画像データと低感度画像データの飽和出力の比に依存する値(例えば、飽和比が4:1とするとp=0.2)である。
【0057】
式(1)を展開し、
h_gain=MAX[(−lg×high/th)+1,p] (2)
l_gain=MAX[(−lg×high/th)+1,p]×MIN(high/th,1)=h_gain×wl (3)
とすると、
data=h_gain×high+l_gain×low
となる。
【0058】
h_gainは、高感度画像データ用のゲインであり、図6に示す特性を有する。また、l_gainは、低感度画像データ用のゲインであって、h_gain×wlであり、wlは、図7に示す特性を有する。
【0059】
合成ゲインLUT65には、上記式(2)及び(3)によって求められる高感度画像データ用のゲインh_gain、及び低感度画像データ用のゲインl_gainが、高感度画像データhighに対応するテーブル形式のデータとして記憶される。この記憶されるゲインデータは、合成レンジ演算部72から出力される合成レンジに応じた数だけ記憶される。
【0060】
続いて、合成レンジ演算部72による合成レンジの求め方について説明する。まず、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比xを、積算処理部71からの積算データに基づいて求める。積算データを積算画像数で除算した値は、被写体の分割領域毎のGデータの平均値であり、被写体輝度は、Gデータの1.25(80/64)倍と考えることができるので、その平均値の最大値Gmaxは、低感度画像データが示す被写体輝度の最大値に対応するものとなる。
【0061】
今、図5に示すように、高感度画像データがとり得る最大値が4095、低感度画像データがとり得る最大値が1023、低感度画像データの輝度レンジが高感度画像データの輝度レンジに対して400%、輝度が緑データGの1.25(80/64)倍であるとすると、低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比xは、次の式(4)で表される。
【0062】
x=Gmax×80×400/1023×64(%) (4)
【0063】
合成レンジ演算部72は、このようにして求めた比xに基づいて合成レンジを求める。合成レンジは、例えば図9のように、比xの大きさによって決められる。
【0064】
このように決定された合成レンジに基づいて、高感度画像データ及び低感度画像データに乗算するゲインデータが選択される。図10に、合成画像データの合成レンジに応じた階調特性の一例を示す。図10に示すように、合成レンジが大きくなる(被写体の輝度範囲が広くなる)につれて、合成画像データの再現範囲を広くすることができる。図10の例は、低感度画像データのガンマ特性を変化させていない例を示しているが、合成レンジに応じて低感度画像データのガンマ特性をさらに好ましい階調特性にすることができる。
【0065】
このように、撮影画像データに応じて合成パラメータや低感度画像のガンマ特性を変更して合成することにより、逆光シーン撮影時にオーバー露出とした場合でも、より好ましい画像を得ることができる。
【0066】
【発明の効果】
以上の説明から明らかなように、本発明によれば、逆光シーンの撮影時に、適切な露出補正を行うことが可能なデジタルカメラを提供する。
【図面の簡単な説明】
【図1】本発明の実施の形態のデジタルカメラにおける露出補正処理の概略フローを示す図
【図2】測光値のレンジEVdiffに応じた目標値EVs(=max_dif)の設定例を示す図
【図3】偏位max_difを、輝度分布に応じてクリップするクリップ関数の一例を示す図
【図4】デジタル信号処理部の概略機能ブロック図
【図5】撮影時の合成演算処理までのデジタル信号処理の概略シーケンスを示す図
【図6】高感度画像データ用のゲインの特性を示す図
【図7】低感度画像データ用のゲインと高感度画像データ用ゲインの比wlの特性を示す図
【図8】高感度画像データと低感度画像データの関係の一例を示す図
【図9】低感度画像データが示す被写体輝度の最大値と、高感度画像データがとり得る最大値が示す輝度値との比xと合成レンジとの関係の一例を示す図
【図10】合成レンジに応じて合成画像データの階調特性が変化する様子を示す図
【図11】本発明の実施の形態のデジタルカメラの概略構成を示す図
【図12】高感度撮像信号と低感度撮像信号を出力可能な固体撮像素子の概略構成を示す図
【符号の説明】
1・・・撮像部
2・・・アナログ信号処理部
3・・・A/D変換部
4・・・駆動部
5・・・ストロボ
6・・・デジタル信号処理部
7・・・圧縮/伸張処理部
8・・・表示部
9・・・システム制御部
10・・・内部メモリ
11・・・メディアインタフェース
12・・・記録メディア
13・・・操作部
20・・・システムバス
61a、61b・・・OB(オプティカルブラック)処理部
62a、62b・・・LMTX(リニアマトリクス)
63a、63b・・・WB(ホワイトバランス)処理部
64a、64b・・・ガンマ補正部
65・・・合成ゲインLUT(ルックアップテーブル)
66a、66b・・・乗算部
67・・・加算部
68・・・リミッタ
69・・・同時化及びY/C処理部
70・・・CMTX(色差マトリクス)
71・・・積算処理部
72・・・合成レンジ演算部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital camera having an exposure correction function when shooting a backlight scene.
[0002]
[Prior art]
The dynamic range of a solid-state image sensor such as a CCD image sensor is generally narrow, and when shooting a high-contrast subject, the amount of light received by the solid-state image sensor exceeds the dynamic range and the output of the solid-state image sensor saturates. Information may be missing.
[0003]
In order to solve such a problem, the first image data with relatively high sensitivity (hereinafter sometimes simply referred to as “high sensitivity image data”) and the second image data with relatively low sensitivity. (Hereinafter, it may be simply described as “low-sensitivity image data”), and a technique for expanding the dynamic range by performing a synthesis process has been proposed (see Patent Documents 1 and 2).
[0004]
The technique described in Patent Document 1 is a standard luminance video signal (high-sensitivity image) obtained by setting an object with standard brightness to an appropriate level under at least one of different exposure conditions and different gain control. Data) and a high-luminance video signal (low-sensitivity image data) obtained so that an object brighter than a predetermined value has an appropriate level is added to obtain a wide dynamic range video signal. At that time, the peak value of the high-luminance video signal is detected, and based on this peak value, a multiplication coefficient for multiplying the standard luminance video signal and the high-luminance video signal is calculated. It is.
[0005]
The technique described in Japanese Patent Laid-Open No. 2004-228561 is an image capturing unit that captures an image of a scene and generates a high-sensitivity video signal and a low-sensitivity video signal representing the scene. First signal conversion means for quantizing with a quantization resolution and outputting corresponding high-sensitivity video signal data; and quantizing a low-sensitivity video signal with a second quantization resolution lower than the first quantization resolution And a second signal converting means for outputting the corresponding low-sensitivity video signal data, and adding and combining the high-sensitivity video signal data and the corresponding low-sensitivity video signal data to produce a wide dynamic range video signal Is formed.
[0006]
On the other hand, when shooting in a backlight state where the background of the main subject is very bright, the image of the main subject tends to be a dark image due to the influence of the brightness of the background. Therefore, when it is determined that the backlight is in the backlit state, the exposure is corrected on the over side (see Patent Documents 3 and 4).
[0007]
However, when the exposure is corrected to the over side in order to adjust the exposure to the main subject, there is a problem that the background portion is overexposed and the overexposure is likely to occur. This phenomenon is particularly noticeable in digital cameras that cannot form video signals with a wide dynamic range.
[0008]
[Patent Document 1]
JP 2001-94870 A [Patent Document 2]
JP 2001-8104 A [Patent Document 3]
Japanese Patent Laid-Open No. 2001-242504 [Patent Document 4]
Japanese Patent Laid-Open No. 2001-242504
[Problems to be solved by the invention]
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a digital camera capable of performing appropriate exposure correction when shooting a backlight scene.
[0010]
[Means for Solving the Problems]
The digital camera of the present invention is a digital camera having an exposure correction function at the time of shooting a backlight scene, a split photometry section for obtaining photometric values of a plurality of areas obtained by dividing an imaging surface, and a backlight scene based on the photometry values. Exposure compensation for determining an exposure correction amount based on a backlight determination unit for determining, a weighted average photometric value of the screen obtained based on the photometric value, a maximum value of the photometric value, and a target value for the maximum value of the photometric value The target value indicates a range of luminance that can be reproduced by the digital camera by deviation from a luminance value used as a reference for exposure setting at the time of shooting, and the exposure correction unit, When the backlight determination unit determines that the scene is a backlight scene, the difference between the maximum photometric value and the weighted average photometric value is compared with the target value, and the target value is greater than the difference. Dew the difference It is an amount of correction.
[0011]
The digital camera of the present invention includes a digital camera in which the exposure correction unit sets an exposure correction amount to 0 when the target value is smaller than the difference.
[0012]
The digital camera of the present invention includes one in which the exposure correction unit corrects the exposure correction amount according to a shooting mode.
[0013]
The digital camera of the present invention includes one in which the target value is changed according to a shooting scene.
[0014]
The digital camera of the present invention includes one in which the target value is changed according to a difference between a maximum value and a minimum value of the photometric values by the divided photometric unit.
[0015]
The digital camera of the present invention includes one in which the target value is changed according to a distribution of photometric values by the divided photometric unit.
[0016]
The digital camera of the present invention further has a function of performing composite processing of the relatively high sensitivity first image data and the relatively low sensitivity second image data to obtain composite image data, Based on the ratio x, a step of obtaining the ratio x between the maximum value of the subject brightness indicated by the second image data and the brightness value indicated by the maximum value that can be taken by the first image data, Determining a gamma correction parameter of the second image data and the synthesis processing parameter; correcting the second image data based on the gamma correction parameter; and based on the synthesis processing parameter. Including a step of performing a process of combining the first image data and the second image data.
[0017]
In the digital camera of the present invention, the composition processing further includes a step of determining a gamma correction parameter of the second image data based on the ratio x, and the second image data based on the gamma correction parameter. Including the step of correcting the above.
[0018]
In the digital camera of the present invention, the composition processing further includes a step of determining a saturation correction parameter of the composite image data based on the ratio x, and a saturation of the composite image data based on the saturation correction parameter. Including the step of correcting the degree.
[0019]
The digital camera of the present invention includes one in which the first image data and the second image data are acquired based on an imaging signal from an imaging device having photoelectric conversion units having different sensitivities.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 11 is a diagram showing a schematic configuration of the digital camera according to the embodiment of the present invention. The digital camera of FIG. 11 includes an imaging unit 1, an analog signal processing unit 2, an A / D conversion unit 3, a driving unit 4, a strobe 5, a digital signal processing unit 6, a compression / expansion processing unit 7, a display unit 8, and system control. A unit 9, an internal memory 10, a media interface 11, a recording medium 12, and an operation unit 13. The digital signal processing unit 6, compression / decompression processing unit 7, display unit 8, system control unit 9, internal memory 10, and media interface 11 are connected to a system bus 20.
[0021]
The imaging unit 1 includes an optical system such as a photographic lens and an imaging element such as a CCD image sensor, and shoots a subject, and outputs an analog imaging signal. An imaging signal obtained by the imaging unit 1 is sent to the analog signal processing unit 2, subjected to predetermined analog signal processing, converted into a digital signal by the A / D conversion unit 3, and then digitally converted as so-called RAW image data. It is sent to the signal processing unit 6. The RAW image data is digital image data that has been digitized in the form of the imaging signal from the imaging unit 1.
[0022]
When shooting, the imaging unit 1 is controlled via the drive unit 4. A solid-state image pickup device such as a CCD image sensor used as an image pickup device has a plurality of photoelectric conversion regions (for example, photodiodes) arranged on a semiconductor substrate surface in a row direction and a column direction orthogonal thereto, and incident light. An analog voltage signal based on the accumulated signal charge is output. The solid-state imaging device is a timing generator (not shown) included in the drive unit 4 at a predetermined timing when a release switch (not shown) is turned on by operating a release button (not shown) which is a part of the operation unit 13. 11 is written by a drive signal from TG). The drive unit 4 outputs a predetermined drive signal based on the control of the system control unit 9, and also outputs drive signals for the analog signal processing unit 2 and the A / D conversion unit 3.
[0023]
The imaging unit 1 outputs a relatively high-sensitivity imaging signal and a relatively low-sensitivity imaging signal. Both of the imaging signals pass through an analog signal processing unit 2 and an A / D conversion unit 3 to form a digital image. It is converted into data and sent to the digital signal processor 6. The imaging device included in the imaging unit 1 has photoelectric conversion units with different sensitivities. As an imaging device having photoelectric conversion units with different sensitivities, a solid-state imaging device having a high-sensitivity imaging cell and a low-sensitivity imaging cell may be used as shown in Patent Document 2, or a solid-state imaging as shown in FIG. An element may be used.
[0024]
FIG. 12 is a diagram illustrating a schematic configuration of a solid-state imaging device capable of outputting a high-sensitivity imaging signal and a low-sensitivity imaging signal. FIG. 12 is a partially enlarged plan view of a so-called honeycomb-structured solid-state imaging device, which is arranged on the surface of a semiconductor substrate in a row direction (a direction indicated by an arrow X) and a column direction (a direction indicated by an arrow Y) perpendicular thereto. The plurality of photoelectric conversion regions 111 to 157 (only some are numbered in the figure), the vertical transfer units 201 to 208, the horizontal transfer unit 300, and the output unit 400 are included. Among the plurality of photoelectric conversion regions 111 to 157, the odd-numbered columns are shifted in the column direction by about ½ of the column-direction pitch between the photoelectric conversion regions with respect to the even-numbered columns. The photoelectric conversion regions are arranged so as to be shifted in the row direction by about ½ of the row direction pitch between the photoelectric conversion regions with respect to even-numbered photoelectric conversion regions. In FIG. 12, a photoelectric conversion region of 5 rows and 8 columns is shown, but in reality, more photoelectric conversion regions are provided.
[0025]
The photoelectric conversion regions 111 to 157 generate and accumulate signal charges corresponding to the amount of incident light, and are, for example, photodiodes. The photoelectric conversion regions 111 to 157 are divided into a main region m having a relatively large light receiving area and a sub region s having a relatively small light receiving area (in FIG. 12, only the photoelectric conversion region 151 is given a reference numeral. A signal charge corresponding to light having a predetermined spectral sensitivity is generated and stored. In the solid-state imaging device of FIG. 12, red (indicated by R), green (indicated by G), or blue (indicated by B) filters (not shown) have respective photoelectric conversion regions 111 to 157. The signal charge corresponding to the light of each color is generated and accumulated.
[0026]
The vertical transfer units 201 to 208 read signal charges from the photoelectric conversion regions 111 to 157 and transfer them in the column direction. The vertical transfer units 201 to 208 are provided on the sides corresponding to the columns of the photoelectric conversion regions 111 to 157. The transfer in the column direction is performed by independently reading the signal charges in the main region m and the signal charges in the sub region s to the vertical transfer units 201 to 208, respectively. The horizontal transfer unit 300 transfers signal charges from the plurality of vertical transfer units 201 to 208 and transfers the transferred signal charges in the row direction. The output unit 400 outputs a voltage signal corresponding to the transferred signal charge amount.
[0027]
The strobe 5 operates when the brightness of the subject is equal to or lower than a predetermined value, and is controlled by the system control unit 9.
[0028]
The digital signal processing unit 6 performs digital signal processing on the digital image data from the A / D conversion unit 3 in accordance with the operation mode set by the operation unit 13. The processing performed by the digital signal processing unit 6 includes black level correction processing (OB processing) and linear matrix correction processing (removing mixed components due to the photoelectric conversion characteristics of the image sensor with respect to the primary color signal from the imaging unit. Processing for performing correction (by 3 × 3 matrix operation for RBG input), white balance adjustment processing (gain adjustment), gamma correction processing, image synthesis processing, synchronization processing, Y / C conversion processing, and the like. The image composition processing of the digital signal processing unit 6 will be described later.
[0029]
The digital signal processing unit 6 is configured by a DSP, for example. The compression / decompression processing unit 7 performs compression processing on the Y / C data obtained by the digital signal processing unit 6 and also performs decompression processing on the compressed image data obtained from the recording medium 12. .
[0030]
The display unit 8 includes, for example, an LCD display device, and displays an image based on image data that has been shot and has undergone digital signal processing. An image is also displayed based on the image data obtained by decompressing the compressed image data recorded on the recording medium. It is also possible to display a through image at the time of shooting, various states of the digital camera, information on operations, and the like.
[0031]
The internal memory 10 is, for example, a DRAM and is used as a work memory for the digital signal processing unit 6 and the system processing unit 9, as well as a buffer memory that temporarily stores captured image data recorded on the recording medium 12, and a display It is also used as a buffer memory for display image data to the unit 8. The media interface 11 inputs / outputs data to / from a recording medium 12 such as a memory card.
[0032]
The system control unit 9 controls the entire digital camera including shooting operations. Specifically, the system control unit 9 is mainly configured by a processor that operates according to a predetermined program.
[0033]
The operation unit 13 performs various operations when using the digital camera, and performs an operation mode (shooting mode, playback mode, etc.) of the digital camera, a shooting method at the time of shooting, shooting conditions, settings, and the like. The photographing conditions set by the operation unit 13 include photographing sensitivity (ISO sensitivity) setting, electronic zoom operation setting, and strobe operation setting. The operation unit 13 may be provided with an operation member corresponding to each function, but may share the operation member in conjunction with the display of the display unit 8. The operation unit 13 also includes a release button for starting a shooting operation.
[0034]
Next, a photometric function at the time of photographing and exposure control based on the photometric value will be briefly described. The photometric function is executed when a release button (not shown) included in the operation unit 13 is half-pressed. Specifically, under the control of the system control unit 9, a predetermined calculation is performed on the image data when the imaging unit 1 is set to a plurality of predetermined exposure values (for example, 7 EV, 11 EV, and 15 EV) and exposed. Is done by. The arithmetic processing is performed by the system control unit 6 and the digital signal processing unit 6. The procedure is as follows.
[0035]
(1) A plurality of captured image data (3 images in this example) are averaged over a plurality of divided areas (for example, 64 divided areas) of the photographing screen, and a photometric value Evi (i = 0 to 63) of each area is obtained. Ask for. The photometric value Evi is obtained by selecting an image obtained from an image that is not overflowed or underflowed from a plurality of accumulated calculation data, multiplying the accumulated value for each color (RGB) by a predetermined white balance gain, and It is the sum of them.
(2) The following calculation is performed on the photometric value Evi to calculate the weighted average photometric value EVa = Σ (Evi × Wi) / ΣWi. Here, Wi is a predetermined weight of each region, and has a large value in the central part and a small value in the peripheral part.
[0036]
The exposure at the time of photographing is determined based on the weighted average photometric value EVa obtained here. Then, each parameter of the imaging unit 1 is set from the system control unit 9 via the drive unit 4 based on the determined exposure, and capturing of the imaging signal and signal processing are performed by fully pressing a release button (not shown). Is started.
[0037]
Next, detection of a retrograde scene and exposure correction at the time of shooting a backlight scene will be described. FIG. 1 is a diagram showing a schematic flow of exposure correction processing in the digital camera according to the embodiment of the present invention. In step 101, the photometric value Evi obtained when the release button (not shown) is half-pressed is captured.
[0038]
In step 102, a parameter for backlight scene discrimination is calculated using the photometric value Evi. Here, the following three parameters are calculated. The first is a difference EVdiff between the maximum value EVmax of the photometric value Evi and the minimum value EVmin of the photometric value Evi. The difference EVdiff corresponds to the size of the luminance range of the subject and increases during backlighting, so that it can be used to determine backlighting. The second is a difference between the weighted average photometric value EVa and the peripheral photometric value EVb which is an average value of the photometric values in the peripheral portion. This parameter indicates the luminance distribution of the shooting screen, and it can be determined that the scene is backlit as it becomes negative. The third is the maximum value EVmax of the photometric value Evi. In a backlight scene, the maximum value EVmax is large, and can be used to determine a backlight scene.
[0039]
In step 103, it is determined whether the scene is a backlight scene using the parameters obtained in step 102. The backlight scene is preferably determined based on the size and combination of these parameters. If it is not a backlight scene, the process ends.
[0040]
If it is determined that the scene is a backlight scene, an exposure correction amount is determined in step 104. The exposure correction amount is calculated based on the weighted average photometric value EVa, the photometric value maximum value EVmax, and the target value EVs for the photometric value maximum value EVmax. Here, the target value EVs indicates a range of luminance that can be reproduced by the digital camera by deviation from a luminance value (such as a weighted average photometric value EVa) used as a reference for exposure setting at the time of photographing.
[0041]
The exposure correction amount dEV is obtained by calculating dEV = (EVs− (EVmax−EVa)) K. However, dEV = 0 when dEV <0. Here, K is a coefficient that varies depending on the shooting mode, and K = 1 during normal shooting. By changing the strobe on / off, the strobe operating mode (daytime sync mode, etc.), etc., the exposure correction amount can be corrected. For example, when the strobe is on, K = 0.7.
[0042]
When the exposure correction amount dEV is obtained in step 104, the exposure value obtained by a normal method (for example, the weighted average photometric value EVa is used as the exposure value) is corrected in step 105 by the exposure correction amount dEV. Output as exposure EVo (= EVa-dEV).
[0043]
Next, a method for determining the target value EVs will be described. The target value EVs indicates the luminance range that can be reproduced by the digital camera as a deviation max_dif from a luminance value (weighted average photometric value EVa, etc.) used as a reference for exposure setting at the time of shooting. It is changed according to EVdiff (difference between the maximum value EVmax and the minimum value EVmin of the photometric value Evi) corresponding to the size of the range. FIG. 2 shows a setting example of the target value EVs (= max_dif) according to EVdiff. 2A shows the relationship between the deviation max_dif and EVdiff, and FIG. 2B shows the relationship between the variable l and EVmax in FIG. 2A. According to the setting example in FIG. 2, the target value EVs (= max_dif) is 2+ (EVdiff−4.5) × (4-2) / (7.5−4.5) × l.
[0044]
The deviation max_dif that becomes the target value EVs is clipped according to the luminance distribution. FIG. 3 shows an example of the clip function dif_clip. Since the horizontal axis of FIG. 3 is the difference between the weighted average photometric value EVa and the peripheral photometric value EVb, the positive direction of the horizontal axis is the luminance distribution of the forward light, and the negative direction is the backlight. When such clipping is performed, even if EVdiff is large and EVmax is large, the target value EVs does not increase if the luminance distribution is not on the backlight side. Therefore, excessive backlight correction can be avoided.
[0045]
The imaging signal obtained by performing such exposure correction is digitized by the A / D conversion unit 3 and sent to the digital signal processing unit 6. The function of the digital signal processing unit 6 will be described focusing on image synthesis processing. FIG. 4 is a schematic functional block diagram of the digital signal processing unit 6. The digital signal processing unit 6 includes an OB (optical black) processing unit 61a, 61b, an LMTX (linear matrix) 62a, 62b, a WB (white balance) processing unit 63a, 63b, a gamma correction unit 64a, 64b, a combined gain LUT (look). (Uptable) 65, multiplication units 66 a and 66 b, addition unit 67, limiter 68, synchronization and Y / C processing unit 69, CMTX (color difference matrix) 70, and synthesis range calculation unit 71.
[0046]
The OB processing units 61a and 61b correct the black level of the image data, and the LMTXs 62a and 62b adjust the hue by performing, for example, a 3 × 3 matrix operation. The WB processing units 63a and 63b multiply the image data indicating the respective colors by the gain for white balance correction, and the gamma correction units 64a and 64b make the respective image data have desired gamma characteristics. The input / output characteristics are changed.
[0047]
The composite gain LUT 65 outputs the respective gain data when the high-sensitivity image data and the low-sensitivity image data are added and combined in accordance with the high-sensitivity image data. The gain data to be output is selected based on the luminance range information to be synthesized from the synthesis range calculation unit 71. A method for obtaining the composite gain will be described later.
[0048]
High-sensitivity image data High input to the digital processing unit 6 is input to the multiplication unit 66a through processing by the OB processing unit 61a, the LMTX 62a, the WB processing unit 63a, and the gamma correction unit 64a. Similarly, the low-sensitivity image data Low is input to the multiplication unit 66b after being processed by the OB processing unit 61b, the LMTX 62b, the WB processing unit 63b, and the gamma correction unit 64b. Then, the gain data from the combined gain LUT 65 is multiplied, and the multiplication result is added by the adder 67.
[0049]
The image data from the adder 67 is limited to be within a range that can be expressed by a limiter 68 in a predetermined number of bits (for example, 8 bits), and is input to the synchronization and Y / C processing unit 69. The synchronization and Y / C processing unit 69 interpolates point-sequential RGB signals, obtains RGB signals for each imaging position, and further converts the RGB signals into luminance signals Y and color difference signals Cr and Cb. Then, saturation correction is performed by the CMTX 70 and output as composite image data.
[0050]
The integration processing unit 71 integrates the low-sensitivity image data that has passed through the LMTX 62b. Specifically, the integration processing unit 71 divides the entire region of the image or the region excluding the peripheral portion of the image into 16 × 16, and the green in each divided region. Data G is integrated. The composition range calculation unit 72 obtains a composition range when performing image composition. The composite range is determined based on a ratio x between the maximum value of the subject luminance indicated by the low-sensitivity image data and the luminance value indicated by the maximum value that can be taken by the high-sensitivity image data. A method for obtaining the synthesis range will be described later.
[0051]
The output of the synthesis range calculation unit 72 is sent to the synthesis gain LUT 65 to output gain data corresponding to the synthesis range. In addition, the gamma correction characteristic of the low-sensitivity image data is sent to the gamma correction unit 64b according to the synthesis range. Further, the color difference data sent to the CMTX 70 and obtained by the synchronization and Y / C processing unit 69 is corrected with a gain corresponding to the synthesis range, and the saturation of the output synthesized image data is corrected.
[0052]
Note that the correction of the gamma characteristic and the saturation correction of the low-sensitivity image data based on the synthesis range from the synthesis range calculation unit 72 are not essential and may be omitted as appropriate.
[0053]
FIG. 5 shows a schematic sequence of digital signal processing up to the synthesis calculation processing at the time of photographing. After exposure is performed in the period t1, high-sensitivity image data is captured in the period t2. In the period t3, signal processing is performed on the high-sensitivity image data simultaneously with the capture of the low-sensitivity image data. Here, white balance gain determination processing (AWB), scratch correction processing (scratches), and preprocessing are performed. The preprocessing includes OB processing, LMTX calculation, WB processing, and gamma correction processing.
[0054]
When the capturing of the low-sensitivity image data is completed, the composite range calculation process is performed in the period t4. The calculation processing of the synthesis range here includes OB processing of low-sensitivity image data, LMTX calculation, and integration processing. When the composite range is determined, low-sensitivity image data preprocessing (including WB processing and gamma correction processing) is performed in a period t5. Then, in the period t6, a combination operation of the high sensitivity image data and the low sensitivity image data after the gamma correction is performed.
[0055]
Next, gain data stored in the combined gain LUT 65 will be described. The gain data is created based on the formula (1) for obtaining the composite data data.
[0056]
data = [high + MIN (high / th, 1) × low] × MAX [(− lg × high / th) +1, p] (1)
here,
high is the high-sensitivity image data low after the gamma correction, the low-sensitivity image data th after the gamma correction is the threshold p for changing the addition ratio of the low-sensitivity image data, the total gain lg is the same as the high-sensitivity image data and low The value depends on the ratio of the saturation output of the sensitivity image data (for example, if the saturation ratio is 4: 1, p = 0.2).
[0057]
Expand equation (1),
h_gain = MAX [(− lg × high / th) +1, p] (2)
l_gain = MAX [(− lg × high / th) +1, p] × MIN (high / th, 1) = h_gain × wl (3)
Then,
data = h_gain × high + l_gain × low
It becomes.
[0058]
h_gain is a gain for high-sensitivity image data and has the characteristics shown in FIG. Also, l_gain is a gain for low-sensitivity image data and is h_gain × wl, and wl has the characteristics shown in FIG.
[0059]
In the composite gain LUT 65, the gain h_gain for high-sensitivity image data and the gain l_gain for low-sensitivity image data obtained by the above equations (2) and (3) are tabular data corresponding to the high-sensitivity image data high. Is remembered as The stored gain data is stored in a number corresponding to the synthesis range output from the synthesis range calculation unit 72.
[0060]
Next, how to determine the synthesis range by the synthesis range calculation unit 72 will be described. First, a ratio x between the maximum value of the subject luminance indicated by the low-sensitivity image data and the luminance value indicated by the maximum value that can be taken by the high-sensitivity image data is obtained based on the integration data from the integration processing unit 71. The value obtained by dividing the integrated data by the number of integrated images is the average value of the G data for each divided region of the subject, and the subject brightness can be considered as 1.25 (80/64) times the G data. The maximum average value Gmax corresponds to the maximum value of the subject luminance indicated by the low-sensitivity image data.
[0061]
As shown in FIG. 5, the maximum value that the high-sensitivity image data can take is 4095, the maximum value that the low-sensitivity image data can take is 1023, and the luminance range of the low-sensitivity image data is relative to the luminance range of the high-sensitivity image data. If the luminance is 1.25 (80/64) times that of the green data G, the maximum value of the subject luminance indicated by the low-sensitivity image data and the luminance value indicated by the maximum value that can be taken by the high-sensitivity image data The ratio x is expressed by the following equation (4).
[0062]
x = Gmax × 80 × 400/1023 × 64 (%) (4)
[0063]
The synthesis range calculation unit 72 obtains the synthesis range based on the ratio x thus obtained. The synthesis range is determined by the size of the ratio x, for example, as shown in FIG.
[0064]
Based on the synthesis range thus determined, gain data to be multiplied with the high-sensitivity image data and the low-sensitivity image data is selected. FIG. 10 shows an example of the gradation characteristics corresponding to the composite range of the composite image data. As shown in FIG. 10, the reproduction range of the composite image data can be widened as the composite range is increased (the luminance range of the subject is increased). The example of FIG. 10 shows an example in which the gamma characteristic of the low-sensitivity image data is not changed. However, the gamma characteristic of the low-sensitivity image data can be made a more preferable gradation characteristic according to the synthesis range.
[0065]
In this way, by combining the composition parameters and the gamma characteristics of the low-sensitivity image according to the captured image data, a more preferable image can be obtained even when overexposure is performed during backlight scene shooting.
[0066]
【The invention's effect】
As is clear from the above description, according to the present invention, a digital camera capable of performing appropriate exposure correction at the time of shooting a backlight scene is provided.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic flow of exposure correction processing in a digital camera according to an embodiment of the present invention. FIG. 2 is a diagram showing a setting example of a target value EVs (= max_dif) corresponding to a photometric value range EVdiff. 3 is a diagram showing an example of a clip function for clipping the deviation max_dif according to the luminance distribution. FIG. 4 is a schematic functional block diagram of a digital signal processing unit. FIG. FIG. 6 is a diagram showing a schematic sequence. FIG. 6 is a diagram showing a characteristic of a gain for high-sensitivity image data. FIG. 7 is a diagram showing a characteristic of a ratio wl between a gain for low-sensitivity image data and a gain for high-sensitivity image data. FIG. 9 is a diagram showing an example of the relationship between high-sensitivity image data and low-sensitivity image data. FIG. 9 shows the maximum value of subject brightness indicated by low-sensitivity image data, and the brightness value indicated by the maximum value that can be taken by high-sensitivity image data. FIG. 10 is a diagram showing an example of the relationship between the ratio x and the synthesis range. FIG. 10 is a diagram showing how the tone characteristics of the synthesized image data change according to the synthesis range. FIG. 11 is a diagram of the digital camera according to the embodiment of the present invention. FIG. 12 is a diagram showing a schematic configuration. FIG. 12 is a diagram showing a schematic configuration of a solid-state imaging device capable of outputting a high-sensitivity imaging signal and a low-sensitivity imaging signal.
DESCRIPTION OF SYMBOLS 1 ... Imaging part 2 ... Analog signal processing part 3 ... A / D conversion part 4 ... Drive part 5 ... Strobe 6 ... Digital signal processing part 7 ... Compression / decompression process Unit 8 ... Display unit 9 ... System control unit 10 ... Internal memory 11 ... Media interface 12 ... Recording medium 13 ... Operation unit 20 ... System bus 61a, 61b ... OB (optical black) processing units 62a, 62b... LMTX (linear matrix)
63a, 63b ... WB (white balance) processing units 64a, 64b ... gamma correction unit 65 ... composite gain LUT (look-up table)
66a, 66b ... Multiplier 67 ... Adder 68 ... Limiter 69 ... Synchronization and Y / C processor 70 ... CMTX (color difference matrix)
71 ... Integration processing unit 72 ... Composite range calculation unit

Claims (10)

逆光シーン撮影時の露出補正機能を有するデジタルカメラであって、
撮像面を分割した複数の領域の測光値を得る分割測光部と、
前記測光値に基づいて逆光シーンを判定する逆光判定部と、
前記測光値に基づいて求めた画面の重み付け平均測光値、前記測光値の最大値、及び前記測光値の最大値に対する目標値に基づいて、露出補正量を求める露出補正部とを含み、
前記目標値は、前記デジタルカメラが再現可能な輝度の範囲を、撮影時の露出設定の基準とする輝度値からの偏位によって示したものであり、
前記露出補正部は、前記逆光判定部が逆光シーンであると判定した場合に、前記測光値の最大値と前記重み付け平均測光値の差と、前記目標値とを比較し、前記目標値が前記差より大の場合に、その差を露出補正量とするものであるデジタルカメラ。
A digital camera having an exposure correction function when shooting a backlight scene,
A divided photometry unit for obtaining photometric values of a plurality of areas obtained by dividing the imaging surface;
A backlight determination unit that determines a backlight scene based on the photometric value;
An exposure correction unit that calculates an exposure correction amount based on a weighted average photometric value of the screen obtained based on the photometric value, a maximum value of the photometric value, and a target value for the maximum value of the photometric value;
The target value indicates a range of luminance that can be reproduced by the digital camera by deviation from a luminance value used as a reference for exposure setting at the time of shooting,
When the backlight determining unit determines that the backlight scene is a backlight scene, the exposure correction unit compares the difference between the maximum photometric value and the weighted average photometric value with the target value, and the target value is A digital camera that, when larger than the difference, uses the difference as the exposure compensation amount.
請求項1記載のデジタルカメラであって、
前記露出補正部は、前記目標値が前記差より小の場合は、露出補正量を0とするものであるデジタルカメラ。
The digital camera according to claim 1,
The exposure correction unit is a digital camera that sets an exposure correction amount to 0 when the target value is smaller than the difference.
請求項1又は2記載のデジタルカメラであって、
前記露出補正部は、前記露出補正量を、撮影モードに応じて補正するものであるデジタルカメラ。
The digital camera according to claim 1 or 2,
The exposure correction unit is a digital camera that corrects the exposure correction amount according to a shooting mode.
請求項1ないし3のいずれか1項記載のデジタルカメラであって、
前記目標値は、撮影シーンに応じて変更されるものであるデジタルカメラ。
The digital camera according to any one of claims 1 to 3,
The digital camera in which the target value is changed according to a shooting scene.
請求項4記載のデジタルカメラであって、
前記目標値は、前記分割測光部による測光値の最大値と最小値との差に応じて変更されるものであるデジタルカメラ。
The digital camera according to claim 4,
The target value is a digital camera that is changed according to a difference between a maximum value and a minimum value of photometric values by the divided photometry unit.
請求項4又は5記載のデジタルカメラであって、
前記目標値は、前記分割測光部による測光値の分布に応じて変更されるものであるデジタルカメラ。
The digital camera according to claim 4 or 5,
The digital camera in which the target value is changed according to a distribution of photometric values by the divided photometric unit.
請求項1ないし6のいずれか1項記載のデジタルカメラであって、
さらに、相対的に高感度の第1の画像データと相対的に低感度の第2の画像データとの合成処理を行って合成画像データを得る機能を有し、
前記合成処理は、
前記第2の画像データが示す被写体輝度の最大値と、前記第1の画像データがとり得る最大値が示す輝度値との比xと求める工程と、
前記比xに基づいて、前記第2の画像データのガンマ補正パラメータ、及び前記合成処理パラメータを決定する工程と、
前記ガンマ補正パラメータに基づいて前記第2の画像データを補正する工程と、
前記合成処理パラメータに基づいて前記第1の画像データと前記第2の画像データとの合成処理を行う工程とを含んで実現されるものであるデジタルカメラ。
The digital camera according to any one of claims 1 to 6,
Furthermore, it has a function of performing composite processing of the relatively high sensitivity first image data and the relatively low sensitivity second image data to obtain composite image data,
The synthesis process includes
Obtaining a ratio x between the maximum value of the subject brightness indicated by the second image data and the brightness value indicated by the maximum value that can be taken by the first image data;
Determining a gamma correction parameter of the second image data and the synthesis processing parameter based on the ratio x;
Correcting the second image data based on the gamma correction parameter;
A digital camera that includes a step of performing a combining process of the first image data and the second image data based on the combining processing parameter.
請求項7記載のデジタルカメラであって、
前記合成処理は、
さらに、前記比xに基づいて、前記第2の画像データのガンマ補正パラメータを決定する工程と、
前記ガンマ補正パラメータに基づいて前記第2の画像データを補正する工程とを含んで実現されるものであるデジタルカメラ。
The digital camera according to claim 7,
The synthesis process includes
And determining a gamma correction parameter of the second image data based on the ratio x;
And a step of correcting the second image data based on the gamma correction parameter.
請求項7又は8記載のデジタルカメラであって、
前記合成処理は、
さらに、前記比xに基づいて、合成画像データの彩度補正パラメータを決定する工程と、
前記彩度補正パラメータに基づいて、前記合成画像データの彩度を補正する工程とを含んで実現されるものであるデジタルカメラ。
The digital camera according to claim 7 or 8,
The synthesis process includes
A step of determining a saturation correction parameter of the composite image data based on the ratio x;
And a step of correcting the saturation of the composite image data based on the saturation correction parameter.
請求項7ないし9のいずれか1項記載のデジタルカメラであって、
前記第1の画像データと前記第2の画像データは、感度の異なる光電変換部を有する撮像素子による撮像信号に基づいて取得されるものであるデジタルカメラ。
A digital camera according to any one of claims 7 to 9,
The digital camera in which the first image data and the second image data are acquired based on an imaging signal from an imaging device having photoelectric conversion units having different sensitivities.
JP2003009805A 2003-01-17 2003-01-17 Digital camera Expired - Fee Related JP4028395B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003009805A JP4028395B2 (en) 2003-01-17 2003-01-17 Digital camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003009805A JP4028395B2 (en) 2003-01-17 2003-01-17 Digital camera

Publications (2)

Publication Number Publication Date
JP2004222160A true JP2004222160A (en) 2004-08-05
JP4028395B2 JP4028395B2 (en) 2007-12-26

Family

ID=32899187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003009805A Expired - Fee Related JP4028395B2 (en) 2003-01-17 2003-01-17 Digital camera

Country Status (1)

Country Link
JP (1) JP4028395B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1699063A1 (en) 2005-03-03 2006-09-06 Fuji Photo Film Co., Ltd. Semiconductor with adsorbed compound
JP2006319901A (en) * 2005-05-16 2006-11-24 Nikon Corp Electronic camera and image processing program
JP2008228090A (en) * 2007-03-14 2008-09-25 Ricoh Co Ltd Imaging apparatus and automatic exposure control method
JP2010172013A (en) * 2010-04-26 2010-08-05 Nikon Corp Electronic camera, and image processing program
JP2011128212A (en) * 2009-12-15 2011-06-30 Canon Inc Image processor, method and program
JP2013214878A (en) * 2012-04-02 2013-10-17 Canon Inc Imaging apparatus, exposure control method, and program

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1699063A1 (en) 2005-03-03 2006-09-06 Fuji Photo Film Co., Ltd. Semiconductor with adsorbed compound
JP2006319901A (en) * 2005-05-16 2006-11-24 Nikon Corp Electronic camera and image processing program
JP4622668B2 (en) * 2005-05-16 2011-02-02 株式会社ニコン Electronic camera and image processing program
JP2008228090A (en) * 2007-03-14 2008-09-25 Ricoh Co Ltd Imaging apparatus and automatic exposure control method
US7961228B2 (en) 2007-03-14 2011-06-14 Ricoh Company, Ltd. Imaging apparatus and method for controlling exposure by determining backlight situations and detecting a face
JP4711987B2 (en) * 2007-03-14 2011-06-29 株式会社リコー Imaging apparatus and automatic exposure control method
JP2011128212A (en) * 2009-12-15 2011-06-30 Canon Inc Image processor, method and program
JP2010172013A (en) * 2010-04-26 2010-08-05 Nikon Corp Electronic camera, and image processing program
JP2013214878A (en) * 2012-04-02 2013-10-17 Canon Inc Imaging apparatus, exposure control method, and program

Also Published As

Publication number Publication date
JP4028395B2 (en) 2007-12-26

Similar Documents

Publication Publication Date Title
KR100819804B1 (en) Photographing apparatus
JP5347707B2 (en) Imaging apparatus and imaging method
JP5665436B2 (en) Image processing apparatus, image processing method, and program
US20070076103A1 (en) Image pickup apparatus and image processing method
US20040130638A1 (en) Image synthesizing method and imaging apparatus
JP2002354498A (en) Electronic camera
JP2007067815A (en) Image processing device and image processing method
JP4487342B2 (en) Digital camera
JP4717720B2 (en) Image processing apparatus and method, and program
EP2214136B1 (en) Method and program for controlling image capture apparatus
JP4158029B2 (en) White balance adjustment method and electronic camera
JP2004363726A (en) Image processing method and digital camera
JP4028395B2 (en) Digital camera
JP3748031B2 (en) Video signal processing apparatus and video signal processing method
JP5310331B2 (en) Imaging apparatus and imaging method
JP2005080190A (en) White balance adjustment method and electronic camera
JP4028396B2 (en) Image composition method and digital camera
US20050057665A1 (en) Imaging apparatus having a color image data measuring function
JP2004215063A (en) Photographing device and outline correction method
JP4307862B2 (en) Signal processing method, signal processing circuit, and imaging apparatus
JP2006319827A (en) Solid-state imaging device and image correcting method
JP2003209850A (en) Signal processing circuit for imaging apparatus and signal processing method thereof
JP4276847B2 (en) Imaging device
KR20110014071A (en) Imaging apparatus and imaging method
JP2004222161A (en) Digital camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050215

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060325

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4028395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees