JP2004312553A - White balance control method and imaging apparatus - Google Patents
White balance control method and imaging apparatus Download PDFInfo
- Publication number
- JP2004312553A JP2004312553A JP2003105648A JP2003105648A JP2004312553A JP 2004312553 A JP2004312553 A JP 2004312553A JP 2003105648 A JP2003105648 A JP 2003105648A JP 2003105648 A JP2003105648 A JP 2003105648A JP 2004312553 A JP2004312553 A JP 2004312553A
- Authority
- JP
- Japan
- Prior art keywords
- white balance
- sensitivity
- value
- block
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000035945 sensitivity Effects 0.000 claims abstract description 86
- 238000011156 evaluation Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 abstract description 19
- 238000001514 detection method Methods 0.000 description 36
- 238000012546 transfer Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 14
- 239000010410 layer Substances 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 8
- 229910052721 tungsten Inorganic materials 0.000 description 8
- 239000010937 tungsten Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000005375 photometry Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 3
- 229920005591 polysilicon Polymers 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 229910052814 silicon oxide Inorganic materials 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000005360 phosphosilicate glass Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明はホワイトバランス制御方法及び撮像装置に係り、特にデジタルカメラやビデオカメラなどに好適なホワイトバランス制御技術に関する。
【0002】
【従来の技術】
特許文献1には、デジタルカメラに搭載されるCCD部の分光特性のばらつきに起因する色再現への影響を抑制するために、カメラ個体ごとに分光感度特性を検出し、検出した分光感度特性に基づいてホワイトバランスの調整値を算出して、その調整値をカメラにセットする調整方法及び装置が開示されている。
【0003】
また、特許文献2においては、長時間露光時における暗電流の蓄積効果によって発生する画素欠陥を補うために、暗出力レベル値が大きいものから一定数以下の画素を欠陥画素として検出し、これら欠陥画素に関して、その近傍画素情報によって補償する技術が開示されている。
【0004】
【特許文献1】
特開2001−320715号公報
【0005】
【特許文献2】
特開2001−177768号公報
【0006】
【発明が解決しようとする課題】
ところで、現在市販されているデジタルカメラの多くは、撮影感度を選択できる構成になっている。例えば、ISO100/200/400/800/1600相当の5段階に感度を切り替えることができるものがある。この種のデジタルカメラシステムにおいては、暗いシーンなどを撮影する場合には高感度モードで撮影すれば問題ないが、ISO100又は200相当などの標準感度モードで撮影を行った場合、CCD出力画素レベルが非常に低くなってしまう。CCD出力レベルが低いと色ノイズが発生し、色が混合して正確なRGB情報でホワイトバランスがとりにくくなっている。
【0007】
そのため、仮にグレーチャートのような色情報一定レベルのシーンを撮影したとしても、それぞれの画素のRGB分布は同じ値に安定せず、その積算値でホワイトバランスをとるために色まわりを起した画像になってしまう。
【0008】
本発明はこのような事情に鑑みてなされたもので、暗いシーン或いは過度に明るいシーンを撮影した場合においても、正確なホワイトバランス補正を行うことができるホワイトバランス制御方法及び撮像装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
前記目的を達成するために本発明に係るホワイトバランス制御方法は、相対的に感度の高い高感度画素と、相対的に感度の低い低感度画素とが所定の配列形態に従って多数配置され、前記高感度画素及び前記低感度画素からそれぞれ画像信号を取り出すことができる構造を有する撮像手段によって被写体を撮像する撮像工程と、前記撮像手段を介して取得される画像を複数のブロックに分割するブロック分け工程と、前記分割された各ブロックについて前記撮像手段から得られる画像信号に基づきブロックの明るさを示す値を算出する明るさ算出工程と、前記各ブロックの明るさの評価基準となる閾値を設定する閾値設定工程と、前記明るさ算出工程で算出された各ブロックの明るさを示す値と前記閾値とを比較する比較工程と、前記比較工程の比較結果に従い、前記閾値よりも暗いブロックについては前記高感度画素から得られる画像信号を利用する一方、前記閾値よりも明るいブロックについては前記低感度画素から得られる画像信号を利用するようにホワイトバランス演算用の画像信号を切り替える切替制御工程と、前記切替制御工程によって選択されたホワイトバランス演算用の画像信号に基づいて、ホワイトバランス調整用のゲインを算出するゲイン算出工程と、前記ゲイン算出工程で求めたゲインに基づき色信号を補正してホワイトバランス調整を行うホワイトバランス調整工程と、を含むことを特徴とする。
【0010】
本発明に用いられる撮像手段は、高感度画素と低感度画素とを組み合わせた複合画素の構造を有している。これら感度の異なる2種類の画素(光電変換部)により、一度の撮像で光学的に同位相の画像情報(高感度画像情報と低感度画像情報)を取得することができる。該撮像手段から出力される画像信号を基にホワイトバランス調整用のゲインが算出されるが、本発明ではホワイトバランス演算の前段階において、高感度画素の情報を使うか低感度画素の情報を使うかを選択的に切り替えている。
【0011】
撮像した画像を複数のブロックに分割し、画像内で閾値よりも暗い部分のブロックでは高感度画素の情報を用い、閾値よりも明るい部分のブロックでは低感度画素の情報を用いて、ホワイトバランス演算を行うようにしたので、各ブロックについて情報の安定性がアップし、正確な情報を基にしてホワイトバランスゲインを決定することができる。
【0012】
上記方法発明を具現化する装置を提供するため、本発明に係る撮像装置は、相対的に感度の高い高感度画素と、相対的に感度の低い低感度画素とが所定の配列形態に従って多数配置され、前記主感光画素で光電変換された信号と前記従感光画素で光電変換された信号とをそれぞれ取り出すことができる構造を有する撮像手段と、前記撮像手段によって撮像された画像を複数のブロックに分割するブロック分け設定手段と、前記分割された各ブロックについて前記撮像手段から得られる画像信号に基づきブロックの明るさを示す値を算出する明るさ算出手段と、前記各ブロックの明るさの評価基準となる閾値を設定する閾値設定手段と、前記明るさ算出手段で算出された各ブロックの明るさを示す値と前記閾値とを比較し、前記閾値よりも暗いブロックについては前記高感度画素から得られる画像信号を利用する一方、前記閾値よりも明るいブロックについては前記低感度画素から得られる画像信号を利用するようにホワイトバランス演算用の画像信号を切り替える切替制御手段と、前記切替制御手段によって選択されたホワイトバランス演算用の画像信号に基づいて、ホワイトバランス調整用のゲインを算出するゲイン算出手段と、前記ゲイン算出手段で求めたゲインに基づき色信号を補正してホワイトバランス調整を行うホワイトバランス調整手段と、を備えたことを特徴とする。
【0013】
本発明の一態様によれば、前記撮像手段は、各受光セルが少なくとも前記高感度画素及び前記低感度画素を含む複数の受光領域に分割された構造を有し、各受光セル上方には同一受光セル内の前記高感度画素及び前記低感度画素について同一の色成分のカラーフィルタが配置されるとともに、各受光セルにはそれぞれ1つの受光セルに対して1つのマイクロレンズが設けられていることを特徴としている。
【0014】
かかる構造の撮像手段は、同一受光セル(画素セル)内の高感度画素と低感度画素の画素位置は略同一の位置にあるものとして取り扱うことができる。したがって、時間的に同位相で空間的にも略同位置の二つの画像情報を1回の撮像で取得することができる。
【0015】
本発明の他の態様によれば、前記明るさ算出手段は、前記撮像手段から得られるR,G,Bの色信号の積算値を算出することを特徴としている。R(赤),G(緑),B(青)の3原色に色分解された画像信号の場合、Gを基準とするR,Bのゲインを算出してもよいし、RGB各色についてそれぞれゲインを算出してもよい。分割された各ブロックについてR,G,Bの各色の積算値を算出し、この積算値を用いてホワイトバランス演算を行う態様がある。
【0016】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【0017】
〔撮像素子の構造〕
まず、撮像素子の構造について説明する。図1は本発明の実施に用いられるCCD固体撮像素子(以下、CCDという。)の一例を示す平面模式図であり、図2はその要部拡大図である。これらの図面に示すように、CCD10は、多数の受光セル20が水平方向(行方向)及び垂直方向(列方向)に一定の配列周期で配置された二次元撮像デバイス(イメージセンサ)である。図示した構成はハニカム配列と呼ばれる画素配列であり、受光セル20の幾何学的な形状の中心点を行方向及び列方向に1つおきに画素ピッチの半分(1/2ピッチ)ずらして配列させたものとなっている。すなわち、互いに隣接する受光セル20の行どうし(又は列どうし)において、一方の行(又は列)のセル配列が、他方の行(又は列)のセル配列に対して行方向(又は列方向)の配列間隔の略1/2だけ相対的にずれて配置された構造となっている。
【0018】
各受光セル20は、感度の異なる2つのフォトダイオード領域21、22を含む。第1のフォトダイオード領域21は、相対的に広い面積を有し、感度の高い主たる感光部(以下、「高感度画素」という。)を構成する。第2のフォトダイオード領域22は、相対的に狭い面積を有し、感度の低い従たる感光部(以下、「低感度画素」という。)を構成する。
【0019】
各受光セル20について、高感度画素21と低感度画素22には同色のカラーフィルタが配置されている。つまり、各受光セル20に対応してそれぞれRGBの何れか1色の原色カラーフィルタが割り当てられている。図1のように、水平方向についてGGGG…の行の次段にBRBR…の行が配置され、その次段にGGGG…の行、更にその次の行にRBRB…という具合に配列される。また、列方向についてみれば、GGGG…の列と、BRBR…の列と、GGGG…の列と、RBRB…の列とが循環式に繰り返される配列パターンとなっている。
【0020】
受光セル20の開口形状は四角形に限定されず、六角形や八角形などの多角形、或いは円形であってもよい。更に、受光セル20の分離形状(分割形態)についても、図1に示した形状に限定されず、各分割領域から蓄積電荷を別々に読み出すことができればよく、その形状や分割数、面積の大小関係などは適宜設計される。例えば、1つの受光セル20を3つ以上の受光領域に分割してもよい。なお、本発明の実施に際しては、R,G,Bの3原色に色分解する態様に限らず、イエロー(Y),マゼンタ(M),シアン(C)の補色系のカラーフィルタを用いて色分解する態様も可能である。
【0021】
受光セル20の右側には垂直転送路(VCCD)30が形成されている。垂直転送路30は、受光セル20の各列に近接して受光セル20を避けながらジグザグ状に蛇行して垂直方向に伸びている。
【0022】
垂直転送路30上には4相駆動(φ1,φ2,φ3,φ4)に必要な転送電極31、32、33、34が配置される。転送電極31〜34は、受光セル20の各行に近接して受光セル20の開口を避けながら蛇行して図1の水平方向に伸びるように設けられている。例えば、2層ポリシリコンで転送電極を形成する場合、φ1 のパルス電圧が印加される第1の転送電極31とφ3 のパルス電圧が印加される第3の転送電極33は第1層ポリシリコン層で形成され、φ2 のパルス電圧が印加される第2の転送電極32とφ4 のパルス電圧が印加される第4の転送電極34は第2層ポリシリコン層で形成される。もちろん、本発明の実施に際して電荷転送方式や転送電極の構成は上記の例に限定されない。
【0023】
図1において受光セル20が並んだ撮像エリア40の右側には、転送電極31〜34にパルス電圧を印加するVCCD駆動回路42が配置される。また、撮像エリア40の下側(垂直転送路30の下端側)には、垂直転送路30から移された信号電荷を水平方向に転送する水平転送路(HCCD)44が設けられている。
【0024】
水平転送路44は、2相駆動の転送CCDで構成されており、水平転送路44の最終段(図1上で最左段)は出力部46に接続されている。出力部46は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子48に出力する。こうして、各受光セル20で光電変換した信号が、点順次の信号列として出力される。
【0025】
本例のCCD10においては、一度の露光により高感度画素21及び低感度画素22で蓄積された信号電荷をそれぞれ独立に読み出すことが可能である。すなわち、図2に示したように、高感度画素21及び低感度画素22でそれぞれ生成された信号電荷は、当該受光セル20の右側に隣接した垂直転送路30に別々に読み出され、混ざり合うことなく転送される。
【0026】
また、図3に示すように、受光セル20の上方には各受光セル20について1つのマイクロレンズ50が配置されており、入射する光を効率的に受光セル20に入射させるようになっている。
【0027】
図4に受光セル20の断面図を示す。同図では、図3の4−4線に沿う断面図を示している。図4によれば、n型半導体基板60の上にp型ウエル62が形成されており、このp型ウエル62の表面領域に2つのn型領域63、64が形成され、フォトダイオードを構成している。符号63で示したn型領域のフォトダイオードが高感度画素21に相当し、図4の符号64で示したn型領域のフォトダイオードが低感度画素22に相当している。
【0028】
2つのn型領域63、64の間には、p+ 型の分離領域65が形成されている。分離領域65はチャネルストップ領域(チャネルストッパ)として機能し、フォトダイオード領域の電気的な分離を行う。また、図4において符号66で示したp+ 型領域は、受光セル20と垂直転送路30等の電気的な分離を行うためのチャネルストッパである。
【0029】
フォトダイオードを構成するn型領域63、64の更に上層面には、高感度画素21及び低感度画素22に相当するそれぞれのフォトダイオード領域への光入射開口を画定する開口を有した遮光膜68が形成されている。そして、遮光膜68を覆うように、半導体基板の上層面には、ホスホシリケートガラス等からなる層間絶縁膜70が形成されている。
【0030】
層間絶縁膜70の上面は高精度に平坦化されており、その上に色分解フィルタとして機能するカラーフィルタ層(オンチップカラーフィルタ)72が形成されている。また、カラーフィルタ層72の上には各受光セル20に対応してマイクロレンズ(オンチップマイクロレンズ)50が配設される。マイクロレンズ50は上方より入射する光を遮光膜68が画定する開口内に集光させる機能を有する。
【0031】
マイクロレンズ50を介して入射した光は、カラーフィルタ層72によって色分解され、高感度画素21及び低感度画素22の各フォトダイオード領域にそれぞれ入射する。各フォトダイオード領域(21、22)に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路30に読み出される。なお、高感度画素21と低感度画素22は、分離領域65によって区画されているため、それぞれのフォトダイオード領域に蓄積された信号電荷が受光セル20内で混合されることはない。
【0032】
図4では垂直転送路30を示していないが、p+ 型領域(チャネルストッパ)66の外側に垂直転送路30を構成するn型領域が形成されている。このn型領域と高感度画素21及び低感度画素22のn型領域及びこれらの間のp型ウエル62によって読み出しトランジスタが構成される。垂直転送路30の上層面には酸化シリコン膜等の絶縁層が形成され、その上に転送電極が垂直転送路30の上方を覆うように配置される。転送電極の上には更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路30を覆う遮光膜(遮光膜68と一体の膜)が形成されている。
【0033】
このように、隣接する受光セル20どうしの間には、電荷転送路や転送電極などが形成され、電荷転送路や転送電極を介してそれぞれの受光セル20が区画されるが、1つの受光セル20内については分離領域65(チャネルストッパ)のみによって受光領域が区画されている。したがって、1画素として取り扱われる1つの受光セル20の中に更に細かな2つの独立した受光領域を形成することができ、1つの受光セル20から感度の異なる2種類の画像信号(高感度画像信号と低感度画像信号)を別々に取り出すことが可能であり、光学的に同位相の画像信号を得ることができる。
【0034】
図5は高感度画素21と低感度画素22の光電変換特性を示すグラフである。横軸は入射光量、縦軸はA/D変換後の画像データ値(QL値)を示す。本例では12ビットデータを例示するが、ビット数はこれに限定されない。
【0035】
同図に示すように、高感度画素21と低感度画素22の感度比は1:1/aとなっている(ただし、a>1、本例ではa=16)。高感度画素21の出力は、入射光量に比例して次第に増加し、入射光量が「c」のときに出力が飽和値(QL値=4095)に達する。以後、入射光量が増加しても高感度画素21の出力は一定となる。この「c」を高感度画素21の飽和光量と呼ぶことにする。
【0036】
一方、低感度画素22の感度は、高感度画素21の感度の1/aであり、入射光量がα×cのときにQL値=4095/bで飽和する(ただし、b>1,α=a/b、本例ではb=4,α=4)。このときの「α×c」を低感度画素22の飽和光量と呼ぶ。
【0037】
このように、異なる感度と飽和を持つ高感度画素21と低感度画素22とを組み合わせることにより、高感度画素のみの構成よりも撮像素子のダイナミックレンジをα倍に拡大できる。本例では感度比1/16、飽和比1/4でダイナミックレンジを約4倍に拡大している。高感度画素21のみを使用する場合の最大ダイナミックレンジを100%とするとき、本例では低感度画素22を活用することによって最大で約400%までダイナミックレンジが拡大される。
【0038】
〔デジタルカメラの構成例〕
次に、上述した広ダイナミックレンジ撮像用のCCD10を搭載したカメラについて説明する。
【0039】
図6は本実施形態に係るデジタルカメラのブロック図である。カメラ100の撮影レンズ110は、単焦点レンズでもよいし、ズームレンズ等の焦点距離可変のものでもよい。撮影レンズ110及び絞り112を通過した光はCCD10に入射する。CCD10の受光面には多数のフォトセンサ(受光素子)が二次元的に配列され、各フォトセンサに対応して赤(R),緑(G),青(B)の原色カラーフィルタが所定の配列形態で配置されている。
【0040】
CCD10の受光面に結像された被写体像は、CCD10上の各センサで光の入射光量に応じた量の信号電荷に変換される。
【0041】
このようにして蓄積された信号電荷は、CCD駆動回路116から加えられるリードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって信号電荷に応じた電圧信号として順次読み出される。このCCD10は、蓄積した信号電荷をシャッターゲートパルスによって掃き出すことができ、これにより電荷の蓄積時間(シャッタースピード)を制御する、いわゆる電子シャッター機能を有している。
【0042】
CCD10から順次読み出された電圧信号(画像信号)は、相関二重サンプリング回路(CDS回路)118に加えられ、ここで各受光素子(画素)ごとのR,G,B信号がサンプリングホールドされ、A/D変換器120に加えられる。A/D変換器120は、CDS回路118から順次加えられるR,G,B信号をデジタル信号に変換して出力する。CCD駆動回路116、CDS回路118及びA/D変換器120は、タイミング発生回路122から加えられるタイミング信号によって同期して駆動されるようになっている。
【0043】
A/D変換器120から出力されたR,G,B信号は、一旦メモリ124に格納され、その後、メモリ124に格納されたR,G,B信号は、デジタル信号処理回路126に加えられる。デジタル信号処理回路126は、同時化回路128、ホワイトバランス調整回路130、ガンマ補正回路132、輝度・色差信号(YC信号)作成回路134、及びメモリ136から構成されている。
【0044】
同時化回路128は、メモリ124から読み出された点順次のR,G,B信号を同時式に変換し、R,G,B信号をホワイトバランス調整回路130に出力する。ホワイトバランス調整回路130は、R,G,B信号のデジタル値をそれぞれ増減するための乗算器130R、130G、130Bから構成されており、R,G,B信号は、それぞれ乗算器130R、130G、130Bに加えられる。
【0045】
乗算器130R、130G、130Bの他の入力には、中央処理装置(CPU)138からホワイトバランス制御するためのホワイトバランス補正値(ゲイン値)Rg,Gg,Bgが加えられており、乗算器130R、130G、130Bはそれぞれ2入力を乗算し、この乗算によってホワイトバランス調整されたR’,G’,B’信号をガンマ補正回路132に出力する。CPU138からホワイトバランス調整回路130に加えられるホワイトバランス補正値Rg,Gg,Bgの詳細については後述する。
【0046】
ガンマ補正回路132は、ホワイトバランス調整されたR’,G’,B’信号が所望のガンマ特性となるように入出力特性を変更し、YC信号作成回路134に出力する。YC信号作成回路134は、ガンマ補正されたR,G,B信号から輝度信号Yとクロマ信号Cr,Cbとを作成する。これらの輝度信号Yとクロマ信号Cr,Cb(YC信号)は、メモリ124と同じメモリ空間のメモリ136に格納される。
【0047】
ここで、メモリ136内のYC信号を読み出し、液晶モニタ152に出力することにより、撮像中の動画映像(スルー画)又は記録した静止画を液晶モニタ152に表示させることができる。また、操作部140に含まれるシャッターボタンの押下に応動して撮影され、メモリ136に格納されたYC信号は、圧縮/伸張回路154によってJPEGなど所定のフォーマットに従って圧縮された後、メモリカード156その他の記録媒体に記録される。
【0048】
画像データを保存する手段(記録部)としての記録媒体としては、スマートメディア(Solid−State Floppy Disk Card)、PCカード、コンパクトフラッシュ、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどを適用でき、電子的、磁気的、若しくは光学的、又はこれらの組み合わせによる方式に従って読み書き可能な種々の媒体を用いることができる。使用される媒体に応じた信号処理手段とインターフェースが適用される。異種、同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像を保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラ100に内蔵された記録媒体(内部メモリ)であってもよい。
【0049】
再生モード時には、メモリカード156に記録されている画像データが読み出され、圧縮/伸張回路154によって伸張処理された後、液晶モニタ152に出力される。こうして、液晶モニタ152に再生画像が表示される。
【0050】
カメラ100にはユーザが各種の指令を入力するための操作部140が設けられている。操作部140は、シャッターボタン、ズームスイッチ、モード切換スイッチなど各種操作部を含む。シャッターボタンは、撮影開始の指示を入力する操作手段であり、半押し時にONするS1 スイッチと、全押し時にONするS2 スイッチとを有する二段ストローク式のスイッチで構成されている。S1 オンにより、AE及びAF処理などの撮影準備動作が行われ、S2 オンによって記録用の露光が行われる。ズームスイッチは、撮影倍率や再生倍率を変更するための操作手段である。モード切換スイッチは、撮影モードと再生モードとを切り替えるための操作手段である。
【0051】
また、操作部140には、上記の他、撮影目的に応じて最適な動作モード(連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど)を設定する撮影モード設定手段、液晶モニタ152にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン(カーソル移動操作手段)、選択項目の確定や処理の実行を指令するOKボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは1つ前の操作状態に戻らせる指令を入力するキャンセルボタン、液晶モニタ152のON/OFFや表示方法の切り替え、或いはオンスクリーンディスプレイ(OSD)の表示/非表示切り替えなどを行うための表示ボタン、ダイナミックレンジ拡大処理(画像合成) を実施するか否かの選択を行うDレンジ拡大モードスイッチなどの操作手段も含まれる。
【0052】
なお、操作部140の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【0053】
操作部140からの信号はCPU138に入力される。CPU138は操作部140からの入力信号に基づいてカメラ100の各回路を制御し、例えば、オートフォーカス(AF)、自動露出制御(AE)、オートホワイトバランス(AWB)等の制御、レンズ駆動制御、撮影動作制御、CCD10からの電荷読出制御、画像処理制御、画像データの記録/再生制御、メモリカード156内のファイル管理、液晶モニタ152の表示制御などを行う。
【0054】
また、本例のカメラ100はストロボ装置146を有し、図示せぬストロボキーの操作に応じて、低輝度時にストロボ装置146を自動的に発光させる自動発光モード、被写体輝度にかかわらずストロボ装置146を発光させる強制発光モード、又はストロボ装置146の発光を禁止させる発光禁止モード等に設定される。
【0055】
CPU138はユーザが選択したストロボモードに応じて図示しないメインコンデンサの充電制御や発光管(例えば、キセノン管)への放電(発光)タイミング等を制御する。また、CPU138はストロボモードの設定に応じたホワイトバランス制御を行うようになっている。
【0056】
EEPROM158には、AE、AF及びAWB等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などが格納されている。EEPROM158の情報は必要に応じてデータの書き換えが可能であるとともに、電源OFF時においても情報内容が保持される。CPU138は必要に応じてEEPROM158のデータを参照して演算等を行う。
【0057】
カメラ100のAF制御は、例えばG信号の高周波成分が最大になるように撮影レンズ110を移動させるコントラストAFであり、シャッターボタンの半押し時にG信号の高周波成分が最大になるようにレンズ駆動部142を介して撮影レンズ100を合焦位置に移動させる。
【0058】
AE制御は、図7に示すように予め決めた露出▲1▼〜▲4▼にて複数回(最大4回)R,G,B信号を取り込み、これらのR,G,B信号を積算した積算値に基づいて被写体輝度(撮影EV値)を求める。こうして、複数回に分けて測光を実行することで広いレンジ(5〜17EV)を測光し、最適な露出条件を決定する。なお、1回の測光で測定できる範囲や、測光すべき範囲については、カメラ機種ごとに適宜設計可能である。また、RGBの各色信号について積算値を求めてもよいし、これらのうちの一色(例えば、G信号)のみについて積算値を求めてもよい。
【0059】
次に、上記撮影EV値の測定の詳細について説明する。
【0060】
図8に示すように、1画面を複数のエリア(例えば、8×8)に分割し、各分割エリア(ブロック)ごとにR,G,B信号から求めた輝度信号を積算し、その積算値に基づいて各分割エリアのEV値(EVi)を求める。続いて、図8に示すように撮影モードに対応して各分割エリアのEV値に重み付けを行い、画面全体のEV′値を次式によって算出する。
【0061】
【数1】
EV′=log2{Σ(Wi ×2EVi )/ΣWi }
ただし、i:0〜63(8×8の分割エリアを示す添え字)
Wi :撮影モードに応じた各分割エリアごとの重み係数
すなわち、撮影モードがオート撮影モード又は人物撮影モードの場合には、図8(A)の重み付け係数に示すように中央重点測光方式となり、風景撮影モードの場合には、図8(B)に示すように最外周に位置する分割エリアの重み付けを減じた測光方式となり、夜景撮影モードの場合には、図8(C)に示すように平均測光方式となる。
【0062】
上記のように算出したEV′に対し、更に、次式に示すように撮影モードに応じた露出補正ΔEVを行って撮影EV値を求める。
【0063】
【数2】
EV=EV′−ΔEV
なお、ΔEVは、例えば、人物撮影モードの場合にはΔEV=0、風景撮影モード、夜景撮影モードの場合にはΔEV=0.3とする。
【0064】
上記のようにして求めた撮影EV値に基づいて撮影時の絞り値とシャッタースピードを最終的に決定する。
【0065】
そして、シャッターボタンの全押し時に、前記決定した絞り値になるように図6の絞り駆動部144を介して絞り112を駆動し、また、決定したシャッタースピードとなるように電子シャッターによって電荷の蓄積時間を制御する。
【0066】
本例のカメラ100は、スルー画中は高感度画素21のみからデータの読み出しを行い、高感度画素21の画像信号からスルー画用の画像を作成する。また、シャッターボタンのS1 =ONに伴うAE処理及びAF処理は高感度画素21から得られる信号に基づいて行われる。そして、広ダイナミックレンジ記録を行うモードが選択されている場合、又は、AEの結果(ISO感度や測光値)などに基づき自動的に広ダイナミックレンジ記録モードが選択された場合には、シャッターボタンのS2 =ONに応動してCCD10の露光を行い、露光後にメカシャッターを閉じて光の進入を遮断した状態で垂直駆動信号(VD)に同期して、まず、高感度画素21の電荷を読み出し、その後、低感度画素22の電荷の読み出しを行う。
【0067】
次に、オートホワイトバランス制御方法について説明する。
【0068】
本例のカメラ100では、撮像画面の全体を複数のエリアブロック(例えば、図9のように8×8)に分割し、CCD10から得られた各画素ごとのRGBレベルを各ブロックごとに積算し、色別に一画素当たりの平均値を求める。そして、各ブロックについてR信号の積算平均値とG信号の積算平均値との比R/G、及びB信号の積算平均値とG信号の積算平均値との比B/Gを求める。
【0069】
なお、各ブロックごとのR,G,B信号の平均積算値は、図6に示した積算回路148によって算出され、CPU138に送られている。また、積算回路148とCPU138との間には乗算器150R、150G、150Bが設けられており、乗算器150R、150G、150Bには、機器のバラツキを調整するための調整ゲイン値が加えられるようになっている。
【0070】
こうして求めた各ブロックの値R/G、B/Gを用いてホワイトバランスのゲイン値を算出するが、本実施形態においては、その前段階でCCD10の高感度画素21のデータを使うか、低感度画素22のデータを使うかを輝度に基づいて判断している。判断基準となる輝度情報の閾値はカメラ100内のEEPROM158に設定されている。CPU138はEEPROM158内に設定されている輝度情報の閾値を参照してどちらの画素のデータを用いるかを判断して、利用情報を切り替える制御を行う。
【0071】
画像の中で閾値よりも暗い部分のブロックについては高感度画素の情報を用い、逆に明るすぎる部分のブロックでは低感度画素の情報を用いることにより正確なRGB積算値を算出し得る。
【0072】
図10はカメラ100の要部構成を示すブロック図である。
【0073】
CCD10から出力された画像信号はA/D変換器120によってデジタル信号に変換される。シャッターボタンのS1 オン時に取得された画像データは、AE積算値演算部170に送られ、ここでEV値が計算される。ここで求められたEV値から露光条件(絞り及びシャッタースピード)が決定されるとともに、該EV値の情報は、ホワイトバランス調整部172における明るさ判別部174に送られる。
【0074】
その一方、シャッターボタンのS2 オンによって取得された画像データは、A/D変換後にオフセット処理され、リニアマトリックス回路176に送られる。オフセット処理はCCD出力の暗電流成分を補正する処理であり、CCD10上の遮光画素から得られるオプティカルブラック(OB)信号の積算値(平均値)を画素値から減算する演算を行う。OB積算値算出部178は、CCD10上の遮光画素から得られるOB信号の積算値を求め、その値を記憶する。オフセット処理時にはこのOB積算値が参照される。
【0075】
リニアマトリックス回路176において補正された低感度画素22のRGBデータは、高感度画素用の積算値演算部182に送られる。この積算値演算部182は、低感度画素22から得た1画面分の画像全体を8×8ブロックに分割して、各ブロックのRGB積算値を算出する。
【0076】
また、リニアマトリックス回路92において補正された高感度画素21のRGBデータは、高感度画素用の積算値演算部180に送られる。この積算値演算部180は、高感度画素21から得た1画面分の画像全体を8×8ブロックに分割して、各ブロックのRGB積算値を算出する。
【0077】
高感度画素用の積算値演算部180において算出された情報は閾値判別部184に送られ、各ブロックの明るさと所定の閾値とが比較される。ブロックの明るさが所定の閾値よりも低い場合には、そのブロックについては高感度画素21から求めた積算値情報を用いるものとする。ブロックの明るさが所定の閾値よりも高い場合には、そのブロックについては低感度画素22から求めた積算値情報を用いるものとする。
【0078】
例えば、0〜255の値で明るさを評価する場合に、輝度の閾値を「240」に設定し、240以上の輝度を有するブロックについては、低感度画素22から得た積算値の情報を利用し、240よりも低い輝度のブロックについては高感度画素21の積算値情報を利用する。
【0079】
こうして、各ブロックについて明るさを判断して、高感度画素21又は低感度画素22の何れの積算値を利用するかを決定する。閾値判別部184の判別に従い8×8の各ブロックについてホワイトバランス演算に使用する積算値が選択され、これら選択された各ブロックの積算値情報がメモリ186に記憶される(高感度画素21の情報を使用するブロックと、低感度画素22の情報を使用するブロックとが混在し得る)。なお、メモリ186は図6で説明したメモリ24と同じメモリ空間であってもよいし、別のメモリ空間であってもよい。
【0080】
メモリ186に記憶された8×8ブロックの積算値情報は、図10のR/G,B/G値検出部188に送られ、各ブロックごとにR信号の積算平均値とG信号の積算平均値値との比R/G、及びB信号の積算平均値とG信号の積算平均値との比B/Gが算出される。
【0081】
各ブロックごとに求められた色情報R/G,B/Gは、光源判別部190に送られ、光源の検出に用いられる。光源判別部190と明るさ判別部174の判別結果に基づいてホワイトバランスゲイン算出部192においてホワイトバランスゲインが算出される。なお、光源の判別及びホワイトバランスゲインの算出処理の詳細については更に後述する。
【0082】
決定されたゲイン値(ホワイトバランス補正値)により図6で説明したホワイトバランス調整回路30において各色信号のバランスが調整される。ホワイトバランス調整回路130でホワイトバランス調整が施された画像信号は、図10に示したガンマ変換部194においてガンマ変換が施されるなど所要の処理を経て最終画像に変換された後、液晶モニタ152やメモリカード156などの出力部196に出力される。
【0083】
広ダイナミックレンジ記録モードで撮影された場合には、高感度画素21から得られた高感度画像データと低感度画素22から得られた低感度画像データとがデジタル信号処理回路126内の合成処理部(不図示)において合成(加算)され、広ダイナミックレンジ画像が作成される。合成処理部は、高感度画像データに係数を乗算する乗算部と、低感度画像データに係数を乗算する乗算部と、係数乗算後の高感度画像データと低感度画像データとを加算(合成)する加算部と、を含む処理部である。高感度画像データ及び低感度画像データに乗算される各係数(加算割合を示す係数)はCPU138によって可変設定される。
【0084】
本例では、広ダイナミックレンジ記録時のダイナミックレンジを何%までにするかという設定情報を所定のユーザインターフェースを通して入力することができる。指定されたダイナミックレンジの情報に応じて、ガンマ係数や加算時の合成パラメータ、色差信号マトリックス回路のゲイン係数などが制御される。カメラ100内の不揮発性メモリ(図示せぬROM又はEEPROM158)には、指定されるダイナミックレンジに対応した各種パラメータ、係数等を規定したテーブルデータが格納されている。
【0085】
図11は高感度画像データと低感度画像データとを合成して得られる最終画像(合成画像データ)のレベルと相対的被写体輝度との関係を示すグラフである。相対的被写体輝度は、高感度画像データが飽和するときのレベルを与える被写体輝度を100 %として、これを基準に被写体輝度を表したものである。図11では、画像データを8ビット(0〜 255)で表現しているが、ビット数はこれに限定されない。
【0086】
本例では、ダイナミックレンジをD0 からD5 までの6段階に設定できるものとする。例えば、相対被写体輝度で100%−130%−170%−220%−300%−400%という具合にダイナミックレンジを段階的に切り替えることができるように構成されている。もちろん、ダイナミックレンジの設定段数は本例に限定されず、任意の段階数に設計することが可能であるし、連続的な設定(無段階)も可能である。また、撮影シーンによって必要とされるダイナミックレンジが異なるので、撮像した画像を解析してダイナミックレンジを自動設定する態様もある。更に、ポートレートモード、夜景モードなどの撮影モードに応じて自動的にダイナミックレンジの設定を切り替える態様も可能である。
【0087】
図12にオートホワイトバランス制御の全体的なフローを示す。
【0088】
なお、図6で説明したストロボ装置146を発光させる場合には、ストロボ光に対して良好なホワイトバランスを行うためのホワイトバランス補正値Rg,Gg,Bgがホワイトバランス調整回路130に加えられるため、以下、ストロボが発光しない場合のホワイトバランス制御について説明する。
【0089】
図12に示したように、CCD10から画像信号が出力されると(ステップS10)、高感度画素21及び低感度画素22のそれぞれについて8×8ブロックの積算値が算出される(ステップS12)。各積算ブロックについて高感度画素21の積算値を輝度閾値と比較し、閾値よりも暗いか否かが判断される(ステップS14)。
【0090】
ステップS14において、閾値よりも暗いと判断したブロックについては高感度画素21から得られた信号の積算値を使用するものとし(ステップS16)、逆に閾値よりも明るいと判断したブロックについては低感度画素22から得られた信号の積算値を使用するものとする(ステップS18)。
【0091】
ステップS16又はステップS18によってホワイトバランス計算用の8×8ブロックの積算値が決定される(ステップS20)。この積算値情報を基にホワイトバランスゲイン(各色信号に乗算する係数)が算出され、ホワイトバランスの調整が行われる(ステップS22)。
【0092】
こうして、画像作成が完了したら、次の画像の取り込みが行われるか否かを判定する(ステップS24)。次の撮影が行われる場合には、ステップS10に戻って、上述の処理を繰り返す。その一方、ステップS24において、撮影モードが解除されるなど、次の画像の取り込みが行われない場合には、本シーケンスを終了する(ステップS26)。
【0093】
図13は、ホワイトバランス係数(ゲイン)の演算例を示すフローチャートである。なお、図13は撮影モードとしてオート撮影モード又は人物撮影モードが選択された場合のオートホワイトバランス制御例を示す。
【0094】
まず、シャッターボタンの半押し時に求めた撮影EV値を取得する(ステップS30)。図10で説明したように、AE積算値演算部170において算出されたEV値の情報が明るさ判別部174に送られる。
【0095】
続いて、シャッターボタンの全押し時にA/D変換器120から出力された1画面分のR,G,B信号について8×8ブロックに分割し、各ブロックについて積算値を求めて閾値判別部184において閾値との比較を行い、高感度画素21又は低感度画素22の情報を選択してブロックごとにR/G,B/Gを求める(図13のステップS32)。
【0096】
上記のようにして各ブロックごとに求められる色情報R/G、B/Gは、それぞれのブロックが図14の表色座標上に表された検出枠のうちの何れの検出枠内に入るかを判別するために使用される。なお、図14上における日陰−曇り検出枠、昼光色検出枠等の検出枠は、横軸をR/G、縦軸をB/Gとする表色座標上に表された枠であり、各検出枠ごとに光源種などの色分布の範囲を規定するものである。
【0097】
図14では、青空検出枠、日陰−曇り検出枠、昼光色検出枠、緑検出枠、6領域に分割された昼白色−白色蛍光灯検出枠、温白色検出枠、肌色検出枠、2領域に分割されたタングステン検出枠が示されているが、検出枠の種類や数、設定範囲などについては本例に限定されず、多様な設計が可能である。
【0098】
図14に示した検出枠を用い、撮像画面の各分割エリアに対応する64点(R/G、B/G)の分布を得て、各検出枠に出力された点の個数を検出する。
【0099】
次に、日陰−曇りの評価値、蛍光灯(昼光色、昼白色−白色、温白色)の評価値、及びタングステン電球の評価値を、次式、
【0100】
【数3】
日陰−曇りの評価値=F(屋外らしさ)×F(日陰−曇りらしさ)×F(青空)
【0101】
【数4】
昼光色の評価値=F1(屋内らしさ)×F(昼光色蛍光灯らしさ)
【0102】
【数5】
昼白色−白色の評価値=F1(屋内らしさ)×F(昼白色−白色蛍光灯らしさ)
【0103】
【数6】
温白色の評価値=F1(屋内らしさ)×F(温白色蛍光灯らしさ)×F(肌)
【0104】
【数7】
電球の評価値=F2(屋内らしさ)×F(電球らしさ)×F(肌)
に基づいて算出する。
【0105】
上記〔数3〕式において、F(屋外らしさ)は、図15に示すようにEV値を変数とする屋外らしさを表すメンバシップ関数の値であり、図13のステップS30で取得したEV値に基づいて求めることができる。
【0106】
〔数3〕式におけるF(日陰−曇りらしさ)は、分割エリアのEV値Eviが12以下の分割エリアであって、図16に示すように日陰−曇り検出枠内に入る分割エリアの個数を変数とする日陰−曇りらしさを表すメンバシップ関数の値である。F(青空)は、分割エリアのEV値Eviが12.5を越えるエリアであって、図17に示すように青空検出枠内に入る分割エリアの個数を変数とする青空を表すメンバシップ関数の値である。なお、F(青空)は、青空検出枠に入るエリアの個数が多い程、日陰らしさの評価値を下げる方向に作用する値をとる。
【0107】
ここで、上記各分割エリアの輝度(EV値Evi)は、次式、
【0108】
【数8】
Evi=Ev+log2(Gi/45)
ただし、Ev:撮影EV値
Gi:各エリアのGの平均積算値
に基づいて計算する。上記式中の45は、A/D変換後の値の中での適正値である(ただし、8ビットのデジタル値(0〜255)で表した場合とする)。
【0109】
また、〔数4〕式乃至〔数6〕式におけるF1(屋内らしさ)は、図18に示すようにEV値を変数とする屋内(蛍光灯)らしさを表すメンバシップ関数の値であり、〔数7〕式におけるF2(屋内らしさ)は、図18に示すようにEV値(カッコ内の数値)を変数とする屋内(タングステン電球)らしさを表すメンバシップ関数の値である。なお、図15及び図18に示したEV値は、撮影モードにかかわらず、オート/人物撮影モードにおける中央重点測光モードで測定した値を使用する。
【0110】
また、同様に〔数4〕式乃至〔数7〕式におけるF(昼光色蛍光灯らしさ)、F(昼白色−白色蛍光灯らしさ)、F(温白色蛍光灯らしさ)及びF(電球らしさ)は、それぞれ図14に示した昼光色検出枠、昼白色−白色検出枠、温白色検出枠、及びタングステン電球検出枠内に入るエリアの個数を変数とする図19に示す電球・蛍光灯らしさを表すメンバシップ関数の値である。
【0111】
また、〔数6〕式及び〔数7〕式におけるF(肌)は、図14に示した肌色検出枠内に入るエリアの個数を変数とする図20に示す肌色を表すメンバシップ関数の値である。なお、F(肌)は、肌色検出枠内のエリア数が多くなるにしたがって電球らしさの評価値を下げるように作用する。これは、肌色があるシーンで、タングステン電球色に対するホワイトバランス制御を強くかけると、赤味が飛んで白っぽくなり顔色が悪くなるからである。
【0112】
さて、上述のように、日陰−曇りの評価値、及び昼光色の評価値、昼白色−白色の評価値、温白色の評価値、電球の評価値が算出されると(図13のステップS34)、これらの5つの評価値のうちの最大値が所定の基準値(この例では0.4)以上か否かを判別する(図13のステップS36)。そして、最大値が0.4以上の場合には、その最大値をとる評価値の光源色に適したホワイトバランス補正値に基づくホワイトバランス制御を行う(ステップS38)。
【0113】
一方、最大値が、0.4未満の場合には、デーライト(晴れ)と判別し、デーライトに適したホワイトバランス補正値に基づくホワイトバランス制御を行う(ステップS40)。
【0114】
ここで、上記ホワイトバランス補正値は、次式、
【0115】
【数9】
ホワイトバランス補正値=(オート設定値−晴れ)×評価値+晴れ
だたし、晴れは、1.0である。また、オート設定値は、各光源色ごとに予めEEPROM158に準備されている。予め設定される光源種別のオート設定値(RGB色別のゲイン値)は、光源色の雰囲気を残すようなゲインバランスで経験的に設定される。
【0116】
なお、本例において、日陰−曇り、昼白色−白色、及びタングステン電球のオート設定値は、次のようにして選択される。
【0117】
(1)日陰−曇りが選択された場合
図14に示す曇り検出枠内に入る分割エリアの個数と、日陰検出枠内に入る分割エリアの個数とを比べ、個数の多い方のオート設定値を採用する。または、2つのオート設定値に対し、個数の多い領域に重みを大きくしてオート設定値を算出する。
【0118】
(2)昼白色−白色が選択された場合
図14に示す6領域に分割された昼白色−白色検出枠内に入る分割エリアの個数を比べ、一番個数の多い領域のオート設定値を採用する。または、6つのオート設定値に対し、個数の多い順に重みを大きくしてオート設定値を算出する。
【0119】
(3)タングステン電球が選択された場合
図14に示す2領域に分割されたタングステン検出枠内に入る分割エリアの個数を比べ、個数の多い方のオート設定値を採用する。または、2つのオート設定値に対し、個数の多い領域に重みを大きくしてオート設定値を算出する。
【0120】
〔数9〕式によって求めたホワイトバランス補正値をRg,Gg,Bg、補正する信号をR,G,Bとすると、前記ホワイトバランス調整回路130での補正結果をR’,G’,B’とすると、R’,G’,B’は、次式、
【0121】
【数10】
R’=Rg×R
G’=Gg×G
B’=Bg×B
によって表される。
【0122】
なお、ホワイトバランス補正値の算出に際して、上記の例では図14に示した検出枠ごとに予め設定されているオート設定値を用いたが、検出枠内に入る分割ブロックの(R/G、B/G)の分布の平均値を基に、ホワイトバランス補正値を算出する態様も可能である。
【0123】
また、各検出枠に入った個数と各検出枠での平均座標との重み付けによって分布の重心点を計算し、重心点の座標と目標点の座標からホワイトバランス補正用のゲインを算出してもよい。
【0124】
上述した本実施形態によれば、画素の集合体である撮像画面を複数のブロックに分け、各ブロックの明るさ(輝度値)を一定レベルの閾値と比較して明るさを判定し、画像内に閾値よりも暗い部分が存在している場合にはその暗い部分に該当するブロックについては高感度画素21のデータを用いてホワイトバランス計算用のRGB積算値を算出する一方、閾値よりも明るいブロック(明るすぎてとび気味の画素ブロック)が存在している場合には、その明るい部分に該当するブロックについて低感度画素22からの信号を使ってホワイトバランス計算用のRGB積算値を算出するため、各ブロックから正確な積算値情報を得ることができる。
【0125】
こうして得られる正確な積算値情報を基にしてホワイトバランスゲインを決定できるため、従来と比較してホワイトバランスゲインの算出精度が向上する。
【0126】
上述の実施形態では、主に静止画を記録するデジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、動画記録可能なデジタルカメラ、ビデオカメラ、DVDカメラなどの電子カメラ、或いは、カメラ付き携帯電話機、カメラ付きPDA、カメラ付きモバイルパソコンなど、電子撮像機能を備えた他の撮像装置についても本発明を適用できる。
【0127】
【発明の効果】
以上説明したように本発明によれば、高感度画素と低感度画素とを有する撮像手段を用いて撮像された画像を複数のブロックに分割し、画像内で閾値よりも暗い部分のブロックについては高感度画素の情報を利用する一方、閾値よりも明るい部分のブロックでは低感度画素の情報を利用してホワイトバランス演算を行うようにしたので、各ブロックについて正確な情報を得ることができ、ホワイトバランス演算の精度を高めることができる。
【図面の簡単な説明】
【図1】本発明の実施に用いられるCCDの一例を示す平面模式図
【図2】図1の要部拡大図
【図3】受光セルの拡大図
【図4】図3の4−4線に沿う断面図
【図5】高感度画素と低感度画素の光電変換特性を示すグラフ
【図6】本発明の実施形態に係るデジタルカメラの構成を示すブロック図
【図7】撮影EV値の求め方を説明するために用いた図
【図8】撮影モード別の測光方式を説明するために用いた図
【図9】オートホワイトバランス処理時の画像分割の例を示す図
【図10】本例のカメラの要部構成を示すブロック図
【図11】高感度画像データと低感度画像データとを合成して得られる最終画像(合成画像データ)のレベルと相対的被写体輝度との関係を示すグラフ
【図12】オートホワイトバランス制御の手順を示すフローチャート
【図13】ホワイトバランス係数(ゲイン)の演算例を示すフローチャート
【図14】光源種などの色分布の範囲を示す検出枠を示すグラフ
【図15】屋外らしさを表すメンバシップ関数を示すグラフ
【図16】日陰−曇りらしさを表すメンバシップ関数を示すグラフ
【図17】青空を表すメンバシップ関数を示すグラフ
【図18】屋内らしさを表すメンバシップ関数を示すグラフ
【図19】電球・蛍光灯らしさを表すメンバシップ関数を示すグラフ
【図20】肌色を表すメンバシップ関数を示すグラフ
【符号の説明】
10…CCD、20…受光セル、21…高感度画素、22…低感度画素、50…マイクロレンズ、72…カラーフィルタ層、126…デジタル信号処理回路、130…ホワイトバランス調整回路、138…CPU、148…積算回路、152…液晶モニタ、156…メモリカード[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a white balance control method and an imaging apparatus, and more particularly to a white balance control technique suitable for a digital camera, a video camera, and the like.
[0002]
[Prior art]
In
[0003]
Further, in
[0004]
[Patent Document 1]
JP 2001-320715 A
[0005]
[Patent Document 2]
JP 2001-177768 A
[0006]
[Problems to be solved by the invention]
By the way, many digital cameras on the market now have a configuration in which the photographing sensitivity can be selected. For example, there is one that can switch the sensitivity in five steps corresponding to ISO 100/200/400/800/1600. In this type of digital camera system, there is no problem if shooting in a high sensitivity mode when shooting a dark scene or the like, but when shooting in a standard sensitivity mode such as ISO 100 or 200, the CCD output pixel level is high. It will be very low. When the CCD output level is low, color noise occurs, and the colors are mixed, making it difficult to achieve white balance with accurate RGB information.
[0007]
Therefore, even if a scene with a certain level of color information, such as a gray chart, is photographed, the RGB distribution of each pixel is not stabilized to the same value, and an image that causes a color shift in order to achieve white balance with the integrated value Become.
[0008]
The present invention has been made in view of such circumstances, and provides a white balance control method and an imaging apparatus capable of performing accurate white balance correction even when a dark scene or an excessively bright scene is photographed. With the goal.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the white balance control method according to the present invention includes a plurality of high-sensitivity pixels having relatively high sensitivity and low-sensitivity pixels having relatively low sensitivity, which are arranged according to a predetermined arrangement form. An imaging step of imaging a subject by an imaging unit having a structure capable of extracting an image signal from each of the sensitivity pixel and the low sensitivity pixel, and a block dividing step of dividing an image acquired via the imaging unit into a plurality of blocks And a brightness calculation step for calculating a value indicating the brightness of the block based on an image signal obtained from the imaging means for each of the divided blocks, and a threshold value that serves as an evaluation criterion for the brightness of each block. A comparison step of comparing a threshold value setting step, a value indicating the brightness of each block calculated in the brightness calculation step with the threshold value, and the comparison process; According to the comparison result of the above, white blocks are used so that an image signal obtained from the high-sensitivity pixel is used for blocks darker than the threshold value, and an image signal obtained from the low-sensitivity pixel is used for blocks brighter than the threshold value. A switching control step for switching an image signal for balance calculation, a gain calculation step for calculating a gain for white balance adjustment based on the image signal for white balance calculation selected in the switching control step, and the gain calculation step And a white balance adjustment step of performing white balance adjustment by correcting the color signal based on the gain obtained in (1).
[0010]
The imaging means used in the present invention has a composite pixel structure in which a high sensitivity pixel and a low sensitivity pixel are combined. With these two types of pixels (photoelectric conversion units) having different sensitivities, it is possible to acquire optically in-phase image information (high sensitivity image information and low sensitivity image information) by one imaging. A gain for white balance adjustment is calculated based on an image signal output from the image pickup means. In the present invention, information on high sensitivity pixels or information on low sensitivity pixels is used in a stage prior to white balance calculation. Or selectively switching.
[0011]
The captured image is divided into multiple blocks, and white balance calculation is performed using high-sensitivity pixel information for blocks darker than the threshold in the image and low-sensitivity pixel information for blocks brighter than the threshold. Thus, the stability of information for each block is improved, and the white balance gain can be determined based on accurate information.
[0012]
In order to provide an apparatus that embodies the above-described method invention, an imaging apparatus according to the present invention includes a plurality of high-sensitivity pixels having relatively high sensitivity and low-sensitivity pixels having relatively low sensitivity according to a predetermined arrangement form. An image pickup unit having a structure capable of taking out a signal photoelectrically converted by the main photosensitive pixel and a signal photoelectrically converted by the sub-photosensitive pixel, and images captured by the image pickup unit into a plurality of blocks. Block division setting means for dividing, brightness calculation means for calculating a value indicating the brightness of the block based on an image signal obtained from the imaging means for each of the divided blocks, and evaluation criteria for the brightness of each block The threshold value setting means for setting the threshold value to be compared with the threshold value and the value indicating the brightness of each block calculated by the brightness calculation means, and is darker than the threshold value Switch control for switching the image signal for white balance so that the image signal obtained from the high-sensitivity pixel is used for locking and the image signal obtained from the low-sensitivity pixel is used for a block brighter than the threshold A gain calculating means for calculating a gain for white balance adjustment based on the image signal for white balance calculation selected by the switching control means, and correcting the color signal based on the gain obtained by the gain calculating means. And white balance adjustment means for performing white balance adjustment.
[0013]
According to an aspect of the present invention, the imaging unit has a structure in which each light receiving cell is divided into a plurality of light receiving regions including at least the high sensitivity pixel and the low sensitivity pixel, and is identical above each light receiving cell. A color filter having the same color component is disposed for the high-sensitivity pixel and the low-sensitivity pixel in the light-receiving cell, and each light-receiving cell is provided with one microlens for each light-receiving cell. It is characterized by.
[0014]
The imaging means having such a structure can handle the high-sensitivity pixel and the low-sensitivity pixel in the same light receiving cell (pixel cell) as having substantially the same pixel position. Therefore, it is possible to acquire two pieces of image information at the same phase in time and substantially in the same position in a single imaging.
[0015]
According to another aspect of the present invention, the brightness calculation unit calculates an integrated value of R, G, and B color signals obtained from the imaging unit. In the case of an image signal that has been color-separated into three primary colors of R (red), G (green), and B (blue), the R and B gains based on G may be calculated, and the gains for each of the RGB colors May be calculated. There is a mode in which an integrated value of each color of R, G, B is calculated for each divided block, and white balance calculation is performed using the integrated value.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0017]
[Image sensor structure]
First, the structure of the image sensor will be described. FIG. 1 is a schematic plan view showing an example of a CCD solid-state imaging device (hereinafter referred to as a CCD) used in the practice of the present invention, and FIG. 2 is an enlarged view of a main part thereof. As shown in these drawings, the
[0018]
Each
[0019]
For each light receiving
[0020]
The opening shape of the
[0021]
A vertical transfer path (VCCD) 30 is formed on the right side of the
[0022]
On the
[0023]
In FIG. 1, a
[0024]
The
[0025]
In the
[0026]
As shown in FIG. 3, one
[0027]
FIG. 4 is a sectional view of the
[0028]
Between the two n-
[0029]
On the upper layer surface of the n-
[0030]
The upper surface of the
[0031]
Light incident through the
[0032]
Although the
[0033]
In this way, charge transfer paths and transfer electrodes are formed between adjacent light receiving
[0034]
FIG. 5 is a graph showing the photoelectric conversion characteristics of the
[0035]
As shown in the figure, the sensitivity ratio between the high-
[0036]
On the other hand, the sensitivity of the low-
[0037]
In this way, by combining the high-
[0038]
[Configuration example of digital camera]
Next, a camera equipped with the above-described wide dynamic
[0039]
FIG. 6 is a block diagram of the digital camera according to the present embodiment. The taking
[0040]
The subject image formed on the light receiving surface of the
[0041]
The signal charges accumulated in this way are read out to the shift register by a read gate pulse applied from the CCD drive circuit 116, and sequentially read out as a voltage signal corresponding to the signal charge by a register transfer pulse. The
[0042]
The voltage signal (image signal) sequentially read out from the
[0043]
The R, G, B signals output from the A /
[0044]
The synchronization circuit 128 converts the dot-sequential R, G, B signals read from the
[0045]
White balance correction values (gain values) Rg, Gg, and Bg for white balance control from a central processing unit (CPU) 138 are added to other inputs of the
[0046]
The
[0047]
Here, by reading the YC signal in the
[0048]
Smart media (Solid-State Floppy Disk Card), PC card, compact flash, magnetic disk, optical disk, magneto-optical disk, memory stick, etc. can be applied as a recording medium as means (recording unit) for storing image data, Various media that can be read and written in accordance with an electronic, magnetic, optical, or combination thereof can be used. A signal processing means and an interface corresponding to the medium to be used are applied. A configuration in which a plurality of media can be mounted regardless of different types or the same type of recording media may be adopted. The means for storing the image is not limited to a removable medium that can be attached to and detached from the camera body, but may be a recording medium (internal memory) built in the
[0049]
In the reproduction mode, the image data recorded on the
[0050]
The
[0051]
In addition to the above, the
[0052]
The
[0053]
A signal from the
[0054]
Further, the
[0055]
The
[0056]
The EEPROM 158 stores data necessary for control of AE, AF, AWB, etc., or customization information set by the user. The information in the EEPROM 158 can be rewritten as necessary, and the information content is retained even when the power is turned off. The
[0057]
The AF control of the
[0058]
In the AE control, as shown in FIG. 7, the R, G, B signals are fetched a plurality of times (up to four times) at predetermined exposures (1) to (4), and these R, G, B signals are integrated. Subject brightness (shooting EV value) is obtained based on the integrated value. In this way, photometry is performed in a plurality of times to measure the wide range (5 to 17 EV), and the optimum exposure condition is determined. Note that the range that can be measured by one photometry and the range that should be measured can be appropriately designed for each camera model. Further, an integrated value may be obtained for each of the RGB color signals, or an integrated value may be obtained for only one of these colors (for example, the G signal).
[0059]
Next, details of the measurement of the photographing EV value will be described.
[0060]
As shown in FIG. 8, one screen is divided into a plurality of areas (for example, 8 × 8), luminance signals obtained from R, G, B signals are integrated for each divided area (block), and the integrated value is obtained. Based on the above, the EV value (EVi) of each divided area is obtained. Subsequently, as shown in FIG. 8, the EV value of each divided area is weighted corresponding to the shooting mode, and the EV ′ value of the entire screen is calculated by the following equation.
[0061]
[Expression 1]
EV ′ = log 2 {Σ (W i × 2 EVi ) / ΣW i }
However, i: 0 to 63 (subscript indicating an 8 × 8 divided area)
W i : Weighting factor for each divided area according to the shooting mode
That is, when the shooting mode is the auto shooting mode or the portrait shooting mode, the center-weighted metering method is used as shown in the weighting coefficient of FIG. 8A, and when the shooting mode is the landscape shooting mode, it is shown in FIG. Thus, the photometry method is obtained by reducing the weighting of the divided areas located on the outermost periphery, and in the night scene shooting mode, the average photometry method is used as shown in FIG.
[0062]
The EV ′ calculated as described above is further subjected to exposure correction ΔEV corresponding to the shooting mode as shown in the following equation to obtain the shooting EV value.
[0063]
[Expression 2]
EV = EV′−ΔEV
Note that ΔEV is, for example, ΔEV = 0 in the portrait shooting mode, and ΔEV = 0.3 in the landscape shooting mode and the night scene shooting mode.
[0064]
The aperture value and shutter speed at the time of shooting are finally determined based on the shooting EV value obtained as described above.
[0065]
Then, when the shutter button is fully pressed, the
[0066]
The
[0067]
Next, an auto white balance control method will be described.
[0068]
In the
[0069]
Note that the average integrated value of the R, G, and B signals for each block is calculated by the integrating
[0070]
The gain value of the white balance is calculated using the values R / G and B / G of each block thus obtained. In this embodiment, the data of the high-
[0071]
An accurate RGB integrated value can be calculated by using high sensitivity pixel information for blocks darker than the threshold in the image, and using low sensitivity pixel information for blocks that are too bright.
[0072]
FIG. 10 is a block diagram showing a main configuration of the
[0073]
The image signal output from the
[0074]
On the other hand, the image data acquired when the shutter button S2 is turned on is subjected to offset processing after A / D conversion and sent to the
[0075]
The RGB data of the
[0076]
The RGB data of the
[0077]
Information calculated by the integrated
[0078]
For example, when the brightness is evaluated with a value of 0 to 255, the luminance threshold is set to “240”, and information on the integrated value obtained from the low-
[0079]
Thus, the brightness is determined for each block, and it is determined which integrated value of the
[0080]
The integrated value information of the 8 × 8 blocks stored in the
[0081]
The color information R / G and B / G obtained for each block is sent to the light
[0082]
With the determined gain value (white balance correction value), the balance of each color signal is adjusted in the white
[0083]
When the image is shot in the wide dynamic range recording mode, the high sensitivity image data obtained from the
[0084]
In this example, setting information indicating how much the dynamic range during wide dynamic range recording can be input can be input through a predetermined user interface. The gamma coefficient, the synthesis parameter at the time of addition, the gain coefficient of the color difference signal matrix circuit, and the like are controlled according to the specified dynamic range information. A non-volatile memory (ROM or EEPROM 158 not shown) in the
[0085]
FIG. 11 is a graph showing the relationship between the level of the final image (synthesized image data) obtained by combining high-sensitivity image data and low-sensitivity image data and relative subject brightness. Relative subject brightness represents subject brightness with reference to 100% as subject brightness that gives a level at which high-sensitivity image data is saturated. In FIG. 11, the image data is represented by 8 bits (0 to 255), but the number of bits is not limited to this.
[0086]
In this example, it is assumed that the dynamic range can be set in six stages from D0 to D5. For example, the dynamic range can be switched in stages such that the relative subject brightness is 100% -130% -170% -220% -300% -400%. Of course, the number of setting stages of the dynamic range is not limited to this example, it can be designed to an arbitrary number of stages, and continuous setting (no stage) is also possible. In addition, since the required dynamic range differs depending on the shooting scene, there is also an aspect in which the dynamic range is automatically set by analyzing the captured image. Furthermore, a mode in which the setting of the dynamic range is automatically switched according to the photographing mode such as the portrait mode and the night view mode is also possible.
[0087]
FIG. 12 shows the overall flow of auto white balance control.
[0088]
When the
[0089]
As shown in FIG. 12, when an image signal is output from the CCD 10 (step S10), an integrated value of 8 × 8 blocks is calculated for each of the
[0090]
In step S14, the integrated value of the signal obtained from the high-
[0091]
In step S16 or step S18, an integrated value of 8 × 8 blocks for white balance calculation is determined (step S20). Based on this integrated value information, a white balance gain (a coefficient for multiplying each color signal) is calculated, and white balance adjustment is performed (step S22).
[0092]
In this way, when the image creation is completed, it is determined whether or not the next image is captured (step S24). When the next shooting is performed, the process returns to step S10 and the above-described processing is repeated. On the other hand, if the next image is not captured, such as when the shooting mode is canceled in step S24, this sequence ends (step S26).
[0093]
FIG. 13 is a flowchart illustrating a calculation example of the white balance coefficient (gain). FIG. 13 shows an example of auto white balance control when the auto shooting mode or the person shooting mode is selected as the shooting mode.
[0094]
First, the photographing EV value obtained when the shutter button is half-pressed is acquired (step S30). As described with reference to FIG. 10, the EV value information calculated by the AE integrated
[0095]
Subsequently, the R, G, and B signals for one screen output from the A /
[0096]
The color information R / G and B / G obtained for each block as described above indicates which detection frame is included in the detection frames represented by the color coordinates in FIG. Used to determine Note that the detection frames such as the shade-clouding detection frame and the daylight color detection frame in FIG. 14 are frames represented on the color coordinates with the horizontal axis being R / G and the vertical axis being B / G. A range of color distribution such as a light source type is defined for each frame.
[0097]
In FIG. 14, a blue sky detection frame, a shade-cloudy detection frame, a daylight color detection frame, a green detection frame, a daylight white-white fluorescent lamp detection frame divided into six regions, a warm white detection frame, a skin color detection frame, and divided into two regions. Although a tungsten detection frame is shown, the types and number of detection frames, the setting range, and the like are not limited to this example, and various designs are possible.
[0098]
Using the detection frames shown in FIG. 14, a distribution of 64 points (R / G, B / G) corresponding to each divided area of the imaging screen is obtained, and the number of points output to each detection frame is detected.
[0099]
Next, an evaluation value of shade-cloudiness, an evaluation value of a fluorescent lamp (daylight color, daylight white-white, warm white), and an evaluation value of a tungsten light bulb are expressed by the following formula:
[0100]
[Equation 3]
Evaluation value of shade-cloudy = F (like outdoor) × F (shade-like cloudy) × F (blue sky)
[0101]
[Expression 4]
Daylight color evaluation value = F 1 (Like indoor) x F (Like daylight fluorescent light)
[0102]
[Equation 5]
Day white-white evaluation value = F 1 (Looks like indoor) x F (Like white-white fluorescent light)
[0103]
[Formula 6]
Evaluation value of warm white = F 1 (Indoor) x F (warm white fluorescent light) x F (skin)
[0104]
[Expression 7]
Light bulb evaluation value = F 2 (Indoor) x F (bulb) x F (skin)
Calculate based on
[0105]
In the above [Equation 3], F (likeness of outdoors) is a value of a membership function representing the likelihood of outdoors with the EV value as a variable as shown in FIG. 15, and the EV value obtained in step S30 of FIG. Can be based on.
[0106]
F (shade-cloudiness) in the equation (3) is a divided area where the EV value Evi of the divided area is 12 or less, and the number of divided areas that fall within the shade-cloudy detection frame as shown in FIG. It is a value of a membership function representing shade-cloudiness as a variable. F (blue sky) is an area in which the EV value Evi of the divided area exceeds 12.5, and a membership function representing the blue sky with the number of divided areas falling within the blue sky detection frame as a variable as shown in FIG. Value. Note that F (blue sky) takes a value that acts in the direction of lowering the evaluation value of shading as the number of areas entering the blue sky detection frame increases.
[0107]
Here, the luminance (EV value Evi) of each of the divided areas is expressed by the following equation:
[0108]
[Equation 8]
Evi = Ev + log 2 (Gi / 45)
Ev: EV value
Gi: Average integrated value of G in each area
Calculate based on 45 in the above formula is an appropriate value among the values after A / D conversion (provided that the value is represented by an 8-bit digital value (0 to 255)).
[0109]
In addition, F in the
[0110]
Similarly, F (daylight fluorescent lamp-like), F (day white-white fluorescent lamp-like), F (warm white fluorescent lamp-like), and F (bulb-likeness) in [Expression 4] to [Expression 7] are: , Members representing the uniqueness of the light bulb / fluorescent lamp shown in FIG. 19 with the number of areas included in the daylight color detection frame, the day white-white detection frame, the warm white detection frame, and the tungsten light bulb detection frame shown in FIG. The value of the ship function.
[0111]
Further, F (skin) in the equations [6] and [7] is a value of the membership function representing the skin color shown in FIG. 20 with the number of areas falling within the skin color detection frame shown in FIG. 14 as variables. It is. Note that F (skin) acts to lower the evaluation value of the light bulb as the number of areas in the skin color detection frame increases. This is because, in a scene with skin color, if white balance control is strongly applied to the tungsten light bulb color, the reddish color will fly off and the skin color will become worse.
[0112]
As described above, when the shade-cloudy evaluation value, the daylight color evaluation value, the day white-white evaluation value, the warm white evaluation value, and the light bulb evaluation value are calculated (step S34 in FIG. 13). Then, it is determined whether or not the maximum value among these five evaluation values is equal to or greater than a predetermined reference value (0.4 in this example) (step S36 in FIG. 13). If the maximum value is 0.4 or more, white balance control is performed based on the white balance correction value suitable for the light source color of the evaluation value that takes the maximum value (step S38).
[0113]
On the other hand, if the maximum value is less than 0.4, it is determined as daylight (clear), and white balance control based on the white balance correction value suitable for daylight is performed (step S40).
[0114]
Here, the white balance correction value is expressed by the following equation:
[0115]
[Equation 9]
White balance correction value = (Auto setting value-Sunny) x Evaluation value + Sunny
However, the clearness is 1.0. In addition, the auto setting value is prepared in the EEPROM 158 in advance for each light source color. The preset auto setting value (gain value for each RGB color) of the light source type is empirically set with a gain balance that leaves the atmosphere of the light source color.
[0116]
In this example, the auto-set values for shade-cloudy, day-white-white, and tungsten bulb are selected as follows.
[0117]
(1) When shade-cloudy is selected
The number of divided areas that fall within the cloudiness detection frame shown in FIG. 14 is compared with the number of divided areas that fall within the shade detection frame, and the larger auto setting value is adopted. Or, for the two auto setting values, the auto setting value is calculated by increasing the weight in a large number of regions.
[0118]
(2) When lunch white-white is selected
Compared to the number of divided areas that fall within the day white-white detection frame divided into six areas shown in FIG. 14, the auto setting value of the area with the largest number is adopted. Alternatively, the auto setting values are calculated by increasing the weights in the descending order of the number of the six auto setting values.
[0119]
(3) When tungsten bulb is selected
Compared with the number of divided areas that fall within the tungsten detection frame divided into two regions shown in FIG. 14, the auto setting value with the larger number is adopted. Or, for the two auto setting values, the auto setting value is calculated by increasing the weight in a large number of regions.
[0120]
Assuming that the white balance correction values obtained by the equation (9) are Rg, Gg, Bg and the signals to be corrected are R, G, B, the correction results in the white balance adjustment circuit 130 are R ′, G ′, B ′. Then, R ′, G ′, and B ′ are the following expressions:
[0121]
[Expression 10]
R ′ = Rg × R
G ′ = Gg × G
B ′ = Bg × B
Represented by
[0122]
In calculating the white balance correction value, in the above example, the auto setting value set in advance for each detection frame shown in FIG. 14 is used, but the (R / G, B) of the divided blocks that fall within the detection frame are used. The white balance correction value can be calculated based on the average value of the distribution of / G).
[0123]
Also, it is possible to calculate the centroid of the distribution by weighting the number in each detection frame and the average coordinates in each detection frame, and to calculate the white balance correction gain from the coordinates of the centroid and target coordinates. Good.
[0124]
According to the above-described embodiment, the imaging screen, which is a collection of pixels, is divided into a plurality of blocks, the brightness (luminance value) of each block is compared with a certain level threshold value, and the brightness is determined. If there is a darker portion than the threshold value, the RGB integrated value for white balance calculation is calculated using the data of the high-
[0125]
Since the white balance gain can be determined based on the accurate integrated value information obtained in this way, the calculation accuracy of the white balance gain is improved as compared with the conventional case.
[0126]
In the above-described embodiment, the digital camera that mainly records a still image is exemplified, but the scope of application of the present invention is not limited to this, and an electronic camera such as a digital camera, a video camera, and a DVD camera capable of recording a moving image, or The present invention can also be applied to other imaging devices having an electronic imaging function, such as a mobile phone with camera, a PDA with camera, and a mobile personal computer with camera.
[0127]
【The invention's effect】
As described above, according to the present invention, an image captured using an imaging unit having a high sensitivity pixel and a low sensitivity pixel is divided into a plurality of blocks. While using information on high-sensitivity pixels, white balance calculation is performed using information on low-sensitivity pixels in blocks that are brighter than the threshold, so accurate information can be obtained for each block, and white The accuracy of the balance calculation can be increased.
[Brief description of the drawings]
FIG. 1 is a schematic plan view showing an example of a CCD used to implement the present invention.
FIG. 2 is an enlarged view of the main part of FIG.
FIG. 3 is an enlarged view of a light receiving cell.
4 is a cross-sectional view taken along line 4-4 of FIG.
FIG. 5 is a graph showing photoelectric conversion characteristics of high-sensitivity pixels and low-sensitivity pixels.
FIG. 6 is a block diagram showing a configuration of a digital camera according to an embodiment of the present invention.
FIG. 7 is a diagram used for explaining how to obtain a shooting EV value;
FIG. 8 is a diagram used for explaining the photometry method for each shooting mode.
FIG. 9 is a diagram illustrating an example of image division during auto white balance processing;
FIG. 10 is a block diagram showing the main configuration of the camera of this example.
FIG. 11 is a graph showing the relationship between the level of a final image (synthesized image data) obtained by combining high-sensitivity image data and low-sensitivity image data and relative subject brightness.
FIG. 12 is a flowchart showing the procedure of auto white balance control.
FIG. 13 is a flowchart showing a calculation example of a white balance coefficient (gain).
FIG. 14 is a graph showing a detection frame indicating a color distribution range such as a light source type;
FIG. 15 is a graph showing a membership function representing outdoor appearance
FIG. 16 is a graph showing a membership function representing shade-cloudiness.
FIG. 17 is a graph showing a membership function representing a blue sky.
FIG. 18 is a graph showing a membership function representing indoorness
FIG. 19 is a graph showing a membership function representing the likelihood of a light bulb / fluorescent lamp.
FIG. 20 is a graph showing a membership function representing skin color.
[Explanation of symbols]
DESCRIPTION OF
Claims (4)
前記撮像手段を介して取得される画像を複数のブロックに分割するブロック分け工程と、
前記分割された各ブロックについて前記撮像手段から得られる画像信号に基づきブロックの明るさを示す値を算出する明るさ算出工程と、
前記各ブロックの明るさの評価基準となる閾値を設定する閾値設定工程と、
前記明るさ算出工程で算出された各ブロックの明るさを示す値と前記閾値とを比較する比較工程と、
前記比較工程の比較結果に従い、前記閾値よりも暗いブロックについては前記高感度画素から得られる画像信号を利用する一方、前記閾値よりも明るいブロックについては前記低感度画素から得られる画像信号を利用するようにホワイトバランス演算用の画像信号を切り替える切替制御工程と、
前記切替制御工程によって選択されたホワイトバランス演算用の画像信号に基づいて、ホワイトバランス調整用のゲインを算出するゲイン算出工程と、
前記ゲイン算出工程で求めたゲインに基づき色信号を補正してホワイトバランス調整を行うホワイトバランス調整工程と、
を含むことを特徴とするホワイトバランス制御方法。A structure in which a large number of high-sensitivity pixels having relatively high sensitivity and low-sensitivity pixels having relatively low sensitivity are arranged according to a predetermined arrangement form, and image signals can be respectively extracted from the high-sensitivity pixels and the low-sensitivity pixels. An imaging step of imaging a subject by an imaging means having
A block dividing step of dividing an image acquired via the imaging means into a plurality of blocks;
A brightness calculation step of calculating a value indicating the brightness of the block based on an image signal obtained from the imaging means for each of the divided blocks;
A threshold value setting step for setting a threshold value that serves as an evaluation criterion for the brightness of each block;
A comparison step of comparing the threshold value with a value indicating the brightness of each block calculated in the brightness calculation step;
According to the comparison result of the comparison step, an image signal obtained from the high-sensitivity pixel is used for a block darker than the threshold, and an image signal obtained from the low-sensitivity pixel is used for a block brighter than the threshold. A switching control step of switching the image signal for white balance calculation,
A gain calculating step of calculating a gain for white balance adjustment based on the image signal for white balance calculation selected in the switching control step;
A white balance adjustment step of performing white balance adjustment by correcting the color signal based on the gain obtained in the gain calculation step;
A white balance control method comprising:
前記撮像手段によって撮像された画像を複数のブロックに分割するブロック分け設定手段と、
前記分割された各ブロックについて前記撮像手段から得られる画像信号に基づきブロックの明るさを示す値を算出する明るさ算出手段と、
前記各ブロックの明るさの評価基準となる閾値を設定する閾値設定手段と、
前記明るさ算出手段で算出された各ブロックの明るさを示す値と前記閾値とを比較し、前記閾値よりも暗いブロックについては前記高感度画素から得られる画像信号を利用する一方、前記閾値よりも明るいブロックについては前記低感度画素から得られる画像信号を利用するようにホワイトバランス演算用の画像信号を切り替える切替制御手段と、
前記切替制御手段によって選択されたホワイトバランス演算用の画像信号に基づいて、ホワイトバランス調整用のゲインを算出するゲイン算出手段と、
前記ゲイン算出手段で求めたゲインに基づき色信号を補正してホワイトバランス調整を行うホワイトバランス調整手段と、
を備えたことを特徴とする撮像装置。A large number of high-sensitivity pixels with relatively high sensitivity and low-sensitivity pixels with relatively low sensitivity are arranged in accordance with a predetermined arrangement form, and are photoelectrically converted with the signal photoelectrically converted with the primary photosensitive pixel and the secondary photosensitive pixel. Imaging means having a structure capable of taking out the received signals,
Block division setting means for dividing an image picked up by the image pickup means into a plurality of blocks;
Brightness calculation means for calculating a value indicating the brightness of the block based on an image signal obtained from the imaging means for each of the divided blocks;
A threshold value setting means for setting a threshold value that serves as an evaluation criterion for the brightness of each block;
A value indicating the brightness of each block calculated by the brightness calculation means is compared with the threshold value, and an image signal obtained from the high-sensitivity pixel is used for a block darker than the threshold value, while Switching control means for switching the image signal for white balance calculation so as to use the image signal obtained from the low-sensitivity pixel for the bright block,
Gain calculating means for calculating a gain for white balance adjustment based on the image signal for white balance calculation selected by the switching control means;
White balance adjustment means for performing white balance adjustment by correcting a color signal based on the gain obtained by the gain calculation means;
An imaging apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003105648A JP4306306B2 (en) | 2003-04-09 | 2003-04-09 | White balance control method and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003105648A JP4306306B2 (en) | 2003-04-09 | 2003-04-09 | White balance control method and imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004312553A true JP2004312553A (en) | 2004-11-04 |
JP4306306B2 JP4306306B2 (en) | 2009-07-29 |
Family
ID=33468100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003105648A Expired - Fee Related JP4306306B2 (en) | 2003-04-09 | 2003-04-09 | White balance control method and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4306306B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007194911A (en) * | 2006-01-19 | 2007-08-02 | Fujifilm Corp | Imaging element and imaging system |
JP2009225252A (en) * | 2008-03-18 | 2009-10-01 | Ricoh Co Ltd | Imaging apparatus and imaging method |
KR101143834B1 (en) | 2007-04-23 | 2012-07-12 | 삼성테크윈 주식회사 | Aparatus and metod for controlling auto white balance |
US8325395B2 (en) | 2005-12-07 | 2012-12-04 | Brother Kogyo Kabushiki Kaisha | Apparatus and method for processing image including white balance correction |
JP2013074437A (en) * | 2011-09-27 | 2013-04-22 | Canon Inc | Imaging apparatus and its control method |
JP2013093875A (en) * | 2012-12-21 | 2013-05-16 | Canon Inc | Imaging device |
US8890988B2 (en) | 2007-01-31 | 2014-11-18 | Canon Kabushiki Kaisha | Image pickup device, including gain-setting of pixel arrays, image pickup apparatus, control method, and program |
JP2014222899A (en) * | 2014-06-25 | 2014-11-27 | キヤノン株式会社 | Imaging apparatus and control method thereof |
CN114071109A (en) * | 2021-11-19 | 2022-02-18 | 信利光电股份有限公司 | Method for improving instability of white balance and camera module |
US20230188859A1 (en) * | 2020-08-05 | 2023-06-15 | Panasonic Intellectual Property Management Co., Ltd. | Image capturing apparatus |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6521776B2 (en) * | 2015-07-13 | 2019-05-29 | オリンパス株式会社 | Image processing apparatus, image processing method |
-
2003
- 2003-04-09 JP JP2003105648A patent/JP4306306B2/en not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8325395B2 (en) | 2005-12-07 | 2012-12-04 | Brother Kogyo Kabushiki Kaisha | Apparatus and method for processing image including white balance correction |
JP2007194911A (en) * | 2006-01-19 | 2007-08-02 | Fujifilm Corp | Imaging element and imaging system |
JP4607773B2 (en) * | 2006-01-19 | 2011-01-05 | 富士フイルム株式会社 | Imaging device and imaging system |
US8890988B2 (en) | 2007-01-31 | 2014-11-18 | Canon Kabushiki Kaisha | Image pickup device, including gain-setting of pixel arrays, image pickup apparatus, control method, and program |
KR101143834B1 (en) | 2007-04-23 | 2012-07-12 | 삼성테크윈 주식회사 | Aparatus and metod for controlling auto white balance |
JP2009225252A (en) * | 2008-03-18 | 2009-10-01 | Ricoh Co Ltd | Imaging apparatus and imaging method |
JP2013074437A (en) * | 2011-09-27 | 2013-04-22 | Canon Inc | Imaging apparatus and its control method |
JP2013093875A (en) * | 2012-12-21 | 2013-05-16 | Canon Inc | Imaging device |
JP2014222899A (en) * | 2014-06-25 | 2014-11-27 | キヤノン株式会社 | Imaging apparatus and control method thereof |
US20230188859A1 (en) * | 2020-08-05 | 2023-06-15 | Panasonic Intellectual Property Management Co., Ltd. | Image capturing apparatus |
CN114071109A (en) * | 2021-11-19 | 2022-02-18 | 信利光电股份有限公司 | Method for improving instability of white balance and camera module |
CN114071109B (en) * | 2021-11-19 | 2024-04-12 | 信利光电股份有限公司 | Method for improving white balance instability and camera module |
Also Published As
Publication number | Publication date |
---|---|
JP4306306B2 (en) | 2009-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4051674B2 (en) | Imaging device | |
KR100611607B1 (en) | Image processing apparatus, method and computer readable recording medium for recording program | |
JP3849834B2 (en) | Auto white balance control method | |
JP4158592B2 (en) | Auto white balance adjustment method and camera to which this method is applied | |
JP4679685B2 (en) | Digital camera composition auxiliary frame selection method and digital camera | |
JP4544319B2 (en) | Image processing apparatus, method, and program | |
JP4306306B2 (en) | White balance control method and imaging apparatus | |
JP2004297650A (en) | Control method of white balance and digital camera | |
JP4544318B2 (en) | Image processing apparatus, method, and program | |
JP2004328460A (en) | White balance adjustment method and electronic camera | |
JP4051701B2 (en) | Defective pixel correction method and imaging apparatus for solid-state imaging device | |
JP4239218B2 (en) | White balance adjustment method and electronic camera | |
US8848077B2 (en) | Imaging apparatus and imaging method | |
JP4178548B2 (en) | Imaging device | |
JP4385240B2 (en) | Auto white balance control method for digital camera and digital camera | |
JP2004222134A (en) | Image pickup device | |
JP4277258B2 (en) | White balance control method and imaging apparatus | |
JP3903095B2 (en) | White balance control method and digital camera | |
JP3903093B2 (en) | White balance control method and digital camera | |
JP2004229154A (en) | Method for controlling white balance and imaging device | |
JP4276847B2 (en) | Imaging device | |
JP4284573B2 (en) | Auto white balance control method for digital camera and digital camera | |
JP3903094B2 (en) | White balance control method and digital camera | |
JP2004349931A (en) | Digital camera | |
JP2005003933A (en) | Automatic focusing device for electronic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060227 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090427 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |