JP2007336107A

JP2007336107A - 撮像装置及びその制御方法並びに撮像システム

Info

Publication number: JP2007336107A
Application number: JP2006164067A
Authority: JP
Inventors: Takashi Suwa; 剛史諏訪
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-06-13
Filing date: 2006-06-13
Publication date: 2007-12-27
Anticipated expiration: 2026-06-13
Also published as: JP4993670B2

Abstract

【課題】撮像部の画素領域から部分読み出しを行うことにより画像を生成する場合においても適切なホワイトバランス処理を行うこと。
【解決手段】撮像装置は、撮像面に複数の光電変換素子が配置された撮像部２００と、撮像部２００を制御する制御部５０９と、を備える。制御部５０９は、前記撮像面の第１の領域に配置された第１の光電変換素子群から前記第１の領域を複数の領域に分割した分割領域毎に画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さい第２の領域に第２の光電変換素子群による第２のモードとを有する。制御部５０９は、前記第２のモードによる画像信号の読み出しと、前記第１のモードによる分割領域の画像信号の読み出しを行うとともに、少なくとも前記第１のモードで読み出した分割領域の画像信号に基づいて補正値を算出し、前記第２のモードで読み出した画像信号のホワイトバランス処理を行うように制御を行う。
【選択図】図２

Description

本発明は、光電変換素子を有する撮像装置及びその制御方法並びに撮像システムに関し、特にＣＭＯＳイメージセンサを用いた撮像装置及びその制御方法並びに撮像システムに関する。

従来、固体撮像素子として、ＣＣＤイメージセンサ及びＣＭＯＳイメージセンサが広く用いられている。ＣＣＤイメージセンサは、画素内に配置された光電変換素子で光を信号電荷に変換し、その信号電荷を全画素から同時にＣＣＤに読み出して転送し、転送された信号電荷を電気信号に変えて出力する機能を持つ。一方、ＣＭＯＳイメージセンサは、画素内に配置された光電変換素子で光を信号電荷に変換し、その信号電荷を画素ごとに増幅した電気信号として出力する機能を持つ。ＣＭＯＳイメージセンサは、撮像部の一部の画素領域から部分的に読み出すこと（以下「部分読み出し」という。）ができる点で、全画素領域の画像信号を同時に読み出すＣＣＤイメージセンサにはない特徴を有する。

図１５は、ＣＭＯＳイメージセンサの特徴を利用した、部分読み出しによる電子ズーム（以下「電子ズーム」という。）の概念図である。１３０１は、ＣＭＯＳイメージセンサの有効画素領域であり、ａ×ｂの画素が配置されている。この場合は、電子ズーム倍率が１倍（×１）である。１３０２は、電子ズーム倍率が２倍（×２）の場合に部分読み出しを行う画素領域を示し、（ａ／２）×（ｂ／２）の画素が読み出される。１３０３は、電子ズーム倍率が３倍（×３）の場合に部分読み出しを行う画素領域を示し、（ａ／３）×（ｂ／３）の画素が読み出される。ＣＭＯＳイメージセンサから出力され、不図示のＡ／Ｄ変換器によりデジタル信号に変換された画像信号は、１ブロックがＲ、Ｇ、Ｇ、Ｂの繰り返しで構成されたベイヤー配列により、図１６に示すように複数のブロックに分割される。そして、各ブロックごとに数式１に基づいて色評価値Ｃｘ、Ｃｙ、Ｙを算出する。
Ｃｘ＝（Ｒ−Ｂ）／Ｙ
Ｃｙ＝（Ｒ＋Ｂ−２Ｇ）／Ｙ
Ｙ＝（Ｒ＋Ｇ＋Ｂ）／２
…（数式１）
数式１を用いて算出した各ブロックの色評価値Ｃｘ、Ｃｙは、予め設定された白検出領域と比較される。

図１７は、この白検出領域を示すグラフである。白検出領域１０１は、以下のように求められる。まず、高色温度から低色温度まで、任意の色温度間隔の光源を用いて、不図示の基準白色板などの白色被写体を撮影する。次に、撮像部２００から得られた信号値により、数式１に基づいて色評価値Ｃｘ、Ｃｙを算出する。そして、それぞれの光源について得られたＣｘ及びＣｙに対し、横軸をＣｘ、縦軸をＣｙとしてプロットしたものを直線で結ぶか或いはプロットした点を、複数の直線を用いて近似する。これにより、高色温度から低色温度までの白検出軸１０２が得られる。実際には同じ白であっても、分光にばらつきがあるため、白検出軸１０２にＹ軸方向に対して幅を持たせたものを、白検出領域１０１とする。

算出した色評価値Ｃｘ、Ｃｙが白検出領域１０１に含まれる場合、そのブロックは白であると仮定し、白と仮定された各ブロックの色画素の積分値（ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢ）を算出する。そして、数式２を用いて算出した積分値からＲＧＢの各色用のホワイトバランスゲインｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ、ｋＷＢ＿Ｂを算出する。
ｋＷＢ＿Ｒ＝１.０／ＳｕｍＲ
ｋＷＢ＿Ｇ＝１.０／ＳｕｍＧ
ｋＷＢ＿Ｂ＝１.０／ＳｕｍＢ
…（数式２）
特許第０３５１３５０６号公報

しかしながら、従来のＣＭＯＳイメージセンサにおけるホワイトバランス補正には、以下のような課題があった。例えば、太陽光源下における白色被写体の色評価値は、図１７の領域１０３のように分布する。動画撮影やＥＶＦ表示の際に、部分読み出しによる電子ズームを使用して太陽光などの高色温度光源下で顔のアップを撮影した場合、人肌の色評価値は領域１０５のように分布する。領域１０５は、白色タングステンなどの、低色温度光源下で撮影した白色の色評価値が分布する領域１０４とほぼ一致する。そのため、顔のアップなどのように肌色の面積が大きくなる場合、実際よりも低い色温度の光源下で撮影されたものと誤判別する場合があった。

本発明は、撮像部の画素領域から部分読み出しを行うことにより画像を生成する場合の問題に鑑みてなされたものであり、そのような場合においても適切なホワイトバランス処理を行うことを目的とする。

本発明の第１の側面は、撮像装置に係り、撮像面に複数の光電変換素子が配置された撮像部と、前記撮像部を制御する制御部と、を備え、前記制御部は、前記撮像面の第１の領域に配置された第１の光電変換素子群から前記第１の領域を複数の領域に分割した分割領域毎に画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さい第２の領域に配置された第２の光電変換素子群から画像信号を読み出す第２のモードとを有し、前記第２のモードによる画像信号の読み出しと、その次の前記第２のモードによる画像信号の読み出しとの間に、前記第１のモードによる分割領域の画像信号の読み出しを行うとともに、少なくとも前記第１のモードで読み出した分割領域の画像信号に基づいて補正値を算出し、前記第２のモードで読み出した画像信号のホワイトバランス処理を行うように制御を行うことを特徴とする。

本発明の第２の側面は、撮像面に複数の光電変換素子が配置された撮像部と、前記撮像部を制御する制御部とを有し、を備える撮像装置の制御方法に係り、前記撮像面の第１の領域に配置された第１の光電変換素子群から、前記第１の領域を複数の領域に分割した分割領域毎に画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さい第２の領域に配置された第２の光電変換素子群から画像信号を読み出す第２のモードとを有し、前記第２のモードによる画像信号の読み出しと、その次の前記第２のモードによる画像信号の読み出しとの間に、前記第１のモードによる分割領域の画像信号の読み出しを行う撮像装置の制御方法であって、少なくとも前記第１のモードで読み出した画像信号に基づいて補正値を算出する工程と、前記補正値に基づいて前記第２のモードで読み出した画像信号のホワイトバランス処理を行う工程と、を含むことを特徴とする。

本発明の第３の側面は、プログラムに係り、上記の撮像装置の制御方法をコンピュータに実行させる。

本発明によれば、撮像部の画素領域から部分読み出しを行うことにより画像を生成する場合においても適切なホワイトバランス処理を行うことができる。

以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。図１は、ＣＭＯＳイメージセンサを用いた撮像部の概観図である。Ｂ１１〜Ｂｍｎ（ｍ、ｎは整数である。以下同じ。）は撮像面に２次元に配置された画素である。各画素には、光電変換素子と、光電変換素子で変換された信号電荷を画素ごとに増幅して出力するトランジスタとが少なくとも配置されている。垂直シフトレジスタ２２０は、水平出力線ＶＳＥＬ１〜ＶＳＥＬｍ毎に画素から電気信号を読み出す制御パルスを出力する。水平出力線ＶＳＥＬ１〜ＶＳＥＬｍにより選択された各画素の電気信号は、垂直出力線ＶＳＩＧ１〜ＶＳＩＧｎにより読み出され、加算回路２２１に蓄積される。加算回路２２１に蓄積された電気信号は、水平シフトレジスタ２２２により順次読み出し走査が行われ、時系列的に出力される。

上述の部分読み出しを行う場合、垂直シフトレジスタ２２０から水平出力線ＶＳＥＬ１〜ＶＳＥＬｍのうち、部分読み出しの対象である画素に接続された水平出力線に制御パルスを出力する。そして、水平シフトレジスタ２２２から垂直出力線ＶＳＩＧ１〜ＶＳＩＧｎのうち、部分読み出しの対象である画素に接続された垂直出力線に制御パルスを出力する。水平出力線の制御パルスによって選択された各画素の電気信号は、垂直出力線の制御パルスより加算回路２２１に読み出され、加算回路２２１に蓄積されずに加算回路２２１を通過する。例えば、電子ズーム倍率２倍（×２）で読み出す場合、水平方向の２画素に対して（垂直シフトレジスタに加算回路が配置されている場合は、垂直方向の２画素に対しても）、画素加算を行わない。これに対し、図１５に示すように、撮像部２００の有効画素領域の全体を読み出す場合（電子ズーム倍率１倍（×１））、水平方向のｎ画素に対して（垂直シフトレジスタに加算回路が配置されている場合は、垂直方向のｍ画素に対しても）、画素加算を行う。

図２は、図１の撮像部を用いた撮像システムの概略を示す図である。５０１は光学系としてのレンズ部（図２では「レンズ」と表記）、５０２はレンズ駆動部、５０３はメカニカルシャッタ（メカシャッタと表記）、５０４はメカニカルシャッタ駆動部（図２では「シャッタ駆動部」と表記）、５０５はＡ／Ｄ変換器を示す。２００は図１に示す構成を有する撮像部を示す。また、５０６は撮像信号処理回路、５０７はタイミング発生部、５０８はメモリ部、５０９は制御部、５１０は記録媒体制御インターフェース部（図２では「記録媒体制御Ｉ／Ｆ部」と表記）、５１１は表示部を示す。また、５１２は記録媒体、５１３は外部インターフェース部（図２では「外部Ｉ／Ｆ部」と表記）、５１４は測光部、５１５は測距部を示す。撮像信号処理回路５０６は、Ａ／Ｄ変換器５０５からの信号に基づいてホワイトバランス処理を行うＷＢ回路５１６を含む。ＷＢ回路５１６における処理の詳細は、図３を用いて後述する。

レンズ部５０１を通った被写体像は、撮像部２００近傍に結像される。撮像部２００近傍に結像した被写体像は、撮像部２００により画像信号として取り込まれる。撮像信号処理回路５０６は、撮像部２００から出力された画像信号を増幅し、アナログ信号からデジタル信号に変換（Ａ／Ｄ変換）し、Ａ／Ｄ変換後にＲ、Ｇ、Ｇ、Ｂの信号を得る。撮像信号処理回路５０６は、各種の補正、画像データの圧縮等を行う。

レンズ部５０１は、レンズ駆動部５０２によってズーム、フォーカス、絞り等が駆動制御される。メカシャッタ５０３は、一眼レフカメラに使用されるフォーカルプレーン型のシャッタの後幕に相当する幕のみを有するシャッタ機構である。メカシャッタ５０３は、シャッタ駆動部５０４によって駆動制御される。タイミング発生部５０７は、撮像部２００、撮像信号処理回路５０６に各種タイミング信号を出力する。制御部５０９は、撮像システム全体の制御と各種演算などを行う。メモリ部５０８は、画像データを一時的に記憶する。記録媒体制御インターフェース部５１０は、記録媒体５１２に画像データを記録させたり、記録媒体５１２から画像データを又は読み出したりする。表示部５１１は、画像データの表示を行う。記録媒体５１２は、半導体メモリ等の着脱可能な記憶媒体であり、画像データを記録する。外部インターフェース部５１３は、外部のコンピュータ等と通信を行うためのインターフェースである。測光部５１４は被写体の明るさ情報の検出を行い、測距部５１５は被写体までの距離情報を検出する。５１６は、ホワイトバランス回路（ＷＢ回路）である。なお、撮像装置の動作モード（オートモード、人物を撮影する人物撮影モード、風景を撮影する風景撮影モード、ユーザによってホワイトバランスの補正値を設定するマニュアルモードなど）は、操作部５１７によって設定される。

（第１の実施形態）
図３は、本発明の好適な第１の実施形態に係る撮像装置における部分読み出しによる電子ズームの方法を概略的に示す図である。外側の画素領域３０１は、撮像部２００の有効画素領域である。内側の画素領域３０２は、電子ズームにより部分読み出しする画素領域である。Ａ〜Ｉは、電子ズーム時の動画記録用フレーム又は表示用フレームの読み出しの合間に読み出される画素領域であり、電子ズームにより部分読み出しする画素領域Ｅ以外の画素領域を複数の領域に分割した分割領域である。本実施形態に係る各制御は、制御部５０９により行われる。

図２のＷＢ回路５１６におけるホワイトバランス処理の精度を上げるためには、ホワイトバランス係数を取得するための画素領域（画角）を大きく取る必要がある。そこで、定められたフレーム数の動画記録用フレーム又は表示用フレーム（領域Ｅ）の合間に、ホワイトバランス係数取得用の画素領域を読み出す。例えば、動画撮影時には、撮像部２００からＥ→Ａ→Ｅ→Ｂ→Ｅ→Ｃ→Ｅ→Ｄ→Ｅ→Ｆ→Ｅ→Ｇ→Ｅ→Ｈ→Ｅ→Ｉのように、画素領域Ｅと分割領域とを交互に読み出す。また、例えば、画素領域ＥをＭ（Ｍは２以上の整数である。）回読み出す（以下「Ｅ（Ｍ回読み出し）」と表記する。）ごとに、分割領域を読み出してもよい。すなわち、Ｅ（Ｍ回読み出し）→Ａ→Ｅ（Ｍ回読み出し）→Ｂ→Ｅ（Ｍ回読み出し）→Ｃ→Ｅ（Ｍ回読み出し）→Ｄ→Ｅ（Ｍ回読み出し）→Ｆ→Ｅ（Ｍ回読み出し）→Ｇ→Ｅ（Ｍ回読み出し）→Ｈ→Ｅ（Ｍ回読み出し）→Ｉのように読み出してもよい。ホワイトバランス係数取得用の画素領域としては、画素領域Ｅを含めてもよいし、含めなくてもよい。ホワイトバランス係数取得用の画素領域（分割領域）の電気信号は、一旦記録媒体５１２に記憶され、画素領域３０１全体（１画面分）が集まるまで蓄積される。画素領域３０１全体の電気信号が記録媒体５１２に蓄積されると、ホワイトバランス係数を算出する。

図３では、画素領域を９つに分割したが分割する数はこれに限定されない。また、分割領域の読み出し順序は上記のものに限られず、他の読み出し順序であってもよい。また、画素領域Ｅを読み出す合間に画素領域３０１全体（１画面分）が集まるまで分割領域を読み出す必要はなく、画素領域Ｅよりも広い画素領域の電気信号が集まればよい。このような場合でも、動画記録やＥＶＦの場合のホワイトバランスの精度を高めることができる。

画素領域の合間に読み出す分割領域は、間引き読み出しによって読み出してもよい。間引き読み出しは、図１の水平シフトレジスタ２２２及び垂直シフトレジスタ２２０により選択されるＢ１１〜Ｂｍｎの個数を減らすことにより行うことができる。また、図１のＢ１１〜Ｂｍｎから読み出した複数の信号のうち一部を加算回路２２１で加算して出力してもよい。この場合も、水平シフトレジスタ２２２から読み出す信号の数を減らすことができる。間引き読み出しの場合も、上述のように所定の画素領域（典型的には、画素領域３０１全体）の電気信号が記録媒体５１２に蓄積されると、補正値としてのホワイトバランス係数の算出を行う。以下、画像とは、上記のように得られた、分割領域を合わせた全画角のものとする。

図４は、本発明の好適な第１の実施形態に係るＷＢ回路５１６の概略構成を示すブロック図である。３０は、操作部５１７によって設定される撮像装置の動作モードを判定するモード判定部である。３１は、撮像部２００からの出力信号を、図１６に示すような複数の評価ブロックに分割する評価ブロック分割部である。３２は、基準となる白検出領域（以下「基準白検出領域」という。）を記憶する白検出領域記憶部である。３３は、白検出領域をリミット値を用いて適宜変更する白検出領域可変部である。３４は、撮像画面上の位置と、その位置にある評価ブロックを白判定するために使用する白検出領域可変部により変更された白判断領域との組み合わせパターンを、モード別に記憶するパターン記憶部である。３５は、評価ブロック分割部３１により分割された各評価ブロックが白であるか否かを判定する白判定部である。３６は、白判定部３５により白であると判定された評価ブロックの画像信号から、ホワイトバランス（ＷＢ）補正に用いるＷＢ係数を算出するＷＢ係数算出部である。３７は、ＷＢ係数算出部３６により算出されたＷＢ係数を記憶するＷＢ係数記憶部である。３８は、ＷＢ係数記憶部３７に記憶されたＷＢ係数を用いて、撮像部２００からの出力信号に対してＷＢ補正を行うＷＢ補正部である。なお、白検出領域記憶部３２、パターン記憶部３４及びＷＢ係数記憶部３７は、１つのメモリで構成してもよいし、任意の複数のメモリで構成してもよい。

ここで、白検出領域記憶部３２に記憶される基準白検出領域について説明する。なお、撮像部２００としては原色フィルタを使用する場合を例に挙げて説明する。

図５において、２０１は第１の白検出領域、２０２は白検出軸である。上述したように、高色温度から低色温度まで、任意の色温度間隔の光源を用いて不図示の基準白色板などの白色被写体を撮影し、撮像部２００から得られた信号値より、上記の数式１に基づいて色評価値Ｃｘ、Ｃｙを算出する。そして、それぞれの光源について得られたＣｘ及びＣｙに対し、横軸をＣｘ、縦軸をＣｙとしてプロットしたものを直線で結ぶか或いはプロットした点を、複数の直線を用いて近似する。これにより、高色温度から低色温度までの白検出軸２０２が得られる。なお、横軸は光源の色温度に対応し、縦軸は緑方向（言い換えると、輝度の色温度方向、蛍光灯の色温度方向）の補正量に対応している。実際には、同じ白でも分光に若干のばらつきがあるため、白検出軸２０２に対してＹ軸方向に若干の幅をもたせたものを第１の白検出領域２０１とする。このようにして定められた第１の白検出領域２０１のデータは、ＷＢ回路５１６の製造時や出荷時などに白検出領域記憶部３２に記憶される。

図５において、第２の白検出領域２０３は、第１の白検出領域２０１に対して白検出リミッタＬｌ１及びＬｈ１を設定することにより、Ｃｘの範囲をＬｌ１からＬｈ１の間に制限したものである。第３の白検出領域２０４は、白検出領域２０１に対して白検出リミッタＬｌ２及びＬｈ２を設定することにより、色温度の低い領域を第２の白検出領域２０３よりカットするように、Ｃｘの範囲をＬｌ２からＬｈ２の間に制限したものである。

白判定部３５は、評価ブロックに対して白判定を行う。また、白判定部３５は、ＷＢ係数算出部３６で白と判別された評価ブロックの画素値の積分値からＷＢ係数（ホワイトバランスゲイン）を算出し、ＷＢ係数記憶部３７に記憶する。ＷＢ補正部３８は、ＷＢ係数記憶部３７に記憶されたＷＢ係数を用いて、入力画像のＷＢ補正を行う。

次に、白判定の処理について図５〜図７を参照して説明する。

図６（ａ）は、図４のパターン記憶部３４に記憶される、オートモード時のパターン設定例を、図６（ｂ）は、人物撮影モード時のパターン設定例をそれぞれ示す。外側の矩形領域４０１は、撮像部２００の最大の画角であり、内側の矩形領域４０２は、電子ズームにより部分読み出しする画素領域（画角）である。領域（１）は、矩形領域４０１から円形領域４０３ａ又は円形領域４０３ｂを除いた領域である。領域（２）は、円形領域４０３ａ又は円形領域４０３ｂに対応し、斜線を施している。領域（２）の広さは、撮影モードに応じて固定されたり、電子ズームによる画角の変化と共に拡大・縮小されうる。領域（１）及び領域（２）で表されるパターンは、各評価ブロックの位置と、そのブロックの位置にある評価ブロックを白判定する際に使用する可変後の白検出領域の大きさとの組み合わせを示す。これらのパターンは、ＷＢ回路５１６の製造時や出荷時などに予めパターン記憶部３４に記憶しておいてもよいし、ユーザが領域設定を変更できるようにしてもよい。

次に、白判定の処理シーケンスにおける一連の処理フローを図７に示す。

ステップＳ１１では、モード判定部３０は、操作部５１７によりオートモードと人物撮影モードのいずれのモードが設定されているかを判断する。オートモードが設定されている場合にはステップＳ１２に進み、人物撮影モードが設定されている場合にはステップＳ１３に進む。

ステップＳ１２では、白判定部３５は、パターン記憶部３４から図６（ａ）に示すパターンの領域データを取得する。

ステップＳ１３では、白判定部３５は、パターン記憶部３４から図６（ｂ）に示すパターンの領域データを取得する。

ステップＳ１４では、白判定部３５は、各評価ブロックが領域（１）内にあるか領域（２）内にあるかを判断する。領域（１）内にある場合（ステップＳ１４でＹＥＳ）にはステップＳ１５に進み、領域（２）内にある場合（ステップＳ１４でＮＯ）にはステップＳ１６に進む。

ステップＳ１５では、白判定部３５は、評価ブロックの色評価値を、白検出領域可変部３３により領域制限された、図４（ａ）に示す白検出領域２０３と比較する。

ステップＳ１６では、白判定部３５は、評価ブロックの色評価値を、白検出領域可変部３３により領域制限された、図４（ｂ）に示す白検出領域２０４と比較する。

撮像画面の中央領域には人の顔が含まれている可能性が高いため、中央領域に対しては低色温度側の制限を周辺領域のそれよりも高く設定することで、人肌を白と誤判別しないように白検出領域２０４に制限している。

ステップＳ１５及びステップＳ１６いずれにおいても、白判定部３５は、評価ブロックの色評価値が白検出領域２０３又は２０４内にある場合には、ステップＳ１７に進む。白検出領域２０３又は２０４内に無い場合には、白判定部３５は、ステップＳ１８に進む。

ステップＳ１７では、白判定部３５は、ステップＳ１５又はステップＳ１６で白検出領域２０３又は２０４内にあると判断した評価ブロックを白であると判定する。

ステップＳ１８では、白判定部３５は、ステップＳ１５又はステップＳ１６で白検出領域２０３又は２０４内に無いと判断した評価ブロックを白ではないと判定する。

このようにして電子ズームよりも広い画角の信号を参照して、白と判定された評価ブロックは、上述したようにホワイトバランスゲイン（ＷＢ係数）を算出するために、その画素値が積分される。

ステップＳ１９では、白判定部３５は、全ての評価ブロックについて白であるか否かの判定を行ったかどうかを判断し、全ての評価ブロックの判定が終了するまでステップＳ１４〜Ｓ１８を繰り返す。

なお、実験によれば、低色温度側白検出リミッタＬｌ２を約５０００Ｋに固定とすると良好な結果を得ることができた。しかしながら、本発明は、５０００Ｋに限られるものではなく、適宜変更可能である。

また、第１の実施形態によれば、電子ズームで部分読み出しする画素領域よりも広い画素領域（画角）の信号を読み出して、更に、撮像画面上の位置に応じて異なる白検出領域を用いることにより、白判定の誤判断を削減することができる。その結果、より良好なホワイトバランス補正を行うことが可能となる。

また、カメラの撮影モードを人物撮影モードにした場合に、図６（ｂ）に示すように中央領域（２）の面積をより大きくすることで、人肌による白判定の誤判断をより少なくするができる。しかしながら、人物撮影モードであれば撮像画面中央部に人肌がある可能性が高いと考えられるが、オートモードの場合、撮像画面中央部に人肌が無い場合も多く考えられる。

撮像画面中央部に人肌が無い場合に、例えば、ある光源下で撮影された画像に基づく色温度の結果が実際の光源色温度より高くなってしまう不都合が生じる。これは、上記のような撮像画面の設定や白リミッタ設定をすると、撮像画面中央部の色温度検出結果が低色温度側の白検出リミッタＬｌ２（例えば、５０００Ｋ）より低くなることはないためである。

そこで、以下のように、人肌の有無の判定を図７のステップＳ１２に示す動作に先立って行い、人肌があると判断した場合にステップＳ１２以下の動作を行うことで、より精度の高いホワイトバランス補正を実現することができる。この動作について図８のフローチャートを参照して説明する。

ステップＳ２１では、白判定部３５は、撮像画面中央部（図４（ａ）の領域（２））と周辺部（図４（ａ）の領域（１））の全評価ブロックについて同じ白検出領域を用いて画像データが白色であると判定される評価ブロック（以下「白評価ブロック」という。）を検出する。ここで、「同じ白検出領域」とは、同じ白検出リミッタにより制限した領域又は制限をしない白検出領域に人肌の色温度領域が含まれる領域をいう。例えば、白検出領域２０１及び白検出領域２０３のいずれか一方の領域がこれに該当する。

ステップＳ２２では、撮像画面周辺部の白評価ブロックの画像データを積分して平均したデータから光源色温度ＣｔＡｒｏｕｎｄを算出する。

ステップＳ２３では、撮像画面中央部の白評価ブロックの画像データを積分して平均したデータから光源色温度ＣｔＣｅｎｔｅｒを算出する。なお、ステップＳ２２及びステップＳ２３の処理の順番は、逆であってもよいし、同時であってもよい。

ステップＳ２４では、ＣｔＡｒｏｕｎｄとＣｔＣｅｎｔｅｒとを比較する。そして、撮像画面中央部から求めた色温度ＣｔＣｅｎｔｅｒが撮像画面周辺部から求めた色温度ＣｔＡｒｏｕｎｄよりも低い場合には、ステップＳ２５において撮像画面中央部が人肌である可能性が高いと判断する。すなわち、ＣｔＣｅｎｔｅｒ＜ＣｔＡｒｏｕｎｄが成り立てば、撮像画面中央部は人肌と判断し、図５〜図７に示すオートモードの白判定を行って、光源色温度を算出する（ステップＳ２６）。

一方、撮像画面中央部からの色温度ＣｔＣｅｎｔｅｒが、撮像画面周辺部からの色温度ＣｔＡｒｏｕｎｄとほぼ同じか高い場合は、撮像画面中央部は人肌でない可能性が高いと判断する（ステップＳ２７）。すなわち、ＣｔＣｅｎｔｅｒ≧ＣｔＡｒｏｕｎｄの場合は、人肌無しと判定し、全評価ブロックを共通な白検出領域と比較して白評価ブロックを検出し、得られた光源色温度を採用する（ステップＳ２８）。

上記処理を追加することで、白判定の誤判断を更に減らすことができ、良好なホワイトバランス補正を行うことが可能となる。

なお、図７のステップＳ１１におけるモード判別において、マニュアルモードであることが判別された場合、人肌無しと判定した場合と同様に全評価ブロックを共通な白検出領域と比較して白評価ブロックを検出する。そして、白評価ブロック中の画像データから得られる光源色温度を採用してもよい。

ここまでは、撮像部２００の有効画素領域を分割した分割領域を合わせ、１枚の画像を作成した後、ホワイトバランスを求めるようにした。しかし、分割領域毎にホワイトバランスを求め、全画角分の平均値を用いてホワイトバランス補正を行うようにしてもよい。

（第２の実施形態）
図９は、青空を白色と誤判断することを抑制するためのパターン設定例を示す図である。図９（ａ）はオートモード時のパターン例を、図９（ｂ）は風景撮影モード時のパターン例をそれぞれ示す。外側の矩形領域７０１は、撮像部２００の最大の画角であり、内側の矩形領域７０２は、電子ズームで部分読み出しする画素領域（画角）である。領域（１）は、矩形領域７０１から斜線で示す領域（２）を除いた領域である。第１の実施形態と同様に、領域（１）と領域（２）とで異なる白検出リミッタを用いて制限した白検出領域と比較することにより、評価ブロックが白色であるか否かを判定する。

薄くもりや地平線に近い空を写した画像領域の評価ブロックの色評価値は、先に述べたように日陰の白点の色評価値とほぼ同じ分布であるために、空の画像部分の評価ブロックを白と誤判定してしまう。すなわち、画角が広くなり、空の領域が増えることにより、空を高色温度の白と誤判別してしまう。

そこで、図９（ａ）に示すように、撮像画面上部（領域（２））と撮像画面下部（領域（１））とで、白検出領域可変部３３により高色温度側で異なる白検出リミッタを用いて制限を加えた、異なる白検出領域を用いて白判定を行う。

図１０に示すように、撮像画面上部にある評価ブロックを判定するための白検出領域を制限する高色温度側の白検出リミッタＬｈ４を撮像画面下部にある評価ブロックを判定するための高色温度側の白検出リミッタＬｈ３に比べ低色温度側に設定する。これにより、薄青を白と誤判別しないようにした。

実験によると、白検出リミッタＬｈ４を約５５００Ｋに設定すると良好な結果を得ることができた。しかしながら、本発明は５５００Ｋに限られるものではなく、適宜変更可能である。

上記の通り第２の実施形態によれば、撮像画面上の位置に応じて異なる白検出領域を用いることにより、画角が広くなり、空の領域が増える場合でも、白判定の誤判断を削減することができるため、より良好なホワイトバランス補正を行うことが可能となる。

また、カメラの撮影モードを風景撮影モードにした場合に、図９（ｂ）に示すように上部領域（２）の面積をより大きくすることで、青空部分の白判定の誤判断をより少なくするができる。

なお、第２の実施形態において、撮影画像データから被写体の明るさＢｖを検出し、その明るさに応じて、図９（ａ）及び図９（ｂ）に示すような白検出の検出パターンを変更してもよい。例えば、図１１に示すように、Ｂｖが予め設定した値Ｂｖ２より大きいときは外で撮影した割合が高い（空の面積の割合が多い）ので、図１４（ａ）に示す白検出領域２０９によって白検出範囲が制限される撮像画面上部の評価ブロックの割合を大きくする。一方、Ｂｖが予め設定したＢｖ１（＜Ｂｖ２）より小さいときには屋内の確率が高いので撮像画面上部の評価ブロックの割合を小さくする。また、被写体の明るさがＢｖ１からＢｖ２の間の場合には、グラフのようにＢｖでの線形演算で白検出領域２０９によって白検出範囲が制限される撮像画面上部の評価ブロックの割合を決定する。このような処理によって更に適切なホワイトバランス補正を行うことができる。

（第３の実施形態）
図１２は、人肌と空の両方に関して、白判定の誤判断を抑制するためのパターン設定例を示す図である。外側の矩形領域９０１が、撮像部２００の最大の画角であり、内側の矩形領域９０２が電子ズームにより部分読み出しする画素領域（画角）である。矩形領域９０１及び矩形領域９０２は、境界線９０５により上下に分割されている。同様に、中央の円形領域も境界線９０５により、半円形領域９０３と半円形領域９０４に分割されている。領域（３）は、半円形領域９０３に対応し、領域（４）は、半円形領域９０４に対応する。領域（１）は、矩形領域９０１から領域（２）〜領域（４）を除いた領域である。領域（２）は、矩形領域９０１から領域（１）、領域（３）及び領域（４）を除いた領域である。領域（３）及び領域（４）の広さは、撮影モードによって固定されたり、電子ズームによる画角の変化と共に拡大・縮小されたりしうる。ここでは、例えば、図１２の領域（１）の評価ブロックの白判定には、
高色温度側白検出リミッタＬｈ５：５５００Ｋ
低色温度側白検出リミッタＬｌ５：明るさ可変（図１３（ａ））
と設定し、図１２の領域（２）に対しては、
高色温度側白検出リミッタＬｈ６：明るさ可変
低色温度側白検出リミッタＬｌ６：明るさ可変（図１３（ｂ））
と設定し、図１２の領域（３）に対しては、
高色温度側白検出リミッタＬｈ７：５５００Ｋ
低色温度側白検出リミッタＬｌ７：５０００Ｋ（図１４（ａ））
と設定し、図１２の領域（４）に対しては、
高色温度側白検出リミッタＬｈ８：明るさ可変
低色温度側白検出リミッタＬｌ８：５０００Ｋ（図１４（ｂ））
と設定すると、良好な結果が得られる。なお、上記の白検出リミッタＬｈ５、Ｌｈ７、Ｌｌ７、Ｌｌ８として示した値は一例であって、本発明はこれに限られるものではなく適宜変更することが可能である。

上述のように、第３の実施形態によれば、撮像画面の領域をより細かく分割したパターンを用い、撮像画面上の位置に応じて異なる白検出領域を用いて白判定を行う。そのため、人肌と空の両方に関して、白判定の誤判断を抑制し、より精度の高いホワイトバランス補正を行うことが可能となる。

なお、第１の実施形態と同様に、撮影モードによって使用するパターンを変更することも可能である。

（第４の実施形態）
第１〜第３の実施形態では、撮像部２００の有効画素領域を複数の領域に分割した分割領域から読み出した電気信号に基づいて、ホワイトバランス係数を算出した。

しかしながら、図１６に示すような任意の複数のブロックに分割し、各ブロックごとに色評価値Ｃｘ、Ｃｙ、Ｙを上記の数式１に基づいて算出することも可能である。

上記の数式１により算出した各ブロックの色評価値Ｃｘ、Ｃｙを予め設定した後述する白検出領域と比較する。白検出領域に含まれる場合、そのブロックが白であると仮定し、白と仮定されたブロックのそれぞれの色画素の積分値（ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢ）を算出する。

そして、その積分値から以下の式を用いてＲＧＢ各色用のホワイトバランスゲインｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ、ｋＷＢ＿Ｂを上記の数式２より算出する。

ＷＢ回路５１６では、このようにして得られたホワイトバランスゲインを用いてホワイトバランス補正を行うようにしてもよい。

（第５の実施形態）
なお、上記の第１〜第４の実施形態に係るソフト構成とハード構成は、適宜置き換え可能である。また、本発明は、以上の各実施の形態、または、それら技術要素を必要に応じて組み合わせるようにしてもよい。更に、本発明は、特許請求の範囲の構成、または、実施形態の構成の全体若しくは一部が、１つの装置を形成するものであってもよい。また、デジタルカメラやビデオカメラなどの撮像装置や撮像装置から得られる信号を処理する信号処理装置など、他の装置と結合するようなものであってもよいし、装置を構成する要素となるようなものであってもよい。

また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

ＣＭＯＳイメージセンサを用いた撮像部の概観図である。本発明の好適な実施の形態に係る撮像システムの概略図である。本発明の好適な第１の実施形態に係る信号読み出し方式を示す図である。本発明の好適な第１の実施形態に係るＷＢ回路の概略構成を示すブロック図である。本発明の好適な第１の実施形態に係る白検出領域を示す図である。本発明の好適な第１の実施形態に係る撮像画面分割を示す図である。本発明の好適な第１の実施形態に係る白判定処理を示すフローチャートである。本発明の好適な第１の実施形態に係るオートモード時の人肌の有無を判定する処理を示すフローチャートである。本発明の好適な第２の実施形態に係る撮像画面分割を示す図である。本発明の好適な第２の実施形態に係る白検出領域を示す図である。本発明の好適な第２の実施形態において、被写体の明るさに対応した表示部の撮像画面上の白領域を検出するための検出パターンの一例を示す図である。本発明の好適な第３の実施形態に係る撮像画面分割を示す図である。本発明の好適な第３の実施形態に係る白検出領域を示す図である。本発明の好適な第３の実施形態に係る白検出領域を示す図である。電子ズームの概念図である白判定を行うための単位を示す撮像画面分割の例を示す図である。白検出領域を示す図である。

符号の説明

２００撮像部
５０９制御部

Claims

撮像面に複数の光電変換素子が配置された撮像部と、
前記撮像部を制御する制御部と、
を備え、
前記制御部は、
前記撮像面の第１の領域に配置された第１の光電変換素子群から前記第１の領域を複数の領域に分割した分割領域毎に画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さい第２の領域に配置された第２の光電変換素子群から画像信号を読み出す第２のモードとを有し、
前記第２のモードによる画像信号の読み出しと、その次の前記第２のモードによる画像信号の読み出しとの間に、前記第１のモードによる分割領域の画像信号の読み出しを行うとともに、
少なくとも前記第１のモードで読み出した分割領域の画像信号に基づいて補正値を算出し、前記第２のモードで読み出した画像信号のホワイトバランス処理を行うように制御を行うことを特徴とする撮像装置。
前記制御部は、前記第１のモードでの読み出しと前記第２のモードでの読み出しとを交互に行うように制御することを特徴とする請求項１に記載の撮像装置。
前記制御部は、前記第１のモードでの読み出しをＭ回（Ｍは２以上の整数）行う毎に、前記第２のモードでの読み出しを１回行うように制御することを特徴とする請求項１に記載の撮像装置。
前記制御部は、前記第１のモードでの読み出しを行う毎に、前記第１のモードで読み出す前記分割領域を変更することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
前記制御部は、前記第１のモードで読み出した前記分割領域の合計の大きさが、前記第２の領域の大きさを超える場合に、前記補正値を算出することを特徴とする請求項４に記載の撮像装置。
前記制御部は、前記第１のモードで読み出した前記分割領域の合計の大きさが、前記第１の領域の大きさと等しい場合に、前記補正値を算出することを特徴とする請求項５に記載の撮像装置。
前記制御部は、前記第１のモードで前記分割領域からの読み出しを行う毎に、前記補正値を算出することを特徴とする請求項４に記載の撮像装置。
前記制御手段は、前記撮像面のうち前記第２の領域以外の領域を前記分割領域に分割することを特徴とする請求項１乃至請求項７のいずれか１項に記載の撮像装置。
前記光電変換素子から画像信号を読み出す読み出し手段を有することを特徴とする請求項１乃至請求項８のいずれか１項に記載の撮像装置。
前記読み出し手段は、定められたフレーム数内に全ての前記分割領域に配置された第１の光電変換素子群から画像信号を読み出すことを特徴とする請求項４に記載の撮像装置。
前記分割領域毎に、前記撮像面における前記分割領域の各々の位置に応じた条件に基づいて、前記分割領域内の画像データが白色であるか否かを判定する白判定手段を備えることを特徴とする請求項１乃至請求項１０のいずれか１項に記載の撮像装置。
撮影モードを設定するモード設定手段と、
前記モード設定手段により設定された撮影モードを判定するモード判定手段と、
を備え、
前記白判定手段は、前記モード判定手段により判定された撮影モードに応じて、前記分割領域の各々の位置と使用する条件との組み合わせを変更することを特徴とする請求項１１に記載の撮像装置。
前記モード判定手段によって、前記補正値をユーザが設定するマニュアルモードであると判断された場合、前記白判定手段は前記分割領域の全ての領域の画像データを、同一の条件に基づいて、白色であるかどうかを判定することを特徴とする請求項１２に記載の撮像装置。
前記分割領域の各々の位置と使用する条件との組み合わせを示すパターンを保持するパターン記憶手段を更に有することを特徴とする請求項１乃至請求項１３のいずれかに記載の撮像装置。
前記パターンは、前記光電変換素子から読み出した画像信号より得られる画像の中央部を第１の条件に、それ以外の領域を第２の条件に対応させるパターンを含むことを特徴とする請求項１４に記載の撮像装置。
前記パターンは、前記撮像モードが人物撮影を行うモードの場合、それ以外のときよりも前記画像の中央部より広くして前記第１の条件に対応させるパターンを更に含むことを特徴とする請求項１５に記載の撮像装置。
前記条件は色温度領域に基づいて画像データの白色の判別を定義するものであって、前記第１の条件の低色温度側のリミッタ値を、前記第２の条件の低色温度側のリミッタ値よりも高く設定したことを特徴とする請求項１５又は請求項１６に記載の撮像装置。
前記パターンは、前記撮像部の全領域の画素出力より得られる画像の上部を第３の条件に、それ以外の領域を第４の条件に対応させるパターンを含むことを特徴とする請求項１４に記載の撮像装置。
前記白判定手段は、被写体の明るさが明るくなるに従って前記第３の条件で白色の判定を行われる前記分割領域を多くすることを特徴とする請求項１８に記載の撮像装置。
前記パターンは、前記撮像モードが風景撮影モードの場合に、それ以外のモードよりも画像の上部領域を広くして前記第３の条件に対応させるパターンを更に含むことを特徴とする請求項１８に記載の撮像装置。
前記条件は色温度領域に基づいて画像データの白色の判別を定義するものであって、前記第３の条件の高色温度側のリミッタ値を、前記第４の条件の高色温度側のリミッタ値よりも低く設定したことを特徴とする請求項１８乃至２０のいずれかに記載の撮像装置。
前記パターンは、画像の中央部の上部を第５の条件に、中央部の下部を第６の条件に、中央部以外の領域の上部を第７の条件に、それ以外の領域を第８の条件に対応させるパターンを含むことを特徴とする請求項１６に記載の撮像装置。
前記条件は色温度領域に基づいて画像データの白色の判別を定義するものであって、前記第５及び第６の条件の低色温度側のリミッタ値を、前記第７及び第８の条件の低色温度側のリミッタ値よりも高く設定し、前記第５の条件の高色温度側のリミッタ値を、前記第６の条件の高色温度側のリミッタ値よりも低く設定し、前記第７の条件の高色温度側のリミッタ値を、前記第８の条件の高色温度側のリミッタ値よりも低く設定したことを特徴とする請求項２２に記載の撮像装置。
基準条件を記憶する記憶手段と、前記基準条件を可変制御する変更手段とを更に有することを特徴とする請求項１乃至２３のいずれかに記載の撮像装置。
複数の異なる条件を記憶する記憶手段を更に有することを特徴とする請求項１乃至２３のいずれかに記載の撮像装置。
同一の条件を用いて前記分割領域の全ての領域の白判定処理を行い、画像の中央部分から算出された第１の色温度と、画像の周辺部分から算出された第２の色温度とを比較し、前記第１の色温度が前記第２の色温度より高い場合には、前記分割領域の画像における位置にかかわらず、同一の条件を用いて白判定を行うように前記白判定手段を制御することを特徴とする請求項１５に記載の撮像装置。
同一の条件を用いて前記分割領域の全ての領域の白判定処理を行い、画像の上部から算出された第１の色温度と、画像の下部から算出された第２の色温度とを比較し、前記第２の色温度が前記第１の色温度より高い場合には、前記分割領域の画像における位置にかかわらず、同一の条件を用いて白判定を行うように前記白判定手段を制御することを特徴とする請求項１８に記載の撮像装置。
前記分割領域毎に、複数の色評価値を算出する算出手段を更に有することを特徴とする請求項１乃至２７のいずれかに記載の撮像装置。
光学系と、
請求項１乃至請求項２８のいずれか１項に記載の撮像装置と、
を備える撮像システム。
撮像面に複数の光電変換素子が配置された撮像部と、前記撮像部を制御する制御部とを有し、を備える撮像装置の制御方法であって、
前記撮像面の第１の領域に配置された第１の光電変換素子群から、前記第１の領域を複数の領域に分割した分割領域毎に画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さい第２の領域に配置された第２の光電変換素子群から画像信号を読み出す第２のモードとを有し、前記第２のモードによる画像信号の読み出しと、その次の前記第２のモードによる画像信号の読み出しとの間に、前記第１のモードによる分割領域の画像信号の読み出しを行う撮像装置の制御方法であって、少なくとも前記第１のモードで読み出した画像信号に基づいて補正値を算出する工程と、
前記補正値に基づいて前記第２のモードで読み出した画像信号のホワイトバランス処理を行う工程と、
を含むことを特徴とする撮像装置の制御方法。
請求項３０に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。