JP2010021883A - オートホワイトバランス装置およびオートホワイトバランス方法 - Google Patents

Abstract

【課題】 撮像装置の分光分布特性が適切に反映され、かつ、その領域内の存在確認を迅速かつ確実に実行可能な無彩色領域に基づいて、高精度なホワイトバランス調整を行うことを目的とする。
【解決手段】 本発明のオートホワイトバランス装置は、画像信号の画面を複数のブロックに分割し、各ブロックの赤色信号、緑色信号、および青色信号からなる３原色信号の代表値を算出する代表値算出部１６４と、代表値をそれぞれ軸変換し所定の平面に配する軸変換部１６６と、軸変換された代表値が、所定の平面内で一次関数に所定数を加減算した帯状に形成される無彩色領域内に存在するか否かを判定する無彩色判定部１６８と、無彩色領域内に存在すると判断された１または複数のブロックを用いて３原色信号の増幅率を導出する増幅率導出部１７０と、を備えることを特徴とする。
【選択図】 図２

Description

本発明は、ホワイトバランス調整を自動的に行うオートホワイトバランス装置およびオートホワイトバランス方法に関する。

ビデオカメラ等の撮像装置では、被写体を照らす光源に拘わらず白く表現すべき色を自動的に調整するオートホワイトバランスが実現されている。オートホワイトバランスは、被写体は平均的に無彩色であり画面内の赤色信号、緑色信号、青色信号の３原色信号の平均値は等しくなる、という仮定に基づいて行われる。通常の撮影環境においては３原色信号がランダムに混入し結果的に上記の仮定が成立するが、有彩色が画面の大部分を占めている等、被写体によっては画像全体の平均値が無彩色とならない場合がある。画面が有彩色と判断されるこのような状況下において画面内の３原色信号のホワイトバランスを調整してしまうと、その有彩色を反映した白レベルが生成され、カラーフェイリア（color failure）が生じてしまう。

このようなカラーフェイリアを軽減するオートホワイトバランス装置として、特許文献１に示される技術が知られている。かかる技術では、画面（画像）を複数のブロックに分割し、各ブロックの赤色信号、緑色信号、青色信号（以下、単にＲ、Ｇ、Ｂと略す。）比の平均値を計算して、その平均値が予め定めた無彩色であると判定される領域（無彩色領域）に属しているブロックのみをオートホワイトバランス対象として抽出する。そして、抽出したブロック群のＲ、Ｇ、Ｂの平均値から３原色信号それぞれの増幅率を導出している。

また、カラーベクトル座標の原点を通過する黒体放射軌跡を、その原点を境とした２つの直線で近似し、その２つの近似直線に基づく２つの無彩色領域を用いてオートホワイトバランスを行う技術も開示されている（例えば、特許文献２）。
特開平５−２９２５３３号公報 特開２０００−７８６０５号公報

上述した従来技術はいずれも無彩色領域に含まれるブロックをオートホワイトバランスの対象とするものである。従って、その無彩色領域の設定によってホワイトバランスの結果が異なることとなる。例えば、上述した特許文献１においては、黒体放射軌跡が（Ｂ／Ｇ）×（Ｒ／Ｇ）＝１であることを前提に以下の条件を全て満たすように無彩色領域（図８）が定義される。
θ_１≦Ｂ／Ｇ≦θ_２
θ_３≦Ｒ／Ｇ≦θ_４
θ_５≦（Ｂ／Ｇ）×（Ｒ／Ｇ）≦θ_６
ただし、θ_１、θ_２、θ_３、θ_４、θ_５、θ_６は任意の定数。

上述した従来技術では、黒体放射の分光分布特性のみを踏まえて一意に無彩色領域を設定している。しかし、撮像装置内の３原色信号の増幅段まで、黒体（照明光）は、撮像レンズ、ＩＲカットフィルタ、ＣＣＤ（撮像回路）を経由する。つまり、ホワイトバランスの増幅率を算出する段階における映像信号（Ｒ、Ｇ、Ｂ）は、黒体の分光分布、撮像装置の撮像レンズの分光分布、ＩＲカットフィルタの分光分布、ＣＣＤの分光感度の積分値となり、黒体の分光分布のみでは黒体放射軌跡を正確に表すことができない。

このため、撮像装置に入力された段階での黒体放射軌跡が、（Ｂ／Ｇ）×（Ｒ／Ｇ）が一定となる反比例関数で近似できたとしても、撮像装置自体の分光分布特性により、ホワイトバランスの増幅率を算出する段階での黒体放射軌跡が反比例関数で近似できるとは限らない。

例えば、ホワイトバランスの増幅率を算出する段階において、図９に示すように黒体放射軌跡１０を直線（一次関数）で表すことができるとき、無彩色領域１２は図９中斜線で示す領域分だけ設定されれば十分である。しかし、従来技術では、無彩色領域を任意に定めることはできず、上述した反比例関数による無彩色領域１４への当て嵌めが行われるため、図９中実線で示されたように上記斜線で示す領域を包含する広い領域で無彩色領域１４を設定せざるを得なかった。

従って、無彩色領域が不適切に広がり、本来有彩色であると判断すべきブロックを無彩色と誤判断し、カラーフェイリアが増加する現象を招いていた。かかる現象は、ホワイトバランスの増幅率を算出する段階での黒体放射軌跡が反比例関数の形状と非類似であればあるほど顕著となっていた。

本発明は、このような課題に鑑み、撮像装置の分光分布特性が適切に反映され、かつ、その領域内の存在確認を迅速かつ確実に実行可能な無彩色領域に基づいて、高精度なホワイトバランス調整を行うことが可能なオートホワイトバランス装置およびオートホワイトバランス方法を提供することを目的としている。

上記課題を解決するために、本発明のオートホワイトバランス装置の代表的な構成は、画像信号の画面を複数のブロックに分割し、各ブロックの赤色信号、緑色信号、および青色信号からなる３原色信号の代表値を算出する代表値算出部と、代表値をそれぞれ軸変換し所定の平面に配する軸変換部と、軸変換された代表値が、所定の平面内で一次関数に所定数を加減算した帯状に形成される無彩色領域内に存在するか否かを判定する無彩色判定部と、無彩色領域内に存在すると判断された１または複数のブロックを用いて３原色信号の増幅率を導出する増幅率導出部と、を備えることを特徴とする。

上述したように撮像装置の分光分布特性の影響を考慮すると黒体放射軌跡やそれに対応した無彩色領域は、単に反比例関数で近似できるとは限らない。本発明では、撮像装置の分光分布特性が適切に反映された、即ち、撮像装置の撮像レンズ、ＩＲカットフィルタ、撮像回路等を経由した無彩色領域を設定することで、適切なホワイトバランス調整を行い、カラーフェイリアを回避すると共に、その無彩色領域を適切な軸変換を経た単純関数領域（一次関数に所定値を加減算した帯状の領域）で表すことで、代表値が無彩色領域内に含まれるか否かを迅速かつ確実に判定することができる。

軸変換は、青色信号／緑色信号−赤色信号／緑色信号平面における、黒体放射の分光分布特性および撮像装置の分光分布特性を反映した黒体放射軌跡に対する差分が最小となる近似関数を一次関数に置換する変換であってもよい。

無彩色判定部で用いられる無彩色領域は、撮像装置の分光分布特性を反映した黒体放射軌跡に対する差分が最小となる近似関数を一次関数に軸変換して生成される。従って、代表値も無彩色領域同様に軸変換することで、代表値が単純関数領域（無彩色領域）内に含まれているかどうかを容易に判定することができ、その無彩色領域包含判定に費やす負荷の軽減および処理能力の向上を図ることが可能となる。

軸変換は、緑色信号／青色信号−緑色信号／赤色信号平面における、黒体放射の分光分布特性および撮像装置の分光分布特性を反映した黒体放射軌跡に対する差分が最小となる近似関数を一次関数に置換する変換であってもよい。

本発明では、上述した青色信号／緑色信号−赤色信号／緑色信号平面では近似関数を当て嵌め困難な場合または当て嵌めに適さない場合に、基準面を緑色信号／青色信号−緑色信号／赤色信号平面として近似関数を求めている。かかる構成により、上述した発明同様、代表値を軸変換した値が、その単純関数領域内に含まれているかどうかを判定するだけで代表値の無彩色領域包含判定を容易に遂行することができ、負荷の軽減および処理能力の向上を図ることができる。

近似関数は、一次関数、反比例関数、累乗関数、指数関数、対数関数から選択された関数であってもよい。

かかる関数群は、青色信号／緑色信号軸または赤色信号／緑色信号軸のいずれかの軸を恒等変換または対数変換することによって一次関数となる関数群である。従って、本発明の目的である単純関数領域を形成するために上記のような多数の近似関数を適用することができるので、軌跡の配置の如何に拘わらず適切に黒体放射軌跡を近似することが可能となる。

帯状に形成される無彩色領域中の代表値は、一次関数の直線方向の端部に向かって赤色信号または青色信号の重み付けがなされてもよい。

本発明では、無彩色領域における一次関数の直線方向の端部も無彩色と判定されるものの、その点に存在する被写体は、実際、人の目を通じて赤味がかっていたり、青味がかっていたりする。従って、このような端部に近い領域に赤色信号または青色信号の重み付けを行うことで、人の目に近いホワイトバランスを実現することが可能となる。

本発明のオートホワイトバランス方法の代表的な構成は、画像信号の画面を複数のブロックに分割し、各ブロックの赤色信号、緑色信号、および青色信号からなる３原色信号の代表値を算出し、代表値それぞれに、黒体放射の分光分布特性と対象となる撮像装置の分光分布特性とを反映した黒体放射軌跡に対する差分が最小となる近似関数を一次関数に置換する軸変換を施し、軸変換された代表値が、一次関数に所定数を加減算し帯状に形成された無彩色領域内に存在するか否かを判定し、無彩色領域内に存在すると判断された１または複数のブロックを用いて３原色信号の増幅率を導出することを特徴とする。

上述したオートホワイトバランス装置における技術的思想に対応する構成要素やその説明は、当該オートホワイトバランス方法にも適用可能である。

以上説明したように、本発明によれば、撮像装置の分光分布特性が適切に反映され、かつ、その領域内の存在確認を迅速かつ確実に実行可能な無彩色領域に基づいて、高精度なホワイトバランス調整を行うことが可能となる。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

既存の撮像装置では、黒体放射軌跡が、例えば（青色信号Ｂ／緑色信号Ｇ）×（赤色信号Ｒ／緑色信号Ｇ）といったように定められており、無彩色領域も反比例関数とその周囲で固定されていた。さらに、撮像装置の分光分布特性の影響が考慮されていないので、設定された無彩色領域は本来の無彩色領域と相異し、カラーフェイリアの問題を生じていた。

本実施形態では、撮像装置の分光分布特性が適切に反映され、かつ、その領域内の存在確認を迅速かつ確実に実行可能な無彩色領域に基づいて、高精度なホワイトバランス調整を行うことを目的としている。以下、本実施形態のオートホワイトバランス装置としての撮像装置およびオートホワイトバランス方法を述べる。

（撮像装置１００）
図１は、本実施形態における撮像装置１００の一例を示した外観図である。撮像装置１００は、携帯性を有し、本体１０２と、撮像レンズ１０４と、操作キー１０６と、ビューファインダ１０８とを含んで構成される。

本体１０２は、撮像レンズ１０４を通じて撮像された画像データを再視聴可能に記録すると共に、操作キー１０６へのユーザ入力に応じてその記録タイミングや画角が調整される。また、画像データにおける画面内の所望する被写体の焦点および露光が所望する値になるよう自動調節される。ビューファインダ１０８は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)等で構成され、実録される画像データを視認することができる。撮影者は、そのビューファインダ１０８に表示された画像を参照しながら被写体を所望する位置および大きさで捉えることが可能となる。

かかる撮像装置１００において、撮像レンズ１０４から入射される黒体（照明光）は、３原色信号を増幅する段階までに、撮像レンズ、ＩＲカットフィルタ、ＣＣＤ（撮像回路）を経由する。つまり、ホワイトバランスの増幅率を算出する段階における映像信号Ｒ、Ｇ、Ｂは、数式１に示すように、黒体の分光分布Ｅ（λ）、撮像装置の撮像レンズの分光分布Ｌ（λ）、ＩＲカットフィルタの分光分布ｆ（λ）、撮像回路の分光感度Ｓ（λ）の積分値となる。
Ｒ ＝ ∫Ｅ（λ）×Ｌ（λ）×ｆ（λ）×Ｓ_Ｒ（λ）ｄλ
Ｇ ＝ ∫Ｅ（λ）×Ｌ（λ）×ｆ（λ）×Ｓ_Ｇ（λ）ｄλ …（数式１）
Ｂ ＝ ∫Ｅ（λ）×Ｌ（λ）×ｆ（λ）×Ｓ_Ｂ（λ）ｄλ
ただし、撮像回路の分光感度をＲ、Ｇ、Ｂそれぞれに関してＳ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂとする。

従って、撮像装置１００自体の分光分布特性により、ホワイトバランスの増幅率を算出する段階での黒体放射軌跡を単に反比例関数で近似すべきではない。

図２は、本実施形態における撮像装置１００の構成を示すブロック図である。撮像装置１００は、撮像部１２０と、中央制御部１２２と、信号出力部１２４と、記録部１２６とを含んで構成される。

撮像部１２０は、撮像レンズ１０４を通じて被写体を撮像し画像データを生成する。撮像部１２０は、具体的に、近赤外光を遮るＩＲカットフィルタ１４０、焦点調整に用いられるフォーカスレンズ１４２、露光調整に用いられる絞り１４４、撮像レンズ１０４を通じて入射する光を電気信号に変換するＣＣＤ等で構成される撮像回路（撮像素子）１４６、撮像回路１４６からの画像信号を増幅する増幅器１４８、増幅された画像信号をデジタルの画像データに変換するＡ／Ｄ変換器１５０、フォーカスレンズ１４２および絞り１４４を駆動させる駆動回路１５２とを含んで構成される。かかる撮像部１２０によって生成された画像データは、中央制御部１２２に転送される。

中央制御部１２２は、中央処理装置（ＣＰＵ）や信号処理装置（ＤＳＰ：Digital Signal Processor）を含む半導体集積回路により撮像装置１００全体を管理および制御し、撮像部１２０で撮像された画像データに基づいて画面全体の動きベクトル、移動体の抽出等を実行する。また、中央制御部１２２は、駆動回路１５２に対して制御信号を送信し、焦点調整や露光調整も行う。当該中央制御部１２２の詳細な構成は後ほど説明する。

信号出力部１２４は、Ｄ／Ａ変換器１５４を備え、画像データを視聴可能な画像信号に加工してビューファインダ１０８に出力する。撮影者は、かかるビューファインダ１０８の映像を視認しながら撮像対象を特定することができる。ここでは、画像信号の出力先をビューファインダ１０８としたが、別体のモニタ等様々な画像表示装置に接続することも可能である。

記録部１２６は、符号化処理を通じて符号化された記録信号（データストリーム）を生成し、画像データを任意の記録媒体１５６に記録する。任意の記録媒体１５６としては、ＤＶＤやＢＤといった電源不要な媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の電源を要する媒体を適用することができる。また、外部から接続可能な別体の記録媒体を用いることもできる。

また、上述した中央制御部１２２は、原色分離部１６０と、増幅部１６２と、代表値算出部１６４と、軸変換部１６６と、無彩色判定部１６８と、増幅率導出部１７０と、γ補正部１７２と、マトリクス部１７４としても機能する。

原色分離部１６０は、後段の画像処理のため、デジタル化された画像信号を赤色信号Ｒ、緑色信号Ｇ、青色信号Ｂに分離する。

増幅部１６２は、Ｒ、Ｇ、Ｂそれぞれの信号を増幅率ＧＲ、ＧＧ、ＧＢで独立して増幅する。かかる増幅率ＧＲ、ＧＧ、ＧＢは本実施形態によるオートホワイトバランスによって調整される。

代表値算出部１６４は、画像データの一画面を、例えば、水平方向に８つ、垂直方向に６つといった複数（８×６）のブロックに分割し、各ブロックの映像信号の代表値を算出する。かかるブロックの代表値は、各ブロックに含まれる画素のＲ信号成分、Ｇ信号成分、Ｂ信号成分の積算値と、各色信号成分の分散値とからなる。分散値は、輝度信号の大きさの２乗に比例して大きくなるため、算出するにあたっては各色信号成分の正規化が必要となる。また、Ｒ信号成分、Ｇ信号成分、Ｂ信号成分の平均値であってもよい。

軸変換部１６６は、代表値算出部１６４で算出された代表値を軸変換し、所定の平面（Ｂ／Ｇ−Ｒ／Ｇ平面をさらに軸変換した平面）に配する。かかる軸変換は、Ｂ／Ｇ−Ｒ／Ｇ平面における、黒体放射の分光分布特性および対象となる撮像装置の分光分布特性を反映した黒体放射軌跡に対する差分（例えば平均二乗誤差）が最小となる近似関数を一次関数に置換する変換である。また、Ｂ／Ｇ−Ｒ／Ｇ平面では近似関数を当て嵌め困難な場合または当て嵌めに適さない場合に、基準面をＧ／Ｂ−Ｇ／Ｒ平面として軸変換を実現してもよい。

後述する無彩色判定部１６８で用いられる無彩色領域は、撮像装置１００の分光分布特性を反映した黒体放射軌跡に対する差分が最小となる近似関数を一次関数に軸変換して生成される。従って、代表値算出部１６４で算出された代表値も無彩色領域同様に軸変換することで、代表値が単純関数領域（無彩色領域）内に含まれているかどうかを容易に判定することができ、その無彩色領域包含判定に費やす負荷の軽減および処理能力の向上を図ることが可能となる。

無彩色判定部１６８は、軸変換部１６６によって軸変換された代表値が、予め設定されている所定の平面内の無彩色領域内に存在するか否かを判定する。

図３は、無彩色領域を説明するための説明図である。かかる無彩色領域２００は、Ｂ／Ｇ−Ｒ／Ｇ平面における、黒体放射の分光分布特性と対象となる撮像装置１００の分光分布特性とを反映した黒体放射軌跡２０２に対する差分が最小となる近似関数２０４、例えばｙ＝ａｘ^ｂ＋ｃとその周囲からなる仮の無彩色領域２０６をさらに軸変換した領域であり、撮像装置１００の製造工程段階で予め設定される。ここでａ、ｂ、ｃは定数（係数）を示す。

撮像装置１００の分光分布特性も考慮した黒体放射軌跡２０２から無彩色領域２００を設定する構成により、無彩色領域包含判定を適切な範囲で実行でき、さらに、そのような近似関数２０４に基づく軸変換（例えば両軸共対数変換）を行うことで無彩色領域２００を単純関数領域（一次関数に所定値を加減算した帯状の領域）で表すことができ、迅速かつ確実に無彩色領域包含判定を行うことができる。

ここで、帯状とは、黒体放射軌跡の周囲、特に黒体放射軌跡が一次関数で示される場合その一次関数に平行する一次関数に囲まれた領域を含む表現であり、光源に応じて決まる、無彩色と判定することができる許容範囲を示す。また、加減算は、加算もしくは減算のいずれかまたは両方を示す。

増幅率導出部１７０は、無彩色領域２００内に存在すると判断された１または複数のブロックの３原色信号のみを用いてホワイトバランスの増幅率を導出する。かかるＲ、Ｇ、Ｂそれぞれの信号の増幅率ＧＲ、ＧＧ、ＧＢは、以下の式で表される。
ＧＲ＝（Ｒave＋Ｇave＋Ｂave）／３Ｒave
ＧＧ＝（Ｒave＋Ｇave＋Ｂave）／３Ｇave
ＧＢ＝（Ｒave＋Ｇave＋Ｂave）／３Ｂave
ここで、Ｒave、Ｂave 、及びＧaveは、対応する色信号成分の積算値を、抽出したブロック数で除算して得られる平均値である。

γ補正部１７２は、増幅部１６２を通じた赤色信号Ｒ、緑色信号Ｇ、青色信号Ｂに対してγ補正を行う。

マトリクス部１７４は、γ補正後の３原色信号のマトリクス演算を行い、輝度信号と、色差信号とを生成する。

以上説明したように、撮像装置１００の分光分布特性の影響を考慮すると黒体放射軌跡やそれに対応した無彩色領域は、単に反比例関数で近似できるとは限らない。本実施形態では、撮像装置１００の分光分布特性が適切に反映された、即ち、撮像装置１００の撮像レンズ１０４、ＩＲカットフィルタ１４０、撮像回路１４６等を経由した無彩色領域２００を設定することで、適切なホワイトバランス調整を行い、カラーフェイリアを回避すると共に、その無彩色領域２００を適切な軸変換を経た単純関数領域（一次関数に所定値を加減算した帯状の領域）で表すことで、代表値が無彩色領域２００内に含まれるか否かを迅速かつ確実に判定することができる。

以下、本実施形態において特徴的な、無彩色判定部１６８で用いられる無彩色領域の詳細な導出手順を説明する。

ここでは、まず、黒体の分光分布と撮像装置１００の分光分布より、３原色信号それぞれの増幅率を算出する段階での黒体放射軌跡を求め、この黒体放射軌跡を様々な関数（直線および曲線）で近似し、最も近似誤差の小さい関数を用いて無彩色領域を求める。

黒体と撮像装置１００の分光特性より、黒体に対する色信号Ｒ、Ｇ、Ｂを、数式２を用いて算出する。かかる色信号Ｒ、Ｇ、Ｂは撮像装置１００特有の値となる。
Ｒ＝ΣＥ（λ）×Ｌ（λ）×ｆ（λ）×Ｓ_Ｒ（λ）
Ｇ＝ΣＥ（λ）×Ｌ（λ）×ｆ（λ）×Ｓ_Ｇ（λ） …（数式２）
Ｂ＝ΣＥ（λ）×Ｌ（λ）×ｆ（λ）×Ｓ_Ｂ（λ）
ただし、黒体の分光特性はプランクの放射則により算出するものとし、色温度は室内と室外の照明光として予想される例えば約２７００Ｋ〜７５００Ｋとする。

ここで、上述した数式１と相異する式（数式２）を用いているのは、数式１が周波数λに対する連続値の式であるのに対して、数式２は、例えば５ｎｍのサンプリング周波数を有する離散値の積算値の式であり、デジタル処理に適しているからである。ここで、波長λは可視光である例えば３８０ｎｍ〜７８０ｎｍの範囲とする。

次に、算出した色温度毎の色信号値を正規化する。かかる正規化は、例えば、Ｂ、Ｒ信号値をＧ信号値で除算し、Ｂ／Ｇ、Ｒ／Ｇを求めることで実現する。このＢ／Ｇ、Ｒ／Ｇの値は、Ｂ／Ｇ−Ｒ／Ｇ平面上における撮像装置１００の分光分布特性を考慮した黒体放射軌跡２０２となる。

このとき、黒体放射軌跡２０２は、所定の関数上にプロットできるはずであるが、黒体以外の各種照明光が含まれると、その所定の関数の近くに分布することとなる。しかし、ＪＩＳ規格で光色毎に黒体軌跡からの分布の許容範囲が規定されているためこのような黒体以外照明光であっても所定の関数から大幅にずれることはない。

黒体放射軌跡２０２が求まると、続いてその黒体放射軌跡２０２を関数（近似関数）で近似する。かかる近似関数は、一次関数ｙ＝ａｘ＋ｂ、反比例関数ｙ＝ａ／ｘ＋ｂ、累乗関数ｙ＝ａｘ^ｂ＋ｃ、指数関数ｙ＝ａｅ^ｘ＋ｃ、対数関数ｙ＝ａ×ｌｎ（ｘ）＋ｂから選択された関数であってもよい。ここで、いずれのａ、ｂ、ｃも定数（係数）を示す。

また、上述した近似関数において、対数は底を自然対数の底eに限らず、「１０」や「２」といった数値で表すこともできる。さらに、Ｂ／Ｇ、Ｒ／Ｇの逆数、即ちＧ／Ｂ、Ｇ／Ｒによる平面Ｇ／Ｂ−Ｇ／Ｒを通じて近似関数を導出してもよい。このようにして導出された黒体放射軌跡の近似関数のうち、近似誤差が最小のものを選択する。近似誤差は、近似関数をfとすると、平均二乗誤差Σ（ｆ（ｘ）−ｙ）^２によって求められる。

上述した近似関数の関数群は、Ｂ／Ｇ軸またはＲ／Ｇ軸のいずれかの軸を恒等変換または対数変換することによって一次関数となる関数群である。従って、本実施形態の目的である単純関数領域を形成するために上記のような多数の近似関数を適用することができるので、軌跡の配置の如何に拘わらず適切に黒体放射軌跡２０２を近似することが可能となる。

図４は、撮像装置１００によって特性が異なる黒体放射軌跡２０２に対して様々な近似関数２０４で近似する例を示した説明図である。例えば図４（ａ）は一次関数ｙ＝ａｘ＋ｂ、図４（ｂ）は反比例関数ｙ＝ａ／ｘ＋ｂ、図４（ｃ）は累乗関数ｙ＝ａｘ^ｂ＋ｃ、図４（ｄ）は指数関数ｙ＝ａｅ^ｘ＋ｃ、図４（ｅ）は対数関数ｙ＝ａ×ｌｎ（ｘ）＋ｂが近似関数として選択されている。

続いて、選択された近似関数に基づいて、本実施形態の目的である無彩色領域への軸変換を決定する。本実施形態では、無彩色領域を単純関数領域で表し、無彩色領域包含判定に費やす負荷を軽減することを目的としている。従って、近似関数が選択されると、それを一次関数に変換する軸変換が一意に決まることとなる。例えば、近似関数が一次関数である場合は両軸とも恒等変換を行い、反比例関数、累乗関数である場合は両軸とも対数変換を行い、また、指数関数である場合は両軸を自然対数に変換することで直線になる。

例えば、既に説明した図３の例では、近似関数が累乗関数ｙ＝ａｘ^ｂ＋ｃとなるので、両辺の対数をとることでｌｏｇ（ｙ）＝ｂ×ｌｏｇ（ｘ）＋ｌｏｇ（ａ）となり、横軸をｌｏｇ（ｘ）、縦軸をｌｏｇ（ｙ）と軸変換することで、近似関数が曲線から直線となる。このように、処理負荷の少ない単純関数領域（一次関数に所定値を加減算した帯状の領域）によって代表値が無彩色領域内に含まれるか否かを迅速かつ確実に判定することができる。

次に、軸変換によって単純関数領域で示すことが可能となる無彩色領域を決定する。

図５は、無彩色領域２００を説明するための説明図である。例えば、無彩色領域２００は、図５（ａ）に示すように、近似関数２０４を軸変換したｙ＝ａｘ＋ｂで示される一次関数２１０と平行な２本の直線（ｙ＝ａｘ＋ｃ、ｙ＝ａｘ＋ｄ）２１２と、これに垂直な２本の直線（ｙ＝−ｘ／ａ＋ｆ、ｙ＝−ｘ／ａ＋ｇ）２１４とで囲まれる領域としている。ただし、ａ、ｂ、ｃ、ｄ、ｆ、ｇは定数（係数）を示す。

また、図５（ｂ）に示すように、無彩色領域２００を、一次関数２１０と平行な２本の直線２１２と、１つの円２１６で囲まれる領域としてもよい。ただし、円の中心は端点の逆数色温度の中間とする。即ち、端点が２７００Ｋと７５００Ｋの場合は逆数色温度がそれぞれ約３７０Ｍと約１３０Ｍであるから、中心は２５０Ｍに対応する色温度の黒体の座標となる。

また、各種蛍光灯の分光分布と撮像装置１００の分光分布とにより、各蛍光灯に対応した色信号を求めた後、本平面に則した座標変換を行い、図５（ｃ）に示すように、これらを全て含むような直線で囲んでもよい。

このような軸変換において、対数（ｌｏｇ）変換もまた負荷がかかるので、ホワイトバランス制御のプログラムを実施する際には、対数変換をＬＵＴ（Look Up Table）を用いて実行する。また、ｌｏｇ(Ｂ/Ｇ)のような計算に関しては、ｌｏｇ(Ｂ/Ｇ)＝ｌｏｇＢ−ｌｏｇＧであることを利用して除算を減算にすることで処理時間を短縮することができる。

以上のようにして求められた無彩色領域２００を用いて、本実施形態のホワイトバランス制御の無彩色領域包含判定を実行する。具体的には、図５（ａ）に対応した以下の式を用いる。
ａ×Ｆ_ｘ（ブロックのＢ／Ｇ）＋ｃ≦Ｆ_ｙ（ブロックのＲ／Ｇ）≦ａ×Ｆ_ｘ（ブロックのＢ／Ｇ）＋ｄ
かつ
（−１／ａ）×Ｆ_ｘ（ブロックのＢ／Ｇ）＋ｆ≦Ｆ_ｙ（ブロックのＲ／Ｇ）≦（−１／ａ）×Ｆ_ｘ（ブロックのＢ／Ｇ）＋ｇ
ただし、Ｆ_ｘ、Ｆ_ｙは横軸と縦軸方向の軸変換を表し、上記、累乗関数の例では、ともに対数変換することに相当する。

また、図５（ａ）のように形成される無彩色領域２００中の代表値は、一次関数の直線方向の端部に向かって赤色信号または青色信号の重み付けがなされる。

図６は、赤色信号または青色信号の重み付けを説明するための説明図である。本実施形態では、無彩色領域における一次関数の直線方向の端部も無彩色と判定されるものの、その点に存在する被写体は、実際、人の目を通じて赤味がかっていたり、青味がかっていたりする。例えば、本実施形態を単純に適用してしまうと赤味の強い照明光や青味のある日陰まで全て同色の白色となってしまう。かかる現象は、室内と室外の想定色温度を狭めることでも回避可能であるが、以下のような構成をとることにより容易に回避することができる。

まず、ホワイトバランスの増幅率が算出された後、図６（ａ）のような軸変換を行なった平面上でその逆数色温度を概算する。そして逆数色温度の値に応じて、この値が小さいときは青味を、大きいときは赤味を増加するよう補正する。具体的には、軸変換を行なった平面上で、ホワイトバランスの増幅率の座標を求め、その座標を通り一次関数２１０に平行な直線を考え、この直線に沿って、図６（ｂ）に示すように、ホワイトバランスの増幅率に赤色信号または青色信号の重み付けを行う。

このような端部に近い領域に赤色信号または青色信号の重み付けを行うことで、人の目に近いホワイトバランスを実現することが可能となる。

（オートホワイトバランス方法）
また、上述したオートホワイトバランス装置としての撮像装置１００を用いて、ホワイトバランス調整を自動的に行うオートホワイトバランス方法も提供される。

図７は、オートホワイトバランス方法の具体的な処理を示したフローチャートである。ここで、撮像装置１００の代表値算出部１６４は、画像信号の画面を複数のブロックに分割し（Ｓ３００）、各ブロックの赤色信号、緑色信号、および青色信号からなる３原色信号の代表値を算出する（Ｓ３０２）。

そして、軸変換部１６６は、代表値それぞれに、予め設定されている軸変換を施し（Ｓ３０４）、無彩色判定部１６８は、軸変換された代表値が、一次関数に所定数を加減算し帯状に形成された無彩色領域内に存在するか否かを判定する（Ｓ３０６）。

最後に、増幅率導出部１７０は、無彩色領域２００内に存在すると判断された１または複数のブロックを用いて３原色信号の増幅率を導出する（Ｓ３０８）。

かかるオートホワイトバランス方法によっても、撮像装置１００の分光分布特性が適切に反映され、かつ、その領域内の存在確認を迅速かつ確実に実行可能な無彩色領域に基づいて、高精度なホワイトバランス調整を行うことが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、オートホワイトバランス装置としてビデオカメラ等の撮像装置を例に挙げたが、かかる場合に限られず、デジタルカメラ等動画および静止画を撮像できる様々な光学的撮像装置に本実施形態を適用することができる。

なお、本明細書のオートホワイトバランス方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、ホワイトバランス調整を自動的に行うオートホワイトバランス装置およびオートホワイトバランス方法に利用することができる。

本実施形態における撮像装置の一例を示した外観図である。 本実施形態における撮像装置の構成を示すブロック図である。 無彩色領域を説明するための説明図である。 撮像装置によって特性が異なる黒体放射軌跡に対して様々な近似関数で近似する例を示した説明図である。 無彩色領域を説明するための説明図である。 赤色信号または青色信号の重み付けを説明するための説明図である。 オートホワイトバランス方法の具体的な処理を示したフローチャートである。 従来の無彩色領域を説明するための説明図である。 従来の無彩色領域を説明するための説明図である。

符号の説明

１００ …撮像装置
１０４ …撮像レンズ
１４０ …ＩＲカットフィルタ
１４６ …撮像回路
１６４ …代表値算出部
１６６ …軸変換部
１６８ …無彩色判定部
１７０ …増幅率導出部
２００ …無彩色領域
２０２ …黒体放射軌跡
２０４ …近似関数

Claims (6)

1. 画像信号の画面を複数のブロックに分割し、各ブロックの赤色信号、緑色信号、および青色信号からなる３原色信号の代表値を算出する代表値算出部と、
   前記代表値をそれぞれ軸変換し所定の平面に配する軸変換部と、
   前記軸変換された代表値が、前記所定の平面内で一次関数に所定数を加減算した帯状に形成される無彩色領域内に存在するか否かを判定する無彩色判定部と、
   前記無彩色領域内に存在すると判断された１または複数のブロックを用いて３原色信号の増幅率を導出する増幅率導出部と、
   を備えることを特徴とするオートホワイトバランス装置。
2. 前記軸変換は、青色信号／緑色信号−赤色信号／緑色信号平面における、黒体放射の分光分布特性および撮像装置の分光分布特性を反映した黒体放射軌跡に対する差分が最小となる近似関数を一次関数に置換する変換であることを特徴とする請求項１に記載のオートホワイトバランス装置。
3. 前記軸変換は、緑色信号／青色信号−緑色信号／赤色信号平面における、黒体放射の分光分布特性および撮像装置の分光分布特性を反映した黒体放射軌跡に対する差分が最小となる近似関数を一次関数に置換する変換であることを特徴とする請求項１に記載のオートホワイトバランス装置。
4. 前記近似関数は、一次関数、反比例関数、累乗関数、指数関数、対数関数から選択された関数であることを特徴とする請求項２または３に記載のオートホワイトバランス装置。
5. 前記帯状に形成される無彩色領域中の代表値は、前記一次関数の直線方向の端部に向かって赤色信号または青色信号の重み付けがなされることを特徴とする請求項１から４のいずれか１項に記載のオートホワイトバランス装置。
6. 画像信号の画面を複数のブロックに分割し、各ブロックの赤色信号、緑色信号、および青色信号からなる３原色信号の代表値を算出し、
   前記代表値それぞれに、黒体放射の分光分布特性と対象となる撮像装置の分光分布特性とを反映した黒体放射軌跡に対する差分が最小となる近似関数を一次関数に置換する軸変換を施し、
   前記軸変換された代表値が、一次関数に所定数を加減算し帯状に形成された無彩色領域内に存在するか否かを判定し、
   前記無彩色領域内に存在すると判断された１または複数のブロックを用いて３原色信号の増幅率を導出することを特徴とするオートホワイトバランス方法。