JP2006025167A - 撮像処理方法、撮像処理回路、および撮像装置 - Google Patents

Abstract

【課題】オートホワイトバランス調整を行なう撮像装置において、ホワイトバランスをとるに当たって、色信号のＳ／Ｎ劣化を緩和できるようにする。
【解決手段】発光色を調整可能な被写体Ｚを照射する色温度調整光源１００をデジタルスチルカメラ１に設ける。光源色検波部２３２は、撮像信号から得られる原色分離された色信号Ｓｒ３，Ｓｇ３，Ｓｂ３に基づき被写体を含む被写界の色温度を検知する。ホワイトバランスコントローラ２３４は、光源色検波部２３２で検知された被写界の色温度に基づき、“撮像信号の全体が白に近づくように”、被写体Ｚを照射する色温度調整光源１００から発せられる光源光Ｌ２の色温度を調整することで、ホワイトバランスをとる。この光源色の色温度調整でホワイトバランスをとり切れないときには、ホワイトバランスアンプ部２１０にて、色信号に対するゲイン調整を行なう。
【選択図】図３

Description

本発明は、撮像処理方法およびこの撮像処理方法を実施する撮像処理回路、並びに撮像処理回路を搭載した撮像装置に関する。より詳細には、ＣＣＤ(Charge Coupled Device) 撮像素子やＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）撮像素子などの撮像素子（撮像デバイス）を用いて撮像した結果として得られる色信号のホワイトバランスを自動的に調整する、いわゆるオートホワイトバランス機能をなす色処理に関する。

異なる色温度の光源下においても、人間は脳の中で無意識に補正をしているため、白い物は白として認識することができる。しかしながら、ＣＣＤ撮像素子やＣＭＯＳ撮像素子などの撮像素子（イメージセンサ）を用いて被写体画像を撮像すると、光源の色温度の影響を受け、白が白として出力されない。

たとえば、被写体に含まれる白色は、屋内などの色温度が低い環境で撮像した場合には赤っぽくなり、屋外などの色温度が高い環境で撮像した場合には青っぽくなるという現象が生じる。このことを、一般にホワイトバランスが崩れるといっている。なお、色温度とは、テスト光源と同じ色度を持った黒体の温度（Ｋ）をいう。

図６は、色差信号軸Ｒ−Ｙ，Ｂ−Ｙで示された色差座標面（具体的にはベクトルスコープ）上での黒体放射カーブ（黒体軌跡）と、オートホワイトバランス処理の関係を説明する図である。固体撮像素子を撮像デバイスとして用いた撮像装置では、被写体の白色を撮像した撮像結果において、その白色を無彩色の白色として映し出すために、光源の色温度が変化した場合に、図６に示すように、色温度の変化に応じて白色が黒体放射カーブに沿って移動し色付いて見える白色を、無彩色の白に合わせるオートホワイトバランス処理を行なうようにしている。なお、図６において、横軸は色差信号Ｂ−Ｙの振幅（ゲイン）を、縦軸は色差信号Ｒ−Ｙの振幅をそれぞれ示し、色差座標面の原点が無彩色の白となる。

ホワイトバランスが崩れる現象を解消するためには、従来、撮像素子で取得された撮像信号に対して、人間の目と合わせるために、照明光の色温度に拘らず、白い被写体が白く撮影されるように、オートホワイトバランス調整機能を撮像装置に搭載している（たとえば、非特許文献１参照）。たとえば、カメラ信号処理のオートホワイトバランス処理部にて、白が白と見えるように色分離された複数の色信号に所定のゲインをそれぞれ個別に掛け、補正を行なっている。

竹村裕夫，"ＣＣＤカメラ技術入門；６．６信号処理の実際"、コロナ社，1998.8.20初版第２刷，p.150〜153

このオートホワイトバランス処理としては種々の方式があるが、たとえば、色信号処理系において、フィールドごとの色信号（色差信号を含む）の積分値を求め、その結果から被写体の全体が白に近づくようにホワイトバランスアンプのゲインを一定量操作し、この手順を毎フィールド繰り返すことで、最終的にホワイトバランスをとる、いわゆるフィードバック制御方式のものがある。

あるいは、透過光の分光分布が異なるフィルタをそれぞれ備える複数の光電変換素子などから構成される測色センサを用いて被写体の周囲光の色温度を測定し、その測定結果をホワイトバランス制御情報として用いて、色信号（たとえば原色信号Ｒ，Ｇ，Ｂあるいは色差信号Ｒ−Ｇ，Ｂ−Ｇなど）のゲインを調整するフィードフォワード制御方式のものもある。

しかしながら、色信号のゲインを調整してホワイトバランスをとる場合、特定色の光が極端に少ないような光源の色温度条件下の場合には、光が少ない色に掛かるゲインがとても大きな値となり、色信号に対しゲインを掛けることによってノイズが増大し、Ｓ／Ｎ比（Signal to Noise ratio ）が悪化する。

本発明は、上記事情に鑑みてなされたものであり、ホワイトバランスをとるに当たって、色信号のＳ／Ｎ劣化を緩和することのできる仕組みを提供することを目的とする。

本発明に係る撮像処理方法においては、先ず被写体を照射する光源を用意する。この光源は、撮像装置の本体と一体的なものであってもよいし、別体のものであってもよい。また本体に対して着脱自在なものであってもよい。そして、被写体を含む被写界の色温度を検知し、この色温度の検知結果に基づき、ホワイトバランスがとれるように、被写体を照射する光源から発せられる照明光の色温度を調整することとした。なお、“ホワイトバランスがとれるように”とは、“撮像信号の全体が白に近づくように”という意味である。

本発明に係る撮像処理回路は、上記本発明に係る撮像処理方法を実施するのに好適な回路であって、被写体を含む被写界の色温度を検知する色温度検知部と、色温度検知部の検知結果に基づき、被写体を照射する光源から発せられる照明光の色温度を調整する色温度制御部とを備えるものとした。

また、本発明に係る撮像装置は、上記本発明に係る撮像処理方法を実施するのに好適な撮像装置であって、被写体を照射する光源と、被写体を含む被写界の色温度を検知する色温度検知部と、色温度検知部の検知結果に基づき、被写体を照射する光源から発せられる照明光の色温度を調整する色温度制御部とを備えるものとした。

また従属項に記載された発明は、本発明に係る撮像処理回路および撮像装置のさらなる有利な具体例を規定する。たとえば、光源としては、赤、緑、および青の３色の光を発する個別の発光ダイオードの組合せなど、３色の光を発する個別の発光素子の組合せで構成されているものとするのがよい。この場合、色温度制御部は、赤、緑、および青の個別の発光素子の少なくとも１つについて発光量を制御して３色の発光比を調整することで、全体としての照明光の色温度を調整する。

本発明によれば、被写体を含む被写界の色温度の検知結果に基づいて、ホワイトバランスがとれるように、被写体を照射する光源から発せられる照明光の色温度を調整するようにしたので、従前のような色信号に対するゲイン調整によるオートホワイトバランス調整を実質的に使用しなくてもオートホワイトバランス調整機能を実現できる。これにより、色信号に対するゲイン調整に起因したノイズ増大を防止することができる。

以下、図面を参照して本発明の実施形態について詳細に説明する。

＜デジタルスチルカメラの全体構成；ＣＣＤタイプ＞
図１は、本発明に係る撮像装置（カメラシステム）の第１実施形態を示す概略構成図である。第１実施形態の撮像装置は、固体撮像素子１０の一例であるたとえばインターライン転送（ＩＴ）方式で全画素読出しが可能なＣＣＤ固体撮像素子１１、被写体Ｚの光学像を取り込む撮像レンズ５０、およびＣＣＤ固体撮像素子１１を駆動する駆動制御部９６を有するカメラモジュール３と、カメラモジュール３により得られる撮像信号に基づいて映像信号を生成しモニタ出力したり所定の記憶メディアに画像を格納したりする本体ユニット４とを備えてなるデジタルスチルカメラ１として構成されている。なお、カメラモジュール３と本体ユニット４とを一体化した形態での撮像装置モジュールとして構成するようにしてもよい。

なお、このデジタルスチルカメラ１は、具体的には、フレーム読出方式を用いた静止画撮像動作時にカラー画像を撮像し得るカメラとして適用されるようになっている。また、フレーム読出方式としては、ＣＣＤ固体撮像素子１１と組み合わせることで、一般的な２フィールド読出方式に限らず、３フィールド、４フィールド、あるいは５フィールド、さらにはそれ以上など様々フィールド数の態様の読出方式を適用可能に構成されている。また、静止画撮像モードに限らず、間引き読みを利用して３０フレーム／秒に近いフレームレート（たとえば１０フレーム以上／秒）での動画撮影モードも用意されている。

カメラモジュール３内の駆動制御部９６には、ＣＣＤ固体撮像素子１１を駆動するための各種のパルス信号を生成するタイミング信号生成部４０と、このタイミング信号生成部４０からのパルス信号を受けて、ＣＣＤ固体撮像素子１１を駆動するためのドライブパルスに変換するドライバ（駆動部）４２と、ＣＣＤ固体撮像素子１１やドライバ４２などに電源供給する駆動電源４６が設けられている。

カメラモジュール３内の固体撮像素子１０（本例ではＣＣＤ固体撮像素子１１）と駆動制御部９６とにより固体撮像装置２が構成される。固体撮像装置２は、ＣＣＤ固体撮像素子１１と駆動制御部９６とが、１枚の回路基板上に配されたもの、あるいは１つの半導体基板上に形成されたものとして提供されるものであるのがよい。

ＣＣＤ固体撮像素子１１は、その構成例については図示を割愛するが、たとえば、半導体基板上に、画素（ユニットセル）に対応して受光素子の一例であるフォトダイオードなどからなるセンサ部（感光部；フォトセル）が多数、水平（行）方向および垂直（列）方向において２次元マトリクス状に配列されている。これらセンサ部は、受光面から入射した入射光をその光量に応じた電荷量の信号電荷に変換して蓄積する。

センサ部は、カラー画像撮像用途として、光が入射されるフォトダイオードなどの受光面には、複数色の色フィルタの組合せからなる色分解フィルタの何れかの色フィルタが設けられる。一例としては、いわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタを用いて、正方格子状に配されたセンサ部（単位画素）が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタ（原色フィルタ）に対応するように配される。あるいは、シアン（Ｃ），マゼンタ（Ｍ），イエロ（Ｙ），緑（Ｇ）の４色を組み合わせた補色フィルタ構成のものとしてもよい。

信号処理として、原色信号処理を行なう構成のものとする場合、原色フィルタとすれば、ＣＣＤ固体撮像素子１１にて得られる撮像信号（複数色の画素信号の組合せ）から、赤（Ｒ），緑（Ｇ），青（Ｂ）の原色信号を分離する原色分離部を割愛することができる。

またＣＣＤ固体撮像素子１１は、センサ部の垂直列ごとに６相もしくは８相駆動に対応する複数本の垂直転送電極が設けられる垂直ＣＣＤ（Ｖレジスタ部、垂直転送部）が配列される。垂直ＣＣＤの転送方向は図中縦方向であり、この方向に垂直ＣＣＤ１３が複数本並べられて設けられる。さらに、これら垂直ＣＣＤと各センサ部との間には読出ゲート（ＲＯＧ）が介在し、また各ユニットセルの境界部分にはチャネルストップが設けられる。これらセンサ部の垂直列ごとに設けられ、各センサ部から読出ゲート部によって読み出された信号電荷を垂直転送する複数本の垂直ＣＣＤによって撮像エリアが構成される。

センサ部に蓄積された信号電荷は、読出ゲート部に読出パルスＸＳＧに対応するドライブパルスが印加されることにより垂直ＣＣＤに読み出される。垂直ＣＣＤは、６相（あるいは８相）の垂直転送クロックＶ１〜Ｖ６（あるいはＶ８）に基づくドライブパルスφＶ１〜φＶ６（φＶ８）よって転送駆動され、読み出された信号電荷を水平ブランキング期間の一部にて１走査線（１ライン）に相当する部分ずつ順に垂直方向に転送する。この１ラインずつの垂直転送を、特にラインシフトという。

また、ＣＣＤ固体撮像素子１１には、複数本の垂直ＣＣＤの各転送先側端部すなわち、最後の行の垂直ＣＣＤに隣接して、所定（たとえば左右）方向に延在する水平ＣＣＤ（Ｈレジスタ部、水平転送部）が１ライン分設けられる。この水平ＣＣＤは、たとえば２相の水平転送クロックＨ１，Ｈ２に基づくドライブパルスφＨ１，φＨ２によって転送駆動され、複数本の垂直ＣＣＤから移された１ライン分の信号電荷を、水平ブランキング期間後の水平走査期間において順次水平方向に転送する。このため２相駆動に対応する複数本（２本）の水平転送電極が設けられる。

水平ＣＣＤの転送先の端部には、たとえばフローティング・ディフュージョン・アンプ（ＦＤＡ）構成の電荷電圧変換部が設けられる。この電荷電圧変換部は、水平ＣＣＤによって水平転送されてきた信号電荷を順次電圧信号に変換して出力する。この電圧信号は、被写体からの光の入射量に応じたＣＣＤ出力（Ｖout ）として導出される。以上により、インターライン転送方式のＣＣＤ固体撮像素子１１が構成される。

また、このデジタルスチルカメラ１の処理系統は、大別して、光学系５、信号処理系６、記録系７、表示系８、および制御系９から構成されている。なお、カメラモジュール３および本体ユニット４が、図示しない外装ケースに収容されて、実際の製品（完成品）が仕上がるのは言うまでもない。

光学系５は、シャッタ５２、被写体の光画像を集光するレンズ５４、および光画像の光量を調整する絞り５６を有する撮像レンズ５０と、集光された光画像を光電変換して電気信号に変換するＣＣＤ固体撮像素子１１とから構成されている。被写体Ｚからの光Ｌ１は、シャッタ５２およびレンズ５４を透過し、絞り５６により調整されて、適度な明るさでＣＣＤ固体撮像素子１１に入射する。このとき、レンズ５４は、被写体Ｚからの光Ｌ１からなる映像が、ＣＣＤ固体撮像素子１１上で結像されるように焦点位置を調整する。

信号処理系６は、ＣＣＤ固体撮像素子１１からのアナログ撮像信号を増幅する増幅アンプや、増幅された撮像信号をサンプリングすることによってノイズを低減させるＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路などを有するプリアンプ部６２、プリアンプ部６２が出力するアナログ信号をデジタル信号に変換するＡ／Ｄ（Analog/Digital）変換部６４、Ａ／Ｄ変換部６４から入力されるデジタル信号に所定の画像処理を施すＤＳＰ（Digital Signal Processor）で構成されたカメラ信号処理ＬＳＩ（Large Scale Integrated Circuit；大規模集積回路）としての画像信号処理部６６から構成される。

画像信号処理部６６は、たとえば、補色の撮像データから、赤（Ｒ），緑（Ｇ），青（Ｂ）の原色信号を分離・同時化する原色分離処理、原色の撮像データ（Ｒ，Ｇ，Ｂの各画素データ）を同時化する同時化処理、ホワイトバランス（ＷＢ；White Balance ）調整を制御するＷＢ制御処理、階調度合いを調整するガンマ補正処理、あるいは輝度データ（Ｙ）や色データ（Ｃ）を生成するＹＣ信号生成処理などを行なう。また、ＣＣＤ固体撮像素子１１を駆動するタイミングパルスの基準を示す同期信号を生成する機能も持つ。

このＤＳＰで構成される画像信号処理部６６は、各機能部分の全ての処理をそれぞれ専用のハードウェアによるデジタル処理回路で行なう構成とすることもできるし、これら機能部分の一部をソフトウェア処理で行なう構成とすることもできる。

ソフトウェアで所定の処理を行なう仕組みは、並列処理や連続処理に柔軟に対処し得るものの、処理が複雑になるに連れ、処理時間が長くなるため、処理速度の低下が問題となる。これに対して、ハードウェア処理回路で行なうことで、高速化を図ったアクセラレータシステムを構築することができるようになる。アクセラレータシステムは、処理が複雑であっても、処理速度の低下を防ぐことができ、高いスループットを得ることができる。

記録系７は、画像データを記憶するフラッシュメモリなどの装置に対して着脱可能なメモリ（記録媒体）７２と、画像信号処理部６６が処理した画像データを符号化（圧縮）してメモリ７２に記録し、また、読み出して復号（伸長）し画像信号処理部６６に供給するＣＯＤＥＣ（Compression/Decompression ）７４とから構成されている。

表示系８は、画像信号処理部６６が処理した画像信号をアナログ化するＤ／Ａ（Digital/Analog）変換部８２、入力されるビデオ信号に対応する画像を表示することによりファインダとして機能する液晶（ＬＣＤ；Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）などよりなるビデオモニタ８４、およびアナログ化された画像信号を後段のビデオモニタ８４に適合する形式のビデオ信号にエンコードするビデオエンコーダ８６から構成されている。なお、Ｄ／Ａ変換部８２とビデオエンコーダ８６との配置を逆にして、エンコード処理をデジタル処理で行なう構成とすることもできる。この場合、ビデオエンコーダ８６を画像信号処理部６６に取り込むこともできる。

制御系９は、先ずデジタルスチルカメラ１の全体を制御するＣＰＵ（Central Processing Unit ）などよりなる中央制御部９２と、読出専用の記憶部であるＲＯＭ（Read Only Memory）９３ａ、随時書込みおよび読出しが可能であるともに揮発性の記憶部の一例であるＲＡＭ（Random Access Memory）９３ｂ、不揮発性の記憶部の一例であるＲＡＭ（ＮＶＲＡＭと記述する）９３ｃ、白点位置情報や各種調整データなど装置個別のデータを格納する不揮発性の記憶部の一例であるＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）９３ｄを有する記憶部（メモリ部）９３とを備えている。なお、ＣＰＵなどからなる中央制御部９２やＥＥＰＲＯＭ９３ｄを除く記憶部９３の各種メモリはＤＳＰで構成された画像信号処理部６６に取り込むこともできる。

上記において“揮発性の記憶部”とは、デジタルスチルカメラ１の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、デジタルスチルカメラ１のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。なお、特殊用途として、半導体製のメモリ素子により構成することに限らず、外付けの駆動装置を利用することで、磁気ディスクや光ディスクなどの外部媒体を利用して構成してもよい。

このような電子計算機のように構成されるデジタルスチルカメラ１においては、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、記録媒体（本例ではＲＯＭ９３ａ）からインストールされる。このソフトウェアの中には、コンピュータ上で稼働するＯＳ（オペレーティングシステム；基本ソフト）も含まれる。

なお、所定の処理を中央制御部９２に実行させるプログラムは、ＣＤ−ＲＯＭやフラッシュメモリなどの不揮発性の半導体メモリカードなど、任意の可搬型の記憶媒体を通じて配布（取得や更新）されてもよいし、あるいは、サーバなどからインターネットなどのネットワークを経由してプログラムをダウンロードして取得したり、あるいは更新したりしてもよい。

中央制御部９２は、半導体メモリなどで構成された記憶部９３のＲＯＭ９３ａに記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、あるいはユーザからのコマンドなどに基づいてデジタルスチルカメラ１の全体の動作や信号処理を制御する。ＣＰＵやメモリを利用してソフトウェア的にデジタルスチルカメラ１を構成する、すなわちパーソナルコンピュータなどのコンピュータ（電子計算機）の機能を利用してデジタルスチルカメラ１をソフトウェア的に機能させる構成が実現される。

このような構成において、中央制御部９２は、システムバス９９を介してシステム全体の制御を行なう。ＲＯＭ９３ａは、中央制御部９２の制御プログラムなど装置共通のデータを格納する。ＲＡＭ９３ｂは、ＳＲＡＭ（Static Random Access Memory ）などで構成され、プログラム制御変数や各種処理のためのデータなどを格納する。また、ＲＡＭ９３ｂは、固体撮像素子１０で読み取った画像データや、所定のアプリケーションプログラムによって編集した画像データやメモリ７２から読み取った画像データなどを一時的に格納する領域を含んでいる。

また制御系９は、画像信号処理部６６に送られた画像の明るさが適度な明るさを保つようにシャッタ５２や絞り５６を制御する露出コントローラ９４、ＣＣＤ固体撮像素子１１から画像信号処理部６６までの各機能部の動作タイミングを制御するタイミング信号生成部（タイミングジェネレータ；ＴＧ）４０を具備した駆動制御部９６、ユーザがシャッタタイミングやその他のコマンドを入力する操作部９８を有する。 中央制御部９２は、デジタルスチルカメラ１のシステムバス９９に接続された画像信号処理部６６、ＣＯＤＥＣ７４、メモリ７２、露出コントローラ９４、およびタイミング信号生成部４０を制御している。

このデジタルスチルカメラ１では、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）、自動露光（ＡＥ）などの自動制御装置を備えている。これらの制御は、ＣＣＤ固体撮像素子１１から得られる出力信号を使用して処理する。たとえば、露出コントローラ９４は、画像信号処理部６６に送られた画像の明るさが適度な明るさを保つようにその制御値が中央制御部９２により設定され、その制御値に従って絞り５６を制御する。具体的には、中央制御部９２が画像信号処理部６６に保持されている画像から適当な個数の輝度値のサンプルを獲得し、その平均値があらかじめ定められた適当とされる輝度の範囲に収まるように絞り５６の制御値を設定する。

タイミング信号生成部４０は、中央制御部９２により制御され、ＣＣＤ固体撮像素子１１、プリアンプ部６２、Ａ／Ｄ変換部６４、および画像信号処理部６６の動作に必要とされるタイミングパルスを発生し、各部に供給する。操作部９８は、ユーザが、デジタルスチルカメラ１を動作させるとき操作される。

図示した例は、信号処理系６のプリアンプ部６２およびＡ／Ｄ変換部６４をカメラモジュール３に内蔵しているが、このような構成に限らず、プリアンプ部６２やＡ／Ｄ変換部６４を本体ユニット４内に設ける構成を採ることもできる。またＤ／Ａ変換部を画像信号処理部６６内に設ける構成を採ることもできる。

また、タイミング信号生成部４０をカメラモジュール３に内蔵しているが、このような構成に限らず、タイミング信号生成部４０を本体ユニット４内に設ける構成を採ることもできる。またタイミング信号生成部４０とドライバ４２とが別体のものとしているが、このような構成に限らず、両者を一体化させたもの（ドライバ内蔵のタイミングジェネレータ）としてもよい。こうすることで、よりコンパクトな（小型の）デジタルスチルカメラ１を構成できる。

また、タイミング信号生成部４０やドライバ４２は、それぞれ個別のディスクリート部材で回路構成されたものでもよいが、１つの半導体基板上に回路形成されたＩＣ（Integrated Circuit）として提供されるものであるのがよい。こうすることで、コンパクトにできるだけなく、部材の取扱いが容易になるし、両者を低コストで実現できる。また、デジタルスチルカメラ１の製造が容易になる。また、使用するＣＣＤ固体撮像素子１１との関わりの強い部分であるタイミング信号生成部４０やドライバ４２をＣＣＤ固体撮像素子１１と共通の基板に搭載することで一体化させる、あるいはカメラモジュール３内に搭載することで一体化させると、部材の取扱いや管理が簡易になる。また、これらがモジュールとして一体となっているので、デジタルスチルカメラ１（の完成品）の製造も容易になる。なお、カメラモジュール３は、ＣＣＤ固体撮像素子１１および光学系５からのみ構成されていても構わない。

ここで、本実施形態のデジタルスチルカメラ１には、本実施形態特有の構成として、デジタルスチルカメラ１の筐体に対して一体的に設けられた色温度調整光源１００と、この色温度調整光源１００を制御する光源制御部１１０とを備えている。色温度調整光源１００への電力供給は本体から行なってもよいし、撮像装置の消費電力低減のため、専用の別電源を用意してもよい。

なお、図では模式的に示しているが、実装形態としては、たとえば、色温度調整光源１００を、デジタルスチルカメラ１の本体における撮像レンズ５０の開口側近傍に配するのがよい。また本体のマウントに対して着脱自在な構成としておき必要に応じて本体と一体的に取扱可能にしてもよい。また、色温度調整光源１００の発光窓部には、たとえば光源部から発せられる光を被写体方向に反射する反射笠や、指向性の高い光を拡散させ均一になるようにする拡散板や、拡散した光の広がりを所定角度内に規制するフレネルレンズなどを設け、光源光Ｌ２が効率よく被写体Ｚに照射されるようにするのがよい。

色温度調整光源１００としては、発光色を任意（連続的制御もしくは段階的制御の何れでもよい）に変更可能なものであればよく、ＬＥＤ（Light Emitting Diode；発光ダイオード）や有機ＥＬあるいはプラズマ発光素子など、種々の形態の光源を使用することができる。

本実施形態においては、それぞれ発光光の分光分布（以下発光色ともいう）が異なる複数個のＬＥＤ（Light Emitting Diode；発光ダイオード）を発光素子として備えたものとする。本実施形態では、Ｒ（赤），Ｇ（緑），Ｂ（青）の３色の成分のＬＥＤ（それぞれ１００Ｒ，１００Ｇ，１００Ｂ）、すなわち発光スペクトルのピーク波長が６００〜７４０ｎｍである赤色（Ｒ）領域のＬＥＤ１００Ｒ、発光スペクトルのピーク波長が５００〜６００ｎｍである緑色（Ｇ）領域のＬＥＤ１００Ｇ、および発光スペクトルのピーク波長が３８０〜５００ｎｍである青色（Ｂ）領域のＬＥＤ１００Ｂを用いるものとする。輝度制御信号Ｊｒ，Ｊｇ，Ｊｂによって各ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂの発光輝度を個別に制御でき、これによって光源の発光色を調整することができる。

また、所定の発光色（Ｒ，Ｇ，Ｂの何れか）を発する各ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂも、それぞれが単一のＬＥＤからなるものとすることに限らず、それぞれ同一の発光色（Ｒ，Ｇ，Ｂの何れか）を発する複数個のＬＥＤをたとえばアレー状に多数配設するなど、ＬＥＤの組合せ（ＬＥＤ群）で構成するようにしてもよい。この場合、ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂの数はそれぞれ同数でなくてもよい。複数個を組合せた場合、照射角を広げることができる、あるいは高照度に対応できるなどの利点がある。

もちろん、ＬＥＤに代えて、発光スペクトルのピーク波長が６００〜７４０ｎｍである赤色（Ｒ）領域の有機ＥＬやプラズマ発光素子、発光スペクトルのピーク波長が５００〜６００ｎｍである緑色（Ｇ）領域の有機ＥＬやプラズマ発光素子、および発光スペクトルのピーク波長が３８０〜５００ｎｍである青色（Ｂ）領域の有機ＥＬやプラズマ発光素子が、多数アレイ状に配列されて構成された有機ＥＬパネルやプラズマ発光素子パネルとしてもよい。

光源制御部１１０は、中央制御部９２からの指示に基づき、色温度調整光源１００から出力（照射）される光源光Ｌ２の色温度を調整することで、被写体Ｚを含む撮像範囲の全体（以下被写界ともいう）の光源色の色温度を調整する。たとえば、理想的なタングステン光下での撮影時には、ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂのそれぞれを最高輝度に発光（フル発光ともいう）させたときに白色光（一般概念での白色を意味する）となるような割合にする。

また、屋内などの色温度が低い環境で撮像する場合や屋外などの色温度が高い環境で撮像する場合には、それぞれの条件下での色温度を補正するように、各ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂから発せられる光源光Ｌ２（それぞれＬ２Ｒ，Ｌ２Ｇ，Ｌ２Ｂ）の発光輝度をそれぞれ個別に調整することで、色温度調整光源１００から発せられる光源光Ｌ２の色温度を調整するようにする。

この調整に際しては、ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂの全ての発光輝度を調整する必要はなく、赤、緑、および青の個別のＬＥＤ１００Ｒ，１００Ｇ，１００Ｂの少なくとも１つについて発光量を制御して３色の発光比を調整するものであればよい。たとえば、ＬＥＤ１００Ｇの発光輝度を一定にしつつ、残りのＬＥＤ１００Ｒ，１００Ｂの発光輝度を調整するようにしてもよい。

この光源光Ｌ２の色温度調整によって、基本的には、画像信号処理部６６における色信号に対するゲイン調整によるホワイトバランス調整を不要とする。ただし、これは理想的なもので、光源光Ｌ２に対する色温度調整で補いきれいな残留分を調整する目的で、画像信号処理部６６に、色信号に対するゲイン調整によるホワイトバランス調整機能を持つようにする。この点については、後で詳しく説明する。

このようなＣＣＤ固体撮像素子１１を備えたデジタルスチルカメラ１の一連の動作を概説すれば以下の通りである。先ず、タイミング信号生成部４０は、垂直転送用の転送クロックＶ１〜Ｖ６（Ｖ８）や読出パルスＸＳＧなどの種々のパルス信号を生成する。これらのパルス信号は、ドライバ４２により所定電圧レベルのドライブパルスに変換された後に、ＣＣＤ固体撮像素子１１の所定端子に入力される。

被写体Ｚを撮像する際に、オートホワイトバランス調整モードが設定されている場合、色温度調整光源１００から所定色温度の光源光Ｌ２を被写体Ｚに照射する。撮像レンズ５０（シャッタ５２およびレンズ５４）を介してＣＣＤ固体撮像素子１１の受光面に結像された被写体Ｚの光学像は、フォトダイオードなどからなる各センサ部で光の入射光量に応じた量の信号電荷に変換される。

センサ部の各々に蓄積された信号電荷は、タイミング信号生成部４０から発せられた読出パルスＸＳＧが読出ゲート部の転送チャネル端子電極に印加され、転送チャネル端子電極下のポテンシャルが深くなることにより、当該読出ゲート部を通して垂直ＣＣＤに読み出される。そして、６相（８相）の垂直ドライブパルスφＶ１〜φＶ６（φＶ８）に基づいて垂直ＣＣＤが駆動されることで、順次水平ＣＣＤへ転送される。

なお、蓄積した信号電荷をシャッタゲートパルスによって掃出可能な構造のものとすれば、電荷の蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を実現できる。この場合、撮像レンズ５０のシャッタ５２を取り外すことができ、光学系５をコンパクトにすることができる。

水平ＣＣＤは、タイミング信号生成部４０から発せられドライバ４２により所定電圧レベルの変換された２相の水平ドライブパルスφＨ１，φＨ２に基づいて、複数本の垂直ＣＣＤの各々から垂直転送された１ラインに相当する信号電荷を順次電荷電圧変換部側に水平転送する。

電荷電圧変換部は、水平ＣＣＤから順に注入される信号電荷を図示しないフローティングディフュージョンに蓄積し、この蓄積した信号電荷を信号電圧に変換し、たとえば図示しないソースフォロア構成の出力回路を介して、タイミング信号生成部４０から発せられたリセットパルスＲＧの制御の元に撮像信号（ＣＣＤ出力信号）Ｖout として出力する。

すなわち上記ＣＣＤ固体撮像素子１１においては、センサ部を縦横に２次元状に配置してなる撮像エリアで検出した信号電荷を、各センサ部の垂直列に対応して設けられた垂直ＣＣＤにより水平ＣＣＤまで垂直転送し、この後、２相の水平転送パルスＨ１，Ｈ２に基づいて、信号電荷を水平ＣＣＤにより水平方向に転送するようにしている。そして、電荷電圧変換部にて水平ＣＣＤからの信号電荷に対応した電位に変換してから出力するという動作を繰り返す。

ＣＣＤ固体撮像素子１１から順次読み出された電圧信号、すなわち画素に対応するＲ，Ｇ，Ｂの各画素信号は、タイミング信号生成部４０からの各サンプルパルスなどに基づき、プリアンプ部６２にてＣＤＳ処理などが施され、Ａ／Ｄ変換部６４にてデジタルのＲ,Ｇ，Ｂの各画素データに変換された後、一旦、記憶部９３のＲＡＭ９３ｂに格納される。

ＲＡＭ９３ｂに格納されたＲ，Ｇ，Ｂの各画素データは、画像信号処理部６６にて、同時化処理やガンマ補正処理などが施された後、輝度データＹと色（クロマ）データＵ，Ｖ（あるいはＣｒ，Ｃｂ）（纏めてＹＣデータともいう）に変換され、記憶部９３のＲＡＭ９３ｂに一旦格納される。

表示系８では、ＲＡＭ９３ｂに格納したＹＣデータを読み出し、液晶などからなるビデオモニタ８４に出力することにより、スルー画像や撮影された静止画などを表示させることができる。

また、撮影後のＹＣデータは、圧縮／伸長機能を持つＣＯＤＥＣ７４によって、ＪＰＥＧ（Joint Photographic Experts Group）などの所定のフォーマットに圧縮されたのち、メモリ７２などの記録媒体に記録される。さらに、再生モード時にはメモリ７２などに記録されている画像データがＣＯＤＥＣ７４によって伸長処理された後、ビデオモニタ８４に出力され、再生画像が表示される。

＜デジタルスチルカメラの全体構成；ＣＭＯＳタイプ＞
図２は、本発明に係る撮像装置の第２実施形態を示す概略構成図である。第２実施形態の撮像装置は、第１実施形態におけるＣＣＤ固体撮像素子１１をＣＭＯＳ撮像素子１２に変更しており、この変更に応じて、プリアンプ部６２、Ａ／Ｄ変換部６４、および駆動制御部９６と同等の機能を持つ回路部をＣＭＯＳ撮像素子１２に取り込むように変更している。その他の点は、第１実施形態と同じである。

なお、ＤＳＰで構成された画像信号処理部６６には、ＣＰＵなどからなる中央制御部９２やＥＥＰＲＯＭ９３ｄを除く記憶部９３の各種メモリを取り込み、ＣＭＯＳ撮像素子１２を主要部とするカメラモジュール３と、画像信号処理部６６やＥＥＰＲＯＭ９３ｄとを含んで撮像装置モジュール３ａを構成するようにしている。

ＣＭＯＳ撮像素子１２は、その構成例については図示を割愛するが、先ず、センサ部にフォトダイオードなどを用いる点やカラー画像撮像用の色分離フィルタを設ける点は、ＣＣＤ固体撮像素子１１の場合と同様である。

ＣＭＯＳ撮像素子１２は、入射光量に応じた電気信号を出力するフォトダイオードなどの光電変換素子を含む複数個のセンサ部（画素）が行および列に配列された（すなわち２次元マトリクス状の）画素部（撮像部）１２ａを有し、各画素からの信号出力が電圧信号であって、ＣＤＳ処理機能部やデジタル変換部（ＡＤＣ；Analog Digital Converter）などのデータ処理を行なうカラム処理部１２ｂが列並列に設けられている。また、多数のセンサ部で構成される撮像部の周辺には、ＣＭＯＳ撮像素子１２を駆動・制御する駆動制御部１２ｃの他、図示しないカラム処理部にＡＤ変換用の参照電圧を供給する参照信号生成部や出力回路などを備えている。

“列並列にデータ処理部が設けられている”とは、垂直列の垂直信号線に対して実質的に並列に複数のＣＤＳ処理機能部やデジタル変換部が設けられていることを意味する。複数の各機能部は、デバイスを平面視したときに、ともに撮像部に対して列方向の一方の端縁側（出力側）にのみ配されている形態のものであってもよいし、画素部に対して列方向の一方の端縁側（出力側）とその反対側である他方の端縁側に分けて配されている形態のものであってもよい。後者の場合、行方向の読出走査（水平走査）を行なう水平走査部も、各端縁側に分けて配して、それぞれが独立に動作可能に構成するのがよい。

駆動制御部は、撮像部の信号を順次読み出すための制御回路機能を備えている。たとえば、制御回路機能としては、列アドレスや列走査を制御する水平走査部（列走査回路）と、行アドレスや行走査を制御する垂直走査部（行走査回路）と、内部クロックを生成するなどの機能を持つ通信・タイミング制御部とを備える。

水平走査部は、カラム処理部からカウント値を読み出す読出走査部の機能を持つ。これらの駆動制御部の各要素は、撮像部とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子（撮像デバイス）として構成される。

垂直走査部は、画素部１２ａの行を選択し、その行に必要なパルスを供給する。たとえば、垂直方向の読出行を規定する（画素部１２ａの行を選択する）垂直デコーダと、垂直デコーダにて規定された読出アドレス上（行方向）の単位画素に対する行制御線にパルスを供給して駆動する垂直駆動回路とを有する。なお、垂直デコーダは、信号を読み出す行の他に、電子シャッタ用の行なども選択する。

水平走査部は、低速クロックに同期してカラム処理部１２ｂのカラムＡＤ回路を順番に選択し、その信号を水平信号線（水平出力線）に導く。たとえば、水平方向の読出列を規定する（カラム処理部１２ｂ内の個々のカラムＡＤ回路を選択する）水平デコーダと、水平デコーダにて規定された読出アドレスに従って、カラム処理部１２ｂの各信号を水平信号線に導く水平駆動回路とを有する。なお、水平信号線は、たとえばカラムＡＤ回路が取り扱うビット数ｎ（ｎは正の整数）分、たとえば１０（＝ｎ）ビットならば、そのビット数分に対応して１０本配置される。

ＣＭＯＳセンサは、Ｘ−Ｙアドレス型固体撮像素子の一例であり、アドレス指定によって任意の位置の画素から信号を取り出すことができ、画素で得られた信号電荷をシフトレジスタで画素を選択して順番に読み出すＣＣＤ(Charge Coupled Device )型イメージセンサと異なり、画素の信号を読み出す順番を比較的自由に設定可能であるという特徴を有する。

たとえば、デジタルスチルカメラに代表される静止画の撮像技術では、撮像デバイスとして多画素のＣＭＯＳ型固体撮像素子を用い、全画素の画素情報を独立に読み出すことによって静止画を得る“全画素読出モード”がよく知られているが、このモードの他に、たとえば行や列を数個ずつ飛ばしながら読み出す“間引き読出モード”、たとえば行や列を数個ずつ（隣接した画素に限らない）選択して読み出し加算して出力する“加算読出モード”などの動作がセンサ側で簡単に実現できる。

間引き読出モードは、たとえば、被写体を確認している段階（モニタリングモード）で、液晶モニタの画素数に応じた荒い画像（低解像度の画像）で出力したり、動画については画素情報を間引きすることによって情報量を減少させて伝送したりする際に利用される。また、加算読出モードは、複数行（たとえば２行）から信号を出力して、それらを加算することで、ダイナミックレンジを拡大する目的で使用される。

また、カメラ部分を１８０度回転したときにモニタ上で画像が反転しないようにするなどの目的で、反転読出しを行なう逆方向読出モード（ミラー処理）が要求されることもある。この逆方向読出モードとは、順方向読出モードにおけるアドレス走査の順に対して逆方向に走査するモードであり、このモードもセンサ側で簡単に実現できる。たとえば、順方向読出モード時には行や列のアドレスを小さい方から順番に走査する場合、逆方向読出モードでは、行や列のアドレスを大きい方から小さい方に走査する。

なお、カラム処理部１２ｂと出力部とのインタフェースや水平走査部の構成によっては、必ずしも水平方向の逆転読出しがセンサ側で実現できないこともある。この場合、水平方向のミラー処理は、画像信号処理部６６で実現すればよい。

このような構成のＣＭＯＳ撮像素子１２を備えたデジタルスチルカメラ１において、単位画素から出力された画素信号は、垂直列ごとに、垂直信号線を介して、カラム処理部１２ｂのカラムＡＤ回路に供給される。単位画素を構成する増幅用トランジスタは各垂直信号線に接続されている。

カラム処理部１２ｂの各カラムＡＤ回路は、１列分の画素の信号を受けて、その信号をデジタルデータに変換する。ＡＤ回路の構成については、詳細は説明を割愛するが、一例としては、コンパレータ（電圧比較器）にランプ状の参照信号（参照電圧）を供給すると同時にクロック信号でのカウント（計数）を開始し、垂直信号線を介して入力されたアナログの画素信号を参照信号と比較することによってパルス信号が得られるまでカウントすることでＡＤ変換を行なう。

また、この際、回路構成を工夫することで、ＡＤ変換とともに、垂直信号線を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル（ノイズレベル）と真の（受光光量に応じた）信号レベルとの差分をとる処理を行なうことができる。これにより、固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除くことができる。

このカラムＡＤ回路でデジタル化された画素データは、水平走査部からの水平選択信号により駆動される図示しない水平選択スイッチを介して水平信号線に伝達され、さらに出力回路に入力される。

このような構成によって、電荷生成部としての受光素子が行列状に配された画素部１２ａからは、行ごとに各垂直列について画素信号が順次出力される。そして、受光素子（フォトダイオードなどの光電変換素子）が行列状に配された画素部１２ａに対応する１枚分の画像すなわちフレーム画像が、画素部１２ａ全体の画素信号の集合で示される。

＜＜ホワイトバランス調整機能＞＞
図３は、上記デジタルスチルカメラ１におけるホワイトバランス調整機能に着目したブロック図である。

図示するように、画像処理部（ＤＳＰ）６６における信号処理機能として、固体撮像素子１０で取得されＡ／Ｄ変換部６４にてデジタル化された撮像データの黒基準をクランプするデジタルクランプ部２００、デジタルクランプ部２００にてクランプされた撮像データからＲ，Ｇ，Ｂの原色データを抽出するとともに同時化する原色分離・同時化処理部２０２、および同時化された画素データのゲインを調整可能な色信号増幅部の一例であるホワイトバランスアンプ部２１０を備えている。

また画像信号処理部６６は、ホワイトバランスアンプ部２１０で取得された原色データＲ，Ｇ，Ｂに対して、補間処理やその他の輝度信号処理や色信号処理を施して輝度データＹ（あるいは明度データＬ）や２つの色データＵ，Ｖに変換して出力する信号処理部２２０を備えている。信号処理部２２０にて生成された各データＹ，Ｕ，Ｖは、記録系７に送られて画像記録に供されたり、あるいは表示系８に送られて表示出力に供されたりする。

また画像信号処理部６６は、本実施形態の特徴部分として、色温度調整光源１００から発せられる光源光Ｌ２の色温度を調整する機能要素として、フィールドごとの色信号（原色信号や色差信号）の積分値を求めてホワイトバランスの制御情報を生成するホワイトバランス検波部２３０を備えている。ホワイトバランスアンプ部２１０とホワイトバランス検波部２３０とにより、本発明に係る撮像処理回路が構成される。

ホワイトバランスアンプ部２１０は、Ｒ，Ｇ，Ｂの各原色データＲ，Ｇ，Ｂのそれぞれに対応し、各原色データＲ，Ｇ，Ｂのデジタル値をそれぞれ増減するための乗算器で構成されたホワイトバランス（ＷＢ）アンプ２１０Ｒ，２１０Ｇ，２１０Ｂを有している。ホワイトバランスアンプ２１０Ｒ，２１０Ｇ，２１０Ｂの制御入力には、ホワイトバランス検波部２３０からホワイトバランス制御するためのホワイトバランス補正値（ゲイン値）が加えられており、ホワイトバランスアンプ２１０Ｒ，２１０Ｇ，２１０Ｂはそれぞれ２入力を乗算し、この乗算によってホワイトバランス調整された原色データＲ，Ｇ，Ｂを信号処理部２２０に出力する。

ホワイトバランス検波部２３０は、光源色の検波結果に基づき各色信号Ｒ，Ｇ，Ｂのゲインをホワイトバランスアンプ部２１０にて調整することでホワイトバランスをとる制御部の機能を持ち、従来のフィードバック制御方式でオートホワイトバランス処理を行なうものに使用されているものと同様のものであれば何れのものも使用することができる。一例としては、図示するように、色温度検知部の一例である光源色検波部２３２および色温度制御部の一例であるホワイトバランスコントローラ２３４を有する構成となっている。

原色分離・同時化処理部２０２は、固体撮像素子１０が補色フィルタを使用するものである場合にデジタルクランプ部２００から供給されるデジタル画像信号をＲ（赤），Ｇ（緑），Ｂ（青）の原色信号であるＲ信号Ｓｒ１，Ｇ信号Ｓｇ１，Ｂ信号Ｓｂ１に分離し、これらをホワイトバランス（ＷＢ）アンプ２１０Ｒ，２１０Ｇ，２１０Ｂに供給する。Ｒ（赤）用のホワイトバランスアンプ２１０Ｒは、ホワイトバランスコントローラ２３４から供給されるＲゲイン信号Ｓｒ２に基づき、原色分離・同時化処理部２０２から供給されるＲ信号Ｓｒ１のゲインを調整し、Ｒ信号Ｓｒ３として信号処理部２２０に供給する。

同様にして、Ｇ（緑）用のホワイトバランスアンプ２１０Ｇは、ホワイトバランスコントローラ２３４から供給されるＧゲイン信号Ｓｇ２に基づき、原色分離・同時化処理部２０２から供給されるＧ信号Ｓｇ１のゲインを調整し、Ｇ信号Ｓｇ３として信号処理部２２０に供給する。Ｂ（青）用のホワイトバランスアンプ２１０Ｂは、ホワイトバランスコントローラ２３４から供給されるＢゲイン信号Ｓｂ２に基づき、原色分離・同時化処理部２０２から供給されるＢ信号Ｓｂ１のゲインを調整し、Ｂ信号Ｓｂ３として信号処理部２２０に供給する。また、ホワイトバランスアンプ２１０Ｒ，２１０Ｇ，２１０Ｂは、Ｒ信号Ｓｒ３，Ｇ信号Ｓｇ３，Ｂ信号Ｓｂ３を、光源色検波部２３２にも供給する。

信号処理部２２０は、一例として、ガンマ補正部２２２および色差マトリクス部２２４を備えている。もちろん、この構成例は一例であって、これらの処理機能以外の構成要素も備える。

ガンマ補正部２２２は、Ｒ信号Ｓｒ３，Ｇ信号Ｓｇ３，Ｂ信号Ｓｂ３に基づいて、忠実な色再現のためのガンマ（γ）補正を行ない、ガンマ（γ）補正された各色用の出力信号Ｒ，Ｇ，Ｂを色差マトリクス部２２４に入力する。色差マトリクス部２２４は、色差マトリクス処理を行なって得た色差信号Ｒ−Ｙ，Ｂ−Ｙをビデオエンコーダ８６に入力する。

ビデオエンコーダ８６は、色信号副搬送波に対応するデジタル信号で色差信号Ｒ−Ｙ，Ｂ−Ｙをデジタル変調した後、図示しない輝度信号生成部にて生成された輝度信号Ｙと合成して、デジタル映像信号ＶＤ（＝Ｙ＋Ｓ＋Ｃ；Ｓは同期信号、Ｃはクロマ信号）に変換した後、Ｄ／Ａ変換部８２に入力する。Ｄ／Ａ変換部８２は、デジタル映像信号ＶＤをアナログ映像信号Ｖに変換する。

ホワイトバランス検波部２３０が如何なる構成であっても、フィードバック制御方式では、フィールドごとの色差信号の積分値が、無彩色の状態から離れており、かつ、ある一定時間継続して前記の状態を保っていれば、画面全体のホワイトバランスが崩れたと判断し、ホワイトバランスアンプのゲイン操作を開始する必要があると判断し、ゲイン操作制御を再起動（開始）させる。

また、一般的な被写体を撮像した場合、画面全体にさまざまな色成分が無作為に存在するため、画面全体の色成分を全て積分すると、色信号（たとえばＲ，Ｇ，Ｂ）の各要素がほぼ等しく抽出される、あるいは色差成分の積分値がゼロになるであろうことを考慮し、これを制御の目標、すなわち無彩色に近づけるべくホワイトバランスアンプのゲインを調整する。

ただし、本実施形態では、色温度調整光源１００を利用したホワイトバランス調整機能を備えており、この色温度調整光源１００によるホワイトバランス調整をメイン調整として取り扱い、色温度調整光源１００を利用した光源光Ｌ２に対する色温度調整で補いきれいな分を調整する目的（サブ調整の目的）で、ホワイトバランス検波部２３０によるホワイトバランスアンプ部２１０に対する制御を用いることとする。

このため、本実施形態におけるホワイトバランス調整機能の要素としては、画像信号処理部６６とは別に、色温度調整光源１００を構成するＬＥＤ１００Ｒ，１００Ｇ，１００Ｂのそれぞれから発せられる光源光Ｌ２Ｒ，Ｌ２Ｇ，Ｌ２Ｂの発光輝度を調整するための輝度制御信号Ｊｒ，Ｊｇ，Ｊｂをそれぞれ生成する機能要素として、光源制御部１６０を備えている。光源制御部１６０としては、ホワイトバランス検波部２３０からのデジタルの発光輝度制御データＳｒ４，Ｓｇ４，Ｓｂ４を受けてアナログの輝度制御信号Ｊｒ，Ｊｇ，Ｊｂに変換するＤＡ変換部（ＤＡＣ；Digital to Analog Converter ）１６０Ｒ，１６０Ｇ，１６０Ｂを有して構成している。

つまり、本実施形態においては、色温度調整光源１００を構成するＬＥＤ１００Ｒ，１００Ｇ，１００Ｂから発せられる個々の発光輝度を調整することによるメイン（主体的な）のホワイトバランス調整機能と、メインのホワイトバランス調整機能でとり切れない残留分を調整するための、画像信号処理部６６におけるホワイトバランスアンプ部２１０のゲイン調整によるサブ（付加的な）のホワイトバランス調整機能とで、全体のホワイトバランス調整機能が実現されるようになっている。

光源色検波部２３２は、ゲイン調整アンプ部としてのホワイトバランスアンプ部２１０によりゲイン調整された色信号に基づいて、複数の原色信号もしくは色差信号のそれぞれについての所定期間に亘って積分された複数の積分信号を取得する積分処理部の機能を持つ。ホワイトバランスコントローラ２３４は、光源色検波部２３２で検波された信号に基づき、ホワイトバランス調整用の制御データを生成する。

このようなホワイトバランス検波部２３０の仕組みは公知であり、種々の仕組みを本実施形態にも適用可能である。一例としては、色信号処理系において、フィールドごとの色差信号の積分値を求め、この積分値に基づいて、被写体が無彩色に対してどれだけ色付いているかを判断し、その結果から被写体が白に近づくように現状のホワイトバランスアンプのゲインを一定量操作し、この手順を毎フィールド繰り返すことで、最終的にホワイトバランスをとる。

つまり、ホワイトバランス検波部２３０では、光源色検波部２３２にて、固体撮像素子１０の入力に基づきＲ，Ｇ，Ｂの検波値を評価値データとして算出し、ホワイトバランスコントローラ２３４にて、ホワイトバランスアンプ部２１０におけるＲ，Ｇ，Ｂのゲイン量を制御する。ホワイトバランスアンプ部２１０におけるホワイトバランス調整では、ホワイトバランス検波部２３０で設定されたＲ，Ｇ，Ｂ各々のゲインを掛ける。

評価値データとしては、原色データＲ，Ｇ，Ｂそれぞれ個別のデータを取得するようにしてもよいが、これら原色データもしくは色差データの比すなわち正規化データを用いるのが好ましい。何故なら、白色中のＲ成分およびＢ成分の割合は、色温度によって変化し、またＧ成分も色温度によって変化する。しかしＲ成分、Ｂ成分、Ｇ成分は同じ色温度であっても明るさにより変化してしまう。

一方、たとえばＧ信号で正規化したＲ／Ｇ信号とＢ／Ｇ信号は明るさの影響を受けず、色温度と１対１に対応した値が得られる。よって、このＲ信号／Ｇ信号およびＢ信号／Ｇ信号の割合を求め、その割合が示す色温度情報に基づいて、たとえば色信号Ｒ，Ｂのゲインを調整する。色差データの場合にも同様であり、たとえば、（Ｒ−Ｇ）／Ｇ，（Ｂ−Ｇ）／Ｇあるいは（Ｒ＋Ｂ−２Ｇ）／Ｇ，（Ｒ−Ｂ）／Ｇなども、明るさの影響を受けず、色温度と１対１に対応した値が得られるので、その割合が示す色温度情報に基づいて、たとえば色信号Ｒ，Ｂのゲインを調整する。

またこの際には、固体撮像素子１０で取得される１枚分の画像を領域分割して、適正な検波信号を取得するように工夫するのがよい。たとえば、図１に示したＲＡＭ９３ｂに一時格納したＲ，Ｇ，Ｂ信号から、１画面を複数のエリア（８×８，１６×１６，あるいは３２×３２など）に分割した分割エリアごとにＲ，Ｇ，Ｂの原色データ別あるいは色差データＲ−Ｇ，Ｂ−Ｇの平均積算値を求める。これらの分割エリアごとの原色データＲ，Ｇ，Ｂや色差データＲ−Ｇ，Ｂ−Ｇの平均積算値を光源色検波部２３２が備える積算回路によって算出し、算出した積算値を検波信号としてホワイトバランスコントローラ２３４に渡す。もちろん、求めた平均積算値をそのままホワイトバランスコントローラ２３４に渡すのではなく、機器のバラツキを調整するための調整ゲイン値が加えられるようにしてもよい。

ホワイトバランスコントローラ２３４は、分割エリアごとの原色データＲ，Ｇ，Ｂや色差データＲ−Ｇ，Ｂ−Ｇの平均積算値に基づいて、先ず、色信号に対するゲイン設定を予め定めた標準値に設定しておき（ゲイン＝０ｄｂ）、求められた平均積算値が、たとえば色差信号Ｒ−Ｇ，Ｂ−ＧやＢ−Ｙ，Ｒ−Ｙなどで表わされる色差座標面の原点（無彩色の白）に収束するように、先ず色温度調整光源１００から発せられる光源光Ｌ２の色温度（光源色）を制御する。そして、この光源色の制御でも、依然として収束しきれいない場合には、従前のホワイトバランス調整と同様に、色信号に対するゲイン設定を調整する。

もちろん、このような“色差座標面の原点（無彩色の白）に収束するように制御する”という仕組みは、公知の制御手法もしくはこれから提案されるであろう新規な制御手法の何れをも適用可能である。

＜ホワイトバランス制御の応答性＞
なお、“色差座標面の原点（無彩色の白）に収束するように制御する”に際しては、ホワイトバランス制御の応答性にも考慮するのがよい。たとえば、黒体放射カーブに近い色を持つ被写体の撮像画面に占める割合が高くなった場合には、実際は被写体が変化したのであって、ホワイトバランスが変化していないのにも関わらず、被写体周辺の光源つまり色温度が変化したと判断することが起こり得る。この場合、被写体本来の色であるにも関わらず、それが光源による色温度の影響を受けた色だと判断することになり、その色を無彩色に近づける方向にホワイトバランス調整がなされることが起こり得、出力された画像データにユーザが違和感を憶えることが起こり得る。

また、一旦ホワイトバランスがとれた状態で、たとえば撮像画面の一部に新たな被写体が入ったなど撮像画面の一部分に変化が生じた場合には、ホワイトバランス制御に用いるデータは画面全体の積分値なので、その被写体が濃い色を持っていても、全体の積分値の中に平均化されてしまい、画面全体が薄い色でホワイトバランスが崩れたと判定し、ホワイトバランス調整が即座に実行され、この場合にも、出力された画像データにユーザが違和感を憶えることが起こり得る。

他方、たとえば画面全体に赤っぽい光が入ってきた場合など、光源色が大きく変化した場合に、オートホワイトバランス機能によって、その色が完全に無彩色となる方向に即時にホワイトバランス調整を行なうと、人間の色彩に対する順応（色彩に対する記憶）に起因して、却ってユーザに違和感を与えることもある。

このように、単純なオートホワイトバランス調整では、被写体変化や光源色変化に過度に追従する現象が生じてしまい、ユーザにとって違和感を与えてしまう不都合が生じるので、被写体変化や光源色変化に過度に追従することなく、オートホワイトバランス機能を実現することが望ましい。

このためには、たとえば所定の色差軸で表される座標面上に、完全不感帯領域、停止領域、および再起動領域を設定し、評価値データが所定の色差軸で表される座標面上のどの座標位置にあるかに応じて、ホワイトバランス調整の開始や終了を制御するのがよい。

ここで、完全不感帯領域、停止領域、再起動領域は、オートホワイトバランス調整の起動や終了に関するヒステリシス領域を構成することになるが、完全不感帯領域（あるいは停止領域）と再起動領域の各大きさについては、１）完全不感帯領域（あるいは停止領域）は、完全に原点に収束しない場合の発振を防止出来る大きさを最低限持つ、２）再起動領域は、完全不感帯領域（あるいは停止領域）を内包する大きさを最低限持つ、の２条件（以下領域定義条件という）を満たしている限り、特に条件はない。

ただし、完全不感帯領域（あるいは停止領域）と再起動領域の差を大きく設定することにより、ホワイトバランス制御の再起動機会を減らせることになり、撮像画面の変化、すなわちオプティカルディテクタ値の変化に過敏に反応しないホワイトバランス制御を実現できる。加えて、完全不感帯と再起動領域との間に停止領域を設けることで、光源色が大きく変化した場合においても、ユーザに違和感を与えることのないホワイトバランス制御を実現することができる。

たとえば、予め定義されたホワイトバランス制御の終了（収束点）を判断するための基準値を示す停止領域と、予め定義されたホワイトバランス制御の開始（再起動）を判断する基準値を示す再起動領域と、所定の指標値とを比較、判定することにより、ホワイトバランス制御の開始や終了を制御する。また、評価値データが停止領域内に収まったときにホワイトバランス制御を停止させた後所定時間経過して安定してから、さらに評価値データが完全不感帯領域内に収まるまるまでホワイトバランス制御を実施すれば、光源色が大きく変化した場合においても、ユーザに違和感を与えることなく、ほぼ完全にホワイトバランスをとることもできる。

このようなホワイトバランス制御により、撮像画面の変化、すなわち評価値データの変化に過敏に反応することなくホワイトバランスをとることができる。たとえば、黒体放射カーブに近い色を持つ被写体の撮像画面に占める割合が高くなった場合であっても、被写体周辺の光源、つまり色温度が変化したと判断し、その色を無彩色に近づける方向にホワイトバランス制御をするような誤動作を防止することができる。また、一旦ホワイトバランスがとれた状態で、撮像画面の一部分に新たな被写体が入ったなどの場合であっても、ホワイトバランス調整が即座に実行される不都合を防止することができる。

つまり、ある光源下で、一旦ホワイトバランス制御が安定した状態で、撮像画面範囲に新たな被写体が入った、あるいはカメラの画角が変化したため、被写体が全体的にずれた、などの状態が発生した場合でも、ホワイトバランス制御の再実行を抑制することができ、ホワイトバランス制御を有する撮像装置におけるユーザが感じる視覚的な性能の向上に寄与できる。

ところで、先にも述べたように、ホワイトバランス検波部２３０では、固体撮像素子１０の入力に基づき、公知技術と同様にしてＲ，Ｇ，Ｂの検波値を算出し、ゲイン信号Ｓｒ２，Ｓｇ２，Ｓｂ２によるホワイトバランスアンプ部２１０におけるＲ，Ｇ，Ｂのゲイン量の制御だけでなく、ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂの発光量もホワイトバランス検波部２３０からの発光輝度制御データＳｒ４，Ｓｇ４，Ｓｂ４に基づき光源制御部１６０によって制御する。特に、ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂの発光量を制御するのを主体的として、ホワイトバランスアンプ部２１０におけるＲ，Ｇ，Ｂのゲイン量を制御するのを付随的とする点に大きな特徴を持つ。

ＤＡ変換部１６０Ｒ，１６０Ｇ，１６０Ｂでは、画像信号処理部６６のホワイトバランス検波部２３０からのＬＥＤ１００Ｒ，１００Ｇ，１００Ｂの発光量を表す発光輝度制御データＳｒ４，Ｓｇ４，Ｓｂ４をアナログ信号Ｊｒ，Ｊｇ，Ｊｂに変換し、アナログ信号Ｊｒ，Ｊｇ，Ｊｂを用いて対応するＬＥＤ１００Ｒ，１００Ｇ，１００Ｂを発光させる。

たとえば、光源制御部１６０は、変換したアナログ信号Ｊｒ，Ｊｇ，Ｊｂに基づき、ホワイトバランス検波部２３０のホワイトバランスコントローラ２３４にて設定したＲ，Ｇ，Ｂの発光レベルに対応した定電流が各ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂに流れるように電流制御を行なう。

なお、本実施形態では、ホワイトバランスコントローラ２３４からの発光輝度制御データＳｒ４，Ｓｇ４，Ｓｂ４をアナログ信号Ｊｒ，Ｊｇ，Ｊｂに変換し、このアナログ信号Ｊｒ，Ｊｇ，Ｊｂを用いてＬＥＤ１００Ｒ，１００Ｇ，１００Ｂを電流制御しているが、発光制御の仕組みは、電流制御に限定されない。

たとえば、ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂの発光時間幅を制御するパルス幅制御としてもよい。すなわち、ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂに対するオン・オフのデューティ比を調整することで、各ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂから発せられる輝度を調整することで、色温度調整光源１００の色温度（Ｒ，Ｇ，Ｂの発光量の比）を制御するようにしてもよい。

発光制御の仕組みに拘らず、オートホワイトバランス機能を実現する際には、先ず、ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂの発光量によって、ホワイトバランスを合わせる処理を行なう。すなわち、ホワイトバランス検波部２３０にて検波される検波信号を監視し、無彩色に近づけるべくＬＥＤ１００Ｒ，１００Ｇ，１００Ｂのそれぞれの発光量を調整する。そして、ＬＥＤ１００Ｒ，１００Ｇ，１００Ｂでの調整範囲を超えたときにのみ、光源光Ｌ２（照明光）の色温度を調整することで補いきれいな残留分を調整する目的で、ホワイトバランスアンプ部２１０におけるゲイン調整を行なうこととする。

つまり、光源色の色温度調整を主体的調整とし、色信号のゲイン調整を付随的調整とする。ホワイトバランス調整目的のゲイン値が極力小さくなるように、被写体に対して所望の色温度の照明を当てるということである。

このように、ホワイトバランスをとるに当たり、光源色の色温度調整を主体的調整として取り扱い、色信号に対するゲイン調整を付随的な調整として取り扱うようにすることで、色信号に対するゲイン調整による従前のオートホワイトバランス調整で問題となっていた、ゲイン調整におけるノイズ増大を防止できるようになる。光源色の色温度調整のみでオートホワイトバランス調整を実現できる場合には、色信号に対するゲイン調整を行なう必要がないので、ノイズの問題が生じない。光源にＲ，Ｇ，Ｂ何れかの色が極端に少なく固体撮像素子で撮像できない条件下でも、色温度調整光源１００を利用してその色を補うことで、撮像が可能となる。

従来のオートホワイトバランス調整機能は、カメラ内部で検波・制御のループが閉じているが、本実施形態の構成では、制御対象が色温度調整光源１００であるところに大きな特徴を持つ。もちろん、光源色の色温度調整でホワイトバランスをとり切れないときには、色信号に対するゲイン調整を行なうこともできる。被写体Ｚを照明する環境の色温度をカメラ側で制御することが可能となり、Ｓ／Ｎに有利な色温度環境を作れるメリットがあり、高画質化に貢献することができる。

また、画像信号処理部６６のホワイトバランスで使用するゲインアンプが取り扱う色（本例では、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３色）と同じ色の発光素子を光源として使用することで、ホワイトバランスでの処理を容易にする効果がある。

また、光源として、赤、緑、および青の３色の光を発する個別の発光ダイオード（ＬＥＤ）の組合せからなるものとすることで、有機ＥＬやその他の発光素子を用いる場合や色変換フィルタを用いた構成と比べて、安価かつ低消費電力で実現できる効果が得られる。

加えて、フィードバック制御方式を採っているので、フィードフォワード制御方式に比べて、前回の補正結果が確認できるので、前回の補正値を元により高精度の補正ができる効果が得られる。

さらに、色温度調整光源１００を筐体に対して一体的に設ける、あるいは着脱自在な構成としておき必要に応じて本体と一体的に構成可能にしておくことで、光源の取り扱いが容易になる。また着脱自在な構成としておけば、不要なときには取り外すことができるので便利である。

なお、本実施形態の構成と似通った仕組みとして、カメラのストロボ光のホワイトバランスをとるものが、たとえば特開平６−３０８５８６号公報（以下参考文献１ともいう）や特開２００３−２１５６７４号公報（以下参考文献２ともいう）に提案されている。

しかしながら、これらの仕組みは、ともに色信号に対するゲイン調整を行なうことでオートホワイトバランス調整を行ないつつ、被写体に当たっている照明光源の色温度に対してカメラから発光するストロボ光の色温度を合わせることで、ストロボ光の色温度で被写体全体が照射された場合に得られる撮影画像がより自然なものとなるように各色信号のゲイン調整を行なって、ストロボ光によって違和感が生じないようにするためのものであり、調整目的の考え方が全く異なる。

たとえば、参考文献１では、相互に異なる分光分布の閃光を発光可能な複数の閃光発光手段（ストロボ発光手段）と、被写体の色温度を測定する測色手段と、この測色手段により測定された色温度に応じて複数の閃光発光手段の光量が所定の比率になるように制御することにより、測色手段により測定された色温度と実質的に同じ色温度の閃光を発光させたのと同等な効果を発生させる制御手段とを備えるストロボ装置が提案されている。

この仕組みにおける閃光発光手段に対する光量制御では、測色手段により測定された“被写体の色温度と同等となるように”、複数の閃光発光手段の光量を所定の比率に制御するものである。これによりストロボ撮影時にオートまたはマニュアル補正されるホワイトバランスに対してストロボ光が影響しないようにしている。

また参考文献２では、ストロボ光源として使用されるＲ，Ｇ，Ｂの３色の発光素子によるストロボ光が所望の色温度になるようにＲ，Ｇ，Ｂの３色の各発光素子の発光量比に対応させて３色の各発光素子の数量比を設定する仕組みが提案されている。

“ストロボ光が所望の色温度になるように”という点においては、本実施形態の構成も同様であるが、“所望の色温度”の意義が全く異なる。すなわち、参考文献２の仕組みは、参考文献２の実施形態（たとえば段落２５，３１〜３３，９７など）で述べられているように、色温度センサによって検出した被写界の色温度に基づいて同じ色温度の光が発光されるようにＲ，Ｇ，Ｂの各ＬＥＤの発光量の比を決定し、この比に対応するＲ，Ｇ，Ｂ発光レベルを設定することで、全体として被写界の色温度と同じ色温度のストロボ光が発光されるように制御する。これによりストロボ撮影時にオートまたはマニュアル補正されるホワイトバランスに対してストロボ光が影響しないようにしている。つまり、“ストロボ光が所望の色温度になるように”という仕組みは、参考文献１の仕組みと同じである。

よって、参考文献１および参考文献２の何れの仕組みも、本実施形態のように、ホワイトバランス調整目的のゲイン値が極力小さくなるように、被写体Ｚを照明する光源光Ｌ２の色温度をカメラ側で制御することで、被写体に対して所望の色温度の照明を当てるというものとは全く異なるのは明らかであり、得られる効果も全く異なる。

付言すれば、色信号に対する従前と同様のホワイトバランス調整に対して色温度調整光源１００からの光源光Ｌ２が影響を与えるが、このことは、ホワイトバランス調整目的の色信号に対するゲイン値が極力小さくなるようにすること目的としたもので、光源色の色温度調整と色信号に対するゲイン調整との組合せで、全体としてのオートホワイトバランス調整機能が実現される。その結果として、光源光Ｌ２の色温度による不自然さが起きることはない。なお、色温度調整光源１００をストロボ光（閃光）を発する光源として利用することもできる。この場合でも、ストロボ光として利用された光源光Ｌ２の色温度による不自然さが起きることはない。

＜第３実施形態＞
図４は、本発明に係る撮像装置の第３実施形態を示す概略構成図である。第３実施形態の撮像装置は、固体撮像素子１０としてＣＭＯＳ撮像素子１２を使用した第２実施形態に対して、被写界の色温度を検出するための測色センサを設け、この測色センサを用いて被写体の周囲光の色温度を測定し、その測定結果をホワイトバランス制御情報として用いて、光源色の色温度や色信号のゲインを調整することで、オートホワイトバランス調整機能を実現するフィードフォワード制御方式にした点に特徴を有する。

すなわち、図示するように、第３実施形態のデジタルスチルカメラ１は、撮像レンズ５０の近傍に、被写界の色温度を検出する測色センサ１８０を備えている。測色センサ１８０としては、透過光の分光分布が異なるフィルタをそれぞれ備える複数の光電変換素子で構成する。一例としては、Ｒ，Ｇ，Ｂの各色フィルタが付いたフォトセンサ１８０Ｒ，１８０Ｇ，１８０Ｂを有するもので構成する。

測色センサ１８０で検知された測色信号は、画像信号処理部６６に渡され、画像信号処理部６６が備えるホワイトバランス検波部２３０によって、その測色結果がホワイトバランス制御情報として用いられる。たとえば、測色センサ１８０では、分光感度が異なる光電変換素子の出力信号の比（Ｒ／ＧまたはＢ／Ｇ）は受光する光の色温度に１対１に対応するので、この出力信号比（Ｒ／ＧまたはＢ／Ｇ）を用いて、周囲光の色温度を求める。ホワイトバランス検波部２３０には、測色回路を設ける。この測色回路では、測色センサ１８０から入力される信号値（Ｒ／ＧまたはＢ／Ｇ）と、その信号値における色温度情報との対応を示すデータテーブルを記憶しておく。このデータテーブルを利用して、測色センサ１８０から入力される信号値から周囲光の色温度を求める。

ホワイトバランス検波部２３０は、測色センサ１８０で検知される測色結果に基づき、測色結果に対応する発光輝度制御データを光源制御部１６０に与えることで、光源色を制御する。そして、この光源色の制御でも、依然として収束しきれいない分を、色信号に対するゲイン設定で調整する。フィードバック制御ではないので、光源色の制御や色信号に対するゲイン設定のための制御データは、予め測色結果に対応するように定義して、所定のメモリに保存しておく。

たとえば、ホワイトバランスコントローラ２３４は、Ｒ，Ｇ，Ｂデータに基づいて、たとえばデーライト（晴れ）、日陰−曇り、蛍光灯、タングステン電球などの光源種の判別を行なう。この光源種の判別は、Ｒ，Ｇ，Ｂデータの比Ｒ／Ｇ，Ｂ／Ｇを求め、続いて横軸をＲ／Ｇ，縦軸をＢ／Ｇとするグラフ上で、各光源種に対応する色分布の範囲を示す検出枠を設定する。そして、求めた比Ｒ／Ｇ，Ｂ／Ｇに基づいて光源種を判別する。もちろん、このようなＲ，Ｇ，Ｂデータに基づいて自動的に光源種（被写界の色温度）を求める方法は、ここで説明した形態に限定されない。

ホワイトバランス検波部２３０は、このようにして光源種（被写界の色温度）を求めると、その光源種に適したホワイトバランス制御データを決定する。すなわち先ず、その光源種を補正して標準のゲイン値でも画像全体としては無彩色となるような発光輝度制御データを決定し、この後、不足分を調整するゲイン値を決定する。そして、これら決定したホワイトバランス制御データに基づき、光源制御部１１０から発せられる光源光Ｌ２の色温度や、色信号に対するゲイン値を調整する。

このような第３実施形態の構成においても、第１や第２実施形態と同様に、光源色の色温度調整を主体的調整として取り扱い、色信号に対するゲイン調整を付随的な調整として取り扱うようにすることができ、色信号に対するゲイン調整におけるノイズ増大を防止でき、Ｓ／Ｎに有利な色温度環境を作ることができ、高画質化に有利である。 光源色の色温度調整でホワイトバランスをとり切れないときには、色信号に対するゲイン調整を行なうこともできる。

加えて、フィードフォワード制御方式を採っているので、フィードバック制御方式に比べて、補正前の元の状態が確認できるため、光源の色温度の推定が容易となる効果が得られる。

＜第４実施形態＞
図５は、本発明に係る撮像装置の第４実施形態を示す概略構成図である。第４実施形態の撮像装置は、固体撮像素子１０としてＣＭＯＳ撮像素子１２を使用したフィードバック制御方式の第２実施形態に対して、色温度調整光源１００の構成を、単色光を発する単色光源とその単色光源から発せられた光源色を所定の色温度に変換する色温度変換部の組み合わせで構成した点に特徴を有する。

なお、フィールドごとの色信号の積分値を求め、その結果から被写体が白に近づくようにホワイトバランスアンプのゲインを一定量操作するフィードバック制御方式への適用に限らず、測色センサを用いて測定した被写体の周囲光の色温度に基づき色信号のゲインを調整するフィードフォワード制御方式の第３実施形態に対しても適用可能である。

図示するように、第４実施形態の撮像装置の一例であるデジタルスチルカメラ１は、単色光源１０２と、この単色光源１０２の前面に配された色温度変換部１０４とで色温度調整光源１０１が構成され、色温度変換部１０４を制御する色変換制御部１１２を備えて構成されている。色変換制御部１１２は、ホワイトバランス検波部２３０の指示に基づいて色温度変換部１０４を制御するようにする。

単色光源１０２としては、所定色の照明光を発するものであればよく、種々のものを使用することができる。なお、色温度を問わず一般概念としての白色光を発するものであればなおよい。

色温度変換部１０４としては、たとえば色温度変換フィルタを使用することができる。たとえば、単色光源１０２が日中の太陽光の色温度（5500〜6000度Ｋ）の白色光を発するものである場合、色温度を下げる方向に変換するアンバー系もしくは赤色系の色変換フィルタと、色温度を上げる方向に変換する青色系の色変換フィルタと、各色変換フィルタを切り替える切替機構部との組合せからなるカラーフィルタ切替機構を有する構成とするとよい。切替機構部としては、モータなどの駆動部材を使用して、たとえば色変換フィルタを回転させて切り替える構成や左右方向もしくは上下方向に移動させて切り替える構成など、種々の構成を採ることができる。

たとえば、日出没前後の色温度（2000〜3000度Ｋ）の状態では、そのままでは色温度が低いので、これを補正するように色温度が10,000〜20,000度Ｋ程度の青色系の色変換フィルタが単色光源１０２の前面を覆う状態に切り替えるとよく、逆に、青空光の色温度（10,000〜20,000度Ｋ）の状態では、そのままでは色温度が高いので、これを補正するように色温度が2000〜3000度Ｋ程度のアンバー系もしくは赤色系の色変換フィルタが単色光源１０２の前面を覆う状態に切り替えるとよい。

また色温度変換部１０４の色変換フィルタとしては、入射光の偏光方向と液晶分子の配列方向である色素分子の長軸方向とを制御可能な液晶フィルタを利用することもできる（たとえば特開平６−３０８５８６号公報参照）。液晶フィルタによる色温度の変換の制御は、色変換制御部１１２により液晶フィルタへの印加電圧を制御することで実現できる。

このような第４実施形態の構成においても、第１や第２実施形態と同様に、光源色の色温度調整を主体的調整として取り扱い、色信号に対するゲイン調整を付随的な調整として取り扱うようにすることができ、色信号に対するゲイン調整におけるノイズ増大を防止でき、Ｓ／Ｎに有利な色温度環境を作ることができ、高画質化に有利である。

また、光源として、単色光を発する単色光源とその単色光源から発せられた光源色を所定の色温度に変換する色温度変換部の組み合わせで構成しているので、単色光源から発せられる発光色に拘らず、色々な撮影環境下において常に最適な色再現を実現することができる、すなわち最適なホワイトバランス調整をとることができる。

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

たとえば、上記実施形態では、発光色を調整可能な被写体Ｚを照射する色温度調整光源を撮像装置（デジタルスチルカメラ１）に設けていたが、被写体を含む被写界の色温度の検知結果に基づいて、ホワイトバランスがとれるように、被写体を照射する光源から発せられる照明光の色温度を調整することが可能な構成であればよく、色温度調整光源が撮像装置に一体的に備えられている構成のものに限定されず、前記色温度調整光源が、撮像装置と別体のものであってもよい。

この場合でも、被写体を照明する環境の色温度をカメラ側で制御することが可能であり、Ｓ／Ｎに有利な色温度環境を作れるメリットがあり高画質化に貢献することができる点では、上記各実施形態と相違ない。すなわち、撮像装置に備えられている色温度検知部にて被写体を含む被写界の色温度を検知して、同じく撮像装置に備えられている色温度制御部にて、色温度の検知結果に基づいて、ホワイトバランスがとれるように色温度調整光源から発せられる照明光の色温度を調整するようにすれば、従前のような色信号に対するゲイン調整によるオートホワイトバランス調整を実質的に使用しなくても、光源から発せられる照明光の色温度を調整するオートホワイトバランス調整機能を実現でき、これにより、色信号に対するゲイン調整に起因したノイズ増大を防止することができる。光源色の色温度調整でホワイトバランスをとり切れないときには、色信号に対するゲイン調整を行なうこともできる。

本発明に係る撮像装置の第１実施形態を示す概略構成図である。 本発明に係る撮像装置の第２実施形態を示す概略構成図である。 デジタルスチルカメラにおけるホワイトバランス調整機能に着目したブロック図である。 本発明に係る撮像装置の第３実施形態を示す概略構成図である。 本発明に係る撮像装置の第４実施形態を示す概略構成図である。 色差座標面上での黒体放射カーブ（黒体軌跡）と、オートホワイトバランス処理の関係を説明する図である。

符号の説明

１…デジタルスチルカメラ（撮像装置）、２…固体撮像装置、３…カメラモジュール、３ａ…撮像装置モジュール、４…本体ユニット、５…光学系、６…信号処理系、７…記録系、８…表示系、９…制御系、１０…固体撮像素子、１１…ＣＣＤ固体撮像素子、１２…ＣＭＯＳ撮像素子、５０…撮像レンズ、６６…画像信号処理部、７４…ＣＯＤＥＣ、８４…ビデオモニタ、９２…中央制御部、９４…露出コントローラ、９８…操作部、９９…システムバス、１００…色温度調整光源、１０１…色温度調整光源、１０２…単色光源、１０４…色温度変換部、１１０…光源制御部、１１２…色変換制御部、１６０…光源制御部、１８０…測色センサ、２００…デジタルクランプ部、２０２…同時化処理部、２１０…ホワイトバランスアンプ部、２２０…信号処理部、２３０…ホワイトバランス検波部、２３２…光源色検波部（色温度検知部）、２３４…ホワイトバランスコントローラ（色温度制御部）、Ｌ２…光源光

Claims (8)

1. 撮像デバイスで得られる被写体を表わす撮像信号の全体が白に近づくようにホワイトバランスをとる撮像処理方法であって、
   前記被写体を含む被写界の色温度を検知し、この検知結果に基づき、前記被写体を照射する光源から発せられる照明光の色温度を調整する
   ことを特徴とする撮像処理方法。
2. 撮像デバイスで得られる被写体を表わす撮像信号の全体が白に近づくようにホワイトバランスをとる撮像処理回路であって、
   前記被写体を含む被写界の色温度を検知する色温度検知部と、
   前記色温度検知部の検知結果に基づき、前記被写体を照射する光源から発せられる照明光の色温度を調整する色温度制御部と
   を備えたことを特徴とする撮像処理回路。
3. 前記撮像デバイスで得られる被写体を表わす撮像信号に基づいて取得した複数の色信号のうちの少なくとも１つの色信号に対してゲイン調整を行なう色信号増幅部をさらに備え、
   前記色温度制御部は、前記色信号増幅部におけるゲイン調整量を制御することにより、前記照明光の色温度を調整することで補いきれいな残留分を調整する
   ことを特徴とする請求項２に記載の撮像処理回路。
4. 撮像デバイスを備え、前記撮像デバイスを用いて被写体の像を撮像する撮像装置であって、
   前記被写体を含む被写界の色温度を検知する色温度検知部と、
   前記色温度検知部の検知結果に基づき、前記被写体を照射する光源から発せられる照明光の色温度を調整する色温度制御部と
   を備えたことを特徴とする撮像装置。
5. 前記被写体を照射する光源をさらに備えた
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記光源は、赤、緑、および青の３色の光を発する個別の発光素子の組合せで構成されており、
   前記色温度制御部は、前記赤、緑、および青の個別の発光素子の少なくとも１つについて発光量を制御して前記３色の発光比を調整することで、全体としての前記照明光の色温度を調整する
   ことを特徴とする請求項４に記載の撮像装置。
7. 前記個別の発光素子の組合せは、前記赤、緑、および青の３色の光を発する個別の発光ダイオードの組合せからなる
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記撮像デバイスで得られる被写体を表わす撮像信号に基づいて取得した複数の色信号のうちの少なくとも１つの色信号に対してゲイン調整を行なう色信号増幅部をさらに備え、
   前記色温度制御部は、前記色信号増幅部におけるゲイン調整量を制御することにより、前記照明光の色温度を調整することで補いきれいな残留分を調整する
   ことを特徴とする請求項４に記載の撮像装置。
   

Images