JP2007306422A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】色シェーディングが発生している状態であっても、より適切なホワイトバランス処理を行うことができるようにする。
【解決手段】撮影設定条件における色シェーディングの情報に基づいて、画像領域ごとに色シェーディング値が大きい領域では重み比率が小さくなるように設定するとともに、色シェーディング値が小さい領域では重み比率が大きくなるように設定して求めたホワイトバランス評価値を基に最終的なホワイトバランス係数を算出し、前記ホワイトバランス係数を用いてホワイトバランス処理を行うようにすることにより、色シェーディングの影響を抑制してより正確なホワイトバランス処理を行うことができるようにする。
【選択図】図４

Description

本発明は撮像装置、撮像方法、プログラム及び記録媒体に関し、特にホワイトバランス処理を行うために用いて好適な技術に関する。

デジタルカメラやデジタルビデオカメラなどの撮像装置では、画像の色バランスをとるために、以下のようなホワイトバランスの調整が行われている。撮像素子から原色フィルタを通過して出力された信号は、Ａ／Ｄ変換によってデジタル化され、図２（ａ）に示すようなブロックにそれぞれ分割される。ただし、各ブロックは、図２（ｂ）に示すように、色信号Ｒ、Ｇ１、Ｇ２、Ｂを一つずつ含む単位で構成される。これらのブロックそれぞれに対して、以下に示す式（１−１）、式（１−２）を用いて色評価値Ｃｘ、Ｃｙを算出する。

図３は、横軸をＣｘ＝（Ｒ−Ｂ）／Ｙ、縦軸をＣｙ＝（Ｒ＋Ｂ−２Ｇ）／Ｙとした色空間を示しており、あらかじめ白色を高色温度下から低色温度下まで撮影し、色評価値Ｃｘ、Ｃｙをプロットすることで定められた白軸を示している。実際の光源において、白色には若干のばらつきが存在するため、白軸を中心として幅を持たせた範囲を白検出範囲（白と判断すべき領域）とするようにしている。すなわち、各ブロックについて求められた色評価値Ｃｘ、Ｃｙを図３の色軸にプロットする。そして、これらのうち白検出範囲に含まれる色評価値のブロックを白色であると仮定する。さらに、白検出範囲に入った色画素の積分値ＳｕｍＲ、ＳｕｍＧ１、ＳｕｍＧ２、ＳｕｍＢを算出して、以下に示す式（２−１）〜式（２−４）を用いてホワイトバランスゲインを算出する。

ところで、デジタルカメラやデジタルビデオカメラなどの撮像装置においては、撮像画面内で色が不均一性になる色シェーディングが発生する。この色シェーディングは、撮像画面内で色（ＲＧＢ）の出力比率が変化して不自然に着色してしまう現象である。また、この色シェーディングは、撮像装置に用いられているＣＣＤなどの固体撮像素子を形成するマイクロレンズの軸上色収差や、フォトダイオード、カラーフィルタ及びマイクロレンズが相対的にずれることによって生じる場合もある。さらに、一般的に固体撮像素子の周辺部の受光素子では光が傾斜して入射するため、撮像画面中央部に比べて、周辺部になるほど色シェーディングの影響は大きくなる傾向がある。

前述したようなホワイトバランスの調整を行うために、ホワイトバランス評価値を取得するときに、撮像画面内の領域ごとにＲＧＢの出力比率が不均一となる色シェーディングが発生している状態では適切な評価値が得られないという問題点があった。このため、例えば特許文献１では、色シェーディング補正後の結果を予測して、予測した結果のデータからホワイトバランス評価値を求めるという方法が提案されている。

特開２００４−３４３３５８号公報

しかし、特許文献１に記載の方法は、色シェーディング補正を行うことが前提となっている。このため、補正後の結果の予測が違った場合には求めたホワイトバランス評価値が不適切なホワイトバランス評価値となってしまう。したがって、前述のようにして求めたホワイトバランス評価値を用いると、不適切なホワイトバランス処理が行われてしまうという問題点があった。

本発明は前述の問題点に鑑み、色シェーディングが発生している状態においても適切なホワイトバランス処理を行うことができるようにすることを目的としている。

本発明の撮像装置は、撮像手段の出力信号に対してホワイトバランス処理を行うホワイトバランス処理手段と、色シェーディングの情報を用いて、前記ホワイトバランス処理を行うように制御する制御手段と、を有することを特徴とする。

本発明の撮像方法は、撮像手段の出力信号に対してホワイトバランス処理を行うホワイトバランス処理工程と、色シェーディングの情報を用いて、前記ホワイトバランス処理を行うように制御する制御工程と、を有することを特徴とする。

本発明のプログラムは、撮像手段の出力信号に対してホワイトバランス処理を行うホワイトバランス処理工程と、色シェーディングの情報を用いて、前記ホワイトバランス処理を行うように制御する制御工程と、を有する撮像方法をコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記のプログラムを記録したことを特徴とする。

本発明によれば、色シェーディングの情報を用いてホワイトバランス処理を行うようにしたので、色シェーディングが発生している状態であっても適切なホワイトバランス処理を行うことができる。

（第１の実施形態）
以下、図面を参照しながら本発明の好適な実施形態について説明する。
図１は、本実施形態の撮像装置の構成例を示すブロック図である。
図１において、１はレンズ及び絞りからなる光学系であり、２はメカニカルシャッタ（メカシャッタと図示する）である。３は撮像素子であり、４はアナログ信号処理を行うＣＤＳ回路である。

５はアナログ信号をデジタル信号に変換するＡ／Ｄ変換器であり、６は撮像素子３、ＣＤＳ回路４及びＡ／Ｄ変換器５を動作させる信号を発生するタイミング信号発生回路である。７は光学系１、メカニカルシャッタ２及び撮像素子３を駆動する駆動回路であり、８が、キズ補正された画像データに必要な信号処理を行う信号処理回路である。

９は信号処理された画像データを記憶する画像メモリであり、１０は撮像装置から取り外し可能な画像記録媒体である。１１は信号処理された画像データを画像記録媒体１０に記録する記録回路であり、１２は信号処理された画像データを表示する画像表示装置である。

１３は画像表示装置１２に画像を表示するための表示回路であり、１４は撮像装置全体を制御するシステム制御部である。１５はシステム制御部１４で実行される制御方法を記載したプログラムを実行する際に使用されるパラメータやテーブル等の制御データ及び補正回路１７において使用されるキズアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）である。

１６は不揮発性メモリ１５に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部１４が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）である。また、１７は撮像した画像データにキズ補正を行う補正回路である。

以下、前述のように構成された撮像装置を用いてメカニカルシャッタ２を使用した撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等によるシステム制御部１４の動作開始時において、不揮発性メモリ１５から必要なプログラム、制御データ及び補正データを揮発性メモリ１６に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部１４が撮像装置を制御する際に使用するとともに、必要に応じて、追加のプログラムやデータを不揮発性メモリ１５から揮発性メモリ１６に転送したり、システム制御部１４が不揮発性メモリ１５内のデータを直接読み出して使用したりするものとする。

まず、光学系１は、システム制御部１４からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子３上に結像させる。次に、メカニカルシャッタ２は、システム制御部１４からの制御信号により、必要な露光時間となるように撮像素子３の動作に合わせて撮像素子３を遮光するように駆動される。この時、撮像素子３が電子シャッタ機能を有する場合は、メカニカルシャッタ２と併用して、必要な露光時間を確保してもよい。

撮像素子３は、システム制御部１４により制御されるタイミング信号発生回路６から発生する動作パルスを基にした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。そして、撮像素子３から出力されたアナログの画像信号を、システム制御部１４により制御されるタイミング信号発生回路６から発生する動作パルスにより、ＣＤＳ回路４においてクロック同期性ノイズを除去する。そして、Ａ／Ｄ変換器５においてデジタル画像信号に変換する。

次に、揮発性メモリ１６から取り込んだキズのアドレスを基にしてシステム制御部１４から出力される制御信号により、補正回路１７においてデジタル画像信号のキズ補正を行う。そして、キズ補正されたデジタル画像信号を、システム制御部１４により制御される信号処理回路８において、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。

画像メモリ９は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。そして、信号処理回路８で信号処理された画像データや画像メモリ９に記憶されている画像データを、記録回路１１は画像記録媒体１０に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換し画像記録媒体１０に記録する。また、信号処理回路８で解像度変換処理を実施した後、表示回路１３において画像表示装置１１に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換して画像表示装置１１に表示させる。

ここで、システム制御部１４から出力される制御信号によりキズ補正が必要ないとされた場合、補正回路１７は入力されたデジタル画像信号をそのまま信号処理回路８に出力する。また、信号処理回路８は、システム制御部１４から出力される制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ９や記録回路１１に出力してもよい。

さらに、信号処理回路８は、システム制御部１４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、または、それらから抽出された情報をシステム制御部１４に出力する。また、記録回路１１は、システム制御部１４から要求があった場合に、画像記録媒体１０の種類や空き容量等の情報をシステム制御部１４に出力する。

さらに、画像記録媒体１０に画像データが記録されている場合の再生動作について説明する。システム制御部１４から出力される制御信号により、記録回路１１は画像記録媒体１０から画像データを読み出す。また、システム制御部１４から出力される制御信号により、信号処理回路８は画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ９に記録する。

そして、画像メモリ９に記録されている画像データを、信号処理回路８で解像度変換処理した後、表示回路１３は、画像表示装置１１に適した信号に変換して画像表示装置１１に表示させる。

次に、本実施形態の撮像装置において、画像処理を行う機能構成例の詳細を図４に示し、その動作処理を説明する。
図４において、４０１は撮像レンズ系を示し、被写体（図示せず）からの映像光はこの撮像レンズ系４０１を通じて撮像素子４０２の撮像面に照射され、映像信号が取り出される。この映像信号がＡ／Ｄ変換回路４０３に供給されて、例えば１２ビットでデジタル変換される。

４０４は撮影設定条件に対応した各領域のホワイトバランス評価値の重み比率の設定データに基づいて、ホワイトバランス評価値を重み付け比率に従って乗算することにより、ホワイトバランス評価値を求めるホワイトバランス処理回路である。４０５は撮影時におけるズーム位置と絞り値とを検出する検出回路である。４０６は種々の撮影設定条件に対応した色シェーディングの情報を記録しておくための色シェーディング情報記憶回路である。４０７は撮影設定条件に対応した各領域のホワイトバランス評価値の重み比率の設定データを、前記ホワイトバランス処理回路４０４に送るホワイトバランス評価値取得領域制御回路である。４０８はホワイトバランス処理が行われた画像データを信号処理、圧縮処理を施す信号処理回路である。

このような構成によって、本実施形態においては、ホワイトバランス処理回路４０４において、画像データからホワイトバランス評価値が求められ、さらにホワイトバランス係数が算出され、それを基にホワイトバランス処理が行われる。ここで、ホワイトバランス処理回路４０４が画像データからホワイトバランス評価値を求めるときに、ホワイトバランス評価値取得領域制御回路４０７は、色シェーディング情報記憶回路４０６に記録された色シェーディングの情報を基に、画像領域ごとにホワイトバランス評価値の重み付けを行う。

図５は、本実施形態において、色シェーディング情報記憶回路４０６に色シェーディングデータを記憶させる処理手順の一例を示すフローチャートである。
始めに、絞り・ズーム位置の設定（ステップＳ５１）を行うとともに、撮影条件を設定する（ステップＳ５２）。次に、無彩色・一様輝度の調整用光源を用意し、撮像装置を用いてその調整用光源の像が撮像素子の受光面上に結像するようにして調整用光源を撮影する（ステップＳ５３）。一面無彩色の調整用光源を撮影したのであるから、画像中央と周辺部とでのＲＧＢ出力の比率は同じになる。このため、画像中央と周辺部とでＲＧＢ出力の比率が違っている場合は、色シェーディングに起因するものである。

図６に示すように、撮影画像をいくつかのブロックに分割し、中央部における輝度信号をＹ（Ｎ）、Ｒ画素とＢ画素の色信号をそれぞれＲ（Ｎ）、Ｂ（Ｎ）とする。また、周辺部のある画素における輝度信号をＹ（ｎ）、Ｒ画素とＢ画素の色信号をそれぞれＲ（ｎ）、Ｂ（ｎ）とする。そして、周辺部のある画素における色シェーディング値を以下に示す式（３）によって算出する（ステップＳ５４）。

この処理をすべての画素について行うことにより、画像全体において各領域の色シェーディングの情報を求めることができる。そして、このようにして求められた色シェーディングの情報は、撮像レンズ系４０１によって決定される撮影設定条件に対応して、色シェーディング情報記憶回路４０６に記憶される（ステップＳ５５）。

さらに、撮影設定条件を変えて、前述したステップＳ５１〜Ｓ５５の処理を同様に行う。このようにして、種々の撮影設定条件に対応した色シェーディングの情報が色シェーディング情報記憶回路４０６に予め記憶される。

次に、色シェーディングの情報から画像領域ごとにホワイトバランス評価値の重み付けを行う方法について説明する。
図９は、本実施形態において、ホワイトバランス評価値を取得し、そのホワイトバランス評価値から最終的なホワイトバランス係数を算出してホワイトバランス処理を行う手順の一例を示すフローチャートである。本実施形態における撮像装置には、撮影時におけるズーム位置と絞り値とを検出する検出回路４０５が含まれており、その検出結果を示す信号は、ホワイトバランス評価値取得領域制御回路４０７に入力される。

ステップＳ９０１において、ホワイトバランス評価値取得領域制御回路４０７は、検出されたズーム位置と絞り値に対応した色シェーディングの情報を色シェーディング情報記憶回路４０６から読み出す。次に、ステップＳ９０２において、読み出された色シェーディングの情報について、前述したように領域分割されたある画素における色シェーディング値Ｃ（ｎ）から、図８に示すグラフに基づいて重み比率α（ｎ）を求める。

図８は、色シェーディング値Ｃ（ｎ）と重み比率α（ｎ）との関係を表すものであり、色シェーディング値Ｃ（ｎ）が大きくなるに従って、重み比率α（ｎ）が小さくなるような設定にしている。そしてこれをすべての画素について行うことにより、図７に示すように画像全体において各領域のホワイトバランス評価値の重み比率αを求めることができる。

次に、ステップＳ９０３において、全画素について重み比率α（ｎ）を求めたか否かを判断する。この判断の結果、全画素について重み比率α（ｎ）を求めていない場合は、ステップＳ９０２に戻り、残りの画素の重み比率α（ｎ）を求める処理を繰り返し行う。

一方、ステップＳ９０３の判断の結果、全画素について重み比率α（ｎ）を求めた場合は、ホワイトバランス評価値取得領域制御回路４０７は、撮影設定条件に対応した各領域のホワイトバランス評価値の重み比率の設定データをホワイトバランス処理回路４０４に出力する。ホワイトバランス処理回路４０４は、入力されたホワイトバランス評価値を重み付け比率に従って乗算することにより、ホワイトバランス評価値を算出する処理を行う（ステップＳ９０４）。

次に、ステップＳ９０５に進み、前記ステップＳ９０４で算出されたホワイトバランス評価値を基にして最終的なホワイトバランス係数を算出する。次に、ステップＳ９０６に進み、前記ステップＳ９０５において算出されたホワイトバランス係数を用い、画像データのホワイトバランス処理を行う。

その後、ホワイトバランス処理が行われた画像データが信号処理回路４０８において信号処理、圧縮処理を施された後、メモリカードに記録されたり、モニタ、プリンタ等の出力装置に供給されたりする。

以上のように、撮影設定条件における色シェーディングの情報に基づいて、画像領域ごとに色シェーディング値が大きい領域では重み比率が小さくなるように、色シェーディング値が小さい領域では重み比率が大きくなるように設定してホワイトバランス評価値を求めることにより、色シェーディングの影響を抑制してより正確なホワイトバランス処理を行うことが可能となる。

（本発明に係る他の実施形態）
なお、前述した各実施形態の機能を実現するように各種のデバイスを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したもの（前述した本発明の実施形態における撮像装置を構成する各手段、並びに撮像方法の各ステップ）も、本発明の範疇に含まれる。

また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。

かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等が共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

本発明の実施形態における撮像装置の構成例を示すブロック図である。 ホワイトバランス評価値検出ブロックの構造を示す図である。 色温度の変化に対応して変化する白色の色評価値の移動を表す白軸及び白と判断すべき範囲を表す白検出範囲を示す図である。 本発明の実施形態の撮像装置において、画像処理を行う構成例の詳細を示すブロック図である。 本発明の実施形態において、色シェーディングデータ記憶回路に色シェーディングデータを記憶させる処理手順の一例を示すフローチャートである。 撮影画像を中央部と周辺部の複数の領域に分割した状態を示す図である。 本発明の実施形態において、撮影画像各領域のホワイトバランス評価値の重み付け比率を示す図である。 本発明の実施形態において、色シェーディング値と重み比率との関係を示す図である。 本発明の実施形態において、ホワイトバランス評価値を取得して最終的なホワイトバランス係数を算出してホワイトバランス処理を行う手順の一例を示すフローチャートである。

符号の説明

１ 光学系
２ メカシャッタ
３ 撮像素子
４ ＣＤＳ回路
５ Ａ／Ｄ変換器
６ タイミング信号発生回路
７ 駆動回路
８ 信号処理回路
９ 画像メモリ
１０ 画像記録媒体
１１ 記録回路
１２ 画像表示装置
１３ 表示回路
１４ システム制御部
１５ 不揮発性メモリ（ＲＯＭ）
１６ 揮発性メモリ（ＲＡＭ）
１７ 補正回路
４０１ 撮像レンズ系
４０２ 撮像素子
４０３ Ａ／Ｄ変換回路
４０４ ホワイトバランス処理回路
４０５ 検出回路
４０６ 色シェーディング情報記憶回路
４０７ ホワイトバランス評価値取得領域制御回路
４０８ 信号処理回路

Claims (10)

1. 撮像手段の出力信号に対してホワイトバランス処理を行うホワイトバランス処理手段と、
   色シェーディングの情報を用いて、前記ホワイトバランス処理を行うように制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は、前記色シェーディングの情報を用いて、前記撮像手段の出力信号からホワイトバランス評価値を算出するとともに、前記算出したホワイトバランス評価値からホワイトバランス係数を算出するように制御し、
   前記ホワイトバランス処理手段は、前記撮像手段の出力信号に対して、前記ホワイトバランス係数によりホワイトバランス処理を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記色シェーディングの情報は、前記撮像手段で得られる撮像画像を複数の領域に分割したときの各領域における色シェーディングの大きさであることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記色シェーディングの情報は、撮影設定条件毎に設けられていることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮影設定条件は、ズーム倍率と絞り値であることを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記色シェーディングの情報を用いて、前記撮像手段の出力信号に基づいたホワイトバランス評価値の重み付け比率の設定を前記領域ごとに行うことを特徴とする請求項３に記載の撮像装置。
7. 前記制御手段は、前記色シェーディングが大きい領域では前記ホワイトバランス評価値の重み付け比率を大きく設定し、前記色シェーディングが小さい領域では前記ホワイトバランス評価値の重み付け比率を小さく設定することを特徴とする請求項６に記載の撮像装置。
8. 撮像手段の出力信号に対してホワイトバランス処理を行うホワイトバランス処理工程と、
   色シェーディングの情報を用いて、前記ホワイトバランス処理を行うように制御する制御工程と、
   を有することを特徴とする撮像方法。
9. 撮像手段の出力信号に対してホワイトバランス処理を行うホワイトバランス処理工程と、
   色シェーディングの情報を用いて、前記ホワイトバランス処理を行うように制御する制御工程と、を有する撮像方法をコンピュータに実行させることを特徴とするプログラム。
10. 請求項９に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images