JP2012100170A - 撮像装置、ホワイトバランス調整方法及びホワイトバランス調整プログラム - Google Patents

Abstract

【課題】ストロボの発光時に撮像された画像について、自然な色の再現性を向上させる撮像装置を提供すること。
【解決手段】ＣＰＵ１１は、発光時撮像画像と非発光時スルー画像とを撮像部２０に撮像させる。ホワイトバランスゲイン算出部１５は、撮像画像及びスルー画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を取得する。画像分割部１６は、撮像された撮像領域を複数の領域に分割する。輝度取得部１７は、分割領域の撮像画像とスルー画像との輝度値を取得する。輝度比較部４１は、撮像画像の領域の輝度値をスルー画像の領域の輝度値で除した値を、相対値として算出し、算出された相対値の中から、値の高い相対値を優先して複数選択する。ホワイトバランスゲイン算出部１５は、算出された撮像画像及びスルー画像の各色成分の値と選択された複数の相対値とに基づいて、発光時撮像画像の各色成分のゲイン値を補正する。
【選択図】図１

Description

本発明は、撮像装置、ホワイトバランス調整方法及びホワイトバランス調整プログラムに関し、特に、ストロボの発光時に撮像された画像について、自然な色の再現性を向上させる技術に関する。

従来より、ストロボの発光時に色温度の違いにより生じる不自然な白色を、より自然な白色に補正するために、ホワイトバランスが調整されている。
ホワイトバランスの調整手法としては、例えば、ストロボの発光時の画像とストロボの非発光時の画像をそれぞれ複数の領域に分割し、それぞれに対応する領域の輝度差に基づいて、分割された領域毎にホワイトバランスをそれぞれ設定する、といった手法が知られている（特許文献１参照）。

特開平８−５１６３２号公報

しかしながら、上述の特許文献１に記載される手法が適用されると、分割された領域についてそれぞれ個別にホワイトバランスが設定されるために、画像全体の色味が不自然になる虞があった。

本発明は、このような状況に鑑みてなされたものであり、ストロボの発光時に撮像された画像について、自然な色の再現性を向上させることを目的とする。

上記目的を達成するため、請求項１に記載の発明は、発光手段と、撮像手段と、を備える撮像装置において、前記発光手段による発光により明るくされた時の画像である第１の画像と当該発光手段による発光がなされていない時の画像である第２の画像とを前記撮像手段に撮像するように制御する撮像制御手段と、前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第１の取得手段と、前記撮像手段により撮像された撮像領域を複数の領域に分割する分割手段と、前記第１の画像と前記第２の画像とについて、前記分割手段により分割された複数の領域の輝度値を夫々取得する第２の取得手段と、前記第２の取得手段により取得された前記第１の画像の領域の輝度値を対応する前記第２の画像の領域の輝度値で除した値を、相対値として夫々算出する算出手段と、前記算出手段により夫々算出された相対値の中から、値の高い相対値を優先して複数選択する選択手段と、前記第１の取得手段により取得された前記第１の画像及び前記第２の画像の各色成分のゲイン値と前記選択手段により選択された複数の相対値とに基づいて、前記発光手段による発光により明るくされた時の画像の各色成分のゲイン値を補正する補正手段とを備える撮像装置であることを特徴とする。

また、上記目的を達成するために、請求項２に記載の発明は、前記第１の取得手段により算出された画像の各色成分を他の色空間における少なくとも輝度情報を含む画素のパラメータの組に変換する変換手段をさらに備え、前記補正手段は、さらに、前記変換手段により変換された画素のパラメータの組に基づいて、前記各色成分のゲイン値を補正する撮像装置であることを特徴とする。

また、上記目的を達成するために、請求項３に記載の発明は、発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得ステップと、前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得ステップと、前記第１の取得ステップにて取得された画像を複数の領域に分割する分割ステップと、前記第１の画像と前記第２の画像について、前記分割ステップにて分割された複数の領域の輝度値を夫々取得する第３の取得ステップと、前記第３の取得ステップの処理により取得された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を、相対値として夫々算出する算出ステップと、前記算出ステップにて夫々算出された相対値の中から、値の高い相対値を優先して複数選択する選択ステップと、前記第２の取得ステップにて取得された前記第１の画像及び前記第２の画像の各色成分のゲイン値と前記選択ステップにて選択された複数の相対値とに基づいて、発光により明るくされた時の画像の各色成分のゲイン値を補正する補正ステップとを含むホワイトバランス調整方法であることを特徴とする。

また、上記目的を達成するために、請求項４に記載の発明は、コンピュータを、発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得手段、前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得手段、前記第１の取得手段により取得された画像を複数の領域に分割する分割手段、前記第１の画像と前記第２の画像とについて、前記分割手段により夫々分割された複数の領域輝度値を夫々取得する第３の取得手段、前記第３の取得手段により取得された前記第１の画像の領域の輝度値を対応する前記第２の画像の領域の輝度値で除した値を、相対値として夫々算出する算出手段、前記算出手段により夫々算出された相対値の中から、値の高い相対値を優先して複数選択する選択手段、前記第２の取得手段により取得された前記第１の画像及び前記第２の画像の各色成分のゲイン値と前記選択手段により選択された複数の相対値とに基づいて、前記発光により明るくされた時の画像の各色成分のゲイン値を補正する補正手段として機能させるホワイトバランス調整プログラムであることを特徴とする。

本発明によれば、ストロボの発光時に撮像された画像について、自然な色の再現性を向上させることができる。

本発明に係る撮像装置の一実施形態におけるハードウェアの構成を示す領域図である。 図１のハードウェアの構成を有する撮像装置が実行するストロボ撮像処理の流れを説明するフローチャートである。 非発光時スルー画像又は発光時撮像画像から８×８の６４の分割領域が得られた状態を示す模式図である。 発光時スルー画像及び非発光時撮像画像の各分割領域の輝度比率を格納するテーブルの一例を示す図である。 図１のハードウェアの構成を有する撮像装置が実行するホワイトバランス処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図を用いて説明する。
図１は、本発明に係る撮像装置１の一実施形態におけるハードウェアの構成を示す領域図である。
図１に示す撮像装置１は、例えばデジタルカメラにより構成することができる。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、ホワイトバランスゲイン算出部１５と、画像分割部１６と、輝度取得部１７と、バス１８と、入出力インターフェース１９と、撮像部２０と、発光部２１と、操作部２２と、表示部２３と、記憶部２４、通信部２５と、ドライブ２６と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２４からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
例えば、画像処理部１４は、後述する撮像部２０から出力される撮像画像のデータに対して、ノイズ低減、ホワイトバランスの調整、手ぶれ補正等の画像処理を施す。

ホワイトバランスゲイン算出部１５は、画像処理部１４において行われる画像処理のうち、ホワイトバランスの調整に用いるホワイトバランスゲインを算出する。なお、ホワイトバランスゲイン算出部１５のさらなる詳細については、後述する。

画像分割部１６は、画像処理部１４において行われる画像処理のうち、ホワイトバランスの調整に用いる画像のデータを、空間方向に幾つかの領域のデータに分割する。なお、画像分割部１６のさらなる詳細については、後述する。

輝度取得部１７は、画像処理部１４において行われる画像処理のうち、ホワイトバランスの調整に用いる画像のデータから、輝度値等を取得する。なお、輝度取得部１７のさらなる詳細については、輝度比較部４１も含めて後述する。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、画像処理部１４、ホワイトバランスゲイン算出部１５、画像分割部１６及び輝度取得部１７は、バス１８を介して相互に接続されている。このバス１８にはまた、入出力インターフェース１９も接続されている。入出力インターフェース１９には、撮像部２０、発光部２１、操作部２２、表示部２３、記憶部２４、通信部２５及びドライブ２６が接続されている。

撮像部２０は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部２０の出力信号として出力される。
なお、以下、撮像部２０の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部２０からは撮像画像のデータが出力されて、ＣＰＵ１１、画像処理部１４、ホワイトバランスゲイン算出部１５等に適宜供給される。

発光部２１は、ストロボを有し、ＣＰＵ１１の制御に従って、ストロボを発光させる。本実施形態においては、ユーザが操作部２２に対する撮像画像の記録指示の操作、例えば操作部２２のうち図示せぬレリーズ釦の押下操作をしたことを契機として、ストロボが発光する。

操作部２２は、例えば、図示せぬリレーズ釦等の各種釦により構成され、ユーザの指示操作を受け付ける。

表示部２３は、各種画像を表示可能なディスプレイ等により構成される。

記憶部２４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、後述するスルー画像、表示対象の原画像、当該原画像に合成され得る画像等の各種画像のデータを記憶する。

通信部２５は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２６には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２６によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２４にインストールされる。また、リムーバブルメディア３１は、記憶部２４に記憶されている画像のデータ等の各種データも、記憶部２４と同様に記憶することができる。

以上、図１を参照して、本実施形態の撮像装置１のハードウェアの構成について説明した。
次に、このようなハードウェアの構成を有する撮像装置１が実行するストロボ撮像処理の流れについて説明する。ストロボ撮像処理とは、ストロボを発光させて被写体を撮像し、その結果得られる撮像画像のデータに対して、ホワイトバランスの調整を行った後に、リムーバブルメディア３１等に記録するまでの一連の処理をいう。
図２は、図１のハードウェアの構成を有する撮像装置１が実行するストロボ撮像処理の流れを説明するフローチャートである。

先ず、撮像装置１の動作モードとして、本実施形態では、ストロボを発光せずに被写体を撮像する通常モードと、ストロボを発光して被写体を撮像するストロボモードとが設けられているとする。そして、ユーザは、操作部２２に対する所定の操作をすることで、動作モードとして、通常モード又はストロボモードを選択的に指示することができるものとする。
この場合、ストロボモードの選択が指示されると、ストロボ撮像処理は開始する。

ステップＳ１において、ＣＰＵ１１は、スルー画像の撮像処理及びスルー画像の表示処理を実行する。
即ち、ＣＰＵ１１は、撮像部２０や画像処理部１４を制御して、撮像部２０による撮像動作を継続させる。そして、ＣＰＵ１１は、撮像部２０による撮像動作が継続されている間、当該撮像部２０から順次出力される撮像画像のデータを、メモリ（本実施形態では記憶部２４）に一時的に記憶させる。このような一連の処理が、ここでいう「スルー撮像処理」である。
また、ＣＰＵ１１は、スルー撮像処理時にメモリ（本実施形態では記憶部２４）に一時的に記録された各データを順次読み出して、各々に対応する撮像画像を表示部２３に順次表示させる。このような一連の処理が、ここでいう「スルー表示処理」である。なお、スルー表示処理により表示部２３に表示されている撮像画像を、以下、「スルー画像」と呼ぶ。

ステップＳ２において、ＣＰＵ１１は、撮像画像の記録指示があったか否かを判断する。
本実施形態においては、上述したように、ユーザは、操作部２２のうちレリーズ釦を押下操作することによって、撮像画像の記録指示をすることができる。
従って、レリーズ釦が押下操作されていない場合には、ステップＳ２においてＮＯであると判定されて、処理はステップＳ１に戻される。即ち、レリーズ釦が押下操作されるまでの間、ステップＳ１及びＳ２のループ処理が繰り返し実行されることによって、スルー撮像処理及びスルー表示処理が繰り返し実行され、被写体のスルー画像がリアルタイムに表示部２３に表示され続ける。
なお、図示はしないが、所定時間経過しても未だレリーズ釦が押下操作されない場合には、ＣＰＵ１１等は、ストロボ撮像処理を強制終了するようにしてもよい。

その後、レリーズ釦が押下操作された場合には、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。

ステップＳ３において、ＣＰＵ１１は、発光とともに被写体を撮像することを制御する。詳細には、ＣＰＵ１１は、発光部２１を制御して、ストロボを発光させるとともに、撮像部２０を制御して、被写体を撮像させる。
本実施形態では、このときに撮像部２０から出力された撮像画像のデータが、記録対象のデータとして記憶部２４に一時的に記憶される。

ステップＳ４において、ＣＰＵ１１は、ステップＳ１のスルー撮像処理でストロボ非発光時に被写体が撮像されたスルー画像のデータと、ステップＳ３の処理でストロボ発光時に被写体が撮像された撮像画像のデータとを用いて、記録対象の撮像画像のホワイトバランスを調整する処理を実行する。
このようなステップＳ４の処理を、図２の記載にあわせて、以下、「ホワイトバランス処理」と呼ぶ。また、ステップＳ１のスルー撮像処理でストロボ非発光時に被写体が撮像されたスルー画像のデータを、以下、「非発光時スルー画像のデータ」と呼ぶ。一方、ステップＳ３の処理でストロボ発光時に被写体が撮像された撮像画像のデータを、以下、「発光時撮像画像のデータ」と呼ぶ。
ここで、記録対象の撮像画像のデータは、本実施形態では、発光時撮像画像のデータが採用されるものとする。ただし、発光時撮像画像のデータとは別に、ホワイトバランスの設定後、もう１度ストロボを発光させて撮像部２０が被写体を撮像した結果得られる撮像画像のデータを記録対象として採用してもよい。この場合、当該記録対象の撮像画像のデータは、設定されたホワイトバランスで調整される。
なお、ホワイトバランス処理のさらなる詳細については、後述する。

ステップＳ５において、ＣＰＵ１１は、ステップＳ４の処理でホワイトバランス処理が施された、記録対象の撮像画像のデータをリムーバブルメディア３１に記録する。
これにより、ストロボ撮像処理は終了となる。

以上、ストロボ撮像処理について説明した。
次に、ストロボ撮像処理のうち、ステップＳ４で実行されるホワイトバランス処理について説明する。
ここでは、まず、ホワイトバランス処理を実行するための機能的構成について説明し、次に、その機能的構成に基づいて実行されるホワイトバランス処理の流れについて説明する。

ホワイトバランス処理が実行される場合、図１の撮像装置１のうち、ホワイトバランスゲイン算出部１５と、画像分割部１６と、輝度取得部１７と、が機能する。

ホワイトバランスゲイン算出部１５は、非発光時スルー画像についてのホワイトバランスゲインと、発光時撮像画像についてのホワイトバランスゲインとをそれぞれ算出する。
詳細には、本実施形態では、非発光時スルー画像と発光時撮像画像の各データは、ＲＧＢ（Ｒ：Ｒｅｄ，Ｇ：Ｇｒｅｅｎ，Ｂ：Ｂｌｕｅ）成分により構成されているものとする。
この場合、ホワイトバランスゲイン算出部１５は、非発光時スルー画像のホワイトバランスゲインとして、Ｒ成分のゲイン（以下、「ＳＲＧ」と呼ぶ）と、Ｇ成分のゲイン（以下、「ＳＧＧ」と呼ぶ）と、Ｂ成分のゲイン（以下、「ＳＢＧ」と呼ぶ）と、それぞれを算出する。なお、ＳＲＧ，ＳＧＧ，ＳＢＧを併せて、以下、「非発光時スルー画像のＲＧＢ成分のゲイン値」と呼ぶ。
また、ホワイトバランスゲイン算出部１５は、発光時撮像画像のホワイトバランスゲインとして、Ｒ成分のゲイン（以下、「ＬＲＧ」と呼ぶ）と、Ｇ成分のゲイン（以下、「ＬＧＧ」と呼ぶ）と、Ｂ成分のゲイン（以下、ＬＢＧと呼ぶ）と、をそれぞれ算出する。ＳＲＧ，ＳＧＧ，ＳＢＧを併せて、以下、「発光時撮像画像のＲＧＢ成分のゲイン値」と呼ぶ。

次に、ホワイトバランスゲイン算出部１５は、非発光時スルー画像及び発光時撮像画像のＲＧＢ成分の各ゲイン値を、ＹＵＶ（Ｙ：輝度，Ｕ：輝度と青成分の色差，Ｖ：輝度と赤成分の色差）成分のゲイン値に変換する。
なお、以下、非発光時スルー画像及び発光時撮像画像のＲＧＢ成分の各ゲイン値から変換されたＹＵＶ成分の各ゲイン値を、「ＹＵＶ変換値」と呼ぶ。

ここで、非発光時スルー画像のＹＵＶ変換値は、Ｙ成分のゲイン（以下、ＳＹと呼ぶ）と、Ｕ成分のゲイン（以下、ＳＵと呼ぶ）と、Ｖ成分のゲイン（以下、ＳＶと呼ぶ）と、から構成される。
この場合、非発光時スルー画像のＹＵＶ変換値は、次の式（１）から演算される。

なお、式（１）の左辺の左から掛けられている３行３列の行列は、即ち、ｉ行ｊ列（ｉ，ｊは、相互に独立した、１乃至３の範囲内の整数値）の要素がａｉｊとなっている行列は、ＲＧＢ成分をＹＵＶ成分に変換する変換行列である。

一方、発光時撮像画像のＹＵＶ変換値は、Ｙ成分のゲイン（以下、ＬＹと呼ぶ）と、Ｕ成分のゲイン（以下、ＬＵと呼ぶ）と、Ｖ成分のゲイン（以下、ＬＶと呼ぶ）と、から構成される。
この場合、発光時スルー画像のＹＵＶ変換値は、次の式（２）から演算される。

次に、ホワイトバランスゲイン算出部１５は、非発光時スルー画像と発光時撮像画像との各分割領域の輝度比率（分割領域や輝度比率は後述する）を総合的に考慮して、発光時撮像画像のＹＵＶ変換値のうち、Ｙ成分のゲインＬＹを補正する。
ここで、発光時撮像画像のＹＵＶ変換値のうち、補正後のＹ成分のゲインを、以下、「ＬＹ’」と呼ぶ。換言すると、ＬＹに対して、非発光時スルー画像と発光時撮像画像との各分割領域の輝度比率を総合的に考慮した重み付けがなされた値が、ＬＹ’である。
ＬＹ’は、例えば次の式（３）により求められる。

式（３）において、Ｃは、非発光時スルー画像と発光時撮像画像との各分割領域の輝度比率を総合的に考慮した重み付けを行うための可変係数であって、後述する輝度比較部４１で演算される平均輝度比率である。

次に、ホワイトバランスゲイン算出部１５は、式（３）によりＹ成分が補正（重み付け）された発光時撮像画像のＹＵＶ変換値を、ＲＧＢ成分のゲイン値に逆変換する。具体的には、ホワイトバランスゲイン算出部１５は、次の式（４）に従って、逆変換後の発光時撮像画像のＲＧＢ成分のゲイン値を求める。

なお、式（４）の右辺の列ベクトルが、逆変換後の発光時撮像画像のＲＧＢ成分のゲイン値を示している。逆変換後の発光時撮像画像のＲＧＢ成分のゲイン値は、逆変換後のＲ成分のゲイン（以下、式（４）の記載に併せて「ＬＲα」と呼ぶ）と、逆変換後のＧ成分のゲイン（以下、式（４）の記載に併せて「ＬＧα」と呼ぶ）と、逆変換後のＢ成分のゲイン（以下、式（４）の記載に併せて「ＬＢα」と呼ぶ）と、から構成される。
また、式（４）の左辺において、左から掛けられている行列は、式（１）や式（２）で用いられている変換行列の逆行列である。

そして、ホワイトバランスゲイン算出部１５は、逆変換後の発光時撮像画像のＲＧＢ成分のゲイン値に基づいて、記録対象の撮像画像のホワイトバランス設定を行う。

次に、撮像装置１が、ホワイトバランス処理の一部として、上述の式（３）で用いる平均輝度比率Ｃを演算する処理を実行する場合の機能的構成について説明する。この場合には、画像分割部１６と輝度取得部１７とが機能する。

画像分割部１６は、非発光時スルー画像及び発光時撮像画像の各データを、複数の領域、本実施形態においては、図３に示すように８×８の６４の領域の各データにそれぞれ分割する。
なお、本明細書では、このように画像分割部１６により分割された領域が、特に、「分割領域」と呼ばれている。
図３は、非発光時スルー画像又は発光時撮像画像から８×８の６４の分割領域が得られた状態を示す模式図である。
同図に示すように、本実施形態では、各分割領域に対して、一意に特定する固有の番号、具体的には左上端の分割領域から、水平方向は右方向に、垂直方向は下方向に向けた順序で、１、２、３、４、５、６、７、８、９、１０、・・・、６３、６４という番号が付されている。なお、以下、分割領域に付される番号を、「分割番号」と呼ぶ。
分割番号の付し方は、非発光時スルー画像及び発光時撮像画像で統一されているため、非発光時スルー画像と発光時撮像画像とのそれぞれの同一番号の分割領域は、画像全体における、位置、大きさ、及び範囲は同一となっている。
なお、各分割領域のデータは、例えば、付された番号と対応付けられてテーブル方式で記憶部に記憶されて、管理される。

輝度取得部１７は、非発光時スルー画像及び発光時撮像画像のデータから、輝度値を分割領域単位で取得する。
ここで、分割領域は複数の画素から構成されるため、分割領域の輝度とは、当該分割領域を構成する各画素の輝度に基づいて演算された値、例えば、各画素の輝度の平均値を意味するものとする。

輝度取得部１７には、輝度比較部４１が設けられている。
輝度比較部４１は、発光時スルー画像及び非発光時撮像画像の各分割領域の輝度比率を算出する。
領域番号ｋ（ｋは、分割総数以下の正の整数値であり、本実施形態では６４以下の正の整数値）の輝度比率Ｃｋは、次の式（５）により求められる。

式（５）において、Ｙｋ’は、発光時撮像画像のｋ番目の分割領域の輝度を示している。Ｙｋは、非発光時スルー画像のｋ番目の分割領域の輝度を示している。
本実施形態では、このような式（５）による輝度比較部４１の演算結果は、例えば図４に示すテーブル形式で記憶部２４に記憶されて、管理される。

図４は、発光時スルー画像及び非発光時撮像画像の各分割領域の輝度比率を格納するテーブルの一例を示している。
本実施形態において、図４のテーブルは行列構造を有しているため、以下、図４中横方向の項目の集合体を「行」と称し、同図中縦方向の項目の集合体を「列」と称する。所定の行には、所定の領域番号が対応付けられている。即ち、所定の行には、当該行に対応する領域番号についての、「領域番号」、「非発光時の輝度」、「発光時の輝度」、及び「輝度比率」という項目がそれぞれ配置されている。
上から第Ｋ行目（ただし、図４の項目名が記載された一番上の行は除外する。以下同じ）。の「領域番号」には、領域番号Ｋが格納される。
上から第Ｋ行目の「非発光時の輝度」には、非発光時スルー画像のｋ番目の分割領域の輝度Ｙｋが格納される。
上から第Ｋ行目の「発光時の輝度」には、発光時撮像画像のｋ番目の分割領域の輝度Ｙｋ’が格納される。
上から第Ｋ行目の「輝度比率」には、ｋ番目の輝度比率Ｃｋ、即ち式（５）の演算結果が格納される。

次に、輝度比較部４１は、全分割領域毎の輝度比率を比率の高い順番にソートする。
そして、輝度比較部４１は、輝度の高い順番にソートされた各分割領域の輝度比率のうち、上位２乃至４番目の輝度比率の平均値を、上述した平均輝度比率Ｃとして求める。
具体的には、輝度比較部４１は、次の式（６）を演算することにより、平均輝度比率Ｃを求める。

式（６）において、Ｃｔ２乃至Ｃｔ４の各々は、上位２乃至４番目の各々の輝度比率を示している。
例えば、全分割領域の輝度比率（Ｃ１＝Ｙ１’／Ｙ１，Ｃ２＝Ｙ２’／Ｙ２，Ｃ３＝Ｙ３’／Ｙ３，・・・，Ｃ８＝Ｙ８’／Ｙ８，・・・，Ｃ２２＝Ｙ２２’／Ｙ２２，・・・，Ｃ６４＝Ｙ６４’／Ｙ６４）のうち、上位４番目までの輝度比率が次の通りであったとする。即ち、１番目：Ｃｔ１＝Ｃ１＝Ｙ１’／Ｙ１、２番目：Ｃｔ２＝Ｃ２＝Ｙ２’／Ｙ２、３番目：Ｃｔ３＝Ｃ８＝Ｙ８’／Ｙ８、４番目：Ｃｔ４＝Ｃ２２＝Ｙ２２’／Ｙ２２であったものとする、この場合、平均輝度比率Ｃは、次の式（７）により算出される。

このようにして求められた平均輝度比率Ｃは、上述した式（３）に係数として代入されて用いられる。

以上、図３及び図４を参照して、本実施形態の図１の撮像装置１の機能的構成のうち、図２のステップＳ４のホワイトバランス処理を実行するための機能的構成について説明した。

次に、このような機能的構成を有する撮像装置１が実行するステップＳ４のホワイトバランス処理の詳細な流れについて説明する。
ホワイトバランス処理においては、ＣＰＵ１１の制御の下、ホワイトバランスゲイン算出部１５乃至輝度取得部１７の何れかが各ステップの処理を実行する。ただし、以下の説明においては、ＣＰＵ１１の制御についての説明は省略する。
図５は、図１の撮像装置１が実行する図２のストロボ撮像処理のうち、ステップＳ４のホワイトバランス処理の流れの詳細を説明するフローチャートである。

ステップＳ２１において、ホワイトバランスゲイン算出部１５は、非発光時スルー画像の各ＲＧＢ成分のゲイン値と発光時撮像画像の各ＲＧＢ成分のゲイン値とを算出する。
詳細には、ホワイトバランスゲイン算出部１５は、非発光時スルー画像のホワイトバランスゲインとして、Ｒ成分のゲインであるＳＲＧと、Ｇ成分のゲインであるＳＧＧと、Ｂ成分のゲインであるＳＢＧと、をそれぞれ算出する。
また、ホワイトバランスゲイン算出部１５は、発光時撮像画像のホワイトバランスゲインとして、Ｒ成分のゲインであるＬＲＧと、Ｇ成分のゲインであるＬＧＧと、Ｂ成分のゲインであるＬＢＧと、をそれぞれ算出する。

ステップＳ２２において、画像分割部１６及び輝度取得部１７は、撮像画像とスルー画像とをそれぞれ８×８分割して各画像の領域の輝度値を算出する。
詳細には、まず、画像分割部１６は、非発光時スルー画像及び発光時撮像画像の各データを、複数の領域、本実施形態においては、図３に示すように８×８の６４の領域の各データにそれぞれ分割する。
そして、輝度取得部１７は、非発光時スルー画像及び発光時撮像画像のデータから、輝度値を分割領域単位で取得する。

ステップＳ２３において、輝度比較部４１は、発光時スルー画像及び非発光時撮像画像の各分割領域の輝度比率を算出する。詳細には、輝度比較部４１は、上述した式（５）を演算することにより、輝度比率を算出する。本実施形態では、このような式（５）による輝度比較部４１の演算結果は、例えば図４に示すテーブル形式で記憶部に記憶されて、管理される。

ステップＳ２４において、輝度比較部４１は、輝度比率が高い方から２〜４番目を選択し、各輝度比率の平均（平均輝度比率）を算出する。即ち、輝度比較部４１は、ステップＳ３において全分割領域毎の輝度比率を比率の高い順番にソートする。そして、輝度比較部４１は、輝度の高い順番にソートされた各分割領域の輝度比率のうち、上位２乃至４番目の輝度比率の平均値である平均輝度比率Ｃを、上述した式（６）を演算することにより求める。

ステップＳ２５において、ホワイトバランスゲイン算出部１５は、ステップＳ２１で求めた各ＲＧＢ成分のゲイン値を、ＹＵＶ変換値に変換する。詳細には、ホワイトバランスゲイン算出部１５は、上述した式（１）及び式（２）を演算することにより、ステップＳ２１で求めた非発光時スルー画像及び発光時撮像画像のＲＧＢ成分の各ゲイン値を、ＹＵＶ変換値に変換する。

ステップＳ２６において、ホワイトバランスゲイン算出部１５は、ステップＳ２４で求めた平均輝度比率に基づいて、Ｙ成分（ＬＹ’）のゲイン値を算出する。詳細には、ホワイトバランスゲイン算出部１５は、ステップＳ２４で算出した平均輝度比率を用いて、上述した式（３）を演算することにより、非発光時スルー画像と発光時撮像画像との各分割領域の輝度比率を総合的に考慮して、発光時撮像画像のＹＵＶ変換値のうち、Ｙ成分のゲインＬＹをＬＹ’に補正する。

ステップＳ２７において、ホワイトバランスゲイン算出部１５は、重み付けが加味されたＹＵＶ変換値をＲＧＢ成分のゲイン値に逆変換する。詳細には、ホワイトバランスゲイン算出部１５は、上述した式（４）に従って、逆変換後の発光時撮像画像のＲＧＢ成分のゲイン値を求める。

ステップＳ２８において、ホワイトバランスゲイン算出部１５は、算出したＲＧＢ成分のゲイン値に基づいて、撮像画像のホワイトバランスを設定する。即ち、ホワイトバランスゲイン算出部１５は、逆変換後の発光時撮像画像のＲＧＢ成分のゲイン値に基づいて、記録対象の撮像画像のホワイトバランス設定を行う。これにより、ホワイトバランス処理を終了し、ストロボ撮像処理に戻り、処理は、図２のステップＳ５に移行する。

以上説明したように、撮像装置１は、発光部２１と、撮像部２０と、ＣＰＵ１１と、ホワイトバランスゲイン算出部１５と、画像分割部１６と、輝度取得部１７と、輝度比較部４１と、を備える。

ＣＰＵ１１は、ユーザの操作により、発光部２１による発光により明るくされた時の画像である撮像画像（発光時撮像画像）と当該発光による発光がなされていない時の画像であるスルー画像（非発光時スルー画像）とを撮像部２０に撮像するように制御する。
ホワイトバランスゲイン算出部１５は、発光時撮像画像及び非発光時スルー画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々算出する。
画像分割部１６は、撮像部２０により撮像された撮像領域を複数の領域に分割する。
輝度取得部１７は、発光時撮像画像と非発光時スルー画像について、画像分割部１６により分割された複数の領域の輝度値を夫々算出する。
輝度比較部４１は、輝度取得部１７により算出された発光時撮像画像の領域の輝度値を対応する非発光時スルー画像の領域の輝度値で除した値を、相対値として夫々算出する。
輝度比較部４１は、輝度比較部４１により夫々算出された相対値の中から、値の高い相対値を優先して複数選択する。
ホワイトバランスゲイン算出部１５は、算出された発光時撮像画像及び非発光時スルー画像の各色成分の値と輝度比較部４１により選択された複数の相対値とに基づいて、発光部２１による発光により明るくされた時の画像の各色成分のゲイン値を補正する。

このように構成される撮像装置１においては、ストロボの発光時に撮像された画像において、画像の自然な色再現性を向上させることができる。

また、ホワイトバランスゲイン算出部１５は、取得された発光時撮像画像及び非発光時スルー画像のＲＧＢ成分を他の色空間である少なくとも輝度情報を含む画素のパラメータの組（ＹＵＶ変換値）に変換する。
また、ホワイトバランスゲイン算出部１５は、さらに、変換された画素のパラメータの組（ＹＵＶ変換値）に基づいて、ＲＧＢ成分のゲイン値を補正する。

このように構成される撮像装置１においては、ＹＵＶ変換値に変換することにより、グレーバランスレベルで輝度の調整を行うために、ストロボの発光時に撮像された画像の各色成分の毎の輝度を個別に調整する場合に生じ得る特定の色の変化が生じなくなり、画像の自然な色再現性をより向上させることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

また、上述の実施形態では、輝度比率Ｃｋを、上述した式（５）により求めたがこれに限られない。輝度比率Ｃｋは、次の式（８）により求めることができる。この場合には、この場合、平均輝度比率には、下位２から４番目の輝度比率Ｃｋを用いる。

また、上述の実施形態では、平均輝度比率を上位２から４番目の輝度比率を用いたがこれに限られない。平均輝度比率に用いる輝度比率は、少なくとも、全輝度比率において、相対的に高い値となっているものであればよい。

また、上述の実施形態では、最上位の輝度比率を用いないように構成したが、これに限られない。最上位の輝度比率が他の輝度比率に比べて飛び抜けて高い値である等の不安定な値でなければ、最上位の輝度比率を用いるように構成してもよい。

また、上述の実施形態では、画像の分割は、非発光時スルー画像及び発光時撮像画像の各データを、複数の領域、本実施形態においては、図３に示すように８×８の６４の領域の各データにそれぞれ分割したがこれに限られない。画像の分割は、複数の領域に分割すればよく、分割数や分割領域の決定は、適宜決定可能である。

また、上述の実施形態では、撮像部２０により撮像した発光時撮像画像及び非発光時スルー画像を用いてホワイトバランス処理を実行したが、これに限られない。ホワイトバランス処理は、例えば、ＣＰＵ１１や画像処理部１４により外部から取得した撮像画像及びスルー画像を用いてもよい。また、上述の実施形態では、発光時撮像画像と非発光時スルー画像とを用いてホワイトバランス処理を実行したがこれに限られない、例えば、発光時撮像画像と非発光時撮像画像を用いてホワイトバランス処理を実行してもよい。

また、上述の実施形態では、本発明が適用される電子装置は、デジタルカメラ等の撮像装置１を例として説明したが、特にこれに限定されない。本発明は、上述のホワイトバランス処理を実行可能な電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、携帯電話装置、ポータブルゲーム機、ＷＥＢカメラ等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図１のハードウェアの構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図１の例に限定されない。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２４に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・ホワイトバランスゲイン算出部、１６・・・画像分割部、１７・・・輝度取得部、１８・・・バス、１９・・・入出力インターフェース、２０・・・撮像部、２１・・・発光部、２２・・・操作部、２３・・・表示部、２４・・・記憶部、２５・・・通信部、２６・・・ドライブ、３１・・・リムーバブルメディア、４１・・・輝度比較部

上記目的を達成するため、請求項１に記載の発明は、発光手段と、撮像手段と、を備える撮像装置において、前記発光手段による発光により明るくされた時の画像である第１の画像と当該発光手段による発光がなされていない時の画像である第２の画像とを前記撮像手段に撮像するように制御する撮像制御手段と、前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第１の取得手段と、前記撮像手段により撮像された撮像領域を複数の領域に分割する分割手段と、前記第１の画像と前記第２の画像とについて、前記分割手段により分割された複数の領域の輝度値を夫々取得する第２の取得手段と、前記分割された複数の領域について、前記第２の取得手段により取得された前記第１の画像の領域の輝度値と当該輝度値に対応する前記第２の画像の領域の輝度値との相対値を夫々算出する算出手段と、前記算出手段により夫々算出された相対値の中から、所定数の相対値を選択する選択手段と、前記第１の取得手段により取得された前記第１の画像及び前記第２の画像の各色成分のゲイン値と前記選択手段により選択された所定数の相対値とに基づいて、前記発光手段による発光により明るくされた時の画像の各色成分のゲイン値を補正する補正手段とを備える撮像装置であることを特徴とする。

また、上記目的を達成するために、請求項２に記載の発明は、請求項１記載の撮像装置であって、前記算出手段は、前記第１の画像の領域の輝度値を当該輝度値に対応する前記第２の画像の領域の輝度値で徐した値を前記相対値として算出し、前記選択手段は、前記算出手段により夫々算出された相対値の中から、値の高い順に所定数の相対値を選択することを特徴とする。
また、上記目的を達成するために、請求項３に記載の発明は、請求項１又は２記載の撮像装置であって、前記第１の取得手段により算出された画像の各色成分を他の色空間における少なくとも輝度情報を含む画素のパラメータの組に変換する変換手段をさらに備え、前記補正手段は、さらに、前記変換手段により変換された画素のパラメータの組に基づいて、前記各色成分のゲイン値を補正する撮像装置であることを特徴とする。

また、上記目的を達成するために、請求項４に記載の発明は、発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得ステップと、前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得ステップと、前記第１の取得ステップにて取得された画像を複数の領域に分割する分割ステップと、前記第１の画像と前記第２の画像について、前記分割ステップにて分割された複数の領域の輝度値を夫々取得する第３の取得ステップと、前記分割された複数の領域について、前記第３の取得ステップの処理により取得された前記第１の画像の領域の輝度値と当該輝度値に対応する第２の画像の領域の輝度値との相対値を夫々算出する算出ステップと、前記算出ステップにて夫々算出された相対値の中から、所定数の相対値を選択する選択ステップと、前記第２の取得ステップにて取得された前記第１の画像及び前記第２の画像の各色成分のゲイン値と前記選択ステップにて選択された複数の相対値とに基づいて、発光により明るくされた時の画像の各色成分のゲイン値を補正する補正ステップとを含むホワイトバランス調整方法であることを特徴とする。

また、上記目的を達成するために、請求項５に記載の発明は、コンピュータを、発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得手段、前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得手段、前記第１の取得手段により取得された画像を複数の領域に分割する分割手段、前記第１の画像と前記第２の画像とについて、前記分割手段により夫々分割された複数の領域輝度値を夫々取得する第３の取得手段、前記分割された複数の領域について、前記第３の取得手段により取得された前記第１の画像の領域の輝度値と当該輝度値に対応する前記第２の画像の領域の輝度値との相対値を夫々算出する算出手段、前記算出手段により夫々算出された相対値の中から、所定数の相対値を選択する選択手段、前記第２の取得手段により取得された前記第１の画像及び前記第２の画像の各色成分のゲイン値と前記選択手段により選択された複数の相対値とに基づいて、前記発光により明るくされた時の画像の各色成分のゲイン値を補正する補正手段として機能させるホワイトバランス調整プログラムであることを特徴とする。

Claims (4)

1. 発光手段と、撮像手段と、を備える撮像装置において、
   前記発光手段による発光により明るくされた時の画像である第１の画像と当該発光手段による発光がなされていない時の画像である第２の画像とを前記撮像手段に撮像するように制御する撮像制御手段と、
   前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第１の取得手段と、
   前記撮像手段により撮像された撮像領域を複数の領域に分割する分割手段と、
   前記第１の画像と前記第２の画像とについて、前記分割手段により分割された複数の領域の輝度値を夫々取得する第２の取得手段と、
   前記第２の取得手段により取得された前記第１の画像の領域の輝度値を対応する前記第２の画像の領域の輝度値で除した値を、相対値として夫々算出する算出手段と、
   前記算出手段により夫々算出された相対値の中から、値の高い相対値を優先して複数選択する選択手段と、
   前記第１の取得手段により取得された前記第１の画像及び前記第２の画像の各色成分のゲイン値と前記選択手段により選択された複数の相対値とに基づいて、前記発光手段による発光により明るくされた時の画像の各色成分のゲイン値を補正する補正手段と
   を備えたことを特徴とする撮像装置。
2. 前記第１の取得手段により取得された画像の各色成分を他の色空間における少なくとも輝度情報を含む画素のパラメータの組に変換する変換手段をさらに備え、
   前記補正手段は、さらに、前記変換手段により変換された画素のパラメータの組に基づいて、前記各色成分のゲイン値を補正することを特徴とする請求項１記載の撮像装置。
3. 発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得ステップと、
   前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得ステップと、
   前記第１の取得ステップにて取得された画像を複数の領域に分割する分割ステップと、
   前記第１の画像と前記第２の画像について、前記分割ステップにて分割された複数の領域の輝度値を夫々取得する第３の取得ステップと、
   前記第３の取得ステップの処理により取得された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を、相対値として夫々算出する算出ステップと、
   前記算出ステップにて夫々算出された相対値の中から、値の高い相対値を優先して複数選択する選択ステップと、
   前記第２の取得ステップにて取得された前記第１の画像及び前記第２の画像の各色成分のゲイン値と前記選択ステップにて選択された複数の相対値とに基づいて、発光により明るくされた時の画像の各色成分のゲイン値を補正する補正ステップと
   を含むことを特徴とするホワイトバランス調整方法。
4. コンピュータを、
   発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得手段、
   前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得手段、
   前記第１の取得手段により取得された画像を複数の領域に分割する分割手段、
   前記第１の画像と前記第２の画像とについて、前記分割手段により夫々分割された複数の領域輝度値を夫々取得する第３の取得手段、
   前記第３の取得手段により取得された前記第１の画像の領域の輝度値を対応する前記第２の画像の領域の輝度値で除した値を、相対値として夫々算出する算出手段、
   前記算出手段により夫々算出された相対値の中から、値の高い相対値を優先して複数選択する選択手段、
   前記第２の取得手段により取得された前記第１の画像及び前記第２の画像の各色成分のゲイン値と前記選択手段により選択された複数の相対値とに基づいて、前記発光により明るくされた時の画像の各色成分のゲイン値を補正する補正手段
   として機能させることを特徴とするホワイトバランス調整プログラム。

Images