JP2015146480A - マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 - Google Patents

マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 Download PDF

Info

Publication number
JP2015146480A
JP2015146480A JP2014017717A JP2014017717A JP2015146480A JP 2015146480 A JP2015146480 A JP 2015146480A JP 2014017717 A JP2014017717 A JP 2014017717A JP 2014017717 A JP2014017717 A JP 2014017717A JP 2015146480 A JP2015146480 A JP 2015146480A
Authority
JP
Japan
Prior art keywords
area
color temperature
light source
white balance
area white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014017717A
Other languages
English (en)
Other versions
JP6345430B2 (ja
Inventor
井岡 健
Takeshi Ioka
健 井岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014017717A priority Critical patent/JP6345430B2/ja
Publication of JP2015146480A publication Critical patent/JP2015146480A/ja
Application granted granted Critical
Publication of JP6345430B2 publication Critical patent/JP6345430B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】複数の光源の境界部に当たるエリアや、特定の色の被写体が多いエリアなどの個別のエリアにおいて光源の色温度の推定の間違いを減らし、画像全体において違和感の無い色再現を実現可能なマルチエリアホワイトバランス制御装置の提供。【解決手段】入力画像を複数のエリアに分割するエリア分割手段11、分割されたエリア毎に光源の色温度を推定する第1の推定手段12、推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段13、エリア分割手段によって分割されたエリア毎に光源の色温度を、色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第2の推定手段14、推定された各エリアの光源の色温度に基づき、入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段15を有する。【選択図】図2

Description

本発明は、複数の光源で照明されたシーンを撮影した画像におけるマルチエリアホワイトバランス画像処理において、複数のエリアに分割された画像に対して、画像内の光源の種類を絞り込んだうえ、エリア毎の色温度推定を行い、その結果に基づき、画像全体のホワイトバランス補正ゲインマップを生成し、それを用いて入力画像に対してホワイトバランス補正を行うことで、画像全体における違和感の無い色再現を実現するためのマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置に関する。
撮影光源は、日中の屋外であれば太陽の高度・大気の状態などに依存してその色温度が変化する。
また、同じシーンの中でも日向と日陰で色温度が異なる。
更に屋内では蛍光灯や白熱灯など様々な人工照明があり、それぞれの光源の色温度が異なる。
また、昼間の室外でフラッシュ撮影した場合、フラッシュ照明と外光の混合光が撮影光源となる。
また、夜の室外でフラッシュ撮影した場合、フラッシュ照明光と背景の人工照明光とは混合しないが、同じシーンの中の異なるエリアでは、光源の色温度が異なる。
また、室内でフラッシュ撮影した場合、フラッシュ照明光と人工照明光が混じりあった光が、撮影光源となる。
上記のような様々な撮影光源の下では、人間の眼は色順応する。つまり、人間の眼は、光源が太陽光、人工照明光、それらのミックス光の如何を問わず、注目エリアの白い被写体を白く感じる。この人間の眼の特性に合わせて入力装置であるカメラも、RGBのゲインを調整して、いわゆるホワイトバランスを取るように構成されている。
しかし、カメラにとっては、撮影前まで撮影光源が未知であるため、一般的には撮影照明の種類(光源の色温度)を撮影した画像から推定したり、もしくはユーザーが指定することによって、その照明種類に合わせて撮影した画像全体のホワイトバランスを補正する。
被写体のシーンが複数の光源によって照明された場合、画像全体のホワイトバランス処理を高精度に行うためには、取得した画像の領域に応じて光源の色温度を検出し、領域ごとに異なるホワイトバランス処理を行う必要がある。
従来、複数の光源で照明されたシーンを撮影した画像のホワイトバランス処理を行う方法としては、例えば、特許文献1に、その一例が開示されている。
特許文献1に記載の方法では、入力されたカラー画像を、複数の小画面に分割し、該分割された各小画面毎に、前記カラー画像を撮影した際の撮影光源の色温度を推定し、各小画面毎の推定色温度のヒストグラムを作成し、前記各小画面をグループ分けし、該グループ毎に、再度撮影光源の色温度を推定し、該グループ毎の色温度推定結果により、各グループ毎にホワイトバランス補正量を算出し、該グループ内の各小画面に対し、前記各グループ毎に算出されたホワイトバランス補正量によりそれぞれホワイトバランス補正を施している。
特開2002−271638号公報
ところで、従来、複数の異種光源により撮影を行った所謂ミックス光源画像のホワイトバランス補正技術では、ホワイトバランスの補正に先立ち、入力された画像を複数のエリアに分割し、該分割されたエリアごとに、例えば、一般的に行われている光源色温度推定方法を用いて、ミックス光源画像を撮影した際の撮影光源の色温度を推定している。
しかし、複数の光源の境界部に当たるエリアや、特定の色の被写体が多いエリアでは、光源の色温度を間違った色温度に推定してしまい易い。
例えば、図1に示すように、画面の左下半分が日向、右上半分が日陰のようなシーンの入力画像を6×6のエリアに分割して、それぞれのエリアの光源の色温度を推定する場合、左上から右下の対角線上に近い、日陰と日向がミックスしているようなエリアや、左下の全体がほぼ芝生となるようなエリアでは、光源の色温度の推定が間違いやすい。
全面が芝生のエリアに対して、一般的に行われている光源色温度推定方法で光源の色温度を推定した場合、光源の色温度が蛍光灯などの人工照明と間違って推定され易い。このように間違って推定された光源の色温度に基づいて、対応するホワイトバランス補正ゲインを用いてホワイトバランスを補正すると、当該エリアの色と隣接エリアの色のバランスが大きく崩れてしまい、画像全体が非常に不自然な色合いとなる可能性がある。
しかるに、特許文献1に記載されている方法は、小画面毎に光源の色温度を推定した後、推定した光源の色温度が近い小画面を複数のグループに仕分けし、仕分けしたグループ毎に再度光源の色温度の推定を行うので、同じグループに属するエリアが異なる色温度と推定されることがなくなり、エリア間で色温度の変化が少なくなり、その再度推定した光源の色温度を用いたホワイトバランス補正で画像全体が非常に不自然な色合いとなることを防ぐことができる。しかし、小画面の光源の色温度の推定が間違っていて、推定した光源の色温度が本来の光源の色温度と大きく異なる場合、その小画面がそもそも本来属するべきグループに仕分けされない。このため、特許文献1に記載されている方法では、小画面の光源の色温度の推定が間違っているエリアでは、間違って推定した光源の色温度に対応するホワイトバランス補正ゲインを用いてホワイトバランスを補正する結果、当該エリアの色のバランスが大きく崩れて、局所的に非常に不自然な色合いとなるといった課題に対処できない。
本発明は、以上の従来技術における問題を鑑みてなされたものであり、撮影画像全体を複数のエリアに分割して、それぞれのエリアの光源の色温度を推定する場合、複数の光源の境界部に当たるエリアや、特定の色の被写体が多いエリアなどの個別のエリアにおいて光源の色温度の推定の間違いを減らし、画像全体において違和感の無い色再現を実現することの可能なマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置を提供することを目的としている。
上記目的を達成するため、本発明によるマルチエリアホワイトバランス制御装置は、入力画像を複数のエリアに分割するエリア分割手段と、前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する第1のエリア光源色温度推定手段と、前記第1のエリア光源色温度推定手段によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段と、前記エリア分割手段によって分割されたエリア毎に光源の色温度を前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第2のエリア光源色温度推定手段と、前記第2のエリア光源色温度推定手段によって推定された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段とを有することを特徴としている。
また、本発明によるマルチエリアホワイトバランス制御方法は、入力画像を複数のエリアに分割し、分割したエリア毎に光源の色温度を推定し、推定した、光源の色温度のうち一部の種類の光源の色温度に絞り込み、分割したエリア毎に光源の色温度を、絞り込んだ一部の種類の光源の色温度のいずれかに推定し直し、推定し直した各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴としている。
また、本発明によるマルチエリアホワイトバランス制御プログラムを記録したコンピュータは、マルチエリアホワイトバランス制御装置に備わるコンピュータであって、前記コンピュータを、入力画像を複数のエリアに分割するエリア分割手段、前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する第1のエリア光源色温度推定手段、前記第1のエリア光源色温度推定手段によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段、前記エリア分割手段によって分割されたエリア毎に光源の色温度を、前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第2のエリア光源色温度推定手段、前記第2のエリア光源色温度推定手段によって推定された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段として機能させるためのマルチエリアホワイトバランス制御プログラムを記録している。
また、本発明によるマルチエリアホワイトバランス制御プログラムは、マルチエリアホワイトバランス制御装置に備わるコンピュータが読み取り可能なマルチエリアホワイトバランス制御プログラムであって、前記コンピュータを、入力画像を複数のエリアに分割するエリア分割手段、前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する第1のエリア光源色温度推定手段、前記第1のエリア光源色温度推定手段によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段、前記エリア分割手段によって分割されたエリア毎に光源の色温度を、前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第2のエリア光源色温度推定手段、前記第2のエリア光源色温度推定手段によって推定された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段として機能させることを特徴としている。
本発明によれば、撮影画像全体を複数のエリアに分割して、それぞれのエリアの色温度を推定する場合、複数の光源の境界部に当たるエリアや、特定の色の被写体が多いエリアなどの個別のエリアにおいて光源の色温度の推定の間違いを減らし、画像全体において違和感の無い色再現を実現することの可能なマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置が得られる。
入力画像を複数のエリアに分割した一例を示す説明図である。 本発明の第1実施形態にかかるマルチエリアホワイトバランス制御装置を備えたデジタルカメラのブロック図である。 図2のマルチエリアホワイトバランス制御装置における入力画像のホワイトバランスを補正するまでの処理手順を示すフローチャートである。 (R/G,B/G)色度図における被写体の色分布から光源の色温度を推定する際における、画像データにおける全ての画素を色度図上にプロットし、色度図上での予め設定した各種の光源の色温度エリア判定基準に従い、プロットした点についての光源の色温度の判定を行うための、色度図及びエリア判定基準の一例を示すグラフである。 図2のマルチエリアホワイトバランス制御装置において、入力画像がエリア分割され第1のエリア光源色温度推定手段により、エリア毎に推定された光源の色温度の一例を示す説明図である。 図2のマルチエリアホワイトバランス制御装置において、第2のエリア光源色温度推定手段により、エリア毎に推定された光源の色温度の一例を示す説明図である。 本発明の第2実施形態にかかるマルチエリアホワイトバランス制御装置を備えたデジタルカメラのブロック図である。 図7のマルチエリアホワイトバランス制御装置における入力画像のホワイトバランスを補正するまでの処理手順を示すフローチャートである。 図7のマルチエリアホワイトバランス制御装置において、第1のエリア分割手段が入力画像を複数の第1のエリアに分割した一例を示す説明図である。 図7のマルチエリアホワイトバランス制御装置において、第1のエリア光源色温度推定手段により、図9に示す第1のエリア毎に推定された光源の色温度の一例を示す説明図である。 図7のマルチエリアホワイトバランス制御装置において、第2のエリア分割手段が入力画像を複数の第2のエリアに分割した一例を示す説明図である。 図7のマルチエリアホワイトバランス制御装置において、第2のエリア光源色温度推定手段により、図11に示す第2のエリア毎に推定された光源の色温度の一例を示す説明図である。 第2実施形態のマルチエリアホワイトバランス制御装置の変形例にかかる入力画像のホワイトバランスを補正するまでの処理手順を示すフローチャートである。 第2実施形態のマルチエリアホワイトバランス制御装置の変形例にかかるマルチエリアホワイトバランス制御装置において、第1のエリア光源色温度推定手段により、第1のエリア毎に推定された光源の色温度の一例を示す説明図である。 第2実施形態のマルチエリアホワイトバランス制御装置の変形例にかかるマルチエリアホワイトバランス制御装置において、第1のエリア光源色温度推定手段により第1のエリア毎に推定された光源の色温度が図14に示すように場合に、第1のエリア全体の光源の色温度を推定し直した状態を示す説明図である。
実施例の説明に先立ち、本発明の作用効果について説明する。
本発明は、入力画像を複数のエリアに分割し、分割したエリア毎に光源の色温度を推定し、推定した、光源の色温度のうち一部の種類の光源の色温度に絞り込み、分割したエリア毎に光源の色温度を、絞り込んだ一部の種類の光源の色温度のいずれかに推定し直し、推定し直した各エリアの光源の色温度に基づき、入力画像全体のホワイトバランス補正ゲインマップを生成するようにしている。
本発明のように、推定した、光源の色温度のうち一部の種類の光源の色温度に絞り込み、分割したエリア毎に光源の色温度を、絞り込んだ一部の種類の光源の色温度のいずれかに推定し直せば、当初推定した当該エリアの色温度が間違っていても、当該エリアの推定した光源の色温度をより適正な色温度に推定し直すことができる。その結果、各エリアの適正な色温度に推定し直された光源の色温度に基づいて、入力画像全体のホワイトバランス補正ゲインマップを生成でき、生成したホワイトバランス補正マップに基づいて入力画像全体のホワイトバランスを補正したときに、入力画像全体における当該エリアの色のバランスが適正に保たれ、違和感のない色再現を実現することができる。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に係る本発明を限定するものではない。
第1実施形態
図2は本発明の第1実施形態にかかるマルチエリアAWB(オートホワイトバランス)制御装置を備えたデジタルカメラのブロック図である。図2中、一点鎖線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス制御装置、二点差線で囲んだ部分がマルチエリアホワイトバランス画像処理装置に対応する構成である。図3は図2のマルチエリアホワイトバランス制御装置における入力画像のホワイトバランスを補正するまでの処理手順を示すフローチャートである。
本実施形態のマルチエリアホワイトバランス制御装置1は、図2に示すように、エリア分割手段としての画像エリア分割部11と、第1のエリア光源色温度推定手段としての第1のエリア色温度推定部12と、色温度推定対象光源抽出手段としての色温度推定対象光源抽出部13と、第2のエリア光源色温度推定手段第2のエリア色温度推定部14と、ホワイトバランス補正ゲインマップ生成手段としてのWB(ホワイトバランス)ゲインマップ生成部15を有している。図2中、10はマルチエリアホワイトバランス画像処理装置、16はWB(ホワイトバランス)ゲインマップ生成部15が生成したホワイトバランス補正ゲインマップを記憶するゲインマップ記憶部、17はホワイトバランス処理手段としてのWB(ホワイトバランス)ゲイン補正部、21はレンズ、22はイメージセンサ、23はイメージセンサ22が撮像した画像を記憶する画像記憶部である。なお、本実施形態のマルチエリアホワイトバランス画像処理装置10を備えたデジタルカメラは、図示しない制御部を備えている。制御部は、撮影指示に基づきイメージセンサ22が撮影した画像を画像記憶部23に記憶する機能や、画像記憶部23に記憶されている画像を入力する機能を、夫々別個に備えている。図2の例では、図示しない制御部の撮影指示により、レンズ21を経てイメージセンサ22に結像された画像が撮像されデジタル信号として画像記憶部23に記憶されている。
画像エリア分割部11は、入力画像を予め決められたサイズの複数のブロックに分割する。
第1のエリア色温度推定部12は、画像エリア分割部11により分割されたブロック毎に光源の色温度を推定する。なお、光源の色温度の推定方法の詳細については後述する。
色温度推定対象光源抽出部13は、第1のエリア色温度推定部12によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込みを行う。詳しくは、色温度推定対象光源抽出部13は、第1のエリア色温度推定部12によって推定された全ブロックの光源の色温度を種類毎にカウントし、入力画像全体に含まれる主要な光源の色温度の種類として、カウント数が所定の閾値(例えば、カウント数が全ブロック数の15%)を上回る一部の種類(ここでは上位2種類)の光源の色温度を抽出する。なお、ここでは便宜上、色温度推定対象光源抽出部13が抽出する光源の色温度の種類を上位2種類としたが、色温度推定対象光源抽出部13が抽出する光源の色温度の種類は、カウント数が所定の閾値を上回る光源の色温度が2種類以上存在する場合には、2種類を上回る種類の光源の色温度を抽出するようにしてもよい。また、色温度推定対象光源抽出部13は、光源の色温度の種類毎のカウントに関し、第1のエリア色温度推定部12によって光源の色温度が推定不能なブロックについてはカウントの対象外とするように構成されている。
第2のエリア色温度推定部14は、画像エリア分割部11によって分割されたブロック毎に、色温度推定対象光源抽出部13が絞り込んだ上位2種類の光源の色温度のいずれかに、光源の色温度を推定する。
なお、主要な光源の色温度の抽出方法及び光源の色温度の推定方法の詳細については後述する。
WBゲインマップ生成部15は、第2のエリア色温度推定部14によって推定された各ブロックの光源の色温度に基づき、入力画像全体のホワイトバランス補正ゲインマップを生成する。
WBゲイン補正部17は、WBゲインマップ生成部15によって生成されたホワイトバランス補正ゲインマップに基づき、入力画像全体のホワイトバランスを補正する。
このように構成された本実施形態のマルチエリアホワイトバランス制御装置を用いた入力画像のホワイトバランスを補正するまでの処理の流れを図3から図6を用いて説明する。
まず、図示しないデジタルカメラの制御部が、イメージセンサ22での出力を経て画像記憶部23に記憶されている画像データを入力する(ステップS1)。
次いで、画像エリア分割部11が、入力された画像データを予め決められたサイズの複数のブロックに分割する(ステップS2)。なお、便宜上、以下の説明では画像データは6×6のブロックに分割するものとする。
次いで、第1のエリア色温度推定部12が、画像エリア分割部11により分割された各ブロックの画像に対して、例えば、次のような方法で、ブロック毎の光源の色温度の推定を行う(ステップS3)。
例えば、イメージセンサの有効画素が4800×3600画素であるものとする。入力されるベイヤーパターンのRAW画像は、画像エリア分割部11により6×6のブロックに分割され、各ブロックのサイズは800×600画素となっている。
光源の色温度の推定に先立ち、この800×600画素のブロックに対して、更に、例えば、20×20の画素範囲を1つのサンプリングポイントとし、20×20の画素範囲内にあるR、G、Bそれぞれの画素値の平均値を求めることで、ダウンサンプリングした40×30画素のサンプリングポイントを有するR、G、Bそれぞれの画素データを得る。
この40×30画素のサンプリングポイントに対して、色度値(R/G,B/G)を求め、各サンプリングポイントの色度値を、例えば、図4に示す色度図上にプロットする。そして、例えば、図4に示すような、色度図上での各種の光源の色温度エリア判定基準を用いて、全てのサンプリングポイントの色度値をプロットした点について光源の色温度のエリア判定を行い、各光源の色温度エリアに属するプロットした点の個数を集計する。集計した各光源の色温度エリアに属するプロットした点の個数の大小の順位から、例えば、次の表1に示すような条件に従い、当該ブロックの光源の色温度を推定する。
Figure 2015146480
第1のエリア色温度推定部12は、36個のブロック全てに対して、上記方法を用いて光源の色温度の推定を行う。これにより、画像全体に対して、例えば、図5に示すような光源の色温度の推定結果が得られる。
エリア色温度推定部12による全てのブロックに対する光源の色温度の推定処理が終了後、色温度推定対象光源抽出部13が、第1のエリア色温度推定部12によって推定された上記36個のブロックの光源の色温度を種類別にカウントする。図5の例では、色温度推定対象光源抽出部13がカウントした光源の色温度の種類に関し、“A”(日向)として推定されたブロックが13個、“B”(日陰)として推定されたブロックが14個、“C”(蛍光灯)として推定されたブロックが4個、“D”(その他)として推定されたブロックが5個となっている。そこで、色温度推定対象光源抽出部13は、上記36個のブロック全体でカウント数が所定の閾値(例えば、カウント数が全ブロック数の15%)を上回る一部の種類(ここでは上位2種類)の光源の色温度の種類として、“B”(日陰)と“A”(日向)を抽出する(ステップS4)。
続いて、第2のエリア色温度推定部14が、画像エリア分割部11により分割された36個の各ブロックの画像に対して、例えば、次のような方法で、ブロック毎の光源の色温度を推定し直す(ステップS5)。この場合、色温度推定対象光源抽出部13が絞り込んだ上位2種類のいずれかの光源の色温度、即ち、図5の例では、“B”(日陰)、“A”(日向)のいずれかに推定する。
例えば、イメージセンサの有効画素が4800×3600画素であるものとすると、入力されるベイヤーパターンのRAW画像は、画像エリア分割部11により6×6のブロックに分割され、各ブロックのサイズは800×600画素となっている。
光源の色温度の推定に先立ち、この800×600画素のブロックに対して、更に、例えば、20×20の画素範囲を1つのサンプリングポイントとし、20×20の画素範囲内にあるR、G、Bそれぞれの画素値の平均値を求めることで、ダウンサンプリングした40×30画素のサンプリングポイントを有するR、G、Bそれぞれの画素データを得る。
この40×30画素のサンプリングポイントに対して、色度値(R/G,B/G)を求め、各サンプリングポイントの色度値を、例えば、図4に示す色度図上にプロットする。
次いで、例えば、図4に示すような、色度図上での各種の光源の色温度エリア判定基準を用いて、日陰(エリア1:日陰)と日向(エリア3:晴天)の色温度エリアに属するプロットした点の個数を集計する。集計した日陰と日向の色温度エリアに属するプロットした点の重心が、日陰と日向のうちのいずれの色温度エリアにあるかを判定し、重心があるエリアの色温度を当該ブロックの光源の色温度として推定する。
これにより、画像全体に対して、例えば、図6に示すような光源の色温度の推定結果が得られる。
第1のエリア色温度推定部12によって全てのブロックの光源の色温度を推定した場合、実際の目視結果と比べて、第1のエリア色温度推定部12が推定した大半のブロックにおける光源の色温度は、正しいものとなるが、一部のブロックでは間違ったものとなりうる。例えば、図5に示す(0,0)、(1,1)、(2,2)、(2,3)、(3,3)、(4,3)、(4,4)、(4,5)、(5,5)の各ブロックは、“B”(日陰)と“A”(日向)の境界部に位置するブロックであるため、第1のエリア色温度推定部12は、光源の色温度の推定を、“C”(蛍光灯)あるいは“D”(その他)に間違え易くなる。
しかるに、本実施形態のマルチエリアホワイトバランス制御装置1では、色温度推定対象光源抽出部13が、第1のエリア色温度推定部12によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込み、第2のエリア色温度推定部14が、エリア分割手段11によって分割されたブロック毎に光源の色温度を、色温度推定対象光源抽出部13が絞り込んだ一部の種類の光源の色温度のいずれかに推定することで、図6に示すように、丸印で囲まれているブロック(即ち、(0,0)、(1,1)、(2,2)、(2,3)、(3,3)、(4,3)、(4,4)、(4,5)、(5,5)の各ブロック)の光源の色温度が、“C”(蛍光灯)あるいは“D”(その他)に間違っていた色温度から“B”(日陰)あるいは“A”(日向)といった正しい光源の色温度に推定し直される。
第2のエリア色温度推定部14によるブロック毎の光源の色温度の、色温度推定対象光源抽出部13が絞り込んだ一部の種類の光源の色温度のいずれかへの推定の後、WBゲインマップ生成部15が、図6に示す推定し直された各ブロックの光源の色温度に基づき、図示しない予め決められている光源の色温度に対応するR、Bのゲインのデータを参照にして、R、Bに対応するWB補正ゲインマップを生成する(ステップS6)。WBゲインマップ生成部15が生成したWB補正ゲインマップは、ゲインマップ記憶部16に記憶(保存)される。
そして、WBゲイン補正部17が、入力画像の位置に対応して、それぞれの色の画素値にゲインマップ記憶部16を入力して得たゲインをかけることにより、ホワイトバランスを補正し、画像を出力する(ステップS7)。
本実施形態のマルチエリアホワイトバランス制御装置1及びマルチエリアホワイトバランス制御方法によれば、推定した、光源の色温度のうち、カウントした上位数種類の一部の種類の光源の色温度に絞り込み、分割したエリア毎に光源の色温度を、絞り込んだ一部の種類の光源の色温度のいずれかに推定し直すようにしたので、複数の光源の境界部に当たるエリアや、特定の色の被写体が多いエリアなどの個別のエリアにおいて推定した当該エリアの色温度が間違っていても、当該エリアの推定した光源の色温度をより適正な色温度に推定し直すことができる。その結果、各エリアの適正な色温度に推定し直された光源の色温度に基づいて、入力画像全体のホワイトバランス補正ゲインマップを生成でき、生成したホワイトバランス補正マップに基づいて入力画像全体のホワイトバランスを補正したときに、入力画像全体における当該エリアの色のバランスが適正に保たれ、違和感のない色再現を実現することができる。
なお、上記の例では、第2のエリア色温度推定部14が、画像エリア分割部11により分割された36個のエリア全てに対して、色温度推定対象光源抽出部13が絞り込んだ一部の種類の光源の色温度のいずれかへの光源の色温度の推定を行うようにしたが、図5において、主要光源の色温度(“B”(日陰)、“A”(日向))と異なる種類の光源の色温度(“C”(蛍光灯)、“D”(その他))となっているブロックのみに対して、再度の光源の色温度の推定を行うようにするのが好ましい。即ち、本実施形態のマルチエリアホワイトバランス制御装置1において、第2のエリア色温度推定部14は、エリア分割手段11によって分割されたそれぞれのブロックのうち、第1のエリア色温度推定部12によって推定された光源の色温度が、色温度推定対象光源抽出手段13が絞り込んだ一部の種類の光源の色温度のいずれにも該当しないブロックのみを対象として、光源の色温度を推定するようにするのが好ましい。このようにすれば、重複する処理が省かれて、マルチエリアホワイトバランス処理全体の高速化が図れる。
第2実施形態
図7は本発明の第2実施形態にかかるマルチエリアAWB(オートホワイトバランス)制御装置を備えたデジタルカメラのブロック図である。図7中、一点鎖線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス制御装置、二点差線で囲んだ部分がマルチエリアホワイトバランス画像処理装置に対応する構成である。図8は図7のマルチエリアホワイトバランス制御装置における入力画像のホワイトバランスを補正するまでの処理手順を示すフローチャートである。
本実施形態のマルチエリアホワイトバランス制御装置1は、図7に示すように、第1のエリア分割手段としての画像エリア分割部11と、第1のエリア光源色温度推定手段としての第1のエリア色温度推定部12と、色温度推定対象光源抽出手段としての色温度推定対象光源抽出部13と、第2のエリア光源色温度推定手段第2のエリア色温度推定部14と、ホワイトバランス補正ゲインマップ生成手段としてのWB(ホワイトバランス)ゲインマップ生成部15と、第2のエリア分割手段としての画像エリア分割部18を有しており、エリア分割手段としては、第1のエリア分割手段としての第1の画像エリア分割部11と、第2のエリア分割手段としての第2の画像エリア分割部18を有している。図7中、10はマルチエリアホワイトバランス画像処理装置、16はWB(ホワイトバランス)ゲインマップ生成部15が生成したホワイトバランス補正ゲインマップを記憶するゲインマップ記憶部、17はホワイトバランス処理手段としてのWB(ホワイトバランス)ゲイン補正部、21はレンズ、22はイメージセンサ、23はイメージセンサ22が撮像した画像を記憶する画像記憶部である。
第1の画像エリア分割部11は、入力画像を予め決められた第1のサイズの複数のブロック(例えば、図9に示すように3×3の9個)に分割する。
第2の画像エリア分割部18は、入力画像を予め決められた、第1のサイズよりも小さな第2のサイズの複数のブロック(例えば、図11に示すように6×6の36個)に分割する。
第1のエリア色温度推定部12は、第1の画像エリア分割部11により分割されたブロック毎に光源の色温度を推定する。
第2のエリア色温度推定部14は、第2の画像エリア分割部18によって分割されたブロック毎に、色温度推定対象光源抽出部13が絞り込んだ上位2種類の光源の色温度のいずれかに、光源の色温度を推定する。
その他の構成は、第1実施形態のマルチエリアホワイトバランス制御装置1と略同じである。
このように構成された本実施形態のマルチエリアホワイトバランス制御装置を用いた入力画像のホワイトバランスを補正するまでの処理の流れを図8から図12を用いて説明する。
まず、図示しないデジタルカメラの制御部が、イメージセンサ22での出力を経て画像記憶部23に記憶されている画像データを入力する(ステップS11)。
次いで、第1の画像エリア分割部11が、入力された画像データを図9に示すような第1のサイズの3×3の9個のブロックに分割する(ステップS12)。
次いで、第1のエリア色温度推定部12が、第1の画像エリア分割部11により分割された各ブロックの画像に対して、第1実施形態における第1のエリア色温度推定部12と同様の光源の色温度の推定方法で、ブロック毎の光源の色温度の推定を行う(ステップS13)。これにより、画像全体に対して、例えば、図10に示すような光源の色温度の推定結果が得られる。
エリア色温度推定部12による全てのブロックに対する光源の色温度の推定処理が終了後、色温度推定対象光源抽出部13が、第1のエリア色温度推定部12によって推定された上記9個のブロックの光源の色温度を種類別にカウントする。図10の例では、色温度推定対象光源抽出部13がカウントした光源の色温度の種類に関し、“A”(日向)として推定されたブロックが4個、“B”(日陰)として推定されたブロックが3個、“C”(蛍光灯)として推定されたブロックが1個、“D”(その他)として推定されたブロックが1個となっている。そこで、色温度推定対象光源抽出部13は、上記9個のブロック全体でカウント数が所定の閾値(例えば、カウント数が全ブロック数の15%)を上回る一部の種類(ここでは上位2種類)の光源の色温度の種類として、“A”(日向)と“B”(日陰)を検出する(ステップS14)。
続いて、第2の画像エリア分割部18が、入力された画像データを図11に示すような第2のサイズの6×6の36個のブロックに分割する(ステップS15)。
続いて、第2のエリア色温度推定部14が、第2の画像エリア分割部18により分割された36個の各ブロックの画像に対して、第1実施形態における第2のエリア色温度推定部14と同様の光源の色温度の推定方法で、ブロック毎の光源の色温度を推定し直す(ステップS16)。この場合、色温度推定対象光源抽出部13が絞り込んだ上位2種類のいずれかの光源の色温度、即ち、図10の例では、“A”(日向)、“B”(日陰)のいずれかに推定する。これにより、画像全体に対して、例えば、図12に示すような光源の色温度の推定結果が得られる。
第1のエリア色温度推定部12によって全てのブロックの光源の色温度を推定した場合、実際の目視結果と比べて、第1のエリア色温度推定部12が推定した大半のブロックにおける光源の色温度は、正しいものとなるが、一部のブロックでは間違ったものとなりうる。例えば、図10に示す(1,1)、(2,2)の各ブロックは、“A”(日向)と“B”(日陰)の境界部に位置するブロックであるため、第1のエリア色温度推定部12は、光源の色温度の推定を、“D”(その他)あるいは“C”(蛍光灯)に間違え易くなる。
しかるに、本実施形態のマルチエリアホワイトバランス制御装置1では、色温度推定対象光源抽出部13が、第1のエリア色温度推定部12によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込み、第2のエリア色温度推定部14が、第2のエリア分割手段17によって分割されたブロック毎に光源の色温度を色温度推定対象光源抽出部13が絞り込んだ一部の種類の光源の色温度のいずれかに推定することで、図12に示すように、図10でのブロック(1,1)に対応するブロック(2,2)、(2,3)、(3,2)、(3,3)、及び図10でのブロック(2,2)に対応するブロック(4,4)、(4,5)、(5,4)、(5、5)の光源の色温度が、“D”(その他)あるいは“C”(蛍光灯)に間違っていた色温度から“A”(日向)あるいは“B”(日陰)といった正しい光源の色温度に推定し直される。
第2のエリア色温度推定部14によるブロック毎の光源の色温度の、色温度推定対象光源抽出部13が絞り込んだ一部の種類の光源の色温度のいずれかへの推定の後、WBゲインマップ生成部15が、図12に示す推定し直された各ブロックの光源の色温度に基づき、図示しない予め決められている光源の色温度に対応するR、Bのゲインのデータを参照にして、R、Bに対応するWB補正ゲインマップを生成する(ステップS17)。WBゲインマップ生成部15が生成したWB補正ゲインマップは、ゲインマップ記憶部16に記憶(保存)される。
そして、WBゲイン補正部17が、入力画像の位置に対応して、それぞれの色の画素値にゲインマップ記憶部16を入力して得たゲインをかけることにより、ホワイトバランスを補正し、画像を出力する(ステップS18)。
本実施形態のマルチエリアホワイトバランス制御装置1及びマルチエリアホワイトバランス制御方法によれば、第1のエリア分割部11で複数のブロックに分割する第1のサイズを大きくして分割するブロック数を極力少なくすることにより、第1のエリア色温度推定部12による光源の色温度の推定処理回数を減らすことができ、マルチエリアホワイトバランス処理全体の高速化が図れる。
その他の作用効果は、第1実施形態のマルチエリアホワイトバランス制御装置1及びマルチエリアホワイトバランス制御方法と略同じである。
なお、本実施形態のマルチエリアホワイトバランス制御装置において、第1のエリア色温度推定部12により、第1のエリア毎に推定された光源の色温度の種類が略1種類であるような場合には、入力画像全体の光源の色温度が1種類であるものと判断できる。そこで、そのような場合には、次のような手順で処理を行うようにするのが望ましい。
図13は第2実施形態のマルチエリアホワイトバランス制御装置の変形例にかかる入力画像のホワイトバランスを補正するまでの処理手順を示すフローチャートである。
図14は第2実施形態の変形例のマルチエリアホワイトバランス制御装置1において、色温度推定対象光源抽出部13による、第1のエリア色温度推定部12によって推定された光源の色温度を種類毎にカウントした、カウント数が上位となる光源の色温度の種類が、 “A”(日向)のみの1種類となったときを示している。詳しくは、図14の例では、色温度推定対象光源抽出部13がカウントした光源の色温度の種類に関し、“A”(日向)として推定されたブロックが7個、“B”(日陰)として推定されたブロックが1個、“C”(蛍光灯)として推定されたブロックが1個、“D”(その他)として推定されたブロックが0個となっており、所定の閾値(例えば、カウント数が全ブロック数の15%)を上回る光源の色温度の種類が“A”(日向)のみの1種類となっている。
このような場合には、本変形例では、第1のエリア色温度推定部12が推定した光源の色温度が“A”(日向)以外の光源の色温度(ここでは、“B”(日陰)、“C”(蛍光灯))に推定されたブロックの光源の色温度の推定が誤っているものと判断して、第1のエリア色温度推定部12に、図15に示すように、全ブロックの光源の色温度を“A”(日向)に推定し直させる(ステップS30)。
そして、第2の画像エリア分割部18、第2のエリア色温度推定部14の夫々による処理を経ることなく、WBゲインマップ生成部15が、図15に示す推定し直された各ブロックの光源の色温度に基づき、図示しない予め決められている光源の色温度に対応するR、Bのゲインのデータを参照にして、WB補正ゲインマップを生成する(ステップS28)。
その他の構成及び処理手順は、第2実施形態のマルチエリアホワイトバランス制御装置と略同じである。
第2実施形態の変形例のようにすれば、色温度推定対象光源抽出部13による、第1のエリア色温度推定部12によって推定された光源の色温度を種類毎にカウントした、カウント数が所定の閾値(例えば、カウント数が図ンブロック数の15%)を上回る光源の色温度の種類が1種類である場合に、第2の画像エリア分割部18、第2のエリア色温度推定部14の夫々による処理を省くことができ、マルチエリアホワイトバランス処理全体のより一層の高速化が図れる。
その他の作用効果は、図7〜図12を用いて説明した第2実施形態のマルチエリアホワイトバランス制御装置1及びマルチエリアホワイトバランス制御方法と略同じである。
以上、本発明のマルチエリアホワイトバランス制御装置1及びマルチエリアホワイトバランス制御方法を説明し、上記各実施形態のマルチエリアホワイトバランス制御装置1においては、エリア分割手段としての画像エリア分割部11、第2の画像エリア分割部18が、入力画像を縦横夫々の直線で区切られた形状及び面積の等しいブロックに分割した例で説明したが、本発明のマルチエリアホワイトバランス制御装置1におけるエリア分割手段が分割する各エリアの形状・大きさは本実施形態に限定されるものではなく、例えば、三角形状、湾曲形状等どのような形状でもよいし、各エリアの大きさが異なっていてもよい。
さらに、上記各実施形態のマルチエリアホワイトバランス画像処理装置10は、コンピュータを(第1の)画像エリア分割部11((第1の)エリア分割手段)(さらには第2の画像エリア分割部18(第2のエリア分割手段))、第1のエリア色温度推定部12(第1のエリア光源色温度推定手段)、色温度推定対象光源抽出部13(色温度推定対象光源抽出手段)、第2のエリア色温度推定部14(第2のエリア光源色温度推定手段)、WBゲインマップ生成部15(ホワイトバランス補正ゲインマップ生成手段)、WBゲイン補正部17(ホワイトバランス処理手段)として機能させるためのマルチエリアホワイトバランス画像処理プログラムを内蔵するハードディスクに記録したコンピュータで構成してもよい。
さらに、あるいは、本実施形態のマルチエリアホワイトバランス画像処理装置10は、コンピュータを(第1の)画像エリア分割部11((第1の)エリア分割手段)(さらには第2の画像エリア分割部18(第2のエリア分割手段))、第1のエリア色温度推定部12(第1のエリア光源色温度推定手段)、色温度推定対象光源抽出部13(色温度推定対象光源抽出手段)、第2のエリア色温度推定部14(第2のエリア光源色温度推定手段)、WBゲインマップ生成部15(ホワイトバランス補正ゲインマップ生成手段)、WBゲイン補正部17(ホワイトバランス処理手段)として機能させるためのマルチエリアホワイトバランス画像処理プログラムを記録した、例えば、CD−ROM等のコンピュータ読み取り可能な媒体で構成してもよい。
本発明のマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置は、複数の異種光源により撮影を行った所謂ミックス光源画像のホワイトバランスを補正することが求められる分野に有用である。
1 マルチエリアホワイトバランス制御装置
10 マルチエリアホワイトバランス画像処理装置
11 (第1の)エリア分割手段((第1の)画像エリア分割部)
12 第1のエリア光源色温度推定手段(第1のエリア色温度推定部)
13 色温度推定対象光源抽出手段(色温度推定対象光源抽出部)
14 第2のエリア光源色温度推定手段(第2のエリア色温度推定部)
15 ホワイトバランス補正ゲインマップ生成手段(WBゲインマップ生成部)
16 ゲインマップ記憶部
17 ホワイトバランス処理手段(WBゲイン補正部)
18 第2のエリア分割手段(第2の画像エリア分割部)
21 レンズ
22 イメージセンサ
23 画像記憶部

Claims (10)

  1. 入力画像を複数のエリアに分割するエリア分割手段と、
    前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する第1のエリア光源色温度推定手段と、
    前記第1のエリア光源色温度推定手段によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段と、
    前記エリア分割手段によって分割されたエリア毎に光源の色温度を、前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第2のエリア光源色温度推定手段と、
    前記第2のエリア光源色温度推定手段によって推定された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段と
    を有することを特徴とするマルチエリアホワイトバランス制御装置。
  2. 前記色温度推定対象光源抽出手段が、前記第1のエリア光源色温度推定手段によって推定された光源の色温度を種類毎にカウントし、カウントした上位数種類の光源の色温度に絞り込むことを特徴とする請求項1に記載のマルチエリアホワイトバランス制御装置。
  3. 前記第2のエリア光源色温度推定手段は、前記エリア分割手段によって分割されたそれぞれのエリアのうち、前記第1のエリア光源色温度推定手段によって推定された光源の色温度が、前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれにも該当しないエリアのみを対象として、光源の色温度を推定することを特徴とする請求項1に記載のマルチエリアホワイトバランス制御装置。
  4. 前記エリア分割手段は、入力画像を複数の第1のエリアに分割する第1のエリア分割手段と、該入力画像を複数の第2のエリアに分割する第2のエリア分割手段を有し、
    前記第1のエリア光源色温度推定手段は、前記第1のエリア分割手段によって分割された第1のエリア毎に光源の色温度を推定し、
    前記第2のエリア光源色温度推定手段は、前記第2のエリア分割手段によって分割された第2のエリア毎に光源の色温度を前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定することを特徴とする請求項1〜3のいずれかに記載のマルチエリアホワイトバランス制御装置。
  5. 前記第1のエリアのサイズが、前記第2のエリアのサイズと異なることを特徴とする請求項4に記載のマルチエリアホワイトバランス制御装置。
  6. 請求項1〜5のいずれかに記載のマルチエリアホワイトバランス制御装置と、
    前記マルチエリアホワイトバランス制御装置に備わる前記ホワイトバランス補正ゲインマップ生成手段によって生成された、各エリアのホワイトバランス補正ゲインに基づき、該マルチエリアホワイトバランス制御装置の前記エリア分割手段が分割対象とした前記入力画像全体のホワイトバランス処理を行うホワイトバランス処理手段と
    を備えることを特徴とするマルチエリアホワイトバランス画像処理装置。
  7. 請求項6に記載のマルチエリアホワイトバランス画像処理装置を備えた撮像装置。
  8. 入力画像を複数のエリアに分割し、
    分割したエリア毎に光源の色温度を推定し、
    推定した、光源の色温度のうち一部の種類の光源の色温度に絞り込み、
    分割したエリア毎に光源の色温度を、絞り込んだ一部の種類の光源の色温度のいずれかに推定し直し、
    推定し直した各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴とするマルチエリアホワイトバランス制御方法。
  9. マルチエリアホワイトバランス制御装置に備わるコンピュータであって、
    前記コンピュータを、
    入力画像を複数のエリアに分割するエリア分割手段、
    前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する第1のエリア光源色温度推定手段、
    前記第1のエリア光源色温度推定手段によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段、
    前記エリア分割手段によって分割されたエリア毎に光源の色温度を、前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第2のエリア光源色温度推定手段、
    前記第2のエリア光源色温度推定手段によって推定された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段として機能させるためのマルチエリアホワイトバランス制御プログラムを記録したコンピュータ。
  10. マルチエリアホワイトバランス制御装置に備わるコンピュータが読み取り可能なマルチエリアホワイトバランス制御プログラムであって、
    前記コンピュータを、
    入力画像を複数のエリアに分割するエリア分割手段、
    前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定する第1のエリア光源色温度推定手段、
    前記第1のエリア光源色温度推定手段によって推定された光源の色温度のうち一部の種類の光源の色温度に絞り込む色温度推定対象光源抽出手段、
    前記エリア分割手段によって分割されたエリア毎に光源の色温度を、前記色温度推定対象光源抽出手段が絞り込んだ一部の種類の光源の色温度のいずれかに推定する第2のエリア光源色温度推定手段、
    前記第2のエリア光源色温度推定手段によって推定された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段として機能させるためのマルチエリアホワイトバランス制御プログラム。
JP2014017717A 2014-01-31 2014-01-31 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 Active JP6345430B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014017717A JP6345430B2 (ja) 2014-01-31 2014-01-31 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014017717A JP6345430B2 (ja) 2014-01-31 2014-01-31 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置

Publications (2)

Publication Number Publication Date
JP2015146480A true JP2015146480A (ja) 2015-08-13
JP6345430B2 JP6345430B2 (ja) 2018-06-20

Family

ID=53890545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014017717A Active JP6345430B2 (ja) 2014-01-31 2014-01-31 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置

Country Status (1)

Country Link
JP (1) JP6345430B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920241A (zh) * 2017-12-14 2018-04-17 四川长虹电器股份有限公司 一种液晶电视白平衡处理方法
WO2019216072A1 (ja) * 2018-05-08 2019-11-14 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
CN113068016A (zh) * 2021-04-02 2021-07-02 杭州涂鸦信息技术有限公司 白平衡校正方法、装置和计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271638A (ja) * 2001-03-09 2002-09-20 Fuji Photo Film Co Ltd ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体
JP2004328461A (ja) * 2003-04-25 2004-11-18 Fuji Photo Film Co Ltd オートホワイトバランス調整方法
JP2006211440A (ja) * 2005-01-31 2006-08-10 Eastman Kodak Co オートホワイトバランス装置及びホワイトバランス調整方法
JP2007036927A (ja) * 2005-07-29 2007-02-08 Eastman Kodak Co デジタルカメラおよびゲイン算出方法
JP2008277899A (ja) * 2007-04-25 2008-11-13 Nikon Corp ホワイトバランス調整装置、撮像装置、およびホワイトバランス調整プログラム
JP2009044255A (ja) * 2007-08-06 2009-02-26 Nikon Corp カラー撮像装置
JP2010213213A (ja) * 2009-03-12 2010-09-24 Ricoh Co Ltd 撮像装置及び撮像方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271638A (ja) * 2001-03-09 2002-09-20 Fuji Photo Film Co Ltd ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体
JP2004328461A (ja) * 2003-04-25 2004-11-18 Fuji Photo Film Co Ltd オートホワイトバランス調整方法
JP2006211440A (ja) * 2005-01-31 2006-08-10 Eastman Kodak Co オートホワイトバランス装置及びホワイトバランス調整方法
JP2007036927A (ja) * 2005-07-29 2007-02-08 Eastman Kodak Co デジタルカメラおよびゲイン算出方法
JP2008277899A (ja) * 2007-04-25 2008-11-13 Nikon Corp ホワイトバランス調整装置、撮像装置、およびホワイトバランス調整プログラム
JP2009044255A (ja) * 2007-08-06 2009-02-26 Nikon Corp カラー撮像装置
JP2010213213A (ja) * 2009-03-12 2010-09-24 Ricoh Co Ltd 撮像装置及び撮像方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920241A (zh) * 2017-12-14 2018-04-17 四川长虹电器股份有限公司 一种液晶电视白平衡处理方法
WO2019216072A1 (ja) * 2018-05-08 2019-11-14 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
CN113068016A (zh) * 2021-04-02 2021-07-02 杭州涂鸦信息技术有限公司 白平衡校正方法、装置和计算机设备

Also Published As

Publication number Publication date
JP6345430B2 (ja) 2018-06-20

Similar Documents

Publication Publication Date Title
JP6234191B2 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
JP6274931B2 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
US8698918B2 (en) Automatic white balancing for photography
KR101685887B1 (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체
WO2015196896A1 (zh) 对焦状态的提示方法和拍摄装置
WO2019128322A1 (en) Image processing method and device, computer-readable storage medium and computer device
JP2007097175A (ja) ゾーン重み付け機能を備えたホワイトバランス機構
JP4703498B2 (ja) デジタルカメラ
JP6345430B2 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
CN108063934B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN109919882B (zh) 基于眼底彩照图像的图像优化方法及相关设备
JP6196882B2 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
JP4029206B2 (ja) 撮像装置
JPH09261580A (ja) 画像処理方法
JP5706705B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP2010213105A (ja) 撮像装置
US20140118574A1 (en) Method for white balance adjustment of images
JP6316006B2 (ja) 被写体探索装置、その制御方法、および制御プログラム、並びに撮像装置
JP2009063674A (ja) 撮像装置及びフラッシュ制御方法
CN108111831B (zh) 拍摄方法、成像装置、计算机可读存储介质和计算机设备
JP5752993B2 (ja) 画像処理装置および画像処理プログラム
JP4389671B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2013115571A (ja) 情報処理装置
KR102315200B1 (ko) 자동 화이트 밸런스를 위한 영상 처리 장치 및 그 처리 방법
JP2013132065A (ja) 撮像装置及びフラッシュ制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180523

R150 Certificate of patent or registration of utility model

Ref document number: 6345430

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250