JP2023002345A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】ハードウェア構成を簡略化することが可能な画像処理装置を提供する。【解決手段】画像処理装置（１）は、ストリーム形式の画像データを入力順に複数のブロックに分割し、ブロック内の画素の輝度最大値および当該ブロック内の画素の輝度平均値に基づいて、ホワイトバランスを調整するためのゲイン調整値を算出するホワイトバランスゲイン算出部（１３３）と、ホワイトバランスゲイン算出部（１３３）によって算出されたゲイン調整値を用いて、画像データを演算する画像データ演算部（１４）と、を備える。【選択図】図１

Description

本発明は、ホワイトバランスを調整する画像処理装置および画像処理方法に関する。

従来、ホワイトバランス処理を自動的に行う撮像装置として、例えば、デジタルスチルカメラ、デジタルビデオカメラ等が提供されている。ホワイトバランス処理とは、ある光源の照明下において白色の被写体を撮像したときに、カメラシステムから得られる原色信号Ｒ，Ｇ，Ｂがすべて等しくなるように各信号のゲインを変える処理である。

撮像装置は、ホワイトバランス処理を行うことによって、自然光（太陽光）、白熱電灯の光、蛍光灯の光等の様々な光源の違いから色づいて見える白色（例えば、低い色温度の場合は赤っぽくなり、高い色温度の場合は青っぽくなる）を、白に合わせられる。そして、色温度の変化を表す黒体放射カーブを用いて、自動的にホワイトバランスをとる処理を、オートホワイトバランス処理という。このオートホワイトバランス処理に関連する技術として、下記の特許文献１に記載された発明がある。

特許文献１は、光源色を検出する画像処理装置に関する。この画像処理装置は、画像の中で平均よりも明るい第１の画素位置での画素値を検出する第１画素値検出手段と、第１の領域に近接し第１の画素位置よりも暗い第２の画素位置での画素値を検出する第２画素値検出手段と、第１画素値検出手段にて検出された画素値と第２画素値検出手段にて検出された画素値との差分に基づいて、画像に照射される光源の光源色を検出する光源色検出手段と、を備える。

特開２００７－０１３４１５号公報

画像処理装置において、高速処理を実現するために、ホワイトバランス処理を行う部分をハードウェア実装することが好ましい。ハードウェア実装では、一度に大量のデータを処理することが難しい。そのため、ハードウェア実装に適した手法が必要となるが、上述の特許文献１はそのような手法を提供するものではない。

本発明の一態様は、ハードウェア構成を簡略化することが可能な画像処理装置および画像処理方法を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、ストリーム形式の画像データを入力順に複数のブロックに分割し、ブロック内の画素の輝度最大値および当該ブロック内の画素の輝度平均値を演算するホワイトバランスパラメータ演算部と、ホワイトバランスパラメータ演算部によって演算された輝度最大値および輝度平均値から求められたパラメータに基づいて、ホワイトバランスを調整するためのゲイン調整値を算出するホワイトバランスゲイン算出部と、ホワイトバランスゲイン算出部によって算出されたゲイン調整値を用いて、画像データを演算する画像データ演算部と、を備える。

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、分割された複数の画面に対応して設けられ、ストリーム形式の画像データを入力順に複数のブロックに分割し、分割された画面内のブロックを代表するブロック代表輝度最大値およびブロック代表輝度平均値を演算する複数のホワイトバランスパラメータ演算部と、複数のホワイトバランスパラメータ演算部によって演算された複数のブロック代表輝度最大値およびブロック代表輝度平均値に基づいて、さらなるブロック代表輝度最大値およびさらなるブロック代表輝度平均値を抽出して記憶するブロック代表値記憶部と、ブロック代表値記憶部に記憶されるさらなるブロック代表輝度最大値およびさらなるブロック代表輝度平均値を用いて、ゲイン調整値を算出するホワイトバランスゲイン算出部と、ホワイトバランスゲイン算出部によって算出されたゲイン調整値を用いて、画像データを演算する画像データ演算部と、を備える。

上記の課題を解決するために、本発明の一態様に係る画像処理方法は、ストリーム形式の画像データを入力順に複数のブロックに分割するステップと、ブロック内の画素の輝度最大値および当該ブロック内の画素の輝度平均値に基づいて、ホワイトバランスを調整するためのゲイン調整値を算出するステップと、算出されたゲイン調整値を用いて、画像データを演算するステップと、を含む。

本発明の一態様によれば、ハードウェア構成を簡略化することが可能な画像処理装置および画像処理方法を提供することができる。

本発明の実施形態１に係る画像処理装置の機能的構成を示すブロック図である。 画像データ生成部から出力されるストリーム形式の画像データの一例を示す図である。 １フレーム分の画像データを説明するための図である。 画像データのブロック分割を説明するための図である。 ブロック内最大値記憶部の内容の更新を説明するための図である。 ブロック内平均値記憶部の内容の更新を説明するための図である。 ブロック代表最大値記憶部およびブロック代表平均値記憶部の更新を説明するための図である。 ホワイトバランスゲイン算出部によるＹＵＶ変換を説明するための図である。 ｆ１（ｕ／ｙ，ｖ／ｙ）～ｆ４（ｕ／ｙ，ｖ／ｙ）およびｇ１（ｕ／ｙ，ｖ／ｙ）～ｇ４（ｕ／ｙ，ｖ／ｙ）をグラフにした図である。 ＵＶ平面上における色温度を説明するための図である。 色温度とＲＢ比との関係を示すグラフである。 色温度とゲイン調整値との関係を示すグラフである。 本発明の実施形態１に係る画像処理装置の処理手順を説明するためのフローチャートである。 図１３のステップＳ３３（１画素分のデータ処理）の処理手順の詳細を説明するためのフローチャートである。 図１３のステップＳ３５（１ブロック分のデータ処理）の処理手順の詳細を説明するためのフローチャートである。 図１５のステップＳ５２（ブロック内輝度値最大値の保管）の処理手順の詳細を説明するためのフローチャートである。 図１５のステップＳ５３（ブロック内輝度値平均値の保管）の処理手順の詳細を説明するためのフローチャートである。 単板カメラのイメージセンサ出力の一例を示す図である。 輝度情報Ｙの最大値の算出方法を模式的に示す図である。 １フレーム分の画素値を並列に読み出す方法を説明するための図である。 本発明の実施形態３に係る画像処理装置の機能的構成を示すブロック図である。 １フレーム分の画像データの分割を説明するための図である。 本発明の実施形態４に係る画像処理装置の機能的構成を示すブロック図である。 ブロック代表値記憶部の内部構成を示すブロック図である。

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。なお、説明の便宜上、同一の部材には同一の符号を付し、それらの名称および機能も同一である。したがって、それらの詳細な説明は繰り返さない。

＜画像処理装置１の構成例＞
図１は、本発明の実施形態１に係る画像処理装置１の機能的構成を示すブロック図である。画像処理装置１は、画像データ生成部１１と、ホワイトバランスパラメータ演算部１２と、画像データ演算部１４と、ホワイトバランスゲイン算出部１３３とを含む。

画像データ生成部１１は、撮像素子等によって構成され、各画素をストリーム形式で出力する。各画素は、Ｒ，Ｇ，Ｂによって構成される。画像データ生成部１１は、１フレーム分の画像データを順次ホワイトバランスパラメータ演算部１２および画像データ演算部１４に出力する。

図２は、画像データ生成部１１から出力されるストリーム形式の画像データの一例を示す図である。図２に示すように、１フレーム分の画像データは、１ラインがｘ画素を含み、ｙ行のラインによって構成される。したがって、１フレーム分の画像データは、Ｌ１－１～Ｌ１－ｘ，Ｌ２－１～Ｌ２－ｘ，…，Ｌｙ－１～Ｌｙ－ｘによって構成される。例えば、Ｌ１－１は、最初のラインの左端の画素に対応し、Ｌ１－ｘは、最初のラインの右端の画素に対応している。同様に、Ｌｙ－１は、最後のラインの左端の画素に対応し、Ｌｙ－ｘは、最後のラインの右端の画素（最後のラインの最後の画素）に対応している。

本実施形態においては、画像データをストリーム形式でブロック分割する。例えば、１ブロックが１０２４画素とすると、図２に示すように、最初のラインＬ１の最初の１０２４画素がブロックＢ１となる。そして、ラインＬ１の残りの画素と、次のラインＬ２の画素の一部とがブロックＢ２となる。このように、画像データ生成部１１から出力される画像データの順に（ストリーム形式で）ブロック分割が行われる。したがって、画像データの入力時にブロック順が前後しないため、ブロック毎に画像データを保持しておく必要がなくなる。

図３は、１フレーム分の画像データを説明するための図である。上述のように、最初のラインＬ１は、画素Ｌ１－１～Ｌ１－ｘを含む。次のラインＬ２は、画素Ｌ２－１～Ｌ２－ｘを含む。同様に、最後のラインＬｙは、画素Ｌｙ－１～Ｌｙ－ｘを含む。

図４は、画像データのブロック分割を説明するための図である。上述のように、１ブロックが１０２４画素とすると、最初のラインＬ１の最初の１０２４画素がブロックＢ１となる。そして、ラインＬ１の残りの画素と、次のラインＬ２の画素の一部とがブロックＢ２となる。同様に、最後のラインＬｙの最後の１０２４画素（１０２４画素よりも少ない場合もあり得る。）がブロックＢｚとなる。

再び、図１の説明に戻る。ホワイトバランスパラメータ演算部１２は、ストリーム現在値記憶部１２１と、画素数カウンタ１２２と、ブロック数カウンタ１２３と、データ比較部１２４，１２７および１３２と、ブロック内最大値記憶部１２５と、ブロック代表最大値記憶部１２６－１～１２６－４と、データ加算部１２８と、平均値演算部１２９と、ブロック内平均値記憶部１３０と、ブロック代表平均値記憶部１３１－１～１３１－４とを含む。

ストリーム現在値記憶部１２１は、画像データ生成部１１から出力されるストリーム形式の画像データの現在の画素値（Ｒ，Ｇ，Ｂ）および輝度値を記憶する。ストリーム現在値記憶部１２１は、現在の画素のＲ，Ｇ，Ｂの値から、輝度値を算出する輝度値算出回路を有している。ストリーム現在値記憶部１２１はさらに、現在の画素のＲ，Ｇ，Ｂのそれぞれの値および算出した輝度値を記憶するメモリ、レジスタ等の記憶領域を有しており、現在の画素値および輝度値を記憶し、データ比較部１２４に出力する。また、ストリーム現在値記憶部１２１は、現在の画素値をデータ加算部１２８に出力する。

なお、輝度値算出回路は、次式（式１）を用いて輝度値Ｙを算出する。ａ，ｂおよびｃは、輝度値を算出するための係数であり、例えば、ａ＝０．２９９、ｂ＝０．５８７、ｃ＝０．１１４が用いられる。

Ｙ＝ａＲ＋ｂＧ＋ｃＢ ・・・（式１）
画素数カウンタ１２２は、例えば、１ブロックが１０２４画素であれば１０ビットのカウンタによって構成され、ストリーム現在値記憶部１２１に記憶される画素値がブロック内の何番目の画素であるかをカウントする。

ブロック数カウンタ１２３は、１フレームの画像データのブロック数に対応するビット数のカウンタによって構成され、ストリーム現在値記憶部１２１に記憶される画素値が何ブロック目の画素であるかをカウントする。

ブロック内最大値記憶部１２５は、１ブロック内で最大となる輝度値（以下、輝度最大値と呼ぶ。）を記憶する。ブロック内最大値記憶部１２５は、輝度最大値と、輝度最大値に対応する画素のＲ，Ｇ，Ｂのそれぞれの値を記憶するメモリ、レジスタ等の記憶領域を有しており、現在の輝度最大値をデータ比較部１２４に出力する。

データ比較部１２４は、ストリーム現在値記憶部１２１から出力される輝度値とブロック内最大値記憶部１２５から出力される現在の輝度最大値とを比較する。データ比較部１２４は、輝度値がブロック内最大値記憶部１２５から出力される現在の輝度最大値よりも大きければ、ブロック内最大値記憶部１２５に記憶される現在の輝度最大値を、ストリーム現在値記憶部１２１から出力される輝度値で更新し、対応するＲ，Ｇ，Ｂの値をブロック内最大値記憶部１２５に記憶させる。

ブロック内最大値記憶部１２５は、画素数カウンタ１２２のカウント値が１ブロックの画素数に達したときに、記憶する輝度最大値および対応するＲ，Ｇ，Ｂの値をデータ比較部１２７に出力する。

＜ブロック内最大値記憶部１２５の内容の更新＞
図５は、ブロック内最大値記憶部１２５の内容の更新を説明するための図である。図５に示すように、ブロックＢ１がＮ個の画素値を含み、その中のｎ番目の画素の画素値が処理される場合を想定する。

最初、ブロック内最大値記憶部１２５が初期化され、全て「０」となる（Ｓ１）。そして、１番目の画素～ｎ－１番目の画素を処理した結果、ｎ－１番目の画素の画素値（Ｒ＝１８０，Ｇ＝２０１，Ｂ＝１９５）および輝度値（Ｙ＝１９０）がブロック内最大値記憶部１２５に記憶されているものとする。

ストリーム現在値記憶部１２１にｎ番目の画素値（Ｒ＝１８２，Ｇ＝２０２，Ｂ＝１８９）が記憶されると（Ｓ２）、輝度値（Ｙ＝１９２）が算出される（Ｓ３）。そして、データ比較部１２４が、算出された輝度値と、ブロック内最大値記憶部１２５に記憶される輝度最大値とを比較する（Ｓ４）。その結果、ｎ番目の画素の輝度値の方が大きいため、ブロック内最大値記憶部１２５が、ｎ番目の画素の画素値および輝度最大値に更新される（Ｓ５）。

再び、図１の説明に戻る。データ加算部１２８は、ストリーム現在値記憶部１２１から出力される現在の画素のＲ，Ｇ，Ｂの値をそれぞれ累積加算して記憶する。そして、画素数カウンタ１２２のカウント値が１ブロックの画素数に達したときに、データ加算部１２８は、記憶するＲ，Ｇ，Ｂのそれぞれの合計値を平均値演算部１２９に出力する。

平均値演算部１２９は、画素数カウンタ１２２のカウント値が１ブロックの画素数に達したときに、データ加算部１２８から出力されるＲ，Ｇ，Ｂそれぞれの合計値から、Ｒ，Ｇ，Ｂそれぞれの平均値を算出し、ブロック内平均値記憶部１３０に出力する。例えば、１ブロックの画素数が１０２４（２^１０）画素であれば、Ｒ，Ｇ，Ｂそれぞれの合計値を１０回右シフトすることによって平均値を算出することができる。このように、１ブロックの画素数を２のべき乗とすることによって、平均値演算部１２９の回路構成を簡略化することができる。

なお、平均値演算部１２９は、輝度値を算出する輝度値算出回路を有しており、Ｒの平均値、Ｇの平均値およびＢの平均値から輝度平均値を算出し、Ｒ，Ｇ，Ｂそれぞれの平均値と共にブロック内平均値記憶部１３０に出力する。

ブロック内平均値記憶部１３０は、ブロック内の輝度平均値と、Ｒ，Ｇ，Ｂのそれぞれの平均値とを記憶するメモリ、レジスタ等の記憶領域を有しており、ブロック内の輝度平均値とＲ，Ｇ，Ｂのそれぞれの平均値とをデータ比較部１３２に出力する。

＜ブロック内平均値記憶部１３０の内容の更新＞
図６は、ブロック内平均値記憶部１３０の内容の更新を説明するための図である。図６に示すように、ブロックＢ１がＮ個の画素値を含み、その中のｎ番目の画素の画素値が処理される場合を想定する。

最初、ブロック内平均値記憶部１３０が初期化され、全て「０」となる（Ｓ１１）。そして、１番目の画素～ｎ－１番目の画素を処理した結果、画素値の合計値（Ｒ＝３５７，Ｇ＝３９８，Ｂ＝３８５）がデータ加算部１２８に記憶されているものとする。なお、説明を簡単にするため、ブロックＢ１の画素数を「４」とする。

ストリーム現在値記憶部１２１にｎ（＝３）番目の画素値（Ｒ＝１８２，Ｇ＝２０２，Ｂ＝１８９）が記憶されると（Ｓ１２）、データ加算部１２８は、その画素値のそれぞれを、記憶するｎ－１番目までの画素値のそれぞれの合計値に加算する（Ｓ１３）。その結果、データ加算部１２８が記憶する値は、Ｒ＝５３９，Ｇ＝６００，Ｂ＝５７４となる。

次に、ストリーム現在値記憶部１２１にｎ（＝４）番目の画素値が記憶されると、データ加算部１２８は、その画素値のそれぞれを、記憶するｎ－１番目までの画素値のそれぞれの合計値に加算する（Ｓ１４）。その結果、データ加算部１２８が記憶する値は、Ｒ＝７１６，Ｇ＝８００，Ｂ＝７６４となる。

最後に、平均値演算部１２９は、画素値のそれぞれの合計値から平均値を算出し（Ｓ１５）、画素値の平均値から輝度平均値を算出する（Ｓ１６）。その結果、ブロック内平均値記憶部１３０には、Ｒ＝１７９，Ｇ＝２００，Ｂ＝１９１，Ｙ＝１８９が記憶される。

ブロック代表最大値記憶部１２６－１～１２６－４のそれぞれは、ブロック内輝度最大値の中で最も大きい４つの値を記憶する。本実施形態においては、最大のブロック内輝度最大値を４つ記憶するため、ブロック代表最大値記憶部を４つ設けているが、記憶するブロック内輝度最大値の数に応じて、ブロック代表最大値記憶部の数を変更することも可能である。ブロック代表最大値記憶部１２６－１～１２６－４のそれぞれは、ブロック内輝度最大値の中で最も大きい４つの値およびそのブロック内輝度最大値に対応するＲ，Ｇ，Ｂの値を記憶する。

データ比較部１２７は、ブロック内最大値記憶部１２５から出力されるブロック内輝度最大値と、ブロック代表最大値記憶部１２６－１～１２６－４に記憶されるブロック内輝度最大値の中の最も小さい値とを比較する。データ比較部１２７は、ブロック内最大値記憶部１２５から出力されるブロック内輝度最大値の方が大きければ、ブロック代表最大値記憶部１２６－１～１２６－４の中の対応する記憶部の値を、ブロック内最大値記憶部１２５から出力されるブロック内輝度最大値で更新する。このとき、対応するＲ，Ｇ，Ｂの値も記憶させる。

ブロック代表平均値記憶部１３１－１～１３１－４のそれぞれは、ブロック内輝度平均値の中で最も大きい４つの値を記憶する。本実施形態においては、最大のブロック内輝度平均値を４つ記憶するため、ブロック代表平均値記憶部を４つ設けているが、記憶するブロック内輝度平均値の数に応じて、ブロック代表平均値記憶部の数を変更することも可能である。ブロック代表平均値記憶部１３１－１～１３１－４のそれぞれは、ブロック内輝度平均値の中で最も大きい４つの値およびそのブロック内輝度平均値に対応するＲ，Ｇ，Ｂの値を記憶する。

データ比較部１３２は、ブロック内平均値記憶部１３０から出力されるブロック内輝度平均値と、ブロック代表平均値記憶部１３１－１～１３１－４に記憶されるブロック内輝度平均値の中の最も小さい値とを比較する。データ比較部１３２は、ブロック内平均値記憶部１３０から出力されるブロック内輝度平均値の方が大きければ、ブロック代表平均値記憶部１３１－１～１３１－４の中の対応する記憶部の値を、ブロック内平均値記憶部１３０から出力されるブロック内輝度平均値で更新する。このとき、対応するＲ，Ｇ，Ｂの値も記憶させる。

＜ブロック代表最大値記憶部１２６－１～１２６－４の内容の更新、ブロック代表平均値記憶部１３１－１～１３１－４の内容の更新＞
図７は、ブロック代表最大値記憶部１２６－１～１２６－４およびブロック代表平均値記憶部１３１－１～１３１－４の更新を説明するための図である。ブロックＢ１～Ｂｎを処理したときに（Ｓ２１）、ブロック内最大値記憶部１２５にＲ＝１８０，Ｇ＝２０１，Ｂ＝１９５，Ｙ＝１９２が記憶され、ブロック内平均値記憶部１３０にＲ＝１７９，Ｇ＝２００，Ｂ＝１９１，Ｙ＝１８９が記憶されているものとする。

データ比較部１２７およびデータ比較部１３２は内部に、比較するのに適切でないデータを省略するデータ省略回路を有しており、例えば、極めて濃い色の画素、白飛びの画素、黒飛びの画素等を省略する（Ｓ２２）。

データ省略回路は、（Ｒ－Ｇ）の絶対値または（Ｂ－Ｇ）の絶対値が所定値以上の場合に、極めて濃い色の画素であると判断し、そのブロック内輝度最大値および対応する画素値、またはブロック内輝度平均値および対応する画素値の平均値を省略する。

また、データ省略回路は、ブロック内輝度最大値またはブロック内輝度平均値が所定値（例えば、２５５）の場合に、白飛びであると判断し、そのブロック内輝度最大値および対応する画素値、またはブロック内輝度平均値および対応する画素値の平均値を省略する。

また、データ省略回路は、ブロック内輝度最大値またはブロック内輝度平均値が所定値（例えば、０）の場合に、黒飛びであると判断し、そのブロック内輝度最大値および対応する画素値、またはブロック内輝度平均値および対応する画素値の平均値を省略する。

図７に示すように、ブロックＢｎ－１まで処理した結果、ブロック代表最大値記憶部１２６－１（ｆ１，ｆ１’）にＲ＝２０５，Ｇ＝２００，Ｂ＝１９５，Ｙ＝２００が記憶され、ブロック代表最大値記憶部１２６－２（ｆ２，ｆ２’）にＲ＝２００，Ｇ＝２１０，Ｂ＝２２０，Ｙ＝２１０が記憶され、ブロック代表最大値記憶部１２６－３（ｆ３，ｆ３’）にＲ＝１６０，Ｇ＝１７０，Ｂ＝１８０，Ｙ＝１７０が記憶され、ブロック代表最大値記憶部１２６－４（ｆ４，ｆ４’）にＲ＝２００，Ｇ＝１９０，Ｂ＝１８０，Ｙ＝１９０が記憶されているものとする。

データ比較部１２７は、ｆ１’～ｆ４’の中で最も値が小さいｆ３’のブロック代表輝度最大値（Ｙ＝１７０）と、ブロック内最大値記憶部１２５に記憶されるブロックＢｎのブロック内輝度最大値（Ｙ＝１９２）とを比較する（Ｓ２３）。ブロック内最大値記憶部１２５に記憶されるブロックＢｎのブロック内輝度最大値の方が大きいため、データ比較部１２７は、ブロック代表最大値記憶部１２６－３（ｆ３，ｆ３’）の内容をブロック内最大値記憶部１２５に記憶される内容に更新する。

また、図７に示すように、ブロックＢｎ－１まで処理した結果、ブロック代表平均値記憶部１３１－１（ｇ１，ｇ１’）にＲ＝２００，Ｇ＝２００，Ｂ＝２００，Ｙ＝２００が記憶され、ブロック代表平均値記憶部１３１－２（ｇ２，ｇ２’）にＲ＝１８０，Ｇ＝１８０，Ｂ＝１７０，Ｙ＝１７８が記憶され、ブロック代表平均値記憶部１３１－３（ｇ３，ｇ３’）にＲ＝１９０，Ｇ＝１８０，Ｂ＝１７０，Ｙ＝１８０が記憶され、ブロック代表平均値記憶部１３１－４（ｇ４，ｇ４’）にＲ＝１６９，Ｇ＝１７２，Ｂ＝１６８，Ｙ＝１７０が記憶されているものとする。

データ比較部１３２は、ｇ１’～ｇ４’の中で最も値が小さいｇ４’のブロック内輝度平均値（Ｙ＝１７０）と、ブロック内平均値記憶部１３０に記憶されるブロックＢｎのブロック内輝度平均値（Ｙ＝１８９）とを比較する（Ｓ２４）。ブロック内平均値記憶部１３０に記憶されるブロックＢｎのブロック内輝度平均値の方が大きいため、データ比較部１３２は、ブロック代表平均値記憶部１３１－４（ｇ４，ｇ４’）の内容をブロック内平均値記憶部１３０に記憶される内容に更新する。

＜ホワイトバランスゲイン算出部１３３の動作説明＞
ホワイトバランスゲイン算出部１３３は、ブロック代表最大値記憶部１２６－１～１２６－４（ｆ１～ｆ４，ｆ１’～ｆ４’）に記憶されるブロック代表最大輝度値およびそれに対応する画素値と、ブロック代表平均値記憶部１３１－１～１３１－４（ｇ１～ｇ４，ｇ１’～ｇ４’）に記憶されるブロック代表平均輝度値およびそれに対応する平均画素値とから、ホワイトバランスを調整するためのパラメータ（ゲイン補正値）を演算し、画像データ演算部１４に出力する。

まず、ホワイトバランスゲイン算出部１３３は、ブロック代表最大値記憶部１２６－１～１２６－４（ｆ１～ｆ４）に記憶されるブロック代表最大値（Ｒ，Ｇ，Ｂ）を、第１の色空間から第２の色空間に変換する。本実施形態においては、第１の色空間をＲ，Ｇ，Ｂで表される色空間とし、第２の色空間を輝度信号ＹとＵ，Ｖ等の色差信号で表される色空間（以下、ＵＶ平面とも呼ぶ。）とするが、これらに限定されるものではない。

Ｕ＝－０．１６９×Ｒ－０．３３１×Ｇ＋０．５００×Ｂ ・・・（式２）
Ｖ＝０．５００×Ｒ－０．４１９×Ｇ－０．０８１×Ｂ ・・・（式３）
ここで、上記（式２）および（式３）で求められた色差信号Ｕ，Ｖをそのまま使用してもよいが、輝度値の影響を除去するために、Ｕ，Ｖのそれぞれを上記（式１）で求められた輝度信号Ｙで除したものを使用することにする。

図８は、ホワイトバランスゲイン算出部１３３によるＹＵＶ変換を説明するための図である。ホワイトバランスゲイン算出部１３３は、ブロック代表最大値記憶部１２６－１（ｆ１）に記憶されるブロック代表最大値に上記（式２）～（式３）を適用し、ｆ１（ｕ）およびｆ１（ｖ）を算出する。そして、ホワイトバランスゲイン算出部１３３は、ブロック代表最大値記憶部１２６－１（ｆ１’）に記憶されるブロック代表輝度最大値を用いてｆ１（ｕ／ｙ）およびｆ１（ｖ／ｙ）を算出する。

ここで、ｆ１（ｕ／ｙ）は、ｆ１に記憶される画素値から算出された色差信号Ｕを、ｆ１’に記憶されるブロック代表輝度最大値Ｙで除した値を表すものとする。同様に、ｆ１（ｖ／ｙ）は、ｆ１に記憶される画素値から算出された色差信号Ｖを、ｆ１’に記憶されるブロック代表輝度最大値Ｙで除した値を表すものとする。

ホワイトバランスゲイン算出部１３３は、同様に、ｆ２（ｕ／ｙ）～ｆ４（ｕ／ｙ）およびｆ２（ｖ／ｙ）～ｆ４（ｖ／ｙ）を算出する。

また、ホワイトバランスゲイン算出部１３３は、ブロック代表平均値記憶部１３１－１（ｇ１）に記憶されるブロック代表平均値に上記（式２）～（式３）を適用し、ｇ１（ｕ）およびｇ１（ｖ）を算出する。そして、ホワイトバランスゲイン算出部１３３は、ブロック代表平均値記憶部１３１－１（ｇ１’）に記憶されるブロック代表輝度平均値を用いてｇ１（ｕ／ｙ）およびｇ１（ｖ／ｙ）を算出する。

ここで、ｇ１（ｕ／ｙ）は、ｇ１に記憶される画素値から算出された色差信号Ｕを、ｇ１’に記憶されるブロック代表輝度平均値Ｙで除した値を表すものとする。同様に、ｇ１（ｖ／ｙ）は、ｇ１に記憶される画素値から算出された色差信号Ｖを、ｇ１’に記憶されるブロック代表輝度平均値Ｙで除した値を表すものとする。

ホワイトバランスゲイン算出部１３３は、同様に、ｇ２（ｕ／ｙ）～ｇ４（ｕ／ｙ）およびｇ２（ｖ／ｙ）～ｇ４（ｖ／ｙ）を算出する。

図９は、ｆ１（ｕ／ｙ，ｖ／ｙ）～ｆ４（ｕ／ｙ，ｖ／ｙ）およびｇ１（ｕ／ｙ，ｖ／ｙ）～ｇ４（ｕ／ｙ，ｖ／ｙ）をグラフにした図である。横軸をＵ／Ｙとし、縦軸をＶ／Ｙとしている。図９に示すように、ｆ１（ｕ／ｙ，ｖ／ｙ）～ｆ４（ｕ／ｙ，ｖ／ｙ）は、ブロック代表最大値から算出された色差信号Ｕ，Ｖをブロック代表最大輝度値で除した値であるため、黒体輻射軌跡を表す曲線の近辺に位置し、かつ原点近くに位置する。

一方、ｇ１（ｕ／ｙ，ｖ／ｙ）～ｇ４（ｕ／ｙ，ｖ／ｙ）は、ブロック代表平均値から算出された色差信号Ｕ，Ｖをブロック代表平均輝度値で除した値であるため、黒体輻射軌跡を表す曲線の近辺に位置し、かつ原点から少し離れて位置する。

ｆ１（ｕ／ｙ，ｖ／ｙ）～ｆ４（ｕ／ｙ，ｖ／ｙ）は輝度最大値に基づく分布であるため、光源の色の特徴を強く有している。また、ｇ１（ｕ／ｙ，ｖ／ｙ）～ｇ４（ｕ／ｙ，ｖ／ｙ）は輝度平均値に基づく分布であるため、光源の色の特徴が弱く、被写体の色の特徴を強く有している。

以上より、ｆ１（ｕ／ｙ，ｖ／ｙ）～ｆ４（ｕ／ｙ，ｖ／ｙ）の平均値ｆ（ｕ／ｙ，ｖ／ｙ）を光源の色と推定する。また、ｇ１（ｕ／ｙ，ｖ／ｙ）～ｇ４（ｕ／ｙ，ｖ／ｙ）の平均値ｇ（ｕ／ｙ，ｖ／ｙ）を被写体の色と推定する。なお、平均値の算出は、単純平均を用いてもよいし、加重平均を用いてもよい。

図１０は、ＹＵＶ平面上における色温度を説明するための図である。ｆ（ｕ／ｙ，ｖ／ｙ）またはｇ（ｕ／ｙ，ｖ／ｙ）が黒体輻射軌跡に沿って原点の右側に位置する場合、青味がかった画像であり、原点から離れるほどその傾向が強くなる。また、ｆ（ｕ／ｙ，ｖ／ｙ）またはｇ（ｕ／ｙ，ｖ／ｙ）が黒体輻射軌跡に沿って原点の左側に位置する場合、赤味がかった画像であり、原点から離れるほどその傾向が強くなる。

図１０に示すように、ｆ（ｕ／ｙ，ｖ／ｙ）（輝度最大値の分布）およびｇ（ｕ／ｙ，ｖ／ｙ）（輝度平均値の分布）が黒体輻射軌跡に沿って原点の左側に位置する場合、「光源色が赤く」、「被写体が白い」と推定することができる。また、輝度最大値の分布が原点付近で、輝度平均値の分布が原点の左側に位置する場合、「光源色が白く」、「被写体が赤い」と推定することができる。

一方、輝度最大値の分布および輝度平均値の分布が黒体輻射軌跡に沿って原点の右側に位置する場合、「光源色が青く」、「被写体が白い」と推定することができる。また、輝度最大値の分布が原点付近で、輝度平均値の分布が原点の右側に位置する場合、「光源色が白く」、「被写体が青い」と推定することができる。

このように、輝度最大値データのＹＵＶ平面における分布と、輝度平均値データのＹＵＶ平面における分布との位置関係から、光源色の推定と被写体色の推定とを行うことができる。

例えば、ｇ（ｕ／ｙ，ｖ／ｙ）をホワイトバランスの調整を行うべきポイントとすると、ホワイトバランスゲイン算出部１３３は、ｇ（ｕ／ｙ，ｖ／ｙ）をＹＵＶからＲＧＢに変換する。ＲＧＢへの変換は、次式（式４）～（式８）を用いる。なお、Ｙは、ｇ１’～ｇ４’の単純平均値または分布に重みを付けた加重平均値とする。

Ｕ＝ｕ／ｙ×Ｙ ・・・（式４）
Ｖ＝ｖ／ｙ×Ｙ ・・・（式５）
Ｒ＝１．０×Ｙ＋１．４０２×Ｖ ・・・（式６）
Ｇ＝１．０×Ｙ－０．３４４×Ｕ－０．７１４×Ｖ ・・・（式７）
Ｂ＝１．０×Ｙ＋１．７７２×Ｕ ・・・（式８）
なお、上記（式６）～（式８）に示すＲＧＢへの変換式は一例であって、他の変換係数を用いるようにしてもよい。

次に、ホワイトバランスゲイン算出部１３３は、ＲＢ比を算出する。そして、ホワイトバランスゲイン算出部１３３は、算出したＲＢ比から色温度を求める。図１１は、色温度とＲＢ比との関係を示すグラフである。このグラフは、横軸を色温度（Ｋ）、縦軸をＲＢ比としている。

例えば、実験等によって予め色温度とＲＢ比との関係を求めておき、ＲＢ比から色温度を抽出できるようにルックアップテーブルを作成しておく。代表的な色温度のみをテーブル化しておき、テーブルに存在しないＲＢ比の場合には線形補間等を用いて色温度を算出するようにしてもよい。例えば、２５００（Ｋ）から９５００（Ｋ）までを５００（Ｋ）間隔でテーブル作成し、それに対応するＲＢ比を付加しておく。例えば、ＲＢ比が１．７であった場合、それに対応する色温度が３０００（Ｋ）と３５００（Ｋ）との間であれば、線形補間によってＲＢ比１．７に対応する色温度を算出する。

以上の説明においては、ｇ（ｕ／ｙ，ｖ／ｙ）を、ホワイトバランスを調整するポイントとした。しかしながら、図１０に示すように、ｆ（ｕ／ｙ，ｖ／ｙ）（輝度最大値の分布）およびｇ（ｕ／ｙ，ｖ／ｙ）（輝度平均値の分布）が黒体輻射軌跡に沿って原点の左側に位置するような映像は、例えば、夕焼けのようなシーンを撮像した場合に得られる。

このとき、ｇ（ｕ／ｙ，ｖ／ｙ）のポイントでホワイトバランスを調整すると、画像が白色光下のような画像になってしまい、人間が知覚する夕焼けとは異なる色合いとなってしまう。そこで、このような場合には、ｇ（ｕ／ｙ，ｖ／ｙ）から推定した色温度よりも高い色温度でホワイトバランスを調整し、赤味のある夕焼けの画像を得るようにしてもよい。このように、ｇ（ｕ／ｙ，ｖ／ｙ）だけでなく、ｆ（ｕ／ｙ，ｖ／ｙ）の情報も考慮することにより、適切なホワイトバランスの調整が行える色温度を推定することが可能となる。

図１２は、色温度とゲイン調整値との関係を示すグラフである。このグラフは、横軸を色温度（Ｋ）、縦軸をゲイン調整値としている。図１２において、ＲＢは、Ｒのゲイン調整値（Red-Balance）を示している。また、ＢＢは、Ｂのゲイン調整値（Blue-Balance）を示している。

例えば、２５００（Ｋ）から９５００（Ｋ）までを５００（Ｋ）間隔でテーブル作成し、それに対応するゲイン調整値を付加しておく。例えば、推定した色温度が４１２０（Ｋ）であった場合、４０００（Ｋ）と４５００（Ｋ）とのゲイン調整値を線形補間し、色温度４１２０（Ｋ）に対応するゲイン調整値を求めることができる。

ホワイトバランスゲイン算出部１３３は、以上のようにして求められたゲイン調整値を画像データ演算部１４に出力する。

画像データ演算部１４は、ホワイトバランス画像ゲイン補正部１４１を含む。ホワイトバランス画像ゲイン補正部１４１は、ホワイトバランスゲイン算出部１３３から出力されるゲイン調整値を用いてホワイトバランスを調整する。入力される画素のＲＧＢをそれぞれｉｎＲ、ｉｎＧ、ｉｎＢとし、出力される画素のＲＧＢをそれぞれｏｕｔＲ、ｏｕｔＧ、ｏｕｔＢとすると、次式（式９）～（式１１）によってホワイトバランスの調整が行われる。

ｏｕｔＲ＝ｉｎＲ×ＲＢ ・・・（式９）
ｏｕｔＧ＝ｉｎＧ×１．０ ・・・（式１０）
ｏｕｔＢ＝ｉｎＢ×ＢＢ ・・・（式１１）
＜画像処理装置１の処理フロー＞
図１３は、本発明の実施形態１に係る画像処理装置１の処理手順を説明するためのフローチャートである。まず、ブロック内最大値記憶部１２５、ブロック内平均値記憶部１３０等の各部の初期化が行われる（Ｓ３１）。

次に、ストリーム現在値記憶部１２１は、画像データ生成部１１から出力される画像データの現在の１画素分のデータ（画素値）を格納する（Ｓ３２）。このとき、ストリーム現在値記憶部１２１は、画素値から輝度を算出し、画素値と共に格納する。

次に、データ比較部１２４およびデータ加算部１２８は、１画素分のデータ（画素値、輝度値）の処理を行う（Ｓ３３）。そして、画素数カウンタ１２２のカウント値が１ブロックの画素数に達しているか否かが判定される（Ｓ３４）。なお、この１画素分のデータ処理（Ｓ３３）の詳細は、後述する。

画素数カウンタ１２２のカウント値が１ブロックの画素数に達していなければ（Ｓ３４，Ｎｏ）、ステップＳ３２に戻って以降の処理が繰り返される。また、画素数カウンタ１２２のカウント値が１ブロックの画素数に達していれば（Ｓ３４，Ｙｅｓ）、１ブロック分のデータ処理が行われる（Ｓ３５）。なお、この１ブロック分のデータ処理（Ｓ３５）の詳細は、後述する。

次に、ブロック数カウンタ１２３のカウント値が画像１枚分（１フレーム分）のブロック数と比較され、画像１枚分のデータ読み出しが完了したか否かが判定される（Ｓ３６）。画像１枚分のデータ読み出しが完了していなければ（Ｓ３６，Ｎｏ）、ステップＳ３２に戻って以降の処理が繰り返される。

また、画像１枚分のデータ読み出しが完了していれば（Ｓ３６，Ｙｅｓ）、ホワイトバランスゲイン算出部１３３は、光源色を推定し、ゲイン調整値を算出する（Ｓ３７）。そして、ホワイトバランス画像ゲイン補正部１４１は、ゲイン調整値を使ってホワイトバランス処理を実施し、画像を出力する（Ｓ３８）。

図１４は、図１３のステップＳ３３の処理手順の詳細を説明するためのフローチャートである。まず、データ加算部１２８は、ストリーム現在値記憶部１２１から出力される現在の画素のＲ，Ｇ，Ｂの値のそれぞれの合計値を算出する（Ｓ４１）。

次に、データ比較部１２４は、ストリーム現在値記憶部１２１から出力される現在の輝度値とブロック内最大値記憶部１２５から出力される現在の輝度最大値とを比較し、ストリーム現在値記憶部１２１から出力される現在の輝度値の方が大きいか否かを判定する（Ｓ４２）。

現在の輝度値の方が小さければ（Ｓ４２，Ｎｏ）、処理を終了する。また、現在の輝度値の方が大きければ（Ｓ４２，Ｙｅｓ）、データ比較部１２４は、ブロック内最大値記憶部１２５の内容を更新し（Ｓ４３）、処理を終了する。

図１５は、図１３のステップＳ３５の処理手順の詳細を説明するためのフローチャートである。まず、平均値演算部１２９は、データ加算部１２８によって算出された画素のＲ，Ｇ，Ｂの値のそれぞれの合計値から平均値を算出する（Ｓ５１）。

次に、ブロック内最大値記憶部１２５は、ブロック内輝度最大値およびそれに対応する画素値を保管し（Ｓ５２）、ブロック内平均値記憶部１３０は、ブロック内輝度平均値およびそれに対応する画素値の平均値を保管する（Ｓ５３）。そして、画素数カウンタ１２２の初期化を行い（Ｓ５４）、処理を終了する。

図１６は、図１５のステップＳ５２（ブロック内輝度値最大値の保管）の処理手順の詳細を説明するためのフローチャートである。まず、データ比較部１２７は、ブロック内最大値記憶部１２５から出力されるブロック内輝度最大値およびそれに対応する画素値がホワイトバランス推定に使えるか否かを判定する（Ｓ６１）。上述のように、データ比較部１２７は、極めて濃い色の画素、白飛び、黒飛びの場合には、ホワイトバランス推定に使えないと判断し（Ｓ６１，Ｎｏ）、ブロック内輝度最大値を保管せずに、処理を終了する。

また、ホワイトバランス推定に使えると判断した場合（Ｓ６１，Ｙｅｓ）、データ比較部１２７は、内部変数ｉを初期化して「１」とし（Ｓ６２）、ブロック内最大値記憶部１２５から出力されるブロック内輝度最大値が、ブロック代表最大値記憶部１２６－ｉに記憶されるブロック代表輝度最大値よりも大きいか否かを判定する（Ｓ６３）。なお、ブロック代表最大値記憶部１２６－ｉは、図１に示すブロック代表最大値記憶部１２６－１～１２６－４のいずれかである。

ブロック内最大値記憶部１２５から出力されるブロック内輝度最大値の方が大きければ（Ｓ６３，Ｙｅｓ）、データ比較部１２７は、ブロック代表最大値記憶部１２６－ｉに保管されている内容を更新し（Ｓ６４）、処理を終了する。

また、ブロック内最大値記憶部１２５から出力されるブロック内輝度最大値の方が小さければ（Ｓ６３，Ｎｏ）、データ比較部１２７は、内部変数ｉをインクリメントし（Ｓ６５）、内部変数ｉに対応するブロック代表最大値記憶部１２６－１～１２６－４を全て確認したか否かを判定する（Ｓ６６）。なお、本実施形態においては、内部変数ｉ＝１～４である。

内部変数ｉを全て確認していなければ（Ｓ６６，Ｎｏ）、ステップＳ６３に戻って以降の処理を繰り返す。また、内部変数ｉを全て確認していれば（Ｓ６６，Ｙｅｓ）、処理を終了する。なお、ステップＳ６３～Ｓ６６の処理を行うことにより、ブロック代表最大値記憶部１２６－１～１２６－４の中でブロック代表輝度最大値が最も小さい値が更新されるものとする。

図１７は、図１５のステップＳ５３（ブロック内輝度平均値の保管）の処理手順の詳細を説明するためのフローチャートである。まず、データ比較部１３２は、ブロック内平均値記憶部１３０から出力されるブロック内輝度平均値およびそれに対応する画素値の平均値がホワイトバランス推定に使えるか否かを判定する（Ｓ７１）。上述のように、データ比較部１３２は、極めて濃い色の画素、白飛び、黒飛びの場合には、ホワイトバランス推定に使えないと判断し（Ｓ７１，Ｎｏ）、ブロック内輝度平均値を保管せずに、処理を終了する。

また、ホワイトバランス推定に使えると判断した場合（Ｓ７１，Ｙｅｓ）、データ比較部１３２は、内部変数ｉを初期化して「１」とし（Ｓ７２）、ブロック内平均値記憶部１３０から出力されるブロック内輝度平均値が、ブロック代表平均値記憶部１３１－ｉに記憶されるブロック代表輝度平均値よりも大きいか否かを判定する（Ｓ７３）。

ブロック内平均値記憶部１３０から出力されるブロック内輝度平均値の方が大きければ（Ｓ７３，Ｙｅｓ）、データ比較部１３２は、ブロック代表平均値記憶部１３１－ｉに保管されている内容を更新し（Ｓ７４）、処理を終了する。

また、ブロック内平均値記憶部１３０から出力されるブロック内輝度平均値の方が小さければ（Ｓ７３，Ｎｏ）、データ比較部１３２は、内部変数ｉをインクリメントし（Ｓ７５）、内部変数ｉに対応するブロック代表平均値記憶部１３１－１～１３１－４を全て確認したか否かを判定する（Ｓ７６）。なお、本実施形態においては、内部変数ｉ＝１～４である。

内部変数ｉを全て確認していなければ（Ｓ７６，Ｎｏ）、ステップＳ７３に戻って以降の処理を繰り返す。また、内部変数ｉを全て確認していれば（Ｓ７６，Ｙｅｓ）、処理を終了する。なお、ステップＳ７３～Ｓ７６の処理を行うことにより、ブロック代表平均値記憶部１３１－１～１３１－４の中でブロック代表輝度平均値が最も小さい値が更新されるものとする。

＜実施形態１の効果＞
以上説明したように、本実施形態に係る画像処理装置１によれば、画像データ生成部１１から出力される画像データの順に（ストリーム形式で）ブロック分割が行われる。したがって、画像データの入力時にブロック順が前後しないため、ストリーム現在値記憶部１２１が現在の画素値を記憶するだけで処理が行える。したがって、ブロック毎に画像データを保持するラインバッファのような構成が不要となる。

また、データ比較部１２４が、現在の画素の輝度値がブロック内最大値記憶部１２５から出力される現在の輝度最大値よりも大きければ、ブロック内最大値記憶部１２５の内容を更新するようにした。したがって、ブロック内輝度最大値および対応する画素値を記憶する記憶部を１つにすることができる。

また、データ比較部１２７が、ブロック内最大値記憶部１２５から出力されるブロック内輝度最大値がブロック代表輝度最大値よりも大きければ、ブロック代表最大値記憶部１２６－１～１２６－４の中の対応する記憶部の内容を更新するようにした。したがって、ブロック代表最大値記憶部の数を変更することにより、任意の数のブロック代表輝度最大値を記憶することができる。

また、データ比較部１３２が、ブロック内平均値記憶部１３０から出力されるブロック内輝度平均値がブロック代表輝度平均値よりも大きければ、ブロック代表平均値記憶部１３１－１～１３１－４の中の対応する記憶部の内容を更新するようにした。したがって、ブロック代表平均値記憶部の数を変更することにより、任意の数のブロック代表輝度平均値を記憶することができる。

また、ホワイトバランスゲイン算出部１３３が、輝度最大値の分布および輝度平均値の分布から、光源色の推定と被写体色の推定とを行うようにした。したがって、適切なホワイトバランスの調整が行えるようになる。

また、ホワイトバランスゲイン算出部１３３が、算出したＲＢ比から色温度を推定し、色温度からゲイン調整値を求めるようにした。したがって、適切なホワイトバランスの調整が行えるゲイン調整値を容易に求めることができる。

［実施形態２］
以下、本発明の実施形態２について、詳細に説明する。なお、説明の便宜上、同一の部材には同一の符号を付し、それらの名称および機能も同一である。したがって、それらの詳細な説明は繰り返さない。

上述のように、（式１）を用いて輝度値Ｙを求めることができる。三板カメラや単板カメラのイメージセンサの出力をデモザイクと呼ばれる色補間処理を行った後では、１画素の３色（Ｒ，Ｇ，Ｂ）の情報を持っているため、１画素毎に輝度値Ｙを求めることができる。しかし、単板カメラのイメージセンサ出力は、１画素に１色のデータしか持っていないため、輝度値Ｙをそのままでは求めることができない。

本実施形態においては、（ｍ－１）行目とｍ行目の２行を用いて、４つの画素を１つの画素として取り扱うことで、輝度値Ｙを求めるものである。

図１８は、単板カメラのイメージセンサ出力の一例を示す図である。図１８に示すように、Ｒ画素の横に隣接するＧ画素をＧｒ、Ｂ画素の横に隣接するＧ画素をＧｂとすると、４つの画素を１つの画素として取り扱うことで、次式（式１２）を用いて輝度値Ｙを求めることができる。なお、Ｇ信号成分については、Ｇｒ、Ｇｂの大小を比較してどちらかを用いるようにしてもよい。

Ｙ＝ａ×Ｒ＋ｂ×（（Ｇｒ＋Ｇｂ）／２）＋ｃ×Ｂ ・・・（式１２）
実施形態１において説明したように、輝度値Ｙが最大となる画素値を求める必要がある。イメージセンサからの出力がラスター形式の場合、（式１２）を用いて輝度値Ｙを求めるためには、１行ないし２行分の画素データを記憶する記憶領域（以下、ラインバッファと呼ぶ。）が必要となる。

輝度値Ｙを求めるのによく利用される一般的な式として、次式（式１３）がある。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ ・・・（式１３）
この式から明らかなように、輝度値Ｙは、Ｇ信号の比率がＲ，Ｂ信号よりも高い。これは人間の目がＧ信号に敏感であることに由来する。また、単板カメラのイメージセンサの画素配置において、Ｇ画素がＲ，Ｂ画素の２倍配置されているのは、輝度情報を多く含むＧ画素を多く取得したいためである。なお、このような配置は、ベイヤー配置と呼ばれている。

以上のように、Ｇ信号が輝度情報Ｙを多く有しているという前提に基づいて、輝度値Ｙの最大値をＧ信号の最大値とする。これにより、Ｇ画素の最大値を検出するだけで輝度値Ｙの最大値を求めることができる。上述のように、Ｇ画素の横に隣接する画素は、Ｒ画素またはＢ画素の何れかである。

一般的な画素配置においては、１行ごとに、ＧＲＧＲ……ＧＲ、ＢＧＢＧ……ＢＧを繰り返す。本実施形態においては、ＧＲＧＲが繰り返される行のｎ番目のＧ画素が最大値であった場合、そのＧ画素と隣接するＲ画素のデータと、そのＧ画素の位置情報とを記憶する。次の行では、ＢＧＢＧが繰り返されるが、この行ではＧ画素の最大値を検出せずに、前の行のｎ番目のＧ画素およびＲ画素に対応する現在の行のＧ画素およびＢ画素を抽出して輝度値Ｙを求め、輝度値Ｙの最大値とする。

図１９は、輝度情報Ｙの最大値の算出方法を模式的に示す図である。図１９に示すように、ＧＲＧＲが繰り返される行において、Ｇ画素の最大値を検出する。このとき、ｎ番目のＧ画素が最大値であったとすると、ｎ－１番目のＲ画素も併せて抽出される。そして、次の行において、ｎ－１番目のＧ画素とｎ番目のＢ画素とが抽出される。これら４つの画素から輝度情報Ｙを算出し、輝度情報Ｙの最大値とする。

このように、本実施形態においては、１行に存在するブロック数分のＧｒ画素およびＲ画素と、位置情報とを記憶するだけで、ブロック内における輝度最大値を求めることができる。

次に、ブロック内の画素値の平均値の算出方法について説明する。まず、ＧＲＧＲが繰り返される行において、ブロック内のＧｒ画素およびＲ画素のそれぞれの値を加算して合計値を算出し、記憶しておく。この合計値の算出は、次式（式１４）および（式１５）によって行われる。ｉ＝１～Ｎ（Ｎはブロック内の１行におけるそれぞれの画素数）。なお、Ｓｕｍは、それまでの合計値を示す。

ＳｕｍＲ_ｉ＝ＳｕｍＲ_ｉ－１＋Ｒ_ｉ ・・・（式１４）
ＳｕｍＧｒ_ｉ＝ＳｕｍＧｒ_ｉ－１＋Ｇｒ_ｉ ・・・（式１５）
次に、ＢＧＢＧが繰り返される次の行において、ブロック内のＢ画素およびＧｂ画素のそれぞれの値を加算して合計値を算出する。この合計値の算出は、次式（式１６）および（式１７）によって行われる。ｉ＝１～ｎ（ｎはブロック内の１行におけるそれぞれの画素数）。

ＳｕｍＢ_ｉ＝ＳｕｍＢ_ｉ－１＋Ｂ_ｉ ・・・（式１６）
ＳｕｍＧｂ_ｉ＝ＳｕｍＧｂ_ｉ－１＋Ｇｂ_ｉ ・・・（式１７）
最後に、記憶される前の行のＲ画素の合計値およびＧｒ画素の合計値と、算出されたＢ画素の合計値およびＧｂ画素の合計値とから、次式（式１８）～（式２０）を用いて、それぞれの画素値の平均値を算出する。なお、Ａｖｒは、平均値を示す。

ＡｖｒＲ＝ＳｕｍＲ／ｎ ・・・（式１８）
ＡｖｒＧ＝（ＳｕｍＧｒ＋ＳｕｍＧｂ）／２ｎ ・・・（式１９）
ＡｖｒＢ＝ＳｕｍＢ／ｎ ・・・（式２０）
このように、本実施形態においては、１行に存在するブロック数分のＧｒ画素の合計値およびＲ画素の合計値を記憶するだけで、ブロック内における画素値の平均値および輝度平均値を求めることができる。

＜実施形態２の効果＞
以上説明したように、本実施形態に係る画像処理装置においては、ブロック内におけるＧｒ画素の最大値を求め、それに対応するＲ画素、Ｂ画素およびＧｂ画素から輝度最大値を算出するようにした。したがって、１行に存在するブロック数分のＧｒ画素およびＲ画素と、位置情報とを記憶するだけで、ブロック内における輝度最大値を求めることができる。

また、ブロック内におけるＧｒ画素およびＲ画素のそれぞれの値を加算して合計値を算出し、ブロック内のＢ画素およびＧｂ画素のそれぞれの値を加算して合計値を算出する。そして、これらの値を用いて画素値の平均値を算出する。したがって、１行に存在するブロック数分のＧｒ画素の合計値およびＲ画素の合計値を記憶するだけで、ブロック内における画素値の平均値および輝度平均値を求めることができる。

［実施形態３］
以下、本発明の実施形態３について、詳細に説明する。なお、説明の便宜上、同一の部材には同一の符号を付し、それらの名称および機能も同一である。したがって、それらの詳細な説明は繰り返さない。

近年、イメージセンサの画素数が多くなり、画素値を高速で読み出す手法が必要となっている。その一例として、１フレームを複数に分割し、並列して画素値を読み出す手法を挙げることができる。

図２０は、１フレーム分の画素値を並列に読み出す方法を説明するための図である。図２０に示すように、例えば、１画面を４つの画面に分割し、それぞれの分割画面の左上の画素から順に並列で画素値を読み出す。

＜画像処理装置１Ａの構成例＞
図２１は、本発明の実施形態３に係る画像処理装置１Ａの機能的構成を示すブロック図である。画像処理装置１Ａは、画像データ生成部１１と、ホワイトバランスパラメータ演算部１２－１～１２－４と、ホワイトバランスゲイン算出部１３３と、ホワイトバランス画像ゲイン補正部１４１とを含む。ホワイトバランスパラメータ演算部１２－１～１２－４は、それぞれ図１に示す構成を有しており、４つの分割画面に対応している。

図２２は、１フレーム分の画像データの分割を説明するための図である。図２２に示すように、１フレーム分の画像データが、画面１～画面４の４つに分割されており、ホワイトバランスパラメータ演算部１２－１～１２－４は、画面１～画面４のそれぞれの画像データを処理する。

画像データ生成部１１は、画面１～画面４のそれぞれの画像データを並列でホワイトバランスパラメータ演算部１２－１～１２－４およびホワイトバランス画像ゲイン補正部１４１に出力する。

ホワイトバランスパラメータ演算部１２－１～１２－４は、画面１～画面４に対応する画像データを処理し、画面１～４に対応するブロック代表最大値およびブロック代表平均値をホワイトバランスゲイン算出部１３３に出力する。なお、ホワイトバランスパラメータ演算部１２－１～１２－４はそれぞれ、ブロック代表最大値記憶部１２６－１～１２６－４に記憶される４つのブロック代表最大値を順次出力し、それと並行して、ブロック代表平均値記憶部１３１－１～１３１－４に記憶される４つのブロック代表平均値を順次出力する。

ホワイトバランスゲイン算出部１３３は、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表最大値を演算し、新たなブロック代表最大値を算出する。例えば、ホワイトバランスゲイン算出部１３３は、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表最大値の平均値を算出し、新たなブロック代表最大値としてもよい。

また、ホワイトバランスゲイン算出部１３３は、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表最大値の重み付き平均値を算出し、新たなブロック代表最大値としてもよい。

また、ホワイトバランスゲイン算出部１３３は、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表最大値の最大値を抽出し、新たなブロック代表最大値としてもよい。

同様に、ホワイトバランスゲイン算出部１３３は、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表平均値を演算し、新たなブロック代表平均値を算出する。例えば、ホワイトバランスゲイン算出部１３３は、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表平均値の平均値を算出し、新たなブロック代表平均値としてもよい。

また、ホワイトバランスゲイン算出部１３３は、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表平均値の重み付き平均値を算出し、新たなブロック代表平均値としてもよい。

また、ホワイトバランスゲイン算出部１３３は、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表平均値の最大値を抽出し、新たなブロック代表平均値としてもよい。

ホワイトバランスゲイン算出部１３３における以降の処理は、実施形態１において説明したものと同様である。ホワイトバランス画像ゲイン補正部１４１は、ホワイトバランスゲイン算出部１３３から出力されるゲイン調整値を用いてホワイトバランスを調整する。なお、画像データ生成部１１から出力される４つの画像データのそれぞれに同じゲイン調整値が使用される。

＜実施形態３の効果＞
以上説明したように、ホワイトバランスゲイン算出部１３３は、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表最大値を演算し、新たなブロック代表最大値を算出する。また、ホワイトバランスゲイン算出部１３３は、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表平均値を演算し、新たなブロック代表平均値を算出する。したがって、１フレームを複数に分割し、並列して画素値を読み出すような画像処理装置にも適用することが可能となる。

［実施形態４］
以下、本発明の実施形態４について、詳細に説明する。なお、説明の便宜上、同一の部材には同一の符号を付し、それらの名称および機能も同一である。したがって、それらの詳細な説明は繰り返さない。

本実施形態においては、図２１に示す実施形態３に係る画像処理装置１Ａにブロック代表値記憶部１５が付加され、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表最大値およびブロック代表平均値の最大値を算出するものである。

＜画像処理装置１Ｂの構成例＞
図２３は、本発明の実施形態４に係る画像処理装置１Ｂの機能的構成を示すブロック図である。図２１に示す実施形態３に係る画像処理装置１Ａと比較して、ブロック代表値記憶部１５が追加されている点のみが異なる。

図２４は、ブロック代表値記憶部１５の内部構成を示すブロック図である。ブロック代表値記憶部１５は、データ比較部１５１、１５２、１５４および１５５と、ブロック代表平均値記憶部１５３－１～１５３－４と、ブロック代表最大値記憶部１５６－１～１５６－４とを含む。

データ比較部１５１は、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表平均値の輝度平均値を比較し、輝度平均値が最も大きいブロック代表平均値をデータ比較部１５２に出力する。

データ比較部１５２は、データ比較部１５１から出力されるブロック代表平均値の輝度平均値と、ブロック代表平均値記憶部１５３－１～１５３－４に記憶されるブロック代表輝度平均値の中の最も小さい値とを比較する。データ比較部１５２は、データ比較部１５２から出力されるブロック代表輝度平均値の方が大きければ、ブロック代表平均値記憶部１５３－１～１５３－４の中の対応する記憶部の値を、データ比較部１５２から出力されるブロック代表輝度平均値で更新する。このとき、対応するＲ，Ｇ，Ｂの平均値も記憶させる。

データ比較部１５４は、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表最大値の輝度最大値を比較し、輝度最大値が最も大きいブロック代表最大値をデータ比較部１５５に出力する。

データ比較部１５５は、データ比較部１５４から出力されるブロック代表最大値の輝度最大値と、ブロック代表最大値記憶部１５６－１～１５６－４に記憶されるブロック代表輝度最大値の中の最も小さい値とを比較する。データ比較部１５５は、データ比較部１５４から出力されるブロック代表輝度最大値の方が大きければ、ブロック代表最大値記憶部１５６－１～１５６－４の中の対応する記憶部の値を、データ比較部１５５から出力されるブロック代表輝度最大値で更新する。このとき、対応するＲ，Ｇ，Ｂの値も記憶させる。

＜実施形態４の効果＞
以上説明したように、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表平均値の輝度平均値を比較し、輝度平均値が最も大きいブロック代表平均値に基づいて、ブロック代表平均値記憶部１５３－１～１５３－４の内容を更新するようにした。また、ホワイトバランスパラメータ演算部１２－１～１２－４から出力されるブロック代表最大値の輝度最大値を比較し、輝度最大値が最も大きいブロック代表最大値に基づいて、ブロック代表最大値記憶部１５６－１～１５６－４の内容を更新するようにした。したがって、１フレームを複数に分割し、並列して画素値を読み出すような画像処理装置にも適用することが可能となる。

＜ソフトウェアによる実現例＞
画像処理装置１の制御ブロック（特に、ホワイトバランスゲイン算出部１３３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、ホワイトバランスゲイン算出部ブロックは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

［まとめ］
本発明の態様１に係る画像処理装置は、ストリーム形式の画像データを入力順に複数のブロックに分割し、ブロック内の画素の輝度最大値および当該ブロック内の画素の輝度平均値を演算するホワイトバランスパラメータ演算部と、
前記ホワイトバランスパラメータ演算部によって演算された前記輝度最大値および前記輝度平均値から求められたパラメータに基づいて、ホワイトバランスを調整するためのゲイン調整値を算出するホワイトバランスゲイン算出部と、
前記ホワイトバランスゲイン算出部によって算出された前記ゲイン調整値を用いて、前記画像データを演算する画像データ演算部と、を備える。

上記の構成によれば、画像データの順に（ストリーム形式で）ブロック分割が行われるため、ブロック毎に画像データを保持するラインバッファのような構成が不要となる。

本発明の態様２に係る画像処理装置は、上記態様１において、前記ホワイトバランスパラメータ演算部は、前記画像データの現在の画素の画素値および輝度値を記憶するストリーム現在値記憶部と、
前記ブロック内の画素の輝度最大値および対応する画素値を記憶するブロック内最大値記憶部と、
前記ストリーム現在値記憶部に記憶される前記画像データの現在の画素の輝度値と、前記ブロック内最大値記憶部に記憶される前記ブロック内の画素の輝度最大値とを比較し、比較結果に応じて前記ブロック内最大値記憶部の内容を更新する第１のデータ比較部とを備える。

上記の構成によれば、画像データの入力時にブロック順が前後しないため、ストリーム現在値記憶部が現在の画素値を記憶するだけで処理が行える。したがって、ブロック毎に画像データを保持するラインバッファのような構成が不要となる。

また、ブロック内の画素の輝度最大値および対応する画素値を記憶する記憶部を１つにすることができる。

本発明の態様３に係る画像処理装置は、上記態様２において、前記ホワイトバランスパラメータ演算部はさらに、１フレーム内のブロックを代表するブロック代表輝度最大値および対応する画素値を記憶するブロック代表最大値記憶部と、
前記ブロック内最大値記憶部に記憶される前記ブロック内の画素の輝度最大値と、前記ブロック代表最大値記憶部に記憶されるブロック代表輝度最大値とを比較し、比較結果に応じて前記ブロック代表最大値記憶部の内容を更新する第２のデータ比較部とを備える。

上記の構成によれば、ブロック代表最大値記憶部の数を変更することにより、任意の数のブロック代表輝度最大値を記憶することができる。

本発明の態様４に係る画像処理装置は、上記態様３において、前記ホワイトバランスパラメータ演算部はさらに、前記ストリーム現在値記憶部に記憶される前記画像データの現在の画素の画素値を１ブロック分だけ加算するデータ加算部と、
前記データ加算部によって算出された画素値の合計値から、１ブロック内の画素値の平均値を演算する平均値演算部と、
前記平均値演算部によって演算された１ブロック内の画素値の平均値および輝度平均値を記憶するブロック内平均値記憶部と、を備える。

上記の構成によれば、１ブロック内の画素値の平均値および輝度平均値を容易に算出することができる。

本発明の態様５に係る画像処理装置は、上記態様４において、前記ホワイトバランスパラメータ演算部はさらに、１フレーム内のブロックを代表するブロック代表輝度平均値および対応する画素値の平均値を記憶するブロック代表平均値記憶部と、
前記ブロック内平均値記憶部に記憶される前記ブロック内の画素の輝度平均値と、前記ブロック代表平均値記憶部に記憶されるブロック代表輝度平均値とを比較し、比較結果に応じて前記ブロック代表平均値記憶部の内容を更新する第３のデータ比較部とを備える。

上記の構成によれば、ブロック代表平均値記憶部の数を変更することにより、任意の数のブロック代表輝度平均値を記憶することができる。

本発明の態様６に係る画像処理装置は、上記態様５において、前記ホワイトバランスゲイン算出部は、前記ブロック代表最大値記憶部に記憶されるブロック代表輝度最大値および対応する画素値と、前記ブロック代表平均値記憶部に記憶されるブロック代表輝度平均値および対応する画素値の平均値とを用いて、前記ゲイン調整値を演算する。

上記の構成によれば、ゲイン調整値を容易に演算することができる。

本発明の態様７に係る画像処理装置は、上記態様６において、前記ホワイトバランスゲイン算出部は、前記ブロック代表最大値記憶部に記憶される前記ブロック代表輝度最大値に対応する画素値と、前記ブロック代表平均値記憶部に記憶される前記ブロック代表輝度平均値に対応する画素値の平均値とを、第１の色空間から第２の色空間に変換して光源色および被写体色を推定する。

上記の構成によれば、ホワイトバランスゲイン算出部が、光源色の推定と被写体色の推定とを行うので、適切なホワイトバランスの調整が行えるようになる。

本発明の態様８に係る画像処理装置は、上記態様６または７において、前記ホワイトバランスゲイン算出部は、前記ブロック代表平均値記憶部に記憶される前記ブロック代表輝度平均値に対応する画素値の平均値から色温度を抽出し、
抽出された前記色温度から前記ゲイン調整値を算出する。

上記の構成によれば、ホワイトバランスゲイン算出部が、色温度からゲイン調整値を求めるようにした。したがって、適切なホワイトバランスの調整が行えるゲイン調整値を容易に求めることができる。

本発明の態様９に係る画像処理装置は、上記態様６～８のいずれかにおいて、前記画像データ演算部は、ストリーム形式の前記画像データの画素値に、前記ホワイトバランスゲイン算出部によって算出された前記ゲイン調整値を乗算して出力する。

上記の構成によれば、ホワイトバランスの調整を容易に行えるようになる。

本発明の態様１０に係る画像処理装置は、上記態様１において、前記画像データは、所定の行においてＲ画素およびＧｒ画素が繰り返し出力され、次の行においてＢ画素およびＧｂ画素が繰り返し出力され、
前記ホワイトバランスパラメータ演算部は、前記所定の行における前記ブロック内のＧｒ画素の最大値を前記輝度最大値とし、
前記所定の行における前記ブロック内のＲ画素の合計値およびＧｒ画素の合計値と、前記次の行における前記ブロック内のＢ画素の合計値およびＧｂ画素の合計値とから前記輝度平均値を算出する。

上記の構成によれば、１行に存在するブロック数分のＧｒ画素およびＲ画素と、位置情報とを記憶するだけで、ブロック内における輝度最大値を求めることができる。また、１行に存在するブロック数分のＧｒ画素の合計値およびＲ画素の合計値を記憶するだけで、ブロック内における画素値の平均値および輝度平均値を求めることができる。

本発明の態様１１に係る画像処理装置は、分割された複数の画面に対応して設けられ、ストリーム形式の画像データを入力順に複数のブロックに分割し、分割された画面内のブロックを代表するブロック代表輝度最大値およびブロック代表輝度平均値を演算する複数のホワイトバランスパラメータ演算部と、
前記複数のホワイトバランスパラメータ演算部によって演算された複数のブロック代表輝度最大値およびブロック代表輝度平均値に基づいて、さらなるブロック代表輝度最大値およびさらなるブロック代表輝度平均値を抽出して記憶するブロック代表値記憶部と、
前記ブロック代表値記憶部に記憶される前記さらなるブロック代表輝度最大値および前記さらなるブロック代表輝度平均値を用いて、ゲイン調整値を算出するホワイトバランスゲイン算出部と、
前記ホワイトバランスゲイン算出部によって算出された前記ゲイン調整値を用いて、前記画像データを演算する画像データ演算部と、を備える。

上記の構成によれば、１フレームを複数に分割し、並列して画素値を読み出すような画像処理装置にも適用することが可能となる。

本発明の態様１２に係る画像処理装置は、上記態様１１において、前記ブロック代表値記憶部は、前記複数のホワイトバランスパラメータ演算部によって演算された複数のブロック代表輝度最大値の中の最大値を前記さらなるブロック代表輝度最大値とし、前記複数のホワイトバランスパラメータ演算部によって演算された複数のブロック代表輝度平均値の中の最大値を前記さらなるブロック代表輝度平均値とする。

上記の構成によれば、１フレームを複数に分割し、並列して画素値を読み出すような画像処理装置にも適用することが可能となる。

本発明の態様１３に係る画像処理方法は、ストリーム形式の画像データを入力順に複数のブロックに分割するステップと、
ブロック内の画素の輝度最大値および当該ブロック内の画素の輝度平均値に基づいて、ホワイトバランスを調整するためのゲイン調整値を算出するステップと、
算出された前記ゲイン調整値を用いて、前記画像データを演算するステップと、を含む。

上記の構成によれば、画像データの順に（ストリーム形式で）ブロック分割が行われるため、ブロック毎に画像データを保持するラインバッファのような構成が不要となる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ 画像処理装置
１１ 画像データ生成部
１２ ホワイトバランスパラメータ演算部
１４ 画像データ演算部
１５ ブロック代表値記憶部
１２１ ストリーム現在値記憶部
１２２ 画素数カウンタ
１２３ ブロック数カウンタ
１２４，１２７，１３２，１５１，１５２，１５４，１５５ データ比較部
１２５ ブロック内最大値記憶部
１２６－１～１２６－４，１５６－１～１５６－４ ブロック代表最大値記憶部
１２８ データ加算部
１２９ 平均値演算部
１３０ ブロック内平均値記憶部
１３１－１～１３１－４，１５３－１～１５３－４ ブロック代表平均値記憶部
１３３ ホワイトバランスゲイン算出部
１４１ ホワイトバランス画像ゲイン補正部

Claims (13)

1. ストリーム形式の画像データを入力順に複数のブロックに分割し、ブロック内の画素の輝度最大値および当該ブロック内の画素の輝度平均値を演算するホワイトバランスパラメータ演算部と、
   前記ホワイトバランスパラメータ演算部によって演算された前記輝度最大値および前記輝度平均値から求められたパラメータに基づいて、ホワイトバランスを調整するためのゲイン調整値を算出するホワイトバランスゲイン算出部と、
   前記ホワイトバランスゲイン算出部によって算出された前記ゲイン調整値を用いて、前記画像データを演算する画像データ演算部と、を備える画像処理装置。
2. 前記ホワイトバランスパラメータ演算部は、前記画像データの現在の画素の画素値および輝度値を記憶するストリーム現在値記憶部と、
   前記ブロック内の画素の輝度最大値および対応する画素値を記憶するブロック内最大値記憶部と、
   前記ストリーム現在値記憶部に記憶される前記画像データの現在の画素の輝度値と、前記ブロック内最大値記憶部に記憶される前記ブロック内の画素の輝度最大値とを比較し、比較結果に応じて前記ブロック内最大値記憶部の内容を更新する第１のデータ比較部とを備える、請求項１に記載の画像処理装置。
3. 前記ホワイトバランスパラメータ演算部はさらに、１フレーム内のブロックを代表するブロック代表輝度最大値および対応する画素値を記憶するブロック代表最大値記憶部と、
   前記ブロック内最大値記憶部に記憶される前記ブロック内の画素の輝度最大値と、前記ブロック代表最大値記憶部に記憶されるブロック代表輝度最大値とを比較し、比較結果に応じて前記ブロック代表最大値記憶部の内容を更新する第２のデータ比較部とを備える、請求項２に記載の画像処理装置。
4. 前記ホワイトバランスパラメータ演算部はさらに、前記ストリーム現在値記憶部に記憶される前記画像データの現在の画素の画素値を１ブロック分だけ加算するデータ加算部と、
   前記データ加算部によって算出された画素値の合計値から、１ブロック内の画素値の平均値を演算する平均値演算部と、
   前記平均値演算部によって演算された１ブロック内の画素値の平均値および輝度平均値を記憶するブロック内平均値記憶部と、を備える、請求項３に記載の画像処理装置。
5. 前記ホワイトバランスパラメータ演算部はさらに、１フレーム内のブロックを代表するブロック代表輝度平均値および対応する画素値の平均値を記憶するブロック代表平均値記憶部と、
   前記ブロック内平均値記憶部に記憶される前記ブロック内の画素の輝度平均値と、前記ブロック代表平均値記憶部に記憶されるブロック代表輝度平均値とを比較し、比較結果に応じて前記ブロック代表平均値記憶部の内容を更新する第３のデータ比較部とを備える、請求項４に記載の画像処理装置。
6. 前記ホワイトバランスゲイン算出部は、前記ブロック代表最大値記憶部に記憶されるブロック代表輝度最大値および対応する画素値と、前記ブロック代表平均値記憶部に記憶されるブロック代表輝度平均値および対応する画素値の平均値とを用いて、前記ゲイン調整値を演算する、請求項５に記載の画像処理装置。
7. 前記ホワイトバランスゲイン算出部は、前記ブロック代表最大値記憶部に記憶される前記ブロック代表輝度最大値に対応する画素値と、前記ブロック代表平均値記憶部に記憶される前記ブロック代表輝度平均値に対応する画素値の平均値とを、第１の色空間から第２の色空間に変換して光源色および被写体色を推定する、請求項６に記載の画像処理装置。
8. 前記ホワイトバランスゲイン算出部は、前記ブロック代表平均値記憶部に記憶される前記ブロック代表輝度平均値に対応する画素値の平均値から色温度を抽出し、
   抽出された前記色温度から前記ゲイン調整値を算出する、請求項６または７に記載の画像処理装置。
9. 前記画像データ演算部は、ストリーム形式の前記画像データの画素値に、前記ホワイトバランスゲイン算出部によって算出された前記ゲイン調整値を乗算して出力する、請求項６～８のいずれか１項に記載の画像処理装置。
10. 前記画像データは、所定の行においてＲ画素およびＧｒ画素が繰り返し出力され、次の行においてＢ画素およびＧｂ画素が繰り返し出力され、
    前記ホワイトバランスパラメータ演算部は、前記所定の行における前記ブロック内のＧｒ画素の最大値を前記輝度最大値とし、
    前記所定の行における前記ブロック内のＲ画素の合計値およびＧｒ画素の合計値と、前記次の行における前記ブロック内のＢ画素の合計値およびＧｂ画素の合計値とから前記輝度平均値を算出する、請求項１に記載の画像処理装置。
11. 分割された複数の画面に対応して設けられ、ストリーム形式の画像データを入力順に複数のブロックに分割し、分割された画面内のブロックを代表するブロック代表輝度最大値およびブロック代表輝度平均値を演算する複数のホワイトバランスパラメータ演算部と、
    前記複数のホワイトバランスパラメータ演算部によって演算された複数のブロック代表輝度最大値およびブロック代表輝度平均値に基づいて、さらなるブロック代表輝度最大値およびさらなるブロック代表輝度平均値を抽出して記憶するブロック代表値記憶部と、
    前記ブロック代表値記憶部に記憶される前記さらなるブロック代表輝度最大値および前記さらなるブロック代表輝度平均値を用いて、ゲイン調整値を算出するホワイトバランスゲイン算出部と、
    前記ホワイトバランスゲイン算出部によって算出された前記ゲイン調整値を用いて、前記画像データを演算する画像データ演算部と、を備える、画像処理装置。
12. 前記ブロック代表値記憶部は、前記複数のホワイトバランスパラメータ演算部によって演算された複数のブロック代表輝度最大値の中の最大値を前記さらなるブロック代表輝度最大値とし、前記複数のホワイトバランスパラメータ演算部によって演算された複数のブロック代表輝度平均値の中の最大値を前記さらなるブロック代表輝度平均値とする、請求項１１に記載の画像処理装置。
13. ストリーム形式の画像データを入力順に複数のブロックに分割するステップと、
    ブロック内の画素の輝度最大値および当該ブロック内の画素の輝度平均値に基づいて、ホワイトバランスを調整するためのゲイン調整値を算出するステップと、
    算出された前記ゲイン調整値を用いて、前記画像データを演算するステップと、を含む画像処理方法。

Images