JP2014078926A - 画像調整装置、画像調整方法およびプログラム - Google Patents

Abstract

【課題】 複数の撮像画像に対する適切な画像調整をすることができる画像調整装置、該画像調整装置が実行する画像調整方法およびプログラムを提供すること。
【解決手段】 本画像調整装置１０は、それぞれ撮像光学系によって撮像された複数の撮像画像各々を構成する分割領域（ｘ，ｙ）各々に対し、ＲＧＢ色毎の領域評価値を計算する領域評価手段１０８と、撮像画像間で撮影範囲が重複する分割領域にわたる色毎の領域評価値に基づき、明るさ調整値を算出する明るさ調整手段２２２と、明るさ調整値に基づき、重複する分割領域各々に対し、色毎の領域評価値から、バランス調整値を算出する重複領域調整値算出手段２２４とを含む。本画像調整装置１０は、さらに、分割領域毎のバランス調整値を、周辺の分割領域で加重平均し、分割領域毎の平滑化されたバランス調整値を決定する分割領域調整値決定手段２２６を含むことができる。
【選択図】 図３

Description

本発明は、画像調整装置、画像調整方法およびプログラムに関し、より詳細には、複数の撮像画像に対する適切な画像調整をすることができる画像調整装置、該画像調整装置が実行する画像調整方法、および該画像調整装置を実現するためのプログラムに関する。

ホワイトバランスは、カメラにおいて、種々の光源のもと、白い被写体が白く写るように調整する機能である。適正にホワイトバランスで色調整しなければ、肉眼では自然に見えていた色が撮影画像では不自然な色に写るなど、適正な色合いの画像を得ることができない。デジタルカメラにおいては、撮像した画像から適正ホワイトバランスを得る、ホワイトバランス調整技術が知られている。

ところで、近年、魚眼レンズや超広角レンズなどの広角なレンズを複数使用して全方位（以下、全天球という。）を一度に撮像する全天球撮像システムが知られている。上記全天球撮像システムでは、各々のレンズからの像をセンサ面に投影し、得られる各画像を画像処理により結合することで、全天球画像を生成する。例えば、１８０度を超える画角を有する２つの広角なレンズを用いて、全天球画像を生成することができる。

しかしながら、従来技術の撮像画像のホワイトバランス調整技術では、上述したような複数の撮像光学系を含むシステムでパノラマ撮影や全天球撮影を行う場合、画像間のつながりを保ちつつ適正ホワイトバランスを得ることが難しかった。これは、それぞれの撮像光学系における光学条件が異なるためである。

複眼撮像装置においてホワイトバランスを得る技術としては、特開２００９−１７４５７号公報（特許文献１）が知られている。特許文献１の従来技術では、算出された主撮影装置のホワイトバランス評価値とカメラに予め記憶しておいた各色の相対感度値、感度定数を用いて、主撮影装置のホワイトバランスの調節と実質的に等価な副撮影装置の各色のゲインを算出している。

しかしながら、特許文献１の従来技術では、主撮影装置のホワイトバランス評価値から、事前準備された各色の相対感度値、感度定数を用いて副撮影装置の各色のゲインを算出するというものである。したがって、それぞれの撮像光学系における光学条件にアンバランスが生じた場合に、依然として、適正なホワイトバランスを得ることが難しかった。

特に全天球カメラにおいては、全方位が撮像範囲となるため、２つのカメラで撮影しているシーンが、それぞれ異なる光源で照明されることがしばしば発生する。このような場合、継ぎ目部分を境に色味の違いが生じやすい。また、それぞれの撮像光学系毎に適正ホワイトバランスを得ることもできるが、継ぎ目部分に生じる明るさの違いは解消できず、依然として、全天球画像の画像品質を損なってしまう可能性があった。

本発明は、上記従来技術の問題点に鑑みてなされたものであり、本発明は、複数の撮像画像を合成した際に、つなぎ目で生じ得る色味の不連続性を軽減することができる、画像調整装置、画像調整方法およびプログラムを提供することを目的とする。

本発明では、上記課題を解決するために、下記特徴を有する画像調整装置を提供する。本画像調整装置は、複数の撮像画像各々を構成する分割領域各々に対し、色毎の領域評価値を計算する領域評価手段と、撮像画像間で撮影範囲が重複する分割領域にわたる上記色毎の領域評価値に基づき、明るさ調整値を算出する明るさ調整手段と、上記明るさ調整値に基づき、上記重複する分割領域各々に対し、上記色毎の領域評価値から、バランス調整値を算出する重複領域調整値算出手段とを含む。画像調整装置は、これにより撮像光学系によって撮像された撮像画像に対する画像調整条件を与える。

上記構成により、複数の撮像画像を合成した際に、つなぎ目で生じ得る色味の不連続性を軽減することができる。

本実施形態による全天球撮像システムを示す断面図。 本実施形態による全天球撮像システムのハードウェア構成図。 本実施形態による全天球撮像システムにおける画像処理全体の流れを説明する図。 （Ａ，Ｂ）魚眼レンズで撮影された複数の撮像画像および（Ｃ）複数の撮像画像を合成して得られる合成画像を例示する図。 本実施形態における領域分割方式を説明する図。 本実施形態による全天球撮像システムが実行するホワイトバランス調整処理を示すフローチャート。 本実施形態による全天球撮像システムが実行するエリアホワイトバランス計算処理を示すフローチャート。 黒体放射軌跡に基づく光源推定方法を説明する図。

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、画像調整装置の一例として、２つの魚眼レンズを光学系に含む撮像体を備えるとともに、２つの魚眼レンズで撮像された撮像画像に基づいて画像調整条件を決定する機能を備えた、全天球撮像システム１０を用いて説明する。つまり、全天球撮像システム１０は、３つ以上のレンズを光学系に含む撮像体を備えるとともに、３つ以上のレンズで撮像された撮像画像に基づいて画像調整条件を決定する機能を備えていても良い。このように３つ以上のレンズの場合は、それぞれのレンズで撮影される領域が重複領域を持つように画角が設定されればよい。なお、説明する実施形態では、魚眼レンズは、広角レンズや、超広角レンズと呼ばれるものを含む。

以下、図１および図２を参照しながら、本実施形態による全天球撮像システムの全体構成について説明する。図１は、本実施形態による全天球撮像システム（以下、単に、撮像システムと参照する。）１０を示す断面図である。図１に示す撮像システム１０は、撮像体１２と、上記撮像体１２および図示しないコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられたシャッター・ボタン１８とを備える。

図１に示す撮像体１２は、２つの結像光学系２０Ａ，２０Ｂと、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの固体撮像素子２２Ａ，２２Ｂとを含む。本実施形態において、結像光学系２０と固体撮像素子２２とを１個ずつ組み合わせたものを撮像光学系と参照する。結像光学系２０は、それぞれ、例えば６群７枚で魚眼レンズとして構成することができる。上記魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、その光軸が、対応する固体撮像素子２２の受光領域の中心部に直交して位置するように固体撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。同時に、光学素子は、受光領域が、対応する魚眼レンズの結像面となるように位置決めされる。固体撮像素子２２は、それぞれ、受光領域が面積エリアを成す２次元の撮像素子であり、組み合わせられる結像光学系２０により集光された光を画像信号に変換する。

図１に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するように、互いに逆向きに組み合わせられる。固体撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換して、コントローラ上の画像処理手段に出力する。画像処理手段では、固体撮像素子２２Ａ，２２Ｂからそれぞれ入力される撮像画像をつなぎ合わせて合成し、立体角４πラジアンの画像（以下「全天球画像」と参照する。）を生成する。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。ここで、図１に示す実施形態では、全天球画像を生成しているが、水平面のみ３６０度を撮影した、いわゆるパノラマ画像であっても良い。

上述したように、魚眼レンズが１８０度を超える全画角を有するため、全天球画像を構成する際には、各撮像光学系で撮像した撮影画像において、撮影範囲が重複する画像部分が、同一像を表す基準データとして画像つなぎ合わせの参考とされる。生成された全天球画像は、例えば、本撮像システムに備えられているまたは、撮像体１２に接続されているディスプレイ装置、印刷装置、ＳＤ（登録商標）カードやコンパクトフラッシュ（登録商標）などの外部記憶媒体などに出力される。

図２は、本実施形態による撮像システム１０のハードウェア構成を示す。撮像システム１０は、デジタル・スチルカメラ・プロセッサ（以下、単にプロセッサと参照する。）１００と、鏡胴ユニット１０２と、プロセッサ１００に接続される種々のコンポーネントとを含み構成される。鏡胴ユニット１０２は、上述した２組の結像光学系２０Ａ，２０Ｂと、固体撮像素子２２Ａ，２２Ｂとを有する。固体撮像素子２２は、プロセッサ１００内の後述するＣＰＵ１３０からの制御指令により制御される。

プロセッサ１００は、ＩＳＰ（Image Signal Processor）１０８と、ＤＭＡＣ（Direct Memory Access Controller）１１０と、メモリアクセスの調停のためのアービタ（ＡＲＢＭＥＭＣ）１１２と、メモリアクセスを制御するＭＥＭＣ（Memory Controller）１１４と、歪曲補正・画像合成ブロック１１８とを含む。ＩＳＰ１０８Ａ，１０８Ｂは、それぞれ、固体撮像素子２２Ａ，２２Ｂの信号処理を経て入力された画像に対し、自動露出（ＡＥ：Automatic Exposure）制御、詳細を後述するホワイトバランス設定やガンマ設定を行う。

ＭＥＭＣ１１４には、ＳＤＲＡＭ１１６が接続されている。そして、ＳＤＲＡＭ１１６には、ＩＳＰ１０８Ａ，１０８Ｂおよび歪曲補正・画像合成ブロック１１８において処理を施す際に、データが一時的に保存される。歪曲補正・画像合成ブロック１１８は、２つの撮像光学系から得られた２つの撮影画像に対し、３軸加速度センサ１２０からの情報を利用し、歪曲補正とともに天地補正を施し、画像合成する。

プロセッサ１００は、さらに、ＤＭＡＣ１２２と、画像処理ブロック１２４と、ＣＰＵ１３０と、画像データ転送部１２６と、ＳＤＲＡＭＣ１２８と、メモリカード制御ブロック１４０と、ＵＳＢブロック１４６と、ペリフェラル・ブロック１５０と、音声ユニット１５２と、シリアルブロック１５８と、ＬＣＤドライバ１６２と、ブリッジ１６８とを含む。

ＣＰＵ１３０は、当該撮像システム１０の各部の動作を制御する。画像処理ブロック１２４は、画像データに対し各種画像処理を施す。リサイズブロック１３２は、画像データのサイズを補間処理により拡大または縮小するためのブロックである。ＪＰＥＧブロック１３４は、ＪＰＥＧ圧縮および伸張を行うコーデック・ブロックである。Ｈ．２６４ブロック１３６は、Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。画像データ転送部１２６は、画像処理ブロック１２４で画像処理された画像を転送する。ＳＤＲＡＭＣ１２８は、プロセッサ１００に接続されるＳＤＲＡＭ１３８を制御する。ＳＤＲＡＭ１３８には、プロセッサ１００内で画像データに各種処理を施す際に、画像データが一時的に保存される。

メモリカード制御ブロック１４０は、メモリカードスロット１４２に挿入されたメモリカードおよびフラッシュＲＯＭ１４４に対する読み書きを制御する。メモリカードスロット１４２は、撮像システム１０にメモリカードを着脱可能に装着するためのスロットである。ＵＳＢブロック１４６は、ＵＳＢコネクタ１４８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。ペリフェラル・ブロック１５０には、電源スイッチ１６６が接続される。

音声ユニット１５２は、ユーザが音声信号を入力するマイク１５６と、記録された音声信号を出力するスピーカ１５４とに接続され、音声入出力を制御する。シリアルブロック１５８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１６０が接続される。ＬＣＤ（Liquid Crystal Display）ドライバ１６２は、ＬＣＤモニタ１６４を駆動するドライブ回路であり、ＬＣＤモニタ１６４に各種状態を表示するための信号に変換する。

フラッシュＲＯＭ１４４には、ＣＰＵ１３０が解読可能なコードで記述された制御プログラムや各種パラメータが格納される。電源スイッチ１６６の操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされ、ＣＰＵ１３０は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをＳＤＲＡＭ１３８と、図示しないローカルＳＲＡＭとに一時的に保存する。

図３は、本実施形態による撮像システム１０における、画像処理全体の流れを説明する図である。また、図３には、本実施形態において画像調整条件を制御するための主要な機能ブロックが示されている。まず、固体撮像素子２２Ａ，２２Ｂ各々によって、所定の露出条件パラメータのもと画像が撮像される。固体撮像素子２２Ａ，２２Ｂに対する露出条件パラメータは、露出条件計算部２１０により決定され、各固体撮像素子２２Ａ、２２Ｂに設定される。

続いて、固体撮像素子２２Ａ，２２Ｂ各々から出力された画像に対し、図２に示したＩＳＰ１０８により、処理１で示されるオプティカル・ブラック補正処理、欠陥画素補正処理、リニア補正処理、シェーディング処理および領域分割処理が行われ、メモリに保存される。

上記オプティカル・ブラック補正処理は、固体撮像素子２２におけるオプティカル・ブラック領域の出力信号を黒の基準レベルとして、有効画素領域の出力信号をクランプ補正する処理である。ＣＭＯＳなどの固体撮像素子は、半導体基板上に多数の感光素子を形成することにより製造されるところ、その製造に際して半導体基板に不純物が混入する等の理由により、局所的に画素値の取り込みが不能な欠陥画素が発生する場合がある。欠陥画素補正処理は、上述のような欠陥画素に隣接した複数の画素からの合成信号に基づいてその欠陥画素の画素値を補正する処理である。

リニア補正処理は、ＲＧＢ毎にリニア補正を施す処理である。また、センサ面上では、光学系や撮像系の特性、例えば光学系の周辺減光などにより、輝度ムラが生じる。シェーディング補正処理は、光学系や撮像系の特性による輝度ムラに対して一様な明るさの画像になるように、所定の補正係数を有効画素領域の出力信号に乗じることで、有効画素領域の陰影の歪みを補正する処理である。このシェーディング補正処理では、色ごとに異なる係数を印加することによって領域毎の感度補正を行うことができる。

好ましい実施形態では、リニア補正処理、シェーディング補正処理またはその他の独立した処理において、複数のセンサ間で、個体差を調整するためにＲＧＢ毎に感度補正を行ってもよい。このようなセンサ間の個体差の調整は、基準カメラを用いた所定光源（例えばＤ６５光源）下でのグレーチャートの撮影に基づいて行うことができる。基準カメラを用いて、所定光源（例えばＤ６５光源）下でグレーを撮影した際のＲＧＢのゲインを（Ｐ_Ｒ０，Ｐ_Ｇ０，Ｐ_Ｂ０）とし、添え字ｉ（ｉ∈｛１，２｝）で固体撮像素子２２Ａ，２２Ｂを識別すると、撮像素子ｉの調整ゲイン（Ｔ_Ｒｉ，Ｔ_Ｇｉ，Ｔ_Ｂｉ）は、下記式を用いて計算される。例えば、固体撮像素子２２Ａは添え字１、２２Ｂは添え字２とする。

撮影された画素値に上記調整ゲインを印加することにより、撮像素子間の感度差を調整した上で、複数の撮像画像を一つの画像として取り扱うことができるようになる。領域分割処理は、撮像画像を構成する画像領域を複数領域に分割し、分割領域毎に積算値（または積算平均値）を算出する処理を行う。

再び図３を参照すると、ＩＳＰ１０８によって処理１が完了すると、続いて、ＩＳＰ１０８により、さらに、処理２で示されるホワイトバランス処理、ガンマ補正処理、ベイヤー補間処理、ＹＵＶ変換処理、エッジ強調処理および色補正処理が行われ、メモリに保存される。

固体撮像素子２２上のカラーフィルタの色によって透過する光量が変化する。ホワイトバランス処理は、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各色の感度差を補正し、撮影画像の中の白色を白く見せるためゲインをかける処理である。また、被写体の色は、光源（例えば太陽光、蛍光灯など）によっても変わるが、ホワイトバランス処理では、光源が変わっても白色が白くみえるように適切なゲインを適用する。このホワイトバランス処理のパラメータは、上記領域分割平均処理により計算された分割領域毎のＲＧＢの積算値（または積算平均値）データに基づき、ホワイトバランス計算部２２０により計算される。ガンマ補正処理は、出力装置の特性を考慮して、出力が線形性を保つように入力信号に行う処理である。

また、ＣＭＯＳでは、固体撮像素子２２の１画素にＲ、ＧおよびＢのいずれか１色のカラーフィルタが貼付されている。ベイヤー補間処理は、不足する２色を周辺の画素から補間する補間処理である。ＹＵＶ変換処理は、ＲＧＢデータ形式のＲＡＷデータから輝度信号Ｙと色差信号ＵＶのＹＵＶデータ形式に変換する処理である。エッジ強調処理は、画像の輝度信号からエッジ部分を抽出し、エッジに対してゲインを掛け、エッジ抽出と並行して画像のノイズを除去する処理を行う。色補正処理は、彩度設定、色相設定、部分的な色相変更設定、色抑圧設定を行う。

所定条件のもと２つの固体撮像素子２２Ａ，２２Ｂ各々で、撮影された画像に対して上述した処理が完了すると、これらの処理が施された各撮像画像に対し、歪曲補正および合成処理が行われ、適宜タグ付けされて、全天球画像が内蔵メモリまたは外部ストレージにファイル保存される。上記歪曲補正および合成処理の過程では、３軸加速度センサ１２０からの情報を得て傾き天地補正が行われてもよい。また、保存される画像ファイルには、適宜圧縮処理が施されてもよい。その他、クロップ処理が行われて、画像の中心領域を切り抜くことでサムネイル画像が生成されてもよい。

図１に示すような全天球撮像システム１０を用いて全方位の撮影を行う場合、２つの撮像光学系により２つの撮像画像が生成される。このとき、撮影シーンに太陽などの高輝度体が含まれていると、図４（Ａ）および（Ｂ）に例示するように、一方の撮像光学系の撮像画像にフレアが生じ、画像上で評価される照明条件に違い生じる。また、フレアは、高輝度体を中心に面全体に広がる可能性がある。このような場合、合成画像では、図４（Ｃ）に示すように、継ぎ目部分に色味（図面では灰色の階調によって色味の違いを表している。）の違いが生じてしまい、全天球画像の画像品質が損なわれてしまう。また、複数の撮影画像のつなぎ目となる境界部分には、ホワイトバランス調整に適切な物体（グレーの物体）が存在しない場合も想定される。

また、全画角１８０度を超える魚眼レンズを用いた撮像光学系では、撮影範囲が重複する領域が存在するものの、大部分は重複する領域とならない。このため、上述のような撮影シーンでは、重複する領域のみを用いて全体のホワイトバランス調整を行う場合、適正ホワイトバランスを得ることが困難である。また個々の撮像光学系毎に適正ホワイトバランスを得ても、合成した画像間のつなぎ目で色味の不連続が生じる可能性がある。

そこで、本実施形態による撮像システム１０では、上述したような不充分なホワイトバランス調整を回避するべく、ホワイトバランス計算部２２０は、撮像範囲が重複する各分割領域のＲＧＢの積算値に基づき、画像の明るさを調整する明るさ調整値を計算する。そして、得られた明るさ調整値に基づいて、分割領域毎のホワイトバランス調整値を決定する構成を採用する。ホワイトバランス計算部２２０は、より詳細には、明るさ調整部２２２と、重複領域調整値算出部２２４と、分割領域調整値決定部２２６とを含み構成される。ホワイトバランス計算部２２０は、ＩＳＰ１０８およびＣＰＵ１３０などにより実現することができる。

図５は、撮像画像の領域分割方式を例示する図である。本実施形態において、結像光学系２０に入射した光は、等距離射影方式などの所定の投影モデルに従って、固体撮像素子２２の受光領域に結像される。撮像画像は、受光領域が面積エリアを成す２次元の固体撮像素子で撮像されたものであり、平面座標系で表現された画像データとなる。また本実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとする。したがって、得られる撮像画像は、図４（Ａ）および（Ｂ）に示すような各撮影範囲が投影されたイメージサークル全体を含む平面画像となる。

本実施形態では、各固体撮像素子で撮影された撮像画像の全領域を、図５（Ａ）に示すような極座標系（動径ｒおよび偏角θを用いた円座標系）での小領域に分割し、それぞれ分割領域とする。または、図５（Ｂ）に示すような直交座標系（ｘ座標およびｙ座標を用いた平面座標系）での小領域に分割し、それぞれ分割領域とする。イメージサークルの外は、露光されない外部領域であるので、好適には、積算および平均の対象から除外される。また、外部領域は、特定の実施形態では、オプティカル・ブラック領域として用いることができる。その場合、外部領域に対応する分割領域の積算値に基づいて、後述するホワイトバランス補正値の計算に用いる撮像素子毎のオプティカル・ブラック（以下、ＯＢと省略する。）値（ｏ_１，ｏ_２）を計算することができる。このオプティカル・ブラック値は、ＲＧＢまとめて固体撮像素子毎の値として取り扱ってもよいが、各色間で差異がある可能性があるため、他の実施形態では、各色間の差異を吸収するべく、ＲＧＢ毎の値として取り扱ってもよい。また、図５（Ａ）および（Ｂ）において、グレーで示す中領域は、１８０度を超える全画角に対応して撮像画像間で撮影範囲が重複する領域を表す。

上記ＩＳＰ１０８による領域分割処理では、図５（Ａ）または（Ｂ）に例示するような態様で、各々撮像画像を複数の小領域に分割して、それぞれの小領域毎に、ＲＧＢ各色毎の積算値（または積算平均値）が計算される。積算値は、分割された小領域内の各色毎の画素値を積算した値であり、積算平均値は、各色毎の画素値の積算値を各小領域の面積（小領域を構成する画素数（外部領域を除く。））で規格化した値である。領域分割処理により、ＲＡＷ画像データから、分割領域毎にＲＧＢ各色毎の領域評価値（積算値または積算平均値）が計算されると、領域分割積算データとして出力される。

明るさ調整部２２２は、ＩＳＰ１０８Ａ，１０８Ｂによる領域分割処理によって求められた領域分割積算データの入力を受ける。そして、明るさ調整部２２２は、各撮像光学系により撮影された撮像画像間で撮影範囲が重複する分割領域（以下、重複する分割領域各々を重複領域と参照する場合がある。）各々のＲＧＢ各色毎の積算値に基づき、明るさ調整値を算出する。ここで、明るさ調整値を算出するために用いられる分割領域毎の積算値は、上記重複領域に対応するものであり、かつ、積算値が、所定の基準を満たすものが選ばれる。

明るさ調整部２２２は、詳細を後述するが、まず、ＲＧＢ各色毎の積算値に基づき、重複する分割領域各々の輝度値を算出する。そして、重複領域全体における複数の撮像画像間での最も明るい輝度値の差異に基づき、上記明るさ調整値として撮像素子毎にゲイン値を算出する。さらに、明るさ調整部２２２は、重複領域全体における複数の撮像画像間での最も暗い輝度値の差異に基づき、明るさ調整値として撮像素子毎のオフセット補正値を算出する。

重複領域調整値算出部２２４は、算出された明るさ調整値（ゲイン値およびオフセット補正値）に基づき、上記重複領域各々のＲＧＢ各色毎の積算値に調整をかけて、上記重複領域各々に対し、ホワイトバランス調整値の候補を算出する。なお、重複領域毎のホワイトバランス調整値の算出方法については、詳細を後述する。

分割領域調整値決定部２２６は、上記重複領域各々に対し算出されたホワイトバランス調整値の候補を用いて、重複しない分割領域を含めて、分割領域毎のバランス調整値を、それぞれ周辺の分割領域で加重平均することによって、分割領域毎の平滑化されたバランス調整値を決定する。周辺の分割領域での加重平均に際し、分割領域調整値決定部２２６は、重複領域および重複しない分割領域（以下、非重複領域と参照する。）間のホワイトバランス調整値の差異に基づいて、該分割領域間に関する加重平均の重み付けを変更することができる。重複領域は、比較的狭い領域であることから、得られるホワイトバランス調整値の精度には限界がある。差異が大きな領域間の重み付けを小さくすることにより、極端に異なる重複領域の調整値の影響を抑えることができる。

以下、図６および図７を参照しながら、本実施形態による撮像システム１０が実行する、ホワイトバランス調整処理について説明する。図６は、本実施形態の撮像システムが実行する、ホワイトバランス計算のメインフローを示すフローチャートである。図７は、本実施形態の撮像システムが実行する、メインフロー内のエリアホワイトバランス計算処理を示すフローチャートである。

図６に示す処理は、ステップＳ１００から開始される。ステップＳ１０１では、撮像システム１０は、領域分割画素積算処理を実行し、２つの固体撮像素子２２Ａ，２２Ｂについて各分割領域毎およびＲＧＢ各色毎の積算平均値を計算する。ステップＳ１０２では、図７に示すエリアホワイトバランス計算処理が呼び出される。エリアホワイトバランス計算処理においては、ステップＳ１０１で算出された領域分割積算データと、撮影条件として与えられるオプティカル・ブラック補正処理における撮像素子毎のＯＢ値（ｏ_１，ｏ_２）とを用いて、分割領域毎のホワイトバランス補正値の計算が行われる。

図７に示す処理は、図６に示したステップＳ１０２で呼び出されたことに応答して、ステップＳ２００から開始される。ステップＳ２０１では、撮像システム１０は、明るさ調整部２２２により、領域分割積算データとして与えられた各撮像素子毎、ＲＧＢ各色毎および各分割領域毎の積算値を、下記式（１）および（２）を用いて加重平均して、各撮像素子毎および各分割領域毎の輝度値ｍ_ｉ（ｘ，ｙ）を得る。ここで、添え字ｉ（ｉ∈｛１，２｝）は、固体撮像素子２２Ａ，２２Ｂを識別する。また、ｗｂＲ_０，ｗｂＧ_０，ｗｂＢ_０は、事前定義したＲＧＢ各色毎の規定ホワイトバランス・ゲインである。そして、固体撮像素子ｉの分割領域（ｘ、ｙ）のＲＧＢ各色の積算値を、ａｖＲ_ｉ（ｘ，ｙ），ａｖＧ_ｉ（ｘ，ｙ），ａｖＢ_ｉ（ｘ，ｙ）で表す。

上記式（１）および（２）によれば、各固体撮像素子に関し、重複領域であり、かつ、積算値が所定の範囲内（所定下限値ｔｈＬより大きく、かつ、所定上限値ｔｈＵ未満）であるという条件を満たす分割領域（ｘ，ｙ）に対して加重平均が計算される。

規定ホワイトバランス・ゲインｗｂＲ_０，ｗｂＧ_０，ｗｂＢ_０は、例えば、予め撮像光学系の特性に応じて準備することができる。この場合、所定の光源（例えばＤ６５光源）下でのグレーチャートの撮影に基づいて規定ホワイトバランス・ゲインｗｂＲ_０，ｗｂＧ_０，ｗｂＢ_０を決定することができる。グレーチャートを撮像して得られる画素値をｓ_ｋ（ｋ∈｛Ｒ，Ｇ，Ｂ｝）とすると、ホワイトバランス・ゲインｗｂ_ｋ（ｋ∈｛Ｒ，Ｇ，Ｂ｝）は、下記式により計算することができる。そして、得られたホワイトバランス・ゲインｗｂ_ｋ（ｋ∈｛Ｒ，Ｇ，Ｂ｝）を規定ホワイトバランス・ゲインｗｂＲ_０，ｗｂＧ_０，ｗｂＢ_０として用いることができる。

他の実施形態では、規定ホワイトバランス・ゲインｗｂＲ_０，ｗｂＧ_０，ｗｂＢ_０は、既知のオート・ホワイトバランス処理により決定してもよい。既知のオート・ホワイトバランス処理としては、グレイワールド・アルゴリズム、Ｒｅｔｉｎｅｘ理論に基づくアルゴリズム（Ｍａｘ−ＲＧＢ）、および光源推定に基づくアルゴリズムを挙げることができる。

グレイワールド・アルゴリズムは、画像の所定領域（画像全体）の色の平均が無彩色であるという仮定に基づくアルゴリズムであり、所定領域において、Ｒ，Ｇ，Ｂの各色の信号の平均レベルが等しくなるようなホワイトバランスのゲインを決定する方法である。グレイワールド・アルゴリズムでは、ホワイトバランス・ゲインｗｂ_ｋ（ｋ∈｛Ｒ，Ｇ，Ｂ｝）は、下記式により、画素値ｓ_ｋ（ｘ，ｙ）（ｋ∈｛Ｒ，Ｇ，Ｂ｝）の画像全体（Ｍ＊Ｎ［ｐｉｘ］）での平均値ａｖｅ_ｋ（ｋ∈｛Ｒ，Ｇ，Ｂ｝）に基づき計算することができる。ここで、魚眼レンズでの撮像の場合、画像全体とは、光のあたるイメージサークル内の領域全体を意味する。

上記グレイワールド・アルゴリズムは、主として青色のゲインｗｂ_Ｂに関する最小値ｗｂ_ＢＬｉｍを用いて、日常的な大部分のシーンで適切なホワイトバランス・ゲインを得ることができるアルゴリズムである。全天球撮像システム１０では、画像全体（４πステアラジアン）が一定の色に染まるシーンが殆どないと想定されることから、下記の青色の制限を追加するだけで、大部分のシーンでグレイワールドが成り立つと考えられる。

Ｒｅｔｉｎｅｘ理論に基づくアルゴリズムは、人間に知覚される白色は、最大の錐体信号で決定されるとの理論に基づくものである。固体撮像素子を用いて飽和しないように撮影し、Ｒ、ＧおよびＢのいずれかが最大となる位置の画素値（ｓ_Ｒ，ｓ_Ｇ、ｓ_Ｂ）を用いて下記式によりホワイトバランス・ゲインを計算することができる。

光源推定に基づくアルゴリズムは、既知の光源情報を元に、被写体の中で無彩色と推定される領域を抽出し、そこから光源情報を取得するアルゴリズムである。例えば、Ｃｒ−Ｃｂ平面上での画素値の分布を観測し、最も重心が近い既知の光源を採用することができる。

また、一般的な照明の分光は、黒体放射軌跡の付近に分布することから、色空間上での黒体放射軌跡を囲む領域（光源枠）を設け、その領域内に入るデータから光源を推定することができる。図８は、黒体放射軌跡を示すｘｙ色度図である。図８には、□でｓＲＧＢ（Standard RGB）の領域が参考に示されているが、カメラの分光特性が▲で示す三角形の領域で示されている。黒体放射軌跡は、中心が太線で示されており、上限値および下限値が、一点鎖線および波線で示されている。

光源推定の結果からホワイトバランス・ゲインが決定されるが、推定された光源毎のホワイトバランス・ゲインの固定値を決定してもよいし、光源枠内のデータの分布から中間値を補間してもよい。簡便には、一点鎖線および波線の内側の領域（光源枠内）で画素値を平均することができる。

上述したいずれかの既知のアルゴリズムのオート・ホワイトバランス処理で求めたｗｂ_ｋ（ｋ∈｛Ｒ，Ｇ，Ｂ｝）を、規定ホワイトバランス・ゲインｗｂＲ_０，ｗｂＧ_０，ｗｂＢ_０として採用することができる。なお、上記式（１）および（２）では、固体撮像素子２２Ａおよび固体撮像素子２２Ｂで共通の規定ホワイトバランス・ゲインを用いるものとして示されているが、各固体撮像素子毎に規定ホワイトバランス・ゲインを決定してもよい。

ステップＳ２０２では、撮像システム１０は、明るさ調整部２２２により、撮像条件として与えられたＯＢ値（ｏ_１，ｏ_２）と、各固体撮像素子（ｉ∈｛１，２｝）毎および各重複領域毎の輝度値ｍ_１（ｘ，ｙ）およびｍ_２（ｘ，ｙ）から、各固体撮像素子毎のＯＢ補正値（ｏ_１’，ｏ_２’）を算出する。ＯＢ補正値（ｏ_１’，ｏ_２’）は、自動露出制御において複数の撮像光学系間で明るさを調整しきれない場合に好適に用いられる。ＯＢ補正値（ｏ_１’，ｏ_２’）は、下記式（３）により算出される。下記式中、関数ｍｉｎは、与えられた集合のうちの最小値を求める関数である。下記式中、関数ｍａｘは、与えられた集合のうちの最大値を求める関数である。

上記式（３）は、重複する分割領域における撮像画像間での最も暗い輝度値の差異に基づき、重複領域全体における最低輝度値が低い方の固体撮像素子のＯＢ値を、最低輝度値が高い方にあわせて増加させるようにはたらく。例えば、固体撮像素子２２Ａの最低輝度値の方が固体撮像素子２２Ｂのものよりも大きい場合（ｍｉｎ（ｍ_１（ｘ，ｙ））＞ｍｉｎ（ｍ_２（ｘ，ｙ）））は、固体撮像素子２２ＢのＯＢ補正値ｏ_２’が、その差分だけ増加される。このとき、固体撮像素子２２ＡのＯＢ補正値ｏ_１’は変化しない。

ステップＳ２０３では、撮像システム１０は、明るさ調整部２２２により、各固体撮像素子毎および各重複領域毎の輝度値ｍ_１（ｘ，ｙ）およびｍ_２（ｘ，ｙ）から、各固体撮像素子毎のゲイン値（ｇ_１，ｇ_２）をさらに算出する。ゲイン値（ｇ_１，ｇ_２）は、下記式（４）により算出される。

上記式（４）は、重複する分割領域における撮像画像間での最も明るい輝度値の差異に基づき、重複領域全体における最高輝度値（ｍｉｎ（ｍ_ｉ（ｘ，ｙ））で控除した値である。）が低い方の固体撮像素子のゲイン値を、最高輝度値が高い方よりも大きくするようにはたらく。例えば、固体撮像素子２２Ａの最高輝度値の方が固体撮像素子２２Ｂのものよりも大きい場合（ｍａｘ（ｍｔ_１（ｘ，ｙ））＞ｍａｘ（ｍｔ_２（ｘ，ｙ）））は、固体撮像素子２２Ｂのゲイン値ｇ_２は、その比だけ大きくなる。このとき、固体撮像素子２２Ａのゲイン値ｇ_１は１となる。

ステップＳ２０４では、撮像システム１０は、重複領域調整値算出部２２４により、上記明るさ調整値に基づき、各固体撮像素子毎および各重複領域毎の輝度値ｍ_ｉ（ｘ，ｙ）を調整する。調整された輝度値ｍ_ｉ’（ｘ，ｙ）は、下記式（５）により算出される。

ステップＳ２０５では、撮像システム１０は、重複領域調整値算出部２２４により、上記調整された輝度値ｍ_ｉ’（ｘ，ｙ）から、重複領域毎のホワイトバランス調整値の候補を計算する。各固体撮像素子毎および各重複領域毎のホワイトバランス調整値の候補（ｗｂｒ_ｉ（ｘ，ｙ），ｗｂｇ_ｉ（ｘ，ｙ），ｗｂｂ_ｉ（ｘ，ｙ））は、下記式（６）により算出される。

ステップＳ２０６では、撮像システム１０は、分割領域調整値決定部２２６により、上記算出された各重複領域毎のホワイトバランス調整値の候補（ｗｂｒ_ｉ（ｘ，ｙ），ｗｂｇ_ｉ（ｘ，ｙ），ｗｂｂ_ｉ（ｘ，ｙ））を用いて、重複しない分割領域を含めて、各分割領域毎に、周辺領域での加重平均をし、各領域毎のホワイトバランス調整値（ｗｂＲ_ｉ（ｘ，ｙ），ｗｂＧ_ｉ（ｘ，ｙ），ｗｂＢ_ｉ（ｘ，ｙ））を決定する。各分割領域毎のホワイトバランス調整値は、赤色ゲインｗｂＲ_ｉ（ｘ，ｙ）を代表して説明すると、下記式（７）により算出される。

上記式中、ｕおよびｖは、それぞれ、分割領域（ｘ，ｙ）を中心とした周辺の分割領域を識別する。加重平均するｕおよびｖの範囲は、適宜定めることができる。また、重複領域以外の分割領域毎のホワイトバランス調整値（ｗｂｒ_ｉ（ｘ，ｙ），ｗｂｇ_ｉ（ｘ，ｙ），ｗｂｂ_ｉ（ｘ，ｙ）；ｉ∈｛１，２｝）は、簡便には、上述した既知のオート・ホワイトバランス処理で求められた規定ホワイトバランスを用いることができる。

なお、重複領域以外の分割領域毎のホワイトバランス調整値（ｗｂｒ_ｉ（ｘ，ｙ），ｗｂｇ_ｉ（ｘ，ｙ），ｗｂｂ_ｉ（ｘ，ｙ）；ｉ∈｛１，２｝）の決定方法は、特に限定されるものではない。例示的な実施形態では、重複領域以外の広い領域で、例えば上述したグレイワールド・アルゴリズムで固体撮像素子毎に１つの補正点のホワイトバランス調整値のセットを決定し、上述した分割領域（ｘ，ｙ）のメッシュに適合する形に補間して分割領域（ｘ，ｙ）毎のホワイトバランス調整値を算出することができる。また、上記グレイワールド・アルゴリズムに代えて、上述したＲｅｔｉｎｅｘ理論に基づくアルゴリズムや、光源推定に基づくアルゴリズムを適用して算出してもよい。また、固体撮像素子毎に複数の補正点を設定してもよいし、上述した固体撮像素子間で感度調整が行われる好ましい実施形態では、複数の固体撮像素子の領域をまとめて１つの画像として取り扱って、１つまたは複数の目標点を設定してもよい。

上記式（７）では、ガウス関数により、周辺の分割領域での加重平均に際し、重複領域および非重複領域間のホワイトバランス調整値の差が大きい場合に、重み値ｒが小さくなるよう構成されている。重複領域は、比較的狭い領域であることから、得られるホワイトバランス調整値の精度には限界がある。このように、非重複領域のゲインと極端に異なる重複領域のゲインは、精度が比較的低い蓋然性があることから、加重平均の重みを小さくすることにより、好適に異常な値が調整値に与える影響を抑えることができる。

分割領域毎のホワイトバランス調整値が決定されると、ステップＳ２０７で、図６に示す処理に制御を戻し、ステップＳ１０３に処理を進める。図６に示すステップＳ１０３では、決定された各分割領域毎のホワイトバランス調整値をＩＳＰ１０８のレジスタに設定更新することによって、各分割領域毎にホワイトバランス補正を適用し、ステップＳ１０４で、本処理を終了させる。

以上説明した実施形態によれば、複数の撮像画像を合成した際に、つなぎ目で生じ得る色味の不連続性を軽減することが可能な画像調整装置、画像調整方法およびプログラムを提供することができる。

全天球撮像システム１０を用いて全方位の撮影を行う場合、一方の撮影シーンに高輝度体が含まれていると、図４（Ａ）および（Ｂ）に例示するように、一方の撮像光学系の撮像画像にフレアが生じ、像上で評価される照明条件に違い生じる可能性があった。これに対して、上述した実施形態によれば、撮像範囲が重複する各重複領域のＲＧＢの積算値に基づき、画像の明るさを調整する明るさ調整値を計算し、そして、得られた明るさ調整値に基づいて、分割領域毎のホワイトバランス調整値が決定される。これにより、複数の撮像光学系による複数の撮像画像を合成した際につなぎ目で見られる色味の不連続性が軽減され、品質の高い合成画像を提供することができる。

さらに、各固体撮像素子毎の調整ゲインを計算する好適な実施形態では、基準カメラを基準として調整ゲイン（Ｔ_Ｒｉ，Ｔ_Ｇｉ，Ｔ_Ｂｉ）が画素値に印加される。このため、撮像素子間の感度差が調整され、複数の撮像画像間のつなぎ目で見られる色味の不連続性をより好適に軽減することができる。

なお、上述した実施形態では、１８０度より大きな画角を有する結像光学系を介して２つの固体撮像素子で撮像された２つの撮像画像を重ね合わせて合成するものとしたが、他の実施形態では、複数の結像光学系を介して３つ以上の固体撮像素子により撮像された３以上の撮像画像の重ね合わせ合成に適用してもよい。また、上述した実施形態では、魚眼レンズを用いた撮像システムを一例に説明してきたが、複数のレンズと複数の固体撮像素子を用いた全天球撮像システムに適用してもよい。

また、上述した実施形態では、画像調整装置の一例として、全天球の静止画を撮影する撮像システム１０を用いて説明したが、画像調整装置は、特に限定されるものではない。他の実施形態では、全天球を動画撮影する全天球動画撮像システム（撮像装置）、全天球を撮影する機能を備えたスマートフォン、タブレットなどの携帯情報端末、撮像システムにおいて撮像体を制御するデジタル・スチルカメラ・プロセッサ（制御装置）などとして構成することもできる。

また、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（VHSIC（Very High Speed Integrated Circuits） Hardware Description Language））、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０…撮像システム、１２…撮像体、１４…筐体、１８…シャッター・ボタン、２０…結像光学系、２２…固体撮像素子、１００…プロセッサ、１０２…鏡胴ユニット、１０８…ＩＳＰ、１１０…ＤＭＡＣ、１１２…アービタ（ＡＲＢＭＥＭＣ）、１１４…ＭＥＭＣ、１１６…ＳＤＲＡＭ、１１８…歪曲補正・画像合成ブロック、１２０…３軸加速度センサ、１２２…ＤＭＡＣ、１２４…画像処理ブロック、１２６…画像データ転送部、１２８…ＳＤＲＡＭＣ、１３０…ＣＰＵ、１３２…リサイズブロック、１３４…ＪＰＥＧブロック、１３６…Ｈ．２６４ブロック、１３８…ＳＤＲＡＭ、１４０…メモリカード制御ブロック、１４２…メモリカードスロット、１４４…フラッシュＲＯＭ、１４６…ＵＳＢブロック、１４８…ＵＳＢコネクタ、１５０…ペリフェラル・ブロック、１５２…音声ユニット、１５４…スピーカ、１５６…マイク、１５８…シリアルブロック、１５８…シリアルブロック、１６０…無線ＮＩＣ、１６２…ＬＣＤドライバ、１６２…ＬＣＤドライバ、１６４…ＬＣＤモニタ、１６６…電源スイッチ、１６８…ブリッジ、２１０…露出条件計算部、２２０…ホワイトバランス計算部、２２２…明るさ調整部、２２４…重複領域調整値算出部、２２６…分割領域調整値決定部

特開２００９−１７４５７号公報

Claims (10)

1. 撮像光学系によって撮像された撮像画像に対する画像調整条件を与える画像調整装置であって、
   複数の撮像画像各々を構成する分割領域各々に対し、色毎の領域評価値を計算する領域評価手段と、
   前記撮像画像間で撮影範囲が重複する分割領域にわたる前記色毎の領域評価値に基づき、明るさ調整値を算出する明るさ調整手段と、
   前記明るさ調整値に基づき、前記重複する分割領域各々に対し、前記色毎の領域評価値から、バランス調整値を算出する重複領域調整値算出手段と
   を含む、画像調整装置。
2. 前記分割領域毎のバランス調整値を、周辺の分割領域で加重平均し、前記分割領域毎の平滑化されたバランス調整値を決定する分割領域調整値決定手段をさらに含む、請求項１に記載の画像調整装置。
3. 前記明るさ調整手段は、
   前記色毎の領域評価値に基づき、前記重複する分割領域各々の領域輝度値を算出する手段と、
   前記重複する分割領域における前記複数の撮像画像間での最も明るい領域輝度値の差異に基づき、前記明るさ調整値として前記撮像画像毎のゲイン値を算出する手段と
   を含む、請求項１または２に記載の画像調整装置。
4. 前記重複領域調整値算出手段は、前記明るさ調整値に基づき、前記色毎の領域評価値に対し調整をかけて、バランス調整値を算出する手段を含む、請求項１〜３のいずれか１項に記載の画像調整装置。
5. 前記明るさ調整手段は、前記重複する分割領域における前記複数の撮像画像間での最も暗い領域輝度値の差異に基づき、前記明るさ調整値として前記撮像画像毎の補正されたオフセット値を算出する手段をさらに含む、請求項１〜４のいずれか１項に記載の画像調整装置。
6. 前記分割領域調整値決定手段は、重複する分割領域および重複しない分割領域間のバランス調整値の差異に基づいて、該分割領域間に関連する加重平均の重み付けを決定する手段を含む、請求項２に記載の画像調整装置。
7. 前記複数の撮像画像は、それぞれ、異なる撮像光学系によって撮像された画像であり、前記バランス調整値は、前記撮像光学系が出力する撮像画像に対し施す、撮像光学系毎、かつ、分割領域毎のホワイトバランス調整値である、請求項１〜６のいずれか１項に記載の画像調整装置。
8. 前記領域評価手段の前段に設けられ、前記撮像光学系を構成する固体撮像素子間の感度の個体差を吸収する調整ゲインを複数の撮像画像それぞれに適用する手段をさらに備える、請求項１〜７のいずれか１項に記載の画像調整装置。
9. 撮像光学系によって撮像された撮像画像に対する画像調整条件を与えるための画像調整方法であって、コンピュータが、
   複数の撮像画像各々を構成する分割領域各々に対し、色毎の領域評価値を計算するステップと、
   前記撮像画像間で撮影範囲が重複する分割領域にわたる前記色毎の領域評価値に基づき、明るさ調整値を算出するステップと、
   前記明るさ調整値に基づき、前記重複する分割領域各々に対し、前記色毎の領域評価値から、バランス調整値を算出するステップと
   を実行する、画像調整方法。
10. 撮像光学系によって撮像された撮像画像に対する画像調整条件を与える画像調整装置を実現するためのプログラムであって、コンピュータを、
    複数の撮像画像各々を構成する分割領域各々に対し、色毎の領域評価値を計算する領域評価手段、
    前記撮像画像間で撮影範囲が重複する分割領域にわたる前記色毎の領域評価値に基づき、明るさ調整値を算出する明るさ調整手段、および
    前記明るさ調整値に基づき、前記重複する分割領域各々に対し、前記色毎の領域評価値から、バランス調整値を算出する重複領域調整値算出手段
    として機能させるためのプログラム。