JP2014057156A - 撮像制御装置、撮像制御方法およびプログラム - Google Patents

Abstract

【課題】 複数の撮像光学系に対する適切な撮像条件を与えることができる撮像制御装置、撮像制御方法およびプログラムを提供すること。
【解決手段】 本撮像制御装置１０は、複数の撮像光学系（２０Ａ，２２Ａ，２０Ｂ，２２Ｂ）により撮像された複数の撮像画像を構成する分割領域各々に対し、撮影状態を評価する領域別指標値を計算する領域別指標値計算手段２１２と、領域別指標値計算手段２１２により算出された分割領域各々の領域別指標値に基づき、撮像画像間の重複領域を含め複数の撮像画像を評価し、全体評価値を計算する全体評価値計算手段２１４と、全体評価値計算手段により計算された全体評価値に基づいて、複数の撮像光学系に対する撮像条件を決定する条件決定手段２１６とを含む。
【選択図】 図３

Description

本発明は、撮像制御装置、撮像制御方法およびプログラムに関し、より詳細には、複数の撮像光学系に対する適切な撮像条件を与えることができる撮像制御装置、該撮像制御装置が実行する撮像制御方法、および該撮像制御装置を実現するためのプログラムに関する。

魚眼レンズや超広角レンズなどの広角なレンズを複数使用して全方位（以下、全天球という。）を一度に撮像する全天球撮像システムが知られている。上記全天球撮像システムでは、各々のレンズからの像をセンサ面に投影し、得られる各画像を画像処理により結合することで、全天球画像を生成する。例えば、１８０度を超える画角を有する２つの広角なレンズを用いて、全天球画像を生成することができる。上記画像処理では、各レンズ光学系により撮影された部分画像に対して、歪み補正および射影変換を施し、部分画像に含まれる重複領域を用いて部分画像をつなぎ合わせ、１枚の全天球画像とする処理が行われる。

従来、撮像した画像から適正露出を得るデジタルカメラにおける露出補正技術が知られている。例えば、特開２００７−３２９５５５号公報（特許文献１）は、撮像領域の一部が互いに重複するように配置された複数の撮像装置で撮像された撮像画像の各々から重複領域を抽出する。そして、該抽出した重複領域の各画像に基づいて、複数の撮像装置の露出およびホワイトバランスの少なくとも一方を調整し、撮像画像の明るさや色味などの差異を小さくして合成などの後処理の負担を軽減する技術を開示する。

しかしながら、上記撮像した画像から適正露出を得る従来の露出補正技術では、全天球撮像システムでは、それぞれの撮像光学系における光学条件、撮影環境などが異なるため、適正露出を得ることが困難であった。特許文献１の従来技術では、重複領域のみを考慮しているため、全体の画像に対して重複領域が小さくなると、露光条件にアンバランスが生じた場合に適切な露出補正値を得られなかった。特に全天球撮像システムにおいては、全方位が撮像範囲となるため、一方のセンサに太陽などの高輝度被写体が写り込むことがしばしば発生し、フレアを生じさせ、画像のオフセット値が上昇してしまう場合がある。また、それぞれのセンサ毎に適正露出を得ることもできるが、継ぎ目部分に明るさの違いが生じてしまい、全天球画像の画像品質を損なってしまう可能性があった。

本発明は、上記従来技術の問題点に鑑みてなされたものであり、本発明は、複数の撮像光学系による複数の撮像画像を合成した際につなぎ目で生じ得る不連続性が軽減されるような、複数の撮像光学系各々に対する撮像条件を与えることができる、撮像制御装置、撮像制御方法およびプログラムを提供することを目的とする。

本発明では、上記課題を解決するために、下記特徴を有する撮像制御装置を提供する。本撮像制御装置は、複数の撮像光学系により撮像された複数の撮像画像を構成する分割領域各々に対し、撮影状態を評価する領域別指標値を計算する領域別指標値計算手段と、上記領域別指標値計算手段により算出された分割領域各々の領域別指標値に基づき、画像間の重複領域を含め複数の撮像画像を評価し、全体評価値を計算する全体評価値計算手段と、上記全体評価値計算手段により計算された全体評価値に基づいて、複数の撮像光学系に対する撮像条件を決定する条件決定手段とを含む。

上記構成により、複数の撮像光学系による複数の撮像画像を合成した際につなぎ目で見られる不連続性が軽減されるような、複数の撮像光学系の撮像条件を与えることができる。

本実施形態による全天球撮像システムを示す断面図。 本実施形態による全天球撮像システムのハードウェア構成図。 本実施形態による全天球撮像システムにおける画像処理全体の流れを説明する図。 （Ａ，Ｂ）魚眼レンズで撮影された撮像画像０および撮像画像１、並びに（Ｃ）撮像画像０および撮像画像１を合成して得られる合成画像を例示する図。 本実施形態における領域分割方式を説明する図。 本実施形態による全天球撮像システムが実行する露出制御を示すフローチャート。 本実施形態による全天球撮像システムが実行する露出計算処理を示すフローチャート。

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、撮像制御装置の一例として、２つの魚眼レンズを光学系に含む撮像体を備えるとともに、２つの魚眼レンズで撮像された撮像画像に基づいて撮像条件を決定する機能を備えた、全天球撮像システム１０を用いて説明する。つまり、他の実施形態において、全天球撮像システム１０は、３つ以上の魚眼レンズを光学系に含む撮像体を備えるとともに、３つ以上の魚眼レンズで撮像された撮像画像に基づいて撮像条件を決定する機能を備えていても良い。なお、本実施形態では、魚眼レンズは、広角レンズや、超広角レンズと呼ばれるものを含む。

以下、図１および図２を参照しながら、本実施形態による全天球撮像システムの全体構成について説明する。図１は、本実施形態による全天球撮像システム（以下、単に、撮像システムと参照する。）１０を示す断面図である。図１に示す撮像システム１０は、撮像体１２と、上記撮像体１２および図示しないコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられたシャッター・ボタン１８とを備える。

図１に示す撮像体１２は、２つの結像光学系２０Ａ，２０Ｂと、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの固体撮像素子２２Ａ，２２Ｂとを含む。本実施形態において、結像光学系２０と固体撮像素子２２とを１個ずつ組み合わせたものを撮像光学系と参照する。結像光学系２０は、それぞれ、例えば６群７枚で魚眼レンズとして構成することができる。上記魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、その光軸が、対応する固体撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように、固体撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。固体撮像素子２２は、それぞれ、受光領域が面積エリアを成す２次元の撮像素子であり、組み合わせられる結像光学系２０により集光された光を画像信号に変換する。

図１に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するように、互いに逆向きに組み合わせられる。固体撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換して、コントローラ上の画像処理手段に出力する。画像処理手段では、固体撮像素子２２Ａ，２２Ｂからそれぞれ入力される撮像画像をつなぎ合わせて合成し、立体角４πラジアンの画像（以下「全天球画像」と参照する。）を生成する。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。ここで、図１に示す実施形態では、全天球画像を生成しているが、他の実施形態では、水平面のみ３６０度を撮影した、いわゆるパノラマ画像であっても良い。

上述したように、魚眼レンズが１８０度を超える全画角を有するため、全天球画像を構成する際には、各撮像光学系で撮像した撮影画像において、重複する画像部分が、同一像を表す基準データとして画像つなぎ合わせの参考とされる。生成された全天球画像は、例えば、撮像体１２に備えられているか。または撮像体１２に接続されているディスプレイ装置、印刷装置、ＳＤ（登録商標）カードやコンパクトフラッシュ（登録商標）などの外部記憶媒体などに出力される。

図２は、本実施形態による撮像システム１０のハードウェア構成を示す。撮像システム１０は、デジタル・スチルカメラ・プロセッサ（以下、単にプロセッサと参照する。）１００と、鏡胴ユニット１０２と、プロセッサ１００に接続される種々のコンポーネントから構成される。鏡胴ユニット１０２は、上述した２組のレンズ光学系２０Ａ，２０Ｂと、固体撮像素子２２Ａ，２２Ｂとを有する。固体撮像素子２２は、プロセッサ１００内の後述するＣＰＵ１３０からの制御指令により制御される。

プロセッサ１００は、ＩＳＰ（Image Signal Processor）１０８と、ＤＭＡＣ（Direct Memory Access Controller）１１０と、メモリアクセスの調停のためのアービタ（ＡＲＢＭＥＭＣ）１１２と、メモリアクセスを制御するＭＥＭＣ（Memory Controller）１１４と、歪曲補正・画像合成ブロック１１８とを含む。ＩＳＰ１０８Ａ，１０８Ｂは、それぞれ、固体撮像素子２２Ａ，２２Ｂの信号処理を経て入力された画像に対し、自動露出（ＡＥ：Automatic Exposure）制御、ホワイトバランス設定やガンマ設定を行う。

ＭＥＭＣ１１４には、ＳＤＲＡＭ１１６が接続される。そして、ＳＤＲＡＭ１１６には、ＩＳＰ１０８Ａ，１８０Ｂおよび歪曲補正・画像合成ブロック１１８において処理を施す際に、データが一時的に保存される。歪曲補正・画像合成ブロック１１８は、２つの撮像光学系から得られた２つの撮影画像に対し、３軸加速度センサ１２０からの情報を利用し、歪曲補正とともに天地補正を施し、画像合成する。

プロセッサ１００は、さらに、ＤＭＡＣ１２２と、画像処理ブロック１２４と、ＣＰＵ１３０と、画像データ転送部１２６と、ＳＤＲＡＭＣ１２８と、メモリカード制御ブロック１４０と、ＵＳＢブロック１４６と、ペリフェラル・ブロック１５０と、音声ユニット１５２と、シリアルブロック１５８と、ＬＣＤドライバ１６２と、ブリッジ１６８とを含む。

ＣＰＵ１３０は、当該撮像システム１０の各部の動作を制御する。画像処理ブロック１２４は、画像データに対し各種画像処理を施す。リサイズブロック１３２は、画像データのサイズを補間処理により拡大または縮小するためのブロックである。ＪＰＥＧブロック１３４は、ＪＰＥＧ圧縮および伸張を行うコーデック・ブロックである。Ｈ．２６４ブロック１３６は、Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。画像データ転送部１２６は、画像処理ブロック１２４で画像処理された画像を転送する。ＳＤＲＡＭＣ１２８は、プロセッサ１００に接続されるＳＤＲＡＭ１３８を制御し、ＳＤＲＡＭ１３８には、プロセッサ１００内で画像データに各種処理を施す際に、画像データを一時的に保存する。

メモリカード制御ブロック１４０は、メモリカードスロット１４２に挿入されたメモリカードおよびフラッシュＲＯＭ１４４に対する読み書きを制御する。メモリカードスロット１４２は、撮像システム１０にメモリカードを着脱可能に装着するためのスロットである。ＵＳＢブロック１４６は、ＵＳＢコネクタ１４８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。ペリフェラル・ブロック１５０には、電源スイッチ１６６が接続される。

音声ユニット１５２は、ユーザが音声信号を入力するマイク１５６と、記録された音声信号を出力するスピーカ１５４とに接続され、音声入出力を制御する。シリアルブロック１５８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１６０が接続される。ＬＣＤ（Liquid Crystal Display）ドライバ１６２は、ＬＣＤモニタ１６４を駆動するドライブ回路であり、ＬＣＤモニタ１６４に各種状態を表示するための信号に変換する。

フラッシュＲＯＭ１４４には、ＣＰＵ１３０が解読可能なコードで記述された制御プログラムや各種パラメータが格納される。電源スイッチ１６６の操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされ、ＣＰＵ１３０は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをＳＤＲＡＭ１３８と、図示しないローカルＳＲＡＭとに一時的に保存する。

図３は、本実施形態による撮像システム１０における画像処理全体の流れを説明する図である。また、図３には、本実施形態において撮像条件を制御するための主要な機能ブロックが示されている。まず、固体撮像素子２２Ａ，２２Ｂ各々によって、所定の露出条件パラメータのもと画像が撮像される。続いて、固体撮像素子２２Ａ，２２Ｂ各々から出力された画像に対し、図２に示したＩＳＰ１０８により、処理１で示されるオプティカル・ブラック補正処理、欠陥画素補正処理、リニア補正処理、シェーディング処理および領域分割処理が行われ、メモリに保存される。

上記オプティカル・ブラック補正処理は、固体撮像素子２２におけるオプティカル・ブラック領域の出力信号を黒の基準レベルとして、有効画素領域の出力信号をクランプ補正する処理である。ＣＭＯＳなどの固体撮像素子は、半導体基板上に多数の感光素子を形成することにより製造されるところ、その製造に際して半導体基板に不純物が混入する等の理由により、局所的に画素値の取り込みが不能な欠陥画素が発生する場合がある。欠陥画素補正処理は、上述のような欠陥画素に隣接した複数の画素からの合成信号に基づいてその欠陥画素の画素値を補正する処理である。

リニア補正処理は、ＲＧＢ毎にリニア補正を施す処理である。シェーディング補正処理は、所定の補正係数を有効画素領域の出力信号に乗じることで、有効画素領域の陰影の歪みを補正する処理である。領域分割処理は、撮像画像を構成する画像領域を複数領域に分割し、分割領域毎に輝度値の積算値（または積算平均値）を算出する処理を行う。

再び図３を参照すると、ＩＳＰ１０８によって処理１が完了すると、続いて、ＩＳＰ１０８により、さらに、処理２で示されるホワイトバランス処理、ガンマ補正処理、ベイヤー補間処理、ＹＵＶ変換処理、エッジ強調処理および色補正処理が行われ、メモリに保存される。固体撮像素子２２上のカラーフィルタの色によって透過する光量が変化するところ、ホワイトバランス処理は、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各色の感度差を補正し、撮影画像の中の白色を白く見せるためゲインを設定する処理である。上記領域分割平均処理により計算された分割領域毎のＲＧＢの積算値（または積算平均値）データに基づき、ホワイトバランス計算部２２０により、ホワイトバランス処理のパラメータが計算される。ガンマ補正処理は、出力装置の特性を考慮して、出力が線形性を保つように入力信号に行う処理である。

また、ＣＭＯＳでは、固体撮像素子２２の１画素にＲ、ＧおよびＢのいずれか１色のカラーフィルタが貼付されているところ、ベイヤー補間処理は、不足する２色を周辺の画素から補間する補間処理である。ＹＵＶ変換処理は、ＲＧＢデータ形式のＲＡＷデータから輝度信号Ｙと色差信号ＵＶのＹＵＶデータ形式に変換する処理である。エッジ強調処理は、画像の輝度信号からエッジ部分を抽出し、エッジに対してゲインを掛け、エッジ抽出と並行して画像のノイズを除去する処理を行う。色補正処理は、彩度設定、色相設定、部分的な色相変更設定、色抑圧設定を行う。

所定の露出条件パラメータのもと２つの固体撮像素子２２Ａ，２２Ｂ各々で、撮影された画像に対して上述した処理が完了すると、これらの処理が施された各撮像画像に対し、歪曲補正および合成処理が行われ、適宜タグ付けされて、全天球画像が内蔵メモリまたは外部ストレージにファイル保存される。上記歪曲補正および合成処理の過程では、３軸加速度センサ１２０からの情報を得て傾き天地補正が行われてもよい。また、保存される画像ファイルには、適宜圧縮処理が施されてもよい。その他、クロップ処理が行われて、画像の中心領域を切り抜くことでサムネイル画像が生成されてもよい。

上述した画像処理全体の流れにおいて、固体撮像素子２２Ａ，２２Ｂに対する露出条件パラメータは、露出条件制御部２１０により決定され、露出条件レジスタ部２００に設定される。本実施形態による撮像システム１０では、被写体輝度測定用の測光手段を別途設けることなく、固体撮像素子２２の出力を利用して露出制御を行う。撮像システム１０では、備え付けの液晶モニタやＥＶＦ（Electronic View Finder）に撮像画像を表示するため、常時、固体撮像素子２２からの画像信号が読み出されている。露出条件制御部２１０は、読み出された画像信号に基づき測光し、レベルが適正かどうかを判断し、その結果に応じて、絞り値（Ｆ値）、露光時間（シャッタ・スピード）、アンプゲイン（ＩＳＯ感度）などの露出条件パラメータを修正し、これを繰り返して適正露出を導き出す。

図１に示すような全天球撮像システム１０を用いて全方位の撮影を行う場合、２つの撮像光学系により２つの撮像画像が生成される。このとき、撮影シーンに太陽などの高輝度体が含まれていると、図４（Ａ）および（Ｂ）に例示するように、一方の撮像光学系の撮像画像にフレアが生じ、フレアが高輝度体を中心に面全体に広がる可能性がある。このような場合、合成画像では、図４（Ｃ）に示すように、一方のオフセットの上昇に起因し、継ぎ目部分に明るさの違いが生じてしまい、全天球画像の画像品質が損なわれてしまう。また、複数の撮影画像のつなぎ目となる重複領域に、露出補正に適切な物体が存在しない場合（極端に黒い被写体や白い被写体が存在する場合など）も想定される。

また、全画角１８０度を超える魚眼レンズを用いた撮像光学系では、撮影範囲が重複する領域が存在するものの、大部分は重複領域とならない。このため、上述のような撮影シーンでは、重複領域のみを用いて露出補正を行う場合、適正露出を得ることが困難である。また個々の撮像光学系毎に適正露出を得ても、合成した画像間のつなぎ目で明るさ等の色属性の不連続が生じる可能性がある。

そこで、本実施形態による撮像システム１０では、上述したような不充分な露出制御を回避するべく、露出条件制御部２１０は、重複領域とともに、各々撮像画像における重複しない撮像領域を考慮して複数の撮像画像の全体の露出状態を評価し、上記露出条件レジスタ部２００に設定する、各固体撮像素子の露出条件パラメータ（絞り値ａ，露光時間ｔおよびアンプゲインｇ）を決定する。

露出条件制御部２１０は、より詳細には、領域別計算部２１２と、全体評価計算部２１４と、露出条件決定部２１６とを含み構成される。露出条件制御部２１０は、ＩＳＰ１０８およびＣＰＵ１３０などにより実現することができる。ＩＳＰ１０８による処理１では、領域分割処理により、分割領域毎に積算値（または積算平均値）が計算され、領域分割積算データとして出力され、露出条件制御部２１０は、領域分割積算データを読み取る。

図５は、撮像画像の領域分割方式を例示する図である。本実施形態において、結像光学系２０に入射した光は、等距離射影方式などの所定の投影モデルに従って、固体撮像素子２２の受光領域に結像される。撮像画像は、受光領域が面積エリアを成す２次元の固体撮像素子で撮像されたものであり、平面座標系で表現された画像データとなる。また本実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる撮像画像は、図４（Ａ）および（Ｂ）に示すような各撮影範囲が投影されたイメージサークル全体を含む平面画像となる。

本実施形態では、各個体撮像素子２２で撮影された撮像画像の全領域を、図５（Ａ）に示すような極座標系（動径ｒおよび偏角θを用いた円座標系）での小領域、または図５（Ｂ）に示すような直交座標系（ｘ座標およびｙ座標を用いた平面座標系）での小領域に分割し、それぞれ分割領域とする。イメージサークルの外は、露光されない外部領域であるので、好適には、積算および平均の対象から除外される。上記ＩＳＰ１０８による領域分割処理では、図５（Ａ）または（Ｂ）に例示するような態様で、各々撮像画像を複数の小領域に分割して、それぞれの小領域毎に、輝度値の積算値（または積算平均値）が計算される。積算値は、分割された小領域内の全画素の輝度値を積算した値であり、輝度値の積算平均値は、輝度積算値を各小領域の面積（小領域を構成する画素数（外部領域を除く。））で規格化した値である。

領域別計算部２１２は、ＩＳＰ１０８Ａ，１０８Ｂによる領域分割処理によって撮像光学系毎に求められた輝度の積算平均値を含む領域分割積算データの入力を受けて、撮像された撮像画像を構成する分割領域各々に対し、撮影状態を評価する領域別指標値を計算する。本実施形態において領域別指標値は、分割領域毎の絶対的な明るさを評価する輝度レベルｂである。所定の固体撮像素子２２に関して、所定の分割領域の輝度レベルｂ（ｘ，ｙ）は、所定の分割領域について算出された積算平均値ｓ（ｘ，ｙ）と、絞り値ａと、露光時間ｔと、アンプゲインｇとを用いて、下記式（１）を用いて計算される。円座標系の分割領域の場合でも、ｂ（ｒ，θ）は、同様に計算することができる。

輝度レベルｂ（ｘ，ｙ）は、現在設定されている露出条件パラメータ（ａ，ｔ，ｇ）を用いて、実際に撮像された画像の画素値の明るさから算出された、分割領域毎の被写体輝度を評価する指標値である。

全体評価計算部２１４は、算出された分割領域毎の輝度レベルｂ^ｉ（ｘ，ｙ）を用いて、画像間の重複領域を含めて複数の撮像画像を評価し、全体評価値を計算する。ここで、固体撮像素子２２Ａ，２２Ｂに対し「０」および「１」の添え字を付し、固体撮像素子２２Ａ，２２Ｂそれぞれの領域別の輝度レベルをｂ^０（ｘ，ｙ）およびｂ^１（ｘ，ｙ）のように参照する。全体評価値の計算では、画像間の撮影範囲の重複に応じて評価に重み付けが行われる。本実施形態において全体指標値は、複数の撮像画像の全領域における明るさ（被写体輝度）を所定の重み付けで評価する評価輝度レベルｂＴである。

固体撮像素子それぞれの評価輝度レベルをｂＴ^０およびｂＴ^１のように参照すると、固体撮像素子ｉに対して算出される評価輝度レベルｂＴⁱは、各固体撮像素子ｊ（ｊ∈０，１）毎に算出された各分割領域毎の輝度レベルｂ^ｊ（ｘ，ｙ）と、各分割領域に設定した加重平均における重み値ｗ^ji（ｘ，ｙ）とを用いて、下記式（２）により計算することができる。

上記式（２）で表されるように、加重平均における重み値ｗ^ji（ｘ，ｙ）は、算出する固体撮像素子ｉ毎に異なるセットが用いられる。重み値ｗ^ji（ｘ，ｙ）は、光源の影響を避けるために、輝度レベルが低い方の固体撮像素子に対する重みが大きくなるように設定するなど、後述するシーン判別の結果に応じた重み付けを行うことができる。また、上述した小領域（ｘ，ｙ）を、図５（Ａ）および（Ｂ）においてハッチングで示すように、中領域（重複領域および非重複領域）で大きく区分して、各中領域毎の輝度レベルおよび重み値を用いて、評価輝度レベルｂＴⁱを、下記式（３）により計算してもよい。

上記式（３）中、ｂＥ^０は、撮像画像０のエッジ領域（重複領域）の輝度レベル（平均値）であり、ｂＣ^０は、撮像画像０の中心領域（非重複領域）の輝度レベル（平均値）である。同様に、ｂＥ^１は、撮像画像１のエッジ領域（重複領域）の輝度レベル（平均値）であり、ｂＣ^１は、撮像画像１の中心領域（非重複領域）の輝度レベル（平均値）である。ｗ１i〜ｗ４iは、固体撮像素子ｉに関して、それぞれの中領域に対して設定される加重平均における重み値である。ｗ１i〜ｗ４iの関係は、撮像画像０のエッジ領域と、撮像画像１のエッジ領域とが同じ面積Ａｅを有し、撮像画像０の中心領域および撮像画像１の中心領域が、それぞれ面積Ａ０およびＡ１を有するとして、重み値の基本値は、下記式で計算することができる。そして、下記式で計算された基本値に対して、光源の影響を避けるために、輝度レベルが低い方の固体撮像素子に対する重みを増加させるなど、後述するシーン判別の結果に応じて重み値を修正することができる。

さらに、好適な実施形態では、全体評価計算部２１４は、撮像された画像の信号レベルに応じて、上記重み値ｗ^ji（ｘ，ｙ）を設定する重み設定手段を含んでいてもよい。重み設定手段は、好適な実施形態では、全分割領域の輝度レベルｂ^ｊ（ｘ，ｙ）から、輝度分布（ヒストグラム）を構成し、全体的な平均値や輝度分布を分析してシーン判別を行い、これに応じて重み付けを行うことができる。判別されたシーンに応じて、分割領域に対し計算された領域別の輝度レベルｂ^ｊ（ｘ，ｙ）に依存して、該分割領域に設定する重み値ｗ^ji（ｘ，ｙ）を変更することができる。

例えば、重み設定手段は、夜景など暗いシーンであると判断できた場合に、より明るい輝度レベルｂ（ｘ，ｙ）が計算された分割領域に対する全体評価における重み値ｗ^ji（ｘ，ｙ）を、例えば、上記小領域毎の重み値に所定量を加算するなどによって、より大きな値に設定することができる。これにより、夜景シーンのような暗いシーンにおいて、明るい被写体の評価を厚くして測光を行い、この測光結果に応じて露出制御することができる。また、重み設定手段は、明るいシーンについては、より暗い輝度レベルｂ（ｘ、ｙ）が計算された分割領域に対する重み値ｗ^ji（ｘ，ｙ）をより大きく設定することができる。これにより、明るいシーンにおいて、暗い被写体の評価を厚くして測光を行うことができる。

また、極端に白い被写体および黒い被写体が写り込んだ分割領域を、上限閾値および下限閾値を用いて検出し、これを避けて測光を行うこともできる。例えば、上限閾値（ｂ_ｕｔｈ）以上の輝度レベルが算出された分割領域（白領域）および／または下限閾値（ｂ_ｌｔｈ）以下の輝度レベルが算出された分割領域（黒領域）の重み付けを小さく、あるいはゼロになるように重み付けを行うことができる。これにより、露出の補正に適さない分割領域の評価の重み付けを小さく、または考慮せずに評価輝度レベルｂＴの計算を行うことができる。

重み設定手段は、さらに、２つの固体撮像素子２２により撮像された２つの撮像画像０，１間における明るさの相対的な関係に基づいて、各撮像画像毎のシーン判別を行い、固体撮像素子２２各々に対し、シーンに応じた重み値のセットを設定することができる。例えば、光源の影響を避けるために、輝度レベルが低い、比較的暗いシーンであると判定された固体撮像素子側の重みが大きくなるように重み値ｗ^ji（ｘ，ｙ）を設定することができる。

露出条件決定部２１６は、全体評価計算部２１４により算出された評価輝度レベルｂＴ^ｉに基づいて、各固体撮像素子ｉ毎の露出条件パラメータ（ａ，ｔ，ｇ）を決定する。評価輝度レベルｂＴは、複数の撮像画像における被写体輝度を評価するものであり、適正露出を得るための条件は、下記条件式（４）で表すことができる。下記適正露出の条件式の中の４つのパラメータのそれぞれ２を底とする対数をとり、変形した下記条件式（５）を用いて表すこともできる。下記式（４）中、Ｋは定数である。

上記式（５）中、Ｂｖ（Bright Value）、Ｓｖ（Sensitive Value）、Ａｖ（Aperture Value）およびＴｖ（Time Value）は、下記式（６）〜（９）で計算される。下記式（８）および（９）中のｋ_１，ｋ_２は定数である。

露出条件決定部２１６は、全体評価計算部２１４により算出された評価輝度レベルｂＴ^ｉに基づいて、各固体撮像素子ｉ毎の露出条件パラメータ（ａ，ｔ，ｇ）を決定する。より具体的には、露出条件決定部２１６は、上記適正露出の条件式が満たされるように、現在設定されている露出条件パラメータ（ａ，ｔ，ｇ）と、測定された被写体輝度（評価輝度レベルｂＴ）とに基づいて、絞り値ａ、露出時間ｔおよびアンプゲインｇを制御して適正露出を得る。補正された露出条件パラメータ（ａ’、ｔ’，ｇ’）は、評価輝度レベルｂＴ^ｉから、撮像システム１０の特性に応じて事前準備されたプログラム線図と呼ばれるテーブルを用いて得ることができる。本実施形態において、プログラム線図とは、絞りａを固定して、アンプゲインｇと露出時間ｔの組み合わせを示した図またはテーブルとして構成し、この組み合わせから露出値を決定することができる。

なお、説明する実施形態では、評価輝度レベルｂＴから絞り値ａ、露出時間ｔおよびアンプゲインｇの最適な組み合わせが所定のプログラム線図に基づいて得られるものとしている。しかしながら、他の実施形態では、絞り値ａ、露出時間ｔおよびアンプゲインｇの少なくとも１つを手動設定とし、残りのパラメータをプログラム線図から求める態様としてもよい。このような自動露出モードとしては、露出時間ｔを手動設定するシャッタースピード優先モード、絞り値ａを手動設定する絞り優先モード、アンプゲインｇを手動設定する感度優先モードを挙げることができる。

以下、図６および図７を参照しながら、本実施形態による撮像システムが実行する、露出制御について説明する。図６は、本実施形態の撮像システムが実行する、露出制御のメインフローを示すフローチャートである。図７は、本実施形態の撮像システムが実行する、メインフロー内の露出計算処理を示すフローチャートである。図６に示す処理は、固体撮像素子２２Ａ，２２Ｂで画像が撮像される毎に繰り返して実行され、ステップＳ１００から開始される。ステップＳ１０１では、撮像システム１０は、領域分割画素積算処理を実行し、２つの固体撮像素子２２Ａ，２２Ｂについて各分割領域毎の輝度の積算平均値を計算する。ステップＳ１０２では、図７に示す露出計算処理が呼び出される。

図７に示す処理は、ステップＳ２００から開始され、ステップＳ２０１では、撮像システム１０は、固体撮像素子２２毎に、分割領域積算データの積算平均値の統計をとり、画像の平均および分散（または標準偏差）を算出する。ステップＳ２０２では、撮像システム１０は、２つの撮像画像の平均および分散から、現在の露出条件パラメータが、被写体輝度の評価を行うに充分な許容範囲内にあるか否かを判定する。例えば、画像の平均値が０に近く、かつ、分散値が低い場合（分散値が所定閾値未満である。）は、撮像画像が黒飽和している蓋然性が高く、反対に、平均値が飽和値に近く、かつ、分散値が低い場合は、撮像画像が白飽和している蓋然性が高い。撮像画像が白飽和または黒飽和している場合は、適切な測光ができないことから、許容範囲外と判定される。

ステップＳ２０２で、許容範囲外であると判定された場合（ＮＯ）は、ステップＳ２０６へ処理が分岐される。この場合、ステップＳ２０６では、撮像システム１０は、適正露光の方向に露出条件パラメータを決定し、ステップＳ２０７で、本処理を終了させる。例えば黒飽和であれば、絞りを開き、露出時間を長く、感度を高くする方向に露出条件パラメータが決定される。これに対して白飽和であれば、絞り閉じ、露出時間を短く、感度を低くする方向に露出条件パラメータが決定される。アンプゲインｇを固定とした場合は、黒飽和であれば、露出値Ｅｖを所定段数下げて露出条件パラメータ（ａ’，ｔ’）を決定し、白飽和であれば、露出値Ｅｖを所定段数上げて露出条件パラメータ（ａ’，ｔ’）を決定する。絞りａを固定とした場合は、黒飽和であれば、露出時間ｔを長く、アンプゲインｇを大きくする方向で露出条件パラメータ（ｔ’，ｇ’）を決定し、白飽和であれば、露出時間ｔを短く、アンプゲインを小さくする方向で露出条件パラメータ（ｔ’，ｇ’）を決定する。

一方、ステップＳ２０３で、許容範囲内であると判定された場合（ＹＥＳ）は、ステップＳ２０３へ処理を分岐させる。ステップＳ２０３では、撮像システム１０は、領域別計算部２１２により、２つの撮像画像（０，１）の各分割領域について、積算平均値ｓ（ｘ，ｙ）と、現在設定されている各露出条件パラメータ（ａ、ｔ、ｇ）とを用いて、各輝度レベルｂ^ｉ（ｘ，ｙ）を計算する。

ステップＳ２０４では、撮像システム１０は、全体評価計算部２１４により、シーン判別を行い、判別されたシーンに応じた重み値ｗ^ｊｉ（ｘ，ｙ）を読み出す。ステップＳ２０５では、撮像システム１０は、全体評価計算部２１４により、上記式（２）または（３）などを用いて、輝度レベルｂ^０（ｘ、ｙ）およびｂ^１（ｘ、ｙ）の加重平均を計算し、固体撮像素子ｉ毎の評価輝度レベルｂＴ^ｉを計算する。ステップＳ２０６では、各固体撮像素子ｉ毎に、評価輝度レベルｂＴ^ｉから、上記条件式（４）または（５）が満たされるような方向に露出を制御し、補正された露出条件パラメータ（ａ’，ｔ’，ｇ’）を決定し、ステップＳ２０７で、図６に示す処理に制御を戻し、ステップＳ１０３に処理を進める。

ステップＳ１０３では、決定された露出条件パラメータ（ａ’，ｔ’，ｇ’）を露出条件レジスタ部２００に設定更新し、ステップＳ１０４で、本処理を終了させる。図６および図７に示した処理を繰り返すことにより、露出条件が、上記条件式（４）または（５）を満たす適正露出に収束される。

全天球撮像システム１０を用いて全方位の撮影を行う場合、重複領域においては、同じ被写体を撮影していることから、撮像画像間で輝度レベルｂは同様な値となるべきである。しかしながら、撮影シーンに高輝度体が含まれていると、図４（Ａ）および（Ｂ）に例示するように、一方の撮像光学系の撮像画像にフレアが生じ、フレアが高輝度体を中心に面全体に広がる可能性があった。これに対して、本実施形態では、重複領域とともに、各々撮像画像における重複しない撮像領域を考慮して複数の撮像画像全体の露出状態が評価されて、複数の撮像光学系の各々に対する露出条件パラメータ（絞り値ａ，露光時間ｔおよびアンプゲインｇ）が決定される。これにより、複数の撮像光学系による複数の撮像画像を合成した際につなぎ目で見られる明るさの不連続性が軽減され、品質の高い合成画像を提供することができる。

以上説明した実施形態によれば、、複数の撮像光学系による複数の撮像画像を合成した際につなぎ目で生じ得る不連続性が軽減されるような、複数の撮像光学系各々に対する撮像条件を与えることが可能な撮像制御装置、撮像制御方法およびプログラムを提供することができる。

なお、上述した実施形態では、１８０度より大きな画角を有するレンズ光学系で撮像された２つの撮像画像を重ね合わせて合成するものとしたが、他の実施形態では、複数の撮像光学系により撮像された３以上の撮像画像の重ね合わせ合成に適用してもよい。

また、上述した実施形態では、撮像制御装置の一例として、全天球の静止画を撮影する撮像システム１０を用いて説明したが、撮像制御装置は、特に限定されるものではない。他の実施形態では、全天球を動画撮影する全天球動画撮像システム（撮像装置）、全天球の静止画像または動画像を撮影する機能を備えたスマートフォン、タブレットなどの携帯情報端末、撮像システムにおいて撮像体を制御するデジタル・スチルカメラ・プロセッサ（制御装置）などとして構成することもできる。

また、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（VHSIC（Very High Speed Integrated Circuits） Hardware Description Language））、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０…撮像システム、１２…撮像体、１４…筐体、１８…シャッター・ボタン、２０…結像光学系、２２…固体撮像素子、１００…プロセッサ、１０２…鏡胴ユニット、１０８…ＩＳＰ、１１０…ＤＭＡＣ、１１２…アービタ（ＡＲＢＭＥＭＣ）、１１４…ＭＥＭＣ、１１８…歪曲補正・画像合成ブロック、１２２…ＤＭＡＣ、１２４…画像処理ブロック、１２６…画像データ転送部、１２８…ＳＤＲＡＭＣ、１３０…ＣＰＵ、１３２…リサイズブロック、１３４…ＪＰＥＧブロック、１３６…Ｈ．２６４ブロック、１３８…ＳＤＲＡＭ、１４０…メモリカード制御ブロック、１４２…メモリカードスロット、１４４…フラッシュＲＯＭ、１４６…ＵＳＢブロック、１４８…ＵＳＢコネクタ、１５０…ペリフェラル・ブロック、１５２…音声ユニット、１５４…スピーカ、１５６…マイク、１５８…シリアルブロック、１５８…シリアルブロック、１６０…無線ＮＩＣ、１６２…ＬＣＤドライバ、１６２…ＬＣＤドライバ、１６４…ＬＣＤモニタ、１６６…電源スイッチ、１６８…ブリッジ、２００…露出条件レジスタ部、２１０…露出条件制御部、２１２…領域別計算部、２１４…全体評価計算部、２１６…露出条件決定部、２２０…ホワイトバランス計算部

特開２００７−３２９５５５号公報

Claims (10)

1. 複数の撮像光学系に対する撮像条件を与える撮像制御装置であって、
   前記複数の撮像光学系により撮像された複数の撮像画像を構成する分割領域各々に対し、撮影状態を評価する領域別指標値を計算する領域別指標値計算手段と、
   前記領域別指標値計算手段により算出された前記分割領域各々の領域別指標値に基づき、前記撮像画像間の重複領域を含め前記複数の撮像画像を評価し、全体評価値を計算する全体評価値計算手段と、
   前記全体評価値計算手段により計算された前記全体評価値に基づいて、前記複数の撮像光学系に対する撮像条件を決定する条件決定手段と
   を含む、撮像制御装置。
2. 前記撮像条件は、露出条件を含み、所定の分割領域の領域別評価値は、該所定の分割領域の明るさを評価する輝度レベルであり、前記全体評価値は、前記複数の撮像画像全体の明るさを、前記重複領域に重み付けをして評価する前記撮像光学系毎の評価輝度レベルであり、前記条件決定手段は、前記撮像光学系毎の評価輝度レベルに基づいて、前記撮像光学系毎に撮像条件を決定する、請求項１に記載の撮像制御装置。
3. 前記複数の撮像光学系により撮像された前記複数の撮像画像間の明るさの相対的な関係に基づいて、前記撮像光学系各々に対し、複数の分割領域に設定する複数の重み値のセットを設定する手段をさらに含む、請求項１または２に記載の撮像制御装置。
4. 所定の分割領域に対し、該所定の分割領域に対し計算された領域別評価値に応じた重み付けを行う重み設定手段をさらに含む、請求項１〜３のいずれか１項に記載の撮像制御装置。
5. 前記重み設定手段は、暗いシーンについては、より明るい領域別評価値が計算された分割領域に対する重み付けがより大きくなるように重み付けを設定することを特徴とする、請求項４に記載の撮像制御装置。
6. 前記重み設定手段は、明るいシーンについては、より暗い領域別評価値が計算された分割領域に対する重み付けがより大きくなるように重み付けを設定することを特徴とする、請求項４または５に記載の撮像制御装置。
7. 前記重み設定手段は、上限閾値以上または下限閾値以下の領域別評価値が算出された分割領域の重み付けが小さくまたはゼロになるように重み付けを設定することを特徴とする、請求項４〜６のいずれか１項に記載の撮像制御装置。
8. 決定される撮像条件は、絞り、露光時間およびゲインの少なくとも１つを含む、請求項１〜７のいずれか１項に記載の撮像制御装置。
9. 複数の撮像光学系に対する撮像条件を与える撮像制御方法であって、撮像制御装置が、
   前記複数の撮像光学系により撮像された複数の撮像画像を構成する分割領域各々に対し、撮影状態を評価する領域別指標値を計算する領域別指標値計算ステップと、
   前記領域別指標値計算ステップで算出された前記分割領域各々の領域別指標値に基づき、前記撮像画像間の重複領域を含め前記複数の撮像画像を評価し、全体評価値を計算する全体評価値計算ステップと、
   前記全体評価値計算ステップで算出された前記全体評価値に基づいて、前記撮像条件を決定する条件決定ステップと
   を実行する、撮像制御方法。
10. コンピュータを、請求項１〜８のいずれか１項に記載の撮像制御装置の各手段として機能させるためのプログラム。