JP2014123797A - 撮像制御装置、撮像システム、撮像制御方法およびプログラム - Google Patents

Abstract

【課題】 複数の撮像光学系に対する適切な撮像条件を与えることができる撮像制御装置等を提供すること。
【解決手段】 本撮像制御装置は、それぞれ撮像光学系２００Ａ，２００Ｂ毎に独立して撮像条件を計算する複数の独立撮像条件計算手段２０２Ａ，２０２Ｂと、独立撮像条件計算手段２０２による計算結果の下、撮像光学系２００各々により撮像された複数の撮像画像に基づき、撮像光学系２００間で調整された、複数の撮像光学系に対する調整後の撮像条件を計算する調整撮像条件計算手段２１０とを含む。
【選択図】 図３

Description

本発明は、撮像制御装置、撮像システム、撮像制御方法およびプログラムに関し、より詳細には、複数の撮像光学系に対する適切な撮像条件を与えることができる撮像制御装置、該撮像制御装置を含む撮像システム、該撮像制御装置が実行する撮像制御方法、および該撮像制御装置を実現するためのプログラムに関する。

魚眼レンズや超広角レンズなどの広角なレンズを複数使用して全方位（以下、全天球という。）を一度に撮像する全天球撮像システムが知られている。上記全天球撮像システムでは、各々のレンズからの像をセンサ面に投影し、得られる各画像を画像処理により結合することで、全天球画像を生成する。例えば、１８０度を超える画角を有する２つの広角なレンズを用いて、全天球画像を生成することができる。上記画像処理では、各レンズ光学系により撮影された部分画像に対して、歪み補正および射影変換を施し、部分画像に含まれる重複領域を用いて部分画像をつなぎ合わせ、１枚の全天球画像を生成する。

また、従来、撮像した画像から適正露出を得るデジタルカメラにおける露出補正技術が知られている。この露出補正技術では、各センサから画像を取り込み、画像処理回路ブロックで積算値を演算し、その積算値に基づいて、露出条件を設定している。このため、従来技術では、適切な露出条件を得るためには、数フレーム程度の時間がかかる場合があった。

上記したような露出補正の高速化を目的とした技術としては、例えば、特開平１１−３４１３４２号公報（特許文献１）が知られている。特許文献１の従来技術では、レリーズ操作に応答して、ＣＣＤ内の電子素子シャッタのシャッタ速度を高速から低速に順次設定して複数の露光検出値を得て、これら露光検出値から最適な露光検出値を選択する構成を採用している。

特許文献１の構成によれば、レリーズ操作開始から本露光に至るまでの処理時間を短縮することができる。しかしながら、本露出の前に、シャッタ速度を高速から低速に順次設定して複数の露光検出値を得る必要がある。また、特に全天球複眼カメラやパノラマ複眼カメラなど複数の撮像光学系を用いる場合、複数のセンサ個々の露出補正に加えて、センサ間での調整を行う必要がある。このため、適切な露出条件を得るためには、より長い時間が必要となる傾向があった。上記特許文献１の従来技術は、単眼の露出制御の高速化を目的としているものの、複眼カメラの高速化を図れるものではなかった。

本発明は、上記従来技術の問題点に鑑みてなされたものであり、本発明は、複数の撮像光学系を用いた撮像システムにおいて、複数の撮像光学系に対する撮像条件を得るまでに要する時間を短縮することが可能な撮像制御装置、撮像システム、撮像制御方法およびプログラムを提供することを目的とする。

本発明では、上記課題を解決するために、下記特徴を有する撮像制御装置を提供する。本撮像制御装置は、それぞれ撮像光学系毎に独立して撮像条件を計算する、複数の独立撮像条件計算手段を含む。本撮像制御装置は、さらに、上記独立撮像条件計算手段による計算結果の下、撮像光学系各々により撮像された複数の撮像画像に基づき、撮像光学系間で調整された調整後の撮像条件を計算する調整撮像条件計算手段とを含む。これにより、本撮像制御装置は、複数の撮像光学系に対する撮像条件を与える。

上記構成により、複数の撮像光学系を用いた撮像システムにおいて、複数の撮像光学系に対する撮像条件を得るまでに要する時間を短縮することができる。

本実施形態による全天球撮像システムを示す断面図。 本実施形態による全天球撮像システムのハードウェア構成図。 本実施形態による全天球撮像システムにおける画像処理全体の流れを説明する図。 （Ａ，Ｂ）魚眼レンズで撮影された撮像画像Ａ，Ｂおよび（Ｃ）撮像画像Ａ，Ｂを合成して得られる合成画像を例示する図。 撮像画像の領域分割方式を模式的に説明する図。 本実施形態による撮像システムが実行する、露出制御のメインフローを示すフローチャート。 本実施形態の撮像システムが実行する、複眼適正露出計算処理を示すフローチャート。 照度値を露出目標レベルに対応付ける関数を示す図。 特定の実施形態において、全天球撮像システム１０で撮像された複数の撮像画像における、両センサ間で互い対応付けられる分割領域を説明する図。 本実施形態の撮像システムにおいて実行される露出制御を示すシーケンス図。

以下、実施形態について説明するが、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、撮像制御装置の一例として、２つの魚眼レンズを光学系に含む撮像体を備えるとともに、２つの魚眼レンズで撮像された撮像画像に基づいて撮像条件を決定する機能を備えた、全天球撮像システム１０を用いて説明する。つまり、全天球撮像システム１０は、３つ以上の魚眼レンズを光学系に含む撮像体を備えるとともに、３つ以上の魚眼レンズで撮像された撮像画像に基づいて撮像条件を決定する機能を備えていてもよい。なお、説明する実施形態では、魚眼レンズは、広角レンズや、超広角レンズと呼ばれるものを含むものとする。

以下、図１および図２を参照しながら、本実施形態による全天球撮像システムの全体構成について説明する。図１は、本実施形態による全天球撮像システム（以下、単に、撮像システムと参照する。）１０を示す断面図である。図１に示す撮像システム１０は、撮像体１２と、上記撮像体１２および図示しないコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられたシャッター・ボタン１８とを備える。

図１に示す撮像体１２は、２つの結像光学系２０Ａ，２０Ｂと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサなどの２つの固体撮像素子２２Ａ，２２Ｂとを含む。本実施形態において、結像光学系２０と固体撮像素子２２とを１個ずつ組み合わせたものを撮像光学系と参照する。結像光学系２０は、それぞれ、例えば６群７枚で魚眼レンズとして構成することができる。上記魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、その光軸が、対応する固体撮像素子２２の受光領域の中心部に直交して位置するように固体撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。光学素子は、同時に、受光領域が、対応する魚眼レンズの結像面となるように位置決めされる。固体撮像素子２２は、それぞれ、受光領域が面積エリアを成す２次元の撮像素子であり、組み合わせられる結像光学系２０により集光された光を画像信号に変換する。

図１に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するように、互いに逆向きに組み合わせられる。固体撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換して、図示しないコントローラ上の画像処理手段に出力する。画像処理手段では、固体撮像素子２２Ａ，２２Ｂからそれぞれ入力される撮像画像をつなぎ合わせて合成し、立体角４πラジアンの画像（以下「全天球画像」と参照する。）を生成する。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。ここで、図１に示す実施形態では、全天球画像を生成しているが、水平面のみ３６０度を撮影した、いわゆるパノラマ画像であってもよい。

上述したように、魚眼レンズが１８０度を超える全画角を有するため、全天球画像を構成する際には、各撮像光学系で撮像した撮影画像において、重複する画像部分が、同一像を表す基準データとして画像つなぎ合わせの参考とされる。生成された全天球画像は、例えば、撮像システム１０が備え、または外部接続される、ディスプレイ装置、印刷装置、ＳＤ（登録商標）カードやコンパクトフラッシュ（登録商標）などの外部記憶媒体などに出力される。

図２は、本実施形態による撮像システム１０のハードウェア構成を示す。撮像システム１０は、デジタル・スチルカメラ・プロセッサ（以下、単にプロセッサと参照する。）１００と、鏡胴ユニット１０２と、プロセッサ１００に接続される種々のコンポーネントとを含み構成される。鏡胴ユニット１０２は、上述した２組のレンズ光学系２０Ａ，２０Ｂと、固体撮像素子２２Ａ，２２Ｂとを含む。固体撮像素子２２は、プロセッサ１００内の後述するＣＰＵ１３０からの制御指令により制御される。

プロセッサ１００は、ＩＳＰ（Image Signal Processor）１０８と、ＤＭＡＣ（Direct Memory Access Controller）１１０と、メモリアクセスの調停のためのアービタ（ＡＲＢＭＥＭＣ）１１２と、メモリアクセスを制御するＭＥＭＣ（Memory Controller）１１４と、歪曲補正・画像合成ブロック１１８とを含む。ＩＳＰ１０８Ａ，１０８Ｂは、それぞれ、固体撮像素子２２Ａ，２２Ｂの信号処理を経て入力された画像に対し、自動露出（ＡＥ：Automatic Exposure）制御、ホワイトバランス設定やガンマ設定を行う。

ＭＥＭＣ１１４には、ＳＤＲＡＭ１１６が接続される。ＳＤＲＡＭ１１６には、ＩＳＰ１０８Ａ，１８０Ｂおよび歪曲補正・画像合成ブロック１１８において処理を施す際に、データが一時的に保存される。歪曲補正・画像合成ブロック１１８は、２つの撮像光学系から得られた２つの撮影画像に対し、３軸加速度センサ１２０からの情報を利用し、歪曲補正とともに天地補正を施し、画像合成する。

プロセッサ１００は、さらに、ＤＭＡＣ１２２と、画像処理ブロック１２４と、ＣＰＵ１３０と、画像データ転送部１２６と、ＳＤＲＡＭＣ１２８と、メモリカード制御ブロック１４０と、ＵＳＢブロック１４６と、ペリフェラル・ブロック１５０と、音声ユニット１５２と、シリアルブロック１５８と、ＬＣＤドライバ１６２と、ブリッジ１６８とを含む。

ＣＰＵ１３０は、当該撮像システム１０の各部の動作を制御する。画像処理ブロック１２４は、画像データに対し各種画像処理を施す。リサイズブロック１３２は、画像データのサイズを補間処理により拡大または縮小するためのブロックである。ＪＰＥＧブロック１３４は、ＪＰＥＧ圧縮および伸張を行うコーデック・ブロックである。Ｈ．２６４ブロック１３６は、Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。画像データ転送部１２６は、画像処理ブロック１２４で画像処理された画像を転送する。ＳＤＲＡＭＣ１２８は、プロセッサ１００に接続されるＳＤＲＡＭ１３８を制御する。ＳＤＲＡＭ１３８には、プロセッサ１００内で画像データに各種処理を施す際に、画像データが一時的に保存される。

メモリカード制御ブロック１４０は、メモリカードスロット１４２に挿入されたメモリカードおよびフラッシュＲＯＭ１４４に対する読み書きを制御する。メモリカードスロット１４２は、撮像システム１０にメモリカードを着脱可能に装着するためのスロットである。ＵＳＢブロック１４６は、ＵＳＢコネクタ１４８を介して接続される、パーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。ペリフェラル・ブロック１５０には、電源スイッチ１６６が接続される。

音声ユニット１５２は、ユーザが音声信号を入力するマイク１５６と、記録された音声信号を出力するスピーカ１５４とに接続され、音声入出力を制御する。シリアルブロック１５８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１６０が接続される。ＬＣＤ（Liquid Crystal Display）ドライバ１６２は、ＬＣＤモニタ１６４を駆動するドライブ回路であり、ＬＣＤモニタ１６４に各種状態を表示するための信号に変換する。

フラッシュＲＯＭ１４４には、ＣＰＵ１３０が解読可能なコードで記述された制御プログラムや各種パラメータが格納される。電源スイッチ１６６の操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされる。ＣＰＵ１３０は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをＳＤＲＡＭ１３８と、図示しないローカルＳＲＡＭとに一時的に保存する。

図３は、本実施形態による撮像システム１０における画像処理全体の流れを説明する図である。また、図３には、本実施形態において撮像条件を制御するための主要な機能ブロックが示されている。まず、固体撮像素子２２Ａ，２２Ｂを含む各センサ２００Ａ，２００Ｂ各々によって、所定の露出条件パラメータの下、画像が撮像される。続いて、センサ２００Ａ，２００Ｂ各々から出力された画像に対し、図２に示したＩＳＰ１０８により、処理１で示されるオプティカル・ブラック補正処理、欠陥画素補正処理、リニア補正処理、シェーディング処理および領域分割処理が行われ、メモリに保存される。

上記オプティカル・ブラック補正処理は、固体撮像素子２２におけるオプティカル・ブラック領域の出力信号を黒の基準レベルとして、有効画素領域の出力信号をクランプ補正する処理である。ＣＭＯＳなどの固体撮像素子は、半導体基板上に多数の感光素子を形成することにより製造されるところ、その製造に際して半導体基板に不純物が混入する等の理由により、局所的に画素値の取り込みが不能な欠陥画素が発生する場合がある。欠陥画素補正処理は、上述のような欠陥画素に隣接した複数の画素からの合成信号に基づいてその欠陥画素の画素値を補正する処理である。

リニア補正処理は、ＲＧＢ毎にリニア補正を施す処理である。シェーディング補正処理は、所定の補正係数を有効画素領域の出力信号に乗じることで、有効画素領域の陰影の歪みを補正する処理である。領域分割処理は、撮像画像を構成する画像領域を複数領域に分割し、分割領域毎に積算値（または積算平均値。後述する。）を算出する処理を行う。分割領域毎の積算値は、説明する実施形態では、輝度の形式で算出されており、典型的には、経験則から導き出された係数を用いてＲ（赤）値、Ｇ（緑）値およびＢ（青）値の加重平均により行われる。

ＩＳＰ１０８によって処理１が完了すると、続いて、ＩＳＰ１０８により、さらに、処理２で示されるホワイトバランス処理、ガンマ補正処理、ベイヤー補間処理、ＹＵＶ変換処理、エッジ強調処理および色補正処理が行われ、メモリに保存される。固体撮像素子２２上のカラーフィルタの色によって透過する光量が変化するところ、ホワイトバランス処理は、Ｒ、ＧおよびＢの各色の感度差を補正し、撮影画像の中の白色を白く見せるためゲインを設定する処理である。上記領域分割平均処理により計算された分割領域毎のＲＧＢの積算値（または積算平均値）データに基づき、ホワイトバランス計算部２２０により、ホワイトバランス処理のパラメータが計算される。ガンマ補正処理は、出力装置の特性を考慮して、出力が線形性を保つように入力信号に行う処理である。

また、ＣＭＯＳでは、固体撮像素子２２の１画素にＲ、ＧおよびＢのいずれか１色のカラーフィルタが貼付されているところ、ベイヤー補間処理は、不足する２色を周辺の画素から補間する補間処理である。ＹＵＶ変換処理は、ＲＧＢデータ形式のＲＡＷデータから輝度信号Ｙと色差信号ＵＶのＹＵＶデータ形式に変換する処理である。エッジ強調処理は、画像の輝度信号からエッジ部分を抽出し、エッジに対してゲインを掛け、エッジ抽出と並行して画像のノイズを除去する処理を行う。色補正処理は、彩度設定、色相設定、部分的な色相変更設定、色抑圧設定を行う。

２つのセンサ２００Ａ，２００Ｂ各々について上述した処理が完了すると、上記処理が施された各撮像画像に対し、歪曲補正および合成処理が行われ、適宜タグ付けされて、全天球画像が内蔵メモリまたは外部ストレージにファイル保存される。上記歪曲補正および合成処理の過程では、３軸加速度センサ１２０からの情報を得て傾き天地補正が行われてもよい。また、保存される画像ファイルには、適宜圧縮処理が施されてもよい。その他、クロップ処理が行われて、画像の中心領域を切り抜くことでサムネイル画像が生成されてもよい。

上述した画像処理全体の流れにおいて、センサ２００Ａ，２００Ｂに対する露出条件パラメータは、センサ２００の出力を利用した露出制御により決定される。撮像システム１０では、備え付けられ、あるいは外部接続される液晶モニタやＥＶＦ（Electronic View Finder）に撮像画像を表示するために、常時、センサ２００からの画像信号が読み出されている。自動露出制御では、読み出された画像信号に基づき測光し、レベルが適正かどうかを判断し、その結果に応じて、絞り値（Ｆ値）、露光時間（シャッタ・スピード）、アンプゲイン（ＩＳＯ感度）などの露出条件パラメータを修正する。そして、このフローがフレーム毎に繰り返されることによって、適正露出が得られる。

一方、図１に示すような全天球撮像システム１０を用いて全方位の撮影を行う場合、２つの撮像光学系により２つの撮像画像が生成される。このとき、全天球撮像システム１０は、通常の単眼カメラなどに比較して、撮影範囲が広く、光源が直接写り込む場合が多くなる。撮影シーンに太陽などの高輝度体が写り込むと、多重反射等に起因して、図４（Ａ）および（Ｂ）に例示するように、一方の撮像光学系の撮像画像にフレアが生じ、フレアが高輝度体を中心に面全体に広がる可能性がある。このような場合、両眼の露出制御が難しくなるとともに、合成画像において、図４（Ｃ）に示すように、一方のオフセットの上昇に起因し、片方だけの画像の全体的なコントラストが低下し、継ぎ目部分に明るさの違いが生じてしまい、全天球画像の画像品質が損なわれてしまう。また、複数の撮影画像のつなぎ目となる重複領域に、露出補正に適切な物体が存在しない場合（極端に黒い被写体や白い被写体が存在する場合など）も想定される。

したがって、上述した全天球撮像システム１０といった複数の撮像光学系を用いるシステムでは、個々のセンサで適正露出を得るように制御すると共に、センサ間で明るさの不連続が無くなるように露出条件を調整する必要がある。この露出制御の複雑性に起因して、複眼システム全体として適切な露出条件パラメータを得るために、単眼システムに比較して、より多くのフレーム数を必要とし、より長い時間がかかる傾向にある。

そこで、本実施形態による撮像システム１０では、上記適正露出を得るまでの時間の短縮を図るべく、多段階の露出制御を採用する。すなわち、本撮像システム１０では、センサ毎に独立した露出制御を行う前段露出条件制御部２０２Ａ，２０２Ｂと、複数のセンサ全体で調整された露出制御を行う後段露出条件制御部２１０とによって、個々のセンサの露出条件パラメータが決定される。好適な実施形態では、前段露出条件制御部２０２Ａ，２０２Ｂにより個々のセンサの露出条件の計算が収束した時点から、後段露出条件制御部２１０による複数センサ間の調整を開始することができる。

前段露出条件制御部２０２Ａ，２０２Ｂは、センサ２００Ａ，２００Ｂ毎にセンサ内に設けられ、各センサ毎に独立して露出条件パラメータを計算し、自身のレジスタに設定する。前段露出条件制御部２０２Ａ，２０２Ｂが採用する露出制御方式は、特に限定されるものではなく、例えば撮像画像を用いる露出補正方式とすることができる。前段露出条件制御部２０２の露出制御は、少なくとも、撮像光学系毎に独立して露出条件パラメータが計算されるという点で、複数の撮像光学系間で調整されて行われる露出制御と比較し簡略化されている。前段露出条件制御部２０２Ａ，２０２Ｂは、それぞれ、本実施形態において、撮像光学系毎に独立して撮像条件を計算する独立撮像条件計算手段を構成する。

後段露出条件制御部２１０は、前段露出条件制御部２０２Ａ，２０２Ｂによる計算結果の下、センサ２００Ａ，２００Ｂ各々によって撮像された複数の撮像画像に基づき、センサ間で調整された、個々のセンサの露出条件パラメータを計算する。計算された調整後の露出条件パラメータは、各センサの露出条件レジスタ設定部２０４Ａ，２０４Ｂにより、各センサのレジスタに設定される。後段露出条件制御部２１０は、本実施形態における調整撮像条件計算手段を構成する。なお、後段露出条件制御部２１０は、ＩＳＰ１０８およびＣＰＵ１３０などにより実現することができる。

後段露出条件制御部２１０は、より詳細には、前段安定判定部２１２と、両センサ２００Ａ，２００Ｂの重複部分の画像の明るさが合うように調整された、露出条件パラメータを計算する複眼条件計算部２１４とを含み構成される。後段露出条件制御部２１０には、前段露出条件制御部２０２Ａ，２０２Ｂ各々から、センサ毎に独立して計算された露出条件パラメータが入力される。前段安定判定部２１２は、前段露出条件制御部２０２Ａ，２０２Ｂ各々により計算された露出条件の変化が所定の収束条件の範囲内に収まったか否かを判定し、その範囲内に収まったことを待って、複眼条件計算部２１４を呼び出す。上記収束条件は、露出条件パラメータの変化（従前の露出補正値と新しく取得した露出補正値との差分）が小さくなり、安定化されたことを検知するための基準であり、例えばベンダ側で実験等に基づいて予め定められる。

複眼条件計算部２１４は、上記前段安定判定部２１２により、安定化されたと判定された場合に、上記前段露出条件制御部２０２Ａ，２０２Ｂが計算した露出条件パラメータを初期条件として、調整にかかる計算を開始する。後段露出条件制御部２１０による制御が有効である期間中、前段露出条件制御部２０２Ａ，２０２Ｂの計算は無効化される。一方、特定の実施形態において、複眼条件計算部２１４による計算の結果、不適当な露出条件の計算結果を示す事前定義された条件が成立した場合には、再び前段露出条件制御部２０２Ａ，２０２Ｂによる計算に戻される。不適当な露出条件としては、少なくともいずれか一方が黒飽和または白飽和してしまった場合などを挙げることができる。

また、ＩＳＰ１０８による処理１では、領域分割処理により、各センサにより撮像された各撮像画像を構成する分割領域毎に積算値が計算され、領域分割積算データとして後段露出条件制御部２１０に入力される。図５は、撮像画像の領域分割方式を例示する図である。本実施形態において、結像光学系２０に入射した光は、等距離射影方式などの所定の投影モデルに従って、固体撮像素子２２の受光領域に結像される。撮像画像は、受光領域が面積エリアを成す２次元の固体撮像素子で撮像されたものであり、平面座標系で表現された画像データとなる。

また説明する実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとする。よって、得られる撮像画像各々は、図４（Ａ）および（Ｂ）に示すような各撮影範囲が投影されたイメージサークル全体を含む平面画像となる。

本実施形態では、撮像画像の全領域を、図５（Ａ）に示すような極座標系（動径ｒおよび偏角θを用いた円座標系）での小領域、または図５（Ｂ）に示すような直交座標系（ｘ座標およびｙ座標を用いた平面座標系）での小領域に分割し、それぞれ分割領域とする。イメージサークルの外は、露光されない遮光領域であるので、特に限定されるものではないが、積算および平均の対象から除外してもよい。

上記ＩＳＰ１０８による領域分割処理では、図５（Ａ）または（Ｂ）に例示するような態様で、撮像画像各々を複数の小領域に分割して、それぞれの小領域毎に、画素の輝度値の積算値または積算平均値が計算される。積算値は、分割された小領域内の全画素の輝度値を積算した値であり、一方、積算平均値は、輝度積算値を各小領域の面積（小領域を構成する画素数（遮光領域を除いてもよい。））で規格化した値である。

さらに、図５においてハッチングで示すように、各撮像画像は、イメージサークルの中心に位置する撮像光学系間で重複していない単独領域（以下、中心領域ともいう。）と、撮像光学系間で重複する重複領域とに大きく区分される。重複領域は、イメージサークルの周辺に位置しており、以下、周辺領域ともいう。複眼条件計算部２１４は、調整にかかる計算において、入力された分割領域毎の積算値に基づき、センサ毎の単独領域と、センサ間の重複領域とを区別し評価して、この評価に応じて、複数のセンサ各々に対する調整後の露出条件パラメータを決定する。小領域が、重複領域に該当するか、単独領域に該当するかは、校正された画像中心座標値からの距離により判別することができる。

単独領域および重複領域毎に画素の平均値が計算され、この単独領域および重複領域毎の画素平均値が、撮像画像の領域毎に撮影像状態を評価する領域別評価値として、露出条件の計算に供される。なお、図５に示した態様は例示であり、領域分割の方式や分割数は特に限定されるものではない。

以下、図６〜図１０を参照しながら、本実施形態による撮像システムが実行する、露出制御について詳細を説明する。図６は、本実施形態による撮像システムが実行する、露出制御のメインフローを示すフローチャートである。

図６に示す制御は、例えば、撮像システム１０が、電源が投入されたり、モード切替が指示されたりして撮影モードに移行したことに応答して、ステップＳ１００から開始される。ステップＳ１０１では、撮像システム１０は、各センサ２００Ａ，２００Ｂからの検波完了の信号を受けたか否かに応じて制御を分岐させる。ここで、検波完了の信号は、センサが画像の読み取りを完了させ、適宜前段露出条件制御部２０２による露出条件の計算が完了したこと示す信号である。ステップＳ１０１では、検波完了の信号を受けるまでの間（ＮＯの間）、本ステップＳ１０１をループさせる。ステップＳ１０１で検波完了の信号を受けた場合（ＹＥＳ）は、ステップＳ１０２へ制御が進められる。

ステップＳ１０２では、撮像システム１０は、前段制御が有効であるか否かに応じて制御を分岐させる。ステップＳ１０２で、前段制御が有効である場合（ＹＥＳ）は、ステップＳ１０３へ制御が進められる。ステップＳ１０３では、撮像システム１０は、後段露出条件制御部２１０により、前段露出条件制御部２０２Ａ，２０２Ｂに対し、前段での露出条件の計算結果を照会し、前段で計算された露出条件パラメータを取得する。

ステップＳ１０４では、撮像システム１０は、前段安定判定部２１２により、前段露出条件制御部２０２Ａ，２０２Ｂが計算した露出条件が安定化したか否かを判定する。ステップＳ１０４で、従前の露出条件と、新しく計算された露出条件とが、基準に照らして大きく異なるため、安定化していないと判定された場合（ＮＯ）は、ステップＳ１０１へ処理をループさせる。ここでは、後段の制御に進めず、次のフレームへと制御が進められる。一方、ステップＳ１０４で、所定の収束条件が満たされ安定化したと判定された場合（ＹＥＳ）は、ステップＳ１０５へと後段の制御に進められる。

ステップＳ１０５では、撮像システム１０は、前段露出条件制御部２０２Ａ，２０２Ｂによる個別の前段制御を無効化し、ステップＳ１０６へ制御を進める。これにより、前段露出条件制御部２０２Ａ，２０２Ｂが計算した露出条件パラメータは、設定に反映されないようになり、後述する後段制御で算出されるパラメータが優先されることになる。ステップＳ１０２を再び参照すると、ステップＳ１０２で、前段制御が無効であると判定された場合（ＮＯ）は、以前のフレームでの処理により、所定の収束条件が満たされ安定化されているので、ステップＳ１０６へ直接制御が進められる。

ステップＳ１０６では、図７を参照して後述する複眼適正露出計算処理を呼び出す。複眼適正露出計算処理により複数のセンサの調整後の露出条件パラメータが決定されると、後段露出条件制御部２１０から各露出条件レジスタ設定部２０４Ａ，２０４Ｂへ、露出条件パラメータの更新の依頼が行われる。そして、ステップＳ１０１へ制御がループされ、次のフレームへと制御が進められる。決定された露出条件パラメータは、例えば固体撮像素子２２の垂直同期信号に合わせてセンサのレジスタに反映される。

図７は、本実施形態の撮像システムが実行する、複眼適正露出計算処理を示すフローチャートである。なお、以下説明する実施形態においては、便宜上、露出時間ｔおよびゲインｇのみが、制御される露出条件パラメータであるとし、残りの絞り値ａは、固定されるものとして説明する。そして、具体的な露出条件パラメータは、ゲイン１相当（ｇ_Ｘ＝１）での露出時間換算値ｅｘｐ_Ｘ（ｅｘｐ_Ｘ＝ｇ_Ｘ＊ｔ_Ｘ；ここで下付添え字のＸは、カメラを識別し、ＡまたはＢである。）として計算される露出補正値に対応して、プログラム線図に基づき求められるものとする。しかしながら、他の実施形態では、露出時間ｔ、ゲインｇおよび絞り値ａすべてを露出条件パラメータとして計算してもよいし、露出時間ｔ、ゲインｇおよび絞り値ａから選択される１または複数の任意のパラメータの組み合わせを露出条件パラメータとして計算してもよい。

図７に示す処理は、図６に示したステップＳ１０６で呼び出されて、ステップＳ２００から開始される。ステップＳ２０１では、撮像システム１０は、その前準備として、各撮像画像について算出されるオプティカル・ブラック（ＯＢ）値を、分割領域毎の積算値から減算する。各撮像画像のＯＢ値は、図４（Ａ），（Ｂ）に示したイメージサークル外の遮光領域における分割領域毎の積算値（当該フレームまたは前フレームの値）を採用することができる。

ステップＳ２０２では、撮像システム１０は、複眼条件計算部２１４により、分割領域毎の積算値を用いて、各分割領域を重複領域および単独領域に区分して積算値の平均値を算出する。領域の区分は、画像中心を校正して求め、その画像中心の座標値からの例えば小領域の中央までの距離ｒが、所定閾値ｒ１を超えたか否かにより判別することができる。説明する実施形態では、撮像画像Ａの中心に位置する単独領域（ｒ＜ｒ１）の平均値をｓＣ_Ａ、撮像画像Ｂの単独領域の平均値をｓＣ_Ｂ、撮像画像Ａの周辺に位置する重複領域（ｒ１≦ｒ＜ｒ２：ここでｒ２は、イメージサークルの外縁に対応する。）の平均値をｓＥ_Ａ、撮像画像Ｂの重複領域の平均値をｓＥ_Ｂとして定義する。

ステップＳ２０３では、撮像システム１０は、複眼条件計算部２１４により、撮像環境（シーン）の明るさ検知するため、平均値から照度値に換算する。各センサの中心領域の照度値ｂＣ_Ｘ（Ｘ＝Ａ，Ｂ）は、各センサの単独領域の積算値の平均値ｓＣ_Ｘを用いて、露光時間ｔ、アンプゲインｇ、および撮像システム１０の特性に応じた係数ｋＬｘを用いて、下記式（１）により計算することができる。係数ｋＬｘは、典型的には、実験等に基づきベンダ側で設定されるものである。なお、下記式（１）は、絞り値ａが固定される場合を示し、固定された絞り値は、係数ｋＬｘに加味されている。

中心領域の照度値ｂＣ_Ｘは、現在設定されている露出条件パラメータを用いて、実際に撮像された画像の画素値から算出された、各受光領域の明るさを評価する評価値である。なお、周辺領域の照度値ｂＥ_Ｘ（ｘ＝Ａ，Ｂ）についても、上記式（１）と同様な式により、重複領域の積算値の平均値ｓＥ_Ｘを用いて計算することができる。

ステップＳ２０４では、撮像システム１０は、複眼条件計算部２１４により、各センサの照度値ｂＣ_Ｘから暗時処理を必要とするか否かを判定する。暗時処理の要否の判定は、事前定義された照度値に対する閾値（ｄａｒｋＴｈ）を用いて行うことができる。ステップＳ２０４で、両センサ共に照度値ｂＣ_Ｘが所定閾値（ｄａｒｋＴｈ）未満となり、暗時処理が必要であると判定された場合（ＹＥＳ）は、ステップＳ２１４へ制御を進める。一方、ステップＳ２０４で、いずれかのセンサの照度値ｂＣ_Ｘが所定閾値（ｄａｒｋＴｈ）以上となり、暗時処理が不要であると判定された場合（ＮＯ）は、ステップＳ２０５へ制御を進める。

ステップＳ２０５では、撮像システム１０は、複眼条件計算部２１４により、センサ毎の露出目標レベルｔＬ_Ａ，ｔＬ_Ｂを決定する。露出目標レベルｔＬ_Ｘは、好適には、換算された照度値ｂＣ_Ｘから判別できるシーンの明るさに応じて決定することができる。図８は、照度値を露出目標レベルに対応付ける関数を示す図である。図８に示す関数は、各センサのダイナミックレンジ特性を踏まえて決定され、近似関数の係数またはテーブルとして保持される。図８に示す関数によれば、明るいシーンでは明るめに目標レベルが設定され、暗いシーンでは暗めに目標レベルが設定される。

ステップＳ２０６では、撮像システム１０は、複眼条件計算部２１４により、中心領域の平均値を上記決定された露出目標レベルに収束させるための中心領域に適用するゲイン（以下、中心ゲインと参照する。）を算出する。中心ゲインは、センサＸ（Ｘ＝Ａ，Ｂ）の中心ゲインをｕｐｄｏｗｎＣ_Ｘとし、所定の範囲（例えば、−４ＥＶ＜ｕｐｄｏｗｎＣ_Ｘ＜＋４ＥＶ）内で、下記式（２）を用いて計算することができる。所定の範囲外となった場合は、中心ゲインｕｐｄｏｗｎＣ_Ｘは、下限値（例えば−４ＥＶ）または上限値（例えば＋４ＥＶ）に制限される。

ステップＳ２０７では、撮像システム１０は、得られた中心ゲインｕｐｄｏｗｎＣ_ＡｕｐｄｏｗｎＣ_Ｂに応じて、中心ゲインｕｐｄｏｗｎＣ_Ｘが飽和を示唆する値となっているか否かを判定する。中心ゲインｕｐｄｏｗｎＣ_Ｘが極端に大きい場合は、画素平均値ｓＣ_Ｘが小さく黒飽和している可能性を示しており、反対に極端に小さい場合は、平均値ｓＣ_Ｘが大きく白飽和している可能性を示す。このため、中心ゲインｕｐｄｏｗｎＣ_Ｘが極端な場合は、露出が適正露出から大きくずれていると考えられる。そこで、ステップＳ２０７で、いずれかセンサの中心ゲインが極端に小さいまたは大きいと判定された場合（ＹＥＳ）は、ステップＳ２１３へ制御を分岐させる。つまり、中心領域の平均値ｓＣ_Ｘに対する上限閾値（ｔｈＨｉ）および下限閾値（ｔｈＬｏ）を用いて、論理条件｛ｓＣ_Ａ＞ｔｈＨｉ ＯＲ ｓＣ_Ａ＜ｔｈＬｏ ＯＲ ｓＣ_Ｂ＞ｔｈＨｉ ＯＲ ｓＣ_Ｂ＜ｔｈＬｏ｝が満たされた場合は、ステップＳ２１３へ制御を分岐される。

ステップＳ２１３では、撮像システム１０は、前段露出条件制御部２０２Ａ，２０２Ｂによる個別の前段制御を有効化し、ステップＳ２１２で、本処理を終了させ、図６に示したステップＳ１０６後の制御に戻す。

一方、ステップＳ２０７で、中心ゲインが適切であると判定された場合（ＮＯ）は、ステップＳ２０８へ制御が分岐される。ステップＳ２０８では、撮像システム１０は、複眼条件計算部２１４により、両センサの重複領域の平均値ｓＥに収束させるような重複領域に適用する周辺ゲインを算出する。周辺ゲインは、センサＸ（Ｘ＝Ａ，Ｂ）の周辺ゲインをｕｐｄｏｗｎＥ_Ｘとして、所定の範囲（例えば、−４ＥＶ＜ｕｐｄｏｗｎＥ_Ｘ＜＋４ＥＶ）内で、下記式（３）を用いて計算することができる。所定の範囲外となった場合は、周辺ゲインｕｐｄｏｗｎＥ_Ｘは、下限値（例えば−４ＥＶ）または上限値（例えば＋４ＥＶ）に制限される。

ステップＳ２０９では、撮像システム１０は、複眼条件計算部２１４により、複数のセンサ間での重複領域における積算値（属性値）の最大差分（ｍａｘＳｕｒｒｏｕｎｄＤｉｆｆ）を計算する。特定の実施形態において、全天球撮像システム１０で撮像される撮像画像は、図９に示すようにセンサＡおよびセンサＢ間で反転して一枚の画像として結合されている。上記最大差分を求める処理では、まず、両センサ間で、互い対応し合う分割領域毎に積算値の差分を計算する。図９に示すようにセンサ間で反転している場合は、結合された画像における画像中心座標をそれぞれ（ｃｘ_Ａ，ｃｙ_Ａ）および（ｃｘ_Ｂ，ｃｙ_Ｂ）として、Ｈ_ＢをセンサＢの画像幅であるとして、センサＡの位置（ｘ_Ａ，ｙ_Ａ）に対するセンサＢの相対位置（ｘ_Ｂ，ｙ_Ｂ）は、下記式で求めることができる。得られた互いに対応し合う分割領域間の差分のうちの最大の値が、上記最大差分（ｍａｘＳｕｒｒｏｕｎｄＤｉｆｆ）となる。

ステップＳ２１０では、撮像システム１０は、複眼条件計算部２１４により、重み付けをして平均処理をして、重複領域の最大差分（ｍａｘＳｕｒｒｏｕｎｄＤｉｆｆ）と、２つのセンサについて算出換算された照度値ｂＣ_Ａ，ｂＣ_Ｂとに基づいて、設定すべき露出条件パラメータを決定する。露出条件パラメータは、適切な露出補正値の変化量の上限および下限の範囲内において決定される。

露出補正値は、下記のように計算される。まず、ステップＳ２０９で計算された最大差分（ｍａｘＳｕｒｒｏｕｎｄＤｉｆｆ）と、事前設定された許容される平均値に対する許容差（ｄｉｆｆＮＧＬｅｖｅｌ）とを用いて、下記式（４）により、中心領域と周辺領域の評価の比率（ｒＣ，ｒＥ）を計算する。中心領域と周辺領域の評価の比率（ｒＣ，ｒＥ）は、中心領域および周辺領域のどちらに評価の重みを置くかを決定付ける値である。ここで、Ｒは、定数（Ｒ＝１０）である。

また、許容差（ｄｉｆｆＮＧＬｅｖｅｌ）は、撮像システム１０の特性に依存し、典型的には実験などから求められる。種々の撮影条件下で、平均値のセンサ間の差分を変化させて、片側にフレアなどによるボケが生じるか否かを判定し、これらを集計する。そして、明るさの違いが目立つ度合いを、ボケが生じる程度で表し、ボケの程度が所定の閾値を超える差分を許容差（ｄｉｆｆＮＧＬｅｖｅｌ）として採用する。

上記式（４）は、許容差（ｍａｘＳｕｒｒｏｕｎｄＤｉｆｆ＝ｄｉｆｆＮＧＬｅｖｅｌ）を境界として、重複部分のセンサ間の明るさの差異が大きい場合に、周辺領域に対する評価の比率ｒＥが大きくなるように、中心領域の比率ｒＣが小さくなるようにはたらく。一方、重複部分のセンサ間の明るさの差が許容差より小さければ、上記式（４）は、それだけ中心領域ｒＣに対する評価の比率が大きくなるように、周辺領域の比率ｒＥが小さくなるようにはたらく。

続いて、Ｂを定数（Ｂ＝１０）として、ステップＳ２０３で計算された各センサの中心領域の照度値ｂＣ_Ｘ（ｘ＝Ａ，Ｂ）を用いて、下記式（５）により、各センサに対する評価の重み（ｒ_Ａ，ｒ_Ｂ）を計算する。各センサの評価の重み（ｒ_Ａ，ｒ_Ｂ）は、いずれのセンサに評価の重みを置くかを決定付ける値である。

上記式（５）は、画像間の中心領域の明るさを比較し、中心領域において換算された照度値ｂＣ_Ｘが低い方く暗い方のセンサが重く評価されるようにはたらく。つまり、上記式（５）によれば、暗い方のセンサの評価の重みが大きくなる。

続いて、露出補正値が急激に変化しないように上限および下限のリミッタ（ｍｉｎＧａｉｎ，ｍａｘＧａｉｎ）と、緩衝パラメータｄｕｍｐｉｎｇを用いて、下記式（６）および（７）により、センサ毎に調整ゲイン（ｋ_Ａ，ｋ_Ｂ）を計算する。緩衝パラメータは、０＜ｄｕｍｐｉｎｇ≦１．０の範囲内の定数である。

上記式（６）は、中心ゲインｕｐｄｏｗｎＣ_Ｘおよび周辺ゲインｕｐｄｏｗｎＥ_Ｘが１に収束する、つまり中心領域および周辺領域の画素平均値がそれぞれ露出目標レベルおよびセンサ間の平均値ｓＥに収束する方向に、ゲインｋ_Ｘ’を決定する。また、ＣＬＩＰ（ｘ，ｍａｘ，ｍｉｎ）関数は、ｍｉｎ≦ｘ≦ｍａｘについてｘを与え、ｘ＜ｍｉｎについてｍｉｎを与え、ｘ＞ｍａｘについてｍａｘを与える関数である。したがって、上記式（７）は、上限および下限の範囲で、上記式（６）で計算された値ｋ_Ｘ’が緩衝された調整ゲイン（ｇａｉｎ（ｋ_Ｘ’），ｄｕｍｐｉｎｇ）を与える。

最後に、各センサの最終的な露出補正値（ｅｘｐ_Ａ，ｅｘｐ_Ｂ）は、下記式（８）で計算される。ここで、Ｔは、反復回数を表し、更新される露出補正値（ｅｘｐ_Ｘ ^Ｔ＋１）が、現在設定されている露出補正値（ｅｘｐ_Ｘ ^Ｔ）と、調整ゲインｋ_Ａ，ｋ_Ｂとから求められる。

更新後の露出補正値（ｅｘｐ_Ｘ ^Ｔ＋１：ゲイン１相当での露出時間換算値）が求められると、撮像システム１０の特性に応じて事前準備されたプログラム線図と呼ばれるテーブルを用いて、露出条件パラメータ（ｔ，ｇ）の組み合わせが決定される。絞り値ａも制御対象となる実施形態では、露出条件パラメータ（ｔ，ｇ，ａ）の組み合わせが決定される。したがって、上記式（６）、（７）および（８）は、中心領域および周辺領域に対する評価の重み付けの比率と、センサ間での評価の重み付けとに応じて、調整後の露出条件パラメータを与えるようにはたらく。

ステップＳ２１１では、撮像システム１０は、複眼条件計算部２１４により、決定された各センサの露出条件パラメータの設定を更新し、ステップＳ２１２で、本処理を終了させ、図６に示したステップＳ１０６以降の制御に戻す。図６および図７に示した処理を繰り返すことにより、露出条件パラメータが、センサ間の重複領域で明るさが合うような適正露出に収束される。

再びステップＳ２０４を参照すると、ステップＳ２０４で、両センサ共に照度値ｂＣ_Ｘが所定閾値（ｄａｒｋＴｈ）未満となり、暗時処理が必要であると判定された場合（ＹＥＳ）は、ステップＳ２１４へ制御が進められる。これは、両センサ共に暗時の場合は、フレア等が発生しにくく、２つの撮像画像間で露出の差が生じにくいためである。ステップＳ２１４では、撮像システム１０は、複眼条件計算部２１４により、センサ間で共通の露出目標レベルｔＬ_ＡＶＥを決定する。共通の露出目標レベルｔＬ_ＡＶＥは、好適には、換算された照度値ｂＣ_Ａ，ｂＣ_Ｂの平均値ｂＣ_ＡＶＥ（ｂＣ_ＡＶＥ＝（ｂＣ_Ａ＋ｂＣ_Ｂ）／２）から判別できるシーンの明るさに応じて決定することができる。

ステップＳ２１５では、明るい方の露出条件を、暗い方の露出条件に合わせるように各センサの露出条件パラメータを決定する。例えば、センサＢの方が暗いとき（ｂＣ_Ａ＞ｂＣ_Ｂ）は、下記式（９）により、暗い方のセンサＢに合わせて、両センサに同一の露出条件が設定される。

そして、ステップＳ２１１へ制御が進められ、撮像システム１０は、決定された各センサの露出条件パラメータの設定を更新し、ステップＳ２１２で、本処理を終了させ、図６に示したステップＳ１０６以降の制御に戻す。

なお、上述した実施形態では、ステップＳ２１３では、前段制御を有効化し、前段制御に戻す態様としている。しなしながら、ステップＳ２１３の処理は、例外処理であり、種々の態様が考えられる。他の実施形態では、前段制御に戻さず、計算された中心ゲインｕｐｄｏｗｎＣ_Ａ，ｕｐｄｏｗｎＣ_Ｂを用いて、下記式によりカメラ毎の露出補正値を直接求めてもよい。

図１０は、本実施形態の撮像システムにおいて実行される露出制御を示すシーケンス図である。図１０には、センサ毎に独立した前段露出条件制御に対応するステップと、複数のセンサを対象とした後段露出条件制御に対応するステップとが区分けされている。単眼露出補正時は、センサ２００Ａ，２００Ｂ内の前段露出条件制御部２０２Ａ，２０２Ｂによってセンサ毎に単独で露出補正が行われる。

ステップＳ３０１〜ステップＳ３０５までの処理が、１フレームの処理に対応し、同様に、ステップＳ３０６〜ステップＳ３１０までの処理が、次の１フレームの処理に対応する。ステップＳ３０１では、センサ２００Ａ，２００Ｂは、それぞれ、ＩＳＰ１０８に読出開始通知を行い、ステップＳ３０１では、センサ２００Ａ，２００Ｂは、それぞれ、ＩＳＰ１０８に読出完了通知を行う。センサ２００Ａ，２００Ｂは、それぞれ、前段の露出条件パラメータの計算が完了すると、ステップＳ３０３で、後段露出条件制御部２１０を実現するタスクに対し、検波完了通知を行う。後段露出条件制御部２１０のタスクは、ＩＳＰ１０８の割り込み信号により稼動する。

ステップＳ３０４では、後段露出条件制御部２１０は、センサ２００Ａ，２００Ｂに対し、露出条件の照会を行い、ステップＳ３０５で、各センサの露出条件パラメータを取得する。後段露出条件制御部２１０は、各センサの露出条件を取得して、後段の複眼露出補正を実施するかどうかを判定する。前段露出条件制御部２０２Ａ，２０２Ｂにより計算された露出条件パラメータは、次のフレームに対して適用される。

引き続き、ステップＳ３０６〜ステップＳ３１０およびステップＳ３１１〜ステップＳ３１５で各フレームについて同様の処理が行われ、ここでは、前段の露出制御が安定化したものとして説明を続ける。ステップＳ３１６では、次のフレームの読み出し通知が、センサ２００Ａ，２００ＢからＩＳＰ１０８に対して行われるが、ステップＳ３１８の完了通知が行われるまでの間に、後段露出条件制御部２１０は、後段の露出条件パラメータの計算を行う。ステップＳ３１７では、後段露出条件制御部２１０は、計算を完了させて、システムの制御タスクに対して計算結果とともに計算完了を通知して、露出条件パラメータの更新を依頼する。

ステップＳ３１８で、センサ２００Ａ，２００ＢからＩＳＰ１０８および制御タスクに読出完了通知が行われると、ステップＳ３１９では、制御タスクは、センサの垂直同期信号に合わせて、センサの読み出しが行われていないタイミングで、各センサのレジスタの露出条件パラメータを更新する。つまり、後段露出条件制御では、２つ先のフレームに新しい露出条件が適用される。

上記前段制御では、センサ毎に独立して高速に適正露出が得られる。一方、後段制御により、複数のセンサを対象とした、各センサの状態を考慮したより高精度の露出制御が行われる。これにより、複数の撮像光学系を用いた撮像システムにおいて、撮像光学系間で調整された精度の高い露出条件を高速に適用することができる。また、好適には、センサ毎の露出制御が収束した後に後段制御が行われるので、ＣＰＵなどのリソースの使用時間が短縮され、ひいては消費電力も削減される。また、最終的に適用される露出条件は、撮像光学系間で調整がなされているので、複数の撮像光学系による複数の撮像画像を合成した際につなぎ目で見られる明るさの不連続性が軽減され、品質の高い合成画像を提供することができる。

以上説明したように、本実施形態によれば、複数の撮像光学系を用いた撮像システムにおいて、複数の撮像光学系に対する撮像条件を得るまでに要する時間を短縮することが可能な撮像制御装置、撮像システム、撮像制御方法およびプログラムを提供することができる。

なお、上述した実施形態では、撮像制御装置の一例として、全天球の静止画を撮影する撮像システム１０を用いて説明したが、撮像制御装置は、特に限定されるものではない。他の実施形態では、全天球を動画撮影する全天球動画撮像システム（または撮像装置）、全天球を撮影する機能を備えたスマートフォン、タブレットなどの携帯情報端末、撮像システムにおいて撮像体を制御するデジタル・スチルカメラ・プロセッサ（制御装置）などとして構成することもできる。また、上述した実施形態では、前段制御および後段制御の合計２段階の露出制御としたが、３以上に拡張することを妨げるものではない。

また、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（VHSIC（Very High Speed Integrated Circuits） Hardware Description Language））、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０…撮像システム、１２…撮像体、１４…筐体、１８…シャッター・ボタン、２０…結像光学系、２２…固体撮像素子、１００…デジタル・スチルカメラ・プロセッサ、１０２…鏡胴ユニット、１０８…ＩＳＰ、１１０…ＤＭＡＣ、１１２…アービタ（ＡＲＢＭＥＭＣ）、１１４…ＭＥＭＣ、１１８…歪曲補正・画像合成ブロック、１２０…３軸加速度センサ、１２２…ＤＭＡＣ、１２４…画像処理ブロック、１２６…画像データ転送部、１２８…ＳＤＲＡＭＣ、１３０…ＣＰＵ、１３２…リサイズブロック、１３４…ＪＰＥＧブロック、１３６…Ｈ．２６４ブロック、１３８…ＳＤＲＡＭ、１４０…メモリカード制御ブロック、１４２…メモリカードスロット、１４４…フラッシュＲＯＭ、１４６…ＵＳＢブロック、１４８…ＵＳＢコネクタ、１５０…ペリフェラル・ブロック、１５２…音声ユニット、１５４…スピーカ、１５６…マイク、１５８…シリアルブロック、１５８…シリアルブロック、１６０…無線ＮＩＣ、１６２…ＬＣＤドライバ、１６２…ＬＣＤドライバ、１６４…ＬＣＤモニタ、１６６…電源スイッチ、１６８…ブリッジ、２００…センサ、２０２…前段露出条件制御部、２０４…露出条件レジスタ設定部、２１０…後段露出条件制御部、２１２…前段安定判定部、２１４…複眼条件計算部、２２０…ホワイトバランス計算部

特開平１１−３４１３４２号公報

Claims (10)

1. 複数の撮像光学系に対する撮像条件を与える撮像制御装置であって、
   それぞれ撮像光学系毎に独立して撮像条件を計算する、複数の独立撮像条件計算手段と、
   前記独立撮像条件計算手段による計算結果の下、前記撮像光学系各々により撮像された複数の撮像画像に基づき、前記撮像光学系間で調整された、前記複数の撮像光学系に対する調整後の撮像条件を計算する調整撮像条件計算手段と
   を含む、撮像制御装置。
2. 前記独立撮像条件計算手段による撮像条件が安定化されたか否かを判定する判定手段をさらに含み、前記調整撮像条件計算手段は、前記判定手段により、安定化されたと判定された場合に、前記独立撮像条件計算手段により計算された撮像条件を初期条件として、調整にかかる計算を開始する、請求項１に記載の撮像制御装置。
3. 前記調整撮像条件計算手段は、前記複数の撮像画像を構成する、前記撮像光学系毎の単独領域と、前記撮像光学系間の重複領域とに対し、撮影状態を評価する領域別評価値を計算する手段をさらに含み、前記調整撮像条件計算手段は、前記単独領域および前記重複領域の前記領域別評価値に基づき、前記複数の撮像光学系各々に対する調整後の撮像条件を計算することを特徴とする、請求項１または２に記載の撮像制御装置。
4. 前記調整撮像条件計算手段は、さらに、
   前記撮像画像間の前記重複領域の画像の属性値の差に基づき前記重複領域および前記単独領域に対する評価の重み付けを計算する手段と、
   前記撮像画像間の明るさの比較に基づき、前記撮像画像間での評価の重み付けを計算する手段と
   を含み、前記調整撮像条件計算手段は、前記重複領域および前記単独領域に対する評価の重み付けと、前記撮像画像間での評価の重み付けとに応じて、前記調整後の撮像条件を計算することを特徴とする、請求項３に記載の撮像制御装置。
5. 前記調整撮像条件計算手段による計算中、前記独立撮像条件計算手段の計算が無効化されており、不適当な撮像条件の計算結果を示す事前定義された条件が成立した場合には、前記調整撮像条件計算手段の計算が無効化されるとともに、前記独立撮像条件計算手段の計算が再度有効化される、請求項１〜４のいずれか１項に記載の撮像制御装置。
6. 前記撮像条件は、絞り、露光時間およびゲインの少なくとも１つを含む、請求項１〜５のいずれか１項に記載の撮像制御装置。
7. 複数の撮像光学系と、請求項１〜６のいずれか１項に記載の撮像制御装置とを含む、撮像システム。
8. 複数の撮像光学系に対する撮像条件を与える撮像制御方法であって、撮像制御装置が、
   それぞれ撮像光学系毎に独立して撮像条件を計算する独立計算ステップと、
   前記独立計算ステップでの計算結果の下、前記撮像光学系各々に対し撮像させる撮像ステップと、
   前記撮像光学系各々により撮像された複数の撮像画像に基づき、前記撮像光学系間で調整された、前記複数の撮像光学系に対する調整後の撮像条件を計算する調整計算ステップと
   を実行する、撮像制御方法。
9. 前記独立計算ステップによる撮像条件が、安定化されたか否かを判定する判定ステップをさらに含み、前記調整計算ステップは、
   前記判定ステップで安定化されたと判定された場合に、前記独立計算ステップで計算された撮像条件を初期条件として撮像された前記複数の撮像画像を構成する、前記撮像光学系毎の単独領域と、前記撮像光学系間の重複領域とに対し、撮影状態を評価する領域別評価値を計算するサブステップと、
   前記単独領域および前記重複領域の前記領域別評価値に基づき、前記複数の撮像光学系各々に対する調整後の撮像条件を計算するサブステップと、
   を含む、請求項８に記載の撮像制御方法。
10. 撮像制御装置を、
    それぞれ複数の撮像光学系のうちの各撮像光学系毎に独立して撮像条件を計算する、複数の独立撮像条件計算手段、および
    前記独立撮像条件計算手段による計算結果の下、前記撮像光学系各々により撮像された複数の撮像画像に基づき、前記撮像光学系間で調整された、前記複数の撮像光学系に対する調整後の撮像条件を計算する調整撮像条件計算手段
    として機能させるためのプログラム。