JP2019080243A - 撮像装置、撮像装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】高品位の合成画像を生成可能にすることを課題とする。【解決手段】第一の撮像部（１１０）は、撮影範囲の一部が重なるように配置された複数の撮像部（１１１ａ〜１１１ｄ）を有し、それら撮像部（１１１ａ〜１１１ｄ）で撮影した各画像を合成処理部（１１５）でつなぎ合わせて合成して合成画像を生成する。第二の撮像部（１２０）は、第一の撮像部（１１０）による撮影範囲の一部を撮影する。制御部（１３０）は、第二の撮像部（１２０）の状態と第二の撮像部（１２０）で撮影した画像に含まれる情報との、少なくとも一方に基づいて、複数の撮像部（１１１ａ〜１１１ｄ）の露出レベルを制御する。【選択図】図２

Description

本発明は、監視カメラなどに使用される技術に関する。

近年、並べて配置された複数のカメラで撮影した画像を合成することで、単一のカメラを使用した場合よりも広い撮影範囲の画像を取得することができる撮像装置が提案されている（例えば、特許文献１）。

特開２００７−６２８５号公報

特許文献１に記載の撮像装置では、複数のカメラ各々が独自に露出条件を設定している。この時、複数のカメラ各々が画像から被写体の明るさを検出し、適正な露出レベルを設定する、ＡＥ（ＡＵＴＯ ＥＸＰＯＳＵＲＥ）処理を行った場合、合成した画像のつなぎ目に信号レベルの差が発生し、不自然で低品位な合成画像となってしまうことがある。また、つなぎ合わせる複数の画像間で信号レベル差が大きい場合、合成処理時の位置合わせ精度も低下し、二重像や画像欠け（オクルージョン）といった現象が発生しやすくなり、合成画像の品位が低くなることがある。

一方、複数のカメラ各々に対して共通の露出条件を設定した場合、合成した画像のつなぎ目の不自然さが減少し、位置合わせ精度も向上する。しかしながら、各々のカメラが担当する撮影領域毎の照度差が大きい場合、明るい領域や暗い領域での被写体の視認性が低下した低品位の合成画像になってしまうことがある。

そこで、本発明は、高品位の合成画像を生成可能にすることを目的とする。

本発明に係る撮像装置は、撮影範囲の一部が重なるように配置された複数の撮像部を有し、前記複数の撮像部で撮影した各画像をつなぎ合わせて合成した合成画像を生成する第一の撮像手段と、前記第一の撮像手段による撮影範囲の一部を撮影する第二の撮像手段と、前記第二の撮像手段の状態と第二の撮像手段で撮影した画像に含まれる情報との、少なくとも一方に基づいて、前記複数の撮像部の露出レベルを制御する制御手段と、を有することを特徴とする。

本発明によれば、高品位の合成画像を生成可能となる。

実施形態の撮像装置の概略外観と内部配置例を示す図である。 実施形態の撮像装置の機能ブロック図である。 露出レベル制御方法、信号レベル段差、画像視認性の関係を示す図である。 第二の撮像部の状態と詳細画像と広角画像との関係を示す図である。 つなぎ目の方向を説明する図である。 本実施形態の撮像装置のハードウェア構成例を示す図である。 本実施形態のクライアント装置のハードウェア構成例を示す図である。

以下、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
＜実施形態の撮像装置の概略構成＞
図１（ａ）および図１（ｂ）と図２は、本実施形態に係る撮像装置の概略構成を示す図である。なお、以降の各図において図１（ａ）、図１（ｂ）、図２の各構成要素と同一の機能または対応した部分には同一の参照番号を付して、それらに関する繰り返しの説明は省略する。
図１（ａ）および図１（ｂ）は、本実施形態の撮像装置の概略的な構成例を示した図である。図１（ａ）は、撮像装置１００を斜めから見た俯瞰図、図１（ｂ）は撮像装置１００を上側（＋Ｚ軸側）から見た配置図である。また、図２は、本実施形態の撮像装置の内部構成を示した機能ブロック図である。

撮像装置１００は、広画角の撮影範囲を撮像した撮像信号（広角画像１０１とする。）を取得する第一の撮像部１１０と、第一の撮像部１１０の撮影範囲の一部を撮影した撮像信号（詳細画像１０２とする。）を取得する第二の撮像部１２０と、を有する。また、撮像装置１００は、第一の撮像部１１０および第二の撮像部１２０の動作を制御する制御部１３０、広角画像１０１および詳細画像１０２を外部に転送する転送部１４０などを備えている。

転送部１４０は、有線または無線などのネットワークを介して、外部のクライアント装置に接続されており、広角画像１０１、詳細画像１０２を、スイッチで切り替えることによって、同一のネットワークに対して順番に転送可能となされている。外部のクライアント装置は、撮像装置１００を制御するコマンドを、ネットワークを介して撮像装置１００に送信する。撮像装置１００は、そのコマンドを転送部１４０により受信し、当該コマンドに対するレスポンスをクライアント装置に送信する。クライアント装置は、ＰＣ（パーソナルコンピュータ）などの外部機器であり、ネットワークは、有線ＬＡＮ、無線ＬＡＮ等により構成されている。撮像装置１００は、ネットワークを介して外部から電源が供給される構成となっていてもよい。

＜第一の撮像部：多眼広角カメラ＞
第一の撮像部１１０は、それぞれ撮影範囲の一部が重複するように配置された複数の撮像部１１１ａ、１１１ｂ、１１１ｃ、１１１ｄを有する。撮像装置１００は、これら撮像部１１１ａ〜１１１ｄで取得した各画像を、合成処理部１１５においてつなぎ合わせて合成する。そして、合成処理部１１５による合成画像が、第一の撮像部１１０から広角画像１０１として出力される。具体的には、合成処理部１１５は、隣接する複数の撮像部（例えば撮像部１１１ａと撮像部１１１ｂ等）で取得した画像の重複部分をずらしながら相関係数を求め、いわゆるパターンマッチングの技術を適用することで複数の画像間の位置ずらし量を求める。そして、合成処理部１１５は、位置ずらし量に応じて複数の画像間の位置を調整し、それら位置調整を行った複数の画像をつなぎ合わせるように合成することにより、広角画像１０１を生成する。

複数の撮像部１１１ａ〜１１１ｄは、各々対応した結像光学系１１２ａ〜１１２ｄと固体撮像素子１１３ａ〜１１３ｄおよび測光値取得部１１４ａ〜１１４ｄを有している。複数の撮像部１１１ａ〜１１１ｄは、それぞれ結像光学系１１２ａ〜１１２ｄを介して被写体像を固体撮像素子１１３ａ〜１１３ｄ上に結像させることで画像を取得する。各々の固体撮像素子１１３ａ〜１１３ｄの駆動および固体撮像素子１１３ａ〜１１３ｄからの信号読み出し動作は、制御部１３０によって制御されている。

測光値取得部１１４ａ〜１１４ｄは、それぞれ対応した固体撮像素子１１３ａ〜１１３ｄから読み出された画素信号を用い、各々の撮像部１１１ａ〜１１１ｄが撮影した画像の平均的な信号レベルである測光値を取得する。これら測光値取得部１１４ａ〜１１４ｄにて取得された測光値は、制御部１３０に転送される。制御部１３０は、転送されてきた測光値に基づいて固体撮像素子１１３ａ〜１１３ｄの各画素における電荷蓄積時間を制御することで、各々の撮像部１１１ａ〜１１１ｄの露出レベルを制御する。露出レベル制御の詳細については後述する。

＜第二の撮像部：単眼望遠カメラ＞
第二の撮像部１２０は、単一の撮像部１２１から構成され、結像光学系１２２、固体撮像素子１２３、撮影方向を変更可能な駆動機構１２４、撮影画角を変更可能なズーム機構１２５、および合焦位置を変更可能なフォーカス機構１２６を有する。また、撮像装置１００は、撮影された画像から、特定の被写体の検出およびその動き情報を取得する信号処理部１２７を有している。信号処理部１２７は、第二の撮像部１２０で取得した詳細画像１０２から、特定の被写体の検出およびその動き情報を取得する。なお、信号処理部１２７は、広角画像１０１から被写体の検出と動き情報を取得することも可能となされている。第二の撮像部１２０においても第一の撮像部１１０と同様に、固体撮像素子１２３の駆動および固体撮像素子１２３からの信号読み出し動作は、制御部１３０によって制御される。

駆動機構１２４はモーターとギアを備え、モーターを駆動する電力が制御部１３０により制御されることで、撮像部１２１を特定の回転軸の周りに回転できるような構成となされている。なお、駆動機構１２４は、モーターを複数設けることで複数の回転軸を有する構成となされていてもよい。ズーム機構１２５は、同じくモーターとギアを備え、結像光学系１２２の内の一部のレンズを光軸方向に移動することでズーム比を変化させる。また、フォーカス機構１２６は、同じくモーターとギアを備え、結像光学系１２２の内の一部のレンズを光軸方向に移動することで合焦位置を変化させる。

信号処理部１２７は、第二の撮像部１２０から順次送られてくる複数フレームの詳細画像１０２のフレーム間の差分を検出することで、被写体の動きベクトルを検出する。そして、撮像装置１００では、信号処理部１２７で検出した特定被写体の動きベクトルを用いて、第二の撮像部１２０の撮影方向を制御することで、特定被写体の追尾を行うことができる。第二の撮像部１２０の撮影方向の制御は、制御部１３０によって駆動機構１２４を制御することにより行われる。なお、信号処理部１２７は、合成処理部１１５からの複数フレームの広角画像１０１のフレーム間の差分を検出することで、被写体の動きベクトルを検出することも可能となされている。なお、追尾対象とする被写体は、監視対象としたい被写体であり、一般に人物や車などである。

＜露出レベルと取得する画像の関係説明＞
ここで、撮像部１１１ａ〜１１１ｄの測光値取得部１１４ａ〜１１４ｄで取得された測光値がほぼ等しくなるように、撮像部１１１ａ〜１１１ｄの固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を設定したとする。この場合、撮像部１１１ａ〜１１１ｄの測光値取得部１１４ａ〜１１４ｄで取得された測光値が全て等しい場合を除き、撮像部１１１ａ〜１１１ｄ各々が撮影した画像間では信号レベルに差が生じることになる。このように、撮像部１１１ａ〜１１１ｄで撮影された各画像間で信号レベルに差が生じている場合、合成処理後の広角画像１０１には、各画像のつなぎ目の部分で不自然な信号レベルの段差が発生しやすくなる。また、複数の撮像部１１１ａ〜１１１ｄのうち例えば隣接する撮像部（例えば撮像部１１１ａと撮像部１１１ｂ）による画像間の信号レベルの差が大きい場合、合成処理の際のパターンマッチングで求められる画像の位置ずらし量の精度は低下してしまう。そして、画像間の位置ずらし量の精度が低いと、例えばつなぎ目の部分で二重像や画像欠け（オクルージョン）といった現象が発生しやすくなってしまう。図３（ａ）の例は、隣接した撮像部１１１ａと撮像部１１１ｂとでそれぞれ撮影された画像の信号レベルを表している。図３（ａ）に示すように、撮像部１１１ａにて撮影された画像と、撮像部１１１ｂにて撮影された画像との間では、信号レベルの差に大きく段差が生じている。

一方、合成処理が行われる前の、撮像部１１１ａ〜１１１ｄで撮影された各画像は、図３（ａ）に示すように、撮像部１１１ａ〜１１１ｄの各々が画像の明るさに応じた露出レベルに設定されて撮影された画像となっている。つまり、撮像部１１１ａでは画像の明るさに応じた露出レベルで撮影が行われるため、その撮影された画像のなかでは、明るい領域や暗い領域の視認性は高くなっている。同様に、撮像部１１１ｂにおいても、画像の明るさに応じた露出レベルで撮影が行われるため、その撮影された画像のなかでは、明るい領域や暗い領域の視認性は高くなっている。したがって、それら撮像部１１１ａと撮像部１１１ｂで撮影された画像を合成処理した後の広角画像は、明るい領域や暗い領域の視認性が高い画像となる。しかしながら、前述のように撮像部１１１ａと撮像部１１１ｂとの画像間では信号レベル差が大きく段差が生ずることがあり、この場合、合成処理後の広角画像は、つなぎ目部分が不自然になったり、二重像や画像欠けが生じたりして低品位の画像になる。

これに対し、例えば固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間をほぼ等しくした場合、撮像部１１１ａ〜１１１ｄ各々が撮影した画像間の信号レベル差は少なくなる。そのため、合成処理後の広角画像において、画像のつなぎ目の部分の不自然な信号レベルの段差や、二重像や画像欠けが生ずる確率は低くなる。すなわち、合成処理後の広角画像は、不自然さのない高品位な画像となる可能性が高い。一方、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しくすると、撮像部１１１ａ〜１１１ｄの測光値が全て等しい場合を除き、撮像部１１１ａ〜１１１ｄで撮影された各画像は、適切ではない露出レベルで撮影された画像になる可能性が高い。つまり、画像の明るさに応じた最も被写体を視認しやすい適切な露出レベルとは異なる露出レベルで撮影された画像になる可能性が高い。この場合、合成処理後の広角画像は、明るい領域や暗い領域での視認性が低下した低品位の画像になりやすくなる。図３（ｂ）の例は、隣接した撮像部１１１ａと撮像部１１１ｂとでそれぞれ撮影された画像間の信号レベルを表している。図３（ｂ）は、撮像部１１１ａと撮像部１１１ｂの電荷蓄積時間を等しくしたことで、それら撮像部１１１ａと撮像部１１１ｂで撮影された各画像が共に適切ではない露出レベルの画像になっている例を示している。この図３（ｂ）のように、適切ではない露出レベルの画像を合成処理した場合、明るい領域や暗い領域での視認性が低下した低品位の広角画像になってしまう。ただし、撮像部１１１ａ〜１１１ｄの測光値が等しくなるように、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を設定した場合には、明るい領域や暗い領域の視認性が向上した高品位の広角画像を得ることができるようになる。

前述したように、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しくした場合には、合成処理で自然な広角画像を取得できるが、一方で、明るい領域や暗い領域での視認性が低下した広角画像になってしまう可能性がある。また、撮像部１１１ａ〜１１１ｄで取得される測光値が等しくなるように固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を設定した場合には、明るさの視認性を高められるが、画像間の信号レベル差が生じてつなぎ目が不自然になる可能性がある。

＜露出レベル制御の概要＞
そこで、本実施形態の撮像装置１００は、つなぎ目部分の信号レベル差を低減した自然な広角画像を取得するか、または、明るい領域や暗い領域での視認性を向上させた広角画像を取得するかによって、撮像部１１１ａ〜１１１ｄの露出レベルを制御する。
本実施形態の撮像装置１００は、第二の撮像部１２０の状態と詳細画像１０２に含まれる情報との、少なくとも一方に基づいて、第一の撮像部１１０のなかの複数の撮像部１１１ａ〜１１１ｄの露出レベルを制御している。例えば広角画像１０１の明るい領域や暗い領域の視認性を向上させる場合、制御部１３０は、第一の撮像部１１０の測光値取得部１１４ａ〜１１４ｄで取得した測光値が等しくなるように、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を設定する。また、複数の撮像部１１１ａ〜１１１ｄで撮像された各画像のつなぎ目の信号レベル差を低減して不自然さのない高品位な広角画像１０１を取得する場合、制御部１３０は、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しくする。固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しくする場合、制御部１３０は、撮像部１１１ａ〜１１１ｄの測光値取得部１１４ａ〜１１４ｄで取得した測光値の平均値を基に、電荷蓄積時間を決定する。

まず、本実施形態における露出レベル制御の基本的な着想について説明する。
例えば、ユーザーが広角画像全体を俯瞰することを望んでいる場合には、合成したときにつなぎ目部分などが自然な（不自然でない）広角画像を取得できることが好ましいと考えられる。一方、例えば特定の被写体の追尾が行われているような場合には、広角画像全体を自然な画像として俯瞰するよりも、明るい領域や暗い領域での視認性を向上させて被写体を見失わないようにすることが好ましいと考えられる。

また、本実施形態の撮像装置１００において、第二の撮像部１２０により撮影される画像は、第一の撮像部１１０の複数の撮像部１１１ａ〜１１１ｄによる撮影範囲の一部を撮影した詳細画像１０２となっている。言い換えると、第二の撮像部１２０は第一の撮像部１１０よりも相対的に画角の狭い望遠カメラであり、詳細画像１０２は広角画像１０１の一部を拡大した画像に相当する。このため、例えば特定の被写体の追尾を行う場合には、主として、第二の撮像部１２０により撮影された詳細画像１０２を用いた追尾動作が行われることになる。また、第二の撮像部１２０にて撮影された詳細画像１０２を用いた追尾動作中に被写体を見失った場合、当該見失った被写体を再度発見する際には広角画像１０１が使用されることになる。つまり、広角画像１０１は、追尾動作中に被写体を見失った場合のバックアップ画像としても使用される。

このように、広角画像１０１には、全体を俯瞰するための画像として使用される場合と、追尾動作のバックアップ画像として使用される場合の、少なくとも二つの用途があると考えられる。また、広角画像１０１が、全体を俯瞰するための画像として使用されるか、または、追尾動作のバックアップ画像として使用されるのかは、撮像装置１００において特定の被写体の追尾動作が行われるかによって、判断することができる。つまり、撮像装置１００にて追尾動作が行われる場合には広角画像１０１がバックアップ画像として用いられ、追尾動作が行われていない場合には広角画像１０１が全体の俯瞰用の画像として用いられると判断できる。また、広角画像１０１は、全体の俯瞰用の画像として用いる場合には合成処理で不自然にならない画像であることが望ましく、一方、追尾動作のバックアップ画像として用いる場合には明るい領域や暗い領域での視認性を向上させた画像であることが望ましい。

そして、合成処理で不自然にならない広角画像１０１、または明るい領域や暗い領域の視認性を向上させた広角画像１０１を取得するには、第一の撮像部１１０の複数の撮像部１１１ａ〜１１１ｄにおける撮像時の露出レベルを適切に制御すればよい。このため、本実施形態の撮像装置１００は、特定の被写体の追尾動作が行われるかどうかを判断し、その判断結果に基づいて、第一の撮像部１１０の複数の撮像部１１１ａ〜１１１ｄにおける撮像時の露出レベルを適切に制御するようになされている。具体的には、撮像装置１００は、第一の撮像部１１０の各固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しく制御することで、合成処理後につなぎ目等が自然な広角画像１０１を生成する。また、撮像装置１００は、測光値取得部１１４ａ〜１１４ｄで取得される測光値が等しくなるように、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を設定することで、明るい領域や暗い領域の視認性を向上させた広角画像１０１を取得する。

＜追尾動作を行うか否かの判断＞
図４は、本実施形態の撮像装置１００において、第二の撮像部１２０の状態と、詳細画像１０２に含まれる情報と、取得したい広角画像１０１との対応表を示した図である。図４には、第二の撮像部１２０で取得された詳細画像１０２を用いた追尾動作が行われるか否かを判断するための具体的な項目として、項目Ａ〜項目Ｉが例示されている。本実施形態の撮像装置１００の制御部１３０は、図４に示した対応表を参照することで、追尾動作が行われるか否かを判断し、その判断結果を基に、第一の撮像部１１０の複数の撮像部１１１ａ〜１１１ｄの露出レベルを適切に制御する。

図４の対応表において、項目Ａは、例えばクライアント装置を介してユーザーから入力される、自動追尾動作命令の有無を示す項目である。制御部１３０は、項目Ａを参照することにより、クライアント装置から自動追尾動作命令を受け取っていない場合には広角画像１０１が全体を俯瞰する画像として用いられると判断する。そしてこの時の制御部１３０は、第一の撮像部１１０の各固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しく制御する。これにより、合成処理後の広角画像１０１は、つなぎ目等が自然な画像となる。一方、制御部１３０は、項目Ａを参照し、クライアント装置から自動追尾動作命令を受け取っている場合には特定の被写体等の追尾が行われていると判断する。そしてこの時の制御部１３０は、測光値取得部１１４ａ〜１１４ｄで取得される測光値が等しくなるように、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を設定する。これにより、広角画像１０１は、明るい領域や暗い領域の視認性を向上させた画像となる。

図４の対応表において、項目Ｂは、第二の撮像部１２０の状態の変化を示す項目の一つであり、第二の撮像部１２０の撮影方向の単位時間当たりの変化の大きさに関する項目である。制御部１３０は、第二の撮像部１２０の駆動機構１２４の駆動情報を基に、第二の撮像部１２０の撮影方向の単位時間当たりの変化の大きさを取得する。ここで例えば、第二の撮像部１２０の撮影方向の単位時間当たりの変化が大きい場合、ユーザーは、主として第二の撮像部１２０で撮影した詳細画像１０２を注視している、つまり特定の被写体等の追尾動作が行われていると考えられる。制御部１３０は、項目Ｂを参照し、第二の撮像部１２０の撮影方向の単位時間当たりの変化が大きい（例えば撮影方向変化用の所定の閾値より大きい）場合には特定の被写体等の追尾が行われていると判断する。この時の制御部１３０は、測光値取得部１１４ａ〜１１４ｄで取得される測光値が等しくなるように、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を設定する。一方、制御部１３０は、項目Ｂを参照して、第二の撮像部１２０の撮影方向の単位時間当たりの変化が小さい（例えば撮影方向変化用の所定の閾値未満）場合には広角画像１０１が全体を俯瞰する画像として用いられると判断する。この時の制御部１３０は、各固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しく制御する。

図４の対応表において、項目Ｃと項目Ｄは、第二の撮像部１２０の状態の変化を示す項目の一つである。項目Ｃは、第二の撮像部１２０における撮影画角（ズーム状態）の単位時間当たりの変化の大きさに関する項目であり、項目Ｄは、第二の撮像部１２０における合焦位置（フォーカス状態）の単位時間当たりの変化の大きさに関する項目である。制御部１３０は、第二の撮像部１２０のズーム機構１２５の駆動情報を基に、第二の撮像部１２０のズーム状態の単位時間当たりの変化の大きさを取得する。また、制御部１３０は、第二の撮像部１２０のフォーカス機構１２６の駆動情報を基に、第二の撮像部１２０のフォーカス状態の単位時間当たりの変化の大きさを取得する。ここで例えば、第二の撮像部１２０におけるズーム状態やフォーカス状態の単位時間当たりの変化が大きい場合、ユーザーは、主として詳細画像１０２を注視しており、特定の被写体等の追尾動作が行われていると考えられる。制御部１３０は、項目Ｃを参照し、第二の撮像部１２０のズーム状態の単位時間当たりの変化が大きい（例えばズーム変化用の所定の閾値より大きい）場合には追尾動作が行われていると判断する。一方、制御部１３０は、項目Ｃを参照して、第二の撮像部１２０のズーム状態の単位時間当たりの変化が小さい（例えばズーム変化用の所定の閾値未満）場合には広角画像１０１が全体を俯瞰する画像として用いられると判断する。また、制御部１３０は、項目Ｄを参照し、第二の撮像部１２０のフォーカス状態の単位時間当たりの変化が大きい（例えばフォーカス変化用の所定の閾値より大きい）場合には追尾動作が行われていると判断する。一方、制御部１３０は、項目Ｄを参照して、第二の撮像部１２０のフォーカス状態の単位時間当たりの変化が小さい（例えばフォーカス変化用の所定の閾値未満）場合には広角画像１０１が全体を俯瞰する画像として用いられると判断する。そして、制御部１３０は、ズーム状態やフォーカス状態の単位時間当たりの変化が大きいと判断した場合には、測光値取得部１１４ａ〜１１４ｄで取得される測光値が等しくなるように、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を設定する。一方、制御部１３０は、ズーム状態やフォーカス状態の単位時間当たりの変化が小さいと判断した場合には、各固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しく制御する。

図４の対応表において、項目Ｅは、第二の撮像部１２０で撮影した詳細画像１０２に含まれる情報を示す項目の一つであり、詳細画像１０２のなかで特定被写体が検出されたか否かを示す項目である。制御部１３０は、第二の撮像部１２０の信号処理部１２７により検出された被写体の動きベクトルを基に、特定被写体が検出されたか否かを判断する。なお、特定被写体とは、前述したように、人物や車など、監視対象としたい被写体である。ここで、詳細画像１０２のなかで特定被写体が検出された場合、ユーザーは、詳細画像１０２を注視しており、特定の被写体等の追尾動作が行われていると考えられる。制御部１３０は、項目Ｅを参照し、詳細画像１０２のなかで特定被写体が検出されている場合には追尾動作が行われていると判断する。一方、制御部１３０は、詳細画像１０２のなかで特定被写体が検出されていない場合には追尾動作が行われていない、もしくは、特定被写体を見失ったと判断する。なお特定被写体が検出されていない場合とは、詳細画像１０２として例えば空や地面などの背景のみが写っているような状態であり、この場合、詳細画像１０２を用いた追尾動作が行われていないか、もしくは、特定被写体を見失ってしまった可能性が高い。そして、制御部１３０は、特定被写体が検出されていると判断した場合には、測光値取得部１１４ａ〜１１４ｄで取得される測光値が等しくなるように、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を設定する。一方、制御部１３０は、特定被写体が検出されていないと判断した場合には、各固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しく制御する。

本実施形態の撮像装置１００の制御部１３０は、図４の項目Ａ〜項目Ｅを参照することにより、追尾動作が行われているか否かを判断し、その判断結果を基に、第一の撮像部１１０の複数の撮像部１１１ａ〜１１１ｄの露出レベルを制御している。これにより、追尾動作が行われていると判断された場合、広角画像１０１は、明るい領域や暗い領域の視認性が向上した画像となり、追尾動作のバックアップ画像として使用し易くなる。一方、追尾動作が行われていないと判断された場合、広角画像１０１は、合成処理の際のつなぎ目等が不自然でない自然な画像として取得され、この広角画像１０１は例えば俯瞰する際に見やすい画像となる。

＜追尾動作中に被写体を見失う確率に基づく露出レベル制御の例＞
本実施形態の撮像装置１００は、第二の撮像部１２０による詳細画像１０２を用いた追尾動作が行われている場合において被写体を見失う確率を求め、その確率を基に、広角画像１０１を追尾動作のバックアップに使用し易い画像にするか否かを決めてもよい。例えば、本実施形態の撮像装置１００は、追尾動作を行っている最中に被写体を見失ってしまう確率が高い場合、広角画像１０１を、明るい領域や暗い領域の視認性が向上した画像にして追尾動作のバックアップ画像として使用し易くする。これに対し、本実施形態の撮像装置１００は、被写体を見失う確率が低い場合には、広角画像１０１を追尾動作のバックアップ画像ではなく、合成処理の際のつなぎ目等が自然な画像にして、全体を俯瞰するための画像として使用し易くする。

ここで、追尾動作中に被写体を見失う場合とは、例えば、追尾動作中に撮像装置１００に振動などの外乱が加えられたことで、被写体が第二の撮像部１２０の画角外に移動してしまうことで起きることが多いと考えられる。また、被写体が第二の撮像部１２０の画角外に移動してしまう状態は、例えば第二の撮像部１２０の画角が狭い場合や、詳細画像１０２の中の被写体が大きい場合に、起こり易いと考えられる。このため、本実施形態では、第二の撮像部１２０の撮影画角や、詳細画像１０２の中の被写体の大きさを基に、被写体を見失う確率を判断し、その確率を基に、広角画像１０１を追尾動作のバックアップ画像として使用し易くするか否かを決定する。

図４の対応表において、項目Ｆは、第二の撮像部１２０の状態の変化を示す項目の一つであり、第二の撮像部１２０における撮影画角（ズーム状態）を示す項目である。制御部１３０は、前述したように、第二の撮像部１２０のズーム機構１２５の駆動情報を基に、第二の撮像部１２０の撮影画角（ズーム状態）の情報を取得する。そして、制御部１３０は、項目Ｆを参照し、第二の撮像部１２０の撮影画角が狭い（例えば撮影画角用の所定の閾値未満）場合、追尾動作で被写体を見失う確率が高いと判断する。この場合、制御部１３０は、測光値取得部１１４ａ〜１１４ｄで取得される測光値が等しくなるように、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を設定する。一方、制御部１３０は、項目Ｆを参照し、第二の撮像部１２０の撮影画角が広い（例えば撮影画角用の所定の閾値より広い）場合には、追尾動作で被写体を見失う確率が低いと判断する。この場合、制御部１３０は、各固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しく制御する。

また、図４の対応表において、項目Ｇは、第二の撮像部１２０で撮影した詳細画像１０２に含まれる情報を示す項目の一つであり、詳細画像１０２のなかで検出された被写体の大きさに関する項目である。制御部１３０は、前述したように、第二の撮像部１２０の信号処理部１２７で検出された動きベクトルを基に被写体を検出し、さらにその検出した被写体領域を構成する画素数などから被写体の大きさを判断する。そして、制御部１３０は、項目Ｇを参照し、詳細画像１０２のなかの被写体が大きい（例えば大きさ用の所定の閾値より大きい）場合、追尾動作で被写体を見失う確率が高いと判断する。この場合、制御部１３０は、測光値取得部１１４ａ〜１１４ｄで取得される測光値が等しくなるように、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を設定する。一方、制御部１３０は、項目Ｇを参照し、詳細画像１０２のなかの被写体の大きさが小さい（例えば大きさ用の所定の閾値未満）場合には、追尾動作で被写体を見失う確率が低いと判断する。この場合、制御部１３０は、各固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しく制御する。

＜注視部分に応じた露出レベル制御の例＞
本実施形態の撮像装置１００は、第二の撮像部１２０の撮影方向によって、ユーザーが広角画像１０１のうちどの部分を注視しているかを判断して、第一の撮像部１１０の複数の撮像部１１１ａ〜１１１ｄの露出レベルを制御してもよい。
前述したように、広角画像１０１のなかで、不自然な信号レベルの段差、二重像や画像欠けが発生する部分は、複数の撮像部１１１ａ〜１１１ｄで撮影した画像のつなぎ目の部分である。したがって、ユーザーが広角画像１０１のうち、つなぎ目の部分を注視している場合には、不自然な信号レベルの段差、二重像や画像欠けの発生をなるべく抑制することが好ましい。一方、ユーザーが広角画像１０１のうち、つなぎ目以外の部分を注視している場合には、当該つなぎ目以外の部分の視認性を向上させる方が好ましい。そして、ユーザーが注視している方向は、第二の撮像部１２０による詳細画像１０２の方向、つまり第二の撮像部１２０の撮像方向である可能性が高いと考えられる。

このため、本実施形態の撮像装置１００は、第二の撮像部１２０の撮影方向が、第一の撮像部１１０の複数の撮像部１１１ａ〜１１１ｄによる各画像のつなぎ目の方向に近いか遠いかを判断する。そして、撮像装置１００は、複数の撮像部１１１ａ〜１１１ｄのうち、第二の撮像部１２０の撮影方向に対してつなぎ目の方向が遠い撮像部については、視認性を向上させるような露出レベル制御を行うようにする。一方、撮像装置１００は、複数の撮像部１１１ａ〜１１１ｄのうち、第二の撮像部１２０の撮影方向に対してつなぎ目の方向が近い撮像部については、信号レベルの段差、二重像や画像欠けの発生を抑制するような露出レベル制御を行う。

ここで、本実施形態では、複数の撮像部１１１ａ〜１１１ｄの画像間のつなぎ目の方向について、図５に示すように定義する。複数の撮像部１１１ａ〜１１１ｄのなかの結像光学系１１２ａ〜１１２ｄの光軸が交わる点１１６を広角画像１０１の中心と定義し、隣接する撮像部の撮影範囲が交差する点１１７をつなぎ目の中心と定義する。また、広角画像１０１の中心点１１６とつなぎ目の中心点１１７を結ぶ方向を、隣接する撮像部の画像間のつなぎ目の方向１１８と定義する。さらに、第二の撮像部１２０の撮影方向１２８とは、第二の撮像部１２０のなかの結像光学系１２２の光軸の方向である。図５は、撮像部１１１ｂと１１１ｃの間のつなぎ目の方向を示した図である。図５において、点１１７ｂｃは、撮像部１１１ｂの画像と撮像部１１１ｃの画像との間のつなぎ目の中心であり、方向１１８ｂｃは、撮像部１１１ｂの画像と撮像部１１１ｃの画像との間のつなぎ目の方向である。

また、図４の対応表において、項目Ｈは、第二の撮像部１２０の状態の変化を示す項目の一つであり、第二の撮像部１２０の撮影方向を示す項目である。制御部１３０は、前述したように、第二の撮像部１２０の駆動機構１２４の駆動情報を基に、第二の撮像部１２０の撮影方向の情報を取得する。そして、制御部１３０は、項目Ｈを参照し、撮像部１１１ａ〜１１１ｄのうち第二の撮像部１２０の撮影方向につなぎ目の方向が遠い（例えば繋ぎ目方向用の所定の閾値以上）の撮像部には測光値が等しくなるように固体撮像素子の電荷蓄積時間を設定する。一方、制御部１３０は、項目Ｈを参照し、撮像部１１１ａ〜１１１ｄのうち第二の撮像部１２０の撮影方向につなぎ目の方向が近い（例えばつなぎ目方向用の所定の閾値未満）の撮像部には各固体撮像素子の各画素の電荷蓄積時間を等しく制御する。

＜第二の撮像部の撮影方向からの遠近に応じた露出レベル制御の例＞
また、本実施形態の撮像装置１００は、第二の撮像部１２０の撮影方向に対し、第一の撮像部１１０の複数の撮像部１１１ａ〜１１１ｄの撮影方向が遠いか近いかを判断して、第一の撮像部１１０の複数の撮像部１１１ａ〜１１１ｄの露出レベルを制御してもよい。
例えば、複数の撮像部１１１ａ〜１１１ｄのうち、第二の撮像部１２０の撮影方向から近い撮像部と遠い撮像部とで、露出レベルの制御を変える。具体的には、複数の撮像部１１１ａ〜１１１ｄのうち、第二の撮像部１２０の撮影方向に近い方向を撮影する撮像部については、広角画像１０１を、追尾動作のバックアップ画像として使用し易くする。これに対し、複数の撮像部１１１ａ〜１１１ｄのうち、第二の撮像部１２０の撮影方向に近い方向を撮影する撮像部については、広角画像１０１を、全体を俯瞰するための画像として使用し易くする。

図４の対応表において、項目Ｉは、第二の撮像部１２０の状態の変化を示す項目の一つであり、第二の撮像部１２０の撮影方向を示す項目である。制御部１３０は、前述したように、駆動機構１２４の駆動情報を基に第二の撮像部１２０の撮影方向の情報を取得する。そして、制御部１３０は、項目Ｉを参照し、撮像部１１１ａ〜１１１ｄのうち第二の撮像部１２０の撮影方向から近い（例えば撮影方向用の所定の閾値未満）の撮像部には測光値が等しくなるように固体撮像素子の電荷蓄積時間を設定する。一方、制御部１３０は、項目Ｉを参照し、撮像部１１１ａ〜１１１ｄのうち第二の撮像部１２０の撮影方向から遠い（例えば方向用の所定の閾値以上）の撮像部には各固体撮像素子の各画素の電荷蓄積時間を等しく制御する。

＜まとめ＞
以上説明したように、広角画像１０１は、第二の撮像部１２０の状態や詳細画像１０２によって、合成したときに自然な広角画像にする方がよいか、または、明るい領域や暗い領域での視認性を向上させた広角画像にする方がよいかが、異なっている。このため、本実施形態の撮像装置１００では、第二の撮像部１２０の状態と詳細画像１０２の情報の、少なくとも一方を基に、いずれの広角画像にするかを判断して、複数の撮像部１１１ａ〜１１１ｄの露出レベルの制御方法を変更している。これにより、本実施形態の撮像装置１００においては、合成処理したときの不自然な信号レベル差を低減したい場合と、明るい領域や暗い領域での視認性を向上させたい場合とに対して、各々最適な広角画像を取得できる。

＜露出レベルの相違＞
前述の説明では、明るい領域や暗い領域での視認性を向上させたい場合には、撮像部１１１ａ〜１１１ｄで取得した測光値が等しくなるように、各固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を設定している。一方、合成処理したときに自然な画像を取得したい場合には、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しくしている。ただし、必ずしもこのように設定しなくてもよい。例えば、合成処理したときに自然な画像を取得したい場合の方が、明るい領域や暗い領域での視認性を向上させたい場合よりも、複数の撮像部１１１ａ〜１１１ｄ間の露出レベルの相違が小さくなっていればよい。なお、露出レベルの相違とは、複数の撮像部１１１ａ〜１１１ｄの露出レベルの標準偏差を意味する。

また、露出レベルの制御方法は、段階的に切り替えるような制御であってもよい。例えば明るい領域や暗い領域での視認性もある程度確保しつつ、合成処理したときの不自然な信号レベル差もある程度低減したい、という場合がある。この場合、例えば、明るい領域や暗い領域での視認性を向上させたい場合の露出レベルと、合成処理したときに自然な画像を取得したい場合の露出レベルとの中間の露出レベルを使用してもよい。

＜測光値の取得方法＞
また、測光値の取得方法は、明るい領域や暗い領域での視認性を向上させたい場合と、合成処理したときに自然な画像を取得したい場合とで、変更されてもよい。例えば、合成処理したときに自然な画像を取得したい場合とは、前述したように広角画像１０１の全体が俯瞰される場合であると考えられるが、広角画像１０１全体が俯瞰される場合においても、適正な露出レベルに設定されているほうが好ましい。この場合、例えば、複数の撮像部１１１ａ〜１１１ｄの測光値を取得する際に、前述したつなぎ目の部分を含む画像全体の信号レベルを平均化した測光値を使用するような、分割測光方式を使用する。これにより、全体が俯瞰される場合でも適正な露出レベルに設定された広角画像１０１を取得できる。

一方、明るい領域や暗い領域での視認性を向上させたい場合には、複数の撮像部１１１ａ〜１１１ｄ各々が取得した画像単体としては、それぞれ適正な露出レベルに設定されていればよい。このため、つなぎ目の部分以外の画像の中央部分の信号レベルを平均化した測光値を使用するような、中央重点測光方式を使用する。言い換えると、合成処理したときに自然な画像を取得する場合には、明るい領域や暗い領域での視認性を向上させる場合よりも、画像の周辺部の重みづけを重くして、測光値を求める方が好ましい。

＜後段で信号レベルを調整する例＞
撮像部１１１ａ〜１１１ｄで取得された測光値が等しくなるように、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を設定した場合には、合成処理により広角画像１０１を生成した後、当該広角画像１０１のなかの領域毎に信号レベルを調整してもよい。このように、広角画像１０１を生成した後に信号レベルを調整することで、つなぎ目の部分の信号レベル差を低減することができる。

なお、広角画像１０１を生成した後に信号レベルを調整した場合、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しくする場合ほど、つなぎ目の信号レベル差を低減させることは難しい。また、広角画像１０１を生成した後に信号レベルを調整したとしても、合成処理におけるパターンマッチングの際に求める画像の位置ずらし量の算出精度の低下はある程度残ることになる。したがって、合成処理したときに自然な画像を取得したい場合には、広角画像１０１を生成した後に信号レベルを調整する場合でも、固体撮像素子１１３ａ〜１１３ｄの各画素の電荷蓄積時間を等しくする方が好ましい。

＜第一の撮像部の個数の例＞
図１では、第一の撮像部１１０が４つの撮像部１１０ａ〜１１０ｄから構成されている例を示したが、必ずしも４つの撮像部から構成されていなくてもよい。例えば、第一の撮像部が１つの撮像部から構成されていてもよいし、２つや３つ、ないしは５つ以上の撮像部から構成されていてもよい。また、第一の撮像部１１０の撮影範囲は、図１に示した範囲でなくてもよく、例えば３６０度全周が撮影範囲であってもよい。第一の撮像部１１０の撮影範囲が広いほど、追尾対象とする被写体を再度検出できる確率が高いため、より好ましい。

＜第二の撮像部の他の構成例＞
図１では、第二の撮像部１２０がズーム機構１２５を備えている例を示したが、ズーム機構１２５を備えていなくてもよい。ただし、ズーム機構１２５を備えているほうが、追尾対象とする被写体までの距離や大きさによらず、追尾対象の被写体の動きを検出しやすい撮影画角で詳細画像１０２を取得できる。その結果、自動追尾動作の途中で被写体を見失う確率が低くなり、好ましい。また、ズーム機構１２５を備えている場合、追尾対象とする被写体の大きさに応じて、自動で撮影画角を調整する機能を備えているほうが、更に好ましい。

同様に、図１では、第二の撮像部１２０がフォーカス機構１２６を備えている例を示したが、フォーカス機構１２６を備えていなくてもよい。ただし、フォーカス機構１２６を備えているほうが、被写体の距離によらず、追尾対象とする被写体を鮮明に撮影することができるため好ましい。フォーカス機構１２６を備えている場合、追尾対象とする被写体の距離に応じて、自動で合焦位置を調整する機能を備えているほうが、更に好ましい。

なお、第二の撮像部１２０がズーム機構１２５やフォーカス機構１２６を備えていない場合、図４の対応表において、項目Ｃ、項目Ｄ、項目Ｆは使用できないことになる。この場合、それら以外の項目を使用して、前述したように複数の撮像部１１１ａ〜１１１ｄの露出レベルを設定すればよい。

＜転送部の他の例＞
図１では、一つの転送部１４０を用い、広角画像１０１と詳細画像１０２をスイッチで切り替えることによって、同一のネットワークに順番に転送する場合を示したが、必ずしもこのような構成でなくてもよい。ただし、同一のネットワークを介して配信した方が、広角画像１０１と詳細画像１０２間の対応関係が把握しやすいため、好ましい。

＜追尾機能の他の例＞
図１では、第二の撮像部１２０が信号処理部１２７を有し、信号処理部１２７において、被写体の動きベクトルを検出する例を挙げたが、クライアント装置側が動きベクトルの検出機能を有していてもよい。この場合は、詳細画像１０２をクライアント装置に転送し、クライアント装置側で検出した動きベクトルの情報を用いて駆動機構１２４を制御することで、第二の撮像部１２０の撮影方向等の制御を行えばよい。

＜ネットワークの有無＞
図１では、撮像装置１００が転送部１４０を備え、画像をクライアント装置側に転送するとともに、クライアント装置側からの命令で動作している例を示した。これに対し、例えば撮像装置１００が画像データを保存するメモリと、画像を表示するビューアーおよびユーザーの命令を受け付けるインターフェース部を有していてもよい。また、撮像装置１００は、それらメモリやビューアー、インターフェース部の何れか一つ又は二つ、或いはそれら全てを備えていてもよい。

＜第一の撮像部の露出レベル制御の他の例＞
前述の説明では、複数の撮像部１１１ａ〜１１１ｄの露出レベルを制御する方法として、固体撮像素子１１３ａ〜１１３ｄの各画素における電荷蓄積時間を制御する例を示したが、必ずしもこの方法を使用しなくてもよい。
例えば、固体撮像素子１１３ａ〜１１３ｄにおける信号増幅係数（ゲイン）を制御することで、露出レベルを制御してもよい。固体撮像素子１１３ａ〜１１３ｄが、内部にＡＤ（アナログデジタル）変換機能を有している場合、ＡＤ変換前の信号増幅係数（アナログゲイン）を制御する方が好ましい。また、複数の撮像部１１１ａ〜１１１ｄのなかの結像光学系１１２ａ〜１１２ｄが絞り制御機構を有している場合、制御部１３０が当該絞り制御機構を制御することで複数の撮像部１１１ａ〜１１１ｄの露出レベルを制御してもよい。更に、結像光学系１１２ａ〜１１２ｄが光吸収フィルタおよびその挿抜機構を有している場合、それら光吸収フィルタを適宜挿抜することで露出レベルを制御してもよい。あるいは、光吸収フィルタが液晶などから構成される透過率可変フィルタである場合、それら透過率可変フィルタに印加する電圧を制御することで露出レベルを制御してもよい。これら露出レベル制御の方法は、適宜、組み合わせて用いてもよい。

前述した本実施形態の撮像装置１００の制御部１３０により行われる制御は、例えばＣＰＵが本実施形態に係る制御プログラムを実行することにより実現することも可能である。本実施形態に係る制御プログラムは、不図示の不揮発性メモリ等に予め用意されていてもよいし、ネットワークや記録媒体を介してメモリ等に展開されてもよい。

＜ハードウェア構成の例＞
図６は、本実施形態に係る前述した第一の撮像部１１０、第二の撮像部１２０を含む本実施形態の撮像装置３００におけるハードウェア構成の一例を示した図である。図６に示した撮像装置３００では、ＣＰＵ３０１が本実施形態に係る制御プログラムを実行してハードウェア構成の各部を制御する。
図６に示した撮像装置３００は、第一の撮像部１１０、第二の撮像部１２０、光学系・撮像系制御部３２０、画像処理部３０４、圧縮符号化部３０５、通信部３０６、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、雲台制御部３１１、雲台３１０を有する。

ＲＯＭ３０２には、本実施形態に係る制御プログラムや撮像装置３００の起動や動作に必要な各種パラメータを保持しており、それらプログラムやパラメータが必要に応じて読み出される。ＲＡＭ３０３は、ワークＲＡＭとして用いられ、プログラムの展開や処理途中の画像データの一時保持を行う。ＣＰＵ３０１は、ＲＡＭ３０３に展開された制御プログラムを実行して本実施形態の撮像装置３００の各部を制御し、また各種演算等を行う。本実施形態の場合、当該ＣＰＵ３０１における制御と演算には、前述した、追跡動作の判断、測光値の取得方法の決定、露出レベル制御、被写体を見失う確率に基づく露出制御、撮影方向からの遠近に応じた露出制御、信号レベルの調整、転送の制御等が含まれる。

第一の撮像部１１０は前述した図２に示した複数の撮像部１１１ａ〜１１１ｄを備えた多眼広角カメラである。第二の撮像部１２０は図２に示した単眼望遠カメラである。光学系・撮像系制御部３２０は、第一の撮像部１１０や第二の撮像部１２０の駆動及び制御を行うためのＩＣ（集積回路）等である。光学系・撮像系制御部３２０は、ＣＰＵ３０１による制御の下で、前述したような、第一の撮像部１１０の前述した露出レベル制御等、第二の撮像部１２０のフォーカス機構１２６、ズーム機構１２５の駆動制御等を行う。また、光学系・撮像系制御部３２０は、第一の撮像部１１０が備えているフォーカス機構についても駆動制御する。第一の撮像部１１０の多眼広角カメラで取得された各画像データは、画像処理部３０４に送られる。同様に、第二の撮像部１２０の単眼望遠カメラで取得された画像データは、画像処理部３０４に送られる。

雲台３１０は、前述した図２の駆動機構１２４を備えた雲台である。雲台制御部３１１は、雲台３１０の駆動機構１２４に対して駆動電力を供給等する駆動用ＩＣである。雲台制御部３１１は、ＣＰＵ３０１による制御の下で、雲台３１０の駆動機構１２４に対し駆動電力を供給することで、第二の撮像部１２０の撮影方向を制御する。

画像処理部３０４と圧縮符号化部３０５は、例えばＤＳＰ（デジタルシグナルプロセッサ）等よりなる。画像処理部３０４は、現像処理、ホワイトバランス調整等の各種画像処理を行う。また、画像処理部３０４では、第一の撮像部１１０の多眼広角カメラにて取得された各画像データに対する前述した合成処理や、第二の撮像部１２０の単眼望遠カメラから取得された画像データを用いた前述の動きベクトル検出等も行う。画像処理部３０４による画像処理後の画像データは、圧縮符号化部３０５で所定の符号化方式による圧縮符号化が行われた後に通信部３０６に送られる。これら画像処理部３０４、圧縮符号化部３０５は、ＣＰＵ３０１による制御の下で、画像処理、圧縮符号化処理を行う。

通信部３０６は、前述した図２の転送部１４０に相当し、有線ＬＡＮや無線ＬＡＮ等の通信モジュールである。通信部３０６は、圧縮符号化部３０５により圧縮符号化された画像データを、ネットワークを介してクライアント装置へ送出し、また、クライアント装置からネットワークを介して送られてきたコマンドを、受信してＣＰＵ３０１へ送る。

図７は、本実施形態に係るクライアント装置４００の一例としてのパーソナルコンピュータ（ＰＣ）の概略的なハードウェア構成例を示した図である。
本実施形態のクライアント装置４００は、ＣＰＵ４０６、ＲＯＭ４０７、ＲＡＭ４０８、操作部４０２、大容量記録部４０３、表示部４０４、通信部４０５を有する。

操作部４０２は、例えばマウスやキーボード、タッチパネル等であり、ユーザーからの操作入力を受け付ける。
表示部４０４は、液晶パネルや有機ＥＬパネル等の表示装置であり、画像の表示やユーザインターフェイス用の画像等を表示する。
大容量記憶部は、ＨＤＤ（ハードディスクドライブ）やＳＤＤ（ソリッドステートドライブ）等であり、画像データやプログラム等を記憶する。
通信部４０５は、有線ＬＡＮや無線ＬＡＮ等の通信モジュールであり、ネットワークを介して本実施形態の撮像装置３００と接続され、撮像装置３００から送られた画像データを受信し、また、撮像装置３００へのコマンド等を送信する。

ＲＯＭ４０７には、クライアント装置４００において本実施形態に係る撮像装置３００の制御や画像表示等を行うためのプログラムを保持しており、当該プログラムが読み出されてＲＡＭ４０８に展開される。ＲＡＭ４０８は、ワークＲＡＭとして用いられ、プログラムの展開や処理途中の各種データの一時保持を行う。ＣＰＵ４０６は、ＲＡＭ４０８に展開されたプログラムを実行して本実施形態のクライアント装置４００に係る各種制御や処理を行う。例えば、操作部４０２を介してユーザーから入力された自動追尾動作の指示を受け取ると、ＣＰＵ４０６は、その自動追尾動作のためのコマンドを生成して通信部４０５から撮像装置３００へ送るような制御など、本実施形態に係る各種の制御および処理を行う。また、撮像装置３００から圧縮符号化された画像データが送られてきた場合、ＣＰＵ４０６は、その画像データを伸張復号化して表示部４０４に送って表示させる。

以上説明したように、本実施形態の撮像装置においては、合成処理したときの不自然な信号レベル差を低減したい場合と、明るい領域や暗い領域での視認性を向上させたい場合とに対して、各々最適な露出レベル制御を行う。これにより、本実施形態の撮像装置によれば、高品位の合成画像（広角画像）を生成可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像装置、１１０：第一の撮像部、１２０：第二の撮像部、１３０：制御部、１１４ａ，１１４ｂ，１１４ｃ，１１４ｄ：測光値取得部、１１５：合成処理部、１２４：駆動機構、１２５：ズーム機構、１２６：フォーカス機構、１２７：信号処理部、１４０：転送部

Claims (22)

1. 撮影範囲の一部が重なるように配置された複数の撮像部を有し、前記複数の撮像部で撮影した各画像をつなぎ合わせて合成した合成画像を生成する第一の撮像手段と、
   前記第一の撮像手段による撮影範囲の一部を撮影する第二の撮像手段と、
   前記第二の撮像手段の状態と第二の撮像手段で撮影した画像に含まれる情報との、少なくとも一方に基づいて、前記複数の撮像部の露出レベルを制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は、前記第二の撮像手段の状態と、前記第二の撮像手段で撮影した画像に含まれる情報との、少なくとも一方に基づいて、前記複数の撮像部で撮影した画像間の信号レベルの差を制御する第一の露出レベル制御と、前記複数の撮像部で撮影した画像の明るさを制御する第二の露出レベル制御との、いずれの露出レベル制御を行うかを決定することを特徴とする請求項１に記載の撮像装置。
3. 前記第一の露出レベル制御は、前記複数の撮像部で撮影した画像間の信号レベルの差を低減する露出レベル制御であり、
   前記第二の露出レベル制御は、前記複数の撮像部で撮影した画像の明るさの視認性を上げる露出レベル制御であることを特徴とする請求項２に記載の撮像装置。
4. 前記第一の露出レベル制御は、前記複数の撮像部が備える撮像素子の各画素の電荷蓄積時間をほぼ等しくする露出レベル制御であり、
   前記第二の露出レベル制御は、前記複数の撮像部で取得される測光値がほぼ等しくなるように前記撮像素子の各画素の電荷蓄積時間を制御する露出レベル制御であることを特徴とする請求項２または３に記載の撮像装置。
5. 前記制御手段は、前記第一の露出レベル制御を行う場合には、前記第二の露出レベル制御を行う場合よりも、前記合成される画像のつなぎ目の部分への重みづけを重くして前記測光値を取得することを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、第一の露出レベル制御を行う場合には、前記第二の露出レベル制御を行う場合よりも、前記複数の撮像部の間で露出レベルの相違を小さくすることを特徴とする請求項２から５のいずれか１項に記載の撮像装置。
7. 前記第二の撮像手段は、撮影方向を変更可能な駆動機構を有し、
   前記制御手段は、前記第二の撮像手段の状態として、前記第二の撮像手段の前記撮影方向を取得することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記制御手段は、前記複数の撮像部のうち、前記合成される画像の間のつなぎ目が、前記第二の撮像手段の撮影方向に近い撮像部ほど、前記撮像部の間の露出レベルの相違を小さくすることを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、前記複数の撮像部のうち、前記第二の撮像手段の撮影方向から遠い方向を撮影する撮像部ほど、前記撮像部の間の露出レベルの相違を小さくすることを特徴とする請求項７または８に記載の撮像装置。
10. 前記制御手段は、前記第二の撮像手段の撮影方向の単位時間当たりの変化が小さいほど、前記複数の撮像部の間の露出レベルの相違を小さくすることを特徴とする請求項７から９のいずれか１項に記載の撮像装置。
11. 前記第二の撮像手段は撮影画角を変更可能なズーム機構を有し、
    前記制御手段は、前記第二の撮像手段の前記状態として、前記第二の撮像手段の前記撮影画角を取得することを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記制御手段は、前記第二の撮像手段の撮影画角が広いほど、前記複数の撮像部の間の露出レベルの相違を小さくすることを特徴とする請求項１１に記載の撮像装置。
13. 前記制御手段は、前記第二の撮像手段の撮影画角の単位時間当たりの変化が小さいほど、前記複数の撮像部の間の露出レベルの相違を小さくすることを特徴とする請求項１１または１２に記載の撮像装置。
14. 前記第二の撮像手段は、合焦位置を変更可能なフォーカス機構を有し、
    前記制御手段は、前記第二の撮像手段の前記状態として、前記合焦位置を取得することを特徴とする請求項１から１３のいずれか１項に記載の撮像装置。
15. 前記制御手段は、前記第二の撮像手段の合焦位置の単位時間当たりの変化が小さいほど、前記複数の撮像部の間の露出レベルの相違を小さくすることを特徴とする請求項１４に記載の撮像装置。
16. 前記制御手段は、前記第二の撮像手段で撮影した画像に含まれる情報として、前記第二の撮像手段により撮影された画像のなかの特定の被写体を検出することを特徴とする請求項１から１５のいずれか１項に記載の撮像装置。
17. 前記制御手段は、前記第二の撮像手段により撮影された画像のなかに前記特定の被写体が検出されなかった場合には、前記特定の被写体が検出された場合よりも、前記複数の撮像部の間の露出レベルの相違を小さくすることを特徴とする請求項１６に記載の撮像装置。
18. 前記制御手段は、前記第二の撮像手段により撮影された画像のなかで検出された特定の被写体の大きさが小さいほど、前記複数の撮像部の間の露出レベルの相違を小さくすることを特徴とする請求項１６または１７に記載の撮像装置。
19. 前記制御手段は、前記合成がなされた後に、前記複数の撮像部が撮影した画像の領域毎に、前記合成画像の信号レベルを調整することを特徴とする請求項１から１８のいずれか１項に記載の撮像装置。
20. 請求項１から１９のいずれか１項に記載の撮像装置と、前記撮像装置とネットワークを介して接続されたクライアント装置とを備えたことを特徴とするシステム。
21. 撮影範囲の一部が重なるように配置された複数の撮像部を有し、前記複数の撮像部で撮影した各画像をつなぎ合わせて合成した合成画像を生成する第一の撮像手段により前記合成画像を取得する第一の撮像工程と、
    前記第一の撮像手段による撮影範囲の一部を撮影する第二の撮像手段により画像を取得する第二の撮像工程と、
    前記第二の撮像手段の状態と第二の撮像手段で撮影した画像に含まれる情報との、少なくとも一方に基づいて、前記複数の撮像部の露出レベルを制御する制御工程と、
    を有することを特徴とする撮像装置の制御方法。
22. 撮影範囲の一部が重なるように配置された複数の撮像部を有し、前記複数の撮像部で撮影した各画像をつなぎ合わせて合成した合成画像を生成する第一の撮像手段と、前記第一の撮像手段による撮影範囲の一部を撮影する第二の撮像手段とを備えた撮像装置が有するコンピュータを、請求項１から２０のいずれか１項に記載の撮像装置の制御手段として機能させるためのプログラム。

Images