JP2019080226A - 撮像装置、撮像装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】被写体に対する追尾精度の低下を抑制可能にすることを課題とする。【解決手段】第一の撮像部（１１０）は、広角画像を取得する。第二の撮像部（１２０）は、第一の撮像部（１１０）の撮影範囲の一部を撮影し、かつ撮影方向を変更可能な駆動機構（１２４）を備えている。制御部（１３０）は、第二の撮像部（１２０）の状態と第二の撮像部（１２０）で撮影した詳細画像に含まれる情報との、少なくとも一方に基づいて、広角画像を取得する頻度を制御する。【選択図】図２

Description

本発明は、監視カメラなどに使用される技術に関する。

近年、種類の異なる複数のカメラを有し、それらを連携させることで新しい機能を実現する撮像装置が提案されている。例えば特許文献１には、相対的に画角の広い広角カメラと画角の狭い望遠カメラとを有する撮像装置において、広角カメラで動体検知を行い、その検知した動体に対して、望遠カメラを用いた追尾を行う、という機能を実現する撮像装置が開示されている。

特開２００７−１１６６６６号公報

特許文献１に示す撮像装置を用いて動体の追尾を行う場合において、例えば望遠カメラに振動などの外乱が加わった場合や急激に動体の速度が変化した場合、望遠カメラでは動体を見失ってしまう虞がある。このため、特許文献１では、望遠カメラで動体を見失った場合に、広角カメラで再度動体の検出を行う、という方法が開示されている。
しかしながら、例えば広角カメラの方が、望遠カメラよりも画像の更新頻度が低い（更新の時間間隔が長い）場合、望遠カメラで動体を見失ったタイミングに対して、その見失った動体を広角カメラで再度検出するタイミングが遅延してしまう。その結果、見失った被写体を再度検出するまでの間、追尾動作が行えない状態になり、追尾精度が低下する。

そこで、本発明は、被写体に対する追尾精度の低下を抑制可能にすることを目的とする。

本発明に係る撮像装置は、広角画像を取得する第一の撮像手段と、前記第一の撮像手段の撮影範囲の一部を撮影し、かつ撮影方向を変更可能な駆動機構を備えた第二の撮像手段と、前記第二の撮像手段の状態と前記第二の撮像手段で撮影した画像に含まれる情報との、少なくとも一方に基づいて、前記広角画像を取得する頻度を制御する制御手段と、を有することを特徴とする。

本発明によれば、被写体に対する追尾精度の低下を抑制可能となる。

第一の実施形態の撮像装置の概略外観と内部配置例を示す図である。 第一の実施形態の撮像装置の機能ブロック図である。 第一の実施形態の撮像装置の追尾動作を説明するフローチャートである。 追尾動作が途切れる確率を取得する対応表を示す図である。 固体撮像素子の間引きモードと加算モードの説明図である。 広角画像生成のタイミングチャートである。 広角画像の中心と駆動機構の中心の位置関係の説明図である。 第二の実施形態の撮像装置の概略構成を示す図である。 本実施形態の撮像装置のハードウェア構成例を示す図である。 本実施形態のクライアント装置のハードウェア構成例を示す図である。 比較例の撮像装置の追尾動作を説明するフローチャートである。

以下、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
＜第一の実施形態の概略構成＞
図１（ａ）および図１（ｂ）と図２は、第一の実施形態に係る撮像装置の概略構成を示す図である。なお、以降の各図において図１（ａ）、図１（ｂ）、図２の各構成要素と同一の機能または対応した部分には同一の参照番号を付して、それらに関する繰り返しの説明は省略する。
図１（ａ）および図１（ｂ）は、本実施形態の撮像装置の概略的な構成例を示した図である。図１（ａ）は、撮像装置１００を斜めから見た俯瞰図、図１（ｂ）は撮像装置１００を上側（＋Ｚ軸側）から見た配置図である。また、図２は、本実施形態の撮像装置の内部構成を示した機能ブロック図である。

撮像装置１００は、広画角の撮影範囲を撮像した撮像信号（広角画像１０１とする。）を取得する第一の撮像部１１０と、第一の撮像部１１０の撮影範囲の一部を撮影した撮像信号（詳細画像１０２とする。）を取得する第二の撮像部１２０と、を有する。また、撮像装置１００は、第一の撮像部１１０および第二の撮像部１２０の動作を制御する制御部１３０、広角画像１０１および詳細画像１０２を外部に転送する転送部１４０などを備えている。

転送部１４０は、有線または無線などのネットワークを介して、外部のクライアント装置に接続されており、広角画像１０１、詳細画像１０２を、スイッチで切り替えることによって、同一のネットワークに対して順番に転送可能となされている。外部のクライアント装置は、撮像装置１００を制御するコマンドを、ネットワークを介して撮像装置１００に送信する。撮像装置１００は、そのコマンドを転送部１４０により受信し、当該コマンドに対するレスポンスをクライアント装置に送信する。クライアント装置は、ＰＣ（パーソナルコンピュータ）などの外部機器であり、ネットワークは、有線ＬＡＮ、無線ＬＡＮ等により構成されている。撮像装置１００は、ネットワークを介して外部から電源が供給される構成となっていてもよい。

＜第一の撮像部：多眼広角カメラ＞
第一の撮像部１１０は、それぞれ撮影範囲の一部が重複するように配置された複数の撮像部１１１ａ、１１１ｂ、１１１ｃ、１１１ｄを有する。撮像装置１００は、これら撮像部１１１ａ〜１１１ｄで取得した画像を、合成処理部１１４において合成することにより広角画像１０１を生成する。合成処理部１１４は、隣接する複数の撮像部（例えば撮像部１１１ａと撮像部１１１ｂ等）で取得した画像の重複部分をずらしながら相関係数を求め、いわゆるパターンマッチングの技術を適用することで複数の画像間の位置ずらし量を求める。そして、合成処理部１１４は、位置ずらし量に応じて複数の画像間の位置を調整し、それら位置調整を行った複数の画像を繋ぐようにして合成することにより、広角画像１０１を生成する。

複数の撮像部１１１ａ〜１１１ｄは、各々対応した結像光学系１１２ａ〜１１２ｄと固体撮像素子１１３ａ〜１１３ｄを有しており、それぞれ結像光学系を介して被写体像を固体撮像素子上に結像させることで画像を取得する。各々の固体撮像素子１１３ａ〜１１３ｄの駆動および固体撮像素子１１３ａ〜１１３ｄからの信号読み出し動作は、制御部１３０によって制御されている。

＜第二の撮像部：単眼望遠カメラ＞
第二の撮像部１２０は、単一の撮像部１２１から構成され、結像光学系１２２、固体撮像素子１２３、撮影方向を変更可能な駆動機構１２４および、撮影画角の変更およびフォーカス合わせを行うズームおよびフォーカス機構１２５を有する。また、撮像装置１００は、撮影された画像から、特定の被写体の検出およびその動き情報を取得する信号処理部１２６を有している。信号処理部１２６は、第二の撮像部１２０で取得した詳細画像１０２から、特定の被写体の検出およびその動き情報を取得する。なお、信号処理部１２６は、広角画像１０１から被写体の検出と動き情報を取得することも可能となされている。第二の撮像部１２０においても第一の撮像部１１０と同様に、固体撮像素子１２３の駆動および固体撮像素子１２３からの信号読み出し動作は、制御部１３０によって制御される。

駆動機構１２４はモーターとギアを備え、モーターを駆動する電力が制御部１３０により制御されることで、撮像部１２１を特定の回転軸の周りに回転できるような構成となされている。なお、駆動機構１２４は、モーターを複数設けることで複数の回転軸を有する構成となされていてもよい。ズームおよびフォーカス機構１２５は、同じくモーターとギアを備え、結像光学系１２２の内の一部のレンズを光軸方向に移動することでズーム比を変化させる。また、ズームおよびフォーカス機構１２５は、同じくモーターとギアを備え、結像光学系１２２の内の一部のレンズを光軸方向に移動することで撮影画角および合焦位置を変化させる。

信号処理部１２６は、第二の撮像部１２０から順次送られてくる複数フレームの詳細画像１０２のフレーム間の差分を検出することで、被写体の動きベクトルを検出する。そして、撮像装置１００では、信号処理部１２６で検出した特定被写体の動きベクトルを用いて、第二の撮像部１２０の撮影方向を制御することで、特定被写体の追尾を行う。第二の撮像部１２０の撮影方向の制御は、制御部１３０によって駆動機構１２４を制御することにより行われる。なお、信号処理部１２６は、合成処理部１１４からの複数フレームの広角画像１０１のフレーム間の差分を検出することで、被写体の動きベクトルを検出することも可能となされている。ここで、追尾対象とする被写体は、監視対象としたい被写体であり、一般に人物や車などである。

＜画像の更新頻度の相違＞
前述したように、第一の撮像部１１０では、複数の撮像部１１１ａ〜１１１ｄで取得した画像に対し、合成処理部１１４による合成を行って広角画像１０１を生成している。一方、第二の撮像部１２０では、合成処理を行わず、単一の撮像部１２１により撮像された画像を、詳細画像１０２として取得している。したがって、固体撮像素子１１３ａ〜１１３ｄからの信号読み出し頻度と、固体撮像素子１２３からの信号読み出し頻度を等しくした場合、合成処理に要する時間分だけ、広角画像１０１の更新頻度が、詳細画像１０２の更新頻度よりも低くなる。このように広角画像１０１の更新頻度が詳細画像１０２の更新頻度より低い（更新時間の間隔が長い）と、動体の追尾対象を第二の撮像部１２０で見失った場合に、第一の撮像部１１０で追尾対象を再度検出するタイミングが遅延して追尾精度が低下することになる。

そこで、本実施形態の撮像装置１００では、後述するように、第一の撮像部１１０で取得する広角画像１０１の更新頻度を制御することにより、動体の追尾精度の低下を抑制可能となされている。
ここで、本実施形態の撮像装置１００における追尾動作の詳細を説明する前に、特許文献１に開示された撮像装置（以下、比較例の撮像装置とする。）での追尾動作を説明して、本実施形態の撮像装置１００の追尾動作との比較を行う。
図３は本実施形態の撮像装置１００における追尾動作のフローチャートであり、図１１は特許文献１に開示された比較例の撮像装置における追尾動作のフローチャートである。

＜比較例の撮像装置のフローチャート＞
先ず、図１１のフローチャートを参照し、比較例の撮像装置における追尾動作について説明する。比較例の撮像装置は、広角カメラにより広角画像を取得し、また広角カメラよりも相対的に画角の狭い望遠カメラにより詳細画像を取得する構成となされている。そして、比較例の撮像装置では、広角カメラによる広角画像を用いて動体検知を行い、さらに、望遠カメラによる詳細画像を用いて特定被写体の追尾を行うようになされている。

比較例の撮像装置では、図１１のステップＳ１００１において、広角画像から追尾対象とする被写体を選択する。追尾対象とする被写体は、動体検知によって自動で設定される。次に、比較例の撮像装置は、ステップＳ１００２において、望遠カメラにより追尾対象とする被写体を撮影できるように、望遠カメラの撮影方向を制御する。具体的には、広角カメラと望遠カメラの位置関係を基に、広角画像から選択された追尾対象の被写体の方向を求め、当該追尾対象の被写体の方向に望遠カメラの撮影方向が向くように、駆動機構を制御する。

続いて、比較例の撮像装置は、ステップＳ１００３において、詳細画像から追尾対象とする被写体の動き情報を取得しつつ、その被写体の動きに合わせるように望遠カメラの撮影方向を逐次変更することで、追尾対象の被写体の追尾を継続して行う。以下、このような追尾動作を自動追尾動作と呼ぶ。ここで、撮像装置は、ステップＳ１００３における自動追尾動作中に、望遠カメラに振動などの外乱が加わったり、追尾対象の被写体の動きが急激に変化したりして、追尾対象の被写体が望遠カメラの撮影画角外に移動してしまう場合がある。その結果として、例えば自動追尾動作が途切れると、比較例の撮像装置は、ステップＳ１０４において自動追尾動作が途切れたと判断し、ステップＳ１００１に処理を戻して、広角カメラによる広角画像を用いて追尾対象の被写体を再度検出する。比較例の撮像装置では、このようなフローの動作を、ユーザーによって自動追尾動作を中止する命令が入力されるまで継続して行う。

＜比較例の撮像装置の課題＞
このように、比較例の撮像装置では、望遠カメラを用いた自動追尾動作が途切れた場合に、広角カメラで取得した広角画像から追尾対象の被写体を再度検出することで、撮像装置全体としての追尾精度を維持している。しかしながら、この手法を用いた場合、広角画像と詳細画像の更新頻度によっては、追尾精度が低下してしまう。例えば、広角画像の更新頻度が詳細画像の更新頻度よりも低い（更新の時間間隔が長い）場合、必ずしも自動追尾動作が途切れた瞬間の広角画像を取得できない。そのため、追尾対象とする被写体を見失ってから、再度発見するまでに、一定の遅延時間が発生してしまう。更に、遅延時間中に、追尾対象とする被写体の動きが急激に変化した場合、追尾対象の被写体を再度発見すること自体が困難になってしまう。なぜならば、遅延時間の間に、追尾対象の被写体の位置が急激に変化することにより、広角画像中のどの位置に追尾対象の被写体が位置しているのかを検出するのが困難になってしまうためである。

＜本実施形態の撮像装置との比較＞
これに対し、本実施形態の撮像装置１００では、第二の撮像部１２０を用いた自動追尾動作が途切れる確率に応じて、第一の撮像部１１０で取得する広角画像１０１の更新頻度を制御するようになされている。具体的には、本実施形態の撮像装置１００は、第二の撮像部１２０の状態と、第二の撮像部１２０で取得した詳細画像１０２に含まれる情報との、少なくとも一方に基づいて、自動追尾動作が途切れる確率を求める。そして、撮像装置１００は、自動追尾動作が途切れる確率が特定の閾値以上の場合には、自動追尾動作が途切れる確率が特定の閾値未満の場合よりも、広角画像１０１の更新頻度を高く（つまり更新の時間間隔を短く）する。

このような構成とすることで、本実施形態の撮像装置１００では、自動追尾動作が途切れて追尾対象を見失った場合に、追尾対象を再度検出するまでに要する時間を短くすることができ、その結果、追尾対象の被写体の追尾を再開することも容易になる。すなわち、本実施形態の撮像装置１００では、比較例の撮像装置と比べて、撮像装置全体としての追尾精度を向上させることができる。

＜本実施形態の撮像装置のフローチャート＞
以下、図３のフローチャートを参照して、本実施形態の撮像装置１００における追尾動作の詳細について説明する。なお、図３のフローチャートの処理は、例えばＣＰＵからなる制御部１３０が、本実施形態に係る制御プログラムを実行することにより実現することも可能である。本実施形態に係る制御プログラムは、不図示の不揮発性メモリ等に予め用意されていてもよいし、ネットワークや記録媒体を介してメモリ等に展開されてもよい。

図３のステップＳ１０１において、本実施形態の撮像装置１００は、第一の撮像部１１０で取得されて合成処理部１１４で合成された広角画像１０１から、追尾対象となる被写体を選択（特定）する。本実施形態においても、前述同様に、追尾対象の被写体は、動体検知によって自動で設定されるとする。次に、ステップＳ１０２において、制御部１３０は、第二の撮像部１２０により追尾対象の被写体を撮像できるように、第二の撮像部１２０の撮影方向とフォーカス合わせの制御を行う。具体的には、制御部１３０は、第一の撮像部１１０と第二の撮像部１２０との位置関係を基に、広角画像１０１から特定された追尾対象の被写体の方向を求める。そして、制御部１３０は、当該追尾対象の被写体の方向に第二の撮像部１２０の撮影方向が向くように駆動機構１２４を制御する。また、制御部１３０は、第二の撮像部１２０が追尾対象の被写体に合焦した画像を撮像できるように、ズームおよびフォーカス機構１２５を制御する。

次に、制御部１３０は、ステップＳ１０３において、信号処理部１２６が詳細画像１０２から算出した追尾対象の被写体の動き情報を取得しつつ、第二の撮像部１２０の撮影方向とフォーカス合わせの制御を行うことで、自動追尾動作を行う。またこの時、制御部１３０は、第二の撮像部１２０の状態と第二の撮像部１２０で取得した詳細画像１０２に含まれる情報との、少なくとも一方に基づいて、自動追尾動作が途切れる確率を求める。

＜自動追尾動作が途切れる確率の取得処理＞
図４を用いて、自動追尾動作が途切れる確率の取得例について説明する。図４は、第二の撮像部１２０の状態または第二の撮像部１２０で取得した詳細画像に含まれる情報と、自動追尾動作が途切れる確率との関係を示した表である。図４に示すように、第二の撮像部１２０の状態とは例えば画角であり、広角（画角が広い）や望遠（画角が狭い）の状態が挙げられる。また、第二の撮像部１２０で取得した詳細画像に含まれる情報とは、例えば詳細画像内における追尾対象の被写体の大きさや動きの速さを示す情報であり、被写体が小さい場合や大きい場合、被写体の動きが遅い場合や速い場合が挙げられる。

ここで、追尾対象の被写体が第二の撮像部１２０の撮影画角外に移動する確率は、第二の撮像部１２０の撮影画角が狭く（望遠側に）なるほど高くなると考えられる。また、詳細画像内で追尾対象の被写体の大きさが大きいほど、追尾対象の被写体の移動速度が速いほど、尾対象の被写体が第二の撮像部１２０の撮影画角外に移動する確率が高くなると考えられる。そして、追尾対象の被写体が第二の撮像部１２０の撮影画角外に移動してしまう確率が高くなるほど、自動追尾動作が途切れる確率が高い値になると考えられる。本実施形態の制御部１３０は、図４に示すような、第二の撮像部１２０の撮影画角、詳細画像内での追尾対象の被写体の大きさ、追尾対象の被写体の速度の各値と、自動追尾動作が途切れる確率との対応表を基に、自動追尾動作が途切れる確率を求める。

制御部１３０は、図３のステップＳ１０３において、図４に示したような対応表を用いて自動追尾動作が途切れる確率を取得し、その確率の値を基に、広角画像１０１の更新頻度を制御する。具体的には、制御部１３０は、自動追尾動作が途切れる確率が特定の閾値以上になる場合には、自動追尾動作が途切れる確率が特定の閾値未満の場合よりも、広角画像１０１の更新頻度を高く（更新の時間間隔を短く）する。なお、特定の閾値は、０以上１以下の値を任意に設定すればよく、ユーザーが選択して設定してもよい。なお、特定の閾値が１にされた場合、制御部１３０は、自動追尾動作が途切れる確率によらず、広角画像に対する更新頻度の変更制御を行わない。一方、特定の閾値が０になされた場合、制御部１３０は、自動追尾動作が途切れる確率によらず、広角画像の更新頻度を高くする。

＜間引き／加算による更新頻度の変更制御方法＞
広角画像１０１の更新頻度を変更する制御手法としては、例えば、固体撮像素子１１３ａ〜１１３ｄからの信号読み出しモードを変更する方法を用いることができる。その具体例を図５（ａ）と図５（ｂ）を用いて説明する。図５（ａ）、図５（ｂ）は、固体撮像素子の画素配列がいわゆるＲＧＢベイヤー配列である場合のＲ，Ｇ（Ｇｒ，Ｇｂ），Ｂの各色に対応した画素の配列を示した図である。図５（ａ）、図５（ｂ）では図示を簡略にするため、固体撮像素子が縦横８画素ずつの画素を有する例を示したが、実際の画素数はこの例に限るものではない。

図５（ａ）の例は縦横２画素毎に画素信号を読み出す間引きモードを表している。当該間引きモードでは、図中の縦横２画素で同じ模様が付与されたＲ，Ｇ（Ｇｒ，Ｇｂ），Ｂの４画素の画素信号のみが読み出される。その結果、間引きモードにおいて読み出される画素信号の数は、全画素の信号を全て読み出す全画素読み出しモードと比較して１／４に減少する。図５（ｂ）の例は縦横２画素を加算平均して画素信号を読み出す加算モードを表している。当該加算モードでは、図中のＲ，Ｇ（Ｇｒ，Ｇｂ），Ｂの各画素のうち同じ色でかつ同じ模様が付与された４画素の画素信号が加算平均されて一つの画素信号として出力される。このため、加算モードにおいても間引きモードと同様に、読み出される画素信号の数は、全画素読み出しモードと比較して１／４に減少する。したがって、間引きモードや加算モードを使用して固体撮像素子から信号が読み出された時には、全画素読み出しモードが用いられる場合よりも、広角画像１０１の更新頻度を短く（更新の時間間隔を短く）することができる。なお、間引きモードや加算モードによる信号読み出しは、固体撮像素子１１３ａ〜１１３ｄに備えられている水平走査回路や垂直走査回路を用いて、読み出す画素を選択することにより実現できる。

＜タイミングチャート＞
図６（ａ）と図６（ｂ）は、固体撮像素子１１３ａ〜１１３ｄからの信号読み出しのタイミングと、合成処理部１１４における合成処理に要する時間の長さとを示したタイミングチャートである。図６（ａ）は全画素読み出しモードにより読み出される場合を示し、図６（ｂ）は間引きモードや加算モードによって読み出される信号数を減少させた場合の例を示している。

全画素読み出しモードの場合、固体撮像素子１１３ａ〜１１３ｄではそれぞれ全画素の信号が全て読み出されるため、各固体撮像素子１１３ａ〜１１３ｄの１フレームあたりの信号読み出し時間は、図６（ａ）の時間Ｔ１０１ａとなる。また、合成処理部１１４ではそれら各固体撮像素子１１３ａ〜１１３ｄから読み出された全画素の信号を用いた合成処理が行われるため、合成処理に要する時間は、図６（ａ）の時間Ｔ１０２ａとなる。これにより、全画素読み出しモードでは、画素読み出しの時間Ｔ１０１ａと合成処理の時間Ｔ１０２ａとを合わせた時間Ｔ１０３ａが、更新に必要な時間となる。

これに対し、間引きモードや加算モードが使用された場合、読み出される画素信号の数は前述のように１／４に減少する。このため、間引きモードや加算モードが使用された場合、各固体撮像素子１１３ａ〜１１３ｄの１フレームあたりの信号読み出し時間は、図６（ｂ）の時間Ｔ１０１ｂとなる。つまり、間引きモードや加算モードを使用した場合、読み出される画素信号の数が減少するため、図６（ｂ）のように、１フレームあたりの信号読み出し時間Ｔ１０１ｂは、図６（ａ）の全画素読み出しモード時の信号読み出し時間Ｔ１０１ａよりも短くなる。また、間引きモードや加算モードが使用された場合、合成処理部１１４の合成処理に要する時間は、図６（ｂ）の時間Ｔ１０２ｂとなる。つまり、間引きモードや加算モードが使用された場合、図６（ｂ）のように、合成処理に要する時間Ｔ１０２ｂも、全画素読み出しモード時の合成処理時間Ｔ１０１ａよりも短くなる。間引きモードや加算モードが使用された場合、各撮像部１１１ａ〜１１１ｄで取得される画像の解像度が低下して画素数が少なくなるため、合成処理時のテンプレートマッチングの演算負荷が低減し、合成処理に要する時間が短くなる。

そして、間引きモードや加算モードが使用された場合の更新に必要な時間は、画素読み出しの時間Ｔ１０１ｂと合成処理の時間Ｔ１０２ｂとを合わせた時間Ｔ１０３ｂとなる。すなわち、間引きモードや加算モードが使用された場合、１フレーム分の広角画像を読み出すのに必要となる時間Ｔ１０３ｂは、全画素読み出しモード時の場合の時間Ｔ１０３ａよりも短くなる。これにより、本実施形態において、間引きモードや加算モードを使用した場合には、広角画像の更新頻度を向上させることができる。このように、本実施形態の撮像装置１００では、自動追尾動作が途切れる確率が特定の閾値以上の場合には、固体撮像素子１１３ａ〜１１３ｄに対して間引きモードや加算モードで信号読み出しを行うことで広角画像の更新頻度を高く（更新期間を短く）する。

＜間引きモードと加算モードとの差異＞
本実施形態において、前述の間引きモードと加算モードはどちらが使用されてもよい。間引きモードの場合、加算モードよりも実質的な画素開口率が小さくなるため、画像の解像感は向上する。そのため、画像の解像感を重視する場合には、間引きモードを使用する方が好ましい。一方、加算モードを使用した場合、平均化の効果によって間引きモードよりもＳＮ比が向上する。そのため、ＳＮ比を重視する場合には、加算モードを使用する方が好ましい。なお、間引きモードや加算モードを使用して信号読み出し時間Ｔ１０１を短くした場合、固体撮像素子において各画素の最大電荷蓄積時間が短くなる。このため、特に被写体の照度が低い場合には、加算モードを使用してＳＮ比を向上させる方が好ましい。

＜本実施形態による効果＞
図３のフローチャートに説明を戻す。
図３のステップＳ１０３の自動追尾動作中に、撮像装置１００に振動などの外乱が加わったり、追尾対象の被写体の動きが急激に変化したりして、追尾対象の被写体が第二の撮像部１２０の撮影画角外に移動し、自動追尾動作が途切れてしまう場合がある。このため、制御部１３０は、ステップＳ１０４において、自動追尾動作が途切れてしまったか否かを判定し、自動追尾が途切れていない場合にはステップＳ１０３に処理を戻して自動追尾を継続させる。一方、制御部１３０は、Ｓ１０４において自動追尾動作が途切れてしまったと判定した場合には、ステップＳ１０１に処理を戻し、広角画像１０１を用いた追尾対象の被写体の検出を行うようにする。制御部１３０は、この図３に示したフローチャートの処理を、ユーザーが自動追尾動作を中止する命令を入力するまで継続する。

本実施形態の撮像装置１００では、前述したように、ステップＳ１０３において、自動追尾動作が途切れる確率が特定の閾値以上となる場合には、自動追尾動作が途切れる確率が特定の閾値未満の場合よりも、広角画像１０１の更新頻度を高くしている。そのため、ステップＳ１０４において自動追尾動作が途切れた場合でも、追尾対象の被写体を再度発見するまでの遅延時間を短くすることができる。その結果、本実施形態の撮像装置１００によれば、追尾対象の被写体を再度発見することが容易となり、撮像装置全体としての追尾精度を向上させることができる。

＜追尾対象となる被写体の選択方法の例＞
本実施形態において、図３のステップＳ１０１で行われる追尾対象の被写体選択は、前述した動体検知により自動的に行われてもよいし、ユーザーによる手動の選択が行われてもよい。追尾対象の被写体が自動で設定される場合、撮像装置１００は、前述したように、複数フレームの広角画像１０１を比較することで、動体を検出する動体検出処理を行えばよい。一方、ユーザーが手動で追尾対象の被写体を選択する場合、ユーザーは、例えば外部のクライアント装置の画面上に表示された広角画像の中から追尾対象の被写体を選択する。そして、外部のクライアント装置からは、そのユーザーによる選択の結果が、ネットワークを介して撮像装置１００に送られる。この場合の撮像装置１００は、当該ユーザーにより手動選択された被写体を追尾対象として設定する。

＜駆動機構による第二の撮像部の方向制御の例＞
本実施形態において、図３のステップＳ１０２で第一の撮像部１１０と第二の撮像部１２０の位置関係を基に第二の撮像部１２０の撮影方向を制御する際には、広角画像１０１の中心１１５と駆動機構１２４の回転中心１２７とが一致していることが望ましい。以下、広角画像１０１の中心１１５と駆動機構１２４の回転中心との位置関係について、図７（ａ）と図７（ｂ）を用いて説明する。ここで、広角画像１０１の中心１１５とは、複数の撮像部１１１ａ〜１１１ｄの結像光学系１１２ａ〜１１２ｄの各光軸が交わる点を意味する。

図７（ａ）に示すように、広角画像１０１の中心１１５と、駆動機構１２４の中心１２７とが一致していない場合、駆動機構１２４の中心１２７から被写体（１０３ａ、１０３ｂ）までの距離に依存して、第二の撮像部１２０を向けるべき方向は変化する。一方、図７（ｂ）に示すように、広角画像１０１の中心１１５と、駆動機構１２４の中心１２７とが一致している場合、駆動機構１２４の中心１２７から被写体（１０３ａ、１０３ｂ）までの距離によらず、第二の撮像部１２０を向けるべき方向は一定になる。その結果、広角画像１０１の中心１１５と駆動機構１２４の中心１２７とが一致している場合には、図３のステップＳ１０２において、第二の撮像部１２０の方向を制御することが容易となる。

なお、広角画像１０１の中心１１５と駆動機構１２４の中心１２７とは正確に一致している必要はなく、取り付け誤差程度のずれがあってもよい。また、広角画像１０１の中心１１５と駆動機構１２４の中心１２７とは、広角画像１０１の撮影画角の狭い方向（図７（ａ）と図７（ｂ）のＺ軸側）に垂直な平面内（図７（ａ）と図７（ｂ）のＸＹ平面内）で一致していればよい。

＜合成処理で更新頻度を制御する例＞
図３のステップＳ１０３では、図５（ａ）、図５（ｂ）に例示したように固体撮像素子１１３ａ〜１１３ｄの信号読み出しモードを変更することで広角画像１０１の更新頻度を制御したが、更新頻度を制御する方法は他の方法が用いられてもよい。
例えば、合成処理部１１４における合成処理の負荷を制御することによって、合成処理に要する時間Ｔ１０２を制御してもよい。例えば、合成処理部１１４において、各固体撮像素子１１３ａ〜１１３ｄから読み出された画素信号から広角画像を生成する際に、ダウンサンプリングしてからテンプレートマッチングを行うようにする。このようにダウンサンプリングにより画像の解像度を低下させることで、合成処理時のテンプレートマッチングの演算負荷を低減させることができる。すなわち、合成処理の負荷を低減することにより、更新頻度を高めることができる。

＜圧縮処理で更新頻度を制御＞
前述の実施形態では、合成処理に要する時間により更新頻度が低下して、追尾対象の被写体の再検出が遅れる例を挙げたが、例えば合成処理性能が高い場合、合成処理が追尾対象の被写体の再検出の遅れに影響を及ぼすことは非常に少なくなると考えられる。したがって、合成処理以外の部分によって、広角画像の更新頻度の低下が生じているような場合、前述の例とは別の方法を用いて広角画像の更新頻度を制御することが望ましい。

例えば、転送部１４０における転送処理によって更新頻度が低下する場合がある。一般に、広い画角を撮影する場合ほど、高い解像度の画像を必要とするため、広角画像１０１の解像度は、詳細画像１０２の解像度よりも高くなされている方が好ましい。このように、広角画像１０１の解像度が詳細画像１０２の解像度よりも高い場合、転送部１４０における転送処理によって更新頻度が低下してしまうことがある。なぜならば、解像度が高いほど、一つの画像を転送するために必要なデータ量が増大するためである。
そこで、転送部１４０における転送処理時の遅延によって画像の更新頻度が低下する場合には、転送前に広角画像１０１に対して圧縮処理を行うようにする。すなわち、広角画像１０１を圧縮処理して転送されるデータ量を減らすことで、転送部１４０による転送処理時の遅延を減らし、画像の更新頻度が低下するのを抑えることができる。なお、広角画像１０１の圧縮処理は、合成処理部１１４または転送部１４０で行えばよい。

＜画像の更新頻度の程度制御の例＞
前述の実施形態では、自動追尾動作が途切れる確率が特定の閾値以上か、特定の閾値未満かで、広角画像の更新頻度を制御するかどうかを決定している例を示したが、自動追尾動作が途切れる確率に応じて、段階的に広角画像の更新頻度を制御してもよい。具体的には、自動追尾動作が途切れる確率が高くなるほど（自動追尾動作で追尾し続けられる確率が低くなるほど）、広角画像の更新頻度が高く（更新時間間隔が短く）なるように制御する。この場合の更新頻度の制御は、自動追尾動作が途切れる確率の値に応じて、固体撮像素子から読み出す画素信号の数を段階的に低減、ダウンサンプリングによる解像度を段階的に低減、圧縮処理によるデータサイズを段階的の低減等する手法を用いればよい。

＜他の効果の説明＞
前述したように、間引きモードや加算モードを適用したり、合成処理前にダウンサンプリングしたり、転送前に圧縮処理を行ったりした場合、広角画像１０１のデータサイズを削減できる。このように広角画像１０１のデータサイズを削減すると、ネットワーク通信の負荷が軽くなって消費電力を低減でき、また、クライアント装置側のストレージ容量の圧迫を削減できるようになる。

また、間引きモードや加算モードの適用、合成処理前のダウンサンプリング、転送前の圧縮処理などが行われた場合、広角画像１０１の解像度は低下してしまうことになる。しかしながら、広角画像１０１の解像度を低下させたとしても、広角画像１０１の更新頻度を向上させた方が、撮像装置全体としての追尾精度を向上させることができる。以下、この理由を説明する。

一般に、画像の解像度を低下させた場合、画面内方向における被写体の小さな動きを見失う確率が高くなると考えられる。一方、画像の解像度を低下させたとしても、画面内方向における被写体の大きな動きについて見失う確率は低いと考えられる。ここで、追尾対象の被写体が第二の撮像部１２０の撮影画角外に移動して自動追尾動作が途切れるようになる場合とは、追尾対象の被写体が広角画像１０１内を大きく移動した場合であると考えられる。したがって、広角画像１０１の解像度を低下させたとしても、広角画像１０１内を大きく移動する被写体を見失ってしまう確率は低い。一方で、追尾対象の被写体が広角画像１０１内を小さく移動する場合には、自動追尾動作を継続することができる。このため、広角画像１０１の解像度を低下させたとしても、広角画像１０１の更新頻度を向上させた方が、撮像装置全体としての追尾精度を向上させることができることになる。

＜第一の撮像部の個数の例＞
図１では、第一の撮像部１１０が４つの撮像部１１０ａ〜１１０ｄから構成されている例を示したが、必ずしも４つの撮像部から構成されていなくてもよい。例えば、第一の撮像部が１つの撮像部から構成されていてもよいし、２つや３つ、ないしは５つ以上の撮像部から構成されていてもよい。また、第一の撮像部１１０の撮影範囲は、図１に示した範囲でなくてもよく、例えば３６０度全周が撮影範囲であってもよい。第一の撮像部１１０の撮影範囲が広いほど、追尾対象とする被写体を再度検出できる確率が高いため、より好ましい。

ここで、第一の撮像部が例えば１つの撮像部から構成されている場合、複数の撮像部で撮影した画像の合成処理が不要となるため、処理負荷と処理に要する時間とを低減できることになる。ただし、第一の撮像部が１つの撮像部から構成されている場合でも、第一の撮像部で撮影する広角画像１０１の解像度は、第二の撮像部で撮影する詳細画像１０２の解像度よりも高くなっているほうが好ましい。なぜならば、広い画角を撮影する場合ほど、高い解像度の画像を必要とするためである。なお、第一の撮像部を、広角画像を撮像可能な１つの撮像部で構成した場合、結像光学系や固体撮像素子が大型化したり、製造コストが増大したりする可能性がある。このため、撮像装置の大きさや製造コストの観点からは、第一の撮像部を複数の撮像部で構成した方が好ましい。また、第一の撮像部が１つの撮像部から構成されている場合、合成処理が不要となり広角画像１０１の更新頻度の低下は発生しないことになる。この場合、広角画像１０１の更新頻度を高くする際には、固体撮像素子に対して間引きモードや加算モードを適用したり、転送前に圧縮処理を行ったりすればよい。

＜第二の撮像部の他の構成例＞
図１では、第二の撮像部１２０がズームおよびフォーカス機構１２５を備えている例を示したが、ズーム機構を備えていなくてもよい。ただし、ズーム機構を備えているほうが、追尾対象とする被写体までの距離や大きさによらず、追尾対象の被写体の動きを検出しやすい撮影画角で詳細画像１０２を取得できる。その結果、自動追尾動作が途切れてしまう確率が低くなり、好ましい。また、ズーム機構を備えている場合、追尾対象とする被写体の大きさに応じて、自動で撮影画角を調整する機能を備えているほうが、更に好ましい。

第二の撮像部１２０がズーム機構を備えていない場合、図３のステップＳ１０３では、図４の第二の撮像部１２０の撮影画角の情報は使用せず、追尾対象の被写体の大きさ、速さのうちの一つ以上の情報を使用して、自動追尾動作が途切れる確率を求める。そして、自動追尾動作が途切れる確率が高い場合には、広角画像の更新頻度を高くする。

＜転送部の他の例＞
図１では、一つの転送部１４０を用い、広角画像１０１と詳細画像１０２をスイッチで切り替えることによって、同一のネットワークに順番に転送する場合を示したが、必ずしもこのような構成でなくてもよい。ただし、同一のネットワークを介して配信した方が、広角画像１０１と詳細画像１０２間の対応関係が把握しやすいため、好ましい。

＜追尾機能の他の例＞
図１では、第二の撮像部１２０が信号処理部１２６を有し、信号処理部１２６において、被写体の動きベクトルを検出する例を挙げたが、クライアント装置側が動きベクトルの検出機能を有していてもよい。この場合は、詳細画像１０２をクライアント装置に転送し、クライアント装置側で検出した動きベクトルの情報を用いて駆動機構１２４を制御することで、第二の撮像部１２０の撮影方向等の制御を行えばよい。

＜ネットワークの有無＞
図１では、撮像装置１００が転送部１４０を備え、画像をクライアント装置側に転送するとともに、クライアント装置側からの命令で動作している例を示した。これに対し、例えば撮像装置１００が画像データを保存するメモリと、画像を表示するビューアーおよびユーザーの命令を受け付けるインターフェース部を有していてもよい。また、撮像装置１００は、それらメモリやビューアー、インターフェース部の何れか一つ又は二つ、或いはそれら全てを備えていてもよい。

＜第二の実施形態＞
図８は第二の実施形態の撮像装置２００の概略構成を示した図であり、撮像装置２００を上側（＋Ｚ軸側）から見た配置図である。なお、第二の実施形態の撮像装置２００の内部の機能ブロックは前述した図２と同様である。
第二の実施形態の撮像装置２００は、第一の実施形態の撮像装置１００に対し、追尾対象とする被写体の方向に対する撮像部の撮影方向の角度に応じて、画像の更新頻度を制御している点が異なる。第二の実施形態の撮像装置２００の第一の撮像部２１０は、図１（ｂ）に示した撮像装置１００の第一の撮像部１１０と同様に、複数の撮像部２１１ａ〜２１１ｄから構成されている。また前述同様に、第二の実施形態の撮像装置２００は、複数の撮像部２１１ａ〜２１１ｄで取得した画像を合成することで、広角画像を生成する。そして、第二の実施形態の撮像装置２００は、追尾対象の被写体の方向に対する各撮像部２１１ａ〜２１１ｄの撮影方向の角度に応じて、各撮像部２１１ａ〜２１１ｄからの信号読み出し頻度を変更する。複数の撮像部２１１ａ〜２１１ｄからの信号読み出し頻度を変更するためには、前述したような間引きモードや加算モードで固体撮像素子からの画素信号の読み出しを行えばよい。

図８は、追尾対象とする被写体２０３の方向と、複数の撮像部２１１ａ〜２１１ｄとの位置関係を示している。図８に示したように、追尾対象の被写体２０３の方向に対する撮影方向の角度が小さい順に、撮像部２１１ａ、２１１ｂ、２１１ｃ、２１１ｄが配されている。ここで、被写体２０３の方向とは、広角画像の中心２１５と被写体２０３の重心とを結ぶ直線２１６の方向を意味する。

＜追跡対象の被写体方向との間の角度が小さい場合＞
第二の実施形態においても前述同様に、自動追尾動作が途切れる場合とは、第二の撮像装置２００に振動などの外乱が加わったり、追尾対象の被写体の動きが急激に変化したりして、追尾対象の被写体が第二の撮像部１２０の撮影画角外に移動した場合である。このため、追尾対象の被写体２０３が第二の撮像部１２０の撮影画角外に移動して見失ったとしても、被写体２０３は、見失う直前の被写体の方向に近い角度範囲内に位置している確率が高く、そこから遠い角度に位置している確率は低いと考えられる。

そこで、第二の実施形態の制御部１３０は、追尾対象の被写体２０３の方向に対する角度が小さい位置の撮像部２１１ａや２１１ｂについて、読み出す画素信号の数を減少させて、追尾対象の被写体を見失ってから再度発見するまでの遅延時間を低減させる。一方、第二の実施形態の制御部１３０は、追尾対象の被写体２０３の方向に対する角度が大きい位置の撮像部２１１ｃや２１１ｄについては画素信号の数を減少させずに読み出し、解像度の高い画像を取得する。

これにより、第二の実施形態では、自動追尾動作において追尾対象の被写体２０３を見失った場合に再度検出できる確率を低下させず、また、追尾対象の被写体２０３の方向に対して角度が大きい方向では解像度が向上した広角画像を得ることができる。その結果、第二の実施形態によれば、撮像装置全体としての追尾精度を向上させつつ、追尾対象の被写体の方向とは異なる方向の被写体の視認性を向上させることができる。

＜追跡対象の被写体の方向に対する角度が大きい撮像部の制御例＞
一方、第二の実施形態において、追尾対象の被写体２０３の方向に対して角度が大きい位置の撮像部２１１ｃや２１１ｄで読み出す画素信号の数を減少させ、角度が大きい位置の撮像部２１１ａや２１１ｂで画素信号の数を減少させずに読み出してもよい。このように、被写体２０３の方向に対して角度が小さい撮像部２１１ａや２１１ｂでは読み出す画素信号の数を減少させないようにした場合、追尾対象の被写体を再度発見できる確率を、更に向上させることができる。以下にその理由を説明する。

前述したように、画像の解像度を低下させるほど、画面内方向での被写体の小さな動きを見失う確率が高くなる。逆に言えば、追尾対象の被写体の動きが大きいほど、画像の解像度を低くしても、追尾対象を再度発見できる確率が高くなる。したがって、追尾対象の被写体２０３の方向に対する角度が小さい位置の撮像部２１１ａや２１１ｂの撮影画角内に被写体が移動した場合、当該被写体の移動量が小さいため、解像度を低下させずに読み出すことで、当該被写体を再度検出できる確率が高くなる。一方、追尾対象の被写体２０３の方向に対する角度が大きい位置の撮像部２１１ｃや２１１ｄの撮影画角内に被写体が移動した場合には、被写体の移動量が大きいため、読み出す画素信号の数を減少させて、広角画像の更新頻度を向上させる。このように、第二の実施形態では、追尾対象の被写体の方向に対する角度に応じて、撮像部の読み出す信号量を制御することで、撮像装置全体としての追尾精度をさらに向上させることができる。

なお、第一の撮像部２１０の各々の撮像部２１１ａ〜２１１ｄに関して読み出す信号量が制御されてもよい。追尾対象の被写体の方向に対する角度が小さい撮像部ほど、読み出す信号量を減少させれば、撮像装置全体としての追尾精度を向上させつつ、追尾対象の被写体とは異なる方向の別の被写体の視認性を向上させることができる。一方、追尾対象の被写体の方向に対する角度が大きい撮像部ほど、読み出す信号量を減少させれば、追尾対象の被写体を再度検出できる確率をさらに向上させることができる。

＜ハードウェア構成の例＞
図９は、本実施形態に係る前述した第一の撮像部１１０、第二の撮像部１２０を含む本実施形態の撮像装置３００におけるハードウェア構成の一例を示した図である。図９に示した撮像装置３００では、ＣＰＵ３０１が本実施形態に係る制御プログラムを実行してハードウェア構成の各部を制御する。
図９に示した撮像装置３００は、第一の撮像部１１０、第二の撮像部１２０、光学系・撮像系制御部３２０、画像処理部３０４、圧縮符号化部３０５、通信部３０６、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、雲台制御部３１１、雲台３１０を有する。

ＲＯＭ３０２には、本実施形態に係る制御プログラムや撮像装置３００の起動や動作に必要な各種パラメータを保持しており、それらプログラムやパラメータが必要に応じて読み出される。ＲＡＭ３０３は、ワークＲＡＭとして用いられ、プログラムの展開や処理途中の画像データの一時保持を行う。ＣＰＵ３０１は、ＲＡＭ３０３に展開された制御プログラムを実行して本実施形態の撮像装置３００の各部を制御し、また各種演算等を行う。本実施形態の場合、当該ＣＰＵ３０１における制御と演算には、前述した信号読み出しの制御、追尾動作の制御、追尾動作が途切れる確率の取得、間引きモードと加算モードの制御、撮影方向と撮像部の制御、更新頻度の制御、転送の制御等が含まれる。

第一の撮像部１１０は前述した図２に示した複数の撮像部１１１ａ〜１１１ｄを備えた多眼広角カメラである。第二の撮像部１２０は図２に示した単眼望遠カメラである。光学系・撮像系制御部３２０は、第一の撮像部１１０や第二の撮像部１２０の駆動及び制御を行うためのＩＣ（集積回路）等である。光学系・撮像系制御部３２０は、ＣＰＵ３０１による制御の下で、前述したような、第一の撮像部１１０の前述した間引きや加算、更新の制御等、第二の撮像部１２０のズームおよびフォーカス機構１２５の駆動制御等を行う。また、光学系・撮像系制御部３２０は、第一の撮像部１１０が備えているフォーカス機構についても駆動制御する。第一の撮像部１１０の多眼広角カメラで取得された各画像データは、画像処理部３０４に送られる。同様に、第二の撮像部１２０の単眼望遠カメラで取得された画像データは、画像処理部３０４に送られる。

雲台３１０は、前述した図２の駆動機構１２４を備えた雲台である。雲台制御部３１１は、雲台３１０の駆動機構１２４に対して駆動電力を供給等する駆動用ＩＣである。雲台制御部３１１は、ＣＰＵ３０１による制御の下で、雲台３１０の駆動機構１２４に対し駆動電力を供給することで、第二の撮像部１２０の撮影方向を制御する。

画像処理部３０４と圧縮符号化部３０５は、例えばＤＳＰ（デジタルシグナルプロセッサ）等よりなる。画像処理部３０４は、現像処理、ホワイトバランス調整等の各種画像処理を行う。また、画像処理部３０４では、第一の撮像部１１０の多眼広角カメラにて取得された各画像データに対する前述した合成処理や、第二の撮像部１２０の単眼望遠カメラから取得された画像データを用いた前述の動きベクトル検出等も行う。画像処理部３０４による画像処理後の画像データは、圧縮符号化部３０５で所定の符号化方式による圧縮符号化が行われた後に通信部３０６に送られる。これら画像処理部３０４、圧縮符号化部３０５は、ＣＰＵ３０１による制御の下で、画像処理、圧縮符号化処理を行う。

通信部３０６は、前述した図２の転送部１４０に相当し、有線ＬＡＮや無線ＬＡＮ等の通信モジュールである。通信部３０６は、圧縮符号化部３０５により圧縮符号化された画像データを、ネットワークを介してクライアント装置へ送出し、また、クライアント装置からネットワークを介して送られてきたコマンドを、受信してＣＰＵ３０１へ送る。

図１０は、本実施形態に係るクライアント装置４００の一例としてのパーソナルコンピュータ（ＰＣ）の概略的なハードウェア構成例を示した図である。
本実施形態のクライアント装置４００は、ＣＰＵ４０６、ＲＯＭ４０７、ＲＡＭ４０８、操作部４０２、大容量記録部４０３、表示部４０４、通信部４０５を有する。

操作部４０２は、例えばマウスやキーボード、タッチパネル等であり、ユーザーからの操作入力を受け付ける。
表示部４０４は、液晶パネルや有機ＥＬパネル等の表示装置であり、画像の表示やユーザインターフェイス用の画像等を表示する。
大容量記憶部は、ＨＤＤ（ハードディスクドライブ）やＳＤＤ（ソリッドステートドライブ）等であり、画像データやプログラム等を記憶する。
通信部４０５は、有線ＬＡＮや無線ＬＡＮ等の通信モジュールであり、ネットワークを介して本実施形態の撮像装置３００と接続され、撮像装置３００から送られた画像データを受信し、また、撮像装置３００へのコマンド等を送信する。

ＲＯＭ４０７には、クライアント装置４００において本実施形態に係る撮像装置３００の制御や画像表示等を行うためのプログラムを保持しており、当該プログラムが読み出されてＲＡＭ４０８に展開される。ＲＡＭ４０８は、ワークＲＡＭとして用いられ、プログラムの展開や処理途中の各種データの一時保持を行う。ＣＰＵ４０６は、ＲＡＭ４０８に展開されたプログラムを実行して本実施形態のクライアント装置４００に係る各種制御や処理を行う。例えば、操作部４０２を介してユーザーから入力された自動追尾動作の指示を受け取ると、ＣＰＵ４０６は、その自動追尾動作のためのコマンドを生成して通信部４０５から撮像装置３００へ送るような制御など、本実施形態に係る各種の制御および処理を行う。また、撮像装置３００から圧縮符号化された画像データが送られてきた場合、ＣＰＵ４０６は、その画像データを伸張復号化して表示部４０４に送って表示させる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像装置、１１０：第一の撮像部、１２０：第二の撮像部、１３０：制御部、１１４：合成処理部、１２４：駆動機構、１２５：ズームおよびフォーカス機構、１２６：信号処理部

Claims (20)

1. 広角画像を取得する第一の撮像手段と、
   第一の撮像手段の撮影範囲の一部を撮影し、かつ撮影方向を変更可能な駆動機構を備えた第二の撮像手段と、
   前記第二の撮像手段の状態と前記第二の撮像手段で撮影した画像に含まれる情報との、少なくとも一方に基づいて、前記広角画像を取得する頻度を制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は、前記第二の撮像手段の状態と前記第二の撮像手段で撮影した画像に含まれる情報との、少なくとも一方を基に、前記第二の撮像手段による被写体の追尾動作が途切れる確率を求め、前記追尾動作が途切れる確率が特定の閾値以上の場合は、前記追尾動作が途切れる確率が前記特定の閾値未満の場合よりも、前記広角画像を取得する頻度を高くすることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記被写体の追尾動作が途切れる確率が高くなるほど、前記広角画像を取得する頻度を高くするように制御することを特徴とする請求項２に記載の撮像装置。
4. 第二の撮像手段は、撮影画角を変更可能なズーム機構を備え、
   前記制御手段は、前記第二の撮像手段の前記状態として前記第二の撮像手段の前記撮影画角を取得し、前記撮影画角が狭いほど、前記被写体の追尾動作が途切れる確率を高くすることを特徴とする請求項２または３に記載の撮像装置。
5. 前記第二の撮像手段で撮影した画像から追尾対象とする被写体の動きを検出する検出手段を有し、
   前記制御手段は、前記第二の撮像手段で撮像した画像に含まれる情報として前記被写体の動きを取得し、前記被写体の動きが速いほど、前記被写体の追尾動作が途切れる確率を高くすることを特徴とする請求項２から４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記第二の撮像手段で撮像した画像に含まれる情報として前記第二の撮像手段で撮影した画像から追尾対象とする前記被写体の大きさを求め、前記被写体の大きさが大きいほど、前記被写体の追尾動作が途切れる確率を高くすることを特徴とする請求項２から５のいずれか１項に記載の撮像装置。
7. 第一の撮像手段は、撮像素子を備え、
   前記制御手段は、前記第一の撮像手段の前記撮像素子から読み出す画素信号の数を制御することで前記広角画像を取得する頻度を制御することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記制御手段は、前記第一の撮像手段の前記撮像素子からの画素信号を間引いて読み出すことで前記広角画像を取得する頻度を制御することを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、前記第一の撮像手段の前記撮像素子の複数の画素信号を加算平均して読み出すことで前記広角画像を取得する頻度を制御することを特徴とする請求項７に記載の撮像装置。
10. 前記広角画像の解像度の方が、前記第二の撮像手段で撮影した画像の解像度よりも高いことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 前記制御手段は、前記広角画像に対する圧縮処理を行うことで前記広角画像を取得する頻度を制御することを特徴とする請求項１０に記載の撮像装置。
12. 前記第一の撮像手段は複数の撮像部を有し、
    前記複数の撮像部で取得した画像を合成して前記広角画像を生成する合成処理手段を有することを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
13. 前記制御手段は、前記合成処理手段が前記合成の処理を行う前に、前記第一の撮像手段が有する前記複数の撮像部で取得した画像をダウンサンプリングすることで前記広角画像を取得する頻度を制御することを特徴とする請求項１２に記載の撮像装置。
14. 前記広角画像の画角が狭い方向に垂直な平面内で、前記広角画像の中心と、前記駆動機構の回転中心とが一致していることを特徴とする請求項１２または１３に記載の撮像装置。
15. 前記制御手段は、前記第一の撮像手段が有する複数の撮像部の内、追尾対象の被写体の方向に対する角度が小さい撮影方向の撮像部ほど、読み出す画素信号の数を減少させることを特徴とする請求項１２から１４のいずれか１項に記載の撮像装置。
16. 前記制御手段は、前記第一の撮像手段が有する複数の撮像部の内、追尾対象の被写体の方向に対する角度が大きい撮影方向の撮像部ほど、読み出す画素信号の数を減少させることを特徴とする請求項１２から１４のいずれか１項に記載の撮像装置。
17. 前記広角画像と前記第二の撮像手段で撮影した画像とを切り替えることで、前記広角画像と前記第二の撮像手段で撮影した画像を順番にネットワークに転送する転送手段を有することを特徴とする請求項１から１６のいずれか１項に記載の撮像装置。
18. 請求項１から１７のいずれか１項に記載の撮像装置と、前記撮像装置とネットワークを介して接続されたクライアント装置とを備えたことを特徴とするシステム。
19. 第一の撮像手段により広角画像を取得する第一の撮像工程と、
    前記第一の撮像手段の撮影範囲の一部を撮影し、かつ撮影方向を変更可能な駆動機構を備えた第二の撮像手段により画像を取得する第二の撮像工程と、
    前記第二の撮像手段の状態と前記第二の撮像手段で取得した画像に含まれる情報との、少なくとも一方に基づいて、前記広角画像を取得する頻度を制御する制御工程と、
    を有することを特徴とする撮像装置の制御方法。
20. 広角画像を取得する第一の撮像手段と、前記第一の撮像手段の撮影範囲の一部を撮影しかつ撮影方向を変更可能な駆動機構を備えた第二の撮像手段とを備えた撮像装置が有するコンピュータを、請求項１から１８のいずれか１項に記載の撮像装置の制御手段として機能させるためのプログラム。

Images