JP2018198470A - 追尾制御装置、追尾制御方法、追尾制御プログラム、及び、自動追尾撮影システム - Google Patents

Abstract

【課題】追従性の高い追尾制御装置、追尾制御方法、追尾制御プログラム、及び、自動追尾撮影システムを提供する。【解決手段】本発明の一態様では、カメラ（１０）を制御端末（１００）で遠隔制御して、ターゲットを自動で追尾しながら撮影する自動追尾撮影システム（１）において、制御端末（１００）は、ターゲットの位置を検出するターゲット位置検出部と、制御遅延が生じる時間Ｔを推定する制御遅延時間推定部と、Ｔ時間後のターゲットの位置を予測するターゲット位置予測部と、予測したターゲットの位置に撮影画面の中心を移動させるために必要なカメラ（１０）のパン及びチルトの制御量を演算する制御量演算部と、カメラ（１０）に対してパン及びチルトの実行を指示する指示部と、を備える。【選択図】 図１

Description

本発明は、カメラのパン及び／又はチルトを遠隔制御して、ターゲットを追尾しながら撮影するための追尾制御装置、追尾制御方法、追尾制御プログラム、及び、自動追尾撮影システムに関する。

パン及び／又はチルトの機能を備えたカメラを使用して、移動する被写体を自動で追尾しながら撮影する自動追尾撮影システムが知られている。

一般に自動追尾撮影システムでは、カメラで撮影された画像からターゲット（追尾対象とする被写体）の位置を逐次検出し、ターゲットが常に撮影画面の中央に位置するように、カメラのパン及び／又はチルトを制御する。

特許文献１には、このような自動追尾撮影システムにおいて、ターゲットの動きを予測してパン及びチルトを制御することが記載されている。すなわち、所定時間後のターゲットの位置を予測して、カメラのパン及びチルトを制御することが記載されている。また、特許文献１には、カメラに出力するパン及びチルトの指令値にローパスフィルタ処理を行うことにより、高い周波数の動きを減衰させて、画像の動きをなめらかにすることが記載されている。

特開2007-295175号公報

ところで、このような自動追尾撮影システムでは、カメラを制御端末で遠隔制御して、カメラにターゲットを追尾させるシステムも知られている。しかしながら、このようにカメラを遠隔制御するシステムでは、カメラと制御端末との間の通信状態によって、変則的な制御遅延が生じるという問題がある。特許文献１は、ターゲットの動きを予測してカメラのパン及びチルトを制御しているが、一定時間後の予測であるため、変則的な制御遅延が生じた場合には対応できないという欠点がある。

このような変則的な制御遅延は、制御端末が複数の処理を並列して実行しているような場合にも生じる。すなわち、１つのＣＰＵ（Central Processing Unit：中央処理装置）で複数の処理を並列して実行するコンピュータでカメラを遠隔制御する場合、ＣＰＵの使用状態によって変則的な制御遅延が生じる。

また、ターゲットの動きを予測してカメラのパン及び／又はチルトを制御すると、小刻みな揺れが頻発しやすいという問題がある。すなわち、予測であるため誤差が発生し、この誤差を修正するために、小刻みな揺れが頻発するという問題がある。特許文献１は、カメラに出力するパン及びチルトの指令値にローパスフィルタ処理を行うことにより、高い周波数の動きを減衰させる方式のため、小刻みな動きであっても周波数の高くない動きについては、有効に防止できないという欠点がある。

本発明は、このような事情に鑑みてなされたもので、追従性が高く、かつ、高品位な動画を撮影できる追尾制御装置、追尾制御方法、追尾制御プログラム、及び、自動追尾撮影システムを提供することを目的とする。

上記課題を解決するための手段は、次のとおりである。

（１）パン及び／又はチルトの機能を備えたカメラのパン及び／又はチルトの動作を遠隔制御して、カメラにターゲットを追尾させる追尾制御装置であって、カメラで撮影された画像に基づいて、ターゲットの位置を検出するターゲット位置検出部と、少なくともカメラとの間の通信状態に基づいて、制御遅延が生じる時間Ｔを推定する制御遅延時間推定部と、Ｔ時間後のターゲットの位置をターゲット予測位置として予測するターゲット位置予測部と、ターゲットを配置する位置としてカメラの撮影画面内に設定されるターゲット配置位置をターゲット予測位置に移動させるために必要なカメラのパン及び／又はチルトの制御量を演算する制御量演算部と、ターゲット予測位置が、ターゲット配置位置を基準にして設定される不感領域に属するか否かを判定する判定部と、ターゲット予測位置が、不感領域に属しないと判定部で判定された場合に、カメラに対して制御量でパン及び／又はチルトの実行を指示する指示部と、を備えた追尾制御装置。

本態様によれば、通信による制御遅延を考慮して、ターゲットの位置が予測される。そして、予測されたターゲットの位置に基づいて、カメラのパン及び／又はチルトが制御される。これにより、通信によって制御遅延が生じた場合であっても、精度よくカメラを追従させることができる。また、本態様によれば、不感領域が設定され、不感領域内で予測されるターゲットの動きに対しては、カメラを追従さないように設定される。これにより、カメラが小刻みに動くのを防止でき、高品位な動画を撮影できる。

（２）制御遅延時間推定部は、更にターゲット位置検出部の動作状態に基づいて、制御遅延が生じる時間Ｔを推定する、上記（１）の追尾制御装置。

本態様によれば、更にターゲット位置検出部の動作状態を考慮して、ターゲットの位置が予測される。ターゲットの位置検出に時間がかかると、その分、制御遅延が生じる。ターゲット位置検出部の動作状態を考慮して、ターゲットの位置を予測することにより、更に精度よくターゲットの位置を予測できる。これにより、更に追従性を向上できる。

（３）ターゲット位置予測部は、ターゲットの移動履歴に基づいて、ターゲット予測位置を予測する、上記（１）又は（２）の追尾制御装置。

本態様によれば、ターゲットの移動履歴に基づいて、ターゲット予測位置が予測される。ターゲットの移動履歴を解析することにより、Ｔ時間後のターゲットの位置をある程度正確に予測できる。これにより、追従性の高い制御が可能になる。

（４）制御量が閾値以上の場合に、制御量を閾値に修正する制御量修正部を更に備えた、上記（１）から（３）のいずれか１の追尾制御装置。

本態様によれば、閾値以上の制御量が算出された場合に制御量が閾値に制限される。すなわち、１回の動作でパン及び／又はチルトできる範囲が一定の範囲に制限される。これにより、実際の位置と予測した位置との誤差が大きかった場合であっても、急にカメラが大きく動くのを防止でき、違和感のない高品位な動画を撮影できる。

（５）閾値が、ターゲット配置位置を基準にして設定される不感領域の大きさと同じ値に設定される、上記（４）の追尾制御装置。

本態様によれば、１回の動作でパン及び／又はチルト可能な範囲が、不感領域の大きさと同じ値に設定される。なお、本発明において、「同じ値」とは厳密に同一である場合だけでなく、実質的に同一とみなせる場合も含む。すなわち、ほぼ同じ値を含む概念である。

（６）不感領域を変更する不感領域変更部を更に備えた、上記（１）から（５）のいずれかの追尾制御装置。

本態様によれば、不感領域を変更できる。これにより、状況に応じて適切に不感領域を設定でき、より高品位な動画を撮影できる。

（７）不感領域変更部は、ターゲットの速度の情報を取得し、ターゲットの速度に応じて不感領域を拡縮する、上記（６）の追尾制御装置。

本態様によれば、ターゲットの速度に応じて不感領域が拡縮される。この場合、ターゲットの速度が速くなるほど不感領域が縮小される。

（８）不感領域変更部は、ターゲットの加速度の情報を取得し、ターゲットの加速度に応じて不感領域を拡縮する、上記（６）又は（７）の追尾制御装置。

本態様によれば、ターゲットの加速度に応じて不感領域が拡縮される。この場合、ターゲットの加速度が大きくなるほど不感領域が縮小される。

（９）不感領域変更部は、ターゲットの大きさの情報を取得し、ターゲットの大きさに応じて不感領域を拡縮する、上記（６）から（８）のいずれか１の追尾制御装置。

本態様によれば、ターゲットの大きさに応じて不感領域が拡縮される。この場合、ターゲットの大きさが大きくなるほど不感領域が縮小される。

（１０）不感領域変更部は、カメラからターゲットまでの距離の情報を取得し、カメラからターゲットまでの距離に応じて不感領域を拡縮する、上記（６）から（９）のいずれか１の追尾制御装置。

本態様によれば、カメラからターゲットまでの距離に応じて不感領域が拡縮される。この場合、カメラからターゲットまでの距離が近くなるほど不感領域が縮小される。

（１１）ターゲットが人物であり、不感領域変更部は、人物の顔の向きの情報を取得し、人物の顔の向きと同じ方向の不感領域を縮小する、上記（６）から（１０）のいずれか１の追尾制御装置。

本態様によれば、ターゲットが人物の場合、人物の顔の向きと同じ方向の不感領域が縮小される。

（１２）不感領域変更部は、ターゲット予測位置の情報を取得し、ターゲットが移動すると予測される方向の不感領域を縮小する、上記（６）から（１１）のいずれか１の追尾制御装置。

本態様によれば、ターゲットが移動すると予測される方向の不感領域を縮小される。

（１３）不感領域変更部は、制御量の情報を取得し、制御量の大きさに応じて不感領域を拡縮する、上記（１２）の追尾制御装置。

本態様によれば、ターゲットが移動すると予測される方向の不感領域を縮小する場合において、パン及び／又はチルトの制御量に応じて、その大きさが拡縮される。すなわち、制御量が大きくなほど不感領域が縮小される。

（１４）ターゲット位置予測部による予測の信頼度を算出する予測信頼度算出部を更に備え、不感領域変更部は、予測信頼度算出部で算出される信頼度に応じて不感領域を拡縮する、上記（６）から（１３）のいずれか１の追尾制御装置。

本態様によれば、予測の信頼度が算出され、算出された信頼度に応じて不感領域が拡縮される。この場合、信頼度が低下するほど不感領域が拡大される。

（１５）カメラで撮影された画像を表示する表示部を更に備える、上記（１）から（１４）のいずれか１の追尾制御装置。

本態様によれば、カメラで撮影された画像を表示する表示部が備えられる。これにより、カメラで撮影された画像を確認できる。

（１６）表示部の表示画面上での位置を指定する入力部と、入力部で指定された位置の被写体をターゲットに設定するターゲット設定部と、を更に備えた、上記（１５）の追尾制御装置。

本態様によれば。表示部の表示画面上でターゲットとする被写体を設定できる。これにより、ターゲットを簡単に設定できる。

（１７）カメラで撮影されて画像から人物の顔を検出する顔検出部と、顔検出部で検出された人物の顔をターゲットに設定するターゲット設定部と、を更に備えた、上記（１）から（１６）のいずれか１の追尾制御装置。

本態様によれば、画像から検出された人物の顔がターゲットに設定される。これにより、簡単に人物をターゲットにして追尾できる。

（１８）カメラは、レンズを介して被写体の光学像を撮像する撮像部と、撮像部をパン及び／又はチルトする雲台部と、を備えた、上記（１）から（１７）のいずれか１の追尾制御装置。

本態様によれば、撮像部を機械的にパン及び／又はチルトさせて、パン及び／又はチルトの機能が提供される。

（１９）カメラは、レンズを介して被写体の光学像を撮像する撮像部と、撮像部で撮像された画像の一部を切り出す画像切り出し部と、を備え、画像切り出し部で切り出す画像の位置を移動させることにより、電子的にパン及び／又はチルトする、上記（１）から（１７）のいずれか１の追尾制御装置。

本態様によれば、画像の切り出しによって、電子的にパン及び／又はチルトが行われる。この場合、魚眼レンズのような広角レンズを使用して撮影することが好ましい。

（２０）パン及び／又はチルトの機能を備えたカメラのパン及び／又はチルトの動作を制御端末で遠隔制御して、カメラにターゲットを追尾させる追尾制御方法であって、カメラで撮影した画像に基づいて、ターゲットの位置を検出する工程と、少なくともカメラと制御端末との間の通信状態に基づいて、制御遅延が生じる時間Ｔを推定する工程と、Ｔ時間後のターゲットの位置をターゲット予測位置として予測する工程と、ターゲットを配置する位置としてカメラの撮影画面内に設定されるターゲット配置位置をターゲット予測位置に移動させるために必要なカメラのパン及び／又はチルトの制御量を演算する工程と、ターゲット予測位置が、ターゲット配置位置を基準にして設定される不感領域に属するか否かを判定する工程と、ターゲット予測位置が、不感領域に属しないと判定された場合に、カメラに対して制御量でパン及び／又はチルトの実行を指示する工程と、を有する追尾制御方法。

本態様によれば、通信による制御遅延を考慮して、ターゲットの位置が予測される。そして、予測された位置に基づいて、カメラのパン及び／又はチルトが制御される。これにより、通信によって制御遅延が生じた場合であっても、精度よくカメラを追従させることができる。また、本態様によれば、不感領域が設定され、不感領域内で予測されるターゲットの動きに対しては、カメラを追従させないように設定される。これにより、カメラが小刻みに動くのを防止でき、高品位な動画を撮影できる。

（２１）パン及び／又はチルトの機能を備えたカメラのパン及び／又はチルトの動作を遠隔制御して、カメラにターゲットを追尾させる追尾制御プログラムであって、カメラで撮影された画像を取得する機能と、取得した画像に基づいて、ターゲットの位置を検出する機能と、少なくともカメラとの間の通信状態に基づいて、制御遅延が生じる時間Ｔを推定する機能と、Ｔ時間後のターゲットの位置をターゲット予測位置として予測する機能と、ターゲットを配置する位置としてカメラの撮影画面内に設定されるターゲット配置位置をターゲット予測位置に移動させるために必要なカメラのパン及び／又はチルトの制御量を演算する機能と、ターゲット予測位置が、ターゲット配置位置を基準にして設定される不感領域に属するか否かを判定する機能と、ターゲット予測位置が、不感領域に属しないと判定された場合に、カメラに対して制御量でパン及び／又はチルトの実行を指示する機能と、をコンピュータに実現させる追尾制御プログラム。

本態様によれば、通信による制御遅延を考慮して、ターゲットの位置が予測される。そして、予測された位置に基づいて、カメラのパン及び／又はチルトが制御される。これにより、通信によって制御遅延が生じた場合であっても、精度よくカメラを追従させることができる。また、本態様によれば、不感領域が設定され、不感領域内で予測されるターゲットの動きに対しては、カメラを追従させないように設定される。これにより、カメラが小刻みに動くのを防止でき、高品位な動画を撮影できる。

（２２）パン及び／又はチルトの機能を備えたカメラのパン及び／又はチルトの動作を制御端末で遠隔制御して、カメラにターゲットを追尾させる自動追尾撮影システムであって、制御端末は、カメラで撮影された画像に基づいて、ターゲットの位置を検出するターゲット位置検出部と、少なくともカメラと間の通信状態に基づいて、制御遅延が生じる時間Ｔを推定する制御遅延時間推定部と、Ｔ時間後のターゲットの位置をターゲット予測位置として予測するターゲット位置予測部と、ターゲットを配置する位置としてカメラの撮影画面内に設定されるターゲット配置位置をターゲット予測位置に移動させるために必要なカメラのパン及び／又はチルトの制御量を演算する制御量演算部と、ターゲット予測位置が、ターゲット配置位置を基準にして設定される不感領域に属するか否かを判定する判定部と、ターゲット予測位置が、不感領域に属しないと判定された場合に、カメラに対して制御量でパン及び／又はチルトの実行を指示する指示部と、を備えた自動追尾撮影システム。

本態様によれば、通信による制御遅延を考慮して、ターゲットの位置が予測される。そして、予測された位置に基づいて、カメラのパン及び／又はチルトが制御される。これにより、通信によって制御遅延が生じた場合であっても、精度よくカメラを追従させることができる。また、本態様によれば、不感領域が設定され、不感領域内で予測されるターゲットの動きに対しては、カメラを追従させないように設定される。これにより、カメラが小刻みに動くのを防止でき、高品位な動画を撮影できる。

本発明によれば、追従性が高く、かつ、高品位な動画を撮影できる。

本発明に係る自動追尾撮影システムの一実施形態を示すシステム構成図 カメラのシステム構成を示すブロック図 制御端末のシステム構成を示すブロック図 追尾制御装置として機能する制御端末のシステム構成を示すブロック図 ターゲット設定時におけるディスプレイの画面表示例を示す図 予測方法の一例を示す図 予測方法の他の一例を示す図 パン及びチルトの制御量を算出する方法の概念図 不感領域の設定の概念図 ターゲットの設定処理の手順を示すフローチャート 追尾制御の手順を示すフローチャート 本実施の形態の追尾制御の概念図 第２の実施の形態の追尾制御装置として機能する制御端末のシステム構成を示すブロック図 閾値の設定の概念図 第２の実施の形態の追尾制御の手順を示すフローチャート 第３の実施の形態の追尾制御装置として機能する制御端末のシステム構成を示すブロック図 不感領域の変更方法の概念図 第３の実施の形態の追尾制御の手順を示すフローチャート ターゲットまでの距離に応じて不感領域を拡縮する方法の概念図 ターゲットである人物の顔の向きに応じて不感領域を拡縮する方法の概念図 第４の実施の形態の追尾制御装置として機能する制御端末のシステム構成を示すブロック図 第４の実施の形態の追尾制御の手順を示すフローチャート 第５の実施の形態の追尾制御装置として機能する制御端末のシステム構成を示すブロック図 電子的にパン及びチルトの機能を実現するカメラのシステム構成を示すブロック図 画像切り出し部による画像の切り出しの概念図 制御端末のディスプレイの画面表示例を示す図

以下、添付図面に従って本発明を実施するための好ましい形態について詳説する。

《システム構成》
図１は、本発明に係る自動追尾撮影システムの一実施形態を示すシステム構成図である。

図１に示すように、本実施の形態の自動追尾撮影システム１は、パン及びチルトの機能を備えたカメラ１０、及び、そのカメラ１０の動作を遠隔制御する制御端末１００を備える。

〈カメラ〉
カメラ１０は、撮像部１２及び雲台部１４を備える。

〔カメラの撮像部〕
撮像部１２は、ハウジング１２Ａを備え、ハウジング１２Ａの内部にレンズ１６、及び、図示しないイメージセンサを備える。

レンズ１６は、フォーカス機能及びズーム機能を備える。レンズ１６は、図示しないレンズ駆動部によって、その光学系の一部を光軸Ｌに沿って前後移動させることにより、フォーカスが調節される。また、レンズ１６は、図示しないレンズ駆動部によって、その光学系の一部を光軸Ｌに沿って前後移動させることにより、ズームが調節される。

イメージセンサは、レンズ１６を通した光を受光する。イメージセンサは、たとえば、ＣＣＤイメージセンサ（ＣＣＤ：Charge Coupled Device）やＣＭＯＳイメージセンサ（ＣＭＯＳ：Complementary Metal Oxide Semiconductor）などの二次元イメージセンサで構成される。

〔カメラの雲台部〕
雲台部１４は、撮像部１２をパン及びチルト可能に支持する。雲台部１４は、ベースフレーム１４Ａ及び回転フレーム１４Ｂを備える。

ベースフレーム１４Ａは、土台部であり、回転フレーム１４Ｂを回転自在に支持する。回転フレーム１４Ｂは、このベースフレーム１４Ａに対して、パン軸Ｐを中心に回転自在に支持される。

回転フレーム１４Ｂは、撮像部１２の支持部であり、撮像部１２を回転自在に支持する。撮像部１２は、この回転フレーム１４Ｂに対して、チルト軸Ｔを中心に回転自在に支持される。このチルト軸Ｔは、パン軸Ｐと直交し、かつ、撮像部１２の光軸Ｌと直交する。

ベースフレーム１４Ａは、図示しないパン駆動部を内蔵する。パン駆動部は、たとえば、モータで構成される。回転フレーム１４Ｂは、このパン駆動部に駆動されて、パン軸Ｐを中心に回転する。

また、回転フレーム１４Ｂには、図示しないチルト駆動部を内蔵する。チルト駆動部は、たとえばモータで構成される。撮像部１２は、このチルト駆動部に駆動されて、チルト軸Ｔを中心に回転する。

撮像部１２は、パン駆動部を駆動するとパンされ、チルト駆動部を駆動するとチルトされる。パン可能な角度は、たとえば、２７０度（±１３５度）であり、チルト可能な角度は、１３５度（−４５度〜＋９０度）である。

ベースフレーム１４Ａは、操作パネル１８を備える。操作パネル１８には、電源ボタン等の各種操作部材が備えられる。カメラ１０は、この操作パネル１８を介して各種操作が行われる。

〔カメラのシステム構成〕
図２は、カメラのシステム構成を示すブロック図である。

同図に示すように、カメラ１０は、ＡＦＥ（Analog Front End：アナログフロントエンド）２４と、カメラ制御部３０と、メモリ５０と、無線ＬＡＮ通信部（ＬＡＮ：Local Area Network）５２と、を備える。

ＡＦＥ２４は、撮像部１２のイメージセンサ２０から出力される信号（画像信号）に対して、たとえば、ノイズ除去、信号増幅、Ａ／Ｄ変換（Ａ／Ｄ：Analog/Digital）などの信号処理を施す。ＡＦＥ２４で生成されるデジタルの画像信号は、カメラ制御部３０に出力される。

カメラ制御部３０は、ＣＰＵ（Central Processing Unit）及びメモリを備えたマイクロコンピュータで構成され、所定のプログラムを実行することにより、画像信号処理部３２、撮像制御部３４、レンズ制御部３６、パン制御部３８Ｐ、チルト制御部３８Ｔ、通信制御部４０、カメラ動作制御部４２として機能する。

画像信号処理部３２は、ＡＦＥ２４から取得されるデジタルの画像信号に対して所要の信号処理を施し、デジタルの画像データを生成する。たとえば、輝度信号（Ｙ）の画像データと色差信号（Ｃｒ、Ｃｂ）の画像データとかなるデジタルの画像データを生成する。

撮像制御部３４は、イメージセンサ２０の駆動を制御して、イメージセンサ２０による撮像を制御する。

レンズ制御部３６は、レンズ駆動部１６Ａを制御して、レンズ１６のフォーカス、ズーム、絞りの動作を制御する。

パン制御部３８Ｐは、パン駆動部２２Ｐの駆動を制御して、カメラ１０のパンの動作を制御する。

チルト制御部３８Ｔは、チルト駆動部２２Ｔの駆動を制御して、カメラ１０のチルトの動作を制御する。

通信制御部４０は、無線ＬＡＮ通信部５２を制御して、外部機器との間の無線ＬＡＮ通信を制御する。本実施の形態の自動追尾撮影システム１では、外部機器である制御端末１００との間の通信を制御する。

カメラ動作制御部４２は、操作パネル１８及び制御端末１００からの指示に応じて、カメラ全体の動作を統括制御する。

メモリ５０は、各種データの記憶部として機能し、カメラ動作制御部４２からの要求に応じてデータの読み書きが行われる。

無線ＬＡＮ通信部５２は、アンテナ５２Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ規格（たとえば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格〔ＩＥＥＥ：The Institute of Electrical and Electronics Engineers, Inc.／米国電子技術者協会〕）に従った無線ＬＡＮ通信を行う。

〈制御端末〉
制御端末１００は、図１に示すように、いわゆるスマートフォンで構成され、矩形の平板状の筐体１０１にディスプレイ１０２、操作ボタン１０３、スピーカー１０４、マイクロフォン１０５（図３参照）、内蔵カメラ１０６等を備えて構成される。

図３は、制御端末のシステム構成を示すブロック図である。

同図に示すように、制御端末１００は、制御端末１００の全体の動作を制御するＣＰＵ１１０を備え、このＣＰＵ１１０にシステムバス１１２を介して、メインメモリ１１４、不揮発性メモリ１１６、モバイル通信部１１８、無線ＬＡＮ通信部１２０、近距離無線通信部１２２、表示部１２４、タッチパネル入力部１２６、キー入力部１２８、音声処理部１３０、画像処理部１３２等が接続されて構成される。

ＣＰＵ１１０は、不揮発性メモリ１１６に記憶された動作プログラム（ＯＳ（Operating System）、及び、そのＯＳ上で動作するアプリケーションプログラム）、及び、定型データ等を読出し、メインメモリ１１４に展開して、当該動作プログラムを実行することにより、この制御端末全体の動作を制御する制御部として機能する。

メインメモリ１１４は、たとえば、ＲＡＭ（Random Access Memory）で構成され、ＣＰＵ１１０のワークメモリとして機能する。

不揮発性メモリ１１６は、たとえば、フラッシュＥＥＰＲＯＭ（ＥＥＰＲＯＭ：Electrically Erasable Programmable Read Only Memory）で構成され、上述した動作プログラムや各種定型データを記憶する。また、不揮発性メモリ１１６は、制御端末１００の記憶部として機能し、各種データを記憶する。

モバイル通信部１１８は、ＩＭＴ−２０００規格（International Mobile Telecommunication-2000）に準拠した第３世代移動通信システム、及び、ＩＭＴ−Ａｄｖａｎｃｅ規格（International Mobile Telecommunications-Advanced）に準拠した第４世代移動通信システムに基づき、アンテナ１１８Ａを介して、最寄りの図示しない基地局との間でデータの送受信を実行する。

無線ＬＡＮ通信部１２０は、アンテナ１２０Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ通信規格（例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格）に従った無線ＬＡＮ通信を行う。

近距離無線通信部１２２は、アンテナ１２２Ａを介して、たとえばクラス２（半径約１０ｍ内）の範囲内にある他のＢｌｕｅｔｏｏｔｈ（登録商標）規格の機器とデータの送受信を実行する。

表示部１２４は、ディスプレイ１０２を構成するカラー液晶パネルと、その駆動回路と、で構成され、各種画像を表示する。

タッチパネル入力部１２６は、入力部の一例である。タッチパネル入力部１２６は、透明電極を用いてディスプレイ１０２と一体的に構成される。タッチパネル入力部１２６は、ユーザーがディスプレイ１０２の表示画面をタッチ操作すると、そのタッチ操作に対応した２次元の位置座標情報を生成して出力する。すなわち、タッチして指定されたディスプレイ１０２の表示画面上での位置の座標情報を出力する。

キー入力部１２８は、制御端末１００の筐体１０１に備えられた操作ボタン１０３を含む複数のキースイッチと、その駆動回路と、で構成される。

音声処理部１３０は、システムバス１１２を介して与えられるデジタル音声データをアナログ化してスピーカー１０４から出力する。また、音声処理部１３０は、マイクロフォン１０５から入力されたアナログの音声信号をサンプリングし、デジタルデータ化して出力する。

画像処理部１３２は、レンズ及びイメージセンサを備えた内蔵カメラ１０６から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。

〈追尾制御装置〉
本実施の形態の自動追尾撮影システム１では、制御端末１００のＣＰＵ１１０が、所定の追尾制御プログラムを実行することにより、制御端末１００が追尾制御装置２００として機能する。

図４は、追尾制御装置として機能する制御端末のシステム構成を示すブロック図である。

図４に示すように追尾制御装置２００は、画像取得部２１０と、ターゲット設定部２１２と、ターゲット位置検出部２１４と、移動履歴記録部２１６と、制御遅延時間推定部２１８と、ターゲット位置予測部２２０と、制御量演算部２２２と、不感領域設定部２２４と、判定部２２６と、指示部２２８と、を備える。

〔画像取得部〕
画像取得部２１０は、通信可能に接続されたカメラ１０から画像を取得する。カメラ１０は、追尾制御装置２００から撮影の実行が指示されると、一定のフレームレートで画像を撮影する。そして、撮影した画像を制御端末１００に順次転送する。画像取得部２１０は、カメラ１０から転送されてくる画像を順次取得する。

〔ターゲット設定部〕
ターゲット設定部２１２は、ターゲット、すなわち、追尾対象とする被写体を設定する。ターゲット設定部２１２は、カメラ１０で撮影された画像をディスプレイ１０２に表示し、画面上でユーザーにタッチされた被写体をターゲットに設定する。

図５は、ターゲット設定時におけるディスプレイの画面表示例を示す図である。

同図に示すように、ターゲット設定時、ディスプレイ１０２には、カメラ１０で撮影された画像が表示される。ターゲット設定部２１２は、カメラ１０から画像データを取得し、ディスプレイ１０２に表示させる。

ユーザーは、ディスプレイ１０２の画面表示を確認し、追尾対象とする被写体を画面上でタッチして選択する。ターゲット設定部２１２は、タッチパネル入力部１２６からの出力に基づいて、タッチされた位置を中心に矩形状の追尾枠Ｆを設定して、ターゲットを設定する。この際、たとえば、人物をターゲットに選択した場合は、人物の顔領域を抽出し、抽出した顔領域を囲うように追尾枠Ｆを設定する。あるいは、タッチされた位置を基準として、動体を抽出し、抽出した動体を囲うように追尾枠Ｆを設定する。

設定された追尾枠Ｆの中心が、ターゲットの位置とされる。設定された追尾枠Ｆは、撮影画像に重ねてディスプレイ１０２に表示される。

〔ターゲット位置検出部〕
ターゲット位置検出部２１４は、画像取得部２１０で取得した画像を解析し、追尾対象とするターゲットの位置を検出する。本実施の形態では、テンプレートを利用した既知のブロックマッチングによりターゲットの位置を検出する。ブロックマッチングでは、時系列的に得られる複数の画像データ間において、テンプレートを利用してターゲットの動きベクトルを求めることにより、ターゲットの位置を求める。この場合、たとえば、設定された追尾枠内の画像をテンプレート画像として利用し、ターゲットの位置を求める。

〔移動履歴記録部〕
移動履歴記録部２１６は、ターゲット位置検出部２１４で検出されたターゲットの位置の情報に基づいて、ターゲットの移動履歴を記録する。この移動履歴の情報には、少なくともターゲットの位置の情報、及び、その位置を検出した時の時間の情報が含まれる。この移動履歴の情報は、たとえば、メインメモリ１１４に記録される。

移動履歴の情報は、ターゲットの位置の予測に使用される。したがって、少なくとも予測に必要な分の履歴が記録される。

〔制御遅延時間推定部〕
制御遅延時間推定部２１８は、カメラ１０との間の通信状態に基づいて、制御遅延が生じる時間Ｔを推定する。すなわち、通信の影響でどの程度制御が遅れるかを推定する。本実施の形態では、データの送受信に要する時間を検出して、制御遅延が生じる時間Ｔを推定する。データの送受信に要する時間は、たとえば、画像データの受信間隔に基づいて検出する。すなわち、画像データが受信される間隔を計測して、データの送受信に要する時間を検出する。この場合、直近のＮ回分の画像データの受信間隔の平均を求めて、データの送受信に要する時間とすることができる。

〔ターゲット位置予測部〕
ターゲット位置予測部２２０は、ターゲットの移動履歴に基づいて、Ｔ時間後のターゲットの位置を予測する。本実施の形態では、Ｔ時間後のパン方向の位置と、Ｔ時間後のチルト方向の位置とを分けて予測する。

図６は、予測方法の一例を示す図であり、Ｔ時間後のパン方向のターゲットの位置を予測する方法を示している。

同図に示すように、ターゲットの移動履歴からターゲットの動きを推定し、Ｔ時間後のターゲットの位置を推定する。

なお、同図において、横軸は時間、縦軸はパン方向のターゲットの位置を示している。また、点Ｐは今回検出したターゲットの位置、点Ｐ−１は前回検出したターゲットの位置、点Ｐ−２は、前々回検出したターゲットの位置である。また、点Ｐ＋１は、今回予測するＴ時間後のターゲットの位置である。

同図に示すように、一方向に移動するターゲットに対しては、補間により過去に検出した各点を通る曲線Ｃを求め、Ｔ時間後のターゲットの位置Ｐ＋１を求める。

図７は、予測方法の他の一例を示す図である。図６と同様にＴ時間後のパン方向のターゲットの位置を予測する方法を示している。

同図に示すように、ランダムに移動するターゲットに対しては、過去に検出した位置の平均を求めて、Ｔ時間後のターゲットの位置Ｐ＋１を求める。

このように、ターゲット位置予測部２２０は、ターゲットの移動履歴を解析して、Ｔ時間後のターゲットの位置を予測する。予測した位置は、ターゲット予測位置として制御量演算部２２２に出力される。

〔制御量演算部〕
制御量演算部２２２は、ターゲットを追尾するために必要なカメラ１０のパン及びチルトの制御量を演算する。この際、制御量演算部２２２は、ターゲット位置予測部２２０で予測したターゲット予測位置に基づいて、カメラ１０のパン及びチルトの制御量を演算する。すなわち、Ｔ時間後のターゲットが、カメラ１０の撮影画面内の所定位置に位置するように、カメラ１０のパン及びチルトの制御量を演算する。

図８は、パン及びチルトの制御量を算出する方法の概念図である。

追尾撮影では、ターゲットが常に画面内の所定の位置に位置するように、カメラ１０のパン及びチルトを制御する。

カメラ１０の撮影画面内でターゲットを配置する位置をターゲット配置位置ＰＯとすると、制御量演算部２２２は、ターゲット配置位置ＰＯをターゲット予測位置ＰＴに移動させるために必要なカメラ１０のパン及びチルトの制御量を演算する。たとえば、ターゲット配置位置ＰＯを画面中央に設定した場合、制御量演算部２２２は、カメラ１０の撮影画面の中央の位置をターゲット予測位置ＰＴに移動させるために必要なカメラ１０のパン及びチルトの制御量を演算する。

制御量は、図８に示すように、パン方向及びチルト方向の回転の角度及び速度が演算される。すなわち、パン方向ＤＰの回転角度θＰ及び角速度がパン方向ＤＰの制御量として演算され、チルト方向ＤＴの回転角度θＴ及び角速度がチルト方向ＤＴの制御量として演算される。

なお、ターゲット予測位置の情報を取得できない場合もある。このような場合、制御量演算部２２２は、ターゲット位置検出部２１４で検出されたターゲットの位置に基づいて、カメラ１０のパン及びチルトの制御量を演算する。ターゲット予測位置の情報を取得できない場合とは、たとえば、追尾開始直後のように、ターゲットの移動履歴の情報が得られずに、Ｔ時間後のターゲットの位置を予測できないような場合である。

〔不感領域設定部〕
不感領域設定部２２４は、ターゲット配置位置を基準として、カメラ１０の撮影画面内に不感領域を設定する。不感領域とは、追尾制御を行わない領域をいう。すなわち、その領域内であれば、ターゲットが移動したとしても、カメラ１０をパン及びチルトさせない領域である。不感領域を設定することにより、ターゲットの小刻みな動きに併せてカメラ１０がパン及びチルトするのを防止でき、安定した高品質な画像を撮影できる。

図９は、不感領域の設定の概念図である。

同図に示すように、不感領域ＤＺは、ターゲット配置位置ＰＯを基準として撮影画面内の一定の範囲に設定される。なお、同図に示す例では、ターゲット配置位置ＰＯをカメラ１０の撮影画面の中央に設定している。

不感領域ＤＺは、ターゲット配置位置ＰＯを基準として、パン方向ＤＰに一定の範囲で設定され、かつ、チルト方向ＤＴに一定の範囲で設定される。より具体的には、ターゲット配置位置ＰＯを基準として、パンのプラス方向ＤＰ（＋）に一定の範囲ＤＺＰ（＋）で設定され、かつ、マイナス方向ＤＰ（−）に一定の範囲ＤＺＰ（−）で設定される。また、チルトのプラス方向ＤＴ（＋）に一定の範囲ＤＺＴ（＋）で設定され、かつ、マイナス方向ＤＴ（−）に一定の範囲ＤＺＴ（−）で設定される。

不感領域ＤＺの設定情報は、不感領域設定情報として、不揮発性メモリ１１６に格納される。不感領域設定部２２４は、この不感領域設定情報を読み出して、不感領域ＤＺを設定する。

〔判定部〕
判定部２２６は、ターゲット位置予測部２２０で予測したターゲット予測位置の情報を取得し、ターゲット予測位置が不感領域ＤＺに属するか否かを判定する。判定結果は、指示部２２８に出力される。

なお、ターゲット予測位置の情報を取得できない場合、判定部２２６は、ターゲット位置検出部２１４で検出されたターゲットの位置に基づいて判定する。すなわち、ターゲット位置検出部２１４で検出したターゲットの位置が不感領域ＤＺに属するか否かを判定する。

〔指示部〕
指示部２２８は、判定部２２６の判定結果に基づいて、カメラ１０に対してパン及びチルトの実行を指示する。具体的には、ターゲット予測位置が不感領域に属しないと判定された場合にのみパン及びチルトの実行を指示する。したがって、ターゲット予測位置が不感領域に属していると判定された場合には、パン及びチルトの実行の指示は行われない。この結果、ターゲット予測位置が不感領域に属していない場合にだけパン及びチルトが行われる。

指示は、制御量演算部２２２で演算したパン及びチルトの制御量の情報をカメラ１０に送信することにより行われる。

《追尾制御方法》
次に、本実施の形態の自動追尾撮影システムにおける追尾制御方法について説明する。

まず、ターゲットの設定が行われる。

図１０は、ターゲットの設定処理の手順を示すフローチャートである。なお、同図において、右側のブロックは、制御端末１００で行われる処理であり、左側のブロックは、カメラ１０で行われる処理である。

まず、制御端末１００からカメラ１０に対して撮影開始が指示される（ステップＳ１０）。カメラ１０は、この撮影開始の指示を受けて撮影を開始する（ステップＳ１２）。そして、撮影した画像を制御端末１００に対して転送する（ステップＳ１４）。

制御端末１００は、カメラ１０から転送された画像を受信し（ステップＳ１６）、受信した画像をディスプレイ１０２に表示する（ステップＳ１８）。

ユーザーは、ディスプレイ１０２に表示された画像からターゲットとする被写体をタッチして、ターゲットを設定する（ステップＳ２０）。

この後、ターゲットの設定が完了したか否かが判定され（ステップＳ２２）、ターゲットの設定が完了すると、追尾制御が開始される。

このようにターゲットの設定は、カメラ１０で撮影した画像を制御端末１００のディスプレイ１０２に表示させ、ユーザーにターゲットとする被写体を画面上でタッチさせることにより行われる。

図１１は、追尾制御の手順を示すフローチャートである。

ターゲットの設定後も引き続きカメラ１０で画像が撮影される（ステップＳ１１０）。撮影された画像は、制御端末１００に転送される（ステップＳ１１２）。

制御端末１００は、カメラ１０から転送されてくる画像を受信する（ステップＳ１１４）。そして、その通信状態から制御遅延が生じる時間Ｔを推定する（ステップＳ１１６）。すなわち、データの送受信に要する時間を検出して、制御遅延が生じる時間Ｔを推定する。ここで、データの送受信に要する時間は、画像データの受信間隔に基づいて検出する。したがって、推定には、少なくとも２回画像を受信する必要がある。

制御遅延が生じる時間Ｔが推定されると、次に、制御端末１００は、不感領域の設定を行う（ステップＳ１１８）。すなわち、ターゲット配置位置ＰＯを基準として一定の範囲に不感領域ＤＺを設定する（図５参照）。

不感領域ＤＺが設定されると、次に、制御端末１００は、カメラ１０で撮影された画像からターゲットの位置を検出する（ステップＳ１２０）。検出されたターゲットの位置の情報は、画像を撮影した時刻の情報と共にターゲット移動履歴として、メインメモリ１１４に格納される。

ターゲットの位置の検出が完了すると、次に、制御端末１００は、Ｔ時間後のターゲットの移動位置の予測の可否を判定する（ステップＳ１２２）。予測は、ターゲットの移動履歴に基づいて行われる。したがって、移動履歴が取得できていない場合は、予測不可と判定される。

ステップＳ１２２でＴ時間後のターゲットの移動位置の予測が可能と判定されると、制御端末１００は、ターゲットの移動履歴に基づいて、Ｔ時間後のターゲットの位置を予測する（ステップＳ１２４）。そして、その予測結果に基づいて、パン及びチルトの制御量を演算する（ステップＳ１２６）。すなわち、ターゲット配置位置をターゲット予測位置に位置させるために必要なカメラ１０のパン及びチルトの制御量を演算する。

なお、ステップＳ１２２において、予測が不可能と判定されると、制御端末１００は、ステップＳ１２０で検出されたターゲットの位置に基づいて、ターゲットをターゲット配置位置に位置させるために必要なカメラ１０のパン及びチルトの制御量を演算する。すなわち、ターゲット配置位置を検出されたターゲットの位置に位置させるために必要なカメラ１０のパン及びチルトの制御量を演算する。

パン及びチルトの制御量が算出されると、次に、制御端末１００は、ターゲット予測位置が不感領域ＤＺに属するか否かを判定する（ステップＳ１２８）。すなわち、予測したＴ時間後のターゲットの位置が、不感領域ＤＺに属するか否かを判定する。

なお、Ｔ時間後のターゲットの位置が予測できていない場合、すなわち、ターゲット予測位置の情報が取得できていない場合、制御端末１００は、ステップＳ１２０で検出されたターゲットの位置が不感領域ＤＺに属するか否かを判定する。

この判定の結果、ターゲット予測位置が不感領域ＤＺに属していないと判定されると、制御端末１００は、カメラ１０に対してパン及びチルトの実行を指示する（ステップＳ１３０）。すなわち、算出した制御量の情報をカメラ１０に送信し、カメラ１０に対して算出した制御量でパン及びチルトの実行を指示する。

カメラ１０は、制御端末１００からパン及びチルトの実行指令を受信すると、その指令に従ってパン及びチルトを実施する（ステップＳ１３２）。すなわち、指示された制御量でパン及びチルトを実施する。これにより、移動するターゲットがターゲット配置位置に位置するように、カメラ１０がパン及びチルトされる。

一方、ステップＳ１２８でターゲット予測位置が不感領域ＤＺに属していると判定されると、制御端末１００は、カメラ１０に対してパン及びチルトの実行を指示せずに、次の処理に移行する。これにより、ターゲットの小刻みな動きにカメラ１０が追従するのを防止できる。

この後、制御端末１００は、撮影終了が指示されたか否かを判定する（ステップＳ１３４）。撮影終了が指示された場合は、カメラ１０に対して撮影終了を指示する（ステップＳ１３６）。カメラ１０は、撮影終了の指示を受けて、撮影を終了する（ステップＳ１３８）。

撮影終了が指示されていない場合は、ステップＳ１１０に戻り、上記処理が繰り返し実施される。

このように、本実施の形態の自動追尾撮影システム１では、通信による制御遅延を考慮して、ターゲットの位置が予測され、予測されたターゲットの位置に基づいて、カメラ１０のパン及びチルトが制御される。これにより、通信によって制御遅延が生じた場合であっても、精度よくカメラを追従させることができる。

また、本実施の形態の自動追尾撮影システム１では、不感領域ＤＺが設定され、不感領域ＤＺを超えてターゲットが移動すると予測される場合にのみカメラ１０がパン及びチルトされる。これにより、ターゲットの小刻みな動きにカメラ１０が追従するのを有効に防止でき、高品位な動画を撮影できる。

図１２は、本実施の形態の追尾制御の概念図である。同図において、符号ＤＺは不感領域、符号Ｆは追尾枠、符号ＰＯはターゲット配置位置、符号ＰＣは画像から検出したターゲットの位置、符号ＰＴは、ターゲット予測位置である。

図１２の（Ａ）部分は、Ｔ時間後のターゲットの位置を予測できない場合を示している。この場合、画像から検出したターゲットの位置ＰＣに基づいて、カメラ１０がパン及びチルトされる。すなわち、画像から検出したターゲットＰＣの位置にターゲット配置位置ＰＯが移動するように、カメラ１０がパン及びチルトされる。

なお、同図の場合、検出されたターゲットの位置ＰＣが不感領域ＤＺに属しているので、カメラ１０はパン及びチルトされない。

図１２の（Ｂ）部分は、Ｔ時間後のターゲットの位置を予測できた場合であって、かつ、予測したターゲット予測位置ＰＴが不感領域ＤＺに属する場合である。この場合、カメラ１０はパン及びチルトされない。

図１２の（Ｃ）部分は、Ｔ時間後のターゲットの位置を予測できた場合であって、かつ、予測したターゲット予測位置ＰＴが不感領域ＤＺに属しない場合である。この場合、予測したターゲット予測位置ＰＴに基づいて、カメラ１０がパン及びチルトされる。すなわち、ターゲット予測位置ＰＴにターゲット配置位置ＰＯが移動するように、カメラ１０がパン及びチルトされる。

《追尾制御の第２の実施の形態》
上記のように、本発明ではターゲットの動作を予測して追尾制御が行われる。しかし、このようにターゲットの動作を予測して追尾制御を行うと、予測した位置と実際の位置との誤差が大きかった場合にターゲットをロストしたり、次の制御時に大きなパン及びチルトの動作が必要になったりするおそれがある。

そこで、本実施の形態では、パン及びチルトの制御量を一定の値に制限して、予測した位置と実際の位置との誤差が大きかった場合でも安定した高品位な動画の撮影を可能にする。

図１３は、第２の実施の形態の追尾制御装置として機能する制御端末のシステム構成を示すブロック図である。

本実施の形態の追尾制御装置は、制御量判定部２３０及び制御量修正部２３２を備えている。なお、制御量判定部２３０及び制御量修正部２３２を備えている点以外は、上記実施の形態の追尾制御装置の構成と同じである。したがって、上記実施の形態の追尾制御装置と同じ構成要素には同じ符号を付して、その説明は省略する。

制御量判定部２３０は、制御量演算部２２２で算出された制御量と閾値とを比較し、算出された制御量が閾値以上か否かを判定する。

閾値は、たとえば、不感領域ＤＺの設定値と同じ値に設定され、パン方向及びチルト方向のそれぞれについて設定される。

図１４は、閾値の設定の概念図である。

図１４において、点Ｐｄｚ（＋）は、ターゲット配置位置ＰＯを基準として設定される不感領域ＤＺのパンのプラス方向ＤＰ（＋）の境界位置であり、点Ｐｄｚ（−）はパンのマイナス方向ＤＰ（−）の境界位置である。また、点Ｔｄｚ（＋）は、チルトのプラス方向ＤＴ（＋）の境界位置であり、点Ｔｄｚ（−）は、チルトのマイナス方向ＤＴ（−）の境界位置である。

図１４に示すように、パンのプラス方向ＤＰ（＋）の閾値Ｐｔｈ（＋）は、ターゲット配置位置ＰＯを点Ｐｄｚ（＋）、すなわち、不感領域ＤＺのパンのプラス方向ＤＰ（＋）の境界位置まで移動させるのに必要な回転角度として設定され、パンのマイナス方向ＤＰ（−）の閾値Ｐｔｈ（−）は、ターゲット配置位置ＰＯを点Ｐｄｚ（−）、すなわち、パンのマイナス方向ＤＰ（−）の境界位置Ｐｄｚ（−）まで移動させるのに必要な回転角度として設定される。また、チルトのプラス方向ＤＴ（＋）の閾値Ｔｔｈ（＋）は、ターゲット配置位置ＰＯを点Ｔｄｚ（＋）、すなわち、不感領域ＤＺのチルトのプラス方向ＤＴ（＋）の境界位置まで移動させるのに必要な回転角度として設定され、チルトのマイナス方向ＤＴ（−）の閾値Ｔｔｈ（−）は、ターゲット配置位置ＰＯを点Ｔｄｚ（−）、すなわち、チルトのマイナス方向ＤＰ（−）の境界位置Ｔｄｚ（−）まで移動させるのに必要な回転角度として設定される。

なお、閾値は不感領域ＤＺの設定値と厳密に同一である必要はなく、同一とみなせる範囲で設定できる。すなわち、「同じ値」には、実質的に同一とみなせる範囲が含まれる。

制御量修正部２３２は、制御量判定部２３０の判定結果に基づき、制御量演算部２２２で算出された制御量を修正する。すなわち、制御量演算部２２２で算出された制御量が閾値以上の場合に制御量を閾値に修正する。そして、修正した制御量の情報を指示部２２８に出力する。

なお、制御量演算部２２２で算出された制御量が閾値未満の場合は、制御量を修正せずに指示部２２８に出力する。

図１５は、第２の実施の形態の追尾制御の手順を示すフローチャートである。

なお、制御量を制限する処理が追加されている以外は、上述した実施の形態の追尾制御の手順と同じである。したがって、ここでは、制御量を制限する処理についてのみ説明する。

図１５に示すように、ステップＳ１２８において、ターゲット予測位置が不感領域ＤＺに属しないと判定されると、算出した制御量が閾値以上か否かが判定される（ステップＳ１２９ａ）。

ここで、算出した制御量が閾値未満の場合は、算出した制御量でカメラ１０に対してパン及びチルトが指示される（ステップＳ１３０）。

一方、算出した制御量が閾値以上の場合、制御量が閾値に制限される。すなわち、制御量が閾値に修正される（ステップＳ１２９ｂ）。そして、修正した制御量でカメラ１０に対してパン及びチルトが指示される（ステップＳ１３０）。すなわち、閾値の値を制御量として、パン及びチルトが指示される。

このように、本実施の形態によれば、１回の制御で実行可能なパン及びチルトの回転量が一定の値に制限される。これにより、予測した位置と実際の位置との誤差が大きかった場合であっても、ターゲットをロストしたり、カメラを大きくパン及びチルトさせたりするのを防止できる。これにより、高品位な動画を安定して撮影できる。

なお、本実施の形態では、閾値の値を不感領域の大きさに合わせて設定しているが、閾値の値はユーザーが任意に設定できるようにしてもよい。

《追尾制御の第３の実施の形態》
上記実施の形態では、不感領域を一定にして追尾制御を行っている。本実施の形態では、ターゲットの状況に応じて不感領域を拡縮する。

図１６は、第３の実施の形態の追尾制御装置として機能する制御端末のシステム構成を示すブロック図である。

本実施の形態の追尾制御装置は、不感領域変更部２３４を備えている点で上記第２の実施の形態の追尾制御装置と相違する。したがって、ここでは不感領域変更部２３４についてのみ説明し、その他の構成については、上記第２の実施の形態の追尾制御装置と同じ符号を付して、その説明は省略する。

不感領域変更部２３４は、ターゲットの状態に応じて不感領域設定部２２４で設定された不感領域の範囲を拡縮する。本実施の形態では、予測されるターゲットの移動方向に応じて不感領域を拡縮する。具体的には、予測されるターゲットの移動方向の不感領域を縮小させる。

不感領域変更部２３４は、ターゲット位置検出部２１４で検出されたターゲットの位置の情報、及び、ターゲット位置予測部２２０で予測されたターゲット予測位置の情報を取得し、ターゲットの移動方向を推定する。そして、推定した移動方向の不感領域を縮小させる。

図１７は、不感領域の変更方法の概念図である。同図の（Ａ）部分は、ターゲットの移動方向を予測する方法の概念図であり、同図の（Ｂ）部分は、予測に基づく不感領域の変更方法の概念図である。また、同図において、符号ＤＺ０は修正前の不感領域、符号ＤＺ１は、修正後の不感領域、符号Ｆは追尾枠、符号ＰＯはターゲット配置位置、符号ＰＣは画像から検出したターゲットの位置、符号ＰＴは、ターゲット予測位置である。

図１７の（Ａ）部分に示すように、画像から検出したターゲットの位置ＰＣに対してターゲット予測位置ＰＴがパンのプラス方向ＤＰ（＋）にある場合、ターゲットの移動方法ＴＤは、パンのプラス方向ＤＰ（＋）であると予測できる。

この場合、図１７の（Ｂ）部分に示すように、パンのプラス方向ＤＰ（＋）の不感領域が一定量縮小される。たとえば、基準の不感領域である修正前の不感領域ＤＺ０が、ターゲット配置位置ＰＯを基準として、パンのプラス方向ＤＰ（＋）にＤＺＰ（＋）、マイナス方向ＤＰ（−）にＤＺＰ（−）の範囲で設定され、かつ、チルトのプラス方向ＤＴ（＋）にＤＺＴ（＋）、マイナス方向ＤＴ（−）にＤＺＴ（−）の範囲で設定されている場合、修正後の不感領域ＤＺ１は、修正量をΔＲとすると、パンのプラス方向ＤＰ（＋）の不感領域が、ターゲット配置位置ＰＯを基準として［ＤＺＰ（＋）−ΔＲ］の範囲で設定される。

このように、ターゲットが移動すると予測される方向の不感領域を狭くすることにより、ターゲットの動きに合わせて適切にターゲットを追尾できる。

図１８は、第３の実施の形態の追尾制御の手順を示すフローチャートである。

なお、不感領域を修正する処理が追加されている以外は、上述した第２の実施の形態の追尾制御の手順と同じである。したがって、ここでは、不感領域を修正する処理についてのみ説明する。

図１８に示すように、ステップＳ１２６において、パン及びチルトの制御量が演算されると、制御端末１００は、不感領域の修正処理を行う（ステップＳ１２７）。すなわち、検出されたターゲットの位置の情報及び予測したターゲット予測位置の情報を取得し、ターゲットの移動方向を推定する。そして、推定した移動方向の不感領域を縮小するように不感領域を修正する。

不感領域が修正されると、修正された不感領域の下でターゲット予測位置が不感領域に属するか否かが判定される（ステップＳ１２８）。

このように、本実施の形態によれば、予測されるターゲットの移動方向に応じて不感領域が修正される。これにより、追従性を向上させつつ、画像が小刻みに揺れるのを適切に防止できる。

なお、上記の例では、修正量を一定としたが、たとえば、パン及びチルトの制御量に応じて修正量を増減させてもよい。たとえば、パン及びチルトの制御量に比例させて修正量を増減させてもよい。

〈不感領域を修正する方法の変形例〉
上記実施の形態では、予測されるターゲットの移動方向に応じて不感領域を拡縮する場合を例に説明したが、不感領域を修正する態様は、これに限定されるものではない。以下、不感領域を修正する方法の変形例を説明する。

〔ターゲットの速度に応じて不感領域を拡縮する方法〕
不感領域は、ターゲットの移動速度に応じて拡縮させることができる。この場合、ターゲットの速度が速くなるほど不感領域を縮小させる。縮小させる態様は、連続的であってもよいし、段階的であってもよい。また、不感領域の全体を拡縮させてもよいし、移動方向の不感領域のみを拡縮させるようにしてもよい。ターゲットの移動速度は、たとえば、ターゲットの移動履歴の情報を取得して求める。

〔ターゲットの加速度に応じて不感領域を拡縮する方法〕
不感領域は、ターゲットの加速度に応じて拡縮させることができる。この場合、ターゲットの加速度が大きくなるほど不感領域を縮小させる。縮小させる態様は、連続的であってもよいし、段階的であってもよい。また、不感領域の全体を拡縮させてもよいし、移動方向の不感領域のみを拡縮させるようにしてもよい。ターゲットの加速度は、たとえば、ターゲットの移動履歴の情報を取得して求める。

〔ターゲットまでの距離に応じて不感領域を拡縮する方法〕
不感領域は、カメラ１０からターゲットまでの距離に応じて拡縮させることができる。

図１９は、ターゲットまでの距離に応じて不感領域を拡縮する方法の概念図である。同図の（Ａ）部分は、基準となる距離での不感領域の設定状態を示している。また、同図の（Ｂ）部分は、基準となる距離よりもターゲットが遠い場合の不感領域の設定状態を示しており、同図の（Ｃ）部分は、基準となる距離よりもターゲットが近い場合の不感領域の設定状態を示している。

図１９の（Ａ）部分に示すように、基準となる距離での不感領域をＤＺ０とする。修正後の不感領域をＤＺ１とすると、図１９の（Ｂ）部分に示すように、ターゲットまでの距離が遠くなると、修正後の不感領域ＤＺ１は、基準となる距離での不感領域ＤＺ０よりも拡大される。一方、ターゲットまでの距離が近くなると、図１９の（Ｃ）部分に示すように、修正後の不感領域ＤＺ１は、基準となる距離での不感領域ＤＺ０よりも縮小される。

このように、ターゲットまでの距離に応じて不感領域を修正する場合は、距離が近くなるほど不感領域を縮小させ、ターゲットまでの距離が遠くなるほど不感領域を拡大させる。これにより、撮影される画像が小刻みに揺れるのを適切に防止できる。

なお、拡縮させる態様は、連続的であってもよいし、段階的であってもよい。また、ターゲットまでの距離は、たとえば、カメラ１０からオートフォーカス時の測距情報を取得して、求めることができる。この他、カメラ１０に測距部を備えて、その測距部からターゲットまでの情報を取得してもよい。更に、カメラ１０で撮影した画像を解析して、ターゲットまでの距離を求めてもよい。

〔撮影画面上でのターゲットの大きさに応じて不感領域を拡縮する方法〕
カメラ１０からターゲットまでの距離は、カメラ１０で撮影されるターゲットの大きさからある程度推定できる。すなわち、撮影条件が同じであれば、カメラ１０で撮影されるターゲットの大きさは、カメラ１０からターゲットまでの距離が近くなるほど大きくなる。したがって、カメラ１０からターゲットまでの距離に応じて不感領域を拡縮させる場合と同様に、撮影されたターゲットの大きさに応じて不感領域を拡縮させることができる。この場合、ターゲットの大きさが大きくなるほど不感領域を縮小する。すなわち、ターゲットは、大きく写されるほどカメラ１０に近いと考えられるので、ターゲットの大きさが大きくなるほど不感領域を縮小する。

たとえば、人物をターゲットとし、人物の顔の位置を検出して追尾する場合、基準となる顔の大きさとの比較で不感領域を拡縮させることができる。

〔人物の顔の向きに応じて不感領域を拡縮する方法〕
人物をターゲットとする場合、撮影画面上での人物の顔の向きに応じて不感領域を拡縮させることができる。顔の向きの方向に移動すると推定できるからである。したがって、この場合、人物の顔の向きの方向の不感領域を縮小させる。

図２０は、ターゲットである人物の顔の向きに応じて不感領域を拡縮する方法の概念図である。

同図に示すように、ターゲットである人物の顔の向きＦＤが、パンのプラス方向ＤＰ（＋）である場合、パンのプラス方向ＤＰ（＋）の不感領域が一定量縮小される。たとえば、基準の不感領域である修正前の不感領域ＤＺ０が、ターゲット配置位置ＰＯを基準として、パンのプラス方向ＤＰ（＋）にＤＺＰ（＋）、マイナス方向ＤＰ（−）にＤＺＰ（−）の範囲で設定され、かつ、チルトのプラス方向ＤＴ（＋）にＤＺＴ（＋）、マイナス方向ＤＴ（−）にＤＺＴ（−）の範囲で設定されている場合、修正後の不感領域ＤＺ１は、修正量をΔＲとすると、パンのプラス方向ＤＰ（＋）の不感領域がターゲット配置位置ＰＯを基準として［ＤＺＰ（＋）−ΔＲ］の範囲で設定される。

人物の顔の向きは、カメラ１０で撮影された画像を解析して検出する。このため、本例のように、顔の向きに応じて不感領域を修正する場合は、人物の顔及びその向きを検出するための手段、すなわち、顔検出部及び向き検出部が制御端末１００に備えられる。これらの手段は、所定の画像解析プログラムで実現できる。

〔複数の方法を組み合わせて不感領域を拡縮する方法〕
不感領域の修正は、上記方法を複数組み合わせて実施できる。たとえば、予測されるターゲットの移動方向及び速度に応じて不感領域を修正できる。あるいは、予測されるターゲットの移動方向及び加速度に応じて不感領域を修正できる。あるいは、予測されるターゲットの移動方向及びターゲットまでの距離に応じて不感領域を修正できる。

このように、種々の態様を組み合わせて不感領域を拡縮させることができる。これにより、より適切に不感領域を設定でき、追従性を向上できる。

《追尾制御の第４の実施の形態》
本実施の形態では、予測の信頼度に応じて不感領域を拡縮する。すなわち、予測の信頼度が低い場合は、不感領域を拡げて画像が小刻みに揺れるのを防止する。

図２１は、第４の実施の形態の追尾制御装置として機能する制御端末のシステム構成を示すブロック図である。

本実施の形態の追尾制御装置は、予測信頼度算出部２３６及び不感領域変更部２３４を備えている点で上記第２の実施の形態の追尾制御装置と相違する。したがって、ここでは予測信頼度算出部２３６及び不感領域変更部２３４についてのみ説明し、その他の構成については、上記第２の実施の形態の追尾制御装置と同じ符号を付して、その説明は省略する。

予測信頼度算出部２３６は、制御遅延時間推定部２１８で推定された制御遅延時間に基づいて、予測の信頼度、すなわち、ターゲット位置予測部２２０で予測されるターゲット予測位置の信頼度を算出する。

一般に予測の信頼度は、予測する時間が長くなるほど低下する。したがって、予測信頼度算出部２３６で算出される信頼度は、制御遅延時間が長くなるほど低くなる。

予測信頼度算出部２３６は、制御遅延時間と信頼度とが関連づけられたテーブルを参照して、制御遅延時間から予測の信頼度を算出する。

不感領域変更部２３４は、算出された信頼度に応じて不感領域を修正する。具体的には、予測の信頼度が低くなるほど、基準となる不感領域の全体を拡大するように修正する。

図２２は、第４の実施の形態の追尾制御の手順を示すフローチャートである。

なお、予測の信頼度を算出する処理、及び、不感領域を修正する処理が追加されている以外は、上述した第２の実施の形態の追尾制御の手順と同じである。したがって、ここでは、予測の信頼度を算出する処理、および、不感領域を修正する処理についてのみ説明する。

図２２に示すように、ステップＳ１２６において、パン及びチルトの制御量が演算されると、制御端末１００は、予測の信頼度を算出する（ステップＳ１２７ａ）。すなわち、制御遅延時間から予測の信頼度を算出する。上記のように、予測の信頼度は、制御遅延時間が長くなるほど低下する。

制御端末１００は、算出された予測の信頼度に応じて不感領域を修正する（ステップＳ１２７ｂ）。すなわち、信頼度が低下するほど不感領域が拡大するように修正する。

この後、制御端末１００は、修正された不感領域の下でターゲット予測位置が不感領域に属するか否かを判定し（ステップＳ１２８）、その判定結果に基づいてカメラ１０にパン及びチルトの実行を指示する。

このように、本実施の形態によれば、予測の信頼度に応じて不感領域が修正される。これにより、追従性を向上させつつ、画像が小刻みに揺れるのを適切に防止できる。

なお、上記の例では不感領域の全体を拡縮させる構成としているが、上記第３の実施の形態のように、ターゲットの状態に基づいて不感領域を拡縮させることもできる。すなわち、上記第３の実施の形態の方法で修正した不感領域を更に本実施の形態の方法で修正することができる。たとえば、予測されるターゲットの移動方向のみを予測の信頼度に応じて拡縮させることができる。

また、上記の例では、制御遅延時間から予測の信頼度を算出しているが、予測の信頼度を算出する方法は、これに限定されるものではない。この他、たとえば、ターゲットの検出の成否の履歴から予測の信頼度を算出したり、制御遅延時間の履歴から予測の信頼度を算出したりすることができる。

《追尾制御の第５の実施の形態》
上記実施の形態では、カメラ１０との間の通信状態に基づいて、制御遅延が生じる時間Ｔを推定している。本実施の形態では、更にターゲット位置検出部２１４の動作状態に基づいて、制御遅延が生じる時間Ｔを推定する。すなわち、ターゲットの位置検出処理に要する時間をも考慮して、制御遅延時間を推定する。

図２３は、第５の実施の形態の追尾制御装置として機能する制御端末のシステム構成を示すブロック図である。

本実施の形態の追尾制御装置は、検出処理時間推定部２３８を備えている点で上記実施の形態の追尾制御装置と相違する。したがって、ここでは検出処理時間推定部２３８についてのみ説明し、その他の構成については、上記実施の形態の追尾制御装置と同じ符号を付して、その説明は省略する。

検出処理時間推定部２３８は、ターゲット位置検出部２１４の動作状態からターゲットの位置検出に要する時間を推定する。ターゲットの位置検出に要する時間は、主としてＣＰＵ１１０にかかる負荷に応じて変動する。したがって、検出処理時間推定部２３８は、ＣＰＵ１１０にかかる負荷をモニタして、ターゲットの位置検出に要する時間を推定する。

制御遅延時間推定部２１８は、検出処理時間推定部２３８で推定された検出処理時間を加味して、制御遅延時間を推定する。すなわち、通信状態から求めた遅延時間に検出処理時間を加算して、制御遅延時間を求める。

このように、ターゲットの位置検出処理に要する時間をも考慮して、制御遅延時間を推定することにより、予測精度を向上できる。

なお、本実施の形態では、ターゲットの位置検出処理に要する時間を考慮して制御遅延時間を推定したが、その他の処理時間も考慮できる。一般に制御端末側の処理に要する時間は、ＣＰＵ１１０かかる負荷に応じて変動するので、ＣＰＵ１１０にかかる負荷をモニタして、全体の制御遅延時間を推定することが有効である。

《その他の実施の形態》
〈カメラの変形例〉
〔カメラの変形例（１）〕
上記実施の形態では、機械的な構造でパン及びチルトの機能を実現しているが、電子的にパン及びチルトの機能を実現することもできる。すなわち、撮影した画像の一部を切り出して、出力用の画像データを生成する構成とし、その出力用の画像を切り出す範囲を変えることにより、パン及び／又はチルトの機能を電子的に実現することができる。

図２４は、電子的にパン及びチルトの機能を実現するカメラのシステム構成を示すブロック図である。

このカメラ３００は、魚眼レンズ３１６を介して被写体の光学像を撮像する撮像部３１２と、ＡＦＥ３２４と、カメラ制御部３３０と、メモリ３５０と、無線ＬＡＮ通信部３５２と、を備えて構成される。

撮像部３１２は、魚眼レンズ３１６と、魚眼レンズ３１６を通した光を受光するイメージセンサ３２０と、レンズ駆動部３１６Ａと、を備えて構成される。

魚眼レンズ３１６は、フォーカス機能を有し、レンズ駆動部３１６Ａに駆動されて、フォーカス、及び、絞りが調節される。魚眼レンズ３１６は、たとえば、対角魚眼レンズで構成される。

イメージセンサ３２０は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの二次元イメージセンサで構成される。

ＡＦＥ３２４は、イメージセンサ３２０から出力される信号（画像信号）に対して、たとえば、ノイズ除去、信号増幅、Ａ／Ｄ変換などの信号処理を施す。ＡＦＥ３２４で生成されるデジタルの画像信号は、カメラ制御部３３０に出力される。

メモリ３５０は、各種データの記憶部として機能し、カメラ動作制御部３４２からの要求に応じてデータの読み書きが行われる。

無線ＬＡＮ通信部３５２は、アンテナ３５２Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ規格に従った無線ＬＡＮ通信を行う。

カメラ制御部３３０は、ＣＰＵ及びメモリを備えたマイクロコンピュータで構成され、所定のプログラムを実行することにより、画像信号処理部３３２、撮像制御部３３４、レンズ制御部３３６、通信制御部３４０、カメラ動作制御部３４２、画像切り出し部３４４として機能する。

画像信号処理部３３２は、ＡＦＥ３２４から取得されるデジタルの画像信号に対して所要の信号処理を施し、デジタルの画像データを生成する。たとえば、輝度信号（Ｙ）の画像データと色差信号（Ｃｒ、Ｃｂ）の画像データとかなるデジタルの画像データを生成する。

撮像制御部３３４は、イメージセンサ３２０の駆動を制御して、イメージセンサ３２０による撮像を制御する。

レンズ制御部３３６は、レンズ駆動部３１６Ａを制御して、魚眼レンズ３１６のフォーカス、及び、絞りの動作を制御する。

通信制御部３４０は、無線ＬＡＮ通信部３５２を制御して、外部機器との間の無線ＬＡＮ通信を制御する。

カメラ動作制御部３４２は、図示しないカメラ３００の操作部及び制御端末からの指示に応じて、カメラ全体の動作を統括制御する。

画像切り出し部３４４は、画像信号処理部３３２で生成された画像データを取得し、その画像の一部を切り出して、出力用の画像データを生成する。画像切り出し部３４４は、カメラ動作制御部３４２からの指令に応じて、画像を切り出し、出力用の画像データを生成する。たとえば、指示された座標位置を中心として、指示されたアスペクト比の画像を指示されたサイズで切り出して、出力用の画像データを生成する。

図２５は、画像切り出し部による画像の切り出しの概念図である。

同図において、画像Ｉ１は、魚眼レンズ３１６を介してイメージセンサ３２０で撮像される画像である。画像切り出し部３４４は、この画像Ｉ１の一部を切り出して出力用の画像Ｉ２を生成する。

カメラ３００は、画像切り出し部３４４で切り出した画像Ｉ２を出力用の画像とし、制御端末１００に出力する。

図２６は、制御端末のディスプレイの画面表示例を示す図である。

同図に示すように、制御端末１００のディスプレイ１０２には、魚眼レンズ３１６を介して撮像された画像Ｉ１から切り出した画像Ｉ２が、カメラ３００で撮影された画像として表示される。

このように、電子的にパン及びチルトの機能を実現するカメラ３００では、実際に撮影された画像の一部を切り出して、画像データを出力する構成とし、その切り出す位置を変えてパン及び／又はチルトする構成とされる。

なお、上記の例では、１つの撮像部で撮像された画像の一部を切り出して、出力用の画像データを取得する構成としているが、カメラに複数の撮像部を備え、その複数の撮像部で撮像された画像を繋ぎ合わせて１つの画像を生成し、その画像の一部を切り出して、出力用の画像データを取得する構成とすることもできる。たとえば、前方を撮影する第１の撮像部、及び、後方を撮像する第２の撮像部を備え、第１の撮像部で撮像された画像と第２の撮像部で撮像された画像とを繋ぎ合わせて１つの画像を生成することにより、パン方向に３６０°撮影可能なカメラを構成し、その一部を切り出して、出力用の画像データを取得する構成とすることもできる。

〔カメラの変形例（２）〕
上記実施の形態のカメラ１０は、パン及びチルトの機能が備えられているが、カメラは、少なくともパン又はチルトの機能が備えられていればよい。パン機能のみが備えられたカメラの場合、パン動作のみでターゲットの追尾が行われる。同様に、チルト機能のみが備えられたカメラの場合、チルト動作のみでターゲットの追尾が行われる。

〈ターゲット設定部の変形例〉
上記実施の形態では、カメラ１０で撮影された画像をディスプレイ１０２に表示し、画面上でユーザーにタッチされた被写体をターゲットに設定する構成としているが、ターゲットを設定する方法は、これに限定されるものではない。

たとえば、追尾制御装置の機能として、カメラで撮影された画像から人物の顔を自動で検出する機能（顔検出部の機能）を付加し、その機能で検出された人物の顔を自動的にターゲットに設定する構成とすることもできる。これにより、ターゲットを簡単に設定できる。

なお、この場合、複数の顔が検出されることもあるが、この場合は、たとえば、検出結果をユーザーに表示し、ターゲットとする被写体を選択させる構成とすることができる。また、検出された顔のサイズや位置から自動でターゲットを決定する構成とすることもできる。たとえば、画面中央に位置する顔ほど主要被写体らしい、サイズの大きい顔ほど主要被写体らしい、との判断基準の下、主要被写体を決定し、ターゲットを自動で決定する。

また、たとえば、追尾制御装置の機能として、カメラで撮影された画像から動体を検出する機能（動体検出部の機能）を付加し、その機能を利用して最初に検出された動体をターゲットに設定する構成とすることができる。これにより、ターゲットを簡単に設定できる。

なお、この場合、複数の動体が同時に検出されることもあるが、この場合もユーザーにターゲットとする被写体を選択させる構成とすることができる。あるいは、検出された動体のサイズや位置から自動でターゲットを決定する構成とすることもできる。

また、上記実施の形態では、タッチされた位置情報を基に一定サイズの追尾枠が設定される構成としているが、追尾枠の位置、サイズをユーザーが調整できるようにしてもよい。

また、追尾枠は、自動で位置、サイズを調整するようにしてもよい。たとえば、タッチされた位置を基準に動体を抽出し、その動体を囲うように追尾枠を設定するようにしてもよい。あるいは、タッチされた位置を基準に人物の顔を抽出し、その顔を囲うように追尾枠を設定するようにしてもよい。

また、上記実施の形態では、制御端末側のディスプレイにカメラで撮影された画像をリアルタイムに表示して、ターゲットを選択させる構成としているが、静止画を撮影し、その静止画をディスプレイに表示させて、ターゲットを選択させる構成とすることもできる。

更に、あらかじめターゲットの画像を登録しておき、その画像を読み出してターゲットを設定する構成とすることもできる。

〈カメラと制御端末との接続形態〉
上記実施の形態では、カメラと制御端末とを無線で通信可能に接続する構成としているが、カメラと制御端末とは、相互に通信可能に接続されていればよい。したがって、有線で通信可能に接続する構成としてもよい。また、通信の規格等についても特に限定されない。また、カメラと制御端末とを直接接続する形態ではなく、たとえば、インターネットを介して接続する形態とすることもできる。

〈制御端末〉
上記実施の形態では、制御端末としてスマートフォンを採用しているが、制御端末の形態は特に限定されるものではない。したがって、制御端末は、パーソナルコンピュータやタブレット端末などで構成することもできる。また、専用の装置として構成することもできる。

〈データの送受信に要する時間の検出〉
上記実施の形態では、画像データの受信間隔に基づいて、データの送受信に要する時間を検出しているが、データの送受信に要する時間を検出する方法は、これに限定されるものではない。この他、たとえば、制御端末に通信速度を検出する手段を備え、その検出結果に基づいて、データの送受信に要する時間を検出する構成とすることもできる。

１…自動追尾撮影システム、１０…カメラ、１２…撮像部、１２Ａ…ハウジング、１４…雲台部、１４Ａ…ベースフレーム、１４Ｂ…回転フレーム、１６…レンズ、１６Ａ…レンズ駆動部、１８…操作パネル、２０…イメージセンサ、２２Ｐ…パン駆動部、２２Ｔ…チルト駆動部、３０…カメラ制御部、３２…画像信号処理部、３４…撮像制御部、３６…レンズ制御部、３８Ｐ…パン制御部、３８Ｔ…チルト制御部、４０…通信制御部、４２…カメラ動作制御部、５０…メモリ、５２…無線ＬＡＮ通信部、５２Ａ…アンテナ、１００…制御端末、１０１…筐体、１０２…ディスプレイ、１０３…操作ボタン、１０４…スピーカー、１０５…マイクロフォン、１０６…内蔵カメラ、１１０…ＣＰＵ、１１２…システムバス、１１４…メインメモリ、１１６…不揮発性メモリ、１１８…モバイル通信部、１１８Ａ…アンテナ、１２０…無線ＬＡＮ通信部、１２０Ａ…アンテナ、１２２…近距離無線通信部、１２２Ａ…アンテナ、１２４…表示部、１２６…タッチパネル入力部、１２８…キー入力部、１３０…音声処理部、１３２…画像処理部、２００…追尾制御装置、２１０…画像取得部、２１２…ターゲット設定部、２１４…ターゲット位置検出部、２１６…移動履歴記録部、２１８…制御遅延時間推定部、２２０…ターゲット位置予測部、２２２…制御量演算部、２２４…、不感領域設定部、２２６…判定部、２２８…指示部、２３０…制御量判定部、２３２…制御量修正部、２３４…不感領域変更部、２３６…予測信頼度算出部、２３８…検出処理時間推定部、３００…カメラ、３１２…撮像部、３１６…魚眼レンズ、３１６Ａ…レンズ駆動部、３２０…イメージセンサ、３２４…ＡＦＥ、３３０…カメラ制御部、３３２…画像信号処理部、３３４…撮像制御部、３３６…レンズ制御部、３４０…通信制御部、３４２…カメラ動作制御部、３４４…画像切り出し部、３５０…メモリ、３５２…無線ＬＡＮ通信部、３５２Ａ…アンテナ、ＤＰ…パン方向、ＤＴ…チルト方向、ＤＺ…不感領域、ＰＣ…画像から検出したターゲットの位置、ＰＯ…ターゲット配置位置、ＰＴ…ターゲット予測位置

本発明は、このような事情に鑑みてなされたもので、追従性の高い追尾制御装置、追尾制御方法、追尾制御プログラム、及び、自動追尾撮影システムを提供することを目的とする。

Claims (12)

1. パン及び／又はチルトの機能を備えたカメラのパン及び／又はチルトの動作を遠隔制御して、前記カメラにターゲットを追尾させる追尾制御装置であって、
   前記カメラで撮影された画像に基づいて、前記ターゲットの位置を検出するターゲット位置検出部と、
   少なくとも前記カメラとの間の通信状態に基づいて、制御遅延が生じる時間Ｔを推定する制御遅延時間推定部と、
   Ｔ時間後の前記ターゲットの位置をターゲット予測位置として予測するターゲット位置予測部と、
   前記ターゲットを配置する位置として前記カメラの撮影画面内に設定されるターゲット配置位置を前記ターゲット予測位置に移動させるために必要な前記カメラのパン及び／又はチルトの制御量を演算する制御量演算部と、
   前記カメラに対して前記制御量でパン及び／又はチルトの実行を指示する指示部と、
   を備えた追尾制御装置。
2. 前記制御遅延時間推定部は、更に前記ターゲット位置検出部の動作状態に基づいて、制御遅延が生じる時間Ｔを推定する、
   請求項１に記載の追尾制御装置。
3. 前記ターゲット位置予測部は、前記ターゲットの移動履歴に基づいて、前記ターゲット予測位置を予測する、
   請求項１又は２に記載の追尾制御装置。
4. 前記制御量が閾値以上の場合に、前記制御量を前記閾値に修正する制御量修正部を更に備えた、
   請求項１から３のいずれか１項に記載の追尾制御装置。
5. 前記カメラで撮影された画像を表示する表示部を更に備える、
   請求項１から４のいずれか１項に記載の追尾制御装置。
6. 前記表示部の表示画面上での位置を指定する入力部と、
   前記入力部で指定された位置の被写体を前記ターゲットに設定するターゲット設定部と、
   を更に備えた、
   請求項５に記載の追尾制御装置。
7. 前記カメラで撮影された画像から人物の顔を検出する顔検出部と、
   前記顔検出部で検出された人物の顔を前記ターゲットに設定するターゲット設定部と、
   を更に備えた、
   請求項１から６のいずれか１項に記載の追尾制御装置。
8. 前記カメラは、
   レンズを介して被写体の光学像を撮像する撮像部と、
   前記撮像部をパン及び／又はチルトする雲台部と、
   を備えた、
   請求項１から７のいずれか１項に記載の追尾制御装置。
9. 前記カメラは、
   レンズを介して被写体の光学像を撮像する撮像部と、
   前記撮像部で撮像された画像の一部を切り出す画像切り出し部と、
   を備え、前記画像切り出し部で切り出す画像の位置を移動させることにより、電子的にパン及び／又はチルトする、
   請求項１から７のいずれか１項に記載の追尾制御装置。
10. パン及び／又はチルトの機能を備えたカメラのパン及び／又はチルトの動作を制御端末で遠隔制御して、前記カメラにターゲットを追尾させる追尾制御方法であって、
    前記カメラで撮影した画像に基づいて、前記ターゲットの位置を検出する工程と、
    少なくとも前記カメラと前記制御端末との間の通信状態に基づいて、制御遅延が生じる時間Ｔを推定する工程と、
    Ｔ時間後の前記ターゲットの位置をターゲット予測位置として予測する工程と、
    前記ターゲットを配置する位置として前記カメラの撮影画面内に設定されるターゲット配置位置を前記ターゲット予測位置に移動させるために必要な前記カメラのパン及び／又はチルトの制御量を演算する工程と、
    前記カメラに対して前記制御量でパン及び／又はチルトの実行を指示する工程と、
    を有する追尾制御方法。
11. パン及び／又はチルトの機能を備えたカメラのパン及び／又はチルトの動作を制御端末で遠隔制御して、ターゲットを自動で追尾しながら撮影する自動追尾撮影システムであって、
    前記制御端末は、
    前記カメラで撮影された画像に基づいて、前記ターゲットの位置を検出するターゲット位置検出部と、
    少なくとも前記カメラと間の通信状態に基づいて、制御遅延が生じる時間Ｔを推定する制御遅延時間推定部と、
    Ｔ時間後の前記ターゲットの位置をターゲット予測位置として予測するターゲット位置予測部と、
    前記ターゲットを配置する位置として前記カメラの撮影画面内に設定されるターゲット配置位置を前記ターゲット予測位置に移動させるために必要な前記カメラのパン及び／又はチルトの制御量を演算する制御量演算部と、
    前記カメラに対して前記制御量でパン及び／又はチルトの実行を指示する指示部と、
    を備えた自動追尾撮影システム。
12. パン及び／又はチルトの機能を備えたカメラのパン及び／又はチルトの動作を遠隔制御して、前記カメラにターゲットを追尾させる追尾制御プログラムであって、
    前記カメラで撮影された画像を取得する機能と、
    取得した画像に基づいて、前記ターゲットの位置を検出する機能と、
    少なくとも前記カメラとの間の通信状態に基づいて、制御遅延が生じる時間Ｔを推定する機能と、
    Ｔ時間後の前記ターゲットの位置をターゲット予測位置として予測する機能と、
    前記ターゲットを配置する位置として前記カメラの撮影画面内に設定されるターゲット配置位置を前記ターゲット予測位置に移動させるために必要な前記カメラのパン及び／又はチルトの制御量を演算する機能と、
    前記カメラに対して前記制御量でパン及び／又はチルトの実行を指示する機能と、
    をコンピュータに実現させる追尾制御プログラム。

Images