JP2009188905A - 自動追尾撮影装置、自動追尾撮影方法および自動追尾撮影プログラム - Google Patents

Abstract

【課題】静止画を用いてユーザが目標被写体を容易に指定することができる自動追尾撮影装置、自動追尾撮影方法および自動追尾撮影プログラムを得る。
【解決手段】一時停止型目標被写体指定部３は、一時停止動作を受けた場合に、タッチパネル付きディスプレイ７の表示を一時停止させ、入力操作中にビデオカメラ１が撮影した画像を画像メモリ６へ記録させると共に、ユーザによる目標被写体の指定を受け付ける。目標被写体探索部は、画像メモリ６に記録した画像からユーザ指定の目標被写体の位置を探索し、画像メモリ６の画像を全て探索した後、ビデオカメラ１が撮影する画像から目標被写体の位置を順次探索する。カメラ向き演算部５は、探索した目標被写体の位置が画像の中心になるように撮影範囲を演算して制御信号を出力し、カメラ向き変更装置２が制御信号に基づいてビデオカメラ１の方向を制御する。
【選択図】図１

Description

この発明は、画像中に指定した目標被写体を追尾して撮影する自動追尾撮影装置、自動追尾撮影方法および自動追尾撮影プログラムに関するものである。

被災建造物、事件車両等の目標被写体を追尾して連続的に撮影するために、ヘリコプタに搭載されたビデオカメラ、監視カメラ等を用いた自動追尾撮影が行われる。従来の自動追尾撮影装置は、ビデオカメラが撮影中の動画像をディスプレイに表示してユーザに矩形枠等で目標被写体を指定させ、その目標被写体の移動を画像処理等により検知する。そして、移動する目標被写体がビデオカメラの撮影範囲内に維持されるように随時雲台を制御して、雲台に取り付けられたビデオカメラの光軸の向きを調整していた（例えば、特許文献１または特許文献２）。

特開平５−６４３４号公報 特開平８−９２２７号公報

従来の自動追尾撮影装置は以上のように構成されているので、ユーザはビデオカメラから入力された動画像を見ながら目標被写体を指定する必要があった。そのため、画像中の目標被写体位置が激しく変化する場合には、目標被写体の指定が困難であるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、ユーザによる目標被写体の指定において、ビデオカメラから入力された動画像から取り出した１枚の静止画を提示すると共に、この静止画のみを用いてユーザが目標被写体を容易に指定することができる自動追尾撮影装置、自動追尾撮影方法および自動追尾撮影プログラムを得ることを目的とする。

この発明に係る自動追尾撮影装置は、連続的に画像を取得する撮像部と、撮像部で取得した画像を表示する表示部と、撮像部で取得した画像を表示部に出力し、一時停止動作を受けた場合は、表示部で表示する画像を一時停止させ、かつ、一時停止した画像中に存在する目標被写体の指定を受けると共に、一時停止中に撮像部で新たに取得した画像を記録部に記録させる一時停止型目標被写体指定部と、記録部に記録した画像から目標被写体の位置を探索する目標被写体探索部と、目標被写体探索部で探索した目標被写体の位置が画像の所定位置になるように撮像部の撮像範囲を演算する撮像範囲演算部と、撮像範囲演算部で算出した撮像範囲に基づいて撮像部の方向を制御する撮像方向変更部とを備えるようにしたものである。

この発明によれば、連続的に画像を取得する撮像部と、撮像部で取得した画像を表示する表示部と、撮像部で取得した画像を表示部に出力し、一時停止動作を受けた場合は、表示部で表示する画像を一時停止させ、かつ、一時停止した画像中に存在する目標被写体の指定を受けると共に、一時停止中に撮像部で新たに取得した画像を記録部に記録させる一時停止型目標被写体指定部と、記録部に記録した画像から目標被写体の位置を探索する目標被写体探索部と、目標被写体探索部で探索した目標被写体の位置が画像の所定位置になるように撮像部の撮像範囲を演算する撮像範囲演算部と、撮像範囲演算部で算出した撮像範囲に基づいて撮像部の方向を制御する撮像方向変更部とを備えるようにしたので、静止画のみを用いてユーザが目標被写体を容易に指定することができる自動追尾撮影装置を得ることができる。

実施の形態１．
図１は、この発明の実施の形態１に係る自動追尾撮影装置の全体構成を示すブロック図である。図１に示す自動追尾撮影装置は、目標被写体を撮影するビデオカメラ（撮像部）１、制御信号に従ってビデオカメラ１の向きを変更するカメラ向き変更装置（撮像方向変更部）２、ビデオカメラ１から連続的に入力される画像をタッチパネル付きディスプレイ（表示部）７に表示させると共に、ユーザがタッチパネル付きディスプレイ７を介して目標被写体を指定している間に新たに撮影された画像を画像メモリ（記録部）６に記録させる一時停止型目標被写体指定部３、画像メモリ６に記録された画像またはビデオカメラ１から入力される画像から目標被写体を探索する目標被写体探索部４、目標被写体探索部４が探索した目標被写体がビデオカメラ１の撮影範囲から逸脱しないようにビデオカメラ１の向きを計算し、制御信号を出力するカメラ向き演算部（撮像範囲演算部）５、一時停止型目標被写体指定部３から出力された画像を記録する画像メモリ６、および、ビデオカメラ１の撮影した画像を表示すると共にユーザの入力を受け付けるタッチパネル付きディスプレイ７を備える。

図２は、この発明の実施の形態１に係る自動追尾撮影装置の自動追尾の概要を示す説明図である。本実施の形態では、図２（ａ）に示すように、ヘリコプタ１１に搭載されたビデオカメラ１が道路を走行中の乗用車１２を自動追尾撮影する例を用いて、自動追尾撮影装置を説明する。

図１および図２（ａ）に示すビデオカメラ１は周囲を撮影して画像を出力する。カメラ向き変更装置２は、パン角およびチルト角の回転が可能な雲台等によって構成され、カメラ向き演算部５から入力された制御信号に基づいてビデオカメラ１の向きを変更し、ビデオカメラ１の撮影範囲を変更する。

一時停止型目標被写体指定部３は、ビデオカメラ１によって撮影された画像をビデオフレームとしてタッチパネル付きディスプレイ７に表示させる。ユーザがタッチパネル付きディスプレイ７に表示された一時停止ボタンを操作する等して一時停止動作が入力されると、一時停止型目標被写体指定部３がその入力を検知してタッチパネル付きディスプレイ７の表示を一時停止させると共に、表示している画像を画像メモリ６に記録させる。さらに、後述のように、一時停止型目標被写体指定部３はタッチパネル付きディスプレイ７から入力された目標被写体の入力情報に基づく領域画像を画像メモリ６へ記録させる。

タッチパネル付きディスプレイ７は、一時停止型目標被写体指定部３から出力された画像をビデオフレームとして表示する。図２（ｂ）は、タッチパネル付きディスプレイ７に表示された静止画像を示す。一時停止型目標被写体指定部３は、静止画像にＸ軸およびＹ軸からなる座標を設定し、静止画像中心に原点（０，０）を設定する。ユーザは、タッチパネル付きディスプレイ７に表示された一時停止中のビデオフレームＦ０から、目標被写体である乗用車１２を矩形枠等で指定する（図２（ｃ））。

ユーザの入力した情報はタッチパネル付きディスプレイ７から一時停止型目標被写体指定部３へ出力され、一時停止型目標被写体指定部３がその矩形枠に基づいて領域画像Ｒ０を特定する（図２（ｃ））。特定した領域画像Ｒ０は、画像メモリ６が記録する。なお、ユーザが目標被写体を指定している間は、ビデオカメラ１が所定時間毎に出力する画像はタッチパネル付きディスプレイ７に表示されず、画像メモリ６へ記録されるのみとする。従って、ユーザは静止画像を用いて容易に目標被写体を指定することができる。ユーザが入力操作していない期間は、一時停止型目標被写体指定部３がビデオカメラ１の撮影した画像をタッチパネル付きディスプレイ７に順次表示させる。

目標被写体探索部４は、所定時間毎に画像メモリ６に記録されている画像から、一時停止型目標被写体指定部３が特定した領域画像と最も良く一致する領域である類似領域画像をテンプレートマッチングにより探索し、その中心座標を算出する。図２（ｄ）は、ユーザが領域画像を指定するために用いたビデオフレームＦ０に続いて撮影されたビデオフレームＦ１を示す。目標被写体探索部４は、ビデオフレームＦ１から領域画像と最も良く一致する類似領域画像Ｒ１を探索し、その中心座標（ｄｘ，ｄｙ）を算出する（図２（ｅ））。

カメラ向き演算部５は、算出された中心座標（ｄｘ，ｄｙ）が原点（０，０）になるようなパン角およびチルト角を計算し、制御信号としてカメラ向き変更装置２へ出力する（図２（ｆ））。カメラ向き変更装置２は、制御信号に基づいてビデオカメラ１の光軸の向きを変更し、目標被写体がビデオカメラ１の撮影範囲から逸脱しないように撮影範囲を変更する。

次に、図１から図５を用いて、自動追尾撮影装置の動作について説明する。以下では、ビデオカメラ１の撮影は１００ｍｓ毎に行われることとし、目標被写体探索部４の類似領域Ｒ１探索は５０ｍｓ要することとする。また、ユーザの目標被写体の指定後、画像メモリ６に記録された画像を用いて探索している間にビデオカメラ１が新たに撮影した画像は、画像メモリ６に記録されることとする。

図３（図３−１および図３−２）は、この発明の実施の形態１に係る自動追尾撮影装置のユーザ入力操作開始直後の状態を示す説明図である。図３において、時間軸下の三角形が現時刻を示し、時間軸上の数値は画像ｆｉが取得された時刻を示す。図４は、この発明の実施の形態１に係る自動追尾撮影装置の動作を示すフローチャートである。図３（ａ）に示すように、ビデオカメラ１の撮影した画像ｆｉは、一時停止型目標被写体指定部３を介して、タッチパネル付きディスプレイ７に順次表示される（ステップＳＴ１）。ステップＳＴ２において、タッチパネル付きディスプレイ７上に表示された一時停止ボタン（図示せず）をユーザが押下すると、タッチパネル付きディスプレイ７を介して、一時停止型目標被写体指定部３が一時停止動作の入力を検知する。

ステップＳＴ３において一時停止型目標被写体指定部３は、一時停止動作の入力を検知したときにタッチパネル付きディスプレイ７が表示しているビデオフレームＦ０を一時停止させる。そして、ユーザが目標被写体を指定するために入力操作を行う間、入力操作が開始された時点でタッチパネル付きディスプレイ７に表示されたビデオフレームＦ０をそのまま表示し続けると共にビデオフレームＦ０である画像ｆ０を画像メモリ６に記録させる。ユーザは、タッチパネル付きディスプレイ７に一時停止した状態で表示されるビデオフレームＦ０から目標被写体を矩形枠で指定する。タッチパネル付きディスプレイを介して入力された、矩形枠で指定された目標被写体は、一時停止型目標被写体指定部３が領域画像Ｒ０として受け付ける。

ユーザが目標被写体を指定している間にビデオカメラ１により１００ｍｓ毎に撮影された画像ｆ１，ｆ２，ｆ３・・・，ｆｉは、一時停止型目標被写体指定部３によって順次画像メモリ６に記録される。ユーザによる矩形入力の所要時間が４７５ｍｓであった場合、図３（ｂ）に示すように４７５ｍｓ中に撮影された画像ｆ１，ｆ２，ｆ３，ｆ４がそれぞれ画像メモリ６に記録される。一時停止型目標被写体指定部３がユーザの入力操作が終了したことを検知すると（ステップＳＴ４“Ｙｅｓ”）、自動追尾撮影装置はまず画像メモリ６に記録された画像ｆｉから目標被写体を探索する。

ステップＳＴ５において、目標被写体探索部４が、画像ｆ１をビデオフレームＦ１とし、画像メモリ６に記録された領域画像Ｒ０と最も良く一致する類似領域画像Ｒ１をビデオフレームＦ１から探索する（図３（ｃ））。続くステップＳＴ６において、一時停止型目標被写体指定部３が、画像メモリ６に記録されていた領域画像Ｒ０を探索された類似領域画像Ｒ１の内容に更新すると共に、変数ｉに１を加算する。

インクリメントされたｆｉ、即ち画像ｆ２が画像メモリ６に存在するので（ステップＳＴ７“Ｙｅｓ”）、処理はステップＳＴ５に戻る。目標被写体探索部４が画像ｆ２をビデオフレームＦ１とし、画像メモリ６の更新された領域画像Ｒ０と最も良く一致する類似領域画像Ｒ１をビデオフレームＦ１から探索する（図３（ｄ））。続くステップＳＴ６において、一時停止型目標被写体指定部３が、領域画像Ｒ０を類似領域画像Ｒ１の内容に更新すると共に、変数ｉに１を加算する。

インクリメントされた画像ｆ３が画像メモリ６に存在するので、上記同様に、処理はステップＳＴ５に戻り、目標被写体探索部４が画像ｆ３をビデオフレームＦ１とし、画像メモリ６の更新された領域画像Ｒ０と最も良く一致する類似領域画像Ｒ１をビデオフレームＦ１から探索する（図３（ｅ））。また、このステップＳＴ５の処理中に時刻が６００ｍｓを越えるので、新たに撮影された画像ｆ６が一時停止型目標被写体指定部３によって画像メモリ６に記録される。そして、ステップＳＴ６において、一時停止型目標被写体指定部３が、領域画像Ｒ０を類似領域画像Ｒ１の内容に更新すると共に、変数ｉに１を加算する。

上記同様に、図３（ｆ）から図３（ｊ）に示すように、画像ｆ４，ｆ５，ｆ６，ｆ７，ｆ８が、それぞれビデオフレームＦ１になり、各ビデオフレームＦ１から類似領域画像Ｒ１が探索される。画像ｆ８に基づくビデオフレームＦ１から類似領域画像Ｒ１が探索された後のステップＳＴ７において、次の画像ｆ９は画像メモリ６に存在せず（ステップＳＴ７“Ｎｏ”）、処理はステップＳＴ８へ進む。

ステップＳＴ８以降は、画像メモリ６に既に記録されていた画像ｆｉを用いて類似領域画像Ｒ１を探索する処理から、ビデオカメラ１が撮影する画像を用いてリアルタイムで類似領域画像Ｒ１を探索し、自動追尾撮影する処理に切り替わる。ステップＳＴ８において、目標被写体探索部４は、画像メモリ６に記録更新されている領域画像Ｒ０の中心座標（ｄｘ，ｄｙ）を算出すると共に、画像ｆ９をビデオフレームＦ０に設定する。この時の領域画像Ｒ０は、画像ｆ８から探索された類似領域画像Ｒ１の内容である。

ステップＳＴ９において、カメラ向き演算部５が、領域画像Ｒ０の中心座標（ｄｘ，ｄｙ）が原点（０，０）の位置になるように、ビデオカメラ１の向きを変更するためのパン角およびチルト角を算出して制御信号として出力し、カメラ向き変更装置２がその制御信号に基づいてビデオカメラ１の向きを制御する。

ステップＳＴ９の処理終了後、目標被写体探索部４は、ビデオフレームＦ０撮影時から１００ｍｓ後のビデオフレームＦ１を、ビデオカメラ１から取得する（ステップＳＴ１０）。続くステップＳＴ１１において、目標被写体探索部４は、画像メモリ６に記録された領域画像Ｒ０に最も良く一致する類似領域画像Ｒ１を、取得したビデオフレームＦ１から探索する。ステップＳＴ１２において、ビデオフレームＦ１をビデオフレームＦ０にすると共に、探索した類似領域画像Ｒ１を領域画像Ｒ０にして画像メモリ６を更新する。次いで、ステップＳＴ１３において、更新した領域画像Ｒ０の中心座標（ｄｘ，ｄｙ）を算出し、再びステップＳＴ９に戻る。このように、ステップＳＴ８以降、目標被写体探索部４およびカメラ向き変更装置５の繰り返し処理による自動追尾撮影が行われる。

以上のように、実施の形態１によれば、連続的に画像を取得するビデオカメラ１と、ビデオカメラ１で取得した画像を表示すると共に、ユーザの入力操作による目標被写体の指定を受け付けるタッチパネル付きディスプレイ７と、ビデオカメラ１で取得した画像をタッチパネル付きディスプレイ７に出力し、ユーザの一時停止動作を受けた場合は、タッチパネル付きディスプレイ７で表示する画像を一時停止させ、かつ、一時停止した画像中に存在する目標被写体の指定を受けると共に、一時停止中にビデオカメラ１が新たに撮影した画像を画像メモリ６に記録させる一時停止型目標被写体指定部３と、画像メモリ６に記録した画像から目標被写体の位置を探索する目標被写体探索部４と、目標被写体探索部４で探索した目標被写体の位置が画像の中心になるようにビデオカメラ１の向きを調整する制御信号を出力するカメラ向き演算部５と、カメラ向き演算部５から入力した制御信号に基づいてビデオカメラ１の方向を制御するカメラ向き変更装置２とを備えるように構成した。そのため、静止画のみを用いてユーザが目標被写体を容易に指定することができる自動追尾撮影装置を得ることができる。

また、実施の形態１によれば、目標被写体探索部４は、画像メモリ６に画像が存在しない場合にビデオカメラ１で撮影した画像から目標被写体の位置を探索して検出するように構成した。そのため、ユーザの入力操作中に撮影された画像における目標被写体の位置を探索終了後、ビデオカメラ１が撮影する画像から目標被写体の位置を探索する処理へ自動で切り替わり、自動追尾撮影を続行することができる。

なお、上述の一時停止型目標被写体指定部３、目標被写体探索部４、カメラ向き演算部５を各種電子回路でハードウェアとして構成してもよいが、これらをソフトウェアで構成し、即ち、一時停止型目標被写体指定ステップ、目標被写体探索ステップ、カメラ向き演算ステップから構成された自動追尾撮影プログラムとしてもよい。

上記実施の形態１では、画像メモリ６に記録されている画像に対して目標被写体探索を行っている期間にビデオカメラ１の向きを変更しない構成であったが、ビデオカメラ１の向きを変更する構成であってもよい。具体的には、図４に示すステップＳＴ６とステップＳＴ７の間に、探索された領域画像Ｒ０を用いて、目標被写体探索部４が中心座標（ｄｘ，ｄｙ）を算出し、カメラ向き演算部５がカメラ向き変更装置２を制御して、中心座標（ｄｘ，ｄｙ）が原点（０，０）になるようにビデオカメラ１の向きを調整する処理を追加する。この構成の場合には、移動速度が速い目標被写体が、画像メモリ６に記録された画像を探索する間にビデオカメラ１の撮影範囲から逸脱してしまうことを防ぐ効果がある。

また、上記実施の形態１では、目標被写体探索部４が類似領域画像Ｒ１を探索するにあたり、領域画像Ｒ０をテンプレートとし、ビデオフレームＦ１を探索画像とするテンプレートマッチングを用いる構成であったが、領域画像から特徴量を抽出し、それらの情報に基づいて類似領域を探索する等の他のアルゴリズムを用いる構成であってもよい。

また、上記実施の形態１では、カメラ向き演算部５が目標被写体の画像内の位置を修正するために、ビデオカメラ１のパン角およびチルト角の回転が可能なカメラ向き変更装置２を用いる構成であったが、パン角およびチルト角以外の回転軸、例えばロール角、ピッチ角等を有するカメラ向き変更装置を用いる構成であってもよい。

この発明の実施の形態１に係る自動追尾撮影装置の全体構成を示すブロック図である。 この発明の実施の形態１に係る自動追尾撮影装置の自動追尾の概要を示す説明図である。 この発明の実施の形態１に係る自動追尾撮影装置のユーザ入力操作開始直後の状態を示す説明図である。 この発明の実施の形態１に係る自動追尾撮影装置のユーザ入力操作開始直後の状態を示す説明図である。 この発明の実施の形態１に係る自動追尾撮影装置の動作を示すフローチャートである。

符号の説明

１ ビデオカメラ（撮像部）、２ カメラ向き変更装置（撮像範囲演算部）、３ 一時停止型目標被写体指定部、４ 目標被写体探索部、５ カメラ向き演算部（撮像方向変換部）、６ 画像メモリ（記録部）、７ タッチパネル付きディスプレイ（表示部）、１１ ヘリコプタ、１２ 乗用車、ｆ０，ｆ１，ｆ２・・・，ｆｉ 画像、Ｆ０，Ｆ１ ビデオフレーム、Ｒ０ 領域画像、Ｒ１ 類似領域画像。

Claims (4)

1. 連続的に画像を取得する撮像部と、
   前記撮像部で取得した画像を表示する表示部と、
   前記撮像部で取得した画像を前記表示部に出力し、一時停止動作を受けた場合は、前記表示部で表示する画像を一時停止させ、かつ、当該一時停止した画像中に存在する目標被写体の指定を受けると共に、当該一時停止中に前記撮像部で新たに取得した画像を記録部に記録させる一時停止型目標被写体指定部と、
   前記記録部に記録した画像から前記目標被写体の位置を探索する目標被写体探索部と、
   前記目標被写体探索部で探索した目標被写体の位置が画像の所定位置になるように前記撮像部の撮像範囲を演算する撮像範囲演算部と、
   前記撮像範囲演算部で算出した撮像範囲に基づいて前記撮像部の方向を制御する撮像方向変更部とを備えた自動追尾撮影装置。
2. 目標被写体探索部は、一時停止中に撮像部で新たに取得した画像が記録部に存在しない場合、前記撮像部で取得した画像から目標被写体の位置を探索することを特徴とする請求項１記載の自動追尾撮影装置。
3. 連続的に画像を取得する撮像ステップと、
   前記撮像ステップで取得した画像を表示する表示ステップと、
   前記撮像ステップで取得した画像を前記表示ステップに出力し、一時停止動作を受けた場合は、前記表示ステップで表示する画像を一時停止させ、かつ、当該一時停止した画像中に存在する目標被写体の指定を受けると共に、当該一時停止中に前記撮像ステップで新たに取得した画像を記録部に記録させる一時停止型目標被写体指定ステップと、
   前記記録部に記録した画像から前記目標被写体の位置を探索する目標被写体探索ステップと、
   前記目標被写体探索ステップで探索した目標被写体の位置が画像の所定位置になるように前記撮像ステップの撮像範囲を演算する撮像範囲演算ステップと、
   前記撮像範囲演算ステップで算出した撮像範囲に基づいて前記撮像ステップの方向を制御する撮像方向変更ステップとを備えた自動追尾撮影方法。
4. 一時停止型目標被写体指定部が、連続的に画像を取得する撮像部が取得した画像を表示部に出力し、一時停止動作を受けた場合は、前記表示部が表示する画像を一時停止させ、かつ、当該一時停止した画像中に存在する目標被写体の指定を受けると共に、当該一時停止中に前記撮像部で新たに取得した画像を記録部に記録させる一時停止型目標被写体指定ステップと、
   目標被写体探索部が、前記記録部に記録した画像から前記目標被写体の位置を探索する目標被写体探索ステップと、
   撮像範囲演算部が、前記目標被写体探索ステップで探索した目標被写体の位置が画像の所定位置になるように前記撮像部の撮像範囲を演算する撮像範囲演算ステップとをコンピュータに実行させるための自動追尾撮影プログラム。

Images