JP2009141606A - 映像処理システム、映像処理装置、映像処理方法 - Google Patents

Abstract

【課題】複数の追尾被写体が同一のカメラの撮影領域に入った場合でも、被写体の大きさを一定の範囲に保ちつつ追尾をすることができる映像処理システムを提供する。
【解決手段】撮影装置と、前記撮影装置において撮影された映像を処理する映像処理装置と、前記映像処理装置において処理された映像を表示する表示装置と、を有する映像処理システムであって、前記撮影装置において撮影された映像に含まれる被写体を追尾する被写体追尾手段と、前記被写体追尾手段において追尾される被写体が前記表示装置の表示画面において一定の範囲で表示されるように、前記撮影された映像を編集する編集手段と、を有することを特徴とする。
【選択図】図２

Description

本発明は、撮影装置によって複数の被写体を追尾することができる映像処理システム、映像処理装置、映像処理方法及びプログラムに関するものである。

従来、複数箇所に設置されたカメラを連携して被写体を追尾する監視用途の映像処理システムが知られている。このような映像処理システムは、被写体の動きベクトルに基づき、カメラの切り替えの制御を行ったり、切り替えられたカメラのアングルの制御を行ったりするように構成されている（例えば、特許文献１参照）。

また、被写体の位置に応じて、撮影に適したカメラを選択し、撮影画面内の被写体の大きさを一定に保つようにカメラのアングルやズーム倍率の制御を行う映像処理システムが知られている（例えば、特許文献１、特許文献２参照）。

特開２０００−３２４３５号公報 特開２００４−１２８６４６号公報

しかしながら、従来の映像処理システムは、上述したように被写体を追尾するためのカメラ制御がカメラのアングルやズーム倍率を制御するものである。従って、追尾したい複数の被写体が同一のカメラの撮影領域に入った場合、同時に複数の被写体の大きさを合わせながら追尾することができないという問題があった。即ち、従来の映像処理システムは複数の被写体を追尾したい場合や、ネットワークを介して複数のユーザが各々使用する表示装置でそれぞれ異なる被写体を追尾しながらカメラ映像を視聴したい場合に対応することができなかった。

本発明は上述したような問題点に鑑みてなされたものであり、追尾したい複数の被写体が同一の撮影装置の撮影領域にある場合でも、表示画面内の被写体の大きさを一定の範囲に保ちながら追尾できるようにする。

本発明の映像処理システムは、撮影装置と、前記撮影装置において撮影された映像を処理する映像処理装置と、前記映像処理装置において処理された映像を表示する表示装置と、を有する映像処理システムであって、前記撮影装置において撮影された映像に含まれる被写体を追尾する被写体追尾手段と、前記被写体追尾手段において追尾される被写体が前記表示装置の表示画面において一定の範囲で表示されるように、前記撮影された映像を編集する編集手段と、を有することを特徴とする。

本発明の映像処理装置は、撮影装置において撮影された映像を処理する映像処理装置であって、前記撮影装置において撮影された映像に含まれる被写体を追尾する被写体追尾手段と、前記被写体追尾手段において追尾される被写体が表示装置の表示画面において一定の範囲で表示されるように、前記撮影された映像を編集する編集手段と、を有することを特徴とする。

本発明の映像処理方法は、撮影装置と、前記撮影装置において撮影された映像を処理する映像処理装置と、前記映像処理装置において処理された映像を表示する表示装置と、を有する映像処理システムにおける映像処理方法であって、前記撮影装置において撮影された映像に含まれる被写体を追尾する被写体追尾ステップと、前記被写体追尾ステップにおいて追尾される被写体が前記表示装置の表示画面において一定の範囲で表示されるように、前記撮影された映像を編集する編集ステップと、を有することを特徴とする。

本発明の映像処理方法は、撮影装置において撮影された映像を処理する映像処理方法であって、前記撮影装置において撮影された映像に含まれる被写体を追尾する被写体追尾ステップと、前記被写体追尾ステップにおいて追尾される被写体が表示装置の表示画面において一定の範囲で表示されるように、前記撮影された映像を編集する編集ステップと、を有することを特徴とする。

本発明のプログラムは、撮影装置において撮影された映像を処理する映像処理装置を制御するプログラムであって、前記撮影装置において撮影された映像に含まれる被写体を追尾する被写体追尾ステップと、前記被写体追尾ステップにおいて追尾される被写体が表示装置の表示画面において一定の範囲で表示されるように、前記撮影された映像を編集する編集ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、追尾したい複数の被写体が同一の撮影装置の撮影領域にある場合でも、表示画面内の被写体の大きさを一定の範囲に保ちながら追尾できる。

以下、図面を参照して本発明に係る実施形態について説明する。
（第１の実施形態）
図１は、第１の実施形態に係る映像処理システム１０の全体構成を示す図である。図１に示すように、映像処理システム１０はカメラ１００（１００ａ〜１００ｃ）と、カメラ制御装置１０１（１０１ａ〜１０１ｃ）と、モニタ１０２（１０２ａ〜１０２ｃ）と、表示制御装置１０３（１０３ａ〜１０３ｃ）とを含んで構成されている。

カメラ１００ａ〜１００ｃは撮影装置であり、それぞれ所定の範囲を撮影することができる。ここで、図１に示すように、カメラ１００ａ〜１００ｃの全てでカバーすることができる撮影領域を全体撮影対象領域１１０とする。また、カメラ１００ａが撮影することができる領域を撮影領域１１１とする。また、カメラ１００ｂが撮影することができる領域を撮影領域１１２とする。また、カメラ１００ｃが撮影することができる領域を撮影領域１１３とする。カメラ制御装置１０１ａ〜１０１ｃは映像処理装置であり、カメラ１００ａ〜１００ｃを制御することができる。モニタ１０２ａ〜１０２ｃは表示装置であり、ユーザがカメラ映像を視聴することができる。表示制御装置１０３ａ〜１０３ｃは端末装置であり、モニタ１０２ａ〜１０２ｃの制御等を行う。また、各カメラ制御装置１０１ａ〜１０１ｃと各表示制御装置１０３ａ〜１０３ｃとは、ネットワーク１０４を介して接続される。

図２は第１の実施形態に係るカメラ制御装置１０１の内部構成を示すブロック図である。カメラ制御装置１０１はコントローラ２０１と、カメラ映像受信部２０２と、切り出し／拡大縮小処理部２０３と、通信部２０４とを含んで構成される。コントローラ２０１はカメラ制御装置１０１の全体の制御を行う。カメラ映像受信部２０２はカメラ１００からの映像を受信する。切り出し／拡大縮小処理部２０３はカメラ映像受信部２０２で受信した映像に対してコントローラ２０１の指示により切り出し及び拡大縮小処理を行う。通信部２０４は切り出し／拡大縮小処理部２０３で処理した映像又は後述する追尾被写体情報をネットワーク１０４に送信したり、表示制御装置１０３や他のカメラ制御装置から送信された追尾被写体情報を受信したりする。なお、以下では追尾の対象とする被写体を追尾被写体という。

コントローラ２０１はカメラ位置登録部２０５と、被写体追尾処理部２０６と、カメラ切り替え判断部２０７と、被写体情報登録部２０８と、切り出し情報解析部２０９と、を含んで構成される。カメラ位置登録部２０５は登録手段であり、自身が制御するカメラを含めた各カメラ１００ａ〜１００ｃの撮影可能領域（１１１，１１２，１１３）等が登録される。より具体的には、カメラ位置登録部２０５には全カメラの位置を示す位置情報が、各カメラ１００ａ〜１００ｃに対応させて登録されている。また、カメラ位置登録部２０５には、全体撮影対象領域１１０のある座標を原点とした場合の各カメラ１００ａ〜１００ｃの撮影領域１１１、１１２、１１３の三次元の座標で示される領域情報が、各カメラ１００ａ〜１００ｃに対応させて登録されている。カメラ位置登録部２０５には、予め上述した情報が設定されている。被写体追尾処理部２０６は被写体の追尾を行う。カメラ切り替え判断部２０７はカメラ位置登録部２０５及び被写体追尾処理部２０６の情報に基づき、追尾被写体を自身が制御するカメラで追尾可能か、他のカメラに追尾を指示すべきかを判断する。被写体情報登録部２０８は被写体情報登録手段及び被写体サイズ登録手段であり、ネットワーク１０４を介して表示制御装置１０３あるいは他のカメラ制御装置から送信される追尾被写体情報（被写体情報、被写体サイズ情報）が登録される。切り出し情報解析部２０９は被写体追尾処理部２０６及び被写体情報登録部２０８の情報から切り出し／拡大縮小処理部２０３の制御を行う。

本実施形態では、図１に示すように全体撮影対象領域１１０内の撮影領域１１１には被写体１２１が存在する。また、撮影領域１１２には被写体１２２が存在する。また、撮影領域１１３には被写体１２３が存在する。なお、モニタ１０２ａで映像を視聴しているユーザは被写体１２１を追尾したいものとする。また、モニタ１０２ｂで映像を視聴しているユーザは被写体１２２を追尾したいものとする。また、モニタ１０２ｃで映像を視聴しているユーザは被写体１２３を追尾したいものとする。

次に、図２のカメラ制御装置１０１の各ブロックの動きについて、カメラ１００ａに接続されるカメラ制御装置１０１ａを例にして図３に示すフローチャートを参照して説明する。図３はカメラ制御装置１０１ａの１フレーム当たりの制御フローを示すフローチャートである。

まず、ステップＳ３０１において、コントローラ２０１はネットワーク１０４に接続される表示制御装置１０３あるいは他のカメラから追尾被写体要求があるか否かを判定する。例えば、モニタ１０２ａを視聴しているユーザは、視聴したい被写体１２１の被写体情報をモニタ１０２ａに接続されている表示制御装置１０３ａに入力する（被写体情報設定手段）。また、モニタ１０２ａを視聴しているユーザは、視聴したい被写体１２１がモニタ１０２ａに映し出される被写体１２１の大きさ情報を、モニタ１０２ａに接続されている表示制御装置１０３ａに入力する（被写体サイズ設定手段）。表示制御装置１０３ａは、入力された被写体情報及び被写体の大きさ情報をカメラ制御装置１０１ａに送信する。コントローラ２０１は通信部２０４を介してその情報を受信することで追尾被写体要求があったと判定する。追尾被写体要求があった場合、コントローラ２０１はステップＳ３０２の処理に進める。追尾被写体要求がない場合、コントローラ２０１はステップＳ３０１で待機する。

ここで、被写体情報及び被写体の大きさ情報を追尾被写体情報と呼ぶ。追尾被写体情報の設定方法として、ユーザがモニタ１０２ａ内のどこの領域に追尾被写体がいるか、またモニタ１０２ａの画面内にどのくらいの大きさで表示させるかを表示制御装置１０３ａが通常備えるＵＩ機能を用いてマウス等で指示することで行う。また、表示制御装置１０３ａは設定された追尾被写体情報をモニタ１０２ａ上のピクセル位置情報に変換し、変換したピクセル位置情報をカメラ制御装置１０１に送信する。カメラ制御装置１０１はモニタ１０２ａに接続される表示制御装置１０３ａに送信している映像を撮影対象領域１１０にマッピングすることは容易であるので、送信された情報から追尾被写体情報を得ることができる。

ステップＳ３０２において、コントローラ２０１は受信した追尾被写体情報、即ち被写体情報及び被写体サイズ情報を被写体情報登録部２０８に登録する。被写体追尾処理部２０６は被写体情報登録部２０８に登録された追尾被写体情報に基づいて追尾を行う（被写体追尾手段）。このとき、コントローラ２０１は追尾被写体の大きさを算出している（算出手段）。なお、追尾被写体の追尾及び追尾被写体の大きさの認識は動きのある部分の動きの方向と動きのある部分の大きさを表現する動きベクトルを算出することで容易に実現できる。

ステップＳ３０３において、被写体追尾処理部２０６は表示装置に表示されている追尾被写体の座標情報と、カメラ位置登録部２０５で登録された位置情報及び領域情報とを比較する。被写体追尾処理部２０６は、比較した結果に応じて自身で制御するカメラ１００ａで追尾できるか否かを判定する（切替判定手段）。本実施形態では、被写体追尾処理部２０６は追尾被写体がカメラ１００ａの撮影領域１１１内であり、他のカメラの撮影領域１１２又は１１３外にある場合、自身が制御するカメラ１００ａで追尾可能であると判定する。また、被写体追尾処理部２０６は追尾被写体が、撮影領域１１１外にあり、撮影領域１１２又は１１３内にある場合、他のカメラ１００ｂ又は１００ｃで追尾すべきと判定する。カメラの切り替えが不要と判定した場合、コントローラ２０１はステップＳ３０４に処理を進める。カメラの切り替えが必要であると判定した場合、コントローラ２０１はステップＳ３０７に処理を進める。

ステップＳ３０４において、切り出し情報解析部２０９は被写体情報登録部２０８に登録された追尾被写体情報に基づいて、受信したカメラの映像の被写体の位置及び大きさがモニタ１０２ａの表示画面において一定の範囲になるように解析する。より具体的には、切り出し情報解析部２０９は、追尾被写体の大きさが同じになるように映像の切り出し領域を算出すると共に、切り出した映像がモニタ１０２ａの解像度になるように、拡大あるいは縮小の値を算出する。次に、切り出し／拡大縮小処理部２０３は、切り出し情報解析部２０９において算出された切り出し領域及び拡大あるいは縮小の値に基づいて切り出し／拡大縮小処理、即ち映像の編集処理を実行する（編集手段）。
ステップＳ３０５において、コントローラ２０１は切り出し／拡大縮小処理部２０３で映像処理された映像を通信部２０４を介して表示制御装置１０３ａに送信する。次に、コントローラ２０１はステップＳ３０６に処理を進める。

ステップＳ３０７において、コントローラ２０１はステップＳ３０３にて他のカメラが追尾すべきと判定した追尾被写体情報を該当するカメラ制御装置に通信部２０４を介して送信する。
ステップＳ３０８において、コントローラ２０１はステップＳ３０７で他のカメラ制御装置に送信した追尾被写体情報を被写体情報登録部２０８から削除する。次に、コントローラ２０１はステップＳ３０６に処理を進める。

ステップＳ３０６において、コントローラ２０１は被写体情報登録部２０８で登録された追尾被写体情報の中で処理が完了していないものがあるか否かを判定する。処理が完了していない追尾被写体情報がある場合、コントローラ２０１はステップＳ３０３に処理を戻し、その追尾被写体に対して同様の処理を繰り返す。すべての処理が完了している場合、コントローラ２０１はステップＳ３０１に処理を戻し、次のフレームから上述したステップＳ３０１からステップＳ３０８まで、同様の処理を繰り返す。また、カメラ１００ｂ及び１００ｃに接続されるカメラ制御装置１０１ｂ及び１０１ｃも同様の処理を行う。

次に追尾する被写体を撮影するカメラが切り替わった際、切り替わる前のカメラ制御装置及び切り替わる後のカメラ制御装置の動作フローを具体的に説明する。図４は、図１の全体撮影対象領域１１０において、時間が経過し、カメラ１００ｂの撮影領域１１２内の追尾被写体１２２がカメラ１００ａの撮影領域１１１に移動したときの状態を示す図である。

このとき、カメラ１００ｂに接続されているカメラ制御装置１０１ｂのカメラ切り替え判断部２０７は、図３に示すフローチャートのステップＳ３０３において、カメラの切り替えが必要であると判定する。従って、コントローラ２０１はステップＳ３０７に処理を進める。ステップＳ３０７において、カメラ制御装置１０１ｂのコントローラ２０１はカメラ１００ａに接続されているカメラ制御装置１０１ａに追尾被写体情報を送信する。次に、カメラ制御装置１０１ｂのコントローラ２０１は送信した追尾被写体情報を被写体情報登録部２０８から削除し、ステップＳ３０６に処理を進める。ステップＳ３０６において、コントローラ２０１は未処理の映像はないのでステップＳ３０１へ処理を戻す。ステップＳ３０１において、コントローラ２０１は追尾被写体情報を受信するまで待機する。

一方、カメラ１００ａに接続されているカメラ制御装置１０１ａは、カメラ１００ｂに接続されるカメラ制御装置１０１ｂから追尾被写体情報を受信する。カメラ制御装置１０１ａは、追尾被写体情報を受信した最初のフレームにおいて、追尾する被写体が二つになるので図３に示すフローチャートにおけるステップＳ３０３〜ステップＳ３０５の処理を２つの追尾被写体１２１、１２２に対して計２回行う。

即ち、カメラ制御装置１０１ａの被写体追尾処理部２０６は、追尾被写体１２２についてカメラ１００ａで追尾できるか否かを判定する。次に、カメラ制御装置１０１ａの切り出し情報解析部２０９は、追尾被写体１２２の追尾被写体情報に基づいて、切り出し領域を算出し、拡大あるいは縮小の値を算出する。次に、カメラ制御装置１０１ａの切り出し／拡大縮小処理部２０３は、切り出し情報解析部２０９が算出した結果に基づいて撮影した映像の切り出し／拡大縮小処理を行う。さらに、カメラ制御装置１０１ａのコントローラ２０１は、切り出し／拡大縮小処理を行った映像を表示制御装置１０３ｂに送信する。

また、カメラ制御装置１０１ａの被写体追尾処理部２０６は、追尾被写体１２１についてもカメラ１００ａで追尾できるか否かを判定する。次に、カメラ制御装置１０１ａの切り出し情報解析部２０９は、追尾被写体１２１の追尾被写体情報に基づいて、切り出し領域を算出し、拡大あるいは縮小の値を算出する。次に、カメラ制御装置１０１ａの切り出し／拡大縮小処理部２０３は、切り出し情報解析部２０９が算出した結果に基づいて撮影した映像の切り出し／拡大縮小処理を行う。さらに、カメラ制御装置１０１ａのコントローラ２０１は、切り出し／拡大縮小処理を行った映像を表示制御装置１０３ａに送信する。

このように、第１の実施形態によれば、複数の追尾被写体が同一のカメラの撮影領域に入った場合でも、被写体の大きさを一定の範囲に保ちつつ追尾をすることができる。

なお、第１の実施形態の映像処理システム１０は、カメラ１００の数を３つとし、表示制御装置１０３の数を３つとして構成する場合について説明したが、この場合に限られない。即ち本発明は他の構成においても適用することができる。
また、第１の実施形態では、各カメラの位置情報がカメラ位置登録部２０５に予め登録されている場合について説明したが、この場合に限られない。例えば、ユーザが表示制御装置１０３においてカメラの位置情報を設定したり、別の手段で設定したりするようにしてもよい。
また、第１の実施形態では、カメラ１００とカメラ制御装置１０１とを別個のものとする場合について説明したが、同一の筐体中に構成するようにしてもよい。

（第２の実施形態）
図５は、第２の実施形態に係る映像処理システム２０の全体構成を示す図である。第１の実施形態と同一の構成については同一符号を付している。図５に示すように、第２の実施形態に係る映像処理システム２０は、第１の実施形態と異なりカメラ制御装置１０１が各カメラ１００ａ〜１００ｃに接続され、すべてのカメラの映像を制御するものである。

図６は第２の実施形態に係るカメラ制御装置１０１の内部構成を示すブロック図である。カメラ制御装置１０１はコントローラ２０１と、カメラ映像受信部２０２と、切り出し／拡大縮小処理部２０３と、通信部２０４とを含んで構成される。
コントローラ２０１はカメラ制御装置１０１の全体の制御を行う。カメラ映像受信部２０２はカメラ１００ａ〜１００ｃからの映像を受信する。切り出し／拡大縮小処理部２０３はカメラ映像受信部２０２で受信した映像に対してコントローラ２０１の指示により切り出し及び拡大縮小処理を行う。通信部２０４は切り出し／拡大縮小処理部２０３で処理した映像又をネットワーク１０４に送信したり、表示制御装置１０３から送信された追尾被写体情報を受信したりする。

コントローラ２０１はカメラ位置登録部２０５と、被写体追尾処理部２０６と、カメラ切り替え判断部２０７と、被写体情報登録部２０８と、切り出し情報解析部２０９と、を含んで構成される。カメラ位置登録部２０５は各カメラ１００ａ〜１００ｃの撮影可能領域（１１１，１１２，１１３）等が登録される。被写体追尾処理部２０６は被写体の追尾を行う。カメラ切り替え判断部２０７はカメラ位置登録部２０５及び被写体追尾処理部２０６の情報に基づき、追尾被写体をどのカメラで追尾可能かを判断する。被写体情報登録部２０８はネットワーク１０４を介して表示制御装置１０３から送信される追尾被写体情報を登録する。切り出し情報解析部２０９は被写体追尾処理部２０６及び被写体情報登録部２０８の情報から切り出し／拡大縮小処理部２０３の制御を行う。

本実施形態では、図５に示すように全体撮影対象領域１１０内の撮影領域１１１には被写体１２１が存在する。また、撮影領域１１２には被写体１２２が存在する。また、撮影領域１１３には被写体１２３が存在する。なお、モニタ１０２ａで映像を視聴しているユーザは被写体１２１を追尾したいものとする。また、モニタ１０２ｂで映像を視聴しているユーザは被写体１２２を追尾したいものとする。また、モニタ１０２ｃで映像を視聴しているユーザは被写体１２３を追尾したいものとする。

次に、図６のカメラ制御装置１０１の各ブロックの動きについて、図７に示すフローチャートを参照して説明する。図７はカメラ制御装置１０１の１フレーム当たりの制御フローを示すフローチャートである。

まず、ステップＳ７０１において、コントローラ２０１はネットワーク１０４に接続される表示制御装置１０３から追尾被写体要求があるか否かを判定する。コントローラ２０１は通信部２０４を介し表示制御装置１０３ａから送信される被写体１２１の追尾被写体情報、表示制御装置１０３ｂから送信される被写体１２２の追尾被写体情報、表示制御装置１０３ｃから送信される被写体１２３の追尾被写体情報を受信する。追尾被写体情報を受信した場合、コントローラ２０１はステップＳ７０２の処理に進める。追尾被写体情報を受信しない場合、コントローラ２０１はステップＳ７０１で待機する。

ステップＳ７０２において、コントローラ２０１は受信した追尾被写体情報を被写体情報登録部２０８に登録する。また、被写体追尾処理部２０６は被写体情報登録部２０８に登録された追尾被写体情報に基づいて追尾を行う（被写体追尾手段）。なお、被写体情報登録部２０８には、３つの追尾被写体情報が登録される。即ち一番目の追尾被写体情報は追尾被写体１２１に係るものである。また、二番目の追尾被写体情報は追尾被写体１２２に係るものである。また、三番目の追尾被写体情報は追尾被写体１２３に係るものである。次にコントローラ２０１はステップＳ７０３に処理を進める。

ステップＳ７０３において、被写体追尾処理部２０６は被写体情報登録部２０８に登録されている追尾被写体の座標情報と、カメラ位置登録部２０５で登録された位置情報及び領域情報とを比較し、どのカメラにて追尾できるかを判定する（切替判定手段）。即ち被写体追尾処理部２０６は追尾することができるカメラの映像ソースを選択する。本実施形態では、被写体追尾処理部２０６は追尾被写体が撮影領域内にあるカメラを追尾可能なカメラであると判定する。また、被写体追尾処理部２０６は複数のカメラで追尾が可能と判定した場合は、追尾被写体の動きベクトルから追尾被写体の動く方向にある撮影領域のカメラを優先して追尾可能なカメラであると判定する。次にコントローラ２０１はステップＳ７０４に処理を進める。

ステップＳ７０４において、切り出し情報解析部２０９は被写体情報登録部２０８に登録された追尾被写体情報に基づいて、受信した複数のカメラの映像の中から選択された映像の追尾被写体の位置及び大きさが、モニタ１０２ａの表示画面において一定の範囲になるように解析する。より具体的には、切り出し情報解析部２０９は、追尾被写体の大きさが同じになるように、ステップＳ７０３で選択したカメラの映像ソースに対して切り出し領域を算出する。また、切り出し情報解析部２０９は、切り出した映像がモニタ１０２ａの解像度になるように、拡大あるいは縮小の値を算出する。次に、切り出し／拡大縮小処理部２０３は、切り出し情報解析部２０９において算出された切り出し領域及び拡大あるいは縮小の値に基づいて選択された映像に対し切り出し／拡大縮小処理、即ち編集処理を実行する（編集手段）。次にコントローラ２０１はステップＳ７０５に処理を進める。なお、以下では一番目の追尾被写体情報である追尾被写体１２１に関する処理について説明をする。

ステップＳ７０５において、コントローラ２０１は切り出し／拡大縮小処理部２０３で映像処理された映像を通信部２０４を介して表示制御装置１０３に送信する。ここでは、コントローラ２０１は表示制御装置１０３ａに映像を送信する。
ステップＳ７０６において、コントローラ２０１は被写体情報登録部２０８で登録された追尾被写体情報の中で処理が完了していないものがあるか否かを判定する。処理が完了していない追尾被写体情報がある場合、コントローラ２０１はステップＳ７０３に処理を戻し、その追尾被写体に対して同様の処理を繰り返す。ここでは、二番目、三番目の追尾被写体情報に関する処理が残っているので、コントローラ２０１はそれらの処理が完了するまでステップＳ７０３からステップＳ７０５の処理を繰り返す。すべての処理が完了した場合、コントローラ２０１は、ステップＳ７０１に処理を戻し、次のフレームから上述したステップＳ７０１からステップＳ７０６まで、同様の処理を繰り返す。

このように、第２の実施形態によれば、複数の追尾被写体が同一カメラの撮影領域に入った場合でも、被写体の大きさを一定の範囲に保ちつつ追尾をすることができる。また、カメラ制御装置１０１が各カメラ１００ａ〜１００ｃに接続され、すべてのカメラの映像を制御するようにしたので、映像処理システム２０の構成を簡略にすることができる。

なお、第２の実施形態の映像処理システム２０は、カメラ１００の数を３つとし、表示制御装置１０３の数を３つとして構成する場合について説明したが、この場合に限られない。即ち、本発明は他の構成においても適用することができる。
また、第２の実施形態では、カメラ１００とカメラ制御装置１０１の接続形態に関して明記していないが、専用のケーブルで接続してもよいし、ネットワークで接続してもよい。なお、ネットワークで接続される場合は、カメラ映像受信部２０２には通信部２０４のような機能を設けるようにする。

（第３の実施形態）
第１、第２の実施形態では、カメラ制御装置１０１内で追尾被写体の大きさを一定の範囲に保つためにカメラの映像に対して切り出し／拡大縮小処理を行ったが、切り出し／拡大縮小処理の一部あるいはすべてを表示制御装置１０３側で行ってもよい。例えば、カメラ制御装置１０１内の拡大縮小処理は、ある簡易な定型処理に留め、表示制御装置１０３に接続されるモニタ１０２の解像度にあわせるための拡大縮小処理は表示制御装置１０３側に行わせることで、処理の負荷分散が可能になる。

上述した本発明の実施形態における映像処理システム及び映像処理装置を構成する各手段、並びに映像処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及びこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

第１の実施形態に係る映像処理システムの全体構成を示す図である。 第１の実施形態に係るカメラ制御装置の内部構成を示すブロック図である。 第１の実施形態に係るカメラ制御装置の制御フローを示すフローチャートである。 追尾被写体が異なる撮影領域に移動したときの状態を示す図である。 第２の実施形態に係る映像処理システムの全体構成を示す図である。 第２の実施形態に係るカメラ制御装置の内部構成を示すブロック図である。 第２の実施形態に係るカメラ制御装置の制御フローを示すフローチャートである。

符号の説明

１００（１００ａ、１００ｂ、１００ｃ） カメラ
１０１（１０１ａ、１０１ｂ、１０１ｃ） カメラ制御装置
１０２（１０２ａ、１０２ｂ、１０２ｃ） モニタ
１０３（１０３ａ、１０３ｂ、１０３ｃ） 表示制御装置
１０４ ネットワーク
１１０ 全体撮影対象領域
１１１ 撮影領域
１１２ 撮影領域
１１３ 撮影領域
１２１ 被写体
１２２ 被写体
１２３ 被写体
２０１ コントローラ
２０２ カメラ映像受信部
２０３ 切り出し／拡大縮小処理部
２０４ 通信部
２０５ カメラ位置登録部
２０６ 被写体追尾処理部
２０７ カメラ切り替え判断部
２０８ 被写体情報登録部
２０９ 切り出し情報解析部

Claims (17)

1. 撮影装置と、前記撮影装置において撮影された映像を処理する映像処理装置と、前記映像処理装置において処理された映像を表示する表示装置と、を有する映像処理システムであって、
   前記撮影装置において撮影された映像に含まれる被写体を追尾する被写体追尾手段と、
   前記被写体追尾手段において追尾される被写体が前記表示装置の表示画面において一定の範囲で表示されるように、前記撮影された映像を編集する編集手段と、を有することを特徴とする映像処理システム。
2. 前記被写体の被写体情報を登録する被写体情報登録手段を更に有し、
   前記被写体追尾手段は、前記被写体情報登録手段において登録された被写体情報に基づいて被写体を追尾することを特徴とする請求項１に記載の映像処理システム。
3. 前記表示画面に表示される被写体の大きさ情報を登録する被写体サイズ登録手段を更に有し、
   前記編集手段は、前記被写体サイズ登録手段において登録された被写体の大きさ情報に基づいて前記撮影された映像を編集することを特徴とする請求項２に記載の映像処理システム。
4. 前記被写体追尾手段は、前記被写体情報登録手段において登録された複数の被写体情報に基づいて複数の被写体を追尾することを特徴とする請求項２又は３に記載の映像処理システム。
5. 前記表示装置に接続される端末装置を更に有し、
   前記端末装置は、前記被写体情報登録手段において登録される被写体情報を設定する被写体情報設定手段を有することを特徴とする請求項２乃至４の何れか１項に記載の映像処理システム。
6. 前記端末装置は、前記被写体サイズ登録手段において登録される被写体の大きさ情報を設定する被写体サイズ設定手段を有することを特徴とする請求項５に記載の映像処理システム。
7. 撮影装置において撮影された映像を処理する映像処理装置であって、
   前記撮影装置において撮影された映像に含まれる被写体を追尾する被写体追尾手段と、
   前記被写体追尾手段において追尾される被写体が表示装置の表示画面において一定の範囲で表示されるように、前記撮影された映像を編集する編集手段と、を有することを特徴とする映像処理装置。
8. 前記被写体追尾手段において追尾される被写体の大きさを算出する算出手段を更に有し、
   前記編集手段は、前記算出手段において算出された前記被写体の大きさに基づいて前記被写体追尾手段において追尾される被写体が前記表示装置の表示画面において一定の範囲で表示されるように、前記撮影された映像を編集することを特徴とする請求項７に記載の映像処理装置。
9. 複数の撮影装置と接続されており、
   前記被写体追尾手段において追尾される被写体の動きに応じて、前記表示装置に表示させるべき撮影装置の映像を他の撮影装置の映像に切り替えるか否かを判定する切替判定手段を更に有することを特徴とする請求項７又は８に記載の映像処理装置。
10. 前記編集手段は、前記撮影装置において撮影された映像の切り出し又は拡大縮小を行うことにより編集することを特徴とする請求項７乃至９の何れか１項に記載の映像処理装置。
11. 前記複数の撮影装置の位置情報及び撮影できる領域情報を登録する登録手段を更に有し、
    前記切替判定手段は、前記登録手段において登録された位置情報及び領域情報と、前記被写体の座標情報とに基づいて、前記表示装置に表示させるべき撮影装置の映像を他の撮影装置の映像に切り替えるか否かを判定することを特徴とする請求項９又は１０に記載の映像処理装置。
12. 前記被写体の被写体情報を登録する被写体情報登録手段を更に有し、
    前記被写体追尾手段は、前記被写体情報登録手段において登録された被写体情報に基づいて被写体を追尾することを特徴とする請求項７乃至１１の何れか１項に記載の映像処理装置。
13. 前記表示画面に表示される被写体の大きさ情報を登録する被写体サイズ登録手段を更に有し、
    前記編集手段は、前記被写体サイズ登録手段において登録された被写体の大きさ情報に基づいて前記撮影された映像を編集することを特徴とする請求項１２に記載の映像処理装置。
14. 前記被写体追尾手段は、前記被写体情報登録手段において登録された複数の被写体情報に基づいて複数の被写体を追尾することを特徴とする請求項１２又は１３に記載の映像処理装置。
15. 撮影装置と、前記撮影装置において撮影された映像を処理する映像処理装置と、前記映像処理装置において処理された映像を表示する表示装置と、を有する映像処理システムにおける映像処理方法であって、
    前記撮影装置において撮影された映像に含まれる被写体を追尾する被写体追尾ステップと、
    前記被写体追尾ステップにおいて追尾される被写体が前記表示装置の表示画面において一定の範囲で表示されるように、前記撮影された映像を編集する編集ステップと、を有することを特徴とする映像処理方法。
16. 撮影装置において撮影された映像を処理する映像処理方法であって、
    前記撮影装置において撮影された映像に含まれる被写体を追尾する被写体追尾ステップと、
    前記被写体追尾ステップにおいて追尾される被写体が表示装置の表示画面において一定の範囲で表示されるように、前記撮影された映像を編集する編集ステップと、を有することを特徴とする映像処理方法。
17. 撮影装置において撮影された映像を処理する映像処理装置を制御するプログラムであって、
    前記撮影装置において撮影された映像に含まれる被写体を追尾する被写体追尾ステップと、
    前記被写体追尾ステップにおいて追尾される被写体が表示装置の表示画面において一定の範囲で表示されるように、前記撮影された映像を編集する編集ステップと、をコンピュータに実行させるためのプログラム。

Images