JP2018113649A - カメラ、情報処理装置及びシステム - Google Patents

Abstract

【課題】複数の被写体から追尾対象を精度よく選択できるようにする。【解決手段】監視カメラでは、映像データの時系列に基づいて被写体のマッチングを行い、マッチングした被写体ごとに共通のＩＤを付与する。そして、ＩＤが付与された被写体の被写体情報を前記映像データとともに情報処理装置に送信し、情報処理装置では、表示された映像データから、ユーザの操作に応じて被写体を選択し、その被写体のＩＤを含む被写体情報を監視カメラに送信する。監視カメラは、選択された被写体のＩＤを確認し、素の被写体が画面の中央になるようにパン・チルト制御を行う。【選択図】図１

Description

本発明は、特に、複数の被写体から追尾すべき被写体を選択するために用いて好適なカメラ、情報処理装置、システム、カメラの制御方法、情報処理装置の制御方法およびプログラムに関する。

従来、動体検出機能を搭載した監視カメラであって、画面中で検出した動体を画面中央付近に捉え続けるようにパン・チルトを制御する自動追尾機能を有する監視カメラが提案されている。例えば特許文献１には、検出した動体を自動追尾する際の追従性を高めるために、パン・チルト移動量を補正する技術が開示されている。

ここで、自動追尾機能では、画像解析手段により画面内の動体を発見し、発見した動体を自動的に選択して追尾を開始する方法が一般的に用いられている。しかし、画面内に複数の動体が存在する場合、監視者が意図する被写体が追尾対象として必ずしも選択されるとは限らない。そのため、監視映像を監視者が目視し、追尾対象の被写体を手動で選択する方法が提案されている。

特許文献２には、複数の被写体から一つの被写体を選択する被写体選択手段を有し、被写体選択手段によって選択された被写体を特定する情報を記憶して追尾する被写体を選択する方法が開示されている。特許文献３には、カメラの映像にマーカーを重畳表示し、マーカーと所定の位置関係にある被写体を選択する方法が開示されている。

特開２０１６−９２６０６号公報 特開２０１３−２４７５０８号公報 特開２００２−１０２４０号公報

カメラと監視装置との間をネットワークで接続する監視システムでは、ネットワーク上で映像信号や制御信号のパケットを伝送することによる遅延が発生する。また、限られたネットワーク帯域で映像信号を伝送するために、圧縮符号化された映像信号をカメラから送信し、ビューワーでは受信した圧縮映像信号を復号して画面に映像を表示する。そのため、カメラ内では映像信号の圧縮符号化による遅延時間が発生し、ビューワー内では受信した映像信号の復号に要する遅延時間が発生する。したがって、被写体の移動速度が大きく複数の被写体が存在する場合、遅延時間の間に同じ位置で被写体が入れ替わってしまい、追尾対象を正しく選択できない場合がある。

特許文献２に記載の方法では、複数の被写体から一つの被写体を選択する際に、前述の遅延時間は考慮されていないため、追尾対象を正しく選択できない可能性がある。また、特許文献３に記載の方法では、複数の被写体から一つの被写体を選択する際に、各被写体にマーカーが付与されているが、時系列での遅延時間は考慮されていないため、追尾対象を正しく選択できない可能性がある。

本発明は前述の問題点に鑑み、複数の被写体から追尾対象を精度よく選択できるようにすることを目的としている。

本発明に係るカメラは、被写体を撮像する撮像手段の撮影方向を制御するカメラであって、前記撮像手段によって生成された映像から被写体を検出する検出手段と、前記映像に含まれる被写体を識別可能な被写体情報を情報処理装置に送信する送信手段と、前記情報処理装置から前記情報処理装置によって選択された被写体に対応する前記被写体情報を受信する受信手段と、前記情報処理装置によって選択された前記被写体情報に対応する被写体を追尾するよう前記撮像手段の撮影方向を制御する制御手段と、を有することを特徴とする。

本発明によれば、複数の被写体から追尾対象を精度よく選択することができる。

監視カメラ及びビューワーの機能構成例を示すブロック図である。 監視システムにおける各装置のハードウェア構成例を示すブロック図である。 監視カメラにおいて、クリック追尾開始処理へ遷移するための処理手順の一例を示すフローチャートである。 監視カメラにおけるクリック追尾開始処理の詳細な処理手順の一例を示すフローチャートである。 ビューワーの表示部に表示される画面及びクリックしたときに選択された被写体が有効か否かの基準を説明するための図である。 ビューワーにおいてクリック追尾開始処理を指示する処理手順の一例を示すフローチャートである。 ビューワーにおけるクリック追尾開始処理の詳細な処理手順の一例を示すフローチャートである。 第２の実施形態に係る監視カメラの機能構成例を示すブロック図である。 第２の実施形態において、監視カメラにおけるクリック追尾開始処理の詳細な処理手順の一例を示すフローチャートである。 第２の実施形態において、監視カメラにおける追尾開始処理の詳細な処理手順の一例を示すフローチャートである。 第３の実施形態において、ビューワーによるクリック追尾開始処理を指示する処理手順の一例を示すフローチャートである。 第３の実施形態において、ビューワーにおけるクリック追尾開始処理の詳細な処理手順の一例を示すフローチャートである。 第３の実施形態において、監視カメラによりカメラ制御権取得中処理へ遷移するための処理手順の一例を示すフローチャートである。 第３の実施形態において、監視カメラによるカメラ制御権取得中処理の詳細な処理手順の一例を示すフローチャートである。 第３の実施形態において、監視カメラにおけるクリック追尾開始処理の詳細な処理手順の一例を示すフローチャートである。 第４の実施形態において、監視カメラにおけるクリック追尾開始処理の詳細な処理手順の一例を示すフローチャートである。

（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図２は、本実施形態に係る監視システムにおける各装置のハードウェア構成例を示すブロック図である。
図２において、本実施形態に係る監視システムは、監視カメラ１００及びビューワー１５０がネットワーク１３０を介して接続されることによって構成されている。

まず、監視カメラ１００の内部構成について説明する。
ＣＰＵ２０１は、監視カメラ１００全体の処理を制御し、ＲＯＭ２０２に格納されたプログラムに基づいて各種処理を行う。ＲＯＭ２０２には、前述のプログラムやその他の情報が格納されている。ＲＡＭ２０３は、前述のプログラムが実行される場合に、該プログラムがＲＯＭ２０２から展開され、ＣＰＵ２０１のワークエリアとして利用される。

撮像部２０５は、被写体を撮像して映像信号を生成するための回路やレンズ駆動回路、パン・チルト動作を行うメカ駆動系及び駆動源のモータ等が含まれており、パン動作およびチルト動作により撮影方向が制御される。記憶装置２０４は、通信Ｉ／Ｆ２０６を介して受信したデータやコマンド等を記憶したり、撮像部２０５で生成された映像信号を記憶したりする。これらの各構成は内部バス２０７を介して接続された構成となっている。

次に、ビューワー１５０の内部構成について説明する。
ＣＰＵ２５１は、ビューワー１５０全体の処理を制御し、ＲＯＭ２５２に格納されたプログラムに基づいて各種処理を行う。ＲＯＭ２５２には、前述のプログラムやその他の情報が格納されている。ＲＡＭ２５３は、前述のプログラムが実行される場合に、該プログラムがＲＯＭ２５２から展開され、ＣＰＵ２５１のワークエリアとして利用される。

記憶装置２５４は、通信Ｉ／Ｆ２５７を介して受信した映像信号などのデータやコマンド等を記憶する。表示装置２５５は、通信Ｉ／Ｆ２５７を介して受信した映像を表示したり、その他の設定画面等と表示したりする。入力装置２５６は、ユーザの指示を入力するための操作部材等から構成される。これらの構成は内部バス２５８を介して接続された構成となっている。

図１は、本実施形態に係る監視カメラ１００及びビューワー１５０の機能構成例を示すブロック図である。
まず、監視カメラ１００の構成について説明する。監視カメラ１００は、撮像部１０１、画像処理部１０２、システム制御部１０３、パン動作駆動部１０４、パン動作制御部１０５、チルト動作駆動部１０６、およびチルト動作制御部１０７を備えている。さらに、監視カメラ１００は、通信インタフェース部１０８、動体検出部１０９、および被写体ＩＤ付与部１１０を備えている。

図１における監視カメラ１００は、通信インタフェース部１０８を介してＬＡＮ等のネットワーク１３０に接続され、ネットワーク１３０を介して複数の情報処理装置と通信可能に構成されている。情報処理装置はネットワーク１３０を介して、監視カメラ１００で撮影された映像の表示、録画を行うことができる。また、情報処理装置はカメラ制御指令を監視カメラ１００に送信することにより、監視カメラ１００の撮影条件の設定、パン動作、チルト動作等を行うことができる。本実施形態では、情報処理装置の一例として、ビューワー１５０との情報のやり取りについて説明する。

画像処理部１０２は、撮像部１０１において撮像、光電変換された映像信号の所定の画像処理、圧縮符号化処理を行い、映像データを生成する。生成された映像データは一時的に記憶装置２０４に記憶される。通信インタフェース部１０８は、生成された映像データをビューワー１５０に配信する。システム制御部１０３は、監視カメラ１００全体の動作を制御し、画像処理部１０２に対して画質調整の指示や、パン動作制御部１０５およびチルト動作制御部１０７に対してパン・チルト動作の指示を行う。

パン動作駆動部１０４は、パン動作を行うメカ駆動系及び駆動源のモータを用いて、撮像部１０１の撮影方向をパン方向に３６０度エンドレスに回転させることができる。パン動作制御部１０５はシステム制御部１０３からの指示に基づいて、パン動作駆動部１０４を制御する。チルト動作駆動部１０６は、チルト動作を行うメカ駆動系及び駆動源のモータを用いて、撮像部１０１の撮影方向をチルト方向に水平方向０度から上方向＋１８０度まで回転させることができる。チルト動作制御部１０７はシステム制御部１０３からの指示に基づいて、チルト動作駆動部１０６の制御を行う。

動体検出部１０９は、画像処理部１０２で処理されたフレームの映像データと記憶装置２０４に記憶された前フレームの映像データとの差分を算出して動体（被写体）を検出する。被写体ＩＤ付与部１１０は、動体検出部１０９が検出した被写体の位置情報およびサイズ情報を元に、時系列上で連続するフレーム間で検出された被写体同士をマッチング処理する。マッチングされた被写体には共通なＩＤが付与される。マッチングする相手の無かった被写体は、新規に検出された被写体として新たなＩＤが作成され付与される。付与された被写体ＩＤにより、映像内に検出された複数の被写体を区別することができる。

システム制御部１０３は、被写体情報を作成するとともに、被写体の位置情報により被写体を画面中央に表示させるために必要なパン・チルト量を計算する。そして、パン動作制御部１０５及びチルト動作制御部１０７にパン・チルトの指示を行って物体の追尾を行う。

次にビューワー１５０のブロック構成を説明する。システム制御部１５１はビューワー１５０の動作を制御し、監視カメラ１００から受信した映像データを復号化する映像処理部を内部に備える。表示部１５２は、監視カメラ１００から受信した映像およびビューワーの操作メニューを表示する。入力部１５３は、マウス等の入力装置２５６からユーザによる操作を受け付ける。通信インタフェース部１５４は、ネットワーク１３０に接続され監視カメラ１００と通信するためのインタフェース部である。

まず、本実施形態の監視カメラ１００における通常処理からクリック追尾処理へ遷移する処理について図３のフローチャートを用いて説明する。
図３は、クリック追尾開始処理へ遷移するための処理手順の一例を示すフローチャートである。また、図５（Ａ）は、ビューワー１５０の表示部１５２に表示される画面の一例を示す図である。
まず、Ｓ３０１において、システム制御部１０３は、通信インタフェース部１０８により接続中のビューワー１５０からクリック追尾モードへの移行指示のコマンドを受信したか否かを判定する。ユーザによりビューワー１５０のクリック追尾開始ボタン５０６が押下されると、システム制御部１５１は、クリック追尾モードへの移行指示のコマンドを生成する。そして、通信インタフェース部１５４によりクリック追尾モードへの移行指示のコマンドが監視カメラ１００に送信される。なお、ビューワー１５０側の詳細な処理手順については後述する。Ｓ３０１の判定の結果、クリック追尾モードへの移行指示のコマンドを受信していない場合はＳ３０２に進み、現在の処理を継続する。被写体を追尾中であれば、システム制御部１０３は追尾処理を継続する。

一方、クリック追尾モードへの移行指示のコマンドを受信した場合は、Ｓ３０３において、システム制御部１０３は、現在の処理が自動追尾中か否かを判定する。この判定の結果、自動追尾中である場合は、Ｓ３０４において、システム制御部１０３は、追尾処理を中止する。なお、動体検出部１０９により画面内に動体が検知されてなく、被写体が現れるまで待機中である場合には、システム制御部１０３は追尾開始の判定を中止する。また、動体検出部１０９により画面内に発見された動体を追尾中の場合には、システム制御部１０３は現在の被写体の追尾を中止し、さらに追尾開始の判定を中止する。これにより、ユーザが追尾ターゲットを手動で選択しようとしている途中で、追尾が開始されてしまうことを防止することができる。なお、Ｓ３０３の判定の結果、自動追尾中でない場合は、Ｓ３０５において、システム制御部１０３は、クリック追尾開始処理を実行する。以下、クリック追尾開始処理の詳細について図４を用いて説明する。

図４は、図３のＳ３０５のクリック追尾開始処理の詳細な処理手順の一例を示すフローチャートである。
まず、Ｓ４０１において、システム制御部１０３は、通信インタフェース部１０８によりビューワー１５０から追尾すべき被写体の被写体情報を受信したか否かを判定する。この判定の結果、追尾すべき被写体の被写体情報を受信した場合は、追尾を開始するためにＳ４０９に進む。

一方、ビューワー１５０から追尾すべき被写体の被写体情報を受信していない場合は、Ｓ４０２において、システム制御部１０３は、通信インタフェース部１０８によりビューワー１５０からクリック追尾の中止指示のコマンドを受信したか否かを判定する。ユーザによりビューワー１５０のクリック追尾終了ボタン５０７が押下されると、システム制御部１５１は、クリック追尾の中止指示のコマンドを生成する。そして、通信インタフェース部１５４によりクリック追尾の中止指示のコマンドが監視カメラ１００に送信される。この判定の結果、クリック追尾の中止指示のコマンドを受信した場合は、Ｓ４０３において、システム制御部１０３はクリック追尾開始処理を中止して処理を終了し、図３のＳ３０１に戻る。一方、Ｓ４０２の判定の結果、クリック追尾の中止指示のコマンドを受信してない場合は、被写体情報をビューワー１５０に送信するためにＳ４０４に進む。

Ｓ４０４においては、動体検出部１０９は、画像処理部１０２により画像処理等がなされた映像データに対して動体検出処理を行い、追尾する被写体候補を検出する。そして、Ｓ４０５において、被写体ＩＤ付与部１１０は、検出された複数の動体に対して過去フレームの動体とのマッチング処理を行い、被写体を区別するための被写体ＩＤをそれぞれの動体に与える。

次に、Ｓ４０６において、システム制御部１０３は、被写体の位置情報とサイズ情報と被写体ＩＤとからなる被写体情報を作成する。そして、Ｓ４０７において、通信インタフェース部１０８により、画像処理部１０２で圧縮符号化された映像データを映像が生成された時間情報と共にビューワー１５０に送信する。続いてＳ４０８において、通信インタフェース部１０８により、Ｓ４０６で作成した被写体情報を、被写体を検出した映像の時間情報と共に接続中のビューワー１５０に送信し、Ｓ４０１に処理を戻る。

一方、Ｓ４０９においては、システム制御部１０３は、受信した被写体情報から被写体ＩＤを記憶装置２０４に記憶する。そして、Ｓ４１０において、システム制御部１０３は、その被写体ＩＤに該当する最新位置情報を被写体ＩＤ付与部１１０の結果から取得する。続いてＳ４１１において、システム制御部１０３は、パン動作制御部１０５及びチルト動作制御部１０７を制御し、該当する被写体が画面の中央に位置するようにパン・チルト制御して自動追尾を開始し、クリック追尾開始処理を終了する。その後、図３のＳ３０２では、パン・チルト制御を行った後に、動体検出部１０９が検出した被写体の中で、画面中央近くに検出された被写体を自動的に選択し、その被写体が画面中央に位置するようにパン・チルト制御を行う。Ｓ３０２の自動追尾中のパン・チルト制御については、特許文献１に記載されている技術を用いるものとする。なお、図４の処理を抜けた後に、システム制御部１０３が通信インタフェース部１０８によりビューワー１５０からクリック追尾の中止指示のコマンドを受信した場合は、自動追尾を中止する。

次に、監視カメラ１００に接続してユーザから追尾指示を受け付けるビューワー１５０の処理について説明する。
図５（Ａ）に示すように、監視カメラ１００から受信した映像は表示画面５００に表示される。また、ビューワー１５０には、監視カメラ１００をパン動作させるためのパンボタン５０１、５０２と、監視カメラ１００をチルト動作させるためのチルトボタン５０３、５０４とが備えられている。制御権制御ボタン５０５は、監視カメラ１００をパン・チルト制御するためのカメラ制御権を取得または解放するためのボタンであり、カメラ制御権を取得していないときは制御権取得ボタンとして機能し、カメラ制御権取得中は制御権解除ボタンとして機能する。クリック追尾開始ボタン５０６は前述したクリック追尾開始処理を指示するためのボタンであり、クリック追尾終了ボタン５０７は前述した自動追尾処理を強制的に終了するためのボタンである。また、表示画面５００には、監視カメラ１００から受信した被写体情報を元にビューワー１５０で作成される被写体枠５０８が画面に重ね合わせて表示され、マウスの位置を示すポインタ５０９も表示される。

図６は、ビューワー１５０においてクリック追尾開始処理を指示する処理手順の一例を示すフローチャートである。
まず、Ｓ６０１において、システム制御部１５１は、通信インタフェース部１５４により監視カメラ１００から映像データを生成した時間情報と共にその映像データを受信する。そして、Ｓ６０２において、システム制御部１５１は、受信した映像を表示部１５２に表示する。

次に、Ｓ６０３において、システム制御部１５１は、ユーザにより入力装置２５６が操作され（クリック追尾開始ボタン５０６が押下され）、クリック追尾開始が指示されたか否かを判定する。この判定の結果、クリック追尾開始が指示されていない場合はＳ６０１に戻り、引き続き映像データを受信する。一方、クリック追尾開始が指示された場合は、Ｓ６０４において、システム制御部１５１は、クリック追尾モードへの移行指示のコマンドを生成し、通信インタフェース部１５４により当該コマンドを監視カメラ１００に送信する。そして、Ｓ６０５において、システム制御部１５１は、クリック追尾開始処理を行う。以下、Ｓ６０５の詳細について図７を参照しながら説明する。

図７は、図６のＳ６０５のクリック追尾開始処理の詳細な処理手順の一例を示すフローチャートである。
まず、Ｓ７０１において、システム制御部１５１は、通信インタフェース部１５４により監視カメラ１００から映像データを生成した時間情報と共にその映像データを受信する。なお、この処理は基本的にはＳ６０１と同様である。次に、Ｓ７０２において、システム制御部１５１は、通信インタフェース部１５４により監視カメラ１００から被写体を検出した映像が生成された時間情報と共に被写体情報を受信する。そして、Ｓ７０３において、システム制御部１５１は、被写体情報から被写体の位置を示す枠画像を生成し、その被写体を検出した映像に重ね合わせて表示部１５２に表示する。つまり、図５（Ａ）に示すように、映像と共に被写体枠５０８を重畳表示する。

次に、Ｓ７０４において、システム制御部１５１は、ユーザにより入力装置２５６が操作され（クリック追尾終了ボタン５０７が押下され）、クリック追尾終了が指示されたか否かを判定する。この判定の結果、クリック追尾終了が指示された場合は、Ｓ７０５において、システム制御部１５１は、クリック追尾の中止指示のコマンドを生成し、通信インタフェース部１５４により当該コマンドを監視カメラ１００に送信する。そして、Ｓ７０６において、システム制御部１５１は、画面に重ね合わせた被写体の枠表示を消去し、クリック追尾開始処理を終了して図６のＳ６０１の処理に戻る。

一方、Ｓ７０４の判定の結果、クリック追尾終了が指示されていない場合は、Ｓ７０７において、システム制御部１５１は、ユーザにより入力装置２５６（例えばマウス）が操作され、画面上でクリックされたか否かを判定する。この判定の結果、画面上でクリックされていない場合はＳ７０１に戻り、引き続き映像データを受信する。一方、画面上でクリックされた場合は、Ｓ７０８において、システム制御部１５１は、クリックされた画面上の座標を取得する。そして、監視カメラ１００から受信した被写体情報から、クリック位置から最も近い被写体を選択し、該当する被写体の被写体ＩＤを決定する。次に、Ｓ７０９において、システム制御部１５１は、Ｓ７０８で選択した被写体ＩＤが有効な被写体ＩＤであるか否かを判定する。この判定の結果、有効な被写体ＩＤでない場合は、クリックされた座標を無効として処理がＳ７０１に戻る。一方、有効な被写体ＩＤである場合は、Ｓ７１０に進む。

図５（Ｂ）は、クリックしたときに選択された被写体が有効か否かの基準を説明するための図である。例えばＳ７０８でＩＤ１の被写体が選択された場合は、その被写体がクリック位置から所定の範囲内なので、Ｓ７０９では有効な被写体ＩＤであると判定される。一方、例えばＳ７０８でＩＤ２の被写体が選択された場合は、その被写体がクリック位置から所定の範囲外なので、Ｓ７０９では有効な被写体ＩＤではないと判定される。つまり、クリックされた座標位置がどの被写体からも所定の閾値以上離れている場合には、有効な被写体ＩＤは無いものとする。なお、実際の表示画面５００上には、被写体ＩＤやクリック位置からの閾値を示す境界となる円は表示されないものとする。

Ｓ７１０においては、通信インタフェース部１５４により、被写体ＩＤ及び被写体情報内の時刻情報と共に追尾開始指示を、追尾すべき被写体の被写体情報として監視カメラ１００に送信する。そして、Ｓ７１１において、システム制御部１５１は、画面に重ね合わせた被写体の枠表示を消去し、クリック追尾開始処理を終了して図６のＳ６０１の処理に戻る。

以上説明したように本実施形態によれば、監視カメラにおいて、被写体ごとに固有のＩＤを付与してビューワーに被写体情報を送信し、追尾したい被写体の被写体ＩＤを監視カメラに送り返す構成とした。これにより、監視カメラとビューワーとの間のパケット伝送の遅延やビューワーの復号化の遅延などがあっても、同一の被写体はＩＤで管理されているため、意図した被写体を追尾することが可能となる。なお、本実施形態では、追尾を開始するときのターゲットとなる被写体の一例としては、具体的には例えば人体や顔などが考えられる。この場合、検出した人体や顔に被写体ＩＤを付与して、選択した被写体を自動追尾するように構成する。なお、被写体の種類については特に限定されないものとする。

（第２の実施形態）
第１の実施形態では、ビューワー１５０からクリック追尾モードの移行指示を常に受け付けていたが、遅延時間が大きいとユーザが意図する追尾ができなくなり、無駄な追尾を開始してしまう可能性がある。そのため、本実施形態では、遅延の大きい追尾指示は無効な指示として受け付けないようにする。

図８は、本実施形態に係る監視カメラ８００の機能構成例を示すブロック図である。なお、監視カメラ８００のハードウェア構成は図２と同様であり、ビューワー１５０の機能構成およびハードウェア構成についてはそれぞれ図１及び図２と同様であるため、説明は省略する。以下、第１の実施形態と異なる点についてのみ説明する。

図８に示すように、監視カメラ８００は、レンズ駆動部８０１及びレンズ制御部８０２をさらに備えている。このように、レンズ制御部８０２がレンズ駆動部８０１を制御してズーム操作を行うことにより監視カメラが撮影する画角を変更できる構成となっている。本実施形態では、追尾指示を受信したときに、追尾対象が画面内に検出されない場合に、ズームアウトして画角を広げて被写体を探索する。このとき、遅延時間を考慮して被写体の探索を続けるか否かを決定する。

図９は、本実施形態の監視カメラ８００におけるクリック追尾開始処理の詳細な処理手順の一例を示すフローチャートである。なお、クリック追尾開始処理へ遷移するための処理手順は図３と同様である。本実施形態では、図３のＳ３０５の詳細な処理手順を図９に示す手順とする。以下、図９において、図４と同じ処理については説明を省略する。

Ｓ９０９においては、システム制御部１０３は、Ｓ４０８でビューワー１５０に送信した被写体情報内の最新位置情報を記憶装置２０４に記憶する。

さらに、本実施形態では、Ｓ４０１の判定の結果、追尾すべき被写体の被写体情報を受信した場合、Ｓ９１０に進む。以下、Ｓ９１０の追尾開始処理の詳細について、図１０のフローチャートを用いて説明する。

図１０は、図９のＳ９１０の追尾開始処理の詳細な処理手順の一例を示すフローチャートである。
まず、Ｓ１００１において、システム制御部１０３は、ビューワー１５０から受信した追尾すべき被写体の被写体情報から被写体を検出した映像の時刻情報を取得する。そして、Ｓ１００２において、システム制御部１０３は、ビューワー１５０から受信した追尾すべき被写体の被写体情報から被写体ＩＤを記憶装置２０４に記憶する。次に、Ｓ１００３において、システム制御部１０３は、Ｓ９０９で記憶した最新位置情報を被写体ＩＤごとに読み出す。

次に、Ｓ１００４において、システム制御部１０３は、Ｓ１００３で読み出した最新位置情報に、Ｓ１００２で記憶した被写体ＩＤに対応する被写体があるか否かを判定する。この判定の結果、対応する被写体がある場合は、Ｓ１００５において、システム制御部１０３は、パン動作制御部１０５及びチルト動作制御部１０７を制御し、該当する被写体が画面の中央に位置するようにパン・チルト制御して自動追尾を開始する。そして、クリック追尾開始処理を終了する。

一方、Ｓ１００４の判定の結果、対応する被写体がない場合は、Ｓ１００６において、システム制御部１０３は、Ｓ１００１で取得した時刻情報と現在の時刻とを比較して、所定の時間以上経過しているか否かを判定する。この判定の結果、所定の時間以上経過している場合は、Ｓ１００７において、システム制御部１０３は、無効な指示とみなす。そして、追尾を開始せずに処理を終了する。

一方、Ｓ１００６の判定の結果、所定の時間以上経過していない場合は、Ｓ１００８において、システム制御部１０３は、レンズ制御部８０２を制御し、レンズ駆動部８０１により所定量ズームアウトして画角を広げる。そして、動体検出部１０９は、画角を広げた映像を撮像部１０１から画像処理部１０２を経由して取得し、図９のＳ９０９で過去に記憶した、最後に検出した位置付近に限定してその被写体を再度探索する。

そして、Ｓ１００９において、被写体ＩＤ付与部１１０は、その被写体を含んでいる過去のフレームとのマッチングによりその被写体を検出できたか否かを判定する。この判定の結果、その被写体を検出した場合は、Ｓ１０１０において、システム制御部１０３は、パン動作制御部１０５及びチルト動作制御部１０７を制御し、該当する被写体が画面の中央に位置するようにパン・チルト制御して自動追尾を開始する。そして、クリック追尾開始処理を終了する。一方、その被写体を検出できなかった場合は、Ｓ１０１１において、システム制御部１０３は、無効な指示とみなす。そして、追尾を開始せずに処理を終了する。

以上のように本実施形態によれば、被写体情報に被写体が検出された画像の時刻情報を含めることにより、時間が経過してしまった追尾指示を無効にすることができ、無駄な追尾を開始しないようにすることが可能となる。

（第３の実施形態）
本実施形態では、追尾する被写体を選択しようとしている間に他のビューワーから監視カメラ１００を操作されないように、カメラ制御権を取得して監視カメラ１００を制御する。なお、本実施形態に係る監視カメラ１００及びビューワーの内部構成は図１及び図２と同様であるため、説明は省略する。以下、第１の実施形態と異なる点について説明する。

図１１は、ビューワー１５０においてクリック追尾開始処理を指示する処理手順の一例を示すフローチャートである。以下、図６と同じ処理については説明を省略する。
Ｓ６０３の判定の結果、クリック追尾開始が指示された場合は、Ｓ１１０４に進む。そして、Ｓ１１０４において、システム制御部１５１は、監視カメラ１００からカメラ制御権を取得する指示のコマンドを生成し、通信インタフェース部１５４により当該コマンドを監視カメラ１００に送信する。そして、Ｓ１１０５において、システム制御部１５１は、監視カメラ１００からカメラ制御権を取得できたか否かを判定する。この判定の結果、他のビューワーから制御されているなどの理由でカメラ制御権が取得できなかった場合は、Ｓ６０１に戻る。このとき、カメラ制御権の取得に失敗したメッセージを表示画面５００に表示してもよい。一方、カメラ制御権を取得できた場合は、Ｓ１１０６において、システム制御部１５１は、クリック追尾モードへの移行指示のコマンドを生成し、通信インタフェース部１５４によりクリック追尾モードへの移行指示のコマンドを監視カメラ１００に送信する。そして、Ｓ１１０７において、システム制御部１５１は、クリック追尾開始処理を行う。以下、Ｓ１１０７の詳細について図１２を参照しながら説明する。

図１２は、図１１のＳ１１０７のクリック追尾開始処理の詳細な処理手順の一例を示すフローチャートである。以下、図７と同じ処理については説明を省略する。
Ｓ７０７の判定の結果、画面上でクリックされていない場合は、Ｓ１２１２に進む。Ｓ１２１２においては、システム制御部１５１は、ユーザにより図５（Ａ）に示すパンボタン５０１、５０２、チルトボタン５０３、５０４のいずれかが押下されたか否かを判定する。この判定の結果、パンボタン５０１、５０２、チルトボタン５０３、５０４のいずれかが押下された場合は、Ｓ１２１３に進む。そして、システム制御部１５１は、パンボタンまたはチルトボタンの押下時間等に伴う操作量を算出し、通信インタフェース部１５４によりその操作量に応じたパン・チルト制御指示のコマンド（制御情報）を監視カメラ１００に送信する。そして、Ｓ７０１に戻る。一方、パンボタン５０１、５０２、チルトボタン５０３、５０４のいずれも押下されなかった場合は、そのままＳ７０１に戻る。

図１１の説明に戻り、Ｓ１１０７の処理が終わると、Ｓ１１０８において、システム制御部１５１は、監視カメラ１００のカメラ制御権を解除する指示のコマンドを生成し、通信インタフェース部１５４により当該コマンドを監視カメラ１００に送信する。そして、Ｓ６０１に戻る。

一方、Ｓ６０３の判定の結果、クリック追尾開始が指示されていない場合は、Ｓ１１０９において、システム制御部１５１は、カメラ制御権を取得していない状態でユーザにより図５（Ａ）に示す制御権制御ボタン５０５が押下されたか否かを判定する。この判定の結果、制御権制御ボタン５０５が押下された場合は、Ｓ１１１０に進む。そして、Ｓ１１１０において、システム制御部１５１は、監視カメラ１００からカメラ制御権を取得する指示のコマンドを生成し、通信インタフェース部１５４により当該コマンドを監視カメラ１００に送信する。一方、制御権制御ボタン５０５が押下されていない場合は、そのままＳ１１１１に進む。

Ｓ１１１１において、システム制御部１５１は、カメラ制御権の取得に成功し、かつユーザにより図５（Ａ）に示すパンボタン５０１、５０２、チルトボタン５０３、５０４のいずれかが押下されたか否かを判定する。この判定の結果、カメラ制御権の取得に成功し、かつパンボタン５０１、５０２、チルトボタン５０３、５０４のいずれかが押下された場合は、Ｓ１１１２に進む。そして、Ｓ１１１２において、システム制御部１５１は、パンボタンまたはチルトボタンの押下時間等に伴う操作量を算出し、通信インタフェース部１５４によりその操作量に応じたパン・チルト制御指示のコマンド（制御情報）を監視カメラ１００に送信する。一方、カメラ制御権の取得に成功していない、またはパンボタン５０１、５０２、チルトボタン５０３、５０４のいずれも押下されなかった場合は、そのままＳ１１１３に進む。

Ｓ１１１３においては、システム制御部１５１は、カメラ制御権を取得している状態で、ユーザにより図５（Ａ）の制御権制御ボタン５０５が押下されたか否かを判定する。この判定の結果、カメラ制御権を取得している状態で、制御権制御ボタン５０５が押下された場合は、Ｓ１１１４に進む。そして、Ｓ１１１４において、システム制御部１５１は、カメラ制御権を解除する指示のコマンドを生成し、通信インタフェース部１５４により当該コマンドを監視カメラ１００に送信する。そして、Ｓ６０１に戻る。一方、カメラ制御権を取得している状態で制御権制御ボタン５０５が押下されていない、もしくはカメラ制御権を取得していない状態である場合は、Ｓ６０１にそのまま戻る。

次に、監視カメラ１００側の処理について説明する。
図１３は、監視カメラ１００において、カメラ制御権をビューワー１５０に開放するまでの処理手順の一例を示すフローチャートである。なお、図３と同じ処理については説明を省略する。
まず、Ｓ１３０１において、システム制御部１０３は、通信インタフェース部１０８によりビューワー１５０からカメラ制御権の取得指示のコマンドを受信したか否かを判定する。この判定の結果、当該コマンドを受信していない場合は、Ｓ１３０２において、システム制御部１０３は、現在の処理を継続する。

一方、カメラ制御権の取得指示のコマンドを受信した場合は、Ｓ１３０３において、システム制御部１０３は、ビューワー１５０にカメラ制御権を開放できるか否かを判定する。ここで、既に他のビューワーのためにカメラ制御権を開放済みである場合、もしくは、ビューワー１５０によるカメラ制御よりも優先度の高い処理を監視カメラ１００で実行中である場合には、カメラ制御権を開放できないものとする。以上のような理由によりカメラ制御権をビューワー１５０に開放できない場合は、Ｓ１３０４において、システム制御部１０３は、カメラ制御権の取得失敗のメッセージを生成し、通信インタフェース部１０８により当該メッセージをビューワー１５０に送信する。

一方、カメラ制御権をビューワー１５０に開放できる場合は、Ｓ１３０５において、通信インタフェース部１０８によりビューワー１５０によるカメラ制御権の取得成功の通知をビューワー１５０に送信する。そして、Ｓ３０３に進む。

Ｓ３０３の判定の結果、自動追尾中でない場合は、Ｓ１３０８においては、システム制御部１０３は、カメラ制御権取得中処理を行う。以下、カメラ制御権取得中処理の詳細について図１４を参照しながら説明する。

図１４は、図１３のＳ１３０８におけるカメラ制御権取得中処理の詳細な処理手順の一例を示すフローチャートである。
まず、Ｓ１４０１において、システム制御部１０３は、通信インタフェース部１０８によりパン・チルト制御指示のコマンド（制御情報）をビューワー１５０から受信したか否かを判定する。この判定の結果、当該コマンドを受信した場合は、Ｓ１４０２において、システム制御部１０３は当該コマンドに従ってパン動作制御部１０５及びチルト動作制御部１０７を制御する。そして、Ｓ１４０１に戻る。

一方、パン・チルト制御指示のコマンドを受信していない場合は、Ｓ１４０３において、システム制御部１０３は、通信インタフェース部１０８によりカメラ制御権を解除する指示のコマンドをビューワー１５０から受信したか否かを判定する。この判定の結果、当該コマンドを受信した場合は、Ｓ１４０４において、システム制御部１０３は、ビューワー１５０のために開放していたカメラ制御権を解除し、処理を終了する。

一方、カメラ制御権を解除する指示のコマンドを受信していない場合は、Ｓ１４０５において、システム制御部１０３は、クリック追尾モードへの移行指示のコマンドを受信したか否かを判定する。この判定の結果、当該コマンドを受信していない場合はＳ１４０１に戻り、当該コマンドを受信した場合は、Ｓ１４０６において、システム制御部１０３は、クリック追尾開始処理を行う。以下、クリック追尾開始処理の詳細について図１５を用いて説明する。

図１５は、図１４のＳ１４０６におけるクリック追尾開始処理の詳細な処理手順の一例を示すフローチャートである。以下、図４と同じ処理については説明を省略する。
Ｓ４０２の判定の結果、クリック追尾の中止指示のコマンドを受信してない場合は、Ｓ１５０１において、システム制御部１０３は、通信インタフェース部１０８によりパン・チルト制御指示のコマンドを受信したか否かを判定する。この判定の結果、当該コマンドを受信していない場合はそのままＳ４０４に進む。一方、当該コマンドを受信した場合は、Ｓ１５０２において、システム制御部１０３は当該コマンドに従ってパン動作制御部１０５及びチルト動作制御部１０７を制御する。そして、Ｓ４０４に進む。

一方、Ｓ４０３でクリック追尾開始処理を中止した後、Ｓ１５０３において、システム制御部１０３は、ビューワー１５０からカメラ制御権を解除するコマンドを受信するまで待機し、カメラ制御権を解除するコマンドを受信したら、処理を終了する。

また、Ｓ４１０でその被写体ＩＤに該当する最新位置情報を取得した後、Ｓ１５０４において、システム制御部１０３は、ビューワー１５０からカメラ制御権を解除するコマンドを受信するまで待機する。そして、カメラ制御権を解除するコマンドを受信したら、Ｓ４１１に進む。

以上説明したように本実施形態によれば、追尾対象の選択中にビューワーがカメラ制御権を取得することにより、他のビューワーのカメラ操作により邪魔されることがなく、追尾対象を選択することができる。

（第４の実施形態）
本実施形態では、クリック追尾モードへ移行した時に、ユーザが追尾ターゲットをマウスクリックで選択するまで間に被写体が画面の外に出てしまい、追尾を開始できなくなる場合があることを想定し、さらに改善できるようにしている。なお、本実施形態に係る監視カメラ１００の内部構成は図２及び図８と同様であり、ビューワー１５０の内部構成は図１及び図２と同様であるため、説明は省略する。以下、第２の実施形態と異なる点について説明する。本実施形態では、図３のＳ３０５のクリック追尾開始処理で、図９の処理ではなく図１６の処理に従う。以下、本実施形態に係るクリック追尾開始処理の詳細について図１６を参照しながら説明する。

図１６は、本実施形態において、図３のＳ３０５のクリック追尾開始処理の詳細な処理手順の一例を示すフローチャートである。
まず、Ｓ１６０１において、システム制御部１０３は、現在検出されている被写体の位置と大きさとを確認する。そして、レンズ制御部８０２を制御し、被写体が検出可能な範囲で、被写体が中央に集中しているときは小さなズーム量でズームインし、画面の端に近いものが存在するときは大きなズーム量でズームアウトする。このとき、システム制御部１０３は、ズームアウト量を記憶装置２０４に記憶しておく。また、図１６の処理を開始した直後はＳ１６０１の処理を省略してもよい。

Ｓ４０２の判定の結果、クリック追尾の中止指示のコマンドを受信した場合は、Ｓ１６０２において、システム制御部１０３はレンズ制御部８０２を制御して、元のズーム位置に戻す。そして、Ｓ４０３に進む。また、Ｓ４０２の判定の結果、クリック追尾の中止指示のコマンドを受信してない場合は、Ｓ１６０３において、システム制御部１０３は、被写体情報を作成し、映像などをビューワー１５０に送信する。なお、Ｓ１６０３の処理は、図４のＳ４０４〜Ｓ４０８の処理と同じである。

一方、Ｓ４０１の判定の結果、追尾すべき被写体の被写体情報を受信した場合は、Ｓ１６０４において、システム制御部１０３はレンズ制御部８０２を制御して、元のズーム位置まで戻す。その後、Ｓ１６０５において、システム制御部１０３は、受信した被写体情報から被写体ＩＤを記憶し、最新の被写体位置を画面中央に位置するようにパン・チルト制御し、自動追尾を開始する。なお、Ｓ１６０５の処理は、図４のＳ４０９〜Ｓ４１１の処理と同じである。

以上説明したように本実施形態によれば、クリック追尾モードへ移行し、ユーザが追尾する被写体を選択するまでの間、監視カメラでズームアウトして画角を広げるようにしたので、選択中に被写体を見失うことをより少なくすることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像部
１０３、１５１ システム制御部
１０８、１５４ 通信インタフェース部
１０９ 動体検出部
１１０ 被写体ＩＤ付与部
１５２ 表示部
１５４ 入力部

Claims (14)

1. 被写体を撮像する撮像手段の撮影方向を制御するカメラであって、
   前記撮像手段によって生成された映像から被写体を検出する検出手段と、
   前記映像に含まれる被写体を識別可能な被写体情報を情報処理装置に送信する送信手段と、
   前記情報処理装置から前記情報処理装置によって選択された被写体に対応する前記被写体情報を受信する受信手段と、
   前記情報処理装置によって選択された前記被写体情報に対応する被写体を追尾するよう前記撮像手段の撮影方向を制御する制御手段と、
   を有することを特徴とするカメラ。
2. 前記送信手段は、前記被写体が検出された時間の情報を併せて前記情報処理装置に送信することを特徴とする請求項１に記載のカメラ。
3. 前記撮像手段によって生成された最新の映像に前記情報処理装置によって選択された被写体が含まれていない場合に、前記制御手段は、さらに前記撮像手段のズームを制御して画角を広げることを特徴とする請求項１又は２に記載のカメラ。
4. 前記受信手段は、前記情報処理装置から前記撮像手段の撮影方向の制御情報を受信し、
   前記制御手段は、前記受信した制御情報に基づいて前記撮像手段の撮影方向を制御し、その後、前記受信手段によって前記情報処理装置によって選択された被写体の情報を受信すると、前記選択された被写体が画面の中央に位置するように前記撮像手段の撮影方向を制御することを特徴とする請求項１又は２に記載のカメラ。
5. 前記制御手段は、前記検出手段によって検出された被写体の位置に応じてズームの量を制御することを特徴とする請求項１又は２に記載のカメラ。
6. カメラから映像を受信して表示部に表示する情報処理装置であって、
   前記映像に含まれる被写体を識別可能な被写体情報を前記映像とともに前記カメラから受信する受信手段と、
   前記受信手段によって受信された映像を前記表示部に表示する表示手段と、
   前記表示部に表示された映像から、ユーザの操作に応じて被写体を選択する選択手段と、
   前記選択手段によって選択された被写体の追尾を開始させるために、前記選択手段によって選択された被写体に対応する前記被写体情報を前記カメラに送信する送信手段と、
   を有することを特徴とする情報処理装置。
7. 前記表示手段は、前記受信手段によって受信された被写体情報に基づいて、被写体を囲う枠を前記映像に重畳して表示することを特徴とする請求項６に記載の情報処理装置。
8. 前記選択手段は、前記表示部に表示された映像の中で選択された位置から所定の範囲内に存在する被写体を選択することを特徴とする請求項６又は７に記載の情報処理装置。
9. 前記カメラの制御権を取得する取得手段をさらに有し、
   前記送信手段は、さらに前記取得した制御権に基づいて前記カメラの撮影方向を制御する情報を前記カメラに送信することを特徴とする請求項６〜８の何れか１項に記載の情報処理装置。
10. 請求項１〜５の何れか１項に記載のカメラと、請求項６〜９の何れか１項に記載の情報処理装置と、を有することを特徴とするシステム。
11. 被写体を撮像する撮像手段の撮影方向を制御するカメラの制御方法であって、
    前記撮像手段によって生成された映像から被写体を検出する検出工程と、
    前記映像に含まれる被写体を識別可能な被写体情報を情報処理装置に送信する送信工程と、
    前記情報処理装置から前記情報処理装置によって選択された被写体に対応する前記被写体情報を受信する受信工程と、
    前記情報処理装置によって選択された前記被写体情報に対応する被写体を追尾するよう前記撮像手段の撮影方向を制御する制御工程と、
    を有することを特徴とするカメラの制御方法。
12. カメラから映像を受信して表示部に表示する情報処理装置の制御方法であって、
    前記映像に含まれる被写体を識別可能な被写体情報を前記映像とともに前記カメラから受信する受信工程と、
    前記受信工程において受信された映像を前記表示部に表示する表示工程と、
    前記表示部に表示された映像から、ユーザの操作に応じて被写体を選択する選択工程と、
    前記選択工程において選択された被写体の追尾を開始させるために、前記選択工程において選択された被写体に対応する前記被写体情報を前記カメラに送信する送信工程と、
    を有することを特徴とする情報処理装置の制御方法。
13. 被写体を撮像する撮像手段の撮影方向を制御するカメラを制御するためのプログラムであって、
    前記撮像手段によって生成された映像から被写体を検出する検出工程と、
    前記映像に含まれる被写体を識別可能な被写体情報を情報処理装置に送信する送信工程と、
    前記情報処理装置から前記情報処理装置によって選択された被写体に対応する前記被写体情報を受信する受信工程と、
    前記情報処理装置によって選択された前記被写体情報に対応する被写体を追尾するよう前記撮像手段の撮影方向を制御する制御工程と、
    をコンピュータに実行させることを特徴とするプログラム。
14. カメラから映像を受信して表示部に表示する情報処理装置を制御するためのプログラムであって、
    前記映像に含まれる被写体を識別可能な被写体情報を前記映像とともに前記カメラから受信する受信工程と、
    前記受信工程において受信された映像を前記表示部に表示する表示工程と、
    前記表示部に表示された映像から、ユーザの操作に応じて被写体を選択する選択工程と、
    前記選択工程において選択された被写体の追尾を開始させるために、前記選択工程において選択された被写体に対応する前記被写体情報を前記カメラに送信する送信工程と、
    をコンピュータに実行させることを特徴とするプログラム。

Images