JP2006033188A - 監視装置および監視方法 - Google Patents

Abstract

【課題】 監視装置が、監視対象を追尾中に、監視者が追尾領域を容易に指定することができること。
【解決手段】 カメラ１０１（第一の撮影手段）は、監視領域全体を撮影し、回転ズームカメラ１０２（第二の撮影手段）は、監視対象を拡大して撮影し、物体検出部１０３は、カメラ１０１が撮影する映像から移動物体を検出し、制御位置算出部１０４は、検出した移動物体の撮影の位置を制御する制御パラメータを算出し、領域指定部１０６は、検出した移動物体を抽象化した抽象化画像を示す画面を表示し、表示した画面の所定の領域を指定することを促し、指定された領域を特定する指定領域情報を算出し、領域補正部１０７は、算出した指定領域情報を用いて前記制御パラメータを補正し、カメラ制御部１０８は、補正された制御パラメータに基づいて、前記第二の撮影手段を制御し、映像表示部１０９は、回転ズームカメラ１０２が撮影した映像を表示する。
【選択図】 図１

Description

本発明は、監視装置および監視方法に関し、特に、監視カメラを用いて監視対象を自動的に追跡撮影する場合に、監視者が監視対象の追跡撮影する領域を容易に指定可能な追尾システムを備える監視装置および監視方法に関する。

従来、追尾システムを備える監視装置としては、特許文献１および特許文献２に開示されているものがある。近年、画像認識技術の高度化に伴い、監視カメラ映像から自動的に人物を検出し追跡撮影する自動追尾システムが開発されている。

特許文献１に開示された技術は、広角で撮影する認識処理用の監視カメラと、撮影方向および撮影倍率を制御可能な追跡用の監視カメラとを備え、認識処理用カメラで撮影された映像データから画像認識処理により人物の位置を特定し、対応する位置へ追跡用のカメラを制御することにより自動追尾撮影機能を実現する。

特許文献２に開示された技術は、映像を撮影するカメラヘッドと、撮影された画像から監視対象物体を検出する検出手段と、検出結果に基づきカメラヘッドを制御し監視対象を追跡する追跡手段と、遠隔からカメラを制御する遠隔制御手段とを備え、物体を検出していない状態で遠隔制御コマンドを受信した場合に、遠隔制御コマンドを実行することにより、物体の自動追尾とカメラの遠隔制御を実現している。
特開平１１−６９３４２号公報 特開２００３−２５５４４２号公報

しかしながら、従来の装置においては、追跡対象の特定の領域をあらかじめ設定されている大きさで追跡撮影し続けている。このため、自動追尾中に追跡対象の顔や手などの特定の領域を注目して監視する場合、遠隔制御コマンドにより一旦自動追尾を中止して、手動操作に注目領域を指定する必要がある。また、手動操作中は自動追尾が機能しないため、追跡対象が移動する場合には、手動操作で追跡対象を追尾し注目領域を撮影する必要がある。このため、操作が煩雑となり、操作失敗により犯罪発生時などの重要な瞬間を見逃す恐れがあった。

本発明は、かかる点に鑑みてなされたものであり、監視対象を追尾中に、監視者が追尾領域を容易に指定可能な監視装置を提供することを目的とする。

本発明の監視装置は、監視領域全体を撮影する第一の撮影手段と、監視対象を拡大して撮影する第二の撮影手段と、前記第一の撮影手段が撮影する映像から移動物体を検出する物体検出手段と、検出した移動物体の撮影の位置を制御する制御パラメータを算出する制御位置算出手段と、検出した移動物体を抽象化した抽象化画像を示す画面を表示し、表示した画面の所定の領域を指定することを促し、指定された領域を特定する指定領域情報を算出する領域指定手段と、算出した指定領域情報を用いて前記制御パラメータを補正する領域補正手段と、補正された制御パラメータに基づいて、前記第二の撮影手段を制御するカメラ制御手段とを備える構成を採る。

本発明によれば、監視対象を追尾中に、監視者が追尾領域を容易に指定することができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る監視装置の構成の一例を示すブロック図である。

本実施の形態では、移動物体が人物である場合を一例として説明する。

図１に示した監視装置は、広角カメラ１０１（第一の撮影手段）、回転ズームカメラ１０２（第二の撮影手段）、物体検出部１０３、制御位置算出部１０４、映像表示部１０９、領域指定部１０６、領域補正部１０７、カメラ制御部１０８および画像情報格納部１０５を備える。

広角カメラ１０１は、監視領域全体を広角で撮影し、回転ズームカメラ１０２は、パン・チルト・ズームを制御可能な機構を備え、監視対象を拡大して撮影する。

物体検出部１０３は、広角カメラで撮影した画像から移動物体を検出し、移動物体の位置および移動方向を検出する。移動方向は、移動ベクトルとして検出される。また、物体検出部１０３は、過去画像を記憶する記憶領域を有し、過去に撮影された過去画像と新しく撮影された画像とを比較して移動物体を検出する。制御位置算出部１０４は、広角カメラ上での移動物体の位置から回転ズームカメラの制御パラメータを決定する。

画像情報格納部１０５は、領域指定部１０６が画面に表示する抽象化画像（以下、抽象化画像を「アイコン」とも記す）、抽象化画像（アイコン）に関する情報を格納する記憶領域である。抽象化画像は、物体を抽象化した画像である。本実施の形態では、アイコンは、複数の各部位から構成され、画像情報格納部１０５は、各部位それぞれに関する情報（サイズ、座標情報等）も格納する。また、本実施の形態では、画像情報格納部１０５は、人物を抽象化したアイコン、および、アイコンおよび各部位に関する情報（サイズ、部位の相対的な位置、等）を格納する場合を説明する。

領域指定部１０６は、移動物体中でズームして撮影する部位を指定する。具体的には、領域指定部１０６は、移動物体に対応する抽象化画像（アイコン）を示す画面を表示し、前記画面の所定の領域を指定することを監視者へ促し、監視者によって指定された領域を特定する指定領域情報（指定結果）を算出する。

領域補正部１０７は、領域指定部１０６で指定された部位を撮影するために、指定領域情報を用いて制御位置算出部１０４で算出された回転ズームカメラ１０２の制御パラメータを補正する。

カメラ制御部１０８は、補正された制御パラメータを用いて、回転ズームカメラ１０２を制御する。

映像表示部１０９は、回転ズームカメラ１０２の映像を表示する。

次いで、上記構成を有する監視装置の動作について、図を用いて説明する。
図２は、物体検出部１０３が検出した監視対象に対する動作例を示す図である。

図３は、物体検出部１０３の動作の一例を示すフローチャート図である。図３では、物体検出部１０３が移動物体を検出する動作を説明する。

まず、図２を説明する。図２（Ａ）は時刻ｔに入力された画像データ、図２（Ｂ）は時刻ｔ＋δに入力された画像データ、図２（Ｃ）は時刻ｔの画像と時刻ｔ＋δの画像からオプティカルフローを算出した結果、図２（Ｄ）は動きが発生したブロックの重心位置およびオプティカルフローとして算出された動きベクトルの平均を算出した結果である。図２（Ｄ）には、移動ベクトルＶと移動物体の重心Ｇが示してある。

次に、図３を用いて、物体検出部１０３の動作について説明する。物体検出部１０３は、処理が開始され、画像の入力を検出するまで待機している（Ｓ２０１でＮＯ）。広角カメラ１０１から画像が入力されると（Ｓ２０１でＹＥＳ）、内部メモリに過去の画像が保存されているかどうかを確認する（Ｓ２０２）。過去の画像が保存されていない場合には（Ｓ２０２でＮＯ）、入力された画像を過去画像として内部メモリに保存し（Ｓ２０６）、次の画像データが入力されるまで待機する（Ｓ２０１）。

過去画像がすでに存在する場合には（Ｓ２０２でＹＥＳ）、過去画像と入力画像のオプティカルフローを算出する（Ｓ２０３）。ここで、二つの画像間のオプティカルフローとは、画像を複数のブロックに分割し、各ブロックが比較画像のどの位置から動いたかを算出し、動きベクトルの場として表したものである。オプティカルフローの算出方法は、安居院猛著「画像の処理と認識」昭晃堂、初版 1992年11月25日、p.164などに示されている。

例えば、図２においては、時刻ｔに入力された画像（図２（Ａ））が移動方向検出部の過去画像として内部メモリに記憶されており、時間δミリ秒後に時刻ｔ＋δの画像（図２（Ｂ））が入力されたとすると、時刻ｔ＋δの画像を８画素×８画素の小さなブロックに分割し、各ブロックの画素データと時刻ｔの画像における該当ブロック近辺の画素データを比較する。比較した結果、変化量が少ない８画素×８画素の領域を求めることで、動きベクトルを算出する。時刻ｔ＋δの画像の全ブロックに対して同処理を繰り返すことで、全ブロックの動きベクトルの場を算出し、オプティカルフローの算出結果（図２（Ｃ））を生成する。図２においては、時刻ｔに通路下部に存在した人物が、時刻ｔ＋δでは通路を上方へ移動しており、オプティカルフローは、人物が存在する各ブロックに対して、人物の移動量に相当する動きベクトルとして算出される（図２（Ｄ））。

次に、物体検出部１０３は、動きが発生したブロックの重心位置を追跡対象の位置とし、各ブロックの動きベクトルの平均値を追跡対象の移動ベクトルとして算出する（Ｓ２０４）。物体検出部１０３は、算出した追跡対象の位置および移動ベクトルを制御位置算出部１０４へ出力し（Ｓ２０５）、今回入力された入力画像を過去画像として保存する（過去画像の更新）（Ｓ２０６）。

次に、制御位置算出部１０４の動作について説明する。制御位置算出部１０４は、物体検出部１０３が検出した広角カメラ１０１画面上（カメラ画像座標系）での追跡対象の位置および移動ベクトルを、監視空間の三次元座標系である世界座標系における位置および移動ベクトルに変換する処理を実施する。

まず、広角カメラ１０１とカメラ画像投影面と世界座標系との関係について説明する。図４は、世界座標系上の点（実空間上の点）と広角カメラ１０１のカメラ画像座標上の点の対応関係の一例を示す図である。なお、図４および以下の説明において、図１と同じ名称、同じ符号のものは、同様の機能を有するものである。図４では、世界座標系３０１を用いて実空間の座標を示し、カメラ画像座標系３０２を用いてカメラ画像投影面３０３の座標を示す。図４において、広角カメラ１０１は、監視空間に設置され、カメラ画像投影面３０３は、監視空間を広角カメラ１０１が撮影する際の投影面を示し、世界座標上の一点Ａは、監視空間上に設定された世界座標系における一点である。カメラ画像座標上の一点Ｂは、カメラ画像投影面３０３おけるある一点を示す。

世界座標系３０１は、広角カメラ１０１を設定する監視空間に対して、原点およびそれぞれ直交する三次元座標軸を設定した監視空間を表す座標系である。広角カメラ１０１および回転ズームカメラ１０２の設置位置は、この世界座標系３０１の座標値として測量しておく。

広角カメラ１０１で撮影された世界座標系の一点Ａは、カメラ画像投影面３０３に投影されたカメラ画像座標系（二次元座標上）一点Ｂとして撮影される。従って、カメラ画像座標系の一点Ｂの座標(u, v)は、世界座標系の一点Ａの座標(Xw, Yw, Zw)から（式１）に示す変換行列により算出可能である。

（式１）における変換行列の各要素は、カメラ画像座標系の一点Ｂと対応する世界座標上の一点Ａの組み合わせをカメラ設置時に数組測定しておくことで算出可能である。詳細な算出方法は、次の文献などに示されている。
R.Y Tsai,“A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses”,IEEE J.Robotics and Automation, vol RA2,No.4,pp.323-331,Aug.1987

例えば、人物の身長を１７０ｃｍと仮定すると、人物の重心の高さは身長の半分の８５ｃｍである。制御位置算出部１０４は、（式１）におけるＺｗを８５ｃｍと仮定し、行列の逆変換によりカメラ画像座標系の一点Ｂの座標(u, v)から世界座標系上の一点Ａの座標(Xw, Yw, Zw)を算出する。

次に、制御位置算出部１０４が移動ベクトルを変換する工程について説明する。図５は、制御位置算出部１０４が広角カメラ１０１のカメラ画像投影面上の移動ベクトルを世界座標系３０１の移動ベクトルに変換する方法を示す図である。図５（Ａ）は、カメラ画像投影面３０３上における物体の重心Ｇ(Us, Vs)（物体の重心（重心位置）は、追跡対象の位置に該当する）および移動ベクトルＶｕを示す。重心(Us, Vs)は、移動ベクトルの始点であり、移動ベクトルの終点Ｅ(Ue,Ve)へ移動した例を示している。図５（Ｂ）は、世界座標系３０１における物体の重心Ｇ(Xs, Ys, Zs)および移動ベクトルＶｗを示し、重心Ｇ(Xs, Ys, Zs)は、移動ベクトルＶｗの始点であり、終点Ｅ(Xe, Ye, Ze)へ移動した例を示している。

世界座標系３０１における移動ベクトルＶｗは、カメラ画像投影面３０３上において、移動ベクトルの始点(Us, Vs)を物体の重心位置とし、移動ベクトルの始点(Us, Vs)および終点座標(Ue,Ve)を世界座標系３０１に変換した(Xs, Ys, Zs)および(Xe, Ye, Ze)から（式２）により算出できる。

Vw=(Xe, Ye, Ze) - (Xs, Ys, Zs) ・・・・・・・・(式2)

このようにして、制御位置算出部１０４は、物体検出部１０３から入力した追跡対象の位置および移動ベクトルを、世界座標系３０１の位置および移動ベクトルへ変換する。制御パラメータには、少なくとも世界座標系３０１の位置および移動ベクトルを含む。

次に、領域指定部１０６について説明する。図６は、領域指定部１０６が表示する領域指定画面の構成の一例を示す図である。図６に示す領域指定部１０６は、領域指定画面４０１にアイコン（領域指定アイコン）４０２の一例として人物を抽象化した画像を表示する。領域指定画面４０１は、画面上のアイコンを操作するアイコン操作マウスによって操作する。領域指定画面４０１は、追跡する領域を指定する画面である。領域指定画面４０１は、パーソナルコンピュータであってもよいし、専用の端末であってもよい。アイコン４０２は、追跡する物体を抽象化した抽象画像であり、複数の部位から構成され、部位毎に領域を指定できる。アイコン操作マウスは、アイコン４０２を構成するアイコンの各部位を操作する、あるいは、所定の領域を選択するアイコン操作マウスである。

なお、上記では、アイコン操作マウスを操作手段の一例として説明するが、マウスに限られることはなく、キーボード、タッチパネル、入力ペン等、その他の入力手段を用いてもよい。

図７は、領域指定部１０６の動作例を示す図である。図７（Ａ）は、追跡人物の顔（頭部）を指定する例を示す図であり、アイコン操作マウスによって選択された部分を網掛けで表している。追跡対象の頭部を追尾領域として指定する場合、監視者は図７（Ａ）に示すように、アイコン操作マウスにより頭部をクリックし選択する。領域指定部１０６は、選択されたアイコンの部位の位置を取得し、指定されたアイコンとアイコン４０２との相対的位置および相対的大きさに基づいて、撮影領域と倍率を指定する。

図７（Ｂ）は、左手の下を選択する例を示す図であり、アイコン操作マウスによって選択された部分を点線で表している。左手下部のようなアイコン上に存在しない領域（アイコンの各部位と一致しない領域）を指定する場合には、アイコン操作マウスのドラッグ操作により矩形領域を指定する。領域指定部１０６は、この矩形領域とアイコン４０２との相対的位置および相対的大きさにより、撮影領域と倍率を指定する。

次に、領域指定部１０６が領域補正部１０７へ出力する撮影領域および倍率について説明する。本実施の形態において、撮影領域および倍率は、指定領域を特定する指定領域情報に該当する。

図８は、領域指定部１０６より領域補正部１０７へ出力される情報の一例を示す図である。領域指定部１０６が指定した撮影領域と倍率（撮影領域および倍率を指定結果ともいう）は、領域指定画面４０１に表示したアイコン４０２の重心位置を原点とする二次元座標系を基準にして表す。指定した部位を囲う矩形、もしくはアイコン４０２上で指定した矩形それ自身の右上および左下の座標値として出力される。たとえば、図８に示した例は、図７（Ａ）の指定結果を表している。頭部を指定した場合には、頭部を囲う矩形の左上および右下の座標値（ｌｕ、ｒｄ）が指定結果として領域補正部１０７に出力される。

次に、領域補正部１０７の動作について説明する。領域補正部１０７は、制御位置算出部１０４から制御パラメータとして、世界座標系における追跡対象の位置と移動ベクトルとを入力し、領域指定部１０６から指定結果として、撮影領域と倍率とを入力する。

図９は、本実施の形態に係る領域補正部１０７の動作の一例を示す図である。図９において、追跡対象位置ｇｗは制御位置算出部１０４により算出された世界座標系３０１における追跡対象の位置であり、移動ベクトルＶは制御位置算出部１０４により算出された世界座標系３０１における追跡対象の移動を示すベクトルであり、補正平面３０４は、追跡対象を正面から見た場合の平面である。

補正平面３０４は、追跡対象位置ｇｗを含み、追跡対象の移動ベクトルＶと垂直な平面である。移動ベクトルＶは、制御位置算出部１０４において、人物の身長を固定として算出しているので、世界座標系のＸｗＹｗ平面と並行であり、補正平面３０４は、世界座標系のＺｗ軸と平行である。そのため、追跡対象位置ｇｗを原点として、追跡対象を正面から見るような二次元座標系は、補正平面３０４上において、追跡対象位置ｇｗを原点として、Ｚ軸と平行なＹｈ軸と、移動ベクトルＶおよびＹｈ軸とそれぞれ直交するＸｈ軸から構成される座標軸を設定することにより構成できる。

前記補正平面３０４上の座標系と図８に示した領域指定部１０６の出力結果を示す座標系は一致するので、領域指定部１０６で指定された矩形領域が補正平面３０４座標系に存在すると考えて、矩形領域の世界座標系における座標値を求めることにより、世界座標系３０１における撮影領域が算出できる。つまり、世界座標系３０１における補正平面座標系のＸｈ軸、Ｙｈ軸に平行な単位ベクトルをＶＸｈ、ＶＹｈとし、世界座標系３０１における追跡対象位置ｇｗとし、領域指定部１０６で指定した座標値をlu=(lux, luy)、rd=(rdx, rdy)とすると、世界座標系における撮影領域の左上座標luw および右下座標rdw は（式３）（式４）により算出できる。

luw = gw + lux × VXh + luy × VYh ・・・・・・・・(式3)
rdw = gw + rdx × VXh + rdy × VYh ・・・・・・・・(式4)

このようにして、領域補正部１０７は、制御パラメータを指定結果を用いて補正する。

次に、カメラ制御部１０８の動作を図１０、図１１を用いて説明する。図１０は、カメラ制御部１０８の回転角の動作の一例を示す図であり、図１１は、カメラ制御部１０８の設置の動作の一例を示す図である。回転ズームカメラ１０２は、図１０に示すように、水平回転角θおよび垂直回転角φを指定することにより撮影方向を制御する。回転ズームカメラ１０２は、世界座標系３０１のＸＹ平面に対して水平に設置され、水平回転角θが０°（零）の場合に世界座標系３０１のＸｗ軸方向を向くように設置される。つまり、図１０におけるカメラ画像座標系３０２とは、原点がカメラの設置座標５０１であり、座標軸が世界座標系３０１の各軸と平行な座標系である。設置座標５０１がcw(cwx, cwy, cwz)であるカメラにおいて、世界座標系３０１における撮影点５０２のtw(twx, twy, twz)を撮影する場合には、水平回転角θおよび垂直回転角φは（式５）（式６）により求められる。

θ= atan((twy - cwy)/(twx - cwx)) ・・・・・・・・・・(式5)
φ= atan((twz - cwz)/sqrt((twx - cwx)×(twx - cwx)+(twy - cwy)×(twy - cwy)))
・・・・・・・・・・(式6)
ただし、atan は逆正接を求める関数、sqrt は平方根を求める関数である（以下においても同様）。

回転ズームカメラ１０２は、図１１に示すように、世界座標系３０１における撮影領域の左上および右下座標を含む倍率で、撮影領域の中心を撮影する方向に制御される。回転ズームカメラ１０２の設置座標５０１をcw、撮影領域の左上座標をluw、右下座標をrdwとすると、luwおよびrdwを中心として撮影する場合の水平回転角度luθ, rdθおよび垂直回転角度luφ, rdφはそれぞれ（式５）（式６）により求められる。カメラの実際の水平制御角cθおよびcφは、左上座標および右下座標を撮影する場合の角度を平均することにより算出可能であり、（式７）（式８）により求められる。

cθ = (luθ + rdθ)/2 ・・・・・・・・(式7)
cφ = (luφ + rdφ)/2 ・・・・・・・・(式8)

また、カメラの撮影倍率ｗｚは、撮影領域を水平方向に最大の大きさで撮影する場合には、水平撮影角度gwρは|luθ-rdθ|であるので、等倍率の場合の水平撮影角度をcwρとすると、（式９）により求められる。

wz = cwρ/gwρ=cwρ/|luθ-rdθ| ・・・・・・・・(式9)

同様に、カメラの撮影領域を垂直に最大の大きさで撮影する場合の撮影倍率ｈｚは、当倍率の場合の垂直撮影角度をｃｈρとすると、（式１０）により求められる。

hz= chρ/|luφ-rdφ| ・・・・・・・・(式10)

回転ズームカメラ１０２は、撮影領域全体を撮影するので、水平時の撮影倍率ｗｚおよび垂直時の撮影倍率ｈｚのうち小さい値を撮影倍率とする。

このようにして、カメラ制御部１０８は、領域補正部１０７から入力した補正後の制御パラメータを用いて、回転ズームカメラ１０２を制御する。

また、映像表示部１０９は、回転ズームカメラ１０２が撮影した映像データを画面上に表示する。

図１２は、領域指定と、領域指定された映像の表示の具体例を示した図である。領域指定画面６０１，６０３，６０５は、領域指定部１０６において指定された領域を示し、表示状態６０２，６０４，６０６は、指定された領域が映像表示部１０９において表示される状態を示す。

図１２（Ａ）は、監視者が監視対象人物の顔部を追尾領域として指定した場合の動作例である。領域指定部１０６において、追跡対象の顔部を選択した場合、監視対象人物の顔部が映像表示部１０６に拡大されて表示され、更に人物が移動しても常に顔部を追跡撮影し続けることにより、顔の特徴や表情まで詳細に確認することができる。

図１２（Ｂ）は、監視者が監視対象人物の左手周辺を追尾領域として指定した場合の動作例である。領域指定部１０６において、監視対象の左手周辺を指定した場合、監視対象人物の左手周辺が映像表示部１０６に拡大表示され、監視対象人物が保持している荷物やその受け渡しなどを詳細に確認することができる。

図１２（Ｃ）は、監視者が監視対象人物の全身を追尾領域として指定した場合の動作例である。領域指定部１０６において、監視対象の全身を指定した場合には、監視対象人物全体を拡大撮影して追跡することが可能であり、監視対象の動きや挙動などを詳細に確認することができる。

このように、本実施の形態では、監視者が容易な操作により、監視対象の追尾領域を指定し、不審人物の顔や所持する荷物や全身の挙動などを大きな映像で確認できる。

なお、本実施の形態では、アイコンは、画像情報格納部１０５へ格納されている例を説明したが、移動物体として、人物に固定されているなど、特定のアイコンを用いる場合、領域指定部１０６内にアイコンに関する情報を保持する記憶領域を有する構成にしてもよい。また、アイコンの部位を一つ選択する例を説明したが、複数の連結する部位を選択するようにしてもよい。例えば、顔から胸までの部位を選択できるようにすることも可能である。さらに、移動物体の対象を自動車、自転車、猫や犬などの動物等に限定した場合は、アイコンを変えることによって、本実施の形態の監視装置および方法が適用できる。

（実施の形態２）
図１３は、本発明の実施の形態２に係る監視装置の構成の一例を示すブロック図である。図１３において、図１と同じ符号をつけたものは、同一名称、同様の機能を有するため、説明を省略する。

カメラ選択部１１１は、複数の回転ズームカメラ１０２から追跡に使用するカメラを、撮影角度情報（後述する）に基づいて、選択し、選択したカメラの情報をカメラ切替部１１２へ出力する。また、制御パラメータ（追跡物体の位置と移動ベクトル）をカメラ制御部１０８へ出力する。カメラ切り替え部１１２は、複数の回転ズームカメラ１０２の映像出力と制御信号を切り替えるカメラ切り替え部である。

画像情報格納部１１５は、図１の画像情報格納部１０５で格納する領域画像情報に、さらに、抽象化画像（アイコン）を表示させる角度が変わった場合に表示する画像も含まれる。従って、アイコンを回転させる角度に対応づけて、それぞれ回転させた画像を含む。

領域指定部１１６は、図１の機能に加え、さらに、アイコンを回転させる方向の変更指示の入力を監視者に促し、入力された方向の変更指示から撮影角度情報を算出してカメラ選択部１１１へ出力する。撮影角度情報は、撮影角度を指定する。具体的には、前記アイコンの正面を０°とし、右周りに０°から３６０°で表現されるアイコンを撮影する向き（方向）を指す。

また、本実施の形態の監視装置は、複数の回転ズームカメラ１０２を備える。

次いで、上記構成を有する監視装置の動作について、説明する。以下の説明では、実施の形態１と異なる動作について説明する。

本実施の形態に係る領域指定部１１６の動作を図１４、図１５を用いて説明する。図１４は、本実施の形態に係る領域指定部１１６における領域指定画面４０１の一例を示した図である。図６に示した領域指定画面４０１に加え、向き変更アイコン４０３が追加されている。図１４において、向き変更アイコン４０３は、アイコン４０２の向きを変更する指示を入力し、領域指定部１１６は、向き変更アイコン４０３から入力された指示に基づいて、アイコン４０２を回転させ、再表示する。

図１５は、アイコン４０２の動作の一例を示す図である。図１５において、図１５（Ａ）は正面を向いているアイコン４０２、図１５（Ｂ）は右向きのアイコン４０２、図１５（Ｃ）は後ろ向きのアイコン４０２である。

アイコン操作マウスを用いて向き変更アイコン４０３上の左右の矢印シンボルをクリックすることで、アイコン４０２の向きが変化する。

図１５の動作例では、図１５（Ａ）においてアイコン４０２は正面を向いている。この状態で、向き変更アイコン４０３の右側の矢印シンボルをクリックすることにより、図１５（Ｂ）に示すようにアイコン４０２は右向きに変更される。更に、向き変更アイコン４０３の右側の矢印シンボルをクリックすることにより、図１５（Ｃ）に示すようにアイコン４０２は右向きに回転し、後ろ向きとなる。領域指定部１１６は、向き変更アイコン４０３により指定された向き情報を取得する。向き情報は、例えば、向き変更アイコン４０３が右または左へ何回指定されたかの情報を意味する。

監視者は、このように回転させたアイコン４０２に対して、アイコン操作マウスを用いて追跡撮影したい部位を実施の形態１と同様の方法で指定する。領域指定部１１６は、実施の形態１と同様に、指定された撮影領域、倍率等の指定結果を領域補正部１０７へ出力する。また、領域指定部１１６は、前記向き情報を、正面を０°とし、右向きを正とする０°から３６０°で表現される撮影角度情報へ変換し、カメラ選択部１１１に送信する。原則として、正面は、移動ベクトルの移動方向とする。

カメラ選択部１１１は、領域補正部１０７から補正後の移動ベクトルを入力し、領域指定部１１６から撮影角度情報を受信する。移動ベクトルと撮影角度情報から、世界座標系３０１上での撮影角度を決定し、その角度に最も近い方向から撮影可能な回転ズームカメラ１０２を選択し、カメラ切り替え部１１２およびカメラ制御部１０８に送信する。

図１６は、本実施の形態に係るカメラ選択部１１１の動作の一例を示す図である。図１６は、世界座標系３０１をｚ軸上方からＸＹ平面と垂直に見下ろした図である。図１６において、人物位置７０１は、制御位置算出部１０４が算出した世界座標系における人物の位置（追跡対象の位置）、移動ベクトルＶは、制御位置算出部１０４が算出した世界座標系における人物の移動ベクトル、撮影角度情報αは、領域指定部１１６が指定された撮影角度、世界座標７０３、７０４は、監視空間に設置されたカメラであるカメラ１０２Ａ、カメラ１０２Ｂそれぞれの世界座標、指定撮影方向７０２は、世界座標系における領域指定部１１６で指定された撮影方向である。カメラ選択部１１１は、人物の移動ベクトルＶおよび撮影角度情報αから、（式１１）により世界座標系における指定撮影方向７０２を算出する。

指定撮影方向=撮影角度情報+ atan（移動ベクトルのｙ成分/移動ベクトルのｘ成分）
・・・・・・・・・・(式11)

次に、カメラ選択部１１１は、人物の位置と各カメラの世界座標から（式１２）により各カメラの撮影角度を求める。

カメラの撮影角度= atan（（カメラの設置位置ｙ成分−人物位置ｙ成分）／
（カメラの設置位置ｘ成分−人物位置ｘ成分））
・・・・・・・・・・(式12)

次に、カメラ選択部１１１は、指定撮影方向と各カメラの撮影角度の差の絶対値を比較し、差が一番小さいカメラを追跡撮影に使用するカメラとして選択し、選択したカメラをカメラ切り替え部１１２へ出力する

カメラ切り替え部１１２は、映像出力および回転ズーム制御するカメラを、カメラ選択部１１１で選択されたカメラへ切り替える。

カメラ制御部１０８は、カメラ選択部１１１で選択されたカメラに対して、実施の形態１と同様の方法でカメラの制御角を算出し、カメラ切り替え部１１２を介して算出した制御角を用いて、選択した回転ズームカメラの撮影角度を制御する。カメラ切り替え部１１２は、複数の回転ズームカメラ１０２Ａ、１０２Ｂを切り替えるスイッチの役割を果たす。

次に、監視装置の動作の流れについて説明する。図１７は、本実施の形態の回転を含む領域指定と、領域指定された映像の表示の具体例を示した図である。

図１７において、領域指定画面６０７は、監視者が領域指定部１０６の向き変更アイコン４０３において、右向きを指定し、かつ、アイコン４０２により頭部を指定した場合の動作例であり、表示状態６０８は、複数台設定されているカメラの中から、人物を右側に一番近い角度から撮影できるカメラが選択され、人物頭部を右側から撮影できることを示した図の一例である。これにより、監視者は、監視対象の撮影方向と追尾領域を簡単な操作で選択し、追跡監視することができる。

なお、本実施の形態では、領域指定部１１６において、領域指定アイコンの水平方向の向きを変更可能な向き変更アイコン４０３を備えているが、垂直方向の向きの指定に関しても同様に実施可能である。

図１８は、水平方向および垂直方向の撮影方向を指定可能な領域指定部１１６の一例を示す図である。図１８では、水平向き変更アイコン４０４、垂直向き変更アイコン４０５を備える。

領域指定部１１６は、垂直向き変更アイコンによって垂直方向の撮影方向を指定し、カメラ選択部１１１は、三次元における撮影方向を計算し、指定された方向と一番近い撮影方向のカメラを選択する。これにより、三次元上の任意の撮影角度を指定可能となる。このようにして、各カメラの設置高さが異なる場合にも、最適な位置から撮影できるカメラを選択し、追跡撮影できる。

なお、各カメラでキャプチャした画像を領域指定アイコンとして使用することも同様に実施可能である。監視者が向き変更アイコン４０３により領域指定アイコンの向きを変更した際に、指定された向きに最も近い撮影方向のカメラをカメラ選択部１１１により選択し、人物の全身像をズームアップ撮影して画像データとして保存する。この画像データを領域指定アイコンとして使用することにより、実際の追跡対象に類似したアイコンを用いて追尾領域が指定できる。

（実施の形態３）
図１９は、本発明の実施の形態３に係る監視装置の構成の一例を示す図である。なお、図１と同じ符号を付けたものは、同一名称、同様の機能を有するため説明を省略する。

物体検出部１２３は、図１の物体検出部１０３の機能に加え、移動物体の種類の特定あるいは画像データの抽出を行い、領域指定部１２６へ出力する。

画像情報格納部１２５は、複数種類の移動物体それぞれを抽象化した複数種類の抽象化画像を格納する。

領域指定部１２６は、図１の領域指定部１０６の機能に加え、物体検出部１２３の入力情報（移動物体の種類、あるいは、画像データ）に基づいて、抽象化画像を選択あるいは作成し、領域指定画面に表示する。

次いで、本実施の形態に係る監視装置について、図２０、２１を用いて動作を説明する。図２０は、本実施の形態に係る物体検出部１２３の動作の一例を示すフロー図である。図２０のＳ２０１からＳ２０６の各ステップは、図３と同様であるため説明を省略する。物体検出部１２３は、背景画像を格納しておく内部メモリを備え、Ｓ２０３において算出したオプティカルフローの動きベクトルを確認し、全ブロックの動きベクトルの大きさが「０」（零）である場合（Ｓ２００１のＹＥＳ）には、入力画像を背景画像として内部メモリに保存する（Ｓ２００２）。オプティカルフローに動きベクトルの大きさが「０」ではないブロックが含まれる場合（Ｓ２００１のＮＯ）には、背景画像が内部メモリに保存されているか確認し（Ｓ２００３）、保存されていない場合（Ｓ２００３のＮＯ）には、画像入力のステップ（Ｓ２０１）へ戻る。背景画像が内部メモリに保存されている場合（Ｓ２００３のＹＥＳ）には、Ｓ２０４以降の処理を実行する。また、追跡対象の位置および移動ベクトルを出力（Ｓ２０５）した後、物体検出部１２３は、移動物体判定（Ｓ２００４）を行う。

図２１は、本実施の形態に係る物体検出部１２３の移動物体判定の動作の一例を示すフロー図である。

物体検出部１２３は、移動物体を検出すると、移動物体判定（Ｓ２００４）を行う。移動物体判定（Ｓ２００４）は、検出した移動物体の種類の判定、あるいは、移動物体の画像データの抽出を行う動作であり、具体的には、図２１を用いて説明する。物体検出部１２３は、オプティカルフロー算出結果に基づいて、動きベクトルの大きさが「０」（零）以外であるブロックに関して、内部メモリに保存されている背景画像と入力画像の画素値の差分を計算し、差分値が一定以上の大きさの画素を移動物体の領域として、その領域の画像データを抽出する（Ｓ２１０１）。次に、物体検出部１２３は、抽出した画像データを用いて、移動物体の種類を判定する（Ｓ２１０２）。具体的には、抽出した画像データと画像情報格納部１２５に格納した複数種類の抽象化画像とを比較して、差分が少ない場合には該当する抽象化画像であると判定する。判定した結果、移動物体の特定が可能であった場合（Ｓ２１０３でＹＥＳ）、移動物体の種類を特定し（Ｓ２１０４）、領域指定部１２６へ移動物体の種類を出力する（Ｓ２１０５）。移動物体の判定ができなかった場合（Ｓ２１０３でＮＯ）、物体検出部１２３は、抽出した画像データとそのサイズ等領域指定に必要な情報を領域指定部１２６へ出力する（Ｓ２１０６）。領域指定部１２６は、物体検出部１２３より入力された移動物体の種類に基づいて画像情報格納１２５より該当する抽象化画像を選択し、領域指定画面上の追領域指定アイコンとして表示する。物体検出部１２３より移動物体の種類ではなく画像データが入力された場合には、入力された画像データを用いる。

このようにして複数種類の移動物体についても、追尾対象を容易に指定可能となり、監視対象の希望する部位の拡大映像を取得することができる。

なお、図２１では、物体検出部１２３は、移動物体の種類の特定（Ｓ２１０４，Ｓ２１０５）と、画像データの抽出（Ｓ２１０６）との二つの機能を有する場合を説明したが、いずれか一方の機能のみを有する構成であってもよい。

また、画像データの抽出のみの機能を有する場合、図１９に示した画像情報格納部１２５は、無くてもよい。物体検出部１２３は、図２１のＳ２１０１，Ｓ２１０６の工程を実行することになり、領域指定部１２６は、物体検出部１２３から入力する画像データを用いて、領域指定を実施することができる。

また、実施の形態１においては、追跡対象を身長が１７０ｃｍ程度の人物として説明したが、本実施の形態によれば、画像情報格納部に複数種類のアイコンを格納することによって、子供や車両や動物などでも同様に実施可能である。例えば、車両を追跡する場合には、車種やナンバープレートや搭乗者等の複数の部位から構成されるアイコンを作成することによって、各部位の拡大映像が撮影できるため、監視対象物体（追跡対象）の確認が可能となる。

さらに、検出した移動物体の形状や大きさに応じて、領域指定部１２６に表示する追尾領域指定アイコンを変更することにより、同一システム上で、大人や子供、男女、トラックやセダンなど、複数種類の物体の追尾領域を指定できるようにすることも同様に実施可能である。また、画像情報格納部１２５は、標準的な人物や車両のアイコン画像を格納し、領域指定部１２６は、検出した移動物体の大きさと比較することにより、アイコン画像を拡縮し、アイコンの大きさや縦横比を実際の追跡対象の大きさや縦横比にあわせる（編集）ことにより、人物の体系や物体の形状を考慮した領域指定が可能となる。なお、検出した移動物体の形状や大きさ（サイズ）は、物体検出部１２３によって計測される。

また、例えば、移動物体が人物である場合、身長にあわせて撮影領域のサイズを変更することも可能である。物体検出部１２３は、身長を計測し、計測したデータを領域指定部１２６へ通知する。領域指定部１２６は、領域指定画面に表示したアイコンのサイズと、身長とのデータを用いて、撮影領域を指定することが可能であり、このようにすることによって、撮影対象のサイズにあわせて撮影領域を指定することが可能となる。アイコンが身長１７０ｃｍの人物を想定している場合、身長の相対比を用いて、適切な撮影領域を指定できることになる。

また、追跡対象周辺の移動物体の形状から、監視対象に付随する物体があるかを認識し、追尾領域指定アイコンに付随する物体を表示することも同様に実施可能である。例えば、人物が左手に荷物を持っている場合には、追尾領域指定アイコン上の左手にも荷物アイコンを表示することで、追尾領域の指定が容易となる。具体的には、物体検出部１２３で移動物体の種類を特定する際に、抽出した画像データの特定部分のみが、画像情報格納部１２５に含まれる画像データと異なる場合には、その部分を追跡対象に付随する物体であると認識し、付随物の画像データとサイズおよび追跡対象に対する相対的な座標情報を領域指定部１２６へ出力し、領域指定部１２６は、入力された座標上に会わせて領域指定アイコン上に付随物の画像データを表示する。

さらに、人物の移動方向や姿勢を検出し、追尾領域指定アイコンの向きを変更することも同様に実施可能である。人物が正面を向いている場合には、正面向きのアイコンを表示し、後ろを向いているときには、後ろ向きのアイコンを表示することで、実際にカメラで撮影される監視対象と同様の向きのアイコン上で追尾領域を指定可能となる。

なお、本実施の形態では、予めシステム上で用意した人物アイコン画像を領域指定部において表示しているが、撮影カメラの画像上から物体の移動領域を画像データとして切り出して、この画像データを追尾領域指定アイコンとして表示することも同様に実施可能である。これにより、実際の追跡対象と類似したアイコン上で追尾領域を指定可能となる。

このように、上記各実施の形態で説明した好適な監視装置によれば、追尾対象を抽象化した抽象化画像（アイコン）を用いて追尾領域を指定することにより、監視対象が移動していても容易な操作で追尾領域を指定可能である。また、自動追尾を一時的な中止や、追尾中のカメラを手動で操作することにより、監視対象をカメラ画面からフレームアウトさせてしまうリスクも発生しない。また、複数のカメラを備えた自動追尾システムでは、追尾領域を指定するためのアイコンの向きを変更可能にすることにより、追尾時にカメラの選択制御を手動で行なう等の煩雑な操作が必要なく、追尾時の撮影方向を容易に指定可能である。

また、カメラで撮影された画像から、追尾対象の移動方向や形状や大きさを検出し、この検出結果に応じて追尾領域を指定するためのアイコンの向きや種類を切り替えたり、アイコン上に付加的なアイコンを重畳することにより、撮影状況に近いアイコン上で追尾領域を指定可能となり、追尾領域を的確に指定できる。

更に、撮影画像上から移動物体を検出して切り出し、追尾領域を指定するためのアイコンとして使用することにより、追尾対象に類似したアイコン上で追尾領域を指定可能となり、追尾領域を的確に指定できる。特に、監視端末上に監視対象を抽象化したアイコンを表示し、アイコン上の所望の領域を指定することで、追跡撮影する領域を指定可能なユーザインターフェースを備え、自動追尾中に監視者が追尾領域を容易に指定可能な監視装置（自動追尾システム）および方法を提供することができる。

本発明の好適な実施の形態に係る監視装置および方法は、監視対象を追尾中に監視者が追尾領域（監視領域）を容易に指定する自動追尾システム等として用いるのに適する。

本発明の実施の形態１に係る監視装置の構成の一例を示すブロック図 上記実施の形態に係る物体検出部が検出した監視対象に対する動作例を示す図 上記実施の形態に係る物体検出部の動作の一例を示すフローチャート図 上記実施の形態において実空間上の点と広角カメラのカメラ画像座標上の点の対応関係の一例を示す図 上記実施の形態に係る制御位置算出部がカメラ画像投影面上の移動ベクトルを世界座標系の移動ベクトルに変換する方法を示す図 上記実施の形態に係る領域指定部が表示する領域指定画面の構成の一例を示す図 上記実施の形態に係る領域指定部の動作例を示す図 上記実施の形態において領域指定部より領域補正部へ出力される情報の一例を示す図 上記実施の形態に係る領域補正部の動作の一例を示す図 上記実施の形態に係るカメラ制御部の回転角の動作の一例を示す図 上記実施の形態に係るカメラ制御部の設置の動作の一例を示す図 上記実施の形態における、領域指定と、領域指定された映像の表示の具体例を示した図 本発明の実施の形態２に係る監視装置の構成の一例を示すブロック図 上記実施の形態に係る領域指定部における領域指定画面の一例を示した図 上記実施の形態に係る向き変更アイコンの動作の一例を示す図 上記実施の形態に係るカメラ選択部の動作の一例を示す図 上記実施の形態における、回転を含む領域指定と、領域指定された映像の表示の具体例を示した図 上記実施の形態における、水平方向および垂直方向の撮影方向を指定可能な領域指定部の一例を示す図 本発明の実施の形態３に係る監視装置の構成の一例を示す図 上記実施の形態に係る物体検出部の動作の一例を示すフロー図 上記実施の形態に係る物体検出部の移動物体判定の動作の一例を示すフロー図

符号の説明

１０１ 広角カメラ
１０２、１０２Ａ、１０２Ｂ 回転ズームカメラ
１０３、１２３ 物体検出部
１０４ 制御位置算出部
１０５、１１５、１２５ 画像情報格納部
１０６、１１６、１２６ 領域指定部
１０７ 領域補正部
１０８ カメラ制御部
１０９ 映像表示部
３０１ 世界座標系の三次元座標
３０２ カメラ画像座標系
３０３ カメラ画像投影面
３０４ 補正平面
４０１ 領域指定画面
４０２ アイコン
４０３ 向き変更アイコン
４０４ 水平向き変更アイコン
４０５ 垂直向き変更アイコン
５０１ 設置座標
５０２ 撮影点
６０１、６０３、６０５、６０７ 領域を指定された領域指定画面（アイコン周辺部分）
６０２、６０４、６０６、６０８ 映像表示画面の表示状態
７０１ 人物位置
７０２ 指定撮影方向
７０３ カメラＡの世界座標
７０４ カメラＢの世界座標
Ａ 世界座標系上の一点
Ｂ カメラ座標系上の一点
Ｖ、Ｖｕ、Ｖｗ、 移動ベクトル
Ｇ 重心
Ｅ 終点

Claims (12)

1. 監視領域全体を撮影する第一の撮影手段と、
   監視対象を拡大して撮影する第二の撮影手段と、
   前記第一の撮影手段が撮影する映像から移動物体を検出する物体検出手段と、
   検出した移動物体の撮影の位置を制御する制御パラメータを算出する制御位置算出手段と、
   前記検出した移動物体を抽象化した抽象化画像を示す画面を表示し、表示した画面の所定の領域を指定することを促し、指定された領域を特定する指定領域情報を算出する領域指定手段と、
   算出した前記指定領域情報を用いて前記制御パラメータを補正する領域補正手段と、
   補正された制御パラメータに基づいて、前記第二の撮影手段を制御するカメラ制御手段と、
   を備えることを特徴とする監視装置。
2. 前記抽象化画像は、前記移動物体を複数の部分に分割する複数の部位から構成され、
   前記所定の領域は、前記複数の部位の少なくとも一つであることを特徴とする請求項１記載の監視装置。
3. 前記物体検出手段は、検出した移動物体のサイズを計測し、計測したサイズを前記領域指定手段へ通知し、
   前記領域指定手段は、前記計測されたサイズと前記抽象化画像のサイズとの相対値を用いて前記指定領域情報を算出することを特徴とする請求項２記載の監視装置。
4. 前記所定の領域は、前記抽象化画像の周辺領域を含むことを特徴とする請求項１記載の監視装置。
5. 前記領域指定手段は、前記周辺領域を、抽象化画像との相対位置、相対的な大きさを用いて前記指定領域情報を算出することを特徴とする請求項３記載の監視装置。
6. 前記領域指定手段は、前記抽象化画像を回転させる方向の変更指示を受けつけ、前記方向の変更指示を用いて、撮影角度を指定する撮影角度情報を算出し、
   前記監視装置は、さらに、
   撮影角度が異なる複数の第二の撮影手段と、
   算出した撮影角度情報を用いて、前記複数の第二の撮影手段から一つの第二の撮影手段を選択するカメラ選択手段と、
   前記カメラ選択手段が一の第二の撮影手段から選択した第二の撮影手段へ切り替えるカメラ切り替え手段と
   を備え、
   前記カメラ制御手段は、切り替えられた第二の撮影手段を制御することを特徴とする請求項１から請求項５のいずれかに記載の監視装置。
7. 複数種類の移動物体それぞれを抽象化した複数種類の抽象化画像を格納する画像情報格納手段をさらに備え、
   前記物体検出手段は、検出した移動物体の種類を判定し、判定結果を前記領域指定手段へ出力し、
   前記領域指定手段は、前記判定結果に基づいて、前記複数種類の抽象化画像から少なくとも一つの抽象化画像を選択して画面に表示することを特徴とする請求項１記載の監視装置。
8. 前記物体検出手段は、検出した移動物体のサイズを計測し、計測したサイズを解析して移動物体の種類を判定することを特徴とする請求項７記載の監視装置。
9. 前記物体検出手段は、検出した移動物体のサイズを計測し、
   前記領域指定手段は、前記移動物体のサイズと選択した抽象化画像とを比較し、前記抽象化画像を編集することを特徴とする請求項７記載の監視装置。
10. 前記物体検出手段は、前記移動物体の画像データを抽出し、抽出した画像データと前記判定結果とを前記領域指定手段へ出力し、
    前記領域指定手段は、前記画像データから一部分を抽出して前記選択した抽象化画像へ貼り付けることを特徴とする請求項７または請求項８記載の監視装置。
11. 前記物体検出手段は、検出した移動物体の画像データを抽出し、抽出した画像データを前記領域指定手段へ出力し、
    前記領域指定手段は、前記画像データを前記抽象化画像として画面に表示することを特徴とする請求項１記載の監視装置。
12. 監視領域全体を撮影する第一の撮影手段と、監視対象を拡大して撮影する第二の撮影手段とを備える監視装置に用いる監視方法であって、
    前記第一の撮影手段が撮影する映像から移動物体を検出する物体検出工程と、
    検出した移動物体の撮影の位置を制御する制御パラメータを算出する制御位置算出工程と、
    検出した移動物体を抽象化した抽象化画像を示す画面を表示し、表示した画面の所定の領域を指定することを促し、指定された領域を特定する指定領域情報を算出する領域指定工程と、
    算出した指定領域情報を用いて前記制御パラメータを補正する領域補正工程と、
    補正された制御パラメータに基づいて、前記第二の撮影手段を制御するカメラ制御工程と、
    を備えることを特徴とする監視方法。
    

Images