JP2016118994A - 監視システム - Google Patents

Abstract

【課題】監視領域の状況を把握するのに適した画像を得る。
【解決手段】監視システム１は、地上から撮影する監視カメラ２と、上空から撮影する撮像部３１ａを有する飛行装置３と、センサ装置４とを備える。センタ装置４は、監視カメラ２の撮影方向と対向する対向方向を算出する方向算出部４３ｃａと、監視カメラ２の撮影範囲を撮影位置とで挟む目標位置を算出する位置算出部４３ｃｂと、目標位置に飛行装置３を移動させて対向方向に撮像部３１ａを向けて撮影範囲を撮影するように制御する飛行装置制御部４３ｄと、を備える。
【選択図】図１

Description

本発明は、例えば人物、車両などの移動体を監視する監視システムに関する。

人物、車両などの移動体を監視するシステムとしては、例えば下記特許文献１に開示されるものが知られている。この特許文献１では、システム全体にわたる移動体の追跡及び複数のビデオカメラ毎に分散された情報の統括的管理を効率よく行うことを目的として、複数ビデオカメラ毎に分散的に人物追跡するカメラ内追跡手段と、追跡を行うメイン追跡要素と移動体の特徴量をメイン追跡要素に供給するサブ追跡要素とからなり複数のカメラ内追跡手段間で連携して移動体を追跡するカメラ間追跡手段と、複数のカメラ内追跡手段に亙り移動体を探索する移動体探索手段とを具え、監視領域に分散配置された複数のビデオカメラを連携動作させている。

特開２００４−７２６２８号公報

上述した特許文献１に開示されるシステムでは、複数のビデオカメラが監視領域に分散配置され、各々のビデオカメラが撮影範囲を固定的に撮影する構成なので、ある一つのビデオカメラの撮影範囲について得られる情報としてはそのビデオカメラの撮影方向から撮影した画像情報のみとなる。このため、例えば、そのビデオカメラの撮影方向から死角となる領域については状況を把握することができない。また、ある一つのビデオカメラの画像上に映った対象についてそのカメラの画像情報以外の情報を得ることはできない。上述した特許文献１に開示されるシステムでは、ビデオカメラの撮影範囲が一部重複するように設置することが示されているが、ビデオカメラの撮影範囲が固定的である以上、重複して得られた複数の画像が、お互いに、監視領域の状況を的確に把握するのに補完し合えるような関係になるとは限らない。このため、ある一つのビデオカメラの撮影範囲について、監視領域の状況を把握するのに適した他の画像を必ずしも得ることができなかった。

そこで、本発明は上記問題点に鑑みてなされたものであり、監視領域において撮影された画像を補完し、その画像中の領域の状況を把握するのに適した他の画像を得ることができる監視システムを提供することを目的とするものである。

上記した目的を達成するために、本発明に係る監視システムは、地上から撮影する監視カメラと、上空から撮影する撮像部を有する飛行装置とを備えた監視システムであって、
前記監視カメラの撮影方向と対向する対向方向を算出する方向算出部と、
前記監視カメラの撮影範囲を当該監視カメラの撮影位置とで挟む目標位置を算出する位置算出部と、
前記目標位置に前記飛行装置を移動させて前記対向方向に前記撮像部を向けて前記撮影範囲を撮影するように制御する飛行装置制御部と、
を備えたことを特徴とする。

また、本発明に係る監視システムは、前記撮影方向が、前記撮影位置から前記監視カメラにて撮影された画像上の注目物体の位置に向かう方向、前記監視カメラの画角の中央の方向、又は、前記撮影位置から前記撮影範囲の注目位置に向かう方向としてもよい。

さらに、本発明に係る監視システムは、前記目標位置が、前記監視カメラにて撮影された画像上の注目物体の位置、又は、前記撮影範囲の注目位置を、前記撮影位置で挟む位置としてもよい。

本発明の監視システムによれば、地上から撮影する監視カメラと、上空から撮影する撮像部を有する飛行装置とを備え、方向算出部は、監視カメラの撮影方向と対向する対向方向を算出し、位置算出部は、監視カメラの撮影範囲を撮影位置とで挟む目標位置を算出する。そして、飛行装置制御部は、位置算出部が算出した目標位置に飛行装置を移動させ、方向算出部が算出した対向方向に撮像部を向けて撮影範囲を撮影するように制御する。かかる構成によれば、監視カメラが撮影している撮影方向と水平面上において対向する方向から監視カメラの撮影範囲を撮影した画像を飛行装置の撮像部によって取得できるように作用する。これにより、監視領域の状況を把握するのに適した画像として、監視カメラの画像からは把握できない情報を多く含んだ画像を得ることができる。

また、本発明の監視システムによれば、監視カメラの撮影位置から監視カメラにて撮影された画像上の注目物体の位置に向かう方向、監視カメラの画角の中央の方向、又は、監視カメラの撮影位置から撮影範囲の注目位置に向かう方向を飛行装置の撮影方向としている。かかる構成によれば、監視カメラから注目物体への方向と対向する方向から撮影した画像を飛行装置の撮像部によって取得できるように作用する。これにより、注目物体について監視カメラの画像からは把握できない情報を多く含んだ画像を得ることができる。
また、かかる構成によれば、監視カメラから監視カメラの画角の中央の方向と対向する方向から撮影した画像を飛行装置の撮像部によって取得できるように作用する。これにより、監視領域の状況を把握するのに適した画像として、監視カメラで撮影された画像を全体的に考慮して把握しにくい情報を多く含んだ画像を得ることができる。
また、かかる構成によれば、監視カメラから撮影範囲における注目位置に向かう方向と対向する方向から撮影した画像を飛行装置の撮像部によって取得できるように作用する。これにより、例えば、注目したい対象が存在する可能性の高い位置（例えば、注目したい対象が人物であれば人物が存在する可能性の高い歩道の位置、注目したい対象が車両であれば車両が存在する可能性が高い車道の位置など）について監視カメラからは把握できない情報を多く含んだ画像を得ることができる。

さらに、本発明の監視システムによれば、監視カメラにて撮影された画像上の注目物体の位置、又は、撮影範囲の注目位置を、撮影位置とで挟む位置を目標位置としている。かかる構成によれば、監視カメラの撮影位置で注目物体又は注目位置を挟む位置に飛行装置を移動させるように作用する。これにより、監視領域の状況を把握するのに適した画像として、注目物体又は注目位置について監視カメラからは把握できない情報を多く含んだ画像を得ることができる。

本発明に係る監視システムの全体構成を示す概略ブロック図である。 地上の水平面を仮想水平面とし、仮想水平面を側面から見たときの注目物体と監視カメラと飛行装置との位置関係を示す図である。 上空から地上を鉛直方向に見たときの仮想水平面上における注目物体と監視カメラと飛行装置との位置関係を示す図である。

以下、本発明を実施するための形態について、添付した図面の図１〜３を参照しながら詳細に説明する。

図１に示すように、本発明に係る監視システム１は、監視カメラ２、飛行装置３、追跡処理装置としてのセンタ装置４を備えて構築される。

（監視カメラの構成について）
監視カメラ２は、地上から所定の撮影範囲を撮影する。本例において、監視カメラ２が地上から撮影する高度は、追跡対象（例えば不審者、不審車両など）を特定するための後述する複数種類の特徴情報の中で最も重要とされる最重要情報（追跡対象が例えば人物であれば顔画像、車両であれば自動車登録番号標（ナンバープレート）画像）が認識できる地上から比較的低い高度である。これにより、追跡対象を側方から撮影し、撮影した画像から追跡対象を把握しやすい側方画像を得ることができる。

監視カメラ２は、図１に示すように、カメラ部２１、制御部２２、通信部２３を備えている。

カメラ部２１は、所定の撮影範囲を撮影する本体をなし、撮像部２１ａ、方向制御部２１ｂ、画像データ生成部２１ｃを有している。

撮像部２１ａは、例えばＣＣＤ素子やＣ−ＭＯＳ素子などの撮像素子や光学部品などを含んで構成される。撮像部２１ａは、監視領域内の所定の撮影範囲を所定時間おきに撮像し、撮像した画像を画像データ生成部２１ｃに順次出力する。

尚、撮像部２１ａは、監視カメラ２がパンチルトズームカメラとして構成される場合、センタ装置４からの制御信号の撮影指示に基づく制御部２２の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部２１ｃに出力される。

方向制御部２１ｂは、監視カメラ２がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置４からの制御信号の撮影指示に基づく制御部２２の制御により、水平方向及び垂直方向の角度が制御される。この水平方向及び垂直方向の角度情報は、予め設定された監視カメラ２の撮影方向からの変位角度であり、画像データ生成部２１ｃに出力される。

画像データ生成部２１ｃは、撮像部２１ａが撮像した画像に対し、必要に応じて撮影時における焦点距離や水平方向及び垂直方向の角度情報（撮影方向）を付加した画像データを生成する。なお、監視カメラ２がパンチルトズームカメラとして構成される場合には、予め設定された監視カメラ２の撮影方向を上述の変位角度で補正した撮影方向を画像データに付加する。

制御部２２は、カメラ部２１の画像データ生成部２１ｃが生成した画像データを所定のフレーム周期で所定時間おきに通信部２３を介してセンタ装置４に送信制御する。また、制御部２２は、センタ装置４からの制御信号を通信部２３を介して受信したときに、この制御信号の撮影指示に従ってカメラ部２１の撮像部２１ａや方向制御部２１ｂを制御する。

通信部２３は、有線又は無線により通信を行うための通信インタフェースであり、制御部２２の制御により、通信回線を介してセンタ装置４との間で有線又は無線により通信し、データや信号の送受信を行う。具体的には、画像データ生成部２１ｃが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置４に送信する。また、撮像部２１ａや方向制御部２１ｂを制御するためのセンタ装置４からの制御信号を受信する。

尚、監視カメラ２は、監視領域の所定箇所に固定して複数設置されるものに限定されない。監視カメラ２は、地上から比較的低い高度において撮影可能なものであってよく、低い高度で撮影可能な、例えば各種車両に搭載した車載用カメラ、撮像部を有する小型移動飛行ロボットやドローンなどのように監視領域を移動できるものであってもよい。また、監視カメラ２が監視領域内を移動できる場合には、少なくとも１つの監視カメラ２が設けられた構成であってもよい。そして、監視カメラ２が監視領域を移動する場合には、撮影時における監視カメラ２の位置情報が移動に伴って変化するため、ＧＰＳからなる測位部を監視カメラ２に備え、地球上での監視カメラ２の３次元的位置（現在位置）を示す位置情報（緯度、経度、高さ）を画像データ生成部２１ｃに出力する。また、監視カメラ２が監視領域を移動する場合は、撮影時における監視カメラ２の撮影方向も移動による姿勢変動によって変化するため、後述する姿勢検出部３５と同様の構成を備え、画像データ生成部２１ｃは、これにより得られた姿勢情報により撮影方向を補正する。そして、画像データ生成部２１ｃからは、監視カメラ２の撮影時における位置情報及び撮影時における監視カメラ２の撮影方向も付加した画像データがセンタ装置４に送信される。

（飛行装置の構成について）
飛行装置３は、センタ装置４からの制御信号の指示によって移動制御が可能な移動型飛行装置、すなわち、移動型飛行船、小型移動飛行ロボットやドローン、人工衛星などである。又は電源供給及び通信可能な状態で本体がケーブルを介して地上の係留装置と繋がれた係留型飛行装置（例えば係留型飛行船など）であってもよい。さらに、これらの組合せによって構成してもよい。

尚、飛行装置３が係留型飛行装置の場合には、監視カメラ２で撮影できない死角領域を包含するように、監視領域の規模に合わせた数だけ設けるのが好ましい。

飛行装置３は、図１に示すように、カメラ部３１、推進部３２、方向舵３３、測位部３４、姿勢検出部３５、制御部３６、無線通信部３７を備えている。

カメラ部３１は、飛行装置３の本体に搭載され、上空から監視カメラ２よりも広い撮影範囲で撮影を行っている。本例において、飛行装置３のカメラ部３１が撮影する高度は、監視カメラ２と比較して相対的に高い高度であって、追跡対象を特定するための後述する複数種類の特徴情報の中で最も重要とされる最重要情報の認識が困難な高度であるが、追跡対象を上方から俯瞰して撮影できる高度である。これにより、撮影した画像から追跡対象の水平面上における周囲の状況が把握しやすい上方画像を得ることができる。

カメラ部３１は、撮像部３１ａ、方向制御部３１ｂ、画像データ生成部３１ｃを有している。

撮像部３１ａは、例えばＣＣＤ素子やＣ−ＭＯＳ素子などの撮像素子や光学部品などを含んで構成されるものであり、所定の撮影範囲を上空から所定時間おきに撮像し、撮像した画像を画像データ生成部３１ｃに順次出力する。

尚、撮像部３１ａは、カメラ部３１がパンチルトズームカメラとして構成される場合、センタ装置４からの制御信号の撮影指示に基づく制御部３６の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部３１ｃに出力される。

方向制御部３１ｂは、カメラ部３１がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置４からの制御信号の撮影指示に基づく制御部３６の制御により、水平方向及び垂直方向の角度が制御される。この水平方向及び垂直方向の角度情報は、予め設定されたカメラ部３１の向きに相当する撮影方向からの変位角度であり、画像データ生成部３１ｃに出力される。

画像データ生成部３１ｃは、撮像部３１ａが撮像した画像に対し、撮影時における焦点距離や水平方向及び垂直方向の角度情報（撮影方向）を必要に応じて付加した画像データを生成する。なお、カメラ部３１がパンチルトズームカメラとして構成される場合には、予め設定されたカメラ部３１の撮影方向を上述の変位角度で補正した撮影方向を画像データに付加する。また、後述の測位部３４にて取得した撮影時における位置情報、及び後述の姿勢検出部３５にて得られた撮影時における姿勢情報から補正した撮影方向を必要に応じて付加した画像データを生成する。

推進部３２は、エンジンの動力をプロペラに伝達して回転させることにより飛行装置３に推進力を与えるものであり、センタ装置４からの制御信号の飛行指示に従って制御部３６により制御される。

方向舵３３は、飛行装置３の操縦に用いる動翼であり、センタ装置４からの制御信号の飛行指示に従って制御部３６により制御される。

測位部３４は、ＧＰＳ（Global Positioning System ）からなり、地球上での飛行装置３の３次元的位置（現在位置）を示す位置情報（緯度、経度、高さ）を制御部３６に出力している。この位置情報は画像データ生成部３１ｃへも出力する。

姿勢検出部３５は、例えばジャイロコンパスとサーボ加速度計を備え、飛行装置３の方位角、ピッチ角、ロール角を計測して飛行装置３の姿勢を検出し、この検出により得られる姿勢情報を制御部３６に出力する。この姿勢情報は画像データ生成部３１ｃへも出力する。

制御部３６は、カメラ部３１の画像データ生成部３１ｃが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置４に送信するように無線通信部３７を制御する。また、制御部３６は、飛行制御部３６ａとカメラ制御部３６ｂを有する。飛行制御部３６ａは、センタ装置４からの制御信号を無線通信部３７を介して受信したときに、この制御信号の飛行指示に従って推進部３２や方向舵３３を制御する。カメラ制御部３６ｂは、センタ装置４からの制御信号を無線通信部３７を介して受信したときに、この制御信号の撮影指示に従ってカメラ部３１の撮像部３１ａや方向制御部３１ｂを制御する。

無線通信部３７は、制御部３６の制御により、センタ装置４との間で無線通信し、データや信号の送受信を行う。具体的には、画像データ生成部３１ｃが生成した画像データを所定フレーム周期で所定時間おきにセンタ装置４に送信する。また、撮像部３１ａ、方向制御部３１ｂ、推進部３２、方向舵３３を制御するため、センタ装置４からの制御信号（撮影指示、飛行指示）を受信する。

（センタ装置の構成について）
追跡処理装置としてのセンタ装置４は、通信部４１、無線通信部４２、制御部４３、記憶部４４、操作部４５、表示部４６を備えている。

通信部４１は、有線又は無線により通信を行うための通信インタフェースであり、制御部４３の制御により、通信回線を介して複数の監視カメラ２との間で相互に通信を行う。具体的には、複数の監視カメラ２から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、制御対象となる監視カメラ２に対し、撮像部２１ａや方向制御部２１ｂを制御して撮影指示するための制御信号を送信する。

無線通信部４２は、制御部４３の制御により、飛行装置３との間で相互に無線通信を行う。具体的には、飛行装置３から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、飛行装置３の撮像部３１ａや方向制御部３１ｂを制御して撮影指示するための制御信号と、飛行装置３の推進部３２や方向舵３３を制御して飛行指示するための制御信号を必要に応じて送信する。

制御部４３は、注目物体検出部４３ａ、取得部４３ｂ、目標算出部４３ｃ、飛行装置制御部４３ｄ、表示制御部４３ｅを備えている。

注目物体検出部４３ａは、監視カメラ２から所定のフレーム周期で所定時間おきに送信されてくる画像データの画像から注目物体Ｎ（例えば人物や車両など）を検出する。この注目物体Ｎの検出は、従来の画像認識技術を用いればよい。一例を挙げれば、注目物体Ｎを特定するための複数種類の特徴を抽出し、抽出した特徴を対象特徴（特徴情報）として記憶部４４に予め記憶させる。例えば人物が注目物体Ｎである場合は、顔画像、年齢、性別、髪色、上半身衣服色、下半身衣服色、所持品種別、所持品色、身長、体型などが複数種類の特徴情報などとする。これら複数種類の特徴情報は、識別器や色ヒストグラムを用いた公知の手法によって抽出される。

尚、注目物体Ｎの特徴情報の入力方法としては、監視員が必要に応じて操作部４５を操作して、記憶部４４に記憶保存された監視カメラ２の画像から注目物体Ｎに当たる部分を指定すると、この指定された画像から上述した特徴情報を抽出し、抽出した特徴情報を対象特徴として記憶部４４に記憶させる。また、監視員の指定操作に依らず、注目物体Ｎが予め決まっている場合には、その注目物体Ｎの特徴情報を対象特徴として記憶部４４に記憶させておく。

そして、注目物体Ｎを追跡する場合には、例えば、複数の監視カメラ２毎に撮影される画像から、上述した対象特徴の抽出手法と同様にして複数種類の特徴情報を抽出し、抽出した特徴情報と対象特徴との対比により注目物体Ｎを検出する。これら複数種類の特徴情報は、個々の特徴情報について注目物体Ｎの検出における信頼性を考慮した重み付け係数が設定されている。そして、上述した複数種類の特徴情報を特徴情報の種別ごとに比較して類似度を算出する。続いて、複数種類の特徴情報ごとに算出した類似度に対し、重み付け係数を掛け合わせ、特徴情報の種類毎の類似度に重み付け係数を掛け合わせて全て足し合わせたものを全体類似度とする。そして、予め記憶部４４に記憶された注目物体Ｎと見なせる注目物体検出閾値（例えば類似度９０％）と全体類似度とを比較し、全体類似度が注目物体検出閾値を超えていると判定すると、注目物体Ｎとして検出する。

また、注目物体検出部４３ａは、上記のようにして検出した注目物体Ｎを所定フレームおきに取得される画像にわたって追跡する。例えば、現在の画像と１フレーム前の画像とのフレーム間差分をとることで画像中における変化領域を抽出し、注目物体Ｎの位置に相当する変化領域を特定する。そして、次に新たな画像データを取得した際も同様にフレーム間差分を行って変化領域を抽出し、この抽出した変化領域が、前回の注目物体Ｎに相当する変化領域として特定した変化領域と、その位置、大きさ、形状などの点において同一の物体とみなせるかを判定し、同一とみなせる場合には、その変化領域を今回の注目物体Ｎに相当する変化領域として特定する。これらの処理を新たな画像データを取得する度に繰り返すことで、監視カメラ２の画像中において注目物体Ｎを検出して追跡している。

取得部４３ｂは、監視員により操作部４５が操作されて、監視カメラ２からの画像を補完する画像を取得するために飛行装置３を移動制御する補完画像取得処理（後述）の指示がなされると、記憶部４４に記憶された監視カメラ情報から監視カメラ２の撮影位置Ｐ（緯度、経度、高さ）、撮影方向及び撮影範囲Ｌに関する情報を取得している。

なお、監視カメラ２の撮影位置Ｐ（緯度、経度、高さ）、撮影方向及び撮影範囲Ｌに関する情報は、監視カメラ２から通信部４１を介して受信した画像データに含まれる情報から取得してもよい。この場合には、取得部４３ｂの構成を省くことができる。

目標算出部４３ｃは、監視員により操作部４５が操作されて後述する補完画像取得処理の指示がなされたときに、飛行装置３を移動制御するための目標の方向と位置を算出するもので、方向算出部４３ｃａと位置算出部４３ｃｂを有している。

方向算出部４３ｃａは、取得部４３ｂが取得した監視カメラ２の撮影方向と、画像中における注目物体Ｎの位置と、監視カメラ２の位置情報から、注目物体Ｎを追跡している監視カメラ２の位置から注目物体Ｎまでの方向を、補完画像取得処理において用いる撮影方向Ｄ１として算出し、この撮影方向Ｄ１と対向する対向方向Ｄ２を算出している。撮影方向Ｄ１は、監視カメラ２の撮影位置Ｐから監視カメラ２にて撮影された画像上の注目物体Ｎの位置に向かう方向である。例えば図３に示すように、監視カメラ２の撮影位置Ｐを原点（０，０）として北を基準方位とすると、基準方位から角度φをなして原点から注目物体Ｎの位置に向かう方向が監視カメラ２の撮影方向Ｄ１となる。そして、この監視カメラ２の撮影方向Ｄ１と対向して飛行装置３から注目物体Ｎの位置に向かう方向が対向方向Ｄ２となる。

尚、監視カメラ２の撮影方向Ｄ１は、監視カメラ２の画角の中央の方向であってもよい。監視カメラ２の画角は、撮影される画像に映される光景の範囲を角度で表したものであり、撮像部２１ａにおける光学センサの撮像面の寸法、画像を撮像面に投射するレンズの焦点距離、レンズの歪みの度合いをパラメータとする関数である。

また、監視カメラ２の撮影方向Ｄ１は、監視カメラ２の撮影位置Ｐから撮影範囲Ｌの注目位置に向かう方向とすることもできる。注目位置は、監視カメラ２の撮影範囲Ｌ内で重要視する位置である。例えば注目物体Ｎが存在する可能性の高い位置（例えば、注目物体Ｎが人物であれば人物が存在する可能性の高い歩道の位置、注目物体Ｎが車両であれば車両が存在する可能性の高い車道の位置など）を注目位置とし、監視員が操作部４５を操作入力することにより、監視目的や監視内容に応じて任意に設定することができる。

位置算出部４３ｃｂは、取得部４３ｂが取得した監視カメラ２の撮影範囲Ｌを、監視カメラ２の撮影位置Ｐとの間で挟む目標位置を算出している。目標位置は、監視カメラ２にて撮影された画像上の注目物体Ｎの位置である。この注目物体Ｎの位置は、監視カメラ２の位置情報、撮影方向、画像中における注目物体の位置から算出することができる。尚、目標位置は、監視員が操作部４５を操作して指定した、撮影範囲Ｌの注目位置を撮影位置Ｐと目標位置で挟む位置として算出することもできる。

飛行装置制御部４３ｄは、角度αと高度Ｈが設定値となるように、飛行装置３からの画像データの飛行装置情報（飛行位置：緯度、経度、高さや撮像部３１ａの撮影方向：水平角度、垂直角度）に基づいて飛行装置３に制御信号を出力し、目標算出部４３ｃの位置算出部４３ｃｂが算出した目標位置まで飛行装置３を移動制御している。また、飛行装置制御部４３ｄは、目標位置において目標算出部４３ｃの方向算出部４３ｃａが算出した対向方向に向けて監視カメラ２の撮影範囲Ｌを含んで撮像部３１ａが撮影するように飛行装置３に制御信号を出力し、飛行装置３又は撮像部３１ａの方向を制御している。

表示制御部４３ｅは、表示部４６の表示を制御している。具体的には、通常の監視状態において、複数の監視カメラ２から所定時間おきに送信される画像データに含まれる最新の画像を表示部４６に表示している。また、後述する補完画像取得処理では、注目物体Ｎを追跡している監視カメラ２と飛行装置３の両方から送信される最新の画像を表示部４６に表示している。これにより、監視員は、表示部４６に表示された画像をモニタすることにより監視領域の最新状況を把握しながら注目物体Ｎを監視することができる。

記憶部４４は、監視カメラ情報、飛行装置情報、画像データなどの各種情報を記憶している。各種情報について説明すると、監視カメラ情報は、各監視カメラ２に関する情報であって、各監視カメラ２の位置情報（撮影位置Ｐ：緯度、経度、高さ）、撮影方向（水平角度と垂直角度）、撮影範囲Ｌ、焦点距離などの情報が含まれ、動的に変化するものは監視カメラ２から受信する画像データに含まれる情報に基づいて逐次更新される。

なお、移動可能な監視カメラ２においては、位置情報、撮影方向、撮影範囲、焦点距離が変化するため、受信する画像データに含まれる情報に基づいて制御部４３により逐次更新される。具体的には、位置情報と撮影方向、焦点距離は受信した情報をそのまま更新し、撮影範囲は画像データに含まれる位置情報、撮影方向、焦点距離に基づいて算出し、更新する。

また、監視領域の所定箇所に固定して設置される監視カメラ２の位置情報に関する情報は、予め記憶部４４に監視カメラ情報の一部として記憶しておくことができる。このような監視カメラ２のうち、パンチルトズーム可能な監視カメラ２については、撮影方向、撮影範囲、焦点距離が変化するため、受信する画像データに含まれる情報に基づいて、上記と同様にして制御部４３により逐次更新される。

また、記憶部４４には、地上の水平面（仮想水平面Ｅ）と飛行装置３の撮像部３１ａとのなす角度αと、地上の水平面からの飛行装置３の高度Ｈの情報が記憶されている。これら角度αと高度Ｈは、監視員の操作部４５の操作入力により、注目物体Ｎの撮影に適した範囲から選択して設定される。具体的に、角度αは、例えば人物が注目物体Ｎである場合、人物の顔が捉えられる角度範囲（例えば０〜３０°）から選択して設定する。また、高度Ｈは、飛行装置３の高さ制限等の飛行条件に合わせた高度範囲（例えば下限高度３０ｍ〜上限高度１００ｍ）から選択して設定する。

飛行装置情報は、飛行装置３に関する情報であって、飛行装置３の位置情報（飛行位置又は撮影位置：緯度、経度、高さ）、カメラ部３１の撮影方向（水平角度と垂直角度）、撮影範囲、焦点距離などの情報が含まれ、動的に変化するものは飛行装置３から受信する画像データに含まれる情報に基づいて、監視カメラ情報の更新と同様にして制御部４３により逐次更新される。

画像データは、各監視カメラ２や飛行装置３から所定のフレーム周期で所定時間おきに送信されるデータであり、監視カメラ２ごと飛行装置３ごとに記憶部４４に逐次蓄積される。

操作部４５は、例えばマウス、キーボード、表示部４６の表示画面上のソフトキーなどで構成される。操作部４５は、後述する補完画像取得処理の指示、角度αと高度Ｈの設定、監視カメラ２の撮影範囲Ｌの注目位置の設定、監視カメラ２の画像に基づく注目物体Ｎの追跡の指示、注目物体Ｎの特徴情報の指定、記憶部４４に記憶保存された画像から注目物体Ｎの指定、各監視カメラ２や飛行装置３への指示（撮影指示、飛行指示）、画像データの削除などを行う際に監視員によって操作される。

表示部４６は、例えば液晶表示器などで構成される。表示部４６は、表示制御部４３ｅの制御により、複数の監視カメラ２や飛行装置３から取得した画像データの表示などを行っている。

次に、上記のように構成される監視システム１の動作として、注目物体Ｎを追跡する監視カメラ２からの画像を補完する画像を取得するために飛行装置３を移動制御する補完画像取得処理について図２及び図３を参照しながら説明する。

通常は、地上から撮影した複数の監視カメラ２からの画像データに基づいて注目物体Ｎを検出して追跡を行っている。ここで、ある監視カメラ２が注目物体Ｎを追跡している際に、監視員が操作部４５を操作して補完画像取得処理の指示がなされると、飛行装置３を移動制御して撮像部３１ａにて撮影を行う補完画像取得処理が実行される。

補完画像取得処理において、取得部４３ｂは、記憶部４４に記憶された監視カメラ情報から監視カメラ２の撮影位置Ｐ（緯度、経度、高さ）、撮影方向（水平角度と垂直角度）及び撮影範囲Ｌに関する情報を取得する。

なお、監視カメラ２の撮影位置Ｐ（緯度、経度、高さ）、撮影方向（水平角度と垂直角度）及び撮影範囲Ｌに関する情報は、監視カメラ２から通信部４１を介して受信した画像データに含まれる情報から取得することもできる。

続いて、目標算出部４３ｃは、取得部４３ｂが取得した監視カメラ２の撮影方向から、監視カメラ位置から注目物体Ｎまでの方向を撮影方向Ｄ１として算出する。そして、取得した監視カメラ２の撮影位置Ｐ（緯度、経度、高さ）、撮影方向Ｄ１（水平角度と垂直角度）を元に、飛行装置３を移動制御するための目標の方向と位置を算出する。この目標算出部４３ｃにおいて、方向算出部４３ｃａが算出する対向方向と位置算出部４３ｃｂが算出する目標位置について説明する。

図２は地上の水平面を仮想水平面Ｅとし、仮想水平面Ｅを側面から見たときの注目物体Ｎと監視カメラ２と飛行装置３との位置関係を示す図である。また、図３は上空から地上を鉛直方向に見たときの仮想水平面Ｅ上における注目物体Ｎと監視カメラ２と飛行装置３との位置関係を示す図である。

図２において、注目物体Ｎを追跡する監視カメラ２から飛行装置３の撮像部３１ａまでの仮想水平面Ｅ上の撮影距離（直線距離）をＷ、監視カメラ２と注目物体Ｎとの間の仮想水平面Ｅ上の直線距離をａ、飛行装置３と注目物体Ｎとの間の仮想水平面Ｅ上の直線距離をｂ、注目物体Ｎと飛行装置３の撮像部３１ａとを結ぶ直線と仮想水平面Ｅとのなす角度をα、仮想水平面Ｅからの飛行装置３の高度をＨとすると、仮想水平面Ｅ上の撮影距離Ｗは、Ｗ＝ａ＋ｂ、Ｗ＝ａ＋（Ｈ／ｔａｎα）で表すことができる。

そして、図２の仮想水平面Ｅ上の監視カメラ２と注目物体Ｎとの間の直線距離ａは、取得部４３ｂが取得した監視カメラ情報の位置情報と撮影方向と画像中における注目物体Ｎの位置から算出することができる。また、注目物体Ｎと飛行装置３の撮像部３１ａとを結ぶ直線と仮想水平面Ｅとのなす角度αと、仮想水平面Ｅからの飛行装置３の高度Ｈは、監視員の操作部４５の操作により予め設定される。従って、撮影距離Ｗを一意に定めることができる。

今、図３に示すように、注目物体Ｎを追跡する監視カメラ２の撮影位置Ｐを原点（０，０）としたときの基準方位（北）と注目物体Ｎとのなす角度をφとすると、飛行装置３の移動位置（目標位置）は図３における座標（Ｗｓｉｎφ，Ｗｃｏｓφ）、撮影方向はφ＋１８０°として算出することができる。

これにより、飛行装置制御部４３ｄは、飛行装置３を座標（Ｗｓｉｎφ，Ｗｃｏｓφ）の移動位置まで移動制御し、飛行装置３又は撮像部３１ａの撮影方向をφ＋１８０°に撮影制御する。この飛行装置３の移動制御にあたっては、設定された角度αと高度Ｈになるように、飛行装置３から所定フレーム周期で所定時間おきに送信される画像データに含まれる飛行装置情報の飛行位置（緯度、経度、高さ）や撮像部３１ａの撮影方向（水平角度、垂直角度）に基づいて飛行装置３の飛行状態を制御する。ここで、角度αと高度Ｈの制御は、例えば、注目物体Ｎを撮影する角度を優先する場合、角度αが設定値に近づくようにまず移動制御し、それから角度αが設定値となった後に高度Ｈが設定値に近づくように移動制御してもよいし、飛行装置３が飛行する高度を優先する場合は、高度Ｈが設定値に近づくようにまず移動制御し、高度Ｈが設定値となった後に角度αが設定値に近づくように移動制御してもよい。

飛行装置３が目標位置に到着すると、監視カメラ２と対向する反対位置から監視カメラ２の撮影範囲Ｌを含む撮影範囲で撮像部３１ａが撮影する。この撮像部３１ａが撮影する画像は、監視カメラ２からは把握できない情報を多く含んだ画像である。そして、飛行装置３は、撮像部３１ａが撮影した画像を所定フレーム周期で所定時間おきにセンタ装置４に送信する。センタ装置４は、監視カメラ２からは把握できない情報を含んだ飛行装置３からの画像を受信し、監視カメラ２からの画像とともに表示部４６に表示する。これにより、監視員は、監視カメラ２からの画像だけでなく、監視カメラ２からは把握できない情報を含んだ飛行装置３からの画像をモニタし、監視領域の状況を把握しながら注目物体Ｎの監視を行うことができる。

なお、上述した実施の形態においては、位置算出部４３ｃｂが算出する目標位置は、図３の座標上で示した位置そのものとして説明したが、この位置を中心とした誤差範囲を設け、この誤差範囲を目標位置としてよい。

以上説明したように、上述した実施の形態による監視システム１によれば、以下に示す効果を奏する。

監視員による操作部４５の操作により補完画像取得処理の指示があると、監視カメラ２の撮影位置Ｐ、撮影方向及び撮影範囲Ｌに関する情報を取得部４３ｂが取得し、監視カメラ２の撮影方向Ｄ１と対向する対向方向Ｄ２と、監視カメラ２の注目物体位置Ｎを撮影位置Ｐとの間で挟む目標位置とを目標算出部４３ｃが算出し、目標位置に飛行装置３を移動させて監視カメラ２と対向する方向に撮像部３１ａを向け、監視カメラ２の撮影範囲Ｌを含んで撮影するように飛行装置制御部４３ｄが飛行装置３を制御する。かかる構成により、上空から平面視した仮想水平面Ｅ上において、監視カメラ２が撮影している撮影方向Ｄ１と対向する方向Ｄ２から飛行装置３の撮像部３１ａが監視カメラ２の撮影範囲Ｌを含んで撮影するように飛行装置３が移動制御され、監視領域の状況を把握するのに適した画像として、監視カメラ２の画像からは把握できない情報を多く含んだ画像（監視カメラ２と対向して注目物体Ｎを反対側から撮影した画像）を得ることができる。

監視カメラ２の撮影位置Ｐから監視カメラ２にて撮影された画像上の注目物体Ｎの位置に向かう方向を監視カメラ２の撮影方向とすれば、注目物体Ｎに対して監視カメラ２と対向する反対位置から注目物体Ｎの画像を補完して撮影することができる。例えば注目物体Ｎが人物である場合、監視カメラ２が人物を正面から撮影していれば、飛行装置３の撮像部３１ａは人物を背面から撮影するので、人物を異なる方向から撮影した画像を取得することができる。また、監視カメラ２の画角の中央の方向を監視カメラ２の撮影方向とすれば、監視カメラ２の撮影範囲全体を考慮して対向する反対位置から、監視カメラ２の画角の中央の画像を補完した画像を撮影することができる。さらに、監視カメラ２の撮影位置Ｐから撮影範囲Ｌの注目位置に向かう方向を監視カメラ２の撮影方向とすれば、監視カメラ２の画像上で重要視する注目位置の画像を補完した画像を撮影することができる。

監視カメラ２にて撮影された画像上の注目物体Ｎの位置を撮影位置Ｐと目標位置とで挟むように目標位置を算出すれば、監視カメラ２の画像からは把握できない情報として、注目物体Ｎ（例えば人物や車両など）に関する情報を多く含んだ画像を得ることができる。また、監視カメラ２の撮影範囲Ｌの注目位置を撮影位置Ｐと目標位置とで挟むように目標位置を算出すれば、監視カメラ２からは把握できない情報として、例えば注目物体Ｎが存在する可能性の高い注目位置（例えば、注目物体Ｎが人物であれば人物が存在する可能性の高い歩道の位置、注目物体Ｎが車両であれば車両が存在する可能性の高い車道の位置など）に関する情報を多く含んだ画像を得ることができる。

このように、本実施の形態に係る監視システムによれば、監視カメラ２と飛行装置３とを連携させ、監視カメラ２からの画像と合わせて、監視カメラ２の画像からでは把握できない情報を多く含んだ画像を飛行装置３から取得し、これらの画像から監視領域の状況を把握して監視を行うことができる。

以上、本発明に係る監視システムの最良の形態について説明したが、この形態による記述及び図面により本発明が限定されることはない。すなわち、この形態に基づいて当業者等によりなされる他の形態、実施例及び運用技術などはすべて本発明の範疇に含まれることは勿論である。

１ 監視システム
２ 監視カメラ
３ 飛行装置
４ センタ装置（追跡処理装置）
２１ カメラ部
２２ 制御部
２３ 通信部
３１ カメラ部
３２ 推進部
３３ 方向舵
３４ 測位部
３５ 姿勢検出部
３６ 制御部
３７ 無線通信部
４１ 通信部
４２ 無線通信部
４３ 制御部
４３ａ 注目物体検出部
４３ｂ 取得部
４３ｃ 目標算出部
４３ｃａ 方向算出部
４３ｃｂ 位置算出部
４４ 記憶部
４５ 操作部
４６ 表示部
Ｄ１ 監視カメラの撮影方向
Ｄ２ 飛行装置の撮像部の撮影方向
Ｅ 仮想水平面
Ｌ 監視カメラの撮影範囲
Ｎ 注目物体
Ｐ 撮影位置

Claims (3)

1. 地上から撮影する監視カメラと、上空から撮影する撮像部を有する飛行装置とを備えた監視システムであって、
   前記監視カメラの撮影方向と対向する対向方向を算出する方向算出部と、
   前記監視カメラの撮影範囲を当該監視カメラの撮影位置とで挟む目標位置を算出する位置算出部と、
   前記目標位置に前記飛行装置を移動させて前記対向方向に前記撮像部を向けて前記撮影範囲を撮影するように制御する飛行装置制御部と、
   を備えたことを特徴とする監視システム。
2. 前記撮影方向は、前記撮影位置から前記監視カメラにて撮影された画像上の注目物体の位置に向かう方向、前記監視カメラの画角の中央の方向、又は、前記撮影位置から前記撮影範囲の注目位置に向かう方向とする請求項１に記載の監視システム。
3. 前記目標位置は、前記監視カメラにて撮影された画像上の注目物体の位置、又は、前記撮影範囲の注目位置を、前記撮影位置で挟む位置とする請求項１又は２に記載の監視システム。

Images