JP2010245763A - 制御装置,監視システムおよびプログラム - Google Patents

制御装置,監視システムおよびプログラム Download PDF

Info

Publication number
JP2010245763A
JP2010245763A JP2009091230A JP2009091230A JP2010245763A JP 2010245763 A JP2010245763 A JP 2010245763A JP 2009091230 A JP2009091230 A JP 2009091230A JP 2009091230 A JP2009091230 A JP 2009091230A JP 2010245763 A JP2010245763 A JP 2010245763A
Authority
JP
Japan
Prior art keywords
monitoring
violation
degree
target
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009091230A
Other languages
English (en)
Inventor
Keiji Matsuo
啓志 松尾
Toshihiro Matsui
俊浩 松井
Motohiro Yamaji
基洋 山路
Atsushi Inuzuka
敦史 犬塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya Institute of Technology NUC
Chuo Electronics Co Ltd
Original Assignee
Nagoya Institute of Technology NUC
Chuo Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya Institute of Technology NUC, Chuo Electronics Co Ltd filed Critical Nagoya Institute of Technology NUC
Priority to JP2009091230A priority Critical patent/JP2010245763A/ja
Publication of JP2010245763A publication Critical patent/JP2010245763A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】監視空間における監視対象の移動を監視するに際し、監視に際しての制約の下で適切なセンサによる監視が行われるようにする。
【解決手段】各ノード4は、監視空間に存在するものとして同定した監視対象毎に、この監視対象を監視制約の下で監視するのに適した1以上のカメラ2を選定する(s160,s230)。そして、こうして選定されたカメラ2それぞれの検出領域を変位させて監視対象に追従させることにより(s250)、その監視対象を監視することができる。このように、各監視対象を監視するカメラ2として、監視制約の下で監視対象を監視するのに適したものを選定することができるため、監視制約の下で適切なカメラ2により監視対象の監視を行うことができる。
【選択図】図4

Description

本発明は、それぞれ所定の検出領域において監視対象が存在することを検出する複数のセンサと、該センサをそれぞれ管理する複数のノードと、からなり、センサそれぞれが設置された監視空間にて監視対象を監視する監視システムに関する。
近年、監視空間にて監視対象を監視する監視システムとして、例えば、センサ(監視カメラ)における検出領域を監視空間における監視対象に追尾させている状態で、別の監視対象(侵入者)が検出された場合に、隣接するセンサにより監視対象の追尾を引き継がせる、という技術が提案されている(特許文献1参照)。
特開2008−219452号公報
監視空間において監視対象を監視するには、例えば、監視対象をいくつのセンサにより監視するか、各センサが同時にいくつの監視対象を監視するか、といった監視上の制約に則した適切なセンサを選定して監視対象を監視させることが望ましい。
しかし、上述した技術では、単に別の監視対象の検出をもって、隣接するセンサに監視対象の追尾を引き継がせているだけであるため、必ずしも制約の下で適切なセンサによる監視が行われるとはいえない。これは、監視対象の追尾を引き継がせるという目的上、監視対象の監視を行うための環境を、監視制約に応じて柔軟に変更できないためである。
本発明は、このような課題を解決するためになされたものであり、その目的は、監視空間において監視対象を監視するに際し、監視に際しての制約の下で適切なセンサによる監視が行われるようにするための技術を提供することである。
上記課題を解決するため第1の構成(請求項1)は、それぞれ所定の検出領域において監視対象が存在することを検出する複数のセンサと、該センサをそれぞれ管理する複数のノードと、からなり、前記センサそれぞれが設置された監視空間にて監視対象を監視する監視システム,における前記ノードである。
そして、当該ノードに管理されるセンサにより監視対象の存在が検出された際に、該監視対象の前記検出領域における位置,および,該検出領域の前記監視空間における位置に基づいて、監視対象が存在する前記監視空間の位置(空間位置)を特定する対象特定手段と、前記対象特定手段により特定された空間位置に基づき、前記監視空間に存在する監視対象を同定する対象同定手段と、あらかじめ定められた監視制約に基づいて、複数のセンサの中から、前記対象同定手段により同定された監視対象を前記監視制約の下で監視するのに適した1以上のセンサを監視対象毎に選定するセンサ選定手段と、前記センサ選定手段により選定されたセンサのうち、当該制御装置に実装されたノードにより制御可能なセンサそれぞれの検出領域が、該センサの選定に際して参照された前記空間位置に重なるように、そのセンサの検出領域を変位させる領域変位手段と、を備える。
この構成では、監視空間に存在するものとして同定した監視対象毎に、この監視対象を監視制約の下で監視するのに適した1以上のセンサが選定される。そして、こうして選定されたセンサそれぞれの検出領域を変位させて監視対象に追従させることにより、その監視対象を監視することができる。
このように、各監視対象を監視するセンサとして、監視制約の下で監視対象を監視するのに適したものを選定することができるため、監視制約の下で適切なセンサにより監視対象の監視を行うことができる。
また、監視制約の下で監視対象を監視するのに適したセンサを選定するという構成上、監視制約を変更すれば、監視対象の監視を行うための環境を監視制約に応じて適切かつ柔軟に変更することができる。
この構成において、他のノードから空間位置を知得するに際しては、他のノードが空間位置に関する情報を発信していれば、この情報を受けて知得すればよく、また、他のノードにおいて空間位置に関する情報が格納された記憶領域へとアクセスし、これを読み出して知得することとしてもよい。
また、上記構成において、監視空間に存在する監視対象を同定するに際しては、ノード自身が特定した空間位置と、他のノードから知得した空間位置とを対比し、空間位置が所定のしきい値以上離れている空間位置に存在する監視対象をそれぞれ別のものとし、しきい値以上近似している空間位置に存在する監視対象を同一のものとして同定すればよい。
また、上記構成において、センサの検出領域を変位させるには、例えば、センサそのものの向きを変更したり、センサの指向性を変化させたり、することが考えられる。
上記構成において、監視空間に存在する監視対象は、ノード自身が検出できていなくても、他のノードにのみ検出されている場合もある。そのため、他のノードに検出される監視対象を考慮したうえで、監視対象を同定できるようにすることが望ましい。
このためには、上記構成を以下に示す第2の構成(請求項2)のようにするとよい。
この構成においては、当該ノード以外のノードのうち、いずれか1以上のノード(以降、「他ノード」という)により特定された前記空間位置それぞれを前記他ノードから知得する位置知得手段,を備えている。そして、前記対象同定手段は、前記対象特定手段により特定された空間位置,および,前記位置知得手段により知得された空間位置に基づき、前記監視空間に存在する監視対象を同定する。
この構成であれば、ノード自身で検出した監視対象だけでなく、他のノードにおいて検出された監視対象を参照して監視対象を同定することができるため、他のノードのみが検出した監視対象を含めて、監視空間に存在する監視対象を同定することができる。
また、上記各構成において、監視制約の下で監視対象を監視するのに適したセンサを選定する具体的な構成については特に限定されないが、例えば、同定された監視対象それぞれの空間位置,および,複数のセンサそれぞれの位置関係に基づいて、複数のセンサの中から、監視制約の下で監視対象を監視できる1以上のセンサを選定することが考えられる。
より具体的には、監視対象それぞれを監視すべきセンサの組み合わせを変数とし,かつ,監視制約への違反度合を目的関数とする最適化問題を解くことにより、違反度合が最小となる組み合わせに応じたセンサを選定することが考えられる。
このための構成としては、上記構成を以下に示す第3の構成(請求項3)のようにすることが考えられる。
この構成においては、前記対象同定手段により同定された監視対象それぞれを監視すべきセンサの組み合わせを変数とし,かつ,前記監視制約への違反度合を目的関数とする最適化問題を解くことにより、前記監視対象それぞれについて前記違反度合が最小となるセンサの組み合わせを特定する問題解決手段,を備えている。そして、前記センサ選定手段は、前記問題解決手段により特定された監視対象それぞれにおける組み合わせに基づき、該組み合わせに応じたセンサを、該組み合わせに係る監視対象を監視するのに適したセンサとして選定する。
具体的には、この構成を以下に示す第4の構成の(請求項4)ように構成するとよい。
この構成においては、前記対象同定手段により同定された監視対象を監視すべきセンサの組み合わせを変数として有し、該変数に基づいて前記監視制約への違反度合を算出するための目的関数を生成する関数生成手段と、前記関数生成手段により生成された目的関数を解く際に使用する変数の値として、所定の組み合わせを表す変数の値を仮選定する仮選定手段と、前記関数生成手段により生成された目的関数を、前記仮選定手段により仮選定された変数の値を使用して解くことにより、前記監視制約への違反度合を算出する違反度合算出手段と、を備えている。
そして、前記問題解決手段は、前記違反度合算出手段により算出された違反度合を、その算出に際して使用された少なくとも1以上の変数の値を変更させた場合に算出されうる1種類以上の違反度合それぞれと対比した結果、該違反度合のいずれもが、前記違反度合算出手段により算出された違反度合以上である場合に、前記仮選定手段により仮選定されている変数の値で示されるセンサの組み合わせを、前記監視対象それぞれについて前記違反度合が最小となるセンサの組み合わせとして特定している。
さらに、前記問題解決手段による対比の結果、前記1種類以上の違反度合のいずれかが、前記違反度合算出手段により算出された違反度合未満である場合に、前記仮選定手段により仮選定されている変数の値を別の値に変更させた後、前記違反度合算出手段による違反度合の算出,および,前記問題解決手段による対比,を繰り返し実行させる繰り返し手段,を備えている。
これら構成であれば、監視制約への違反度合を目的関数とする最適化問題を解くことにより、違反度合が最も低い組み合わせを特定することができ、この組み合わせに応じたセンサ,つまり監視制約の下で監視対象を監視するのに適したセンサを選定することができる。
この構成において、変数の値を仮選定するに際しては、どのような値を選定することとしてもよく、例えば、想定される複数の組み合わせの中から、所定の規則に従って決められた組み合わせを表す値を選定することとすればよい。
上記第3の構成において、最適化問題を解く際に使用する変数は、監視空間に存在するものとして同定された監視対象それぞれについて用意されるが、同じ監視対象についての変数が他のノードにおいても用意されることになる。そのため、他のノード側で用意される変数の値または違反度合を考慮したうえで、最適化問題を解くことができるようにすることが望ましい。
このためには、上記第4の構成を以下に示す第5の構成(請求項5)のようにすることが考えられる。
この構成において、前記関数生成手段は、前記対象同定手段により同定された監視対象のうち、当該ノードが監視可能な位置に存在する監視対象を監視すべきセンサの組み合わせを変数として有する目的関数であり、該変数に基づいて前記監視制約への違反度合を算出するための部分目的関数を生成する。また、前記違反度合算出手段は、前記関数生成手段により生成された部分目的関数を、前記仮選定手段により仮選定された変数の値を使用して解くことにより、前記監視制約への違反度合(以降「部分違反度合」という)を算出する。
さらに、当該ノード以外のノードのうち、いずれか1以上のノード(以降、「他ノード」という)により算出された前記部分違反度合それぞれを前記他ノードから知得する個別度合知得手段と、前記違反度合算出手段により算出された部分違反度合,および,前記個別度合知得手段により知得された部分違反度合に基づいて、前記監視システムにおける局所的な違反度合(以降「局所違反度合」という)を算出する局所度合算出手段と、を備えている。
そして、前記問題解決手段は、前記局所度合算出手段により算出された局所違反度合を、その算出に際して使用された少なくとも1以上の変数の値を変更させた場合に算出されうる1種類以上の局所違反度合それぞれと対比した結果、該局所違反度合のいずれもが、前記局所度合算出手段により算出された局所違反度合以上である場合に、前記仮選定手段により仮選定されている変数の値で示されるセンサの組み合わせを、前記監視対象それぞれについて前記違反度合が最小となるセンサの組み合わせとして特定しており、前記繰り返し手段は、前記問題解決手段による対比の結果、前記1種類以上の局所違反度合のいずれかが、前記局所度合算出手段により算出された局所違反度合未満である場合に、前記仮選定手段により仮選定されている変数の値を別の値に変更させた後、前記違反度合算出手段による部分違反度合の算出,前記個別度合知得手段による部分違反度合の知得,前記局所度合算出手段による局所違反度合の算出,および,前記問題解決手段による対比を繰り返し実行させる。
この構成であれば、ノード自身で算出した違反度合だけでなく、他のノードにおいて算出された違反度合を参照して最適化問題を解くことができるため、他のノードが算出した違反度合が考慮されたセンサの組み合わせ,つまりシステム全体としても適切といえるセンサの組み合わせを特定することができる。
この構成において、他のノードから違反度合を知得するに際しては、他のノードが違反度合に関する情報を発信していれば、この情報を受けて知得すればよく、また、他のノードにおいて違反度合に関する情報が格納された記憶領域へとアクセスし、これを読み出して知得することとしてもよい。
また、この構成において、局所違反度合を算出するに際しては、算出した部分違反度合,および,知得された部分違反度合を正規化(例えば、合算,平均化など)することにより、これを局所違反度合として算出するようにすることが考えられる。
なお、上述した各ノードは、管理装置に実装された状態で機能するものとすればよく、この管理装置に複数のノードを実装してもよい。
また、上記課題を解決するため第6の構成(請求項6)は、それぞれ所定の検出領域において監視対象が存在することを検出する複数のセンサと、該センサをそれぞれ管理する複数のノードと、からなり、前記センサそれぞれが設置された監視空間にて監視対象を監視する監視システムであって、前記ノードは、上記第1から第5のいずれかの構成に係るノードが備える全ての手段を備える。
このように構成された監視システムであれば、上記第1から第5のいずれかに係るノードと同様の作用,効果を得ることができる。
また、この監視システムでは、各ノードが協調して動作することにより、監視対象を監視するのに適したセンサが選定され、このセンサで検出可能な監視空間中の位置に監視対象が存在している間、そのセンサの検出領域を監視対象に追従させていくことができる。
そして、あるセンサの検出領域から監視対象が外れるような場合であっても、その監視対象を検出可能な他のセンサが新たに選定されるようになる結果、このセンサの検出領域を監視対象に追従させていくことができる。このようにして、監視空間を移動する監視対象を継続的に監視することができる。
この監視システムにおいて、各ノードは、それぞれが異なる管理装置に実装されていてもよいし、1以上のノードが同じ管理装置に実装されていてもよい。
また、上記課題を解決するため第6の構成(請求項6)は、上記第1から第5のいずれかに記載の全ての手段として機能させるための各種処理手順をコンピュータシステムに実行させるためのプログラムである。
このプログラムにより制御されるコンピュータシステムは、上記第1から第5のいずれかに係る制御装置またはノードとして機能することができる。
なお、上述したプログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して制御装置,監視システムや、これを利用するユーザ等に提供されるものである。
監視システム全体の構成を示すブロック図 物理的なシステム構成(a)と仮想的なシステム構成(b)を示す図 対象監視処理を示すフローチャート 監視対象それぞれを同定するまでの流れを示す図 変数の値域の例を示す図 監視制約を用いて最適化問題を表現した制約網を示す図 ノード間において変数がやりとりされる様子を示す図 ノード間において違反度合がやりとりされる様子を示す図 監視空間を移動する監視対象を継続的に監視する様子を示す図
以下に本発明の実施形態を図面と共に説明する。
[1] 全体構成
監視システム1は、図1に示すように、複数のカメラ2と、それぞれ1以上のカメラ2を管理する複数の管理装置3と、からなり、各管理装置3が協調して動作することで所定の監視空間に存在する監視対象物体(以降、単に「監視対象」という)を監視するためのシステムである。
カメラ2は、所定範囲に拡がる検出領域の画像を撮影する撮影部22と、管理装置3が接続されるサーバインタフェース(I/F)24と、カメラ2の向きを変更させることで撮影部22における検出領域を変位させる変位部26と、を備えており、カメラ2の起動中、撮影部22により生成した画像をサーバインタフェース24経由で繰り返し管理装置3へと送信するように構成されている。
なお、本実施形態では、後述する監視対象の空間位置を、床面に監視対象を投影した場合における重心位置(2次元座標)として簡易的に管理するために、カメラ2が、監視空間である部屋の天井側から床面を見下ろすような位置関係で設けられている。
管理装置3は、管理装置3全体の動作を制御する制御部31と、各種データを記憶する記憶部33と、カメラ2が接続されるカメラインタフェース(I/F)35と、ネットワーク100を介して他の管理装置3との通信を制御する通信部37と、操作部および表示部などからなるユーザインタフェース(I/F)39と、を備えている。
これらのうち、制御部31は、記憶部33に記憶されたプログラムに従ってカメラ制御用の処理を実行することにより、各カメラ2の制御を行う仮想的な1以上のカメラノード(以降、単に「ノード」という)4それぞれとして機能し(図2参照)、このノード4それぞれによりカメラ2が管理されることとなる。
[2]ノード4による対象監視処理
以下に、カメラ2が起動した以降ノード4により繰り返し実行される対象監視処理の処理手順を図3に基づいて説明する。
この対象監視処理が起動されると、まず、当該ノード4に対応するカメラ(以降「対応カメラ」という)2から受信された画像が取得される(s110)。ここで取得される画像(以降「取得画像」という)は、その時点における対応カメラ2の検出領域を撮影したものである。
次に、上記s110にて取得された取得画像に基づいて、その時点における対応カメラ2の検出領域に監視対象が存在しているか否かがチェックされる(s120)。
本実施形態において、ノード4は、対応カメラ2の起動直後および変位部26により検出領域が変位させられる毎に、背景設定処理を実行するように構成されている。この背景設定処理とは、対応カメラ2から入力される画像を繰り返し受信し、一定期間にわたり画像の差分に一定以上の変化がないことをもって、その画像を背景画像として設定する、という処理である。ここで設定される背景画像は、検出領域の変位が開始されたタイミングで解除され、その変位が終了したタイミングで背景設定処理により再設定される。
そして、このs120では、上記s110にて取得された取得画像と設定済み背景画像とが対比され、取得画像において背景画像に対する差分が所定のしきい値以上となっている領域が存在している場合に、検出領域に監視対象が存在していると判定される。
このことを、図4(a)に示すように、床面が四角形となっている領域を横方向に2つ連結した監視空間を想定し、この監視空間における四角形の頂点(6箇所)それぞれにカメラ2(カメラ2(1)〜2(6))が設置されたケースで例示すると、対応カメラ2の検出領域に監視対象(人物100,200)が入ってきたことをもって、検出領域に監視対象が存在していると判定される(同図(b)参照)。
なお、このs120の時点で背景画像が設定されていない場合には、直ちに検出領域に監視対象が存在していないと判定すればよく、また、上記s110における取得画像の直前に取得された画像との差分のみに基づいて検出領域に監視対象が存在しているか否かを判定してもよい。
このs120で検出領域に監視対象が存在していると判定された場合(s120:YES)、その監視対象それぞれに関する対象情報が生成された後(s130)、プロセスが次の処理(s140)へと移行する。
このs130では、検出領域に存在していると判定された監視対象それぞれに割り当てた監視対象IDと、その監視対象の監視空間における位置(空間位置)と、の対応関係を特定可能な情報が対象情報として生成される。なお、上述した空間位置は、監視空間の形状,検出領域の監視空間中における位置,取得画像における監視対象の位置などに基づいて、監視対象の床面における重心位置を示す座標情報として一意に特定される(図4(c)参照)。
また、上記s120で検出領域に監視対象が存在していないと判定された場合(s120:NO)、上記s130が行われることなく、プロセスが次の処理(s140)へと移行する。
次に、他のノード4との間で一定期間にわたり対象情報がやりとり(送受信)される(s140)。ここでは、上記s130により対象情報が生成された場合にのみ、これが他のノード4へと送信される。この対象情報は、ノード4を識別するためのノードIDが付加された状態で送信される。
また、ここでの対象情報のやりとりは、全てのノード4のうち、監視空間において同じ監視対象を同時に検出可能なものとしてあらかじめ定められたノード4との間でのみ実施される。この「同じ監視対象を同時に検出可能」とは、あるノード4に対応するカメラ2の検出領域が、他のノード4に対応するカメラ2の検出領域と重複しうることであり、重複する検出領域それぞれにおいて同じ監視対象をノード4が検出できる、ということを意味している。
上述したケースでいえば、同一の四角形における各頂点に設けられたカメラ2のグループが、「同じ監視対象を同時に検出可能」なカメラ2のグループとして定められている。より具体的には、図4(a)のカメラ2(1),2(2),2(4),2(5)のグループと、カメラ2(2),2(3),2(5),2(6)のグループとが、それぞれ「同じ監視対象を同時に検出可能」なカメラ2のグループとなっている。
なお、ここでは、あらかじめ定められたノード4との間でのみ対象情報のやりとりが実施されるが、対象情報の送信先を限定することなく、全てのノード4に対して対象情報を同報送信(ブロードキャスト)してもよい。この場合、各ノード4は、対象情報の送信元が、「同じ監視対象を同時に検出可能」なノード4である場合にのみ、これを取得することとすればよい。
次に、上記s130にて生成された対象情報,および,上記s140にて他のノード4から取得した対象情報に基づいて、監視空間に存在する監視対象それぞれが同定される(s150)。ここでは、該当する対象情報で示される全ての監視対象IDのうち、この監視対象IDに対応する空間位置が所定のしきい値以上近似している監視対象IDそれぞれが、同一の監視対象に係るものとして統合(例えば、一方の監視対象IDを削除など)される。これにより、統合された後の監視対象IDそれぞれで識別される監視対象が、その監視対象IDに対応する空間位置に存在する監視対象として同定されたこととなる。
上述したケースで例示すれば、図4(d)に示すように、監視対象200を検出しているカメラ2(2)に対応するノード4は、その監視対象200についての監視対象IDおよび空間位置を、対応カメラ2による検出結果だけでなく、同じ監視対象200を検出している別のカメラ2(3)に対応するノード4からも知得することとなる。しかし、これら空間位置は、所定のしきい値以上近似する値を示す結果、一方の監視対象IDに統合されて1つの監視対象200が同定される。
一方、監視対象200を検出できていないカメラ2(6)に対応するノード4は、その監視対象200についての監視対象IDおよび空間位置を確認できていないが、これらを同じ監視対象200を検出している別のカメラ2(2)または2(3)に対応するノード4から知得することとなる。そのため、この監視対象IDおよび空間位置について監視対象200が同定される。
次に、上記s150にて同定された監視対象につき、この「監視対象それぞれを監視すべきカメラ2の組み合わせ」を変数とし,かつ,あらかじめ定められた監視制約への違反度合を目的関数とする最適化問題が生成される(s160)。
ここでは、監視対象ti(i=1,2,…)と監視対象tiを監視するカメラsj(j=1,2,…)との対応関係を変数Xti,sjとして表し、この変数に基づいて監視制約への違反度合を演算可能な目的関数(部分目的関数)fk(k=0,1,…)を結合してなる大域的な目的関数(大域目的関数)が算出される。この目的関数における変数Xti,sjで示される値域を図5に示す。なお、ここで算出される大域目的関数は、ノード4自身が監視可能な位置(ノード4(1),4(2),4(4),4(5)であれば、左側の四角形内)に存在する監視対象についての部分目的関数のみを連結したものとなる。
本実施形態において、最適化問題は、(1)監視対象を監視するカメラの数,(2)カメラが同時に監視できる監視対象の数,(3)他のノード4において選定された組合せとの整合性,などの監視制約を用いた制約網により表現される。上述したケース(図6(a)参照)について例示すれば、図6(b)に示す制約網により最適化問題が表現される。
この制約網においては、図6(c)に示すように、監視対象ti(i=1,2,…)と監視対象tiを監視するカメラsj(j=1,2,…)との対応関係を変数Xti,sjとして表し、この変数に基づいて監視制約への違反度合を演算可能な部分目的関数fk(k=0,1,…)それぞれを合算したものが大域目的関数Fとなる。
なお、部分目的関数fkは、各監視制約に基づいて変数値のしきい値,または,変数同士の適切な組み合わせを規定した関数であり、(1)監視対象を監視するカメラの数が、監視制約で規定された制約値を外れるほど大きくなる。また、(2)カメラが同時に監視できる監視対象の数が監視制約で規定された制約値を外れていなければ違反度合は0となるが、外れていると違反度合が無限大(∞)になる。また、(3)他のノード4において選定された組合せが整合していなければ違反度合は0となるが、整合していないと違反度合が無限大(∞)になる。
そして、ノード4それぞれは、上述した大域目的関数Fを構成する部分目的関数fkのうち、ノード4自身に関係する変数を含む部分目的関数それぞれを結合してなる局所目的関数を算出する。上述したケースにおけるカメラ2(1)に対応するノード4(1)で例示すれば、このノード4は、図6(b),(c)に示すように、監視対象100についての変数Xt1,s1を有するため、この変数を含む部分目的関数f0(Xt1,s1)およびf10(Xt1,s1,Xt2,s1,Xt4,s1,Xt5,s1)を結合してなる局所目的関数f0+f10を生成する。
次に、上記s160により生成された最適化問題に基づいて、ノード4自身が検出している監視対象を監視すべきカメラ2の組み合わせが仮選定される(s170)。ここでは、上記s160にて算出された目的関数の変数のうち、ノード4自身に関係する変数の値として取りうるいずれかの値が初期値として設定され、この値で規定されるカメラ2の組合せが仮選定される。ここでは、任意の規則に従って初期値が設定される。
次に、上記s170にて仮選定されたカメラ2の組み合わせ(を規定する変数の値)が他のノード4との間でやりとりされる(s180)。本実施形態において、変数の値の送信は、上記s140と同様、監視空間において同じ監視対象を同時に検出可能なノード4に対して実施される。
上述したケースにおけるノード4(1)で例示すれば、このノード4(1)は、図7に示すように、自身が仮選定した組み合わせを規定する変数値Xt1,s1を他のノード4それぞれに送信すると共に、他のノード4それぞれが仮選定した組み合わせを規定する変数値Xt2,s1,Xt4,s1,Xt5,s1を受信する。
次に、上記s160にて生成された最適化問題を、上記s170で仮選定されたカメラ2の組み合わせ,および,上記s180で他のノード4から受信したカメラ2の組み合わせ,を変数とする部分目的関数の解に基づいて、その組み合わせにおける監視制約の違反度合(部分違反度合)が算出される(s190)。ここでは、上記s160にて算出された部分目的関数それぞれを、上記s170で設定された変数値および上記s180で受信した変数値で解いてなる違反評価値に基づいて、各部分目的関数についての監視制約の部分違反度合が算出される。
上述したケースにおけるカメラ2(1)に対応するノード4(1)で例示すれば、このノード4(1)は、部分目的関数f0(Xt1,s1),f10(Xt1,s1,Xt2,s1,Xt4,s1,Xt5,s1)それぞれについて、監視制約の違反度合を算出する。ここで、監視制約(1)「監視対象を監視するカメラの数」の制約値が「3」である場合に、部分目的関数f0,f10に含まれる変数が以下に示す値になっているとすると、部分目的関数f0を算出した結果は違反評価値「0」となり、部分目的関数f10を算出した結果は違反評価値「∞」となる。
・ 変数Xt1,s1={s1,s2,s4}
・ 変数Xt2,s1={s1,s5}
・ 変数Xt4,s1={s1,s4}
・ 変数Xt5,s1={s4,s5}
部分目的関数f0については、変数Xt1,s1により監視対象t1に3つのカメラ2(s1,s2,s4)が割り当てられており、このカメラ2の数「3」が、監視制約(1)の制約値「3」と一致するため、関数としての算出結果たる違反評価値は「0」となる。なお、この部分目的関数f0のように、1つの変数のみにより構成されている目的関数については、監視制約(1)に関してのみ違反評価値が算出され、この違反評価値が部分違反度合として算出される。
また、部分目的関数f10について、複数の変数Xt1,s1,Xt2,s1,Xt4,s1,Xt5,s1それぞれは、同じ監視対象t1についての変数であるが、その変数値が一致していない。つまり、同一の監視対象t1を監視するカメラ2の組み合わせが各ノード4において整合していないため、関数としての算出結果たる違反評価値は「∞」となる。なお、この目的関数f10のように、同じ監視対象t1についての変数だけで構成されている目的関数については、監視制約(1),(3)に関してのみ違反評価値が算出され、これらの合計値が部分違反度合として算出される(監視制約(2)についての説明は省略)。
次に、上記s190により算出された部分違反度合が他のノード4との間でやりとりされる(s200)。本実施形態において、部分違反度合の送信は、上記s140と同様、監視空間において同じ監視対象を同時に検出可能なカメラノード4に対して実施される。
上述したケースにおけるノード4(1)で例示すれば、このノード4(1)は、図8に示すように、部分目的関数f0,f10についてそれぞれ算出した各部分違反度合を、その部分目的関数を特定可能な状態で他のノード4それぞれに送信すると共に、他のノード4それぞれが算出した部分違反度合を受信する。なお、ここでは、ノード4自身が生成した部分目的関数と同じ部分目的関数にて算出した部分違反度合も受信されることとなるが、このような重複する部分目的関数にて算出された部分違反度合は破棄される。
次に、上記s190にて算出された各部分違反度合と、上記s200にて他のノード4から受信した各部分違反度合と、に基づいて、局所的な違反度合(局所違反度合)が算出される(s210)。ここでは、各部分違反度合を合算してなる違反度合が局所違反度合として算出される。
次に、上記s210にて算出された局所違反度合に基づいて、この時点で仮選定されているカメラ2の組み合わせで監視対象の監視を行うか否かが判定される(s220)。ここでは、上記s210にて算出された局所違反度合を、その算出に用いられた少なくとも1以上の変数値を変更させた場合に算出されうる1種類以上の局所違反度合それぞれと対比し、上記s210にて算出された局所違反度合が最も小さければ、この時点で仮選定されているカメラ2の組み合わせで監視対象の監視を行うべきと判定される。
ここでは、変数値を変更しうる全て(または一定数)のパターンについて順番に1種類以上の局所違反度合それぞれを算出し、その算出の都度、ここで算出された局所違反度合と、上記s210にて算出された局所違反度合とを対比していくこととすればよい。
このs220で、仮選定されているカメラ2の組み合わせで監視対象の監視を行うべきではないと判定された場合には(s220:NO)、その仮選定されている組み合わせが別の組み合わせに変更された後(s230)、プロセスがs180へ戻り、この変更後の組み合わせに基づいてs180以降の処理が行われる。
このs230では、どのような組み合わせに変更されることとしてもよいが、例えば、先に仮選定された以外の組み合わせの中からランダムに抽出された組み合わせに変更されるようにすることが考えられる。また、1以上の変数値を変更させた場合に算出されうる1種類以上の局所違反度合それぞれのうち、最も違反度合が小さくなったときの変数値で規定される組み合わせに変更することも考えられる。
その後、上記s220で仮選定されている組み合わせで監視を行うべきと判定されるまでの間、仮選定された組み合わせが変更されつつ、上記s180〜s230が繰り返される。
そして、上記s220で、仮選定されているカメラ2の組み合わせで監視対象の監視を行うべきと判定された場合(s220:YES)、この時点で仮選定されているカメラ2の組み合わせが確定される(s240)。
そして、上記s240にて確定されたカメラ2の組み合わせに係るカメラ2のうち、本ノード4により制御可能なカメラ2それぞれの変位部26が制御される(s250)。ここでは、本ノード4により制御可能なカメラ2それぞれにつき、カメラ2の検出領域を、このカメラ2により監視すべき監視対象の空間位置と重ねる(本実施形態では、空間位置が検出領域の中心に位置させる)べく、そのカメラ2に対する指令が送信され、この指令を受けたカメラ2が変位部26により検出領域を変位させる。
このs250を終えた後、プロセスがs110へと戻る。
[3] 作用,効果
上記実施形態における各ノード4は、監視空間に存在するものとして同定した監視対象毎に、この監視対象を監視制約の下で監視するのに適した1以上のカメラ2を選定する(図3のs240)。そして、こうして選定したカメラ2それぞれの検出領域を変位させて監視対象に追従させることにより(同図s250)、その監視対象を監視することができる。
このように、各監視対象を監視するカメラ2として、監視制約の下で監視対象を監視するのに適したものを選定することができるため、監視制約の下で適切なカメラ2により監視対象の監視を行うことができる。
また、監視制約の下で監視対象を監視するのに適したカメラ2を選定する構成であるため、監視制約を変更すれば、監視対象の監視を行うための環境(図3のs190による処理内容)を監視制約に応じて適切かつ柔軟に変更することができる。
また、各ノード4は、監視制約への違反度合が最も低くなる変数を求めるべく最適化問題を解くことにより(図3のs160〜s230)、違反度合が最も低い組み合わせを特定することができ、この組み合わせに応じたカメラ2,つまり監視制約の下で監視対象を監視するのに適したカメラ2を選定することができる(同図s240)。
また、各ノード4は、ノード4自身で算出した違反度合だけでなく、他のノード4において算出された違反度合を参照して最適化問題を解くことができるため(図4のs190〜s220)、他のノード4が算出した違反度合が考慮されたカメラ2の組み合わせ,つまりシステム全体としても適切といえるカメラ2の組み合わせを特定することができる。
また、各ノード4は、ノード4自身で検出した監視対象だけでなく、他のノード4において検出された監視対象を参照して監視対象を同定することができるため(図3のss10,s150)、他のノード4のみが検出した監視対象を含めて、監視空間に存在する監視対象を同定することができる。
また、上記監視システム1では、各ノード4が協調して動作することにより、監視対象を監視するのに適したカメラ2が選定され、このカメラ2で検出可能な監視空間中の位置に監視対象300が存在している間、そのカメラ2の検出領域を監視対象300に追従させていくことができる((図9(a)のカメラ2(1),2(2),2(4),2(5)参照))。
そして、一部のカメラ2(同図カメラ2(1),2(4)参照)の検出領域から監視対象300が外れるような場合であっても(同図(b)参照)、その監視対象300を検出可能な他のカメラ2(同図のカメラ2(3),2(6)参照)が新たに選定されるようになる結果、このカメラ2の検出領域を監視対象に追従させていくことができる(同図(c)参照)。このようにして、監視空間を移動する監視対象を継続的に監視することができる。
[4] 変形例
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
例えば、上記実施形態においては、本発明におけるセンサとして、検出領域の画像を撮影するカメラ2が採用されている構成を例示した。しかし、本発明におけるセンサとしては、カメラ2に限られず、例えば、検出領域の温度分布を検出する赤外線センサ,マイクなどで検出領域の音場を検出する音場センサ,超音波センサやレーダーなどで検出領域における物体の存在を検出する物体検出センサなどを採用できることはいうまでもない。
これらの場合、センサの検出領域を変位させるためには、センサそのものの向きを変更する以外に、センサの指向性を変化させるようにしてもよい。
また、上記実施形態では、監視対象の空間位置を2次元座標として簡易的に管理するように構成されているが、この監視対象の空間位置は、3次元座標として管理するように構成してもよい。
また、上記実施形態においては、対象監視処理のs150で空間位置に基づいて監視対象が同定されるように構成されているが、監視対象を同定するために別の構成を採用してもよい。例えば、s130において、対象情報として検出領域の画像における色成分の分布が特定可能な情報を生成しておくことにより、s150において、検出領域の画像における色成分が特定の色成分である監視対象を同一の監視対象として同定する、というように空間位置以外の特徴量に基づいて同定を行うように構成してもよい。
また、上記実施形態において、対象監視処理のs210で局所違反度合を算出するに際しては、算出した部分違反度合,および,知得された部分違反度合を合算するように構成されている。しかし、局所違反度合を算出するためには、部分違反度合を平均化するなど別の正規化手法を採用してもよい。
また、上記実施形態においては、他のノード4との間での情報のやりとりに際し、情報を送受信するように構成されている。しかし、他のノード4において情報が格納された記憶領域へとアクセスし、これを読み出して知得するように構成してもよい。
[5] 本発明との対応関係
以上説明した実施形態において、対象監視処理のs130が本発明における対象特定手段に相当し、同s140が本発明における位置知得手段に相当し、同s150が本発明における対象同定手段に相当し、同s170,s230,s240が本発明におけるセンサ選定手段に相当し、同s250が本発明における領域変位手段であり、同s160〜s230が本発明における問題解決手段に相当し、同s210が本発明における知得する度合知得手段に相当し、同s160が本発明における関数生成手段に相当し、同s170,s230が本発明における仮選定手段に相当し、同s190が本発明における違反度合算出手段に相当し、同図s220が本発明における繰り返し手段に相当し、同図s200が本発明における個別度合知得手段に相当し、同図s210が本発明における局所度合算出手段に相当する。
1…監視システム、2…カメラ、3…管理装置、4…カメラノード、22…撮影部、24…サーバインタフェース、26…変位部、31…制御部、33…記憶部、35…カメラインタフェース、37…通信部、39…ユーザインタフェース、100…監視対象、200…監視対象。

Claims (7)

  1. それぞれ所定の検出領域において監視対象が存在することを検出する複数のセンサと、該センサをそれぞれ管理する複数のノードと、からなり、前記センサそれぞれが設置された監視空間にて監視対象を監視する監視システム,における前記ノードであって、
    当該ノードに管理されるセンサにより監視対象の存在が検出された際に、該監視対象の前記検出領域における位置,および,該検出領域の前記監視空間における位置に基づいて、監視対象が存在する前記監視空間の位置(空間位置)を特定する対象特定手段と、
    前記対象特定手段により特定された空間位置に基づき、前記監視空間に存在する監視対象を同定する対象同定手段と、
    あらかじめ定められた監視制約に基づいて、複数のセンサの中から、前記対象同定手段により同定された監視対象を前記監視制約の下で監視するのに適した1以上のセンサを監視対象毎に選定するセンサ選定手段と、
    前記センサ選定手段により選定されたセンサのうち、当該制御装置に実装されたノードにより制御可能なセンサそれぞれの検出領域が、該センサの選定に際して参照された前記空間位置に重なるように、そのセンサの検出領域を変位させる領域変位手段と、を備える
    ことを特徴とするノード。
  2. 当該ノード以外のノードのうち、いずれか1以上のノード(以降、「他ノード」という)により特定された前記空間位置それぞれを前記他ノードから知得する位置知得手段,を備えており、
    前記対象同定手段は、前記対象特定手段により特定された空間位置,および,前記位置知得手段により知得された空間位置に基づき、前記監視空間に存在する監視対象を同定する
    ことを特徴とする請求項1に記載のノード。
  3. 前記対象同定手段により同定された監視対象それぞれを監視すべきセンサの組み合わせを変数とし,かつ,前記監視制約への違反度合を目的関数とする最適化問題を解くことにより、前記監視対象それぞれについて前記違反度合が最小となるセンサの組み合わせを特定する問題解決手段,を備えており、
    前記センサ選定手段は、前記問題解決手段により特定された監視対象それぞれにおける組み合わせに基づき、該組み合わせに応じたセンサを、該組み合わせに係る監視対象を監視するのに適したセンサとして選定する
    ことを特徴とする請求項1または請求項2に記載のノード。
  4. 前記対象同定手段により同定された監視対象を監視すべきセンサの組み合わせを変数として有し、該変数に基づいて前記監視制約への違反度合を算出するための目的関数を生成する関数生成手段と、
    前記関数生成手段により生成された目的関数を解く際に使用する変数の値として、所定の組み合わせを表す変数の値を仮選定する仮選定手段と、
    前記関数生成手段により生成された目的関数を、前記仮選定手段により仮選定された変数の値を使用して解くことにより、前記監視制約への違反度合を算出する違反度合算出手段と、を備えており、
    前記問題解決手段は、前記違反度合算出手段により算出された違反度合を、その算出に際して使用された少なくとも1以上の変数の値を変更させた場合に算出されうる1種類以上の違反度合それぞれと対比した結果、該違反度合のいずれもが、前記違反度合算出手段により算出された違反度合以上である場合に、前記仮選定手段により仮選定されている変数の値で示されるセンサの組み合わせを、前記監視対象それぞれについて前記違反度合が最小となるセンサの組み合わせとして特定しており、
    さらに、
    前記問題解決手段による対比の結果、前記1種類以上の違反度合のいずれかが、前記違反度合算出手段により算出された違反度合未満である場合に、前記仮選定手段により仮選定されている変数の値を別の値に変更させた後、前記違反度合算出手段による違反度合の算出,および,前記問題解決手段による対比,を繰り返し実行させる繰り返し手段,を備えている
    ことを特徴とする請求項3に記載のノード。
  5. 前記関数生成手段は、前記対象同定手段により同定された監視対象のうち、当該ノードが監視可能な位置に存在する監視対象を監視すべきセンサの組み合わせを変数として有する目的関数であり、該変数に基づいて前記監視制約への違反度合を算出するための部分目的関数を生成して、
    前記違反度合算出手段は、前記関数生成手段により生成された部分目的関数を、前記仮選定手段により仮選定された変数の値を使用して解くことにより、前記監視制約への違反度合(以降「部分違反度合」という)を算出して、
    さらに、
    当該ノード以外のノードのうち、いずれか1以上のノード(以降、「他ノード」という)により算出された前記部分違反度合それぞれを前記他ノードから知得する個別度合知得手段と、
    前記違反度合算出手段により算出された部分違反度合,および,前記個別度合知得手段により知得された部分違反度合に基づいて、前記監視システムにおける局所的な違反度合(以降「局所違反度合」という)を算出する局所度合算出手段と、を備えており、
    前記問題解決手段は、前記局所度合算出手段により算出された局所違反度合を、その算出に際して使用された少なくとも1以上の変数の値を変更させた場合に算出されうる1種類以上の局所違反度合それぞれと対比した結果、該局所違反度合のいずれもが、前記局所度合算出手段により算出された局所違反度合以上である場合に、前記仮選定手段により仮選定されている変数の値で示されるセンサの組み合わせを、前記監視対象それぞれについて前記違反度合が最小となるセンサの組み合わせとして特定しており、
    前記繰り返し手段は、前記問題解決手段による対比の結果、前記1種類以上の局所違反度合のいずれかが、前記局所度合算出手段により算出された局所違反度合未満である場合に、前記仮選定手段により仮選定されている変数の値を別の値に変更させた後、前記違反度合算出手段による部分違反度合の算出,前記個別度合知得手段による部分違反度合の知得,前記局所度合算出手段による局所違反度合の算出,および,前記問題解決手段による対比を繰り返し実行させる
    ことを特徴とする請求項4に記載のノード。
  6. それぞれ所定の検出領域において監視対象が存在することを検出する複数のセンサと、該センサをそれぞれ管理する複数のノードと、からなり、前記センサそれぞれが設置された監視空間にて監視対象を監視する監視システムであって、
    前記ノードは、請求項1から5のいずれかに記載のノードが備える全ての手段を備える
    ことを特徴とする監視システム。
  7. 請求項1から5のいずれかに記載の全ての手段として機能させるための各種処理手順をコンピュータシステムに実行させるためのプログラム。
JP2009091230A 2009-04-03 2009-04-03 制御装置,監視システムおよびプログラム Pending JP2010245763A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009091230A JP2010245763A (ja) 2009-04-03 2009-04-03 制御装置,監視システムおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009091230A JP2010245763A (ja) 2009-04-03 2009-04-03 制御装置,監視システムおよびプログラム

Publications (1)

Publication Number Publication Date
JP2010245763A true JP2010245763A (ja) 2010-10-28

Family

ID=43098315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009091230A Pending JP2010245763A (ja) 2009-04-03 2009-04-03 制御装置,監視システムおよびプログラム

Country Status (1)

Country Link
JP (1) JP2010245763A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015139113A (ja) * 2014-01-23 2015-07-30 三菱電機株式会社 監視カメラ、監視エリア連携管理装置、及び監視カメラシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015139113A (ja) * 2014-01-23 2015-07-30 三菱電機株式会社 監視カメラ、監視エリア連携管理装置、及び監視カメラシステム

Similar Documents

Publication Publication Date Title
JP6951595B2 (ja) 住宅のデータ収集およびモデル生成方法
US10038893B2 (en) Context-based depth sensor control
JP6734940B2 (ja) 三次元計測装置
JP6872128B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US7791487B2 (en) Locating radio frequency identification tags in time and space
US9058538B1 (en) Bundle adjustment based on image capture intervals
Qureshi et al. Smart camera networks in virtual reality
CN110163885A (zh) 一种目标跟踪方法及装置
Huang et al. Multitarget visual tracking based effective surveillance with cooperation of multiple active cameras
WO2011108055A1 (ja) 物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム
CN107817750A (zh) 一种基于bim的楼宇监控系统
EP2531952A1 (en) System and method for 2d occupancy sensing
Karakaya et al. Distributed target localization using a progressive certainty map in visual sensor networks
CN105284190A (zh) 识别装置、方法及计算机程序产品
KR20210046217A (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
Karakaya et al. Collaborative localization in visual sensor networks
Pollok et al. A visual SLAM-based approach for calibration of distributed camera networks
JP2010245763A (ja) 制御装置,監視システムおよびプログラム
JP2005241323A (ja) 撮像システム及び校正方法
US20230169738A1 (en) Building data platform with augmented reality based digital twins
JP2012023573A (ja) 画像処理装置、画像処理プログラム及び画像処理方法、並びに移動体
Zhao et al. A sensor-service collaboration approach for target tracking in wireless camera networks
JP2019105876A (ja) 情報処理装置、情報処理方法、及び情報処理用プログラム
JP4631606B2 (ja) 画像の奥行分布推定方法及び装置及びプログラム
Menegatti et al. Omnidirectional distributed vision system for a team of heterogeneous robots