JP2006148442A

JP2006148442A - 移動監視装置

Info

Publication number: JP2006148442A
Application number: JP2004334488A
Authority: JP
Inventors: Kentarou Yokoi; 謙太朗横井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-11-18
Filing date: 2004-11-18
Publication date: 2006-06-08

Abstract

【課題】移動監視装置において監視領域の画像を高速かつ精度良く取得する。
【解決手段】位置補正部１１１は位置認識部１１０で現在位置を把握しながら移動機構１０２を用いて本装置を監視領域周辺へ移動させる。監視領域周辺において、位置補正部１１１はセンサ１０１で取得した画像に基づいて本装置の位置を修正し、センサ１０１の撮影方向を監視領域へ向ける。さらに、画像補正部１１２はセンサ１０１が取得した画像を補正して、監視領域情報記憶部１０４が記憶する監視領域指示画像との視野の差異を軽減させる。補正後の画像を用いて監視を行う。
【選択図】図１

Description

本発明は、移動可能な監視装置に関する。

移動機構を持つ監視装置・監視ロボットとしては、温度センサによって人物や火災を検出するもの（例えば、特許文献１）がある。また、色ヒストグラムの違いに基づいて正常時に存在しなかった物体を検出することで異常を検出する手法（例えば、非特許文献１）がある。

その他の一般的な技術として、連続する複数フレームの画像の差分を取ることで移動する物体を検出する連続差分の技術や、固定カメラによって撮影される画像をもとに平均的な背景を学習し、入力画像と比較することで物体を検出する背景差分の技術（例えば、特許文献２）がある。
特許第３２５０１０５号公報特開２００２−１５７５９９公報 Mattia Castelnovi, Paolo Musso, Antonio Sgorbissa, and Renato Zaccaria. "Surveillance Robotics: analysing scenes by colors analysis and clustering". Proceedings 2003 IEEE International Symposium on Computational Intelligence in Robotics and Automation (CIRA), pp.229-234, July 2003.

特許文献１の手法は温度センサを利用するため、温度分布が周辺環境と異なる物体しか検出できない。非特許文献２の手法は色ヒストグラムを利用するため、物体の色が正常時の背景と大きく異なっている場合にしか検出できない。連続差分の手法では動きのある物体しか検出できない。背景差分の手法は監視装置が移動する場合に正しい背景画像を学習することが困難である。

本発明は、監視対象領域の画像を学習済み画像と比較することで異常を検出する移動監視装置であって、監視対象領域の画像を高速かつ精度良く取得可能にすることを目的とする。

本発明の一側面の移動監視装置は、画像を取得する撮像部と、前記撮像部の撮像方向を変える方向変化部と、前記撮像部を移動させる移動手段と、監視領域の位置情報である監視領域位置、監視領域の画像である監視領域指示画像および監視用の情報である学習情報を記憶する監視領域情報記憶部と、現在位置を認識する現在位置認識部と、前記撮像部を前記監視領域位置へ移動させる移動制御部と、前記撮像部の撮影方向を前記監視領域位置に向ける方向制御部と、前記撮像部が取得した画像を補正する画像補正部と、前記補正された画像および前記学習情報を用いて前記監視領域位置における異常の有無を判定する判定部とを備える。

前記移動制御部は、前記現在位置と前記監視領域位置とを用いて移動方向を求める移動方向算出部、および、前記移動手段を制御して、前記現在位置と前記監視領域位置との差が第１閾値以下になるまで、前記撮像部を前記移動方向に移動させる移動手段制御部、を有する。

前記方向制御部は、前記現在位置に対する前記監視領域位置の方向である監視方向を求める監視方向算出部、および、前記方向変化部を制御して、前記撮像部の撮像方向を前記監視方向に向けさせる撮像方向制御部、を有する。

前記画像補正部は、補正係数を設定する補正係数設定部と、前記補正係数を用いた補正により前記撮像部が取得した画像から補正画像を生成する補正画像生成部、および、前記補正係数設定部を制御して前記補正係数を変えながら前記補正画像生成部に生成させた複数の補正画像の中から、前記監視領域指示画像との差異が最小、若しくは、第２閾値以下になる補正画像候補に対応する補正係数を求めて、前記補正画像設定部を制御してこの求められた補正係数を設定させる補正係数修正部、を有する。

本発明によれば、移動監視装置において監視対象領域の画像を高速かつ精度良く取得することができる。

（第１の実施形態）
図１は本発明の第１の実施形態の移動監視装置のブロック図である。本装置は、可視光で所望の撮影方向を撮影した画像を取得するセンサ１０１と、モータおよび車輪を含む移動機構１０２と、センサ１０１が取得した画像の撮影角度等を補正して補正画像を出力する撮影角度補正部１０３と、監視領域の位置情報である監視領域位置情報、監視領域の画像である監視領域指示画像および分割・重み付け情報を含んだ監視領域情報を記憶する監視領域情報記憶部１０４とを備える。

本装置は、補正画像を複数の領域に分割し、各領域に予め指定された重み付け係数を割り当てる画像分割・重み付け部１０５と、補正による画像の変化・歪みなどを学習する変動学習部１０６と、学習結果を記憶する変動記憶部１０７と、学習モードと検出モードとの動作を切り替えるモード切替部１１３とを備える。

本装置は、補正画像に現れた変動を検出する変動検出部１０８と、検出された変動が正常か異常かを判定する判定部１０９とを備える。

前述の撮影角度補正部１０３は、本装置の現在位置を認識する位置認識部１１０と、本装置の現在位置と監視対象位置との位置関係に応じて本装置の位置を補正するために移動機構１０２を制御するとともに、センサ１０１の撮影方向を変更するようにセンサ１０１を制御する位置補正部１１１と、位置補正部１１１では対応しきれない程度の小さな撮影角度のズレを画像処理により補正する画像補正部１１２とを備える。

図２は本実施形態の移動監視装置による監視動作のフローチャートである。

（ステップＳ１０１）
センサ１０１は撮影して入力画像を取得する。

センサ１０１は、可視光により所望の撮影方向を撮影して入力画像を取得するカメラである。センサ１０１の撮影方向は位置補正部１１１によって制御される。本装置のセンサ１０１は濃淡画像（白黒の画像）を順次取得する。入力画像は撮影角度補正部１０３に順次出力される。

なお、本実施形態のセンサ１０１は可視光で撮影して濃淡画像を取得するものであるが、カラー画像を取得するものでも構わない。また、可視光に限定されるものではなく、赤外線、ミリ波、超音波で撮影して輝度あるいは距離を反映した画像を取得しても構わない。

（ステップＳ１０２）
位置認識部１１０は本装置の現在位置を認識する。

本実施形態の位置認識部１１０はＧＰＳ（Global Positioning System）の信号を受信して、それを用いて現在位置を認識する。

なお、ＧＰＳに限らず他の位置認識システムを利用することもできる。例えば、一意の識別情報を与えた無線タグによる目印を予め複数設けておき、無線タグから得た識別情報と無線タグの配置情報とを用いて現在位置を認識してもよい。また、移動機構１０２の車輪の回転数の情報やジャイロセンサーから得られる情報から移動量・方向を求めることで現在位置を把握しても構わない。

（ステップＳ１０３）
位置補正部１１１は本装置を監視領域位置の周辺へ移動させる。

本実施形態では、監視領域位置は監視領域そのものの位置である。本装置は監視領域を撮影するために、監視領域の周辺に移動する。監視領域の周辺とは、例えば、監視領域を中心として予め与えられた距離以内の領域であり、この距離はセンサ１０１の性能に応じて定めておくものとする。

位置補正部１１１は、監視領域情報記憶部１０４から監視領域位置情報を取得するとともに、位置認識部１１０から本装置の現在位置情報を取得する。位置補正部１１１は現在位置と監視領域位置との差異を求める。位置補正部１１１は、移動機構１０２を制御して本装置を監視領域位置の周辺に移動させる。

移動機構１０２は車輪とモータを備え、本装置を監視領域位置の周辺に移動させるための移動手段である。移動機構１０２は撮影角度補正部１０３の制御により本装置を監視領域位置の周辺に移動させる。

（ステップＳ１０４）
位置補正部１１１は、センサ１０１の撮影方向を監視領域位置へ向けさせる。

センサ１０１は、モータにより撮影方向を変えることができる。センサ１０１は、位置補正部１１１の制御によって現在の撮影方向を監視領域位置の方向へ向ける。そのための方向を求める。

位置補正部１１１は現在位置に対する監視領域位置の方向を求める。位置補正部１１１は、センサ１０１を制御してセンサ１０１の撮影方向を監視領域位置に向けさせる。

（ステップＳ１０５）
位置補正部１１１は、撮影方向を微調整する。

現在位置に対する監視領域位置の方向に基づく制御により、監視領域位置の方向と撮影方向とのズレはそれほど大きくないと考えられる。位置補正部１１１は、センサ１０１の撮影方向を現在の撮影方向を中心に所定の範囲で変えながら、センサ１０１が取得した画像（入力画像）と監視領域情報記憶部１０４から取得した監視領域指示画像との差異を求める。

そして、位置補正部１１１は入力画像と監視領域指示画像との差異が最小となる撮影方向を求める。差異は、例えば絶対値差分和や二乗差分和を用いて求めることができる。

差異の最小値が所定の閾値を超える場合は、現在位置が適切でないと考えられる。この場合、位置補正部１１１は再度ステップＳ１０３を実行して本装置の位置を変え、新たな位置での入力画像を用いて再度本ステップの処理を実行する。本装置の新たな位置は例えばランダムに決めても構わないし、入力画像と監視領域指示画像とで動きベクトル探索を行った結果に基づいて決定しても構わない。

（ステップＳ１０６）
画像補正部１１２は、入力画像に対して補正を行う。

位置補正部１１１による撮影方向の調整はセンサ１０１の物理的な移動・回転により行われるため、高い調整精度を得るために多くの手間および時間が要求される。これに比べて、画像の補正はより高速に行うことができる。そこで、本実施形態の移動監視装置は画像の補正を併用することで、位置補正部１１１による撮影方向の調整に要する手間および時間を低減させる。

画像補正部１１２は、補正処理の計算に用いられる補正係数を求める。具体的には、入力画像に対して補正係数を所定の範囲で変えながら補正画像候補を生成する。そして、補正画像候補と監視領域情報記憶部１０４から取得した監視領域指示画像とを比較して、最も差異が小さい補正画像候補を生成した際に用いられた補正係数を求める。

本実施形態の移動監視装置が用いる画像補正手法の一例については、後述する。

以後、画像補正部１１２は、監視領域が変わるか、本装置が移動するか、あるいは、センサ１０１の撮影方向が変わるまで、入力画像に対してこの補正係数を用いた補正により補正画像を生成し、画像分割・領域重み付け部１０５に出力する。

なお、本ステップでも最小の差異が所定の許容誤差を超える場合は撮影方向が大きくズレている可能性がある。この場合、画像補正部１１２は位置補正部１１１に本装置の位置を補正するように通知する。すなわち、本装置はステップＳ１０２の処理を行う。

（ステップＳ１０７）
画像分割・重み付け部１０５は、監視領域情報記憶部１０４が記憶する分割・重み付け情報にしたがって、補正画像を複数の分割領域に分割するとともに、各分割領域に結果判定の際の重み付け係数を与える。

ステップＳ１０６までの処理で十分な精度で撮影角度を補正できるので、各種変動の主たる影響は各分割領域内に留まる。すなわち、補正画像を複数の分割領域に分割しても学習処理や検出処理には実質的な影響はない。複数の分割領域を個別に処理することにより、補正画像全体を一つの処理単位とする場合に比べて検出処理や学習処理の計算量を削減できる。

なお、本実施形態では補正画像を複数の分割領域に分割するが、補正画像全体を一つの処理単位として処理しても構わない。

（ステップＳ１０８）
モード切替部１１３は現在の動作モードに応じて、検出処理と学習処理とのいずれを行うかを定める。

モード切替部１１３の動作モードは、例えば、スイッチや制御信号により、外部から設定される。

動作モードが学習モードの場合は学習処理を行うために、画像分割・重み付け部１０５によって分割された各分割領域の情報を変動学習部１０６へ出力する。

動作モードが検出モードの場合は検出処理を行うために、画像分割・重み付け部１０５によって分割された各分割領域の情報を変動検出部１０８へ出力する。

（ステップＳ１０９）
動作モードが学習モードの場合、変動学習部１０６は補正による変動を学習して、学習情報を変動記憶部１０７に記憶させる。学習の具体的手法の一例は後述する。学習が完了した場合は、ステップＳ１１３を実行する。

（ステップＳ１１０）
動作モードが検出モードの場合、変動検出部１０８は変動記憶部１０７に記憶された学習情報に基づいて補正画像の各分割領域に含まれる変動のうち、補正以外の要因で発生しているものを検出する。具体的な検出手法の一例は後述する。

（ステップＳ１１１）
判定部１０９は、検出された各分割領域の変動を重み付け情報に従って統合するとともに、その監視領域全体が正常状態か異常状態かを判定する。

本実施形態の判定部１０９は、異常な変動が検出された分割領域を１点、異常な変動が検出されなかった分割領域を０点と評価する。さらに、重み付け情報に基づいて、すべての分割領域の点数の重み付け和を求める。そして、点数の和が閾値を超えた場合には、監視領域の全体が異常状態であると判定する。

なお、重み付けを均等にして、異常な変動が検出された分割領域の個数が閾値以上の場合に異常と判断しても構わない。あるいは、上述の各分割領域の点数を入力すると正常状態を０、異常状態を１として出力するようなニューラルネットを構築して学習させても構わない。また、特に重要な分割領域については重み付け係数を大きくしても構わない。

（ステップＳ１１２）
判定部１０９は異常状態と判定した場合、警報・通知・記録など予め定めておいた異常時処理を実行する。正常である場合には記録を行う。

（ステップＳ１１３）
撮影角度補正部１０３は、他の監視領域についても監視領域情報記憶部１０４から監視領域情報を取得してステップＳ１０１から同様に処理を行う。

以上が、本実施形態の移動監視装置による監視動作の流れである。

図３を用いて、上述のステップＳ１０６で画像補正部１１２によって実行される画像補正処理および補正係数算出処理の流れを説明する。なお、この画像補正処理は一例であり、この処理手法に限定されるものではない。

画像補正処理の説明に用いられるカメラ座標系７００を図７に示す。センサ１０１の焦点を原点Ｏ、そして、センサ１０１の撮影方向をＺ軸と定義する。また、撮像面の水平方向をＸ軸、そして、鉛直方向をＹ軸と定義する。

さらに、画像座標系７０１を定義する。画像座標系７０１は画像平面７０２上の座標系であり、前述のＺ軸を法線として有する平面である。画像座標系７０１の原点ＣはＺ軸との交点に位置する。画像座標系７０１で前述のＸ軸に対応する軸をＵ軸、前述のＹ軸に対応する軸をＶ軸と定義する。なお、センサ１０１の焦点距離をｆと表す。

（ステップＳ２０１）
画像補正部１１２は、補正係数のうち、Ｙ軸を中心とした撮影方向のθ度回転に相当する補正（回転補正）の係数である角度θを設定する。このステップは角度θに関する反復処理の起点である。予め定めておいた範囲内で順次、角度θを設定する。

（ステップＳ２０２）
画像補正部１１２は、入力画像に角度θの回転補正を施す。

この補正は、センサ１０１を角度θだけ回転させる代わりに行われる。角度θが大きい場合は、センサ１０１を動かして撮影方向を変える方が入力画像を補正するよりも精度が良い。しかし、角度θが小さい場合は実際に撮影方向を変えても、入力画像を補正しても、精度は殆ど変わらない。実際に撮影方向を変えるよりも入力画像を補正する方が手間・時間が掛からない分、有利であると言える。

画像補正部１１２が入力画像の回転補正に用いる変換式を説明する。一般的なカメラでは中心射影モデルが成り立つ。カメラ座標系で座標（ｘ₀，ｙ₀，ｚ₀）の点が、画像座標系の座標（ｕ₀，ｖ₀）の点に射影される場合、以下の関係式が成り立つ。

カメラがＹ軸を中心として角度θの回転をすると座標（ｘ₀，ｙ₀，ｚ₀）の点は、新たなカメラ座標系では座標（ｘ₁，ｙ₁，ｚ₁）の点として表される。よって、以下の関係式が成り立つ。

そして、この座標（ｘ₁，ｙ₁，ｚ₁）の点が画像座標系で座標（ｕ₁，ｖ₁）の点に対応しているとすると、以下の関係式が成り立つ。

数３により画像上で座標（ｕ₀，ｖ₀）の点の、撮影方向のθ度回転補正による移動先の点の座標（ｕ₁，ｖ₁）を求めることができる。

角度θの回転補正により、例えば図４（ａ）の入力画像は、異なる方向から撮影された画像のように（図４（ｂ）の画像）補正される。

（ステップＳ２０３）
画像補正部１１２は、補正係数のうち、アフィン変換に関する係数を設定する。このステップはアフィン変換用の係数に関する反復処理の起点である。

このステップでは、ｕ方向の拡大率ｓ_u、ｖ方向の拡大率ｓ_v、ｕ方向の平行移動量ｄ_u、および、ｖ方向の平行移動量ｄ_vが、予め定められた範囲内で順次値を変えながら設定される。

（ステップＳ２０４）
画像補正部１１２は、撮影方向の回転補正後の画像に対してアフィン変換を用いて拡大縮小変換および平行移動変換を行い、補正画像を生成する。

ｕ方向の拡大率をｓ_u、ｖ方向の拡大率をｓ_v、ｕ方向の平行移動量をｄ_u、ｖ方向の平行移動量をｄ_vと表すと、アフィン変換により座標（ｕ₁，ｖ₁）の点は、以下の関係式で表される座標（ｕ₂，ｖ₂）の点に移動する。

画像補正部１１２は、回転補正後の画像を、数４で規定されるアフィン変換を用いて補正する。ステップＳ２０２とステップＳ２０４との補正により生成された画像が補正画像である。

（ステップＳ２０５）
画像補正部１１２は、補正画像と監視領域情報記憶部１０４に記憶されている監視領域指示画像との類似度を求める。本実施形態ではＳＡＤ（Sum of Absolute Difference／絶対値差分和）により類似度を求める。

なお、類似度を求める他の手法としてはＳＳＤ（Sum of Squared Difference／二乗差分和）や、一般的な画像の類似度評価手法や、一般的な画像の相関計算手法を用いることができる。

（ステップＳ２０６）
画像補正部１１２は、ステップＳ２０５で求められた類似度と、比較用類似度とを比較し、どちらが良い値かを判定する。本実施形態ではＳＡＤで類似度を求めているので、値が小さいほど良い値になる。

比較用類似度とは、異なる補正係数に関して過去に求められた類似度のうち最良の値のものである。

（ステップＳ２０７）
画像補正部１１２は、ステップＳ２０５で求められた類似度の方が良い値である場合は、ステップＳ２０５で求められた類似度を比較用類似度として記憶するとともに、ステップＳ２０１およびステップＳ２０３で設定された補正係数（θ、ｓ_u、ｓ_v、ｄ_u、ｄ_v）を最適補正係数として記憶する。

（ステップＳ２０８）
画像補正部１１２は、アフィン変換に関する係数を予め定められた全範囲について設定完了したかを調べる。未完了の場合はステップＳ２０３に戻り、完了した場合はステップＳ２０９に進む。

（ステップＳ２０９）
画像補正部１１２は、角度θを予め定められた全範囲について設定完了したかを調べる。未完了の場合はステップＳ２０１に戻り、完了した場合はステップＳ２１０に進む。

（ステップＳ２１０）
画像補正部１１２は、ステップＳ２０７で記憶した最適補正係数を用いて入力画像を補正して補正画像を生成する。変換手法はステップＳ２０２及びステップＳ２０４と同様である。

以上が、画像補正部１１２によって実行される画像補正処理および補正係数算出処理である。

上述のように、画像上で補正を行うことには次のような利点がある。位置補正部１１１は移動機構１０２を用いて本装置を移動させることにより視野や撮影角度を変える。物理的な移動は車輪や歯車などの誤差によって十分な精度が出ない場合がある。また、正確な位置合わせを行うために移動を繰り返すことは、効率が悪い場合が少なくない。

これに対し、画像上での補正ならば高速かつ高精度に視野や撮影角度の調整を行うことができる。

以下、変動学習部１０６が行う画像補正による変動の学習処理の手法、および、変動検出部１０８が行う異常な変動の検出処理の手法について説明する。

本実施形態では、変動学習部１０６は監視領域の通常状態の複数の画像を用いて、各画素の画素値平均μと画素値分散σ²とに基づいて学習画像を生成しておく。そして、変動検出部１０８は、通常状態の学習画像と補正画像Ｉとのマハラノビス距離ｄを求める。

そして、変動検出部１０８は、マハラノビス距離ｄが閾値より大きければ異常な変動が発生していると判断する。

変動学習部１０６は、補正画像を用いて学習する。すなわち、学習変動部１０６は、補正の影響を受けた通常状態の画像を用いて学習する。よって、変動検出部１０８は補正の影響による変動と異なるものを異常な変動と検出することができる。

この他の手法としては、例えば部分空間法を用いることができる。この場合、変動学習部１０６は予めｍ枚の通常状態の監視領域画像ｘ_i（i=1,...,m, |x_i|=1）をもとに、以下の共分散行列Ｃについての固有方程式から求められるｅ個の固有ベクトルｕ_i（i=1,...,e）を学習しておく。

変動検出部１０８は、補正画像Ｉとの類似度ｓを以下の式を用いて計算し、類似度ｓが閾値より小さければ異常な変動が発生していると判断する。

本実施形態では、画像分割・重み付け部１０５は補正画像を複数の分割領域に分割する。そして、変動検出部１０８は各分割領域から異常な変動を検出する。図５は変動検出部１０８が部分空間法を用いて各分割領域から異常な変動を検出する場合の概念を示す。

変動学習部１０６は通常状態の画像から各分割領域の固有ベクトルを学習しておく。変動記憶部１０７は各分割領域の固有ベクトルを学習情報として記憶する。そして、変動検出部１０８は補正画像の各分割領域の情報と学習情報とを用いて、各分割領域の類似度を計算する。

そして、変動検出部１０８は各分割領域の類似度と閾値とを比較して異常な変動を検出する。このとき、変動検出部１０８は、画像分割・重み付け部１０５によって各分割領域に与えられた重み付けに応じて閾値を変動させても構わない。すなわち、特定の分割領域について閾値を緩く設定してわずかな変動でも検出可能にしても構わない。

また、変動学習部１０６が通常状態と異常状態の両方について別々に学習しておき、通常状態に対する類似度と異常状態に対する類似度とを比較して変動を検出しても構わない。その他に、固有空間法やサポートベクターマシンといった既知の識別手法を用いて変動を検出しても構わない。固有空間法やサポートベクターマシンの詳細は「Richard O.Duda, Peter E. Hart, and David G. Stork. "Pattern Classification (Second Edition)." Wiley Interscience, 2000.」で解説されている。

以上に説明したように、本実施形態の移動監視装置は移動機構１０２による位置補正、センサ１０１による撮影方向補正、および、画像補正部１１２による画像補正を用いることで、監視領域の画像を高速かつ精度良く確保できる。また、画像補正による変動を通常の変動として学習しておくことで、異常状態を精度良く検出することができる。

（第２の実施形態）図６は本発明の第２の実施形態の移動監視装置のブロック図である。本実施形態の移動監視装置は第１の実施形態の移動監視装置と大部分は共通する。本実施形態の移動監視装置が第１の実施形態の移動監視装置と異なる点は、画像分割・重み付け部１０５に与える重み付け係数をユーザが指示するための重み付け指示部２０１と、判定部１０９の判定結果が正しいか否かをユーザが教示するための判定教示部２０２とを備える点である。

重み付け指示部２０１は、ユーザから監視領域において注目すべき領域の指示を受ける。重み付け指示部２０１は画像分割・重み付け部１０５を制御して、ユーザに指示された領域の重み付け係数を変更させる。

重み付け指示部２０１はユーザに監視領域の画像を提示する。このとき、画像分割・重み付け部１０５の分割処理によって生成される分割領域の境界をあわせて提示する。ユーザは重み付け指示部２０１に接続されたポインティングデバイス（図示せず）を用いて注目すべき分割領域とその重要度を指示する。

例えば、窓であれば鍵が掛かっているかどうかが特に重要である。ユーザは監視領域指示画像を閲覧しながらポインティングデバイスで鍵を含んだ分割領域を指示するとともに高い重要度を指定する。重み付け教示部２０１は画像分割・重み付け部１０５を制御して、ユーザに指定された重要度に対応する大きな値の重み付け係数を当該分割領域に割り当てさせる。

逆に、重要でない分割領域については異常な変動の検出処理を行わないように指定して、計算処理量を削減することもできる。

このような指示により、重要な変動を確実に検出しつつ重要でない変動を排除することができるので、より適切な正常・異常判定を行うことができる。

判定教示部２０２は判定部１０９の判定結果を監視領域の画像とともにユーザに提示する。判定教示部２０２は、監視領域全体としての正常・異常の判定結果と各分割領域の異常の有無とを提示する。各分割領域の異常の有無は、例えば、異常が検出された分割領域の境界線を異常が検出されなかった分割領域の境界線より太くしたり、異常な分割領域の境界線を点滅させるなど、目立たせて提示する。

判定教示部２０２は図示しないポインティングデバイスを介してユーザから判定結果の正誤に関して教示を受ける。判定教示部２０２はユーザから監視領域全体としての判定結果の正誤について教示を受けるためのＧＵＩを提示する。例えば、判定教示部２０２はＧＵＩで「正しい」「誤り」というボタンを提示して、ユーザはボタンを押すことで判定の正誤を教示する。さらにユーザは、異常が誤検出された分割領域や、異常が見逃された分割領域をポインティングデバイスで指定して、誤りを教示する。

判定教示部２０２はユーザの教示に基づいて変動学習部１０６と判定部１０９とを制御する。判定教示部２０２は判定部１０９に判定の正誤に関する教示結果を伝える。判定部１０９は教示結果に基づいて判定のための閾値を修正したり、あるいはニューラルネットのパラメータをバックプロパゲーションにより学習する。

判定教示部２０２は変動学習部１０６に各分割領域の検出の正誤に関する教示結果を伝える。変動学習部１０６は教示結果に基づいて通常状態や異常状態を学習する。例えば、変動の有無を判定する閾値を変更したり、あるいは、各状態の画像を追加的に学習する。部分空間法を利用して変動検出を行っている構成の場合は、固有ベクトルの再学習を行う。

以上に説明したように、本実施形態ではユーザが検出結果や判定結果に教示を行うので、監視の実運用を行いながら同時に正常・異常の判定を修正・学習することができる。

第１の実施形態の移動監視装置のブロック図。第１の実施形態の監視処理の流れ。第１の実施形態の画像補正処理の流れ。回転補正の例。変動検出処理の概念。第２の実施形態の移動監視装置のブロック図。カメラ座標系。

符号の説明

１０１センサ
１０２移動機構
１０３撮影角度補正部
１０４監視領域情報記憶部
１０５画像分割・重み付け部
１０６変動学習部
１０７変動記憶部
１０８変動検出部
１０９判定部
１１０位置認識部
１１１位置補正部
１１２画像補正部
１１３モード切替部
２０１重み付け指示部
２０２判定教示部

Claims

画像を取得する撮像部と、
前記撮像部の撮像方向を変える方向変化部と、
前記撮像部を移動させる移動手段と、
監視領域の位置情報である監視領域位置、監視領域の画像である監視領域指示画像および監視用の情報である学習情報を記憶する監視領域情報記憶部と、
現在位置を認識する現在位置認識部と、
前記撮像部を前記監視領域位置へ移動させる移動制御部であって、
前記現在位置と前記監視領域位置とを用いて移動方向を求める移動方向算出部、および
前記移動手段を制御して、前記現在位置と前記監視領域位置との差が第１閾値以下になるまで、前記撮像部を前記移動方向に移動させる移動手段制御部、
を有する移動制御部と、
前記撮像部の撮影方向を前記監視領域位置に向ける方向制御部であって、
前記現在位置に対する前記監視領域位置の方向である監視方向を求める監視方向算出部、および、
前記方向変化部を制御して、前記撮像部の撮像方向を前記監視方向に向けさせる撮像方向制御部、
を有する方向制御部と、
前記撮像部が取得した画像を補正する画像補正部であって、
補正係数を設定する補正係数設定部と、
前記補正係数を用いた補正により前記撮像部が取得した画像から補正画像を生成する補正画像生成部、および、
前記補正係数設定部を制御して前記補正係数を変えながら前記補正画像生成部に生成させた複数の補正画像の中から、前記監視領域指示画像との差異が最小、若しくは、第２閾値以下になる補正画像候補に対応する補正係数を求めて、前記補正画像設定部を制御してこの求められた補正係数を設定させる補正係数修正部
を有する画像補正部と、
前記補正画像および前記学習情報を用いて前記監視領域位置における異常の有無を判定する判定部と、
を備える移動監視装置。
前記監視方向算出部は、
前記方向変化部を制御して前記撮像部の方向を変えながら複数方向の画像を取得する多方向画像取得制御部と、
前記複数方向の画像の中から前記監視領域指示画像との差異が最小になる、監視領域候補画像を抽出する監視領域候補画像抽出部と、
前記監視領域候補画像を撮像した方向に基づいて前記監視領域の方向を推定する監視方向推定部と、
を有する、請求項１に記載の移動監視装置。
前記監視領域候補画像抽出部は、
前記監視領域候補画像と前記監視領域指示画像との差異が第３閾値以下になるまで、前記撮像部の位置を補正するように前記移動手段を制御し、補正後の位置において複数の画像を取得するように前記多方向画像取得制御部を制御する位置補正部
を有する、請求項２に記載の移動監視装置。
前記監視方向算出部は、前記現在位置と前記監視領域位置との差を用いて監視方向を求める、請求項１に記載の移動監視装置。
前記補正画像生成部は、拡大縮小させる補正、平行移動の補正、および、前記撮影方向の変更に対応する補正を行う、請求項１から請求項４までのいずれか一項に記載の移動監視装置。
前記現在位置認識部は、
外部から位置識別信号を受信する位置識別信号受信部と、
前記位置識別信号を用いて現在位置を算出する現在位置算出部と、
を備える、請求項１から請求項５までのいずれか一項に記載の移動監視装置。
前記現在位置認識部は、
前記移動手段による移動量および移動方向を算出する移動量算出部と、
前記移動量および前記移動方向を用いて現在位置を算出する現在位置算出部と、
を備える、請求項１から請求項５までのいずれか一項に記載の移動監視装置。