JP2005353016A - 動画像の行動パターン識別の評価と方法 - Google Patents

Abstract

【課題】監視カメラを用いた危険防止および防犯システムにおいて正常状態あるいは正常行動者と異常状態あるいは不審な異常行動者を判別し異常および不審な場合には自動的に警報する方法を提供する。
【解決手段】移動物体あるいは行動者を動画像として測定しその画像中心の座標の時系列データを数学的に解析し定量化することにより正常値から離脱する場合は異常状態あるいは不審者であると判定し自動的に警報する。
【選択図】図２

Description

本発明は監視カメラを用いた危険防止および防犯システムにおいて撮像中の正常行動者と異常あるいは不審行動者を自動的に判別し判別結果を警報する方法に関する。

厳重な警戒が必要な施設または危険区域では、ビデオカメラや赤外線カメラによって、要所を常時撮像し、画像を監視センターに送信することによって２４時間記録、監視を行うシステムがある。ビデオカメラには移動物体追尾形と静止画像撮影形がある。前者は移動体があるときに監視員に注視を要求するものであり後者は本来無人の場所に侵入者があったとき監視員に注意を促すことを主眼にしている。移動体追尾法として生体から発する赤外線をセンサーで検知照準しカメラを生体の方向に振向ける方式と画像データの走査フレーム間の偏差を用いカメラの首振りを行う２方式に集約できる。またこれら静止画像形を全景撮影形とし追尾形を別のカメラとして両者を併用することもある。追尾形では特に重要監視地域に近接する要注意者あるいは不審行動者を監視することが多い。また追尾形では着衣の色彩や体型なども識別することがある。

またビデオカメラの進歩により１８０度撮像形、全方位撮影形またレーザー走査形などが開発され、あるいは超音波走査カメラも監視カメラとして利用可能である。

解決しようとする課題は複数のカメラで正常者と異常あるいは不審行動者を区別しながら常時監視員が監視業務を行うことは、監視員のストレスと疲労を高めるため見落としもおこり易く、監視設備の高度化、多数化に伴う交代要員数の増加はコスト面からみても現実的ではない点にある。したがって結果として通常、データを蓄積しておき何か事件があった場合の確認用としてだけ使われるケースが多い。すなわち従来の方法は正常行動者と異常あるいは不審行動者の判別はカメラの高度化にも拘わらず担当監視員の経験と直感を可能な限り事件発生以前に生かそうとする非科学なものであった。

本発明は以上の問題に鑑みてなされた発明であり、人間の行動とくに移動を比較的簡易な固定静止画像カメラで撮影しながら行動の時間系列を数学的に解析し自動的に異常あるいは不審行動者であることを判別発見するものである。具体的には撮影画像から時間的に静止画像部分を差し引き動画像部分だけを抽出する。そして動画像の重心点の変動の軌跡を非線形解析あるいは線形解析をおこなって数値化し異常あるいは不審行動者と正常行動者を判別する。あわせて発見した該当カメラを複数のカメラ群から特定するとともに監視員に直ちに警報を発し未然に事件や最悪の結果を防止する手段すなわち救助あるいは防犯対応できるようにしたことを特徴とするものである。

本発明の効果として動画像情報としては重心点の変動を用いているため情報量を最小限にできるので必要な情報処理コストが最小となる一方正確性が高く解析必要時間も瞬時であり即時性すなわちリアルタイム的となる。その結果異常あるいは不審行動に対応して直ちに自動的に警報を発信することができる。そのため関係者の疲労、未熟練や交代時に伴う発見ミスがなくなる。監視カメラも比較的安価な家庭用カメラで実現可能でありコストを抑え広く普及可能なシステムとすることができる。

また防犯や特定作業場の危険防止に限らずエレベーター、エスカレータ、橋などの交通施設、プール施設などの公共施設で人の転落や転倒監視に必要人員が確保し難い場合にもひろく適用可能であり公共の場所での安全に大きく貢献することが挙げられる。

人的な場合の利用例に限らず動画像処理方式の効果により物的な路上交通事故の自動発見ならびに地震や台風時における施設異常の自動発見に転用できる。

ほかに次のような産業上の利用例を挙げることができる。
▲１▼駐車場、エレベーター、コンビニエンスストア、ＡＴＭなどの防犯カメラによる画像解析により、通常行動者と不審行動者の判別を自動的に行う。
▲２▼家庭内で徘徊や盗犯などの異常行為を自動的に発見する。
▲３▼集団の中における、大人と子供の判別を自動的に行い注視し危険を警告する。方法として子供は、小刻みな動きをするが大人の動きはゆっくりとしていることを用いて行う。
▲４▼動物、および小動物の監視により、動物の病気たとえばＢＳＥ，鳥インフルエンザ、コイヘルペスなどによる異常行動を集団の中から早期に自動的に検出する。
▲５▼動物、および小動物の監視により、環境の変化を自動検出する。たとえば金魚やケージ内の鳥の異常行動を判別し、水質汚染や大気汚染の自動検出を行う。

本発明は、動画像の中における動的対象物を直接特定せず、画面あるいは画像内で１個もしくは複数の動く対象の画像を重畳したときの重心を解析の対象として特定するものである。この重心が移動したときの時系列にもとづく軌跡を最終的には目的に応じた数種のアルゴリズムでリアルタイムに解析し状況が正常か異常かを判別しようとするものである。

前記のアルゴリズムを適用するため最初に重心の軌跡の作成順序を図１に示す。
（１）ビデオカメラで図２、図３のように人や物の動きを撮影した動画像をデジタル変換によってＰＣに取り込む。図２はカメラに向かって人がほぼ直進して動いているとき、図３はほぼ横切って動いているときを撮影している状況を示す。
（２）動画像は、適当なサンプリングレートでもって、画像データに変換する。サンプリングレートはたとえば１秒間３０回とする。
（３）各画像データのグレースケール値または、カラー値（ＲＧＢなど）、明度、彩度などから重心座標（Ｘ，Ｙ）をピクセル位置で読み取る。
（４）重心の座標軸のＸ軸、Ｙ軸のそれぞれの時系列データを作成する。
時系列データを目視できるようにグラフ化すると軌跡となる。図４は図２においてまっすぐに動いた場合の軌跡であり図５は不規則な怪しい動きの軌跡である。ジグザグに動いた場合のグラフは省略する。
自然な動きの場合、重心座標の局所的な軌跡は滑らかに動くが、不規則な動きを伴った行動では、軌跡は小刻みな変動をする。

重心の時系列解析すなわち軌跡を解析するアルゴリズムとして
（Ｉ）ＲＰ（Ｒｅｃｕｒｒｅｎｃｅ Ｐｌｏｔ）法
（ＩＩ）Ｐｏｗｅｒ Ｌａｗ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ＝ＦＦＴ）法
（ＩＩＩ）ＤＦＡ（Ｄｅｔｒｅｎｄｅｄ Ｆｌｕｃｔｕａｔｉｏｎ Ａｎａｌｙｓｉｓ）法
を使用目的と状況に応じていずれかまたは組み合わせて採択する。
図１はこれらのアルゴリズムの前処理である。

（Ｉ）ＲＰ法
図１で得られた時系列データを図６の順序で解析する。カメラに向かって直進するときに図７は単純な直進、図８はジグザグな直進、図９は不規則な怪しい動きの直進の場合であってそれぞれの時系列データをＲＰ変換したものである。単純な直進の時のＲＰ変換である図７の場合は単調なパターン、ジグザグ歩行の場合の図８でも規則性の高いパターンであるが不規則な怪しい動きの場合のＲＰ変換である図９では規則性がかなり崩落している。

ＲＰ変換とはＸ軸の時系列データをＸ（１），Ｘ（２），Ｘ（３），Ｋ，Ｘ（Ｎ）とした場合、時間遅れ法により多次元空間に再構成を行う。再構成された多次元空間の軌道点は（Ｘ（１），Ｘ（２＋τ），Λ，Ｘ（Ｎ＋τ（ｄ−１）））で表される（時間遅τ、埋め込み次元ｄの場合）。この再構成された軌道点を任意に２つ選び、２点間の距離で画素を決定するものである。
このＲＰ変換により表わされる画像パターンは、元データが周期的であれば、規則的な空間パターンが表われ、非周期的であれば漠然としたパターンが表われる。

ＲＰ変換を定量的に評価した値をＬｍａｘと呼び図１０、図１１に示す。
図１０はカメラに向かって直進する場合のＬｍａｘ値を示し図１１はカメラの前を横切る場合のＬｍａｘ値を示すものである。不規則な怪しい動きのＬｍａｘが大きく算出できるので定量的な自動判別が可能となり警報を発信することができる。本事例ではＬｍａｘ値は普通の歩行と比べてジグザグ歩行はおよそ１．５倍、不規則な怪しい動きでは約３倍の値を示している。

（ＩＩ）Ｐｏｗｅｒ−Ｌａｗ（ＦＦＴ）法
図１で得られた時系列データを図１２の順序で解析する。
Ｘ軸の時系列データをＸ（１），Ｘ（２），Ｘ（３），Ｋ，Ｘ（Ｎ）とした場合、ＦＦＴにより周波数スペクトルは次の式で表される。

数学上の説明のためたとえば汎用的な周波数スペクトルＸ（ω）のグラフを図１３に示す。
この汎用の両対数表示のグラフ上でデータの回帰直線を算出し、この直線の傾きをＰｏｗｅｒ Ｌａｗ指数と呼びβで示す。指数βは、値が大きいほど元の時系列データはなめらかであり、小さいほど小刻みな振動を伴う。

図１４は前記図２の各動きの上記の時系列の指数βであり図１５は前記図３の各動きの同じく時系列の指数βを示す。指数βはジグザグ歩行ならびに不規則な怪しい動きの場合普通の歩行と比べて３０〜７０％減少する。

（ＩＩＩ）重心座標変化の定量的評価 ＤＦＡ（Ｄｅｔｒｅｎｄｅｄ ｆｌｕｃｔｕａｔｉｏｎ ａｎａｌｙｓｉｓ）法
図１で得られた時系列のデータを図１６の順序で解析する。
Ｘ軸の時系列データをＸ（１），Ｘ（２），Ｘ（３），Ｋ，Ｘ（Ｎ）とした場合、まず、全体の平均値を計算し、各値から、平均値を引いたものを積分して、下のｙ（ｋ）を算出する。

次に、たとえば図１７のように積分後の時系列ｙ（ｋ）を、等間隔ｎのボックスで分割し、そのボックス内で最小２乗近似直線ｙ_ｎ（ｋ）（ローカルトレンド）を求める。
ｙ（ｋ）からｙ_ｎ（ｋ）のトレンドを除去し二乗して平均をとり平方根をとったＦ（ｎ）（平均二乗誤差）は、

となるが、ボックスの大きさを全ての時間スケールに対するように変化させてＦ（ｎ）を計算し、図１８のように横軸にｌｏｇｎ、縦軸にｌｏｇＦ（ｎ）としてプロットした時の直線部分の傾きを、スケール指数αとする。

この時のαの値が高いと時系列データは滑らかであり、低いと小刻みに振動する傾向がある。図１９は前記図２の各動きのスケール指数α、図２０は図３の各動きのスケール指数αを示す。ジグザグ歩行や不規則な怪しい行動を伴った場合は普通の歩行に比べてスケール指数αは３０〜７０％減少する。エレベーターに２人乗車してそのうちの一人が不規則な怪しい動きをしたときの事例を図２１に示す。怪しい動きをしていた一人が下車するとスケール指数αがもとのように上昇することを示している。

重心の軌跡の作成順序 カメラに向かって人がほぼ直進する動き カメラの前をほぼ横切る動き 図２で直進する動きの軌跡のグラフ 図２で不規則な怪しい動きの軌跡のグラフ ＲＰ法の解析順序 カメラに向かって単純な直進の時系列のＲＰ変換図 カメラに向かってジグザグな直進の時系列のＲＰ変換図 カメラに向かって不規則な怪しい動きの時系列のＲＰ変換図 カメラに向かって行くときのＬｍａｘ カメラの前を横切るときのＬｍａｘ Ｐｏｗｅｒ Ｌａｗ法の解析順序 汎用的な周波数スペクトルのグラフ カメラに向かって直進するときの指数β カメラの前を横切るときの指数β ＤＦＡ法の解析順序 ローカルトレンドの求め方の説明図 スケール指数αの説明図 カメラに向かって直進するときの指数α カメラの前を横切るときの指数α エレベータ乗車中の２人の指数α

Claims (5)

1. 動画として測定した画像をサンプリングにより重心を持つ一つの画像に変換しその重心点の各座標軸における位置の時系列データを線形あるいは非線形解析アルゴリズムにより解析しその不規則性を定量的に算出し異常値の場合は自動的に警報を発生することを特徴とする方法
2. 上記線形あるいは非線形アルゴリズムはリカレンス・プロット（Ｒｅｃｕｒｒｅｎｃｅ Ｐｌｏｔ）法、パワー・ロー（Ｐｏｗｅｒ Ｌａｗ）法およびディトレンディッド・フラクチュエイション・アナリシス（Ｄｅｔｒｅｎｄｅｄ Ｆｌｕｃｔｕａｔｉｏｎ Ａｎａｌｙｓｉｓ）法のうち少なくとも一つからなることを特徴とする方法
3. 動画は人、動物に限らず動く物体すべてに適用される上記アルゴリズムであることを特徴とする方法
4. 上記の動く物体は１個体に限らず同時に複数個にも適用されることを特徴とする方法
5. 動画は同時に複数の画像カメラの系統により測定し上記異常値を示す動画像あるいはカメラを特定できることを特徴とする警報発生の方法

Images