JP2022017939A - 異常行動検出システム及び異常行動検出方法 - Google Patents

Abstract

【課題】異なる属性の人物が存在し得る場所においても、精度の高い異常行動検出を行う。【解決手段】システムが、撮影画像の時系列であり一定数以上のフレームからなる時系列画像の各フレームに含まれる人物から当該人物の骨格位置を表す骨格位置情報を抽出する。システムが、当該抽出された骨格位置情報に基づき、時系列画像の各フレームに含まれる人物が同一人物であるか否かを判定する。システムが、時系列画像の所定数以上のフレームに含まれる同一人物の人物について、当該抽出された骨格位置情報に基づき、行動特徴量を生成する。システムは、当該生成された行動特徴量の出現頻度を、人物の属性ごとにヒストグラム化した属性ヒストグラムを生成し、人物の行動特徴量に基づき当該人物の異常行動を検出するために使用され得る当該属性ヒストグラムを記憶部に格納する。【選択図】図１

Description

本発明は、時系列画像に映っている人物の異常行動を検出する技術に関する。

従来、防犯や異常事態検知を目的として、監視対象場所に設置された監視カメラ等の撮像データから取得される時間的に連続した画像群（以下、「時系列画像」という）を用いて、そこに含まれる人物を検出し、その人物の行動を解析することにより、その人物の異常行動を自動的に検出する技術が提案されている。

例えば、所定の地点を撮影した複数の時系列画像に映った人の通常の行動を関節の動きの情報として蓄積しておく装置と、同じ地点を撮影した複数の時系列画像に映った人が上記の通常行動とは違う行動をした場合にそれを検出する装置を持つことで異常行動を高精度に検出する異常行動検出装置が提案されている（特許文献１）。

この分野において、時系列画像から人の動きを骨格ベースの特徴量として抽出するモデルとしては、ＳＴ－ＧＣＮ（Spatial Temporal Graph Convolutional Networks）などが用いられている。

特許第6647489号公報

異常行動検出技術は、異常行動をいち早く検出して対処する必要性の高い場所、例えば、店舗、駅、空港、イベント会場など、様々な場所での利用が想定される。これらの場所で、監視カメラ等に映る人物は、異なる属性を持つことが多い。例えば、店員、客、スタッフ、通行人等である。異なる属性を持つ人物は、その行動範囲や行動パターンも異なっている。

このような状況の中、特許文献１に記載の異常行動検出装置を適用するとすれば、「通常の行動」を規定する基となった人物と異なる属性の人物が監視カメラ等に映った場合、その人物属性としては通常の行動をしていたとしても、規定された「通常の行動」とは異なる異常行動をしていると判定されてしまう可能性がある。すなわち、特許文献１に記載の異常行動検出装置は、異なる属性を持つ人物が存在し得る場所に適用した場合、異常行動判定の信頼性が低いという問題点がある。

そこで、本発明は、異なる属性の人物が存在し得る場所においても、精度の高い異常行動検出を行うことを目的とする。

システムが、撮影画像の時系列であり一定数以上のフレームからなる時系列画像の各フレームに含まれる人物から当該人物の骨格位置を表す骨格位置情報を抽出する。システムが、当該抽出された骨格位置情報に基づき、時系列画像の各フレームに含まれる人物が同一人物であるか否かを判定する。システムが、時系列画像の所定数以上のフレームに含まれる同一人物の人物について、当該抽出された骨格位置情報に基づき、行動特徴量を生成する。システムは、当該生成された行動特徴量の出現頻度を、人物の属性ごとにヒストグラム化した属性ヒストグラムを生成し、人物の行動特徴量に基づき当該人物の異常行動を検出するために使用され得る当該属性ヒストグラムを記憶部に格納する。

異なる属性の人物が存在し得る場所においても、精度の高い異常行動検出を行うことができる。

本発明の一実施形態にかかる異常行動検出システムが適用される場所の一例を模式的に示した図である。 異常行動検出システムの内部構成の一例を示すブロック図である。 ハイパーパラメータ設定部としてのデータテーブルの一例を示す図である。 デフォルト属性定義部としてのデータテーブルの一例を示す図である。 人物骨格保存部としてのデータテーブルの一例を示す図である。 行動特徴量保存部としてのデータテーブルの一例を示す図である。 ヒストグラム区間保存部としてのデータテーブルの一例を示す図である。 人物属性保存部としてのデータテーブルの一例を示す図である。 属性ヒストグラム保存部としてのデータテーブルの一例を示す図である。 人物ヒストグラム保存部としてのデータテーブルの一例を示す図である。 属性ヒストグラム格納処理の流れを示すフロー図である。 人物追跡処理の流れの詳細の一例を示すフロー図である。 行動特徴量抽出処理の流れの詳細の一例を示す詳細フロー図である。 異常行動を検出するための処理全体の流れの一例を示すフロー図である。 人物追跡処理の流れの一例を示す詳細フロー図である。 異常行動検出処理の流れの詳細の一例を示すフロー図である。 異常判定処理の流れの詳細の一例を示すフロー図である。 異常通報の表示画面例を示す図である。

以下の説明では、「インターフェース装置」は、一つ以上のインターフェースデバイスでよい。当該一つ以上のインターフェースデバイスは、下記のうちの少なくとも一つでよい。
・一つ以上のＩ／Ｏ（Input/Output）インターフェースデバイス。Ｉ／Ｏ（Input/Output）インターフェースデバイスは、Ｉ／Ｏデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するＩ／Ｏインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも一つのＩ／Ｏデバイスは、ユーザインターフェースデバイス、例えば、キーボード及びポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイス。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Network Interface Card））であってもよいし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。

また、以下の説明では、「メモリ」は、一つ以上の記憶デバイスの一例である一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。

また、以下の説明では、「永続記憶装置」は、一つ以上の記憶デバイスの一例である一つ以上の永続記憶デバイスでよい。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）でよく、具体的には、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＮＶＭＥ（Non-Volatile Memory Express）ドライブ、又は、ＳＣＭ（Storage Class Memory）でよい。

また、以下の説明では、「記憶装置」は、メモリと永続記憶装置の少なくともメモリでよい。

また、以下の説明では、「プロセッサ」は、一つ以上のプロセッサデバイスでよい。少なくとも一つのプロセッサデバイスは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサデバイスでよいが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサデバイスでもよい。少なくとも一つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサデバイスは、プロセッサコアでもよい。少なくとも一つのプロセッサデバイスは、処理の一部又は全部を行うハードウェア記述言語によりゲートアレイの集合体である回路（例えばＦＰＧＡ（Field-Programmable Gate Array）、ＣＰＬＤ（Complex Programmable Logic Device）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサデバイスでもよい。

また、以下の説明では、「ｙｙｙ部」の表現にて機能を説明することがあるが（但し記憶部は除く）、機能は、一つ以上のコンピュータプログラムがプロセッサによって実行されることで実現されてもよいし、一つ以上のハードウェア回路（例えばＦＰＧＡ又はＡＳＩＣ）によって実現されてもよいし、それらの組合せによって実現されてもよい。プログラムがプロセッサによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び／又はインターフェース装等を用いながら行われるため、機能はプロセッサの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機又は計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。

また、以下の説明では、「異常行動検出システム」は、一つ以上の物理的な計算機で構成されたシステムでもよいし、物理的な計算リソース群（例えば、クラウド基盤）上に実現されたシステム（例えば、クラウドコンピューティングシステム）でもよい。異常行動検出システムが表示用情報を「表示する」ことは、計算機が有する表示デバイスに表示用情報を表示することであってもよいし、計算機が表示用計算機に表示用情報を送信することであってもよい（後者の場合は表示用計算機によって表示用情報が表示される）。

以下、本発明の一実施形態について、図１～図１８を参照しながら、詳細に説明する。

図１は、本発明の一実施形態にかかる異常行動検出システムが適用される場所の一例を模式的に示した図である。

この例は、小売店舗に設置した監視カメラ１０１を用いて当該店舗内の異常行動を検出する例である。店舗内は、会計用のレジや机で区切られた店員用区画と、その外側の客用区画とに分けられている。店員用区画には、店員１０３のみが立ち入りを許可されており、客用区画には、通常、客のみが存在している。この店舗内で、例えば、異常行動をする客１０２を検出することについて考える。

本実施形態にかかる異常行動検出システムは、図１に例示する監視カメラ１０１の内部に実装されていてもよいし、監視カメラ１０１と接続された外部のコンピュータシステムに実装されていてもよい。

図２は、本実施形態の異常行動検出システムの内部構成を示すブロック図である。

異常行動検出システム２０１は、本システムの動作に必要な各種データを記憶する記憶部２１０１と、監視カメラ１０１が撮像した時系列画像から人物とその行動の特徴を抽出する処理を行う抽出部２１０２と、抽出された人物の属性を推定する処理を行う推定部２１０３と、時系列画像に含まれる人物について異常行動を検出する処理を行う検出部２１０４と、異常行動判定の結果を表示する処理を行う表示部２１０５とを備えている。インターフェース装置、記憶装置及びそれらに接続されたプロセッサを備えるシステムにおいて、記憶部２１０１は、記憶装置により実現され、抽出部２１０２、推定部２１０３、検出部２１０４及び表示部２１０５は、記憶装置内の一つ以上のコンピュータプログラムをプログラムが実行することにより実現される。

記憶部２１０１は、ハイパーパラメータ設定部２１１０１、デフォルト属性定義部２１１０２、人物骨格保存部２１１０３、行動特徴量保存部２１１０４、ヒストグラム区間保存部２１１０５、人物属性保存部２１１０６、属性ヒストグラム保存部２１１０７、人物ヒストグラム保存部２１１０８を含む。

ハイパーパラメータ設定部２１１０１は、予め設定の必要なパラメータを保存する。例えば、ハイパーパラメータ設定部２１１０１は、図３に例示するように、規定される属性の数ｃ（３０１）、行動特徴量抽出に必要な骨格の最低数を表す整数ｋ（３０２）、ヒストグラム定義（後述）の判定基準に用いる行動特徴量の数を表す実数ｆｂ（３０３）、人物属性推定の判定基準に用いる行動特徴量の数を表す実数ｆ１（３０４）、ヒストグラムのビン数を表す実数ｂ（３０５）、及び、異常スコアを用いて対象の行動が異常か否かを判定する閾値である実数ａ（３０６）といったパラメータを保持する。

デフォルト属性定義部２１１０２は、規定された各属性について、その属性の人物が存在する監視対象場所内のエリアの定義を保存する。例えば、デフォルト属性定義部２１１０２は、図４が例示するように、本実施形態において定義される属性（４ａ）及び対象エリア（４ｂ）の組といった情報を保持する。属性と対象エリアの定義は、表の上欄にあるほど優先して適用される。複数の属性に定義された対象エリアが重複する場合、最も上欄にある属性及び対象エリアの定義を採用する。最下欄にはデフォルト属性と全エリアの組合せを定義しておくのが好ましい。何らかの属性が推定されなければ、異常行動検出が行えないからである。

人物骨格保存部２１１０３は、時系列画像に含まれる人物から抽出した骨格の情報を保存する。例えば、人物骨格保存部２１１０３は、図５が例示するように、対象の人物ＩＤ（５ａ）、時系列画像のフレーム番号（５ｂ）、及び、抽出された骨格の部位とその座標（５ｃ）といった情報を保持する。

行動特徴量保存部２１１０４は、時系列画像に含まれる人物から抽出した行動の特徴量の情報を保存する。例えば、行動特徴量保存部２１１０４は、図６が例示するように、時系列画像のフレーム番号（６ａ）、対象の人物ＩＤ（６ｂ）、及び、当該フレームに移った当該人物の行動から抽出されるｄ次元ベクトルの特徴量（６ｃ）といった情報を保持する。このように、本実施形態では、行動特徴量として、連続フレーム間で同一人物の骨格から抽出した実数を要素に持つｄ次元の特徴量（ｄは整数）を用いる。

ヒストグラム区間保存部２１１０５は、抽出された行動特徴量の出現頻度をヒストグラム化する際に、ヒストグラムの各ビンの境界（すなわちヒストグラムの各区間）を規定するための境界値の情報を保存する。例えば、ヒストグラム区間保存部２１１０５は、図７が例示するように、特徴量のいずれの次元（１～ｄ）であるかを表す次元（７ａ）と、当該次元におけるヒストグラムの各ビンの境界値（７ｂ）といった情報を保持する。ヒストグラムをｂ個の区間（ビン数）に分割するとすれば、ｂ－１個の境界値を設定することになる。

人物属性保存部２１１０６は、時系列画像に含まれる人物から抽出した人物ごとの特徴量数とその人物の属性の情報を保存する。例えば、人物属性保存部２１１０６は、図８が例示するように、対象の人物ＩＤ（８ａ）、その人物について現在保存されている特徴量数（８ｂ）、その人物の属性ＩＤ（８ｃ）、その属性が確定しているか否かを示す属性確定（８ｄ）といった情報を保持する。人物属性保存部２１１０６としてのテーブルにおける人物の属性ＩＤ（８ｃ）は、後の解析結果によっては変更され得るため、仮設定されたデータである場合がある。そこで、属性確定（８ｄ）において、それが確定的（値は“１”）であるのか、仮設定（値は“０”）であるのかを記述することとしている。仮設定の場合は、属性確定８ｄがその後変更される可能性があり、確定的である場合は変更されることがないことを意味する。

属性ヒストグラム保存部２１１０７は、人物の属性ごとに行動特徴量の出現頻度をヒストグラム化した情報を保存する。例えば、属性ヒストグラム保存部２１１０７は、図９が例示するように、人物の属性ＩＤ（９ａ）と、その人物属性の行動特徴量の次元（第１～ｄ次元）（９ｂ）と、行動特徴量の出現頻度のヒストグラム（９ｃ）といった情報を保持する。ヒストグラム（９ｃ）では、ｂ個の区間それぞれの値がｂ次元のベクトルで保存されていることになる。ヒストグラム（９ｃ）の値はヒストグラム正規化後の値である（例えば、ヒストグラム総面積が１になるように正規化されている）。

人物ヒストグラム保存部２１１０８は、人物ごとに行動特徴量の出現頻度をヒストグラム化した情報を保存する。例えば、人物ヒストグラム保存部２１１０８は、図１０が例示するように、対象の人物ＩＤ（１０ａ）と、その人物の行動特徴量の次元（第１～ｄ次元）（１０ｂ）と、行動特徴量の出現頻度のヒストグラム（１０ｃ）といった情報を保持している。ヒストグラム（１０ｃ）では、図９におけるヒストグラム（９ｃ）とは異なり、ヒストグラム正規化前の整数ベクトルが保存されている。

図２に示す抽出部２１０２の各処理部について説明する。

抽出部２１０２は、入力された時系列画像に含まれる人物から人物の骨格を抽出し、それを複数フレーム間にわたり追跡して解析することで人物の同一性を認識し、その上で人物単位の行動特徴量抽出を行うものであり、骨格抽出部２１２０１と、追跡部２１２０２と、行動特徴量抽出部２１２０３とを備えている。

骨格抽出部２１２０１は、入力された時系列画像の各フレームから人物の骨格位置を検出し出力する処理を行う。骨格抽出部２１２０１は、例えば、ディープニューラルネットワーク（ＤＮＮ）で構成されている。骨格位置は各部位の座標群として表現されている。部位としては例えば、左足、右足などがある。部位の座標はｘｙ座標とその部位推定時の確信度の３つの要素を持つ非負の実数ベクトルである。

追跡部２１２０２は、入力された時系列画像の各フレームに映っている人物の同一性を認識する処理を行う。同一性の認識方法としては、骨格の近さや大きさに基づく方法や、骨格位置から人物の外接矩形を求めて、その矩形画像から人物の見た目抽出用ＤＮＮを用いて抽出した特徴ベクトルを用いて、ベクトルの類似度に基づいて判定する方法などがある。同一人物と認識された人物ごとに骨格位置情報を人物骨格保存部２１１０３に保存する。時系列画像内に同一人物が存在しないと判定された人物は、新しい人物ＩＤを付与した上で、その骨格位置情報を人物骨格保存部２１１０３に骨格を保存する。

行動特徴量抽出部２１２０３は、時系列画像の連続フレームｋ枚上に映っている人物ごとにその骨格位置情報から行動特徴量を生成する処理を行う。行動特徴量の形式はｄ次元の実数ベクトルである。行動特徴量抽出部２１２０３は、例えばＤＮＮで構成されている。ＤＮＮのパラメータは、予め他の行動クラス分類用のデータセットで学習済みのものを用いる。学習済みのＤＮＮを用いることで、抽出される特徴量は行動の種類が同じ特徴量の類似度が高い（距離は小さい）という性質を持つ。

推定部２１０３は、時系列画像に含まれる人物の属性を推定する処理を行う。具体的には、例えば、推定部２１０３は、抽出部２１０２において時系列画像に含まれる人物から抽出した人物ごとに、行動特徴量のヒストグラムを作成し、属性ヒストグラム保存部に保存されている各属性のヒストグラムとの類似度を計算し、最も類似度の高い属性をその人物に割り当てる。ここで言う「類似度」とは、２つのヒストグラムから変形して作成したベクトルの類似度を指す。ヒストグラムから変形して作成したベクトルとは、ヒストグラムの各区間の高さを要素として構成したベクトルである。ベクトルの類似度とは、２つのベクトルの距離（ユークリッド距離など）を指す。２つのベクトルの距離が小さいほどそれらベクトルの類似度は高い。

検出部２１０４は、時系列画像に含まれる人物の行動から異常行動を検出する処理を行う。具体的には、抽出部２１０２において時系列画像から抽出され、推定部２１０３において属性を推定された人物について、その行動特徴量の異常スコアを算出する。異常スコアの算出は、その人物の現時点での行動特徴量のヒストグラム（人物ヒストグラム保存部２１１０８に保存されている）と、その人物の属性に設定された行動特徴量のヒストグラム（属性ヒストグラム保存部２１１０７に保存されている）との乖離度に基づく。異常スコアが所定の閾値ａを超える場合に、検出部２１０４は、その人物がその時点で異常行動していると判定する。

表示部２１０５は、本システム上の表示用モニタ（図示せず）に、異常行動判定の結果やアラート情報などを表示させる処理を行う。

続いて、本実施形態において行われる処理の幾つかの例を説明する。

図１１は、監視カメラ等が撮像した時系列画像を用いて、予め規定された人物属性ごとにその行動特徴量を抽出し、その出現頻度の属性ヒストグラムとして記憶する処理の流れの一例を示すフロー図である。

ハイパーパラメータ設定部２１１０１（つまり各種各パラメータ）が設定される（Ｓ１００）。対象となる場所や目的に応じて適宜パラメータが設定されてよい。

抽出部２１０２が、監視カメラ等が撮像した時系列画像のフレーム群を取得する（Ｓ１０１）。抽出部２１０２の骨格抽出部２１２０１が、フレーム画像に映る人物の骨格位置を抽出する（Ｓ１０２）。

追跡部２１２０２が、抽出された骨格を複数フレーム間にわたり追跡して解析することで、複数フレームにわたり映る人物の同一性を認識する（Ｓ１０３）。この人物追跡処理（Ｓ１０３）の詳細例は、図１２が示す通りである。

すなわち、追跡部２１２０２は、人物骨格保存部２１１０３を参照して、最新フレームで検出された人物と過去の数フレームで検出された人物とを、所定の人物対応付け規準を元に紐づける（Ｓ１１０１）。例えば、追跡部２１２０２は、最新のフレームから抽出された骨格位置と過去の一つ以上のフレームから抽出された骨格位置とを比較し、位置のずれが最も小さく、かつ、そのずれが一定範囲内である場合に、それらの骨格位置に対応した人物が同一人物であると判定してよい。或いは、例えば、追跡部２１２０２は、骨格位置をもとに人物の外接矩形を求め、その外接矩形領域を切り出した画像に対してＤＮＮなどで抽出した人物外観の特徴量を基に、特徴量ベクトルの類似度が一定以上かつ最も類似度の高い人物を同一人物と判定してよい。

人物対応付けを行った結果、追跡部２１２０２は、対象人物が過去に検出された人物と対応付けられているか判定する（Ｓ１１０２）。判定結果が偽である場合、追跡部２１２０２は、当該人物に新しい人物ＩＤを付与する（Ｓ１１０３）。新しい人物ＩＤは、記憶部２１０１における行動特徴量保存部２１１０４に保存されている人物のＩＤの最大値より１大きい値とする。

再び図１１を参照する。以上が、図１１における人物追跡処理（Ｓ１０３）である。

続いて、行動特徴量抽出部２１２０３が、対象人物の骨格位置情報から行動特徴量を抽出する（Ｓ１０４）。この行動特徴量抽出処理（Ｓ１０４）の詳細例は、図１３が示す通りである。

すなわち、行動特徴量抽出部２１２０３は、人物骨格保存部２１１０３を参照して、対象人物について最新フレームからｋ－１前のフレームまでのｋ枚のフレーム中に骨格位置情報が存在するか否かを判定する（Ｓ１２０１）。判定結果が真の場合、行動特徴量抽出部２１２０３は、対象人物のｋフレームの骨格位置情報を行動特徴量抽出部２１２０３に入力して、行動特徴量（ｄ次元の実数ベクトル形式）を得る。得られた行動特徴量は行動特徴量保存部２１１０４に保存する（Ｓ１２０２）。

再び図１１を参照する。以上が、図１１における行動特徴量抽出処理（Ｓ１０４）である。

こうして得られた人物属性ごとの行動特徴量の数が、ハイパーパラメータ設定部２１１０１に規定される最小値ｆｂ（ヒストグラム定義に最低限必要な数）以上か否かを、推定部２１０３が判定する（Ｓ１０５）。１以上の人物属性について判定結果が偽である場合は、Ｓ１０１に戻り、必要数が取得されるまで処理を続行する。

実際の運用においてＳ１０１～Ｓ１０４の処理を行う際には、例えば、店員と客の２種の属性のうち、まずは開店前の店員に対して処理を行い、開店後に客に対して処理を行うといった方法が考えられる。この場合、人物属性の情報は予め与えられていることになる。人物属性の情報は予め与えられていない場合には、骨格抽出処理（Ｓ１０２）において得られた骨格位置情報を用いて、デフォルト属性定義部２１１０２を参照し、推定部２１０３が、その人物の存在位置によって属性を推定する。この場合、割り当てた属性は暫定的なものとして、推定部２１０３が、人物属性保存部２１１０６における属性確定（８ｄ）を仮設定（値は“０”）としておき、後に、後述する行動特徴量の出願頻度ヒストグラムの比較により、さらに精密な属性推定を行うこととしてもよい。

推定部２１０３が、各人物属性について、十分な行動特徴量（例えば、所定数以上の行動特徴量）が取得された後に、行動特徴量保存部２１１０４に保存された行動特徴量を用いて、ヒストグラム区間の定義を行う（Ｓ１０６）。推定部２１０３が、ヒストグラム区間の定義を行動特徴量の次元ごとに行う。つまり、行動特徴量の次元がd、ヒストグラムのビン数がｂの場合、推定部２１０３が、次元１、...、次元ｄそれぞれに対して、ｂ-１個のヒストグラム境界値を定義する。

ヒストグラムの区間の定義方法は、例えば以下のものがある。

すなわち、推定部２１０３が、f個の特徴量から次元i(1≦i≦d)の値に対し、最大値と最小値を求める。推定部２１０３が、この最小値と最大値を両端の境界とし、残りｂ－３個の境界はその間をｂ個に均等に分割する位置に設定する。例えば、ｂ＝３、最大値が３、最小値０がの時のヒストグラムの区間は０、１、２、３の４つである。推定部２１０３が、この定義した区間の境界をヒストグラム区間保存部２１１０５に保存する。

続いて、推定部２１０３が、定義されたヒストグラム区間に従って、各人物属性について、属性ヒストグラムを作成する（Ｓ１０７）。属性ヒストグラムは、行動特徴量の各次元ごとにそれぞれ一つずつ存在する。行動特徴量がｄ次元であればｄ個のヒストグラムとなる。具体的には、例えば、推定部２１０３が、行動特徴量保存部２１１０４に保存されている行動特徴量を属性ごとに取得し、定義されたヒストグラム区間に従い、各次元における行動特徴量の出現数についてヒストグラム化する。推定部２１０３が、各属性につき、全ての行動特徴量の出現数についてヒストグラム化した後に、ヒストグラム正規化を行う。ヒストグラム正規化は、各次元のヒストグラムが確率密度関数（ヒストグラムの総面積が１）になるように、ビンの高さを正規化前のヒストグラムの総面積で割る操作である。これにより、取得されたサンプル数、フレーム数などが異なる条件で得られる複数のヒストグラムを同一水準に揃えることができ、後の人物属性推定や異常行動検出の精度が高められる。正規化後の属性別のヒストグラムを「属性ヒストグラム」と呼ぶ。推定部２１０３が、作成した属性ヒストグラムを属性ヒストグラム保存部２１１０７に保存する。

以上の処理により、監視カメラ等が撮像した時系列画像から、予め規定された人物属性ごとにその行動特徴量を抽出し、その出現頻度の属性ヒストグラムが作成されて保存されたことになる。つまり、人物属性ごとに「通常の行動」の類型が保存されたこととなる。

図１４は、監視カメラ等が撮像した時系列画像に映る人物の異常行動を検出する処理の流れの一例を示すフロー図である。

抽出部２１０２が、監視カメラ等が撮像した時系列画像のフレーム群を取得する（Ｓ２０１）。抽出部２１０２の骨格抽出部２１２０１が、フレーム画像に映る人物の骨格位置を抽出する（Ｓ２０２）。追跡部２１２０２が、抽出された骨格を複数フレーム間にわたり追跡して解析することで、複数フレームにわたり映る人物の同一性を認識する（Ｓ２０３）。この人物追跡処理（Ｓ２０３）の詳細例は、図１５が示す通りである。

すなわち、追跡部２１２０２が、図１２におけるＳ１１０１と同様に、最新フレームで検出された人物と過去の数フレームで検出された人物とを、所定の人物対応付け規準を元に紐づける（Ｓ２１０１）。次に、追跡部２１２０２が、Ｓ２１０２と同様に、対象人物が過去に検出された人物と対応付けられているか判定する（Ｓ２１０２）。判定結果が偽である場合、追跡部２１２０２が、当該人物に新しい人物ＩＤとデフォルト属性を付与する（Ｓ２１０３）。具体的には、例えば、追跡部２１２０２が、デフォルト属性定義部２１１０２を参照し、当該人物が存在するエリアに対応する属性をデータテーブルの上から順に検索し最初に得られた属性を、デフォルト属性として付与する。

再び図１４を参照する。以上が、図１４における人物追跡処理（Ｓ２０３）である。

続いて、対象人物の異常行動の検出処理が行われる（Ｓ２０４）。この異常行動検出処理（Ｓ２０４）の詳細例は、図１６が示す通りである。

すなわち、行動特徴量抽出部２１２０３は、図１３におけるＳ１２０１と同様に、人物骨格保存部２１１０３を参照して、対象人物について最新フレームからｋ－１前のフレームまでのｋ枚のフレーム中に骨格位置情報が存在するか否かを判定する（Ｓ２２０１）。判定結果が偽であれば、異常行動検出処理は終了する。判定結果が真である場合、行動特徴量抽出部２１２０３は、図１３におけるＳ１２０２と同様に、当該人物の骨格位置情報から行動特徴量を得る。行動特徴量抽出部２１２０３は、得られた行動特徴量の次元ごとに出現頻度のヒストグラムを作成し、当該ヒストグラムを、人物ヒストグラム保存部２１１０８に保存する。

こうして得られた対象人物の行動特徴量の数が、ハイパーパラメータ設定部２１１０１に規定される最小値ｆ１（人物属性推定に最低限必要な数）以上か否かを、推定部２１０３が判定する（ＳＳ２２０３）。判定結果が真である場合、推定部２１０３が、その人物の属性推定を行う（ＳＳ２２０４）。具体的には、例えば、推定部２１０３が、人物ヒストグラム保存部２１１０８に保存された対象人物の行動特徴量のヒストグラムを取得し、このヒストグラムの正規化を行う。次に、推定部２１０３が、属性ヒストグラム保存部２１１０７に保存されている各属性ヒストグラムとの間の類似度を計算する。類似度としては例えば、ユークリッド距離がある。推定部２１０３が最も類似度の高い属性ヒストグラムの属性を対象人物の属性とする。一方、判定結果が偽である場合、推定部２１０３が、その人物の骨格位置情報から存在位置を決定し、デフォルト属性定義部２１１０２を参照し、その人物の存在位置によって属性を推定することができる。

続いて、推定部２１０３が、人物属性保存部２１１０６を参照し、その人物について属性が定義されているか否かを判定する。その判定結果が偽の場合は、異常行動検出処理が終了する（Ｓ２２０５）。判定結果が真の場合、異常判定処理が行われる（Ｓ２２０６）。この異常判定処理（Ｓ２２０６）は、図１７の詳細フロー図に示す通りである。

すなわち、検出部２１０４が、対象人物の行動特徴量を用いて異常スコアを算出する（Ｓ２２１０１）。異常スコアの算出は、対象人物の行動特徴量のヒストグラム（人物ヒストグラム保存部２１１０８に保存されている）と、その人物の属性に設定された行動特徴量のヒストグラム（属性ヒストグラム保存部２１１０７に保存されている）との乖離度に基づく。

続いて、検出部２１０４が、ハイパーパラメータ設定部２１１０１に保存されている異常スコア閾値ａの値を用いて、異常スコアがａ以上であるか判定する（Ｓ２２１０２）。異常スコアが所定の閾値ａを超える場合、検出部２１０４が、その人物がその時点で異常行動していると判定し、異常発報を行う（Ｓ２２１０３）。この場合、検出部２１０４が、表示部２１０５を用いて、当該人物の最新フレームにおける骨格位置情報を、人物骨格保存部から獲得し、表示部２１０５にて異常通報とともに表示する。

この異常通報の表示画面例を図１８に示す。図１８に示す表示画面例において、表示エリア１８ａ内に、監視対象場所（ここでは図１と同じ小売店舗）の全景、検出されている人物、異常検出結果を示す画面１８ｂ及びその説明文１８ｃが表示されている。画面１８ｂの中で、各人物の骨格情報を模した形状の人物アイコンと異常スコアが表示されており、人物アイコンは属性ごとに異なる色で表示される。ここで人物１８ｄは、形状が他の人物とは異なり、異常スコアも高いことから、この画面を目視することによっても、人物１８ｄが異常行動をしていることが一目で認識される。

以上、上述した実施形態によれば、異常行動をいち早く検出して対処する必要性の高い場所、例えば、店舗、駅、空港、イベント会場など幅広い場所に対して適用可能である。例えば、店舗の店員やイベント会場のスタッフなどは、客とは異なる位置に居たり、特徴的な動作をするため、特異的な属性として認識及び定義することが可能である。客が、通常は居ないはずの場所に居たりしないはずの動作をしたりした場合には、異常行動として検出できることになる。また、空港の場合は、警備員が監視のためキョロキョロして徘徊したり、犬を連れて歩いたりすることが認められているが、同様の行動を客が行えば、異常行動として検出することが可能である。このように、予め人物の属性ごとに行動パターンを認識及び定義しておくことで、高精度な異常行動検出を実現することができる。

また、上述した実施形態によれば、ディープラーニングのような高コストで大量のデータを必要とする手法を用いることを必要とせず、人物の行動の出現頻度のみに基づいた低コストかつ簡易な手法でありながら高精度で異常行動検出を実現することができる。

以上、一実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実行することが可能である。

２０１：異常行動検出システム

Claims (8)

1. 撮影画像の時系列であり一定数以上のフレームからなる時系列画像の各フレームに含まれる人物から当該人物の骨格位置を表す骨格位置情報を抽出する骨格抽出部と、
   前記抽出された骨格位置情報に基づき、時系列画像の各フレームに含まれる人物が同一人物であるか否かを判定する追跡部と、
   時系列画像の所定数以上のフレームに含まれる同一人物の人物について、前記抽出された骨格位置情報に基づき、行動特徴量を生成する行動特徴量抽出部と
   を備え、
   前記行動特徴量抽出部は、前記生成された行動特徴量の出現頻度を、人物の属性ごとにヒストグラム化した属性ヒストグラムを生成し、人物の行動特徴量に基づき当該人物の異常行動を検出するために使用され得る当該属性ヒストグラムを記憶部に保存する、
   異常行動検出システム。
2. 前記骨格抽出部及び前記追跡部において特定される同一人物の骨格位置情報からその人物の存在位置を取得し、人物の属性とその存在位置との組合せを含むデフォルト属性定義情報を参照して、その人物の属性を推定する推定部、
   を更に備える請求項１に記載の異常行動検出システム。
3. 前記推定部は、
   前記デフォルト属性定義情報を参照して推定した人物属性を仮の推定としておき、
   当該人物の骨格位置情報から生成される行動特徴量の出現頻度のヒストグラムと、前記記憶部内の属性ヒストグラムとを比較することで、当該人物の属性を推定する
   請求項２に記載の異常行動検出システム。
4. 前記属性ヒストグラムは、正規化されている
   請求項１に記載の異常行動検出システム。
5. 一定数以上のフレームからなる時系列画像に含まれる属性が推定されていない人物について、当該人物の行動特徴量の出現頻度のヒストグラムを生成し、当該ヒストグラムと前記記憶部内の属性ヒストグラムとを比較することで、当該人物の属性を推定する推定部、
   を更に備える請求項１に記載の異常行動検出システム。
6. 前記推定部において、当該人物の行動特徴量から属性を推定することができない場合は、当該人物の骨格位置情報からからその存在位置を取得し、人物の属性とその存在位置との組合せを含むデフォルト属性定義情報を参照して、当該人物の属性を推定する
   請求項５に記載の異常行動検出システム。
7. 前記属性が推定された人物について、時系列画像に含まれる所定数の連続したフレームを用いて生成される行動特徴量の出現頻度のヒストグラムと、当該人物に推定された属性ヒストグラムとを比較し、その乖離度に基づき異常スコアを算出し、異常スコアを基に異常行動を検出する検出部、
   を更に備える請求項５に記載の異常行動検出システム。
8. コンピュータが、撮影画像の時系列であり一定数以上のフレームからなる時系列画像の各フレームに含まれる人物から当該人物の骨格位置を表す骨格位置情報を抽出し、
   コンピュータが、前記抽出された骨格位置情報に基づき、時系列画像の各フレームに含まれる人物が同一人物であるか否かを判定し、
   コンピュータが、時系列画像の所定数以上のフレームに含まれる同一人物の人物について、前記抽出された骨格位置情報に基づき、行動特徴量を生成し、
   コンピュータが、前記生成された行動特徴量の出現頻度を、人物の属性ごとにヒストグラム化した属性ヒストグラムを生成し、人物の行動特徴量に基づき当該人物の異常行動を検出するために使用され得る当該属性ヒストグラムを記憶部に保存する、
   異常行動検出方法。

Images