JP2021097285A - 異常行動検出装置 - Google Patents

Abstract

【課題】異常行動を高精度に検出することが可能な異常行動検出装置を提供する。【解決手段】蓄積装置２及び検出装置３からなる異常行動検出装置１であって、所定の地点を撮影した複数の第２の時系列画像に映った行動体の行動を検出する第２の検出部３３と、第２の検出部３３によって検出された行動が決定部２４により決定された通常の行動と異なる場合、通常の行動と異なる行動を行った行動体を“異常体候補”として複数の第２の時系列画像の中から抽出し、第２の検出部３３が“異常体候補”を検出してから所定時間内の複数の他の行動体の行動を考慮して、“異常体候補”が“異常体”であるかどうかを判断し、“異常体候補”が“異常体”であると判断した場合に抽出情報を出力する抽出部３４と、を備える。【選択図】図２

Description

本発明は、時系列画像に映った行動体の異常行動を検出するための異常行動検出装置に関する。

従来より、監視空間にある対象物体の移動パターンを相互に比較して一致頻度を求め、一致頻度が所定数以上である移動パターンを混雑状態時の正常パターンとし、混雑状態時における移動パターンが上記正常パターンと一致しない場合に異常信号を出力する技術が知られている（例えば、特許文献１参照）。

特開２０１０−７２７８２号公報

しかしながら、上記技術では、正常パターン決定するための適切な閾値の設定が困難である。例えば、正常パターンの閾値を下げれば、重大な“異常行動”を見落としてしまうおそれがある。一方で、正常パターンの閾値を上げれば、“異常行動”を見落としてしまう可能性は低くなるが、本来的には問題のない行動（「たまたま手を挙げた」等）が行われた場合にまで異常信号が出力されてしまうおそれがあり、管理者側に大きな負担が生じてしまう。

また、上記技術では、対象物体の移動パターン、すなわち、対象物体の位置の履歴情報に基づいて異常判定を行っているため、例えば、対象物体が「刃物を向けた」等の異常行動を行ったとしても、移動パターンが正常の範囲の場合には“異常行動”を見落としてしまうこととなる。

そこで、本発明は、異常行動を高精度に検出することが可能な異常行動検出装置を提供することを目的としている。

本発明は、所定の地点を撮影した複数の第１の時系列画像を取得する第１の取得部と、前記複数の第１の時系列画像に映った行動体の行動を検出する第１の検出部と、前記第１の検出部によって検出された多数の前記行動に基づき、前記所定の地点における一又は複数の通常の行動を決定する決定部と、を有する蓄積装置と、前記所定の地点を撮影した複数の第２の時系列画像を取得する第２の取得部と、前記複数の第２の時系列画像に映った行動体の行動を検出する第２の検出部と、前記第２の検出部によって検出された行動が前記決定部により決定された通常の行動と異なる場合、前記通常の行動と異なる行動を行った行動体を異常体候補として前記複数の第２の時系列画像の中から抽出する抽出部と、を有する検出装置と、を備え、前記抽出部は、前記第２の検出部が前記異常体候補を検出してから所定時間内の他の行動体の行動を考慮して、前記異常体候補が異常体であるかどうかを判断し、前記異常体候補が異常体であると判断した場合に抽出情報を出力することを特徴とする異常行動検出装置を提供している。

このような構成によれば、“異常行動”の検出に当たり、他の行動体の行動も考慮するので、決定部が決定する“通常の行動”の閾値をある程度の範囲で設定しておけば、不審と思われる行動を予め登録したり、検出した行動の種類を識別することなく、問題となる異常行動のみを高精度に検出することが可能となる。また、一の行動体の移動パターンだけでは判別することのできないような「刃物を向けた」等の“異常行動”も検出することが可能となる。

また、前記第１の検出部は、前記複数の第１の時系列画像に映った行動体に含まれる複数の関節の動きを検出し、前記決定部は、前記第１の検出部によって検出された多数の前記複数の関節の動きに基づき、前記所定の地点における一又は複数の通常の行動を決定し、前記第２の検出部は、前記複数の第２の時系列画像に映った行動体に含まれる複数の関節の動きを検出し、前記抽出部は、前記第２の検出部によって検出された前記複数の関節の動きが前記決定部により決定された通常の行動と異なる場合、前記通常の行動と異なる行動を行った行動体を前記複数の第２の時系列画像の中から抽出し、前記第２の検出部が前記異常体候補を検出してから所定時間内の他の行動体の複数の関節の動きを考慮して、前記異常体候補が異常体であるかどうかを判断し、前記異常体候補が異常体であると判断した場合に前記抽出情報を出力することが好ましい。

このような構成によれば、移動パターンを考慮するだけでは見落としてしまう可能性のある「刃物を向けた」等の“異常行動”も高精度に検出することが可能となる。

本発明の別の観点によれば、コンピュータにインストールされるプログラムであって、所定の地点を撮影した複数の第１の時系列画像を取得するステップと、前記複数の第１の時系列画像に映った行動体の行動を検出するステップと、前記検出された多数の前記行動に基づき、前記所定の地点における一又は複数の通常の行動を決定するステップと、前記所定の地点を撮影した複数の第２の時系列画像を取得するステップと、前記複数の第２の時系列画像に映った行動体の行動を検出するステップと、前記第２の時系列画像に関して検出された行動が前記決定された通常の行動と異なる場合、前記通常の行動と異なる行動を行った行動体を異常体候補として前記複数の第２の時系列画像の中から抽出するステップと、前記第２の検出部が前記異常体候補を検出してから所定時間内の他の行動体の行動を考慮して、前記異常体候補が異常体であるかどうかを判断し、前記異常体候補が異常体であると判断した場合に抽出情報を出力するステップと、を備えたことを特徴とする異常行動検出プログラムを提供している。

また、前記複数の第１の時系列画像に映った行動体の行動を検出するステップでは、前記複数の第１の時系列画像に映った行動体に含まれる複数の関節の動きを検出し、前記決定するステップでは、前記第１の検出部によって検出された多数の前記複数の関節の動きに基づき、前記所定の地点における一又は複数の通常の行動を決定し、前記複数の第２の時系列画像に映った行動体の行動を検出するステップでは、前記複数の第２の時系列画像に映った行動体に含まれる複数の関節の動きを検出し、前記抽出するステップでは、前記第２の検出部によって検出された前記複数の関節の動きが前記決定部により決定された通常の行動と異なる場合、前記通常の行動と異なる行動を行った行動体を前記複数の第２の時系列画像の中から抽出し、前記出力するステップでは、前記第２の検出部が前記異常体候補を検出してから所定時間内の他の行動体の複数の関節の動きを考慮して、前記異常体候補が異常体であるかどうかを判断し、前記異常体候補が異常体であると判断した場合に前記抽出情報を出力することが好ましい。

本発明の異常行動検出装置によれば、異常行動を高精度に検出することが可能となる。

本発明の実施の形態による異常行動検出装置の使用状態の説明図 本発明の実施の形態による異常行動検出装置のブロック図 本発明の実施の形態による異常行動検出の説明図 本発明の実施の形態による異常行動検出のフローチャート

以下、本発明の実施の形態による異常行動検出装置１について、図１−図４を参照して説明する。

異常行動検出装置１は、図１に示すように、撮影手段Ｘによって撮影された複数の時系列画像Ｙ（動画を構成する各フレーム等）に映った行動体Ｚの中から異常行動を行った行動体を検出するためのものである。本実施の形態では、行動体Ｚとして人間を採用し、理解容易のため、行動体Ｚを骨格だけで簡易的に表示する。

異常行動検出装置１は、図２に示すように、蓄積装置２と、検出装置３と、を備えており、蓄積装置２によって蓄積されたデータを参照して、検出装置３が異常行動を検出する。

蓄積装置２は、第１の記憶部２１と、第１の取得部２２と、第１の検出部２３と、決定部２４と、を備えている。

第１の記憶部２１には、“関節識別基準”と、“行動体特定基準”と、が記憶されている。

“関節識別基準”は、行動体Ｚの複数の関節Ａ（図１では、首、右肘、左肘、腰、右膝、左膝）を識別するためのものであり、関節Ａごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。

“行動体特定基準”は、行動体Ｚの様々なバリエーション（“歩行”、“直立”等）の “基本姿勢 “、”各関節Ａの可動域“、一の行動体Ｚにおける”各関節Ａ間の距離“等を示したものである。

第１の取得部２２は、所定の地点を撮影した複数の第１の時系列画像Ｙ１を取得する。所定の地点は、主に一又は複数の所定の行動が行われる地点であることが好ましい。

所定の行動としては、例えば、所定の地点が“商店の商品棚の前”の場合、“商品を手に取る”、“商品を買い物かごに入れる”等が考えられる。また、例えば、所定の地点が“商店のサービスカウンターの中”の場合、“商品を受け取る”、“お金を受け取る”、“レジを開ける”、“お釣りを渡す”、“商品を渡す”等が考えらえる。

第１の検出部２３は、複数の第１の時系列画像Ｙ１に映った行動体Ｚの行動を検出する。本実施の形態では、複数の第１の時系列画像Ｙ１に映った行動体Ｚを特定し、特定された行動体Ｚの行動を検出する。

行動体Ｚの特定としては、公知の方法を用いることもできるが、本実施の形態では、第１の記憶部２１に記憶された“関節識別基準”に該当する複数の関節Ａを検出した上で、“行動体特定基準”を参照して、一の行動体Ｚに含まれる複数の関節Ａを特定する。図１の例では、関節Ａ１−Ａ６、及び、関節Ａ７−１２がそれぞれ一の行動体Ｚに含まれる関節Ａであると特定され、２つの行動体Ｚが存在するものと特定される。

行動の検出としては、所定の行動を行った場合の各関節の動きを第１の記憶部２１に記憶しておき、各関節の該当する動きを検出した場合に当該所定の行動を行ったと検出してもよいし、関節Ａ全体の動き、腰の関節Ａの動き、重心の動き（ＸＹＺ方向への移動速度）等を単に検出するだけでもよい。

決定部２４は、第１の検出部２３によって検出された多数の行動（複数の関節の動き）に基づき、所定の地点における一又は複数の“通常の行動（通常の複数の関節の動き）”を決定する。

“通常の行動”は、様々な基準で決定することが可能であるが、例えば、検出された全行動の中で所定（閾値）以上の割合を有する行動を“通常の行動”として決定することが考えられる。例えば、行動の検出として腰の関節Ａの動きを検出した場合には、腰の関節ＡのＸＹＺ方向への移動速度が所定範囲に含まれている行動が、“通常の行動”と決定されることとなる。

決定部２４により決定された“通常の行動”は、第１の記憶部２１に記憶される。

検出装置３は、第２の記憶部３１と、第２の取得部３２と、第２の検出部３３と、抽出部３４と、を備えている。

第２の記憶部３１には、第１の記憶部２１と同様に、“関節識別基準”と、“行動体特定基準”と、が記憶されている。

第２の取得部３２は、上記所定の地点を撮影した複数の第２の時系列画像Ｙ２を取得する。複数の第２の時系列画像Ｙ２は、撮影手段Ｘにより、第１の取得部２２と略同一の画角・倍率で撮影されたものであることが好ましい。

第２の検出部３３は、複数の第２の時系列画像Ｙ２に映った行動体Ｚを特定し、特定された行動体Ｚの行動を検出する。この行動体Ｚの特定、及び、行動の検出は、第１の検出部２３と同様の方法で行うことができる。

抽出部３４は、第２の検出部３３によって検出された行動が決定部２４により決定された“通常の行動”と異なる場合、“通常の行動”と異なる行動を行った行動体Ｚを複数の第２の時系列画像Ｙ２の中から抽出し、抽出情報を出力する。本実施の形態では、“通常の行動”と異なる行動を行った行動体Ｚが抽出された際に、登録された情報端末（警備会社の情報端末、個人の携帯情報端末等）に対して抽出情報を自動的に送信する。

“通常の行動”と異なる行動としては、所定の地点にふさわしくない行動（行動の種類、進行方向、移動速度、異常な歩行、異常な行動（転倒／卒倒、座り込み、周回行動等）が抽出されるものと考えられる。

抽出情報としては、単に、“通常の行動”と異なる行動を行った行動体Ｚを抽出した旨でも良いし、抽出された行動体Ｚに対する個別識別情報であっても良い。

個別識別情報としては、様々なものが考えられるが、例えば、画像上で、抽出された行動体に対してフォーカスマークを付すと共に、服装、所持物、進行方向、時間等を付加情報として付加する等が考えられる。この個別識別情報を参照することで、異常行動検出装置１のユーザや管理者は、抽出された行動体Ｚが本当に異常行動を行ったのかを確認したり、抽出された行動体Ｚの特徴を具体的に把握することが可能となる。

ここで、異常行動検出装置１のユーザや管理者は、抽出情報が送信された際に、行動体Ｚが行った“通常の行動”と異なる“異常行動”に対する対応を行うことが考えられるが、異常行動検出装置１のユーザや管理者にとっては、対応を行うべき“異常行動”についてのみ抽出情報が送信されることが好ましい。

しかしながら、“通常の行動”の閾値を下げれば、重大な“異常行動”が生じた際に抽出情報が送信されずに見落としてしまうおそれがある。一方で、“通常の行動”の閾値を上げれば、“異常行動”を見落としてしまう可能性は低くなるが、本来的には問題のない行動（「たまたま腕を挙げた」等）が行われた場合にまで抽出情報が送信されてしまうおそれがあり、管理者側に大きな負担が生じてしまう。

例えば、図３（ａ）では、行動体Ｚ１−Ｚ３は、通常の歩行を行っていたが、図３（ｂ）及び（ｃ）では、行動体Ｚ１は、腕を前方に上げている。これは、“刃物を向けている”可能性もあれば、“たまたま腕を挙げた”だけの可能性もある。

そこで、本実施の形態では、抽出部３４は、まず、第２の検出部３３によって検出された行動が決定部２４により決定された“通常の行動”と異なる場合、“通常の行動”と異なる行動を行った行動体Ｚを“異常体候補”として複数の第２の時系列画像Ｙ２の中から抽出する。そして、抽出部３４は、第２の検出部３３が“異常体候補”を検出してから所定時間内の他の行動体Ｚの行動を考慮して（本実施の形態では、他の行動体が“異常体候補”として抽出されるか否かに基づき）、“異常体候補”が“異常体”であるか否かを判断し、“異常体”であると判断した場合に抽出情報の出力を行う。

例えば、図３（ｂ）では、行動体Ｚ１が腕を前方に上げた際に、行動体Ｚ１の前方にいる行動体Ｚ２は、両手を挙げ、行動体Ｚ１の後方にいる行動体Ｚ３は、後方に逃げ出しており、行動体Ｚ１が“刃物を向けている”ことが推定される。

この場合、例えば、“腕を挙げた”程度で“異常候補体”として抽出されるように、決定部２４が決定する“通常の行動”の閾値を低めに設定しおけば、両手を挙げた行動体Ｚ２や後方に逃げ出したＺ３も、“異常体候補”の対象となる。

そして、行動体Ｚ２、Ｚ３の行動が、第２の検出部３３が“異常体候補”を検出してから所定時間内のものであれば、行動体Ｚ１の行動に起因した生じたものと考えられるため、抽出部３４は、抽出情報の出力を行う。なお、抽出情報としては、起因となっている（最初に抽出された）行動体Ｚ１を特定した抽出情報を出力することが好ましい。

一方で、図３（ｃ）では、行動体Ｚ１が腕を前方に上げた際に、行動体Ｚ２、Ｚ３は、それまでと同じ行動（通常の歩行）を継続しており、行動体Ｚ１が“指を差した”等の“たまたま腕を挙げた”程度であることが推定される。

この場合には、行動体Ｚ２、Ｚ３は“通常の行動”を行っているので、抽出部３４によって“異常体候補”として抽出されず、抽出情報の出力を行われない。

続いて、図４のフローチャートを用いて、異常行動検出装置１による異常行動の検出について説明する。

異常行動の検出は、“蓄積段階”と“検出段階”の２段階で行われる。

（１）蓄積段階

蓄積段階では、まず、複数の第１の時系列画像Ｙ１が取得されると（Ｓ１）、複数の第１の時系列画像Ｙ１に映った行動体Ｚが特定され、特定された行動体Ｚの行動が検出される（Ｓ２）。このＳ１及びＳ２は、異なる複数の第１の時系列画像Ｙ１に対して行われ、多数の行動が検出されることが好ましい。

続いて、Ｓ２で検出された多数の行動に基づき、所定の地点における一又は複数の“通常の行動”が決定される（Ｓ３）。

（２）検出段階

続いて、検出段階では、まず、複数の第２の時系列画像Ｙ２が取得されると（Ｓ４）、複数の第２の時系列画像Ｙ２に映った行動体Ｚが特定され、特定された行動体Ｚの行動が検出される（Ｓ５）。

続いて、Ｓ５で検出された行動がＳ３で決定された“通常の行動”と異なる場合（Ｓ６：ＹＥＳ）、“通常の行動”と異なる行動を行った行動体Ｚが“異常体候補”として複数の第２の時系列画像Ｙ２の中から抽出される（Ｓ７）。

続いて、Ｓ５における検出から所定時間内に他の行動体が“異常体候補”として抽出されたか否かを判断し（Ｓ８）、他の行動体が“異常体候補”として抽出された場合には（Ｓ８：ＹＥＳ）、抽出情報を出力する（Ｓ９）。

このような構成を有する異常行動検出装置１は、防犯、救助等の様々な用途で用いることができる。

例えば、“商店のサービスカウンターの前”や“商店のサービスカウンターの中”を撮影した時系列画像に対して異常行動検出装置１を用いることで、“刃物を向けた”等の“通常の行動”と異なる行動を行った行動体Ｚを抽出することが可能となる。同様にして、駅のホームの酔っ払いや、商業施設等での迷子やスリや喧嘩等を抽出することも可能である。なお、上記した“刃物を向けた”等の行動の種類は、抽出情報に含まれる個別識別情報等によって認識可能となる。

以上説明したように、本実施の形態による異常行動検出装置１では、第２の検出部３３によって検出された行動が決定部２４により決定された“通常の行動”と異なる場合、“通常の行動”と異なる行動を行った行動体Ｚを異常体候補として抽出し、第２の検出部３３が“異常体候補”を検出してから所定時間内の他の行動体Ｚの行動を考慮して、“異常体候補”が“異常体”であるか否かを判断し、“異常体”であると判断した場合に抽出情報の出力を行う。

このような構成によれば、“異常行動”の検出に当たり、他の行動体の行動も考慮するので、決定部２４が決定する“通常の行動”の閾値をある程度の範囲で設定しておけば、不審と思われる行動を予め登録したり、検出した行動の種類を識別することなく、問題となる異常行動のみを高精度に検出することが可能となる。また、一の行動体の移動パターンだけでは判別することのできないような「刃物を向けた」等の“異常行動”も検出することが可能となる。

また、本実施の形態による異常行動検出装置１では、行動体Ｚ含まれる複数の関節の動きに基づき、“通常の行動”を決定し、“異常体候補”が“異常体”であるかどうかを判断する。

このような構成によれば、移動パターンを考慮するだけでは見落としてしまう可能性のある「刃物を向けた」等の“異常行動”も高精度に検出することが可能となる。

尚、本発明の異常行動検出装置は、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。

例えば、上記実施の形態では、第１の記憶部２１と第２の記憶部３１、第１の取得部２２と第２の取得部３２、及び、第１の検出部２３と第２の検出部３３は、蓄積装置２と検出装置３にそれぞれ設けられていたが、共通して使用されても、一体であってもよく、そのような場合も本発明の範囲に含まれる。

また、蓄積装置２においてデータ（多数の行動）がある程度蓄積した後は、検出装置３のみを作動させることも可能である。但し、異常行動検出の精度を高めるためにはデータ量が多い方が好ましいため、データがある程度蓄積した後であっても検出装置３の作動と並行して蓄積装置２でデータの蓄積も継続することが好ましい。

また、本実施の形態による異常行動の検出は、複数の第２の時系列画像Ｙ２に対してリアルタイムで行うのが効果的ではあるが、異常行動検出装置１の使用目的によっては録画した複数の第２の時系列画像Ｙ２に対して後から行ってもよい。

また、上記実施の形態では、行動体Ｚとして人間を例に説明したが、動物やロボットについて使用することも可能である。例えば、動物の場合には、喧嘩を始めたような場合に迅速に対処することが可能となる。

また、上記実施の形態では、決定部２４が閾値に基づき一の“通常の行動”を決定したが、複数の閾値に基づき複数の“通常の行動”を決定しても良い。

この場合、一の行動体を“異常体候補”として抽出する際の“通常の行動”の閾値と、他の行動体を“異常体候補”として抽出する際の“通常の行動”の閾値を異ならせることが考えられる。例えば、一の行動体を“異常体候補”として抽出する際の“通常の行動”の閾値を低めに設定しておき、他の行動体を“異常体候補”として抽出する際の“通常の行動”の閾値をそれよりも高めに設定しておく等が考えられる。

また、上記実施の形態では、他の行動体が“異常体候補”として抽出されるか否かに基づき、“異常体候補（一の行動体）”が“異常体”であるかどうかを判断したが、“他の行動体の行動を考慮して”いれば、その他の方法で判断しても良い。例えば、第２の検出部３３が一の行動体Ｚを検出する前後や、抽出部３４が一の“異常体候補”を抽出する前後で、他の行動体の行動が大きく変化していた場合に、“異常体候補（一の行動体）”が“異常体”であると判断する等が考えられる。

更に、本発明の“他の行動体の行動を考慮して”には、第２の時系列画像Ｙ２に他の行動体Ｚが映っていない場合も含まれる。

例えば、第２の検出部３３が一の行動体Ｚを検出した際や、抽出部３４が一の“異常体候補”を抽出するまでの間で、第２の検出部３３が他の行動体Ｚを検出していない場合には、一の行動体Ｚが“異常行動”を行ったとしても他の行動体に危害を加える可能性は低いので、抽出情報を出力しない構成であっても良いし、“通常の行動体”の閾値を高めのものに変更し、一の行動体Ｚの行動が極めて異常性の高そうな場合にのみ抽出情報を出力するようにしても良い。

また、撮影手段Ｘが広範囲を撮影しているような場合、“異常体候補”から所定範囲内に存在する他の行動体のみを考慮しても良い。

また、上記実施の形態では複数の関節の動きに基づいて行動体の行動を検出したが、関節を検出することなく行動体の移動パターン等に基づいて行動体の行動を検出しても良い。但し、移動パターンに基づく場合、行動体が「刃物を向けた」等の異常行動を行ったとしても、移動パターンが正常の範囲の場合には“異常行動”を見落としてしまう可能性が高くなるため、関節も考慮して行動を検出することが好ましい。

また、本発明は、異常行動検出装置１が行う処理に相当するプログラムや、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、ＣＤ−ＲＯＭ等が考えられるが、それに限定されるものではない。

１ 異常行動検出装置
２ 蓄積装置
３ 検出装置
２１ 第１の記憶部
２２ 第１の取得部
２３ 第１の検出部
２４ 決定部
３１ 第２の記憶部
３２ 第２の取得部
３３ 第２の検出部
３４ 抽出部
Ｘ 撮影手段

Claims (4)

1. 所定の地点を撮影した複数の第１の時系列画像を取得する第１の取得部と、
   前記複数の第１の時系列画像に映った行動体の行動を検出する第１の検出部と、
   前記第１の検出部によって検出された多数の前記行動に基づき、前記所定の地点における一又は複数の通常の行動を決定する決定部と、
   を有する蓄積装置と、
   前記所定の地点を撮影した複数の第２の時系列画像を取得する第２の取得部と、
   前記複数の第２の時系列画像に映った行動体の行動を検出する第２の検出部と、
   前記第２の検出部によって検出された行動が前記決定部により決定された通常の行動と異なる場合、前記通常の行動と異なる行動を行った行動体を異常体候補として前記複数の第２の時系列画像の中から抽出する抽出部と、
   を有する検出装置と、
   を備え、
   前記抽出部は、前記第２の検出部が前記異常体候補を検出してから所定時間内の他の行動体の行動を考慮して、前記異常体候補が異常体であるかどうかを判断し、前記異常体候補が異常体であると判断した場合に抽出情報を出力することを特徴とする異常行動検出装置。
2. 前記第１の検出部は、前記複数の第１の時系列画像に映った行動体に含まれる複数の関節の動きを検出し、
   前記決定部は、前記第１の検出部によって検出された多数の前記複数の関節の動きに基づき、前記所定の地点における一又は複数の通常の行動を決定し、
   前記第２の検出部は、前記複数の第２の時系列画像に映った行動体に含まれる複数の関節の動きを検出し、
   前記抽出部は、前記第２の検出部によって検出された前記複数の関節の動きが前記決定部により決定された通常の行動と異なる場合、前記通常の行動と異なる行動を行った行動体を前記複数の第２の時系列画像の中から抽出し、前記第２の検出部が前記異常体候補を検出してから所定時間内の他の行動体の複数の関節の動きを考慮して、前記異常体候補が異常体であるかどうかを判断し、前記異常体候補が異常体であると判断した場合に前記抽出情報を出力することを特徴とする請求項１に記載の異常行動検出装置。
3. コンピュータにインストールされるプログラムであって、
   所定の地点を撮影した複数の第１の時系列画像を取得するステップと、
   前記複数の第１の時系列画像に映った行動体の行動を検出するステップと、
   前記検出された多数の前記行動に基づき、前記所定の地点における一又は複数の通常の行動を決定するステップと、
   前記所定の地点を撮影した複数の第２の時系列画像を取得するステップと、
   前記複数の第２の時系列画像に映った行動体の行動を検出するステップと、
   前記第２の時系列画像に関して検出された行動が前記決定された通常の行動と異なる場合、前記通常の行動と異なる行動を行った行動体を異常体候補として前記複数の第２の時系列画像の中から抽出するステップと、
   前記第２の検出部が前記異常体候補を検出してから所定時間内の他の行動体の行動を考慮して、前記異常体候補が異常体であるかどうかを判断し、前記異常体候補が異常体であると判断した場合に抽出情報を出力するステップと、
   を備えたことを特徴とする異常行動検出プログラム。
4. 前記複数の第１の時系列画像に映った行動体の行動を検出するステップでは、前記複数の第１の時系列画像に映った行動体に含まれる複数の関節の動きを検出し、
   前記決定するステップでは、前記第１の検出部によって検出された多数の前記複数の関節の動きに基づき、前記所定の地点における一又は複数の通常の行動を決定し、
   前記複数の第２の時系列画像に映った行動体の行動を検出するステップでは、前記複数の第２の時系列画像に映った行動体に含まれる複数の関節の動きを検出し、
   前記抽出するステップでは、前記第２の検出部によって検出された前記複数の関節の動きが前記決定部により決定された通常の行動と異なる場合、前記通常の行動と異なる行動を行った行動体を前記複数の第２の時系列画像の中から抽出し、
   前記出力するステップでは、前記第２の検出部が前記異常体候補を検出してから所定時間内の他の行動体の複数の関節の動きを考慮して、前記異常体候補が異常体であるかどうかを判断し、前記異常体候補が異常体であると判断した場合に前記抽出情報を出力することを特徴とする請求項３に記載の異常行動検出プログラム。

Images