JP2022048475A - 映像解析システムおよび映像解析方法 - Google Patents

Abstract

【課題】監視エリア内でインタラクションを行った複数の人物ごとに監視重要度を設定し、監視における対応者の業務負荷の軽減およびシステムの処理負荷の低減を実現する。【解決手段】監視領域を撮影した映像を用いて、前記監視領域における事象を検出する映像解析システムにおいて、前記映像に基づいて、複数の人物の関与により生じる事象であるインタラクションを検出し、前記インタラクションの種類と、前記複数の人物の各々が前記インタラクションにおいて他の人物とどのように関わったかを示すインタラクションの方向とを出力するインタラクション検出部と、前記インタラクションの種類及び方向と、予め設定された監視基準情報とを比較して、前記インタラクションに関与した複数の人物について人物毎の監視重要度を判定する監視重要度判定部と、前記監視重要度に基づいて、前記事象の検出結果を出力する出力制御部と、を有する。【選択図】図３

Description

本発明は、監視エリアを撮像した映像から、人物の状態や物体を検知し、検知結果に基づいて、監視対象を検出する映像解析システムおよび映像解析方法に関する。

近年、コンサート会場やアミューズメント施設などのイベント会場、駅や空港などの公共施設における映像監視の必要性が増大している。例えば、セキュリティエリア内外における荷物の受け渡し行為や物の置き去り行為等に対しては、爆発物や有害液体等の危険物を用いたテロ行為を防ぐために、人物の監視、行為の検出、または行為を行ったもしくは行う予兆のある人物への声掛けといった対応がなされることが保安上要請される。また、人物同士の揉み合い、撮像人物の転倒やうずくまる動作等の早期発見によって、施設管理者は施設内において発生した要救護対象者の迅速な保護を行うことができ、安全の確保に貢献することが可能になる。

例えば、特許文献１に記載の画像監視装置においては、監視領域を撮影した画像から、人体の姿勢に関する情報を算出することで、監視領域における受け渡し行為を検出している。さらに、発生位置と受け渡された物品の種類を用いて監視重要度を算出し、前記監視重要度に応じて受け渡し行為の検出結果を出力している。また、受け渡し行為の検出結果の出力について、「監視センタの監視員」に対する画面表示、警報ランプ、警報音等による通知方法が記載されている。

また、特許文献２に記載の画像処理装置においては、映像を監視する負担を軽減すると共に物事が起こった瞬間を捉え易くすることを目的として、複数の映像配信装置から配信された複数の映像を取得する取得手段と、複数の映像のそれぞれに含まれる複数の物体の位置を検出する物体位置検出手段と、複数の物体の位置における各物体の向きを検出する向き検出手段と、各物体の向きに基づいて複数の映像のそれぞれに優先度を設定する設定手段と、優先度に基づいて複数の映像を表示する表示手段とを有する画像処理装置が開示されている。

特開２０１７－０２８５６１号公報 特開２０１７－０１７４４１号広報

上述の従来技術を用いると、本来は監視重要度が高くない人物に対しても過剰な発報が行われるケースが発生するため、監視業務に関わる作業員は発報された事象に対応しなければならず業務負担が増大する。また、事象検出後に結果を出力する際に、監視重要度の高い行為者が多いと、これらの行為者について映像解析システムによる人物追跡や行動認識等を行う必要が生じるため、人数の増加による処理負荷の増大を引き起こす。そこで、本発明では、監視エリア内でインタラクションを行った複数の人物ごとに監視重要度を設定し、監視重要度の高い人物を精度良く絞り込むことで、監視における対応者の業務負荷の軽減およびシステムの処理負荷の低減が可能な映像解析システムを提供することを目的とする。

本発明の一態様としての映像解析システムは、監視領域を撮影した映像を用いて、前記監視領域における事象を検出する映像解析システムにおいて、前記映像に基づいて、複数の人物の関与により生じる事象であるインタラクションを検出し、前記インタラクションの種類と、前記複数の人物の各々が前記インタラクションにおいて他の人物とどのように関わったかを示すインタラクションの方向とを出力するインタラクション検出部と、前記インタラクションの種類及び方向と、予め設定された監視基準情報と、を比較して、前記インタラクションに関与した複数の人物について人物毎の監視重要度を判定する監視重要度判定部と、前記監視重要度に基づいて、前記事象の検出結果を出力する出力制御部と、を有する映像解析システムを提供する。
また、本発明は、監視領域を撮影した映像を用いて、前記監視領域における事象を検出する映像解析方法において、前記映像に基づいて、複数の人物の関与により生じる事象であるインタラクションを検出し、前記インタラクションの種類と、前記複数の人物の各々が前記インタラクションにおいて他の人物とどのように関わったかを示すインタラクションの方向とを出力するインタラクション検出ステップと、前記インタラクションの種類及び方向と、予め設定された監視基準情報と、を比較して、前記インタラクションに関与した複数の人物について人物毎の監視重要度を判定する監視重要度判定ステップと、前記監視重要度に基づいて、前記事象に検出結果を出力する出力制御ステップと、を含む映像解析方法を提供する。

本発明によれば、監視エリア内でインタラクションを行った複数の人物ごとに監視重要度を設定し、監視における対応者の業務負荷の軽減およびシステムの処理負荷の低減を実現することができる。

本実施の形態における映像監視システムの説明図である。 本実施の形態における映像監視システムの全体構成を示した図である。 本実施の形態における映像解析システムのブロック図を示した図である。 本実施の形態における映像解析システムのフローチャートを示した図である。 本実施の形態における監視基準情報のデータ構造を示した図である。 本実施の形態における監視基準情報の設定画面例を示した図である。 本実施の形態における監視基準情報の設定画面例を示した図である。 本実施の形態における映像表示部の表示例を示した図である。 本実施の形態における映像表示部の表示例を示した図である。 本実施の形態における検索部の表示例を示した図である。 本実施の形態における映像表示部の表示例を示した図である。 本実施の形態における映像監視システムのハードウェア構成を示した図である。

以下、本発明にかかる映像監視システムの実施の形態について説明する。本実施の形態では、イベント会場、駅や空港などの公共施設におけるテロ行為や危険行為の早期発見を目的として、監視エリア内における物品の受け渡し行為やもみ合い行為等の複数人物による連携行動、すなわちインタラクションの検出を行うものである。本発明によると、インタラクションを行った各人物について監視重要度を設定し、対応すべき事象に優先順位を設定可能になるため、施設内の監視員や現場スタッフが効率的かつ迅速に事象への対応を行うことを促進する。また、前記スタッフの人員が要対応者よりも少ない場合において、重要度の高い人物を取り逃すリスクを低減可能である。さらに、監視重要度の高い人物から事象発生後の人物追跡や行動認識等の処理を行うことが可能になるため、限られたコンピュータリソースを適切に配分可能とする。

なお、本実施の形態における「事象」とは、ある監視領域において検出対象として事前設定された状況である。特に本実施の形態では、複数の人物が関与して生じる事象であるインタラクションを検出対象とする。例えば、握手、荷物の受け渡し、もみ合い、暴行などの行動がインタラクションに含まれる。以下、図面を用いて、実施例を説明する。

図１は、本実施の形態における映像監視システムの説明図である。図１に示すように、映像監視システム１は、撮影システム２、映像解析システム３、監視センタシステム４に大別される。撮影システム２は、監視対象エリアに設置されたカメラ部によって構成される。また、映像解析システム３では、撮像装置からの入力映像を解析することで、検出対象である人物間のインタラクションおよび前記人物の属性を判定し、さらに、発生位置の情報とインタラクションの方向に関する情報を、事前設定された監視基準情報に照らし合わせることで、各人物の監視重要度を判定する。また、監視センタシステム４では、映像解析システム３からの解析結果を受け取り、監視員や現場スタッフへの効果的な表示や、インタラクションや人物に関する事象発生後の検索を行う。

ここで、インタラクションの方向とは、インタラクションに係る所定の行動がどの人物からどの人物に行われたかを示すものである。例えば、受け渡しであれば、物品を渡した人物（受け渡しの実行者）から受け取った人物（受け渡しの被実行者）にインタラクションの方向を設定する。同様に、暴行であれば、加害者（暴行の実行者）から被害者（暴行の被実行者）にインタラクションの方向を設定する。このように、インタラクションの方向は、インタラクションの種類ごとに定まるものである。また、握手やもみ合いのように、双方向で行われるインタラクションも存在する。
また、人物の属性とは、一般人か警備員か、年齢、性別などである。
映像監視システム１は、インタラクションの方向やインタラクションに関与した人物の属性を用いることで、人物ごとに監視重要度を設定し、監視における対応者の業務負荷の軽減およびシステムの処理負荷の低減を実現している。

この点について、具体例を挙げて説明する。発生位置と受け渡された物品の種類を用いて人物の監視重要度を算出する算出法によると、受け渡しと受け取りを行った複数の人物の監視重要度の軽重は考慮されない。しかし、例えば物品が当該監視エリアにおける要注意物品であったとすると、前記物品を受け渡された人物の監視重要度が、受け渡した人物よりも高く設定されることが望ましい。または、監視エリア内に異なるセキュリティレベルのエリアがある場合、セキュリティレベルの低いエリアから高いエリアへの受け渡しと、その逆方向の受け渡しでは、監視重要度は異なって判定されることが望ましい。

また、例えば、受け渡しを行った人物が警備員をはじめとする監視エリア内の保安維持業務の従事者（保安要員）であれば、監視重要度は高く設定されるべきではない。しかし、このような属性を考慮しなければ、真に監視すべき受け渡しを行った人物と保安要員の監視重要度は同等に判定される。この方法では、システムが提示する重要度に差がない複数の人物に対応が必要となり、監視員などの負担が増大する。さらに、現場スタッフや警備員等の対応にあたる人員が、要対応者の人数よりも少ない場合、重要な対象者を取り逃す恐れがある。
以上から、映像監視システム１は、インタラクションの種別およびその発生位置のみならず、行動の方向と属性に関する情報を用いることで正確な監視重要度の判定を実現しているのである。

以下、撮影システム２、映像解析システム３、および監視センタシステム４について具体的に説明する。
図２は、本実施の形態における映像監視システムの全体構成を示した図である。撮影システム２は、監視対象エリアに設置された一つまたは複数のカメラ部２１から構成され、撮像された映像は、映像解析システム３の映像入力部３１へ順次入力される。カメラ部２１は、監視を対象とするエリア全体を撮像できるように配置された監視カメラである。なお、インタラクションの検出のためのエリア設定を必要としない場合には、監視カメラは固定されていない移動型のカメラでもよく、監視対象のエリアを撮像できていれば、形式は問わない。一方、エリア設定を要する場合には、壁や支柱等へ固定された監視カメラを使用し、キャリブレーション設定が事前になされていることが望ましい。また、そのような場合は、パン・チルト・ズーム（ＰＴＺ）操作が不可能な固定カメラの利用が想定されるが、それらの設定とキャリブレーション設定の組み合わせが事前に調整されている場合、ＰＴＺ操作が可能なカメラを利用してもよく、同一のカメラで様々なエリアを監視してもよい。

また、カメラ部２１と映像入力部３１は、有線通信手段または無線通信手段によって接続され、カメラ部２１から映像入力部３１へフレーム画像を連続送信する。インタラクション認識が複数のフレーム画像の入力を前提とする時系列データ分析モデルである場合、フレーム画像の連続送信のフレームレートは、インタラクション認識の要求値以上であることが望ましい。一方、フレームレートが要求値より低下した場合に生じるインタラクション認識の精度低下が許容できる場合、フレームレートは要求値を下回っても良い。この場合、インタラクション認識において、時系列データの内挿または外挿による補間など、精度低下を抑制する処理を行っても良い。また、カメラ部２１と映像解析システム３は一対一の対応ではなくてもよく、複数のカメラ部と一つの映像解析システムとして用いてもよい。このような多重プロセスの実行の場合においても、各プロセスが必要とするフレームレートは前述の制約に準ずる。なお、カメラ部２１は、後述する映像解析システムの一部または全部の機能を搭載してもよい。

映像解析システム３は、映像入力部３１、映像処理部３２、記憶部３３から構成される。映像入力部３１は、カメラ部２１から映像の入力を受け付け、映像処理部３２へ映像データを送信する。なお、解析対象とする映像は、カメラ部２１から直接入力された映像ではなく、別途保存されたレコーダ内の映像でもよい。映像の保存場所は問わない。映像処理部３２は、後述する記憶部３３に保存された監視基準情報を読み込み、映像入力部３１より入力された映像を解析することで、インタラクションを行った各個人の監視重要度を判定する機能を有する。記憶部３３は、後述する管理制御部４３において設定された監視基準情報を保存する。監視基準情報は、映像処理部３２の出力となる監視重要度の判定に用いる。また、本実施の形態では、映像解析システム３は運用施設内のサーバへ構築するようなオンプレミス型のシステムに限定されるものではなく、クラウドサービスを活用するなど施設外部サーバに構築されてもよい。

監視センタシステム４は、記録部４１と映像表示部４２と管理制御部４３と検索部４４から構成される。記録部４１は、映像解析システム３による映像解析によって得られた発生インタラクション、インタラクションの方向、人物属性、発生エリア、発生時刻等の情報をデータベースとして保持する機能を有する。映像表示部４２では、インタラクションを行った人物の現在時刻における行動や、インタラクション検出時のフレームの一部または全部に関する情報を、監視重要度に従って表示する。管理制御部４３では、映像処理部３２で用いる監視基準情報を保存するため、監視員や現場スタッフ等によって記憶部３３へ設定情報を入力する機能を有する。検索部４４は、人物の属性やインタラクション種別をクエリとして、記録部４１に保存された情報から該当する人物を検索する機能を有し、該当人物の現在時刻における位置とそれまでの施設内の移動軌跡等の情報を調べる機能を有する。

図１２は、本実施の形態における映像監視システムのハードウェア構成図である。図１２では、カメラユニット１１０２がネットワークを介してコンピュータ１１０３に接続されている。さらに、コンピュータ１１０３は、ネットワークを介してコンピュータ１１０４と通信可能である。

カメラユニット１１０２は、監視領域に１つ又は複数設置され、映像データをコンピュータ１１０３に適宜送信する。コンピュータ１１０３は、演算制御装置としてのＣＰＵ（Central Processing Unit）、主記憶装置としてのＲＡＭ（Random access memory）、補助記憶装置としてのＨＤＤ（hard disk drive）を備える。コンピュータ１１０３は、各種プログラムをＨＤＤから読み出してＲＡＭに展開し、ＣＰＵによって実行することで、映像解析システム３としての機能を実現する。また、コンピュータ１１０３は、所定の通信インタフェース（ＩＦ）を介してカメラユニット１１０２及びコンピュータ１１０４と通信する。なお、図示を省略したが、キーボードやディスプレイなどの入出力装置も所定のＩＦを介してコンピュータ１１０３に接続される。

コンピュータ１１０４は、演算制御装置としてのＣＰＵ、主記憶装置としてのＲＡＭ、補助記憶装置としてのＨＤＤを備え、各種プログラムをＨＤＤから読み出してＲＡＭに展開し、ＣＰＵによって実行することで、監視センタシステム４としての機能を実現する。また、コンピュータ１１０４は、所定のインタフェース（ＩＦ）を介してコンピュータ１１０３、キーボードやディスプレイなどの入出力装置と接続される。

次に、図３を参照して、映像解析システム３の詳細を説明する。図３は、本実施の形態における映像解析システムのブロック図を示した図である。以下、映像解析システム３を構成する映像入力部３１、映像処理部３２、記憶部３３について説明する。

映像入力部３１は、一つまたは複数のカメラ部２１から映像を順次受け付け、後段の映像処理部３２へ映像を出力する。ただし、映像処理部３２が時系列情報を扱わない場合、入力は画像であってもよい。

映像処理部３２は、算出部３２１、インタラクション検出部３２２、監視重要度判定部３２３、そして出力制御部３２４から構成される。
算出部３２１は、さらに人物検出部３２１１と属性判定部３２１２から構成される。

人物検出部３２１１は、前記映像入力部から受け付けた画像または映像を用いて、現フレームの静止画中から人物を検出する。人物検出の手段には、Ｈａａｒ－ｌｉｋｅ特徴の利用やＲ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ）等の利用によって判定する手段や、骨格推定手段を用いて人物ごとに推定された骨格座標群から推定領域を判定する手段などがあり、本実施の形態ではその手段を問わない。また、人物検出部３２１１は人物検出ののちに人物追跡を行う。人物追跡では、ある人物の矩形画像と、その人物へ割り当てられた人物ＩＤとが、前後フレームで対応付けられていればよく、テンプレートマッチングやオプティカルフロー等、一般的な人物追跡手法を用いればよい。

次に、属性判定部３２１２へ前記人物検出部で得た人物の矩形画像を入力し、人物の属性を判定する。人物の属性を用いることによって、各個人の監視重要度の判定に寄与する情報として活用することができる。さらに、前述した検索部４４におけるクエリとして属性を用いることができる。属性の例として、施設内の警備員やスタッフ、一般の施設利用者、年齢や性別等が挙げられる。施設内の警備員やスタッフと一般の施設利用者を判別できると、警備員やスタッフが起こしたインタラクションは職務の範囲で行った行動であることが想定されるため、監視重要度を設定せず、余分な発報を生じさせないという効果が期待できる。また、一般の施設利用者の年齢や性別の推定により、例えば、仮に特定の年齢層の人物が要注意行動を発生させやすいという事前の統計情報がある場合、当該特定の年齢層に対する監視重要度を高めに設定することで効果的な映像監視が可能になる。さらに、アミューズメント施設やイベント施設等においては、前記施設利用者のうち事前登録された要注意人物や出入禁止対象人物等との照合を行うことも効果的である。属性の推定方法には、人物の矩形画像をＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、または学習済みディープラーニングモデルのネットワークの中間層から出力されるベクトル等の画像特徴量へ変換し、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）や決定木等の識別機を学習させる手段や、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づく手法によってエンドトゥエンドに判定する手段などがある。これらの判定手段は、一段目として警備員や現場スタッフと一般来場者を分類する識別機、二段目として一般来場者のうち年齢や性別を判定する識別機として構築されてもよく、または同一の識別機において学習されてもよい。さらに、人物の所有物品の判定手段を別途用いることで、禁止物品や危険物品を所持していると判定された人物に対しては、それを表現する属性を付与することも、適切な属性表現のために効果的である。

インタラクション検出部３２２は、前記人物検出部３２１１から得た情報を用いて、インタラクションの有無、種別、およびその方向を判定する。判定方法には、任意の人物ペアについて、前述のように画像特徴量を用いる手段や、骨格情報を用いる手段がある。骨格情報を用いる場合、前記人物骨格検知手段による骨格の推定結果から算出される人物の姿勢を表す特徴量や、ある人物ペアの任意の骨格点間の相対距離から算出される特徴量、または、前後の画像フレームから骨格の単位時間当たりの移動量や相対距離の変化量を表現する時系列の特徴量を用いてもよい。さらに、属性判定部３２１２から得た属性情報を特徴量として用いてもよく、例えば、年齢や性別を表現する特徴量を用いてもよい。または、人物に着目するのみならず、人物が所持する物品を表現する特徴量を用いてもよい。例えば、ある人物による所有判定がなされた物品が、一定時間後に別の人物の所有判定となった場合、所有判定が切り替わった時点において、受け渡し行為が発生したと解釈することができる。これらの特徴量は、単独で用いられるだけではなく、複合的に用いられてもよい。例えば、姿勢に関する特徴量のみを用いてインタラクションを判定すると、遠距離に位置する人物間であってもインタラクションを誤検知する可能性があるが、相対距離に関する特徴量も併用することで、誤検知数を低減可能である。以上のように、特徴量を単独または複合的に用いることで、効果的なインタラクション検出を行うことができる。

画像情報を用いる場合は、ＣＮＮに基づく手法を用いる手段が挙げられる。または、骨格情報を用いる場合は、姿勢、相対距離、または属性等を表す特徴量により、ＳＶＭ、決定木、またはＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）等の識別機を学習させる手段が挙げられる。

監視重要度判定部３２３は、属性判定部３２１２から得られた人物の属性、インタラクション検出部３２２から得られたインタラクションの種別と方向、そして本実施例の形態では人物検出部３２１１から得られる人物が位置するエリア情報も入力とし、監視基準情報３３１に設定された情報と照合することで、インタラクションを行った個人ごとの監視重要度を設定する。エリア情報の算出は、エリアの事前設定情報と人物矩形の情報とを照合して判定することができる。例えば、あるＰＴＺ設定のカメラにおいて画像座標上でエリア設定を行えば、人物の足元の推定位置がどのエリア上に位置するかによって、人物が位置するエリアを判定することができる。

出力制御部３２４は、監視重要度判定部３２３で判定された個人ごとの監視重要度を、監視センタシステム４へ送信する。監視重要度が算出された事象全てを送信してもよく、または監視重要度が高いもののみが送信されるように、閾値を事前設定してもよい。

記憶部３３では、監視重要度判定部３２３で用いるための監視基準情報３３１を記憶する。監視基準情報３３１は、インタラクション種別ごとに設定されたインタラクションセキュリティレベル、属性種別ごとに設定された属性セキュリティレベル、エリア種別ごとに設定されたエリアセキュリティレベルの三種のセキュリティレベル設定情報を有する。さらに、それらのセキュリティレベル設定それぞれの重み情報およびインタラクション種別ごとに設定される実行者または被実行者の重み情報を有する。監視基準情報３３１は、管理制御部４３から設定することができる。

次に、図４に示すフローチャートを参照して、本実施の形態における映像解析システムの処理の流れを説明する。
ステップＳ１において撮影システムから映像解析システムへ映像が入力されると、ステップＳ２において人物検出が行われる。
次に、ステップＳ３で人数計測を行う。もし画面内に２名以上が検出された場合には、ステップＳ４へ移行し、１名以下のみの検出であった場合には、ステップＳ４以降の処理は行わずに次フレームの入力を待機して、ステップＳ１へ戻る。なお、インタラクション検出を所望または許容するエリアと所望または許容しないエリアが画面内に混在している場合、計算量削減のために、ステップ２の直前に監視エリアに対して部分的にマスク処理を行ってもよい。

ステップＳ４ではインタラクション判定を行う。判定は、画面内の任意の人物ペアに対して行われるが、計算量削減のためにインタラクション種別ごとに一定の距離以上の人物ペアに対しては判定処理を行わないことが好適である。例えば、受け渡し行為の検出においては、明らかに互いに手の届かない距離に位置している二名の人物間に対して受け渡しの有無を判定する必要はない。行動判定の前に人物間の相対距離の判定を行う場合、相対距離を世界座標系で算出する必要がある。そのため、事前に設定されたエリア情報を用いるか、または、ステレオカメラや単眼カメラによる深度推定技術等を用いて、事前設定を行うことなく、世界座標系における人物の位置を推定し、人物間の相対距離を算出する。さらに、別途設定テーブルを用意し、一括して判定用閾値を設定する。例えば、閾値を「３ｍ」と設定した場合、世界座標系における相対距離が「３ｍ」という前記閾値を超える人物ペアに対しては行動の判定処理を行わない。もし識別機が多種のインタラクションの認識に対応した多クラス分類器ではなく、インタラクション種別ごとに学習された二クラス分類器である場合、前記閾値の設定はインタラクション種別ごとに行うこともできる。また、エリア境界を横断するインタラクションを検出する際には、同一のエリア内に位置する人物間でインタラクション判定を行わず、異なるエリアに位置する人物間でのインタラクションを判定することも計算量削減および誤検知低減のために好適である。

インタラクション判定の結果、インタラクションが行われた、すなわち事象発生と判定された場合、ステップＳ５の分岐によりステップＳ６以降の処理へ移行する。一方で、事象が発生していないと判定された場合、ステップＳ６以降の処理は行わず、次フレームの入力を待機してステップＳ１へ戻る。

ステップＳ６からステップＳ８では、事象を発生させた人物ごとに属性算出を行う。次に、ステップＳ９からステップＳ１１では、検出事象ごとに監視重要度判定を行う。判定された監視重要度についてステップＳ１２で出力制御を行ったのち、次フレームの入力を待機してステップＳ１へ戻る。

なお、本図中に示したフローの処理は、必ずしも単一のプロセスで処理される必要はなく、計算効率向上のために、複数のプロセスを用いて非同期に処理されてもよい。

次に、図５を参照して、本実施の形態における監視基準情報の設定例を示す。本実施例の形態における監視基準情報は、表５１のセキュリティレベル設定情報、表５２のセキュリティレベル設定対象への重み、そして表５３のインタラクション種別ごとの実行者重みから構成される。表５１および表５２から、インタラクション種別、人物属性、発生エリアを考慮した、個人ごとの重み付き点数を算出し、さらに、前記重み付き点数と表５３の実行者重みを用いて監視重要度を算出する。これらの情報は管理制御部４３から設定され、監視基準情報３３１へ保存され、監視重要度判定部３２３で読み込まれる。以下、各表の設定内容と効果について詳細に説明する。

表５１は、インタラクション種別ごとのセキュリティレベルを設定する表５１１、属性種別ごとのセキュリティレベルを設定する表５１２、エリア種別ごとのセキュリティレベルを設定する表５１３という三種のセキュリティレベルの設定テーブルから構成される。本実施例の形態では、セキュリティレベルは３点から０点の４段階で設定されるものとし、点数の降順に「レベル高」、「レベル中」、「レベル低」、「レベルなし」とする。レベル高は最も注意レベルの高い対象を示し、レベルなしは注意を要さない対象を示す。
表５１１に示すインタラクションセキュリティレベルの設定では、例えば「受け渡し」は１点、「暴行」は３点のように、インタラクション種別ごとの重要度が設定されている。同様に、表５１２に示す属性セキュリティレベルの設定では、「スタッフ」は０点、「出入禁止対象者」は３点のように設定され、表５１３に示すエリアセキュリティレベルの設定では、「入場ゲート内」を３点、「売店」を２点のように設定されている。

各セキュリティレベルとも、設定対象外の項目は明示的にレベル０として設定され、例えば、インタラクションセキュリティレベルの設定欄においては、「握手」や「ハグ」がレベル０として設定されている。本実施の形態では、表５１１、表５１２、および表５１３の各項目について３点から０点の４段階の点数としたが、階級数は本実施の形態に限定されるものではなく、設定者が自由に設定できることが望ましい。

表５２は、三種のセキュリティレベルの設定対象それぞれに対する重みを格納する設定テーブルである。表５２の例では、三種の重みの総和を１００％とし、インタラクションが３０％、属性が２０％、エリアが５０％と設定されている。本実施の形態においては、これらの重みを用いて表５１の括弧内の点数から重み付き点数を計算し、個人ごとの監視重要度の算出に利用する。例えば、「受け渡し」行為を「一般／青年」が「入場ゲート内」で行った場合、「一般／青年」へ付与される重み付き点数は、表５２によって１×０．３＋２×０．２＋３×０．５＝２．２点と計算される。三種のセキュリティレベルの設定対象それぞれに対して重みを設定可能にすることで、施設ごとに異なる需要に柔軟に対応可能になる。例えば、行われたインタラクション種別と人物属性のみを重視するがエリアは問わないという需要があった場合、インタラクションを７０％、属性を３０％、エリアを０％のように設定することができる。また、一つ以上の設定対象で０点となった場合、その個人の重み付き点数を０点としてもよい。例えば、属性が「警備員」と判定された人物がいずれかのインタラクションを行った場合、職務の範囲において行ったインタラクションであることが考えられ、「警備員」を監視対象とすることは一般に不適切と考えられるためである。上式は重み付き点数の算出式の一例であり、異なる算出式を用いてもよい。

表５３は、表５１および表５２から算出された重み付き点数に対して、インタラクションの方向を考慮し、監視重要度を計算するための設定テーブルである。表５３を参照すると、例えば「受け渡し」行為は実行者、すなわち物品を受け渡した人物に対する重みは２０％と設定される。一方で、被実行者、すなわち物品を受け渡された人物に対する重みは８０％と設定される。この例のように、実行者の方が重みが少なくなる設定は、実行者よりも被実行者の重要度が高いことを意味する。「受け渡し」行為においては、物品を手放した人物よりも、その物品を受け取った人物の重要度が高いことが想定される。また、双方向のインタラクションとなる「もみ合い」行為は実行者および被実行者の重みが等価となるよう、表５３においては５０％と設定されている。そして、実行者である加害者と被実行者である被害者の方向性が明らかな「暴行」行為に関しては、実行者の重みが９０％となるように設定されている。重み付き点数から監視重要度を算出する例として、「受け渡し」行為を「一般／青年」が「入場ゲート内」で行った場合に「一般／青年」へ付与される重み付き点数は、前述したように表５１および表５２から２．２点となるが、「受け渡し」行為の実行者重みが２０％と設定されている場合、監視重要度は２．２×０．２＝０．４４となる。

監視重要度の大きい事象を発生させた人物が、続けて監視重要度の小さい事象を発生させた際に、監視重要度の値が上書きされ、低く見積もられてしまうことを避ける必要がある。そのため、複数のインタラクションを発生させた人物は、その人物に対する監視重要度の値がリセットされるまで、複数の事象で算出された監視重要度が加算される、または大きい事象の値が継続して採用され続けることが望ましい。

また、同一人物が関与した複数のインタラクションの種別と方向を総合的に用いて、当該人物の監視重要度を求めたり、対応を異ならせることも可能である。例えば、歩行者同士がぶつかるという事象を種別「歩行者衝突」のインタラクションとして設定し、ぶつかった側を実行者、ぶつかられた側を被実行者として方向を規定したケースを考える。ある人物が関与したインタラクションの実績を参照したときに、「歩行者衝突」に高い頻度で関与しており、常に実行者側であった場合、この人物は故意にぶつかっている可能性が高いと考えることができる。このケースでは、監視重要度を高く設定し、同様の「歩行者衝突」に関与したときに即座に保安要員を派遣するという対応をとればよい。一方、「歩行者衝突」に高い頻度で関与しているが、方向が一定ではない（実行者側と被実行者側が同程度）ならば、体調不良などの可能性が考えられる。このケースでは、監視重要度を高く設定し、「うずくまる」などの挙動がみられたときに救護要員を派遣するという対応が望ましい。

以上によって計算された監視重要度は出力制御部３２４へ送信される。出力制御部では、監視センタシステム４へ送信する事象数を抑制する目的で、監視重要度に閾値を設けることができる。例えば、閾値を２．０と設定すれば、監視重要度１．５と算出された監視対象者は送信されず、３．０と算出された個人は送信される。なお、本実施の形態では示していないが、現場スタッフや警備員など、発報対象者を監視重要度の点数に応じて指定してもよい。

次に、図６および図７を参照して、図５の監視基準情報を設定するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を説明する。図６および図７は、本実施の形態における監視基準情報の設定画面例を示した図である。また、図６は表５１の表を作成するための設定画面であり、図７は表５２および表５３の表を作成するための設定画面である。

図６は、インタラクション種別、人物の属性、そしてエリアに関するセキュリティレベルを設定するＧＵＩであり、以下では特に領域６１１に示すインタラクションセキュリティレベルの設定について説明する。領域６１１におけるインタラクションセキュリティレベルの段階数は１点から３点の３段階となっているが、前述の通り、段階数は本実施の形態に限定されるものではなく、設定者が自由に設定できることが望ましい。また、セキュリティレベルの大きさも同様に設定者側が自由に設定できることが望ましい。さらに、セキュリティレベルを設定しないインタラクションについては、重要度を０点として明示できるようにしてもよい。設定者は、領域６１１１で示すプルダウン欄を押下し、セキュリティレベルの列ごとに、リストから登録されているインタラクションを選択することができる。選択したインタラクション種別を領域６１１２の「追加」ボタンを押下し、下段の「登録済みのインタラクション」リストへ追加する。追加後、登録済みのインタラクションを削除するためには、削除を所望するインタラクションに対応する領域６１１３のチェックボックスを押下し、領域６１１４を押下する。領域６１１５「設定を保存」ボタンを押下することで、本領域で設定された情報は監視基準情報３３１へ反映される。本領域で設定された情報を確認するためには、領域６１１６を押下すればよい。領域６１２に示す属性セキュリティレベルの設定および領域６１３に示すエリアセキュリティレベルの設定も、同様に行うことができる。ただし、エリア種別は、システムによって選択肢が固定されているインタラクション種別および属性種別と異なり、システムが想定していないエリアにも対応できるように、エリア種別自体の追加が別途可能である。

図７における領域６２は、セキュリティレベル設定対象の重みを設定するためのＧＵＩであり、本領域の設定で表５２を設定する。領域６２１では、インタラクション、属性、およびエリアに関する重みを百分率で設定する。領域６２２「設定を保存」ボタンを押下することで、本領域で設定された情報は監視基準情報３３１へ反映される。本領域で設定された情報を確認するためには、領域６２３を押下すればよい。

領域６３はインタラクション種別ごとの実行者重みを設定するためのＧＵＩであり、本領域の設定で表５３を設定する。領域６３１では、インタラクション種別ごとに実行者側の重みを百分率で設定する。「実行者重み」の入力によって被実行者側に対する重みが自動計算され、表示されるようにしてもよい。または、入力の対象は被実行者側でもよい。領域６３１で設定が要求されるインタラクションは、領域６１１で登録され、かつ０点より大きい点数が付与されている全ての行動であり、領域６１１５の押下による登録と同時に対応する行が自動追加される。領域６３２「設定を保存」ボタンを押下することで、本領域で設定された情報は監視基準情報３３１へ反映される。本領域で設定された情報を確認するためには、領域６３３を押下すればよい。ただし、領域６１１で登録されたにもかかわらず、領域６３で実行者側重みが登録されていないという不整合を回避するため、本設定画面全体の終了時に、登録事項の不備に関して注意を促す表示を出力するなどの実装を行うことが望ましい。

次に、図８を参照して、監視員に対する検出事象の通知画面例について説明する。図８は、本実施の形態における映像表示部４２における表示例を示した図であり、領域７は出力画面を示す。領域７が通知画面の全体に表示されてもよいし、通知画面の一部に表示されてもよい。

領域７のうち、画面Ａ（領域７１）、画面Ｂ（領域７２）、画面Ｃ（領域７３）、画面Ｄ（領域７４）に表示されている人物は、監視重要度が設定され、監視センタシステム４へ送信された人物である。本実施の形態では、これらの全人物について現在時刻における映像を表示する例を示している。本表示で用いる映像は、事象を発生させた人物の追跡に基づくリアルタイムの映像である。人物追跡は前述の通り人物検出部３２１１が行い、前記映像は監視重要度に関する情報とともに映像表示部４２へ送信される。また、領域７５は、各画面に表示されている人物が監視重要度順に示され、検出事象、発生場所、発生時刻、および現在位置が示されている。監視重要度順として表示されている列は、監視重要度判定部３２３で出力された実際の値を表示してもよい。

本実施例の形態では、画面ＡからＤの領域サイズは判定された監視重要度に応じて動的に変更される。例えば、全人物の監視重要度がリセットされ、いずれの人物も画面に表示されていない時、時刻「０９：２０：００」に「受け渡し」行為を行った人物ａは最も大きい画面で表示される。次に、時刻「０９：３０：５０」に「暴行」行為を行った人物ｂが、前記「受け渡し」行為を行った人物よりも監視重要度が大きいと判定された場合、人物ｂの表示領域は、人物ａの表示領域よりも大きくなる。なお、画面に表示されている人物は、同一画面に撮影される他の人物との識別を容易にするため、人物の検出枠の重畳または画像のトリミングなどの画像処理を施して表示することが望ましい。また、画面サイズの制約上、複数の事象が発生している場合には、画面をスクロールできるようにしてもよい。

以上に述べたようなリアルタイムの追跡映像のみならず、表示画面や領域７５の行を選択することにより、事象発生時の様子を切り替えられることが望ましい。図９は、本実施の形態における画像表示部の表示例を示した図であり、図８における領域７５の一事象を選択した様子を示している。図９では、画面Ｂ（領域７６）が選択され、追跡されている人物が発生させたインタラクションについて検出時のフレームを表示している。インタラクションは一定の時間の幅をもって行われるため、インタラクションの開始と終了のうち、最も判定確度が高いフレームを表示することが望ましい。または、インタラクションの開始から終了までの短時間のクリップを再生できるようにしてもよい。以上により、監視員は、事象発生時にどのような状況でインタラクションが行われたのか把握することができる。さらに、以上のようにして確認された事象に対してスタッフによる対応が完了した場合、対応が不要と判断された場合、または誤検知が明らかな場合等は、表示画面や領域７５の行を選択し、削除することができる。

また、本画面を確認することができるのは、監視センタの監視員のような、大型のディスプレイの利用が想定される発報対象者に限らず、現場で対応するスタッフや警備員であっても、スマートフォン端末やタブレット端末、またはＡＲゴーグル等を利用することによって、領域７の一部または全部を現場において確認することができる。

次に、図１０を参照して、インタラクション種別や属性等を利用した検索手段について説明する。映像表示部４２において監視員や現場スタッフ等による対応が完了した事象や、一旦対応の必要なしと判断された事象は、表示出力から削除されるため、その後事象を確認する場合には、発生事象に関する情報のデータベースである記録部４１からの事象の検索手段が必要となる。

図１０は、本実施の形態における検索部の表示例を示した図であり、領域９は検索画面全体を示す。領域９のうち、領域９１は検索の入力画面を示し、領域９２は出力画面を示す。
領域９１において、領域９１１では、インタラクション種別、属性、および発生時刻をクエリとした事象の絞り込みを行う。具体的に、領域９１１の各検索項目列についてプルダウン欄を押下し、リストから登録されている項目を選択する。選択した項目は「追加」ボタンの押下により、下段の「登録済みの項目」リストへ追加される。追加後、登録済みの項目を削除するためには、削除を所望する項目のチェックボックスを押下し、領域９１２を押下する。なお、本実施例の形態においては、インタラクション種別、属性、および発生時刻をクエリとした検索の例を示しているが、インタラクションの方向やエリア情報などをクエリとした検索を行ってもよい。また、各列は必ずしも入力が要求されるものではなく、空欄であってもよい。例えば、全項目を空欄にして検索を実行すると、記憶部４１に保存されている全情報が検索結果として出力される。

領域９２において、領域９２１では検索結果に関して、現在場所や発生時刻等の情報が表示される。領域９２１に示すように、現在時刻においても監視エリア内での滞在が確認され、追跡が可能であるならば、現在位置に関する情報を表示してもよい。領域９２２では、領域９２１の情報に対応するフレーム画像またはインタラクションの開始から終了までの短時間のクリップ映像等を表示する。以上、領域９２１と領域９２２をまとめて一件の検索結果とし、本実施例の形態においては、スクロールによって検索結果全体を確認することができる。検索結果は、領域９２２に示す画像または映像のみによるグリッド状に切り替えられるようにしてもよい。

検索部４４の利用によって、映像表示部４２による表示出力から削除された事象であったとしても、記録部４１から効率的に事象を検索することができる。また、類似事例の検索やその発生件数を確認することができるため、今後発生することが予想される事象への対応策や防止策を講じるために役立てることができる。

以上に説明したように、映像監視システム１は、監視映像からインタラクションを検出し、前記インタラクションの種別および方向、ならびに人物の属性とエリア情報を用いて、個人ごとに監視重要度を判定する。本発明によれば、監視エリア内でインタラクションを行った人物について全員に等価な監視重要度を与えるのではなく、個人ごとに監視重要度を設定するため、監視員が対応に優先順位を設定することが容易になり、行為者への効率的な対応を行うことができる。

以下、本発明である映像監視システム１の別の実施形態について説明する。なお、上述した実施の形態と共通する発明については説明を省略し、本実施の形態における特有の処理について説明する。

前述した実施例における映像表示部４２における表示例では、現在時刻において監視重要度が設定された全事象について、監視重要度順に従って表示を行っている。一方で、ある一事象のみに着目した表示方法も考えられる。

図１１は、本実施の形態における映像表示部４２によるの表示例を示した図である。監視重要度が設定された二名間のインタラクションについて、各人物の情報を詳細に示したものである。領域８１はインタラクションが検出されたフレーム画像を示している。前記フレーム画像には、人物８１１と人物８１２の間における受け渡し行為の様子が示されている。また、領域８４には、二名の人物の属性、発生場所、および現在位置、ならびに、受け渡しの方向および発生場所に関する情報が示されている。前記領域８４に記載の通り、二名の人物に関する情報は、画面Ｘ（領域８２）および画面Ｙ（領域８３）にてそれぞれ分かれて表示されている。前記領域８２および領域８３の内部の画面について、領域８２１および領域８３１では、領域８１において撮像された各人物の画像が、監視員が容易に視認できるように倍率調整されて表示されている。また、領域８２２および領域８３２では、フロアマップを用いて、事象の発生場所、人物の現在位置、および移動軌跡が示されている。本図面においては、丸印が事象の発生現場、五角形が人物の現在位置と進行方向、そして点線が事象の発生現場から現在位置までを結ぶ移動軌跡を示す。また、領域８２３および領域８３３では、現在時刻における人物の様子が確認できる。領域８２および領域８３に示す画面によって、事象を発生させてから現在時刻に至るまでの実行者および被実行者の移動軌跡を把握することができる。

フロアマップへの移動軌跡の表示を行うために、以下の処理が必要である。まず、人物８１１と人物８１２の画像が取得されたのち、カメラから取得されたフレーム画像に対して、一定時刻ごと、または一定フレームごとに人物同定を行う。次に、フロアマップ上において前記人物の位置を特定するため、事前に設定されたエリア情報を用いるか、または、ステレオカメラや単眼カメラによる深度推定技術等を用いて、事前設定を行うことなく、世界座標系における人物の位置を推定する。取得した位置情報と時刻情報を時系列で繋ぐことで、前記人物の移動軌跡をフロアマップへ表示することができる。

また、本図面では実行者および被実行者共に事象発生からの移動軌跡を示しているが、事象を発生させていない人物の追跡が既に行われている、または別途用意された記憶媒体へ保存済みの映像を利用することで事象発生後に当該人物の追跡が行える場合、各人物について事象の発生現場までの移動軌跡を表示してもよい。例えば、受け渡し行為においては、物品を受け渡した実行者は事象発生までの移動軌跡を表示し、物品を受け渡された被実行者は事象発生後からの移動軌跡を表示することで、人物ではなく物品の移動軌跡に着目した映像監視を行うことができる。

以上に説明したように、本実施の形態によれば、画像表示部では一事象のみに着目した表示が可能である。具体的に、インタラクションを発生させた人物それぞれの事象発生時の様子、現在時刻における様子、および移動軌跡を表示することができ、さらに、事象発生までの実行者らの移動軌跡も表示することができる。これにより、監視員は事象の有無のみならず、実行者らの事象発生前後の動きも一目で確認することができるため、容易かつ正確に事象の詳細情報を把握することができる。

上述の各実施の形態に示した通り、開示の映像解析システム３は、監視領域を撮影した映像を用いて、監視領域における事象を検出する映像解析システムであって、映像に基づいて、複数の人物の関与により生じる事象であるインタラクションを検出し、インタラクションの種類と、複数の人物の各々がインタラクションにおいて他の人物とどのように関わったかを示すインタラクションの方向とを出力するインタラクション検出部３２２と、インタラクションの種類及び方向と、予め設定された監視基準情報と、を比較して、インタラクションに関与した複数の人物について人物毎の監視重要度を判定する監視重要度判定部３２３と、監視重要度に基づいて、事象の検出結果を出力する出力制御部３２４とを有する。かかる構成及び動作により、監視エリア内でインタラクションを行った複数の人物ごとに監視重要度を設定し、監視における対応者の業務負荷の軽減およびシステムの処理負荷の低減を実現することができる。

また、映像に含まれる人物の像を検出し、検出された人物の属性を表す属性特徴量を算出する算出部３２１をさらに備え、監視重要度判定部３２３は、属性特徴量をさらに用いて監視重要度を判定するので、人物の属性を考慮した高精度な判定が可能である。

また、インタラクション検出部３２２は、映像に基づいて、人物の骨格を検出し、検出した骨格の推定結果から算出される人物の姿勢を表す姿勢特徴量と、人物間の任意の部位間の一つまたは複数の距離から算出される距離特徴量と、映像に基づいた前後の画像フレーム間の差分から算出される骨格の単位時間当たりの移動量を表す移動特徴量と、人物に対する物品の所有関係を表現する物品特徴量と、の中から少なくともいずれか一つを算出し、算出した特徴量に基づいて、インタラクションの種類及びインタラクションの方向を検出する。かかる構成によれば、人物の姿勢や人物間の距離、物品の種別などを考慮した高精度な判定が可能である。

さらに、監視重要度判定部３２３は、インタラクションが発生した時点の複数の人物の位置に関する情報を利用して、監視重要度を判定するので、位置関係から不合理な事象を除外し、判定精度を向上することができる。

また、映像解析システム３は、検出対象のインタラクションを発生させた各人物に対し監視重要度を判定するための、インタラクションの種類、インタラクションの方向、及び、発生エリア毎のセキュリティレベルの情報を監視基準情報として保持する記憶部３３を有する。これらの情報を予め保持し、適宜使用することで、簡易且つ高精度な判定を実現することができる。

また、インタラクションの種類及び／または前記人物に関する情報を検索クエリとして、インタラクションの検出実績を検索することで、インタラクションを発生させた人物の検索が可能な検索部４４を設けることで、検知して蓄積したインタラクションを有効利用することができる。

また、出力制御部３２４は、インタラクションを発生させた各人物に対する監視重要度に応じて、表示端末への表示の大きさを変化させる。このため、重要度を簡易に認識させるとともに、重要度に応じて情報量をコントロールすることができる。
また、インタラクションを発生させた各人物について、インタラクションの時間的に前後の移動軌跡を画面上に表示することで、インタラクション前後の挙動を確認することができる。
複数の人物の移動軌跡の生成の要否は、重要度により判定してもよい。この場合には、重要な人物について選択的に移動軌跡を出力可能となる。
さらに、検出したインタラクションにおける複数の人物について、インタラクションに係る所定の行動の実行者または被実行者であることを示す情報を画面に表示することで、インタラクションの方向を明示してもよい。
また、インタラクションが検出されたフレーム画像を画面に表示しつつ、当該インタラクションに関与した人物の現在の位置及び／または現在の映像を画面に表示することで、インタラクションの内容と人物の現状とを関連付けて表示することもできる。

なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１…映像監視システム、
２…撮影システム、２１…カメラ部、
３…映像解析システム、３１…映像入力部、３２…映像処理部、３２１…算出部、３２１１…人物検出部、３２１２…属性判定部、３２２…インタラクション検出部、３２３…監視重要度判定部、３２４…出力制御部、３３…記憶部、３３１…監視基準情報、
４…監視センタシステム、４１…記録部、４２…映像表示部、４３…管理制御部、４４…検索部

Claims (13)

1. 監視領域を撮影した映像を用いて、前記監視領域における事象を検出する映像解析システムにおいて、
   前記映像に基づいて、複数の人物の関与により生じる事象であるインタラクションを検出し、前記インタラクションの種類と、前記複数の人物の各々が前記インタラクションにおいて他の人物とどのように関わったかを示すインタラクションの方向とを出力するインタラクション検出部と、
   前記インタラクションの種類及び方向と、予め設定された監視基準情報と、を比較して、前記インタラクションに関与した複数の人物について人物毎の監視重要度を判定する監視重要度判定部と、
   前記監視重要度に基づいて、前記事象の検出結果を出力する出力制御部と、を有する映像解析システム。
2. 前記映像に含まれる人物の像を検出し、検出された人物の属性を表す属性特徴量を算出する算出部をさらに備え、
   前記監視重要度判定部は、前記属性特徴量をさらに用いて前記監視重要度を判定することを特徴とする請求項１に記載の映像解析システム。
3. 前記インタラクション検出部は、前記映像に基づいて、前記人物の骨格を検出し、
   検出した前記骨格の推定結果から算出される前記人物の姿勢を表す姿勢特徴量と、
   前記人物間の任意の部位間の一つまたは複数の距離から算出される距離特徴量と、
   前記映像に基づいた前後の画像フレーム間の差分から算出される前記骨格の単位時間当たりの移動量を表す移動特徴量と、
   前記人物に対する物品の所有関係を表現する物品特徴量と、の中から少なくともいずれか一つを算出し、算出した特徴量に基づいて、前記インタラクションの種類及び前記インタラクションの方向を検出することを特徴とする請求項１に記載の映像解析システム。
4. 前記監視重要度判定部は、前記インタラクションが発生した時点の前記複数の人物の位置に関する情報を利用して、前記監視重要度を判定することを特徴とする請求項１に記載の映像解析システム。
5. 検出対象のインタラクションを発生させた各人物に対し監視重要度を判定するための、インタラクションの種類、インタラクションの方向、及び、発生エリア毎のセキュリティレベルの情報を前記監視基準情報として保持する記憶部を有することを特徴とする請求項１に記載の映像解析システム。
6. 前記インタラクションの種類及び／または前記人物に関する情報を検索クエリとして、インタラクションの検出実績を検索することで、前記インタラクションを発生させた人物の検索が可能な検索部を有することを特徴とする請求項１に記載の映像解析システム。
7. 前記出力制御部は、前記インタラクションを発生させた各人物に対する前記監視重要度に応じて、表示端末への表示の大きさを変化させることを特徴とする請求項１に記載の映像解析システム。
8. 前記出力制御部は、前記インタラクションを発生させた各人物について、前記インタラクションの時間的に前後の移動軌跡を画面上に表示することを特徴とする請求項１に記載の映像解析システム。
9. 前記出力制御部は、前記監視重要度に基づいて、前記複数の人物の移動軌跡の生成の要否を判定することを特徴とする請求項１に記載の映像解析システム。
10. 前記出力制御部は、前記検出したインタラクションにおける前記複数の人物について、前記インタラクションに係る所定の行動の実行者または被実行者であることを示す情報を画面に表示することを特徴とする請求項１に記載の映像解析システム。
11. 前記出力制御部は、前記インタラクションが検出されたフレーム画像を画面に表示し、さらに、当該インタラクションに関与した人物の現在の位置及び／または現在の映像を画面に表示することを特徴とする請求項１に記載の映像解析システム。
12. 前記インタラクション検出部は、前記姿勢特徴量、前記距離特徴量、前記移動特徴量、及び、前記物品特徴量を算出し、前記姿勢特徴量、前記距離特徴量、前記移動特徴量、及び、前記物品特徴量に基づいて、前記検出した複数の人物間でのインタラクションの種類及び前記インタラクションの方向を検出することを特徴とする請求項３に記載の映像解析システム。
13. コンピュータによって実行され、監視領域を撮影した映像を用いて、前記監視領域における事象を検出する映像監視方法において、
    前記映像に基づいて、複数の人物の関与により生じる事象であるインタラクションを検出し、前記インタラクションの種類と、前記複数の人物の各々が前記インタラクションにおいて他の人物とどのように関わったかを示すインタラクションの方向とを出力するインタラクション検出ステップと、
    前記インタラクションの種類及び方向と、予め設定された監視基準情報と、を比較して、前記インタラクションに関与した複数の人物について人物毎の監視重要度を判定する監視重要度判定ステップと、
    前記監視重要度に基づいて、前記事象の検出結果を出力する出力制御ステップと、を含む映像解析方法。

Images