JP2018142173A - 画像監視装置 - Google Patents

Abstract

【課題】混雑が生じ得る空間において要注視行動を高精度に検出可能な画像監視装置を提供する。【解決手段】本発明にかかる画像監視装置１は、監視画像から監視空間における人の分布を推定して監視画像を人の混雑度ごとの領域に区分する領域区分手段５０と、領域区分手段５０が区分した区分領域ごとに監視画像の区分領域から少なくとも１以上の人を含む複数の物体からなる物体グループにおける人の行動特徴量を抽出する行動特徴量抽出手段５１と、抽出した行動特徴量が予め定めた基準を満たす場合に、物体グループに含まれる人の行動が要注視行動であると判定する要注視行動検出手段５２と、を備え、行動特徴量抽出手段５１は、混雑度ごとの区分領域のうちの要注視行動を検出する検出対象に定められた混雑度の区分領域について、混雑度が高いほど規模の大きな物体グループを設定する。【選択図】図２

Description

本発明は、人が存在する空間を撮影した監視画像から監視員等が注視すべき要注視行動を検出する画像監視装置に関し、特に、混雑が生じ得る空間における要注視行動を検出する画像監視装置に関する。

イベント会場、空港、駅などの混雑が生じ得る空間は不特定多数の人が集まるため、監視員が注視すべき要注視行動は、危険物の受け渡し、ひったくり、割り込み、逆行、転倒、取り囲みなど多岐にわたる。そのため、これらの空間を撮影した監視画像から様々な要注視行動を検出して監視員に報知すること等によって監視効率を向上させることが望まれている。

例えば、特許文献１に記載の画像監視システムにおいては、不特定多数の人が集まる監視領域を撮影した画像から、人物追跡を行って接近のあった人物ペアを検出し、または互いに向けて手を伸ばした人物ペアの姿勢を検出することによって受け渡しを検出する。

また例えば、特許文献２に記載された移動物体の状態検出装置においては、画像の全領域中で部分的に異なる動きをする領域を検出している。すなわち、画像の全領域で、追跡によって移動物体ごとに求めた移動方向の頻度分布から最大頻度の基準方向を求めて、基準方向と所定以上の違いがある物体を、人流を横切る特異な動きをした人などとして検出する。技術が開示されている。

特開２０１７−０２８５６１号公報 特開平０６−２６６８４０号公報

しかしながら、監視対象の空間の混雑度に依らずに、特徴量の抽出対象とする「物体グループの規模」を一定にしていると、類似する正常行動が増加して誤検出多発の要因となる、または特徴量の抽出精度が低下して検出精度が低下する問題があった。このような検出精度の低下は監視効率の低下につながる。
また、監視画像中に混雑度の異なる領域が混在する場合にも、領域ごとに検出精度が変わることとなり、問題がより複雑化する。

例えば、混雑度が高くなると人物同士の接近が多発するため、混雑度が高い領域において人物ペアという単位で接近に係る特徴量を抽出すると受け渡しの誤検出が増加し得る。また例えば、混雑度が高くなるとオクルージョンが多発して人物の特定の姿勢を検出することが困難となるため、混雑度が高い領域において人物ペアという単位で姿勢に係る特徴量を抽出すると受け渡しの検出精度が低下し得る。

また例えば、混雑度が低くなると人の移動方向のデータ数が減少するため、混雑度が低いときに全領域の移動物体という単位で最大頻度の基準方向という特徴量を抽出すると、安定した基準方向が定まらずに特異な動きの誤検出の増加、または検出精度の低下が生じ得る。

本発明は上記問題を鑑みてなされたものであり、混雑が生じ得る空間において要注視行動を高精度に検出可能な画像監視装置を提供することを目的とする。

かかる課題を解決するため本発明は、人が存在する監視空間を撮影した監視画像から人の要注視行動を検出する画像監視装置であって、監視画像から監視空間における人の分布を推定して監視画像を人の混雑度ごとの領域に区分する領域区分手段と、領域区分手段が区分した区分領域ごとに監視画像の区分領域から少なくとも１以上の人を含む複数の物体からなる物体グループにおける人の行動特徴量を抽出する行動特徴量抽出手段と、行動特徴量抽出手段が抽出した行動特徴量が予め定めた基準を満たす場合に、物体グループに含まれる人の行動が要注視行動であると判定する要注視行動検出手段と、を備え、行動特徴量抽出手段は、混雑度ごとの区分領域のうちの要注視行動の検出対象に定められた混雑度の区分領域について、混雑度が高いほど規模の大きな物体グループを設定することを特徴とした画像監視装置を提供する。

かかる画像監視装置において、行動特徴量抽出手段は、領域区分手段が検出対象の混雑度のうちで最も高い高混雑度の領域に区分した高混雑領域においては高混雑領域を物体グループに設定し、高混雑領域以外の区分領域においては区分領域の監視画像から個々の物体を検出し、検出した物体のうち所定距離以下で近接する複数の物体からなる物体グループを設定することが好適である。

かかる画像監視装置において、行動特徴量抽出手段は、領域区分手段が検出対象の混雑度のうちで最も低い低混雑度の領域に区分した低混雑領域においては当該低混雑領域にて検出された物体グループに属する物体の領域の特徴量を行動特徴量として抽出し、領域区分手段が高混雑領域以外且つ低混雑領域以外に区分した中混雑領域においては当該中混雑領域にて設定した物体グループに属する複数の物体の位置の特徴量を行動特徴量として抽出することが好適である。

本発明に係る画像監視装置によれば、本発明によれば、混雑が生じ得る空間において要注視行動を高精度に検出可能な画像監視装置を提供することが可能となる。

画像監視装置１の概略の構成を示すブロック図である。 通信部３、記憶部４および画像処理部５の機能を説明する機能ブロック図である。 領域区分手段５０が監視画像を区分する処理を模式的に例示した図である。 図３の区分領域において設定される物体グループを例示した図である。 画像監視装置１の動作を示すメインフロー図である。 低混雑領域の要注視行動検出処理を説明するフロー図である。 中混雑領域の要注視行動検出処理を説明するフロー図である。 高混雑領域の要注視行動検出処理を説明するフロー図である。

以下、本発明の画像監視装置の好適な実施形態の一例として、イベント会場を撮影した監視画像を基に要注視行動を検出し、要注視行動を検出した場合に報知する画像監視装置１について説明する。

図１は画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は、撮影部２、通信部３、記憶部４、画像処理部５、および報知部６からなる。

撮影部２は、監視カメラであり、通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して監視画像を生成し、監視画像を順次画像処理部５に入力する撮影手段である。例えば、撮影部２は、監視空間であるイベント会場の一角に設置されたポールに当該監視空間を俯瞰する所定の固定視野を有して設置され、監視空間をフレーム周期１秒で撮影してカラー画像を生成する。カラー画像の代わりにモノクロ画像を生成してもよい。

通信部３は、通信回路であり、その一端が画像処理部５に接続され、他端が撮影部２および報知部６と接続される。通信部３は、撮影部２から監視画像を取得して画像処理部５に入力し、画像処理部５から入力された要注視情報を報知部６に出力する。要注視情報は、画像処理部５が検出した要注視行動の種類や検出時の監視画像等が含まれた情報である。

例えば、撮影部２および報知部６がイベント会場内の監視センターに設置され、通信部３、記憶部４および画像処理部５が遠隔地の画像解析センターに設置される場合、通信部３と撮影部２、および通信部３と報知部６をそれぞれインターネット回線にて接続し、通信部３と画像処理部５はバスで接続する構成とすることができる。その他、例えば各部を同一建屋内に設置する場合は、通信部３と撮影部２を同軸ケーブルまたはＬＡＮ（Local Area Network）、通信部３と報知部６はディスプレイケーブル、通信部３と画像処理部５はバスで接続するなど、各部の設置場所に応じた形態で適宜接続される。

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は、画像処理部５と接続されて画像処理部５との間でこれらの情報を入出力する。

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は、記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、必要に応じて、各種データを記憶部４から読み出し、生成したデータを記憶部４に記憶させる。また、画像処理部５は、通信部３経由で撮影部２から取得した監視画像から要注視行動を検出し、検出した要注視行動に関する要注視情報を生成して通信部３に出力させる。

報知部６は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、通信部３から入力された要注視情報に含まれる要注視行動の種類や検出時の監視画像等の情報を表示することによって監視員に報知する。報知部６には、さらに、注意喚起を強調するためにブザーやランプ等を含めることもできる。監視員は表示された要注視行動の情報を視認して対処の要否等を判断し、必要に応じて対処員を急行させる等の対処を行う。

なお、本実施形態においては、通信部３と画像処理部５の組に対して撮影部２が１台である画像監視装置１を例示するが、別の実施形態においては、通信部３と画像処理部５の組に対して撮影部２が２台以上接続された構成とすることもできる。その場合、通信部３は各撮影部から監視画像を時分割で受信し、画像処理部５は各撮影部からの監視画像を時分割処理または並列処理する。

以下、図２〜図４を参照し、画像監視装置１の機能について説明する。
図２は、画像監視装置１における、通信部３、記憶部４および画像処理部５の機能を説明する機能ブロック図である。通信部３は画像取得手段３０および要注視情報出力手段３１等として機能し、記憶部４は検出基準記憶手段４０等として機能する。画像処理部５は領域区分手段５０、行動特徴量抽出手段５１および要注視行動検出手段５２等として機能する。また、行動特徴量抽出手段５１は低混雑時抽出手段５１０、中混雑時抽出手段５１１および高混雑時抽出手段５１２を含み、要注視行動検出手段５２は低混雑時検出手段５２０、中混雑時検出手段５２１および高混雑時検出手段５２２を含む。

画像取得手段３０は、撮影手段である撮影部２から監視画像を順次取得して、取得した監視画像を領域区分手段５０および行動特徴量抽出手段５１に順次出力する。

領域区分手段５０は、画像取得手段３０が取得した監視画像を、予め様々な密度にて人が存在する空間を撮影した密度画像を用いて密度ごとの特徴量を学習した密度推定器で走査することによって、監視画像から監視空間における人の分布を推定し、監視画像を人の混雑度ごとの領域に区分し、区分した領域（区分領域）の情報を行動特徴量抽出手段５１に出力する。

以下、密度推定器の学習および密度推定器による推定に用いる特徴量を、後述する行動特徴量等と区別するために密度特徴量と称する。密度特徴量はＧＬＣＭ（Gray Level Co-occurrence Matrix）特徴である。なお、密度特徴量はＧＬＣＭ特徴に限らずＨＯＧ（Histograms of Oriented Gradients）特徴量、局所二値パターン（Local Binary Pattern：ＬＢＰ）特徴量、ハールライク（Haar-like）特徴量、輝度パターンなどの種々の特徴量またはこれらのうちの複数を組み合わせた特徴量とすることができる。

混雑度は人により生じ得る混雑の度合いの範囲を２段階以上に分けて設定される。例えば、混雑度は、人の密度に応じた３段階で予め定義され、具体的には、０．０人／ｍ^２以上２．０人／ｍ^２以下と推定される低混雑度、２．０人／ｍ^２より高く４．０人／ｍ^２以下と推定される中混雑度、４．０人／ｍ^２よりも高いと推定される高混雑度と定義される。領域区分手段５０は、低混雑度と推定された領域（低混雑領域）の画素値に低混雑度を識別する符号「低」を、中混雑度と推定された領域（中混雑領域）の画素値に中混雑度を識別する符号「中」を、高混雑度と推定された領域（高混雑領域）の画素値に高混雑度を識別する符号「高」をそれぞれ設定した三値画像を出力する。

本実施形態においては、低混雑領域、中混雑領域、高混雑領域のいずれもが要注視行動を検出する検出対象に定められている。つまり、高混雑領域は領域区分手段５０が検出対象の混雑度のうちで最も高い高混雑度の領域に区分した区分領域、低混雑領域は領域区分手段５０が検出対象の混雑度のうちで最も低い低混雑度の領域に区分した区分領域、中混雑領域は領域区分手段５０が高混雑領域以外且つ低混雑領域以外に区分した区分領域となる。

密度推定器は、多クラスＳＶＭ（Support Vector Machine：サポートベクターマシーン）法を用いて学習することができる。密度推定器の学習においては、例えば、人が写っていない０．０人／ｍ^２の無人画像、０．０人／ｍ^２より高く２．０人／ｍ^２以下の密度で人が写っている低密度画像、２．０人／ｍ^２より高く４．０人／ｍ^２以下の密度で人が写っている中密度画像および４．０人／ｍ^２よりも高い密度で人が写っている高密度画像をそれぞれ多数用意して学習画像とし、学習画像から抽出した密度特徴量に多クラスＳＶＭ法を適用して、無人画像、低密度画像、中密度画像、高密度画像の４クラスの密度特徴量を一定以上の確率で分類可能な分類関数のパラメータが導出される。このパラメータを領域区分手段５０のプログラムに含めて記憶させておく。

具体的には、領域区分手段５０は、まず、監視画像の全体に渡って複数の推定窓を設定し、各推定窓における監視画像から密度特徴量を抽出する。なお、ＧＬＣＭ特徴のように注目画素の密度特徴量を注目画素とその近傍領域から抽出する密度特徴量の場合、監視画像の各画素における密度特徴量を抽出してから推定窓内の画素に対応する密度特徴量を選択するのが効率的である。

次に、領域区分手段５０は、各推定窓の密度特徴量を密度推定器に入力し、その出力値すなわち推定値として各推定窓の監視画像が無人画像、低密度画像、中密度画像、高密度画像のいずれのクラスに帰属するかを示す符号を取得する。
続いて、領域区分手段５０は、無人画像および低密度画像に帰属すると推定された推定窓内の画素値に符号「低」を、中密度画像に帰属すると推定された推定窓内の画素値に符号「中」を、高密度画像に帰属すると推定された推定窓内の画素値に符号「高」をそれぞれ設定した三値画像を出力する。

図３は領域区分手段５０が監視画像を区分する処理を模式的に例示した図である。
図３の例では、多数の人が撮影された監視画像１００をブロック分割することによって１４×１１個の推定窓が設定されている。そして、各推定窓から密度特徴量が抽出されて密度推定器に入力され、推定窓ごとに帰属するクラスが推定される。推定結果１１０においては、推定窓１１１，１１２等の白抜きの推定窓が低密度画像または無人画像に帰属すると推定されたことを示し、推定窓１１３等の斜線を記した推定窓が中密度画像に帰属すると推定されたことを示し、推定窓１１４等の網掛けした推定窓が高密度画像に帰属すると推定されたことを示している。これらの推定窓が混雑度ごとの領域にまとめられることによって混雑度ごとの領域に区分される。区分結果１２０においては、白抜き区分領域１２１，１２２が低混雑領域を、斜線を記した区分領域１２３が中混雑領域を、網掛けした区分領域１２４が高混雑領域をそれぞれ示している。

行動特徴量抽出手段５１は、領域区分手段５０が区分した区分領域それぞれにおいて、少なくとも１以上の人を含む複数の物体からなる物体グループであって混雑度が高い区分領域ほど規模の大きな物体グループを設定し、監視画像から当該物体グループにおける人の行動特徴量を抽出し、区分領域ごとの行動特徴量を当該区分領域の混雑度と対応付けて要注視行動検出手段５２に出力する。

行動特徴量抽出手段５１は、低混雑時抽出手段５１０として、区分領域のうちの低混雑領域における人の行動特徴量を抽出する。低混雑時抽出手段５１０は、低混雑領域の監視画像から個々の人の領域（人物領域）および個々の物品の領域（物品領域）を物体の領域（物体領域）として検出し、物体領域同士が所定距離以下で近接し且つ少なくとも１以上の人を含む複数の物体からなる物体グループを設定する。近接を判定するための距離閾値Ｔ_ＤＬは低混雑領域の密度の定義に整合する範囲内で予め定められ、例えばその値は０．５ｍである。

図４は、図３の区分領域において設定される物体グループを例示した図である。
低混雑領域１２１においては、人物領域２０１とそれに近接する物品領域２０２からなる物体グループ２００、人物領域２１１とそれに近接する物品領域２１２，２１３からなる物体グループ２１０が設定される。また、低混雑領域１２２においては、人物領域２２１とそれに近接する物品領域２２２からなる物体グループ２２０が設定される。

そして、低混雑時抽出手段５１０は、各物体グループに属する個々の物体領域から動き、姿勢および位置関係等の特徴量のうちの少なくともひとつを、低混雑領域における人の行動特徴量（低混雑時特徴量）として抽出し、低混雑時特徴量を要注視行動検出手段５２に出力する。例えば、動きの特徴量は物体同士の接近に係る特徴量である。また例えば姿勢の特徴量は少なくとも１以上の人が物体グループ内の他の物体に関与するときの姿勢の特徴量である。

このように行動特徴量抽出手段５１は、高・中混雑領域と比べてオクルージョンが発生しにくく物体同士の接近の少ない低混雑領域においては、個々の物体の全体像や部位の像を得やすいことから、個々の物体領域の情報を基礎とする行動特徴量を抽出して、高精度な要注視行動の検出を実現する。

また、行動特徴量抽出手段５１は、中混雑時抽出手段５１１として、区分領域のうちの中混雑領域における人の行動特徴量を抽出する。中混雑時抽出手段５１１は、中混雑領域の監視画像から個々の人の位置（物体位置）を検出して物体位置同士が所定距離以下で近接する複数の物体位置のペアからなる物体グループを設定する。近接を判定するための距離閾値Ｔ_ＤＭは中混雑領域の密度の定義に整合する範囲内で予め定められ、例えばその値は０．４ｍである。

図４の例では、中混雑領域１２３において、互いに近接している人の位置２３１，２３２のペア、人の位置２３２，２３３のペアおよび人の位置２３３，２３４のペアが連鎖してなる物体グループ２３０が設定される。

そして、中混雑時抽出手段５１１は、物体グループに属する個々の物体位置から動き、形状および位置関係等の特徴量うちの少なくともひとつを、中混雑領域における人の行動特徴量（中混雑時特徴量）として抽出し、中混雑時特徴量を要注視行動検出手段５２に出力する。例えば、動きの特徴量は物体同士の接近に係る特徴量である。また例えば形状の特徴量は物体グループの形状の特徴量である。

このように行動特徴量抽出手段５１は、低混雑領域と比べてオクルージョンや物体同士の接近が発生し易いが、高混雑領域に比べて物体位置の偏りが生じやすい中混雑領域においては、物体領域の情報を用いることによる要注視行動の誤検出を防止しつつ、個々の物体位置の情報を基礎とする行動特徴量を抽出して、高精度な要注視行動の検出を実現する。

また、行動特徴量抽出手段５１は、高混雑時抽出手段５１２として、区分領域のうちの高混雑領域における人の行動特徴量を抽出する。高混雑時抽出手段５１２は、高混雑領域の監視画像から当該混雑度が推定された領域のまとまり、すなわち高混雑領域全体を物体グループとし、高混雑領域全体から個々の物体を単位としない動き、形状等のうちの少なくとも一つを、高混雑領域における人の行動特徴量（高混雑時特徴量）として抽出し、高混雑時特徴量を要注視行動検出手段５２に出力する。例えば、動きの特徴量は時空間セグメントや画像ブロックの動きの特徴量であり、形状の特徴量は高混雑領域の形状の特徴量である。
図４の例では、高混雑領域１２４自体が物体グループ２４０に設定される。

このように行動特徴量抽出手段５１は、低・中混雑領域と比べてオクルージョンや物体同士の接近が常時発生している高混雑領域においては、物体領域や物体位置の情報を用いることによる要注視行動の誤検出を防止しつつ、不特定多数の物体の集合としての行動特徴量を抽出して、高精度な要注視行動の検出を実現する。

検出基準記憶手段４０は要注視行動を検出するために予め定められた検出基準を記憶している。この検出基準は混雑度ごとに記憶され、各検出基準はそれぞれに対応する混雑度が推定された区分領域において抽出された行動特徴量との比較・判定に用いられる。

要注視行動検出手段５２は、行動特徴量抽出手段５１から区分領域ごとの行動特徴量を入力されて検出基準記憶手段４０から区分領域の混雑度に応じた検出基準を読み出し、区分領域ごとの行動特徴量を当該区分領域の混雑度に応じた検出基準と比較して、検出基準を満たす場合に当該行動特徴量が抽出された抽出対象領域において要注視行動が発生していると判定する。

すなわち、要注視行動検出手段５２は、低混雑時特徴量が入力された場合は、低混雑時特徴量を低混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する低混雑時検出手段５２０として動作する。

また、要注視行動検出手段５２は、中混雑時特徴量が入力された場合は、中混雑時特徴量を中混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する中混雑時検出手段５２１として動作する。

また、要注視行動検出手段５２は、高混雑時特徴量が入力された場合は、高混雑時特徴量を高混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する高混雑時検出手段５２２として動作する。

ここで、要注視行動検出手段５２は、例えば、対応付けられている検出基準が要注視行動の特徴量である要注視パターンおよび閾値である場合は、要注視パターンと区分領域から抽出された行動特徴量との類似度を算出して、類似度が閾値以上である場合に要注視行動が発生していると判定する。また、要注視行動検出手段５２は、対応付けられている検出基準が正常行動の特徴量である正常パターンおよび閾値である場合は、正常パターンと区分領域から抽出された行動特徴量との相違度を算出して、相違度が閾値以上である場合に要注視行動が発生していると判定する。

要注視行動検出手段５２は、要注視行動が発生していると判定した場合に、検出基準を満たした行動特徴量が抽出された位置、満たされた検出基準と対応する事象名を重畳させた監視画像を要注視情報として生成し、生成した要注視情報を要注視情報出力手段３１に出力する。

要注視情報出力手段３１は要注視行動検出手段５２から入力された要注視情報を報知部６に順次出力し、報知部６は要注視情報出力手段３１から入力された要注視情報に含まれる情報を表示する。例えば、要注視情報は、インターネット経由で送受信され、報知部６に表示される。監視員は、表示された情報を視認することによって要注視行動の対処要否を判断し、対処が必要と判断すると対処員を派遣するなどの対処を行う。

以下、図５〜図８を参照し、画像監視装置１の動作を説明する。
画像監視装置１が動作を開始すると、イベント会場に設置されている撮影部２は所定時間おきに監視空間を撮影して監視画像を順次画像処理部５が設置されている画像解析センター宛に送信する。画像処理部５は監視画像を受信するたびに図５のフローチャートに従った動作を繰り返す。

まず、通信部３は画像取得手段３０として動作し、監視画像の受信を待機する。撮影部２が監視画像を送信すると、画像取得手段３０は当該監視画像を受信して画像処理部５に出力する（ステップＳ１）。

監視画像を入力された画像処理部５は領域区分手段５０として動作し、監視画像を密度推定器にて走査することによって監視画像に撮影されている人の分布を推定し（ステップＳ２）、推定結果に基づいて監視画像を混雑度ごとの領域に区分する（ステップＳ３）。これによって、監視画像は低混雑領域、中混雑領域および高混雑領域に区分される。

領域の区分を行った画像処理部５は、行動特徴量抽出手段５１としても動作し、領域区分手段５０による区分結果を行動特徴量抽出手段５１に入力する。

区分結果を入力された行動特徴量抽出手段５１は、区分結果に低混雑領域の情報が含まれているか否かを確認する（ステップＳ４）。行動特徴量抽出手段５１は、低混雑領域の情報が含まれている場合は（ステップＳ４にてＹＥＳ）、処理を低混雑領域の要注視行動検出処理（ステップＳ５）に進める。他方、低混雑領域の情報が含まれていない場合（ステップＳ４にてＮＯ）、行動特徴量抽出手段５１はステップＳ５を省略して処理をステップＳ６に進める。

図６のフローチャートを参照し、低混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段５１はこの処理を低混雑時抽出手段５１０として実行し、要注視行動検出手段５２はこの処理を低混雑時検出手段５２０として実行する。

まず、低混雑時抽出手段５１０は、低混雑領域の監視画像から個々の物体領域を検出する（ステップＳ５００）。物体領域には人の領域（人物領域）と物品の領域（物品領域）が含まれる。低混雑時抽出手段５１０は、監視画像と背景画像の比較により変化領域を検出して、当該変化領域を予め単独の人の画像の特徴量を学習した人識別器で走査することで、変化領域の中から人物領域とそれ以外である物品領域とを検出する。

具体的には、まず、低混雑時抽出手段５１０は、予め無人時の監視画像などから生成して記憶部４に記憶させてある背景画像とステップＳ１で取得した監視画像の、低混雑領域内における輝度差が閾値以上である画素を抽出し、抽出した画素のまとまりを変化領域とする。

以下、人識別器の学習および人識別器による識別に用いる特徴量を、行動特徴量と区別するために人特徴量と称する。人特徴量はＨＯＧ（Histograms of Oriented Gradients：ヒストグラム・オブ・オリエンティッド・グラディエント）とすることができる。

人識別器は、アダブースト（AdaBoost）法を用いて学習することができる。人識別器の学習においては、例えば、単独の人が写っている人画像および人が写っていない無人画像をそれぞれ多数用意して学習画像とし、学習画像から抽出した人特徴量にアダブースト法を適用して、人画像と無人画像の２クラスの人特徴量を一定以上の確率で識別可能な識別関数のパラメータが導出される。このパラメータを低混雑時抽出手段５１０のプログラムに含めて記憶させおく。

次に、低混雑時抽出手段５１０は、低混雑領域の監視画像の変化領域全体に渡って複数の識別窓を設定し、各識別窓における監視画像から人特徴量を抽出する。なお、ＨＯＧのように注目画素の人特徴量を注目画素とその近傍領域から抽出する人特徴量の場合、低混雑領域の各画素における人特徴量を抽出してから識別窓内の画素に対応する人特徴量を選択するのが効率的である。

そして、低混雑時抽出手段５１０は、各識別窓の人特徴量を人識別器に入力し、その出力値すなわち識別値として各識別窓の監視画像が人画像と無人画像のいずれのクラスに帰属するかを示す符号を取得し、人画像に帰属すると識別された識別窓を人物領域に設定する。

さらに、低混雑時抽出手段５１０は、変化領域の中で、人物領域に設定されていない領域を特定し、その領域を物品領域に設定する。

続いて、低混雑時抽出手段５１０は、公知の追跡法を用いて物体領域の追跡、すなわち各物体領域と過去に低混雑領域の監視画像から検出された物体領域との対応付けを行う（ステップＳ５０１）。低混雑時抽出手段５１０は、例えば、過去に検出された各物体領域とステップＳ５００で検出された各物体領域の組合せに対し、物体領域の重心位置と過去の物体領域の重心位置に基づく予測位置との類似度、物体領域における監視画像の平均色についての類似度、物体領域の形状についての類似度を総和して、総和した値が最大となるペアを対応付ける。

続いて、低混雑時抽出手段５１０は、ステップＳ５００にて検出された各物体領域に対し、所定距離以下で近接してなる物体グループを検出する（ステップＳ５０２）。低混雑時抽出手段５１０は、重心間の距離が距離閾値Ｔ_ＤＬ以下で近接している物体領域同士を物体グループとして検出する。

続いて、低混雑時抽出手段５１０は、各物品領域を順次処理対象に設定して（ステップＳ５０３）、ステップＳ５０３〜Ｓ５０９のループ処理を行う。なお、物品領域が検出されていない場合、ループ処理は省略される。

続いて、低混雑時抽出手段５１０は、ステップＳ５０１の追跡結果およびステップＳ５０２のグループ検出結果を参照して、注目している物品領域のグループ変遷を抽出する（ステップＳ５０４）。低混雑時抽出手段５１０は、注目している物品領域について、時系列で物体グループへの帰属有無と帰属した物体グループの数（構成する物体領域が異なる物体グループの数）を抽出し、連続する帰属有無の時系列データを圧縮することでグループ変遷を抽出する。例えば、注目している物品領域が、物体グループＡに帰属、物体グループＡに帰属、…、帰属グループ無し、帰属グループ無し、…、物体グループＢに帰属という変遷を辿っていれば、当該物品領域のグループ変遷は「帰属有無：｛帰属あり、帰属なし、帰属あり｝、帰属数：２」となる。

行動特徴量を算出した画像処理部５は低混雑時検出手段５２０として動作し、記憶部４は検出基準記憶手段４０として動作する。

低混雑時検出手段５２０は、まず、検出基準記憶手段４０から低混雑時の検出基準を読み出す（ステップＳ５０５）。すなわち、低混雑時検出手段５２０は、物品領域のグループ変遷の正常パターン「帰属有無：｛帰属あり｝、帰属数：１」を読み出す。

低混雑時検出手段５２０は、次に、ステップＳ５０４で抽出したグループ変遷を検出基準と比較して一致するか否かを判定する（ステップＳ５０６）。

低混雑時検出手段５２０は、続いて、ステップＳ５０４で抽出したグループ変遷が要注視行動の検出基準を満たすか否かを判定する（ステップＳ５０７）。低混雑時検出手段５２０は、ステップＳ５０６での判定が不一致である場合は検出基準を満たすと判定し、一致である場合は検出基準を満たさないと判定する。

不一致である場合は、物品の置き去り行動、物品の持ち去り行動、物品の受け渡し行動が発生している可能性がある。例えば、グループ変遷が「帰属有無：｛帰属あり、帰属なし、帰属あり｝、帰属数：２」である場合は、物品が持ち込まれた後に置かれ、その後に持ち去られたこと、さらには持ち込んだ人物と持ち去った人物が異なる可能性があり、間接的な受け渡しが発生した可能性がある。

要注視行動の検出基準を満たすグループ変遷が検出された場合（ステップＳ５０７にてＹＥＳ）、低混雑時検出手段５２０は、当該グループ変遷についての要注視情報を生成する（ステップＳ５０８）。低混雑時検出手段５２０は、当該グループ変遷が満たした検出基準と対応する事象名「置き去り／持ち去り／受け渡しの可能性あり」、注目している物品領域の座標を要注視情報として生成する。

他方、グループ変遷が検出基準を満たさない場合（ステップＳ５０７にてＮＯ）、ステップＳ５０８は省略される。

低混雑時検出手段５２０は、全ての物品領域を処理し終えたか否かを判定し（ステップＳ５０９）、未処理の物品領域がある場合は（ステップＳ５０９にてＮＯ）、処理をステップＳ５０３に戻して次の物品領域に対する処理に移行させ、全ての物品領域を処理し終えた場合は（ステップＳ５０９にてＹＥＳ）、処理を図５のステップＳ６へ進める。また、低混雑時検出手段５２０は、現時刻の処理結果を次時刻以降の処理のために記憶部４に記憶させておく。

なお、以上では、低混雑時検出手段５２０が物品領域を含む物体グループのグループ変遷を行動特徴量として算出する例を示したが、人物領域のみからなる物体グループのグループ変遷を行動特徴量として算出することもできる。さらに物体グループ中の人物領域の形状特徴量を当該人物領域から他の物体領域に手を伸ばす姿勢を表す行動特徴量として算出し、グループ変遷と手を伸ばす姿勢を合わせて検出基準としてもよい。或いは、静的な形状特徴量に代えて、動的な特徴量である、手を伸ばす動きを表す人物領域の形状変化量を用いてもよい。

再び図５を参照する。画像処理部５は、再び行動特徴量抽出手段５１として動作し、区分結果に中混雑領域の情報が含まれているか否かを確認する（ステップＳ６）。行動特徴量抽出手段５１は、中混雑領域の情報が含まれている場合は（ステップＳ６にてＹＥＳ）、処理を中混雑領域の要注視行動検出処理（ステップＳ７）に進める。他方、中混雑領域の情報が含まれていない場合（ステップＳ６にてＮＯ）、行動特徴量抽出手段５１はステップＳ７を省略して処理をステップＳ８に進める。

図７のフローチャートを参照し、中混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段５１はこの処理を中混雑時抽出手段５１１として実行し、要注視行動検出手段５２はこの処理を中混雑時検出手段５２１として実行する。

まず、中混雑時抽出手段５１１は、中混雑領域の監視画像から変化領域を検出して、当該変化領域と人の上半身の形状を模した形状モデルとのモデルマッチング処理によって、中混雑領域の監視画像から個々の人の位置（物体位置）を検出する（ステップＳ７００）。中混雑時抽出手段５１１は、予め無人時の監視画像などから生成して記憶部４に記憶させてある背景画像とステップＳ１で取得した監視画像の、中混雑領域内における輝度差が閾値以上である画素を抽出し、抽出した画素のまとまりを変化領域とする。中混雑時抽出手段５１１は、当該変化領域における監視画像からエッジ画像を生成する。中混雑時抽出手段５１１は、人の上半身の形状を模した複数の形状モデルを、中混雑度に適合する範囲内の個数で変化領域内に複数通りに配置して、配置ごとにエッジ画像との一致度を算出し、一致度が最大の配置を特定する。そして、中混雑時抽出手段５１１は、特定した配置における各形状モデルの位置それぞれを物体位置とする。

次に、中混雑時抽出手段５１１は、距離閾値Ｔ_ＤＭ以下で近接している物体位置のペアが連鎖してなる物体グループを検出する（ステップＳ７０１）。また、中混雑時抽出手段５１１は、各物体グループの外接矩形を当該物体グループの領域として算出する。なお、外接矩形に代えて、物体位置同士を結んだ線分と連鎖の始端・終端を結んだ線分とを輪郭線とする幾何学図形を物体グループの領域として算出してもよい。

続いて、中混雑時抽出手段５１１は、各物体グループの領域を順次注目グループに設定して（ステップＳ７０２）、ステップＳ７０２〜Ｓ７０９のループ処理を行う。

物体グループのループ処理において、まず、中混雑時抽出手段５１１は、注目している物体グループ領域の追跡すなわち当該物体グループの領域と過去に中混雑領域の監視画像から検出された物体グループの領域との対応付けを行う（ステップＳ７０３）。中混雑時抽出手段５１１は、ステップＳ７０１で検出した物体グループの領域と所定以上の割合で重複している過去の物体グループの領域を検出して、注目グループに対応付ける。

次に、中混雑時抽出手段５１１は注目している物体グループにおける動き分布を算出する（ステップＳ７０４）。中混雑時抽出手段５１１は、注目している物体グループに含まれる物体位置と、ステップＳ７０３で検出した過去の複数時刻の物体グループの領域それぞれに含まれる物体位置から、対応する各物体位置の時刻ごとの移動ベクトルを算出し、これらの移動ベクトルから注目グループに含まれる物体位置ごとに移動方向の頻度分布を算出する。なお、前後する時刻の物体位置の間で最も近い物体位置を対応づける。

さらに、中混雑時抽出手段５１１は、注目グループに含まれる物体位置ごとに、上記移動ベクトルを基に移動予測をおこない、中混雑領域内での予測軌跡に沿って、各人物が移動する確率を加算していく移動予測確率マップＰ_Ｍ３を生成する。なお１人あたりの確率は、中混雑領域内に存在する人数分の１とする。

移動方向の頻度分布および移動予測確率マップを算出した画像処理部５は中混雑時検出手段５２１として動作し、記憶部４は検出基準記憶手段４０として動作する。

まず、中混雑時検出手段５２１は、検出基準記憶手段４０から中混雑時の検出基準を読み出す（ステップＳ７０５）。すなわち、中混雑時検出手段５２１は、特定の移動方向に偏った頻度を有する複数の移動方向の頻度分布とその閾値Ｔ_Ｍ１を読み出す。また偏りの無い移動方向の頻度分布とその閾値Ｔ_Ｍ２を読み出す。併せて、移動予測確率マップに適用する閾値であって人が同一方向に向かうことを示す閾値Ｔ_Ｍ３を読み出す。これら頻度分布および確率マップは要注視パターンに相当する。

次に、中混雑時検出手段５２１は、ステップＳ７０４で算出した移動方向の頻度分布を対応する検出基準と比較して類似度を算出する（ステップＳ７０６）。中混雑時検出手段５２１は、ステップＳ７０４で算出した移動方向の頻度分布と偏った頻度を有する複数のパターンとの重複面積Ｓ_Ｍ１、偏りの無い頻度を有するパターンとの重複面積Ｓ_Ｍ２を算出する。

続いて、中混雑時検出手段５２１は、ステップＳ７０４で算出した移動方向の頻度分布および移動予測確率マップが要注視行動の検出基準を満たすか否かを判定する（ステップＳ７０７）。
中混雑時検出手段５２１は、ステップＳ７０４で算出した移動予測確率マップ上の確率Ｐ_Ｍ３と閾値Ｔ_Ｍ３を比較し、中混雑領域中にＰ_Ｍ３≧Ｔ_Ｍ３となる領域がある場合は、検出基準を満たす候補と判断し、全ての領域がＰ_Ｍ３＜Ｔ_Ｍ３である場合は検出基準を満たさないと判断する。
そして、中混雑時検出手段５２１は、Ｐ_Ｍ３≧Ｔ_Ｍ３となる領域がある物体グループについて重複面積Ｓ_Ｍ１と閾値Ｔ_Ｍ１を比較し、Ｓ_Ｍ１≧Ｔ_Ｍ１である場合は検出基準を満たすと判定し、Ｓ_Ｍ１＜Ｔ_Ｍ１である場合は検出基準を満たさないと判定する。
また、中混雑時検出手段５２１は、Ｐ_Ｍ３≧Ｔ_Ｍ３となる領域がある物体グループについて、重複面積Ｓ_Ｍ２と閾値Ｔ_Ｍ２を比較し、Ｓ_Ｍ２≧Ｔ_Ｍ２である場合は検出基準を満たすと判定し、Ｓ_Ｍ２＜Ｔ_Ｍ２である場合は検出基準を満たさないと判定する。

Ｐ_Ｍ３≧Ｔ_Ｍ３となる領域があり且つＳ_Ｍ１≧Ｔ_Ｍ１であれば、物体グループをなす各物体位置が特定の位置に向かって移動し、さらに移動方向が一致していることから、当該物体グループは行列を生成している。
Ｐ_Ｍ３≧Ｔ_Ｍ３となる領域があり且つＳ_Ｍ２≧Ｔ_Ｍ２であれば、物体グループをなす各物体位置が特定の位置に向かって移動し、さらに移動方向が略均等であることから、当該物体グループは、特定位置に向かって囲い込む行動をとっており、急病人や喧嘩などのトラブルが生じている可能性を示す。

要注視行動の検出基準を満たす動き分布が検出された場合（ステップＳ７０７にてＹＥＳ）、中混雑時検出手段５２１は、当該動き分布についての要注視情報を生成する（ステップＳ７０８）。中混雑時検出手段５２１は、当該動き分布が満たした検出基準と対応する事象名「行列発生」または／および「囲い込み発生」、注目している物体グループの領域の座標を要注視情報として生成する。

他方、検出基準を満たす動き分布が検出されなかった場合（ステップＳ７０７にてＮＯ）、ステップＳ７０８は省略される。

中混雑時検出手段５２１は、全ての物体グループを処理し終えたか否かを判定し（ステップＳ７０９）、未処理の物体グループがある場合は（ステップＳ７０９にてＮＯ）、処理をステップＳ７０２に戻して次の物体グループに対する処理に移行させ、全ての物体グループを処理し終えた場合は（ステップＳ７０９にてＹＥＳ）、処理を図５のステップＳ８へ進める。また、中混雑時検出手段５２１は、現時刻の処理結果を次時刻以降の処理のために記憶部４に記憶させておく。

なお、以上では、中混雑時検出手段５２１が人物位置の動き分布を物体グループにおける行動特徴量として算出する例を示したが、人物位置の動き分布に代えて、人物位置間の距離の変化量、物体グループの領域の形状または物体グループの領域の形状変化量を物体グループにおける行動特徴量とすることもできる。

再び図５を参照する。画像処理部５は、再び行動特徴量抽出手段５１として動作し、区分結果に高混雑領域の情報が含まれているか否かを確認する（ステップＳ８）。行動特徴量抽出手段５１は、高混雑領域の情報が含まれている場合は（ステップＳ８にてＹＥＳ）、処理を高混雑領域の要注視行動検出処理（ステップＳ９）に進める。他方、高混雑領域の情報が含まれていない場合（ステップＳ８にてＮＯ）、行動特徴量抽出手段５１はステップＳ９を省略して処理をステップＳ１０に進める。

図８のフローチャートを参照し、高混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段５１はこの処理を高混雑時抽出手段５１２として実行し、要注視行動検出手段５２はこの処理を高混雑時検出手段５２２として実行する。

高混雑領域では、高混雑領域そのものが不特定多数の人の集団を表す物体グループに設定される。

まず、高混雑時抽出手段５１２は、高混雑領域での時空間セグメンテーションを行う（ステップＳ９００）。高混雑時抽出手段５１２は、記憶部４から過去４時刻の監視画像を読み出し、それらと現時刻の監視画像を時刻順に並べた時空間画像の高混雑領域において、画素位置および撮影時刻が隣接する画素間にて画素値の相違度を算出し、相違度が小さければ同一セグメントとして結合させる、という処理を繰り返すことで、複数の時空間セグメントに分割する。

次に、高混雑時抽出手段５１２は、ステップＳ９００にて生成した各時空間セグメントを構成するセグメントの動きベクトルを算出する（ステップＳ９０１）。高混雑時抽出手段５１２は、複数の時空間セグメントのそれぞれを構成する５時刻分のセグメントそれぞれの重心を求め、時空間セグメントごとに重心位置の時間変化を一次近似して動きベクトルを算出する。

続いて、高混雑時抽出手段５１２は、ステップＳ９０１にて算出した複数の動きベクトルからセグメントの動き分布を算出する（ステップＳ９０２）。高混雑時抽出手段５１２は、複数のセグメントそれぞれの動きベクトルと当該セグメントの周囲のセグメントの動きベクトルとの差ベクトルの平均ベクトル（相対動きベクトル）を算出して、複数のセグメントそれぞれの重心と相対動きベクトルを対応付けた動き分布を算出する。なお、注目セグメントに隣接するセグメントを注目セグメントの周囲のセグメントとしてもよいし、注目セグメントの重心から予め定めた半径の円内に重心が含まれるセグメントを注目セグメントの周囲のセグメントとしてもよい。

動き分布を算出した画像処理部５は高混雑時検出手段５２２として動作し、記憶部４は検出基準記憶手段４０として動作する。

まず、高混雑時検出手段５２２は、検出基準記憶手段４０から高混雑時の検出基準を読み出す（ステップＳ９０３）。すなわち、高混雑時検出手段５２２は、高混雑領域の動き分布の正常パターンと閾値Ｔ_Ｈ１、閾値Ｔ_Ｈ２を読み出す。

次に、高混雑時検出手段５２２は、ステップＳ９０２で算出した分布を検出基準と比較して相違度を算出する（ステップＳ９０４）。高混雑時検出手段５２２は、ステップＳ９０２で算出した動き分布とその正常パターンの間で対応するセグメントの相対動きベクトルどうしの差ベクトルの大きさを閾値Ｔ_Ｈ１と比較して、差ベクトルの大きさが閾値Ｔ_Ｈ１以上であるセグメントの総面積Ｄ_Ｈ２を算出する。なお、注目セグメントの重心に最も近い重心を有するセグメントを注目セグメントに対応するセグメントとしてもよいし、注目セグメントの重心から予め定めた半径の円内に重心が含まれるセグメントを注目セグメントに対応するセグメントとしてもよい。

続いて、高混雑時検出手段５２２は、ステップＳ９０２で算出した分布が要注視行動の検出基準を満たすか否かを判定する（ステップＳ９０５）。高混雑時検出手段５２２は、総面積Ｄ_Ｈ２を閾値Ｔ_Ｈ２と比較し、Ｄ_Ｈ２≧Ｔ_Ｈ２である場合は検出基準を満たすと判定し、Ｄ_Ｈ２＜Ｔ_Ｈ２である場合は検出基準を満たさないと判定する。

Ｄ_Ｈ２≧Ｔ_Ｈ２である場合は、高混雑領域中に他の大勢の動きとは異なる動きが生じており、人の集団移動の中での逆行や滞留など、ひったくり後の逃走行動もしくはひったくり前の接近行動等が発生している可能性がある。

要注視行動の検出基準を満たす動き分布が検出された場合（ステップＳ９０５にてＹＥＳ）、高混雑時検出手段５２２は、当該動き分布についての要注視情報を生成する（ステップＳ９０６）。高混雑時検出手段５２２は、当該動き分布が満たした検出基準と対応する事象名「ひったくりなどの可能性あり」、抽出対象領域である高混雑領域において差ベクトルの大きさが閾値Ｔ_Ｈ１以上であったセグメントの重心座標を要注視情報として生成する。

他方、動き分布が検出基準を満たさない場合（ステップＳ９０５にてＮＯ）、ステップＳ９０６は省略される。

なお、以上では、高混雑時抽出手段５１２がセグメントの動き分布を物体グループにおける行動特徴量として算出し、特にセグメントの相対動きベクトルをセグメントの動き分布として算出する例を示したが、全セグメントの動き分布そのままをセグメントの動き分布として算出してもよい。または、動き分布に代えて、高混雑領域の全体形状、高混雑領域の全体形状の変化量を物体グループにおける行動特徴量とすることもできる。なお、複数の高混雑領域が検出された場合、動き分布は複数の高混雑領域にわたって算出することもでき、高混雑領域ごとに算出することもできる。他方、全体形状および全体形状の変化量は高混雑領域ごとに算出するのがよい。

こうして高混雑領域についての処理を終えた高混雑時検出手段５２２は、処理を図５のステップＳ１０へ進める。また、高混雑時検出手段５２２は、現時刻の処理結果を次時刻以降の処理のために記憶部４に記憶させておく。

再び図５を参照する。要注視行動検出手段５２は、図６のステップＳ５０８、図７のステップＳ７０８、図８のステップＳ９０６で要注視情報が生成されたか否かを確認し（ステップＳ１０）、１以上の要注視情報が生成された場合は（ステップＳ１０にてＹＥＳ）、それらの要注視情報を参照して、監視画像の要注視行動が検出された座標と対応する位置に枠などを重畳するとともに要注視行動の事象名を重畳して要注視情報を再生成し、再生成した要注視情報を通信部３に出力する（ステップＳ１１）。要注視情報を入力された通信部３は、要注視情報出力手段３１として動作し、当該要注視情報を報知部６に送信する。報知部６は要注視情報を受信して表示する。表示内容を見た監視員は対処の必要性を判断し、必要と判断すると対処員を急行させる。

以上の処理を終えると、画像処理部５は処理を再びステップＳ１に戻し、次の監視画像の処理を行う。

以上で述べたように、画像監視装置は、領域区分手段５０が監視画像を人の混雑度ごとの領域に区分し、行動特徴量抽出手段５１が混雑度が高い区分領域ほど規模の大きな物体グループを設定して監視画像から当該物体グループにおける人の行動特徴量を抽出するので、混雑度の変化、特に監視画像内で異なる混雑度が混在する変化があっても混雑度に適した単位で行動特徴量を抽出し、抽出した行動特徴量から要注視行動を適確に検出することが可能となる。よって、混雑が生じ得る空間において要注視行動を高精度に検出することが可能となり、監視員による監視効率が向上する。

また、画像監視装置においては、行動特徴量抽出手段５１は、高混雑領域においては当該高混雑領域を物体グループに設定して行動特徴量を抽出し、高混雑領域以外の区分領域においては当該区分領域の監視画像から個々の物体を検出して当該検出した物体のうち所定距離以下で近接する複数の物体からなる物体グループを設定して行動特徴量を抽出するので、オクルージョンや物体同士の接近が常時発生している高混雑領域においては、個々の物体の情報を用いることによる要注視行動の誤検出を防止しつつ、それ以外の区分領域では個々の物体の情報から行動特徴量を抽出して要注視行動を高精度に検出することが可能となり、監視員による監視効率が向上する。

また、画像監視装置においては、行動特徴量抽出手段５１は、中混雑領域においては当該中混雑領域にて設定した物体グループに属する複数の物体の位置の特徴量を行動特徴量として抽出し、低混雑領域においては当該低混雑領域にて検出された物体グループに属する物体の領域の特徴量を行動特徴量として抽出するので、低混雑領域と比べてオクルージョンや物体同士の接近が発生し易い中混雑領域にて物体領域の情報を用いることによる要注視行動の誤検出を防止しつつ、低混雑領域では物体領域の情報から行動特徴量を抽出して要注視行動を高精度に検出することが可能となり、監視員による監視効率が向上する。

＜変形例＞
（１）上記実施形態においては、混雑度を３段階で定義し、２．０人／ｍ^２および４．０人／ｍ^２をその境界とする例を示したが、段階数は採用する行動特徴量の種類や特性に合わせて２段階、４段階、…などと適宜に定義でき、またその境界も採用する行動特徴量の特性に合わせて適宜に定義できる。

（２）上記実施形態およびその変形例においては、行動特徴量抽出手段５１および要注視行動検出手段５２が低、中、高混雑領域の順に処理を実行する例を示したが、高、中、低混雑領域の順に処理を実行するなど、これらの順序を入れ替えて実行してもよいし、これらの処理を並列して実行してもよい。

（３）上記実施形態およびその変形例においては、特定種類の行動特徴量を用いて要注視行動を検出する画像監視装置の例を示したが、その変形例に係る画像監視装置においては、これらの行動特徴量のうちの複数種類の行動特徴量を抽出して各行動特徴量に対応する要注視行動を検出することもできる。

（４）上記実施形態およびその変形例においては、混雑度の段階と物体グループの規模とが１対１に対応する例を示したが、その一部にＮ対１（Ｎ＞１）の対応関係が混在してもよい。例えば、行動特徴量抽出手段５１は、低混雑領域および中混雑領域において所定距離以内に近接している人物位置が連鎖してなる物体グループを設定して当該物体グループにおける人物位置（物体位置）の特徴量を行動特徴量Ａとして抽出し（２対１の関係）、高混雑領域においては当該高混雑領域を物体グループに設定してその特徴量を行動特徴量Ｂとして抽出する（１対１の関係）ようにしてもよい。

（５）上記実施形態およびその変形例においては、領域区分手段５０が区分した領域のいずれもが要注視行動を検出する検出対象に定められた例を示したが、領域区分手段５０が区分した領域の一部を検出対象と定めない場合もある。例えば、領域区分手段５０が上記低混雑領域をさらに無人画像のクラスに属する領域と低密度画像のクラスに属する領域を区分し、前者は検出対象と定められず後者は検出対象と定められる場合がある。或いは、例えば、領域区分手段５０が上記高低混雑領域をさらに４．０人／ｍ^２より高く５．０人／ｍ^２以下の密度で人が写っていると推定される領域と５．０人／ｍ^２よりも高い密度で人が写っていると推定される領域に区分し、前者は検出対象と定められ後者は検出対象と定められずに区分された時点で報知の対象とする場合がある。これらの場合、行動特徴量抽出手段５１は、混雑度ごとの区分領域のうちの検出対象に定められた混雑度の区分領域について、混雑度が高いほど規模の大きな物体グループにおける人の行動特徴量を抽出する。

（６）上記実施形態およびその変形例においては、領域区分手段５０が多クラスＳＶＭ法にて学習した密度推定器を用いる例を示したが、領域区分手段５０はこれに代えて、決定木型のランダムフォレスト法、多クラスのアダブースト（AdaBoost）法または多クラスロジスティック回帰法などにて学習した密度推定器など種々の密度推定器を用いることができる。或いは多クラスに分類する密度推定器に代えて、特徴量から密度の値を回帰する回帰型の密度推定器とすることもできる。すなわち領域区分手段５０は、リッジ回帰法、サポートベクターリグレッション法または回帰木型のランダムフォレスト法などによって、特徴量から密度を求める回帰関数のパラメータを学習した回帰型の密度推定器を用いて各推定窓における密度を推定し、混雑度ごとに、当該混雑度と対応する密度が推定された推定窓をまとめることによって監視画像を当該混雑度の領域に区分する。

３１・・・要注視情報出力手段
５０・・・領域区分手段
５１０・・・低混雑時抽出手段
５１１・・・中混雑時抽出手段
５１２・・・高混雑時抽出手段
５２０・・・低混雑時検出手段
５２１・・・中混雑時検出手段
５２２・・・高混雑時検出手段
３１・・・要注視情報出力手段

Claims (3)

1. 人が存在する監視空間を撮影した監視画像から前記人の要注視行動を検出する画像監視装置であって、
   前記監視画像から前記監視空間における前記人の分布を推定して前記監視画像を前記人の混雑度ごとの領域に区分する領域区分手段と、
   前記領域区分手段が区分した区分領域ごとに前記監視画像の前記区分領域から少なくとも１以上の人を含む複数の物体からなる物体グループにおける前記人の行動特徴量を抽出する行動特徴量抽出手段と、
   前記行動特徴量抽出手段が抽出した前記行動特徴量が予め定めた基準を満たす場合に、前記物体グループに含まれる前記人の行動が要注視行動であると判定する要注視行動検出手段と、
   を備え、
   前記行動特徴量抽出手段は、前記混雑度ごとの前記区分領域のうちの前記要注視行動の検出対象に定められた混雑度の区分領域について、前記混雑度が高いほど規模の大きな前記物体グループを設定することを特徴とした画像監視装置。
2. 前記行動特徴量抽出手段は、
   前記領域区分手段が前記検出対象の混雑度のうちで最も高い高混雑度の領域に区分した高混雑領域においては当該高混雑領域を前記物体グループに設定し、
   前記高混雑領域以外の前記区分領域においては当該区分領域の前記監視画像から個々の物体を検出し、当該検出した物体のうち所定距離以下で近接する前記複数の物体からなる前記物体グループを設定する、
   請求項１に記載の画像監視装置。
3. 前記行動特徴量抽出手段は、
   前記領域区分手段が前記検出対象の混雑度のうちで最も低い低混雑度の領域に区分した低混雑領域においては当該低混雑領域にて検出された前記物体グループに属する物体の領域の特徴量を前記行動特徴量として抽出し、
   前記領域区分手段が前記高混雑領域以外且つ前記低混雑領域以外に区分した中混雑領域においては当該中混雑領域にて設定した前記物体グループに属する前記複数の物体の位置の特徴量を前記行動特徴量として抽出する、
   請求項２に記載の画像監視装置。

Images