JP2018173799A - 画像解析装置 - Google Patents

Abstract

【課題】混雑が生じ得る空間が撮影された撮影画像から隠蔽状態が軽度な物体の領域を抽出して当該物体についての情報を解析できる画像解析装置を提供する。【解決手段】画像解析装置は、密度推定器を用いて撮影画像に撮影されている物体の密度の分布を推定する密度推定手段５０と、単独の物体の全体が撮影された全体画像の特徴を学習した全体識別器を用いて撮影画像に物体の全体が撮影されている度合いを表す全体撮影度の分布を推定する全体撮影度推定手段５２と、軽度な隠蔽状態の物体が撮影されている軽度隠蔽領域を抽出するための抽出基準を軽度隠蔽領域の候補である候補領域ごとに当該候補領域の密度に応じて設定する抽出基準設定手段５１と、撮影画像から全体撮影度が抽出基準を満たす軽度隠蔽領域を抽出する軽度隠蔽領域抽出手段５３と、軽度隠蔽領域における撮影画像から単独の物体についての情報を解析する物体情報解析手段５４を備える。【選択図】図２

Description

本発明は、人等の所定の物体が存在し得る空間が撮影された撮影画像から物体についての情報を解析する画像解析装置に関し、特に、混雑が生じ得る空間が撮影された撮影画像から物体についての情報を解析する画像解析装置に関する。

イベント会場等の混雑が発生し得る空間においてはパニックの発生等を防止するために、異常な行動をとる不審者を早期に発見することが求められる。このような空間は広域であるため、会場の各所に監視カメラを配置し、撮影画像から監視員が注視すべき要注視行動を自動検出することによって監視効率を高めることが期待される。

要注視行動の検出は姿勢推定などの行動解析により行うことができる。その前段の処理として人の領域を抽出する必要があり、人の領域を抽出する方法の一つに、人の画像特徴を学習した識別器により画像を走査する方法がある。例えば、特許文献１に記載の物体検出装置は、多数の「人」の画像データ、「人以外」の画像データを用いて予め学習させた識別器を用いて入力画像から人を検出する。

混雑時の画像においては人同士の隠蔽が多発して個々の人の全容取得が困難となり、姿勢推定などの行動解析は困難化し易い。しかし、混雑時であっても、集団の端の人などの隠蔽状態が軽度な人について姿勢推定などの行動解析を行う余地がある。

特許文献１に記載の物体検出装置が用いる識別器は、人の全身の画像データを用いて学習したものであることが示唆されている。また、この物体検出装置においては、人同士のオクルージョンが発生している画像から人領域を検出し、その際に、第１抽出手段（人物判定手段３３）が第２抽出手段（オクルージョン判定手段３５）よりも厳しい第１の条件で、識別器が出力するスコアを評価することによって全身が撮影されている人の領域を検出することが記載されている。

特開２０１１−１８６６３３号公報

しかしながら、識別器が出力するスコアは、混雑の無いときに姿勢推定が容易な程度の軽度の隠蔽状態の人が撮影されている領域であっても当該人の姿勢変動等により低下する場合があり、その一方で、混雑時に姿勢推定が困難な程の隠蔽が生じている人が撮影されている領域であっても比較的高くなる場合もある。

そのため、例えば従来技術において、姿勢変動等によってスコアが低下した軽度の隠蔽状態の人の領域を抽出できるように第１の条件を緩和すると、姿勢推定が困難な程の隠蔽が生じている人の領域もが抽出されてしまう。

このように、識別器が出力するスコアは混雑状態や姿勢変動によって変化するため、画一的な基準では、軽度な隠蔽状態の人が撮影された領域を高精度に抽出して当該人の行動解析を行うことが困難であった。

本発明は上記問題に鑑みてなされたものであり、混雑が生じ得る空間が撮影された撮影画像から隠蔽状態が軽度な物体の領域を高精度に抽出して当該物体についての情報を解析できる画像解析装置を提供することを目的とする。

かかる課題を解決するため本発明は、所定の物体による混雑が生じ得る空間が撮影された撮影画像から物体についての情報を解析する画像解析装置であって、所定の密度ごとに当該密度にて物体が存在する空間を撮影した密度画像それぞれの特徴を学習した密度推定器を用いて、撮影画像に撮影されている物体の密度の分布を推定する密度推定手段と、単独の物体の全体が撮影された全体画像の特徴を学習した全体識別器を用いて、撮影画像に物体の全体が撮影されている度合いを表す全体撮影度の分布を推定する全体撮影度推定手段と、単独の物体についての所定の物体情報の解析に要する軽度な隠蔽状態の物体が撮影されている軽度隠蔽領域を抽出するための抽出基準を設定する抽出基準設定手段と、撮影画像から全体撮影度が抽出基準を満たす軽度隠蔽領域を抽出する軽度隠蔽領域抽出手段と、軽度隠蔽領域における撮影画像から単独の物体についての物体情報を解析する物体情報解析手段と、を備え、抽出基準設定手段は、軽度隠蔽領域の候補である候補領域ごとに当該候補領域の密度に応じて抽出基準を変更することを特徴とする画像解析装置を提供する。

かかる画像解析装置において、抽出基準設定手段は、撮影画像において、密度が低い候補領域ほど軽度隠蔽領域が抽出されやすい抽出基準を設定し、密度が高い候補領域ほど軽度隠蔽領域が抽出されにくい抽出基準を設定することが好適である。

また、抽出基準設定手段は、密度に応じた高さの抽出閾値を設定し、軽度隠蔽領域抽出手段は、撮影画像から少なくとも全体撮影度が抽出閾値以上である軽度隠蔽領域を抽出することが好適である。

また、軽度隠蔽領域抽出手段は、撮影画像の局所領域ごとに当該局所領域における全体撮影度の尖鋭度が高いほど当該局所領域における全体撮影度を強調する補正を施し、補正後の全体撮影度が抽出基準を満たす軽度隠蔽領域を抽出することが好適である。

また、物体情報解析手段は、軽度隠蔽領域以外の密度が少なくとも０よりも大きな領域の撮影画像から物体の集団の情報を解析することが好適である。

また、かかる課題を解決するため本発明は、所定の物体による混雑が生じ得る空間が撮影された撮影画像から物体についての情報を解析する画像解析装置であって、単独の物体の全体が撮影された全体画像の特徴を学習した全体識別器を用いて、撮影画像に物体の全体が撮影されている度合いを表す全体撮影度の分布を推定する全体撮影度推定手段と、単独の物体についての所定の物体情報の解析に要する軽度な隠蔽状態の物体が撮影されている軽度隠蔽領域を抽出するための抽出基準を設定する抽出基準設定手段と、撮影画像から全体撮影度が抽出基準を満たす軽度隠蔽領域を抽出する軽度隠蔽領域抽出手段と、軽度隠蔽領域における撮影画像から単独の物体についての物体情報を解析する物体情報解析手段と、を備え、軽度隠蔽領域抽出手段は、撮影画像の局所領域ごとに当該局所領域における全体撮影度の尖鋭度が高いほど当該局所領域における全体撮影度を強調する補正を施し、補正後の全体撮影度が抽出基準を満たす軽度隠蔽領域を抽出することを特徴とする画像解析装置を提供する。

本発明によれば、混雑が生じ得る空間が撮影された撮影画像から隠蔽状態が軽度な物体の領域を高精度に特定して当該物体についての情報を解析することが可能となる。

画像監視装置１の概略の構成を示すブロック図である。 画像監視装置１の機能を示す機能ブロック図である。 画像監視装置１の動作を説明するフローチャートである。 画像監視装置１の動作を説明するフローチャートである。 画像監視装置１の動作を説明するフローチャートである。 撮影画像６００の一例を模式的に示した図である。 撮影画像６００を全体識別器で走査して得られた全体撮影度分布の断面の一例を模式的に示した図である。 撮影画像６００を密度推定器で走査して得られた密度分布の断面の一例を模式的に示した図である。 補正済み全体撮影度と抽出閾値の断面の一例をそれぞれ模式的に示した図である。

以下、本発明の実施形態として、イベント会場が撮影された撮影画像から人の行動を解析する画像解析装置の例を含み、解析した行動の中から要注視行動を検出し、要注視行動の情報を監視員に対して表示する画像監視装置１の例を説明する。

＜画像監視装置１の構成＞
図１は画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は、撮影部２、通信部３、記憶部４、画像処理部５、および表示部６からなる。

撮影部２は、監視カメラであり、通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して撮影画像を生成し、撮影画像を順次画像処理部５に入力する撮影手段である。例えば、撮影部２は、イベント会場に設置されたポールに当該監視空間を俯瞰する視野を有して設置される。その視野は固定されていてもよいし、予めのスケジュール或いは通信部３を介した外部からの指示に従って変更されてもよい。また、例えば、撮影部２は監視空間をフレーム周期１秒で撮影してカラー画像を生成する。カラー画像の代わりにモノクロ画像を生成してもよい。

通信部３は、通信回路であり、その一端が画像処理部５に接続され、他端が同軸ケーブルまたはＬＡＮ（Local Area Network）、インターネットなどの通信網を介して撮影部２および表示部６と接続される。通信部３は、撮影部２から撮影画像を取得して画像処理部５に入力し、画像処理部５から入力された要注視行動の情報を表示部６に出力する。

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は、画像処理部５と接続されて画像処理部５との間でこれらの情報を入出力する。

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は、記憶部４および表示部６と接続され、記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、各種データを記憶部４に記憶させ、読み出す。また、画像処理部５は、通信部３を介して撮影部２および表示部６とも接続され、通信部３経由で撮影部２から取得した撮影画像を解析することにより要注視行動を検出し、検出した要注視行動の情報を通信部３経由で表示部６に表示させる。

表示部６は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、通信部３を介して画像処理部５と接続され、画像処理部５による検出結果を表示する表示手段である。監視員は表示された要注視行動の情報を視認して対処の必要性等を判断し、必要に応じて警備員を急行させる等の対処を行う。

なお、本実施形態においては、撮影部２と画像処理部５の個数が１対１である画像監視装置１を例示するが、別の実施形態においては、撮影部２と画像処理部５の個数を多対１或いは多対多とすることもできる。

＜画像監視装置１の機能＞
図２は画像監視装置１の機能を示す機能ブロック図である。通信部３は画像取得手段３０および要注視情報出力手段３１等として機能し、記憶部４は密度推定器記憶手段４０および全体識別器記憶手段４１等として機能する。画像処理部５は、密度推定手段５０、抽出基準設定手段５１、全体撮影度推定手段５２、軽度隠蔽領域抽出手段５３および物体情報解析手段５４等として機能する。

画像取得手段３０は、撮影手段である撮影部２から撮影画像を順次取得して、取得した撮影画像を密度推定手段５０、全体撮影度推定手段５２および物体情報解析手段５４に順次出力する。

密度推定器記憶手段４０は、所定の密度ごとに当該密度にて物体（人）が存在する空間を撮影した密度画像それぞれの画像特徴を学習した推定密度算出関数であって、画像の特徴量を入力されると当該画像に撮影されている物体の密度の推定値（推定密度）を算出し、算出した推定密度を出力する推定器（密度推定器）の情報を予め記憶している。つまり上記推定密度算出関数の係数等のパラメータを密度推定器の情報として予め記憶している。

密度推定手段５０は、画像取得手段３０から入力された撮影画像の各所から密度推定用の特徴量（推定用特徴量）を抽出するとともに密度推定器記憶手段４０から密度推定器を読み出して、抽出した推定用特徴量のそれぞれを密度推定器に入力することによって推定密度の分布（密度分布）を推定し、推定した密度分布を抽出基準設定手段５１および軽度隠蔽領域抽出手段５３に出力する。

密度推定器と密度推定の処理について具体的に説明する。

密度推定器は多クラスの画像を識別する識別器で実現することができ、多クラスＳＶＭ（Support Vector Machine）法で学習した識別関数とすることができる。

密度は、例えば、人が存在しない「背景」クラス、０人／ｍ^２より高く２人／ｍ^２以下である「低密度」クラス、２人／ｍ^２より高く４人／ｍ^２以下である「中密度」クラス、４人／ｍ^２より高い「高密度」クラスの４クラスと定義することができる。

推定密度は各クラスに予め付与された値であり、分布推定の結果として出力される値である。本実施形態では各クラスに対応する値を「背景」「低密度」「中密度」「高密度」と表記する。

すなわち、密度推定器は「背景」クラス、「低密度」クラス、「中密度」クラス、「高密度」クラスのそれぞれに帰属する多数の画像（密度画像）の特徴量に多クラスＳＶＭ法を適用して学習した、各クラスの画像を他のクラスと識別するための識別関数である。この学習により導出された識別関数のパラメータが密度推定器として記憶されている。なお密度画像の特徴量はＧＬＣＭ（Gray Level Co-occurrence Matrix）特徴である。

密度推定手段５０は、撮影画像の各画素の位置に窓（推定用抽出窓）を設定し、各推定用抽出窓における撮影画像から推定用特徴量を抽出する。推定用抽出窓は、密度推定器の学習に用いた密度画像と同形・同大の窓である。また推定用特徴量は密度推定器が学習した特徴量と同種でありＧＬＣＭ特徴である。

各推定用抽出窓に撮影されている監視空間内の領域は同一サイズであることが望ましい。すなわち、好適には密度推定手段５０は不図示のカメラパラメータ記憶手段から予め記憶されている撮影部２のカメラパラメータを読み出し、カメラパラメータを用いたホモグラフィ変換により撮影画像の任意の画素に撮影されている監視空間内の領域が同一サイズとなるように撮影画像を変形してから推定用特徴量を抽出する。

密度推定手段５０は、各画素に対応して抽出した推定用特徴量のそれぞれを密度推定器に入力することによってその出力値である推定密度を取得する。なお、撮影画像を変形させて推定用特徴量を抽出した場合、密度推定手段５０は、カメラパラメータを用いたホモグラフィ変換により密度分布を元の撮影画像の形状に変形させる。

こうして得られる、撮影画像の画素ごとの推定密度の集まりが密度分布である。基本的には、密度分布において推定密度が低い画素を基準に設定された推定用抽出窓ほど、撮影画像内の対応する領域において人同士による重度の隠蔽が発生している可能性が低い。すなわち推定密度が低い画素を基準に設定された推定用抽出窓内ほど真の軽度隠蔽領域を抽出できる可能性が高い。逆に、推定密度が高い画素を基準に設定された推定用抽出窓ほど、撮影画像内の対応する領域において人同士による重度の隠蔽が発生している可能性が高い。すなわち推定密度が高い画素を基準に設定された推定用抽出窓内ほど真の軽度隠蔽領域を抽出できる可能性が低い。

抽出基準設定手段５１は、単独の物体についての所定の物体情報の解析に要する軽度な隠蔽状態の物体が撮影されている軽度隠蔽領域を抽出するための抽出基準を設定し、設定した抽出基準を軽度隠蔽領域抽出手段５３に出力する。
その際に、抽出基準設定手段５１は、密度推定手段５０から入力された密度分布を参照し、軽度隠蔽領域の候補である候補領域ごとに当該候補領域の密度に応じて抽出基準を変更する。

ただし、本実施形態の画像解析装置が解析する単独の物体についての物体情報は、単独の人の行動であり、さらに詳細には単独の人の姿勢である。また、本実施形態の画像解析装置が姿勢の解析に要する軽度な隠蔽状態はほぼ隠蔽の無い状態であり、画像解析装置はほぼ全身が撮影されている人の像から当該人の姿勢を解析する。すなわち、軽度隠蔽領域は、撮影画像において人のほぼ全身が撮影されていると推定される領域である。また、本実施形態において、全体撮影度は、撮影画像に人の全身が撮影されている度合いを推定した値であり、全体撮影度推定手段５２によって撮影画像の画素ごとに算出される。なお、全体撮影度の算出点となる各画素は、軽度隠蔽領域の候補領域として当該画素を基準に設定される窓（後述する識別用抽出窓）の代表点を意味する。

抽出基準のひとつは、全体撮影度との比較に用いて当該全体撮影度が算出された候補領域を軽度隠蔽領域として抽出するか否かを判定するための抽出閾値であり、抽出基準設定手段５１は、撮影画像において、密度が低い候補領域ほど軽度隠蔽領域が抽出されやすい抽出基準を設定し、密度が高い候補領域ほど軽度隠蔽領域が抽出されにくい抽出基準を設定する。
すなわち、抽出基準設定手段５１は、撮影画像において、密度に応じた高さの抽出閾値を、次式に従って設定する。
Ｔ_Ｅ（ｉ）＝Ｔ_ＭＩＮ＋α×Ｄ（ｉ） （１）
ただし、Ｔ_Ｅ（ｉ）は代表点が画素ｉである候補領域の抽出閾値、Ｔ_ＭＩＮは下限閾値、αは係数、Ｄ（ｉ）は画素ｉにおける密度である。密度Ｄ（ｉ）は画素ｉにおける推定密度の代表値であり、低密度クラスの推定密度の代表値を１人／ｍ^２、中密度クラスの推定密度の代表値を３人／ｍ^２、高密度クラスの推定密度の代表値を６人／ｍ^２などとすることができる。下限閾値Ｔ_ＭＩＮは、事前の実験を通じて０以上の値に予め定められ、例えば０である。また係数αは事前の実験を通じて予め定められた正の値である。
または、α×Ｄ（ｉ）の代わりに予め定めた単調増加関数ｆ（Ｄ（ｉ））を用いてもよいし、式（１）の代わりに密度と抽出閾値の関係をテーブル化して定めておいてもよい。
このように密度が低い候補領域ほど低く密度が高い候補領域ほど高い抽出閾値が設定される。

抽出基準のもうひとつは、互いに近接する候補領域を一つの物体による候補領域として統合する際の、近接の基準を定める統合閾値である。抽出基準設定手段５１は、撮影画像において、密度が低い候補領域ほど広い範囲の候補領域と統合され、密度が高い候補領域ほど狭い範囲の候補領域と統合されるような統合閾値を設定することによって、統合し損ねおよび過剰な統合を防止する。
具体的には、抽出基準設定手段５１は、統合が候補領域間の重複割合に基づいて行われる場合は、統合閾値を密度が低い候補領域ほど小さく、密度が高い候補領域ほど大きく設定する。統合が候補領域間の距離に基づいて行われる場合は、抽出基準設定手段５１は、統合閾値を密度が低い候補領域ほど大きく、密度が高い候補領域ほど小さく設定する。

抽出基準設定手段５１は、このようにして設定した撮影画像の各画素における抽出基準を軽度隠蔽領域抽出手段５３に出力する。

全体識別器記憶手段４１は、単独の物体の全体が撮影された画像（全体画像）の特徴を学習した識別器であり、画像の特徴量を入力されると当該画像が全体画像であることの尤もらしさを表すスコア（全体撮影度）を算出して出力する識別器（全体識別器）の情報、つまり全体撮影度算出関数の係数等のパラメータを予め記憶している。

全体撮影度推定手段５２は、画像取得手段３０から入力された撮影画像の各所から全体識別用の特徴量（識別用特徴量）を抽出するとともに全体識別器記憶手段４１から全体識別器を読み出して、抽出した識別用特徴量のそれぞれを全体識別器に入力することによって、撮影画像に物体の全体が撮影されている度合いを表す全体撮影度の分布（全体撮影度分布）を推定し、推定した全体撮影度分布を軽度隠蔽領域抽出手段５３に出力する。

全体識別器と全体撮影度の推定処理について具体的に説明する。

全体識別器は、それぞれに単独の人の全身が撮影された多数の全体画像、およびそれぞれに人以外しか写っていない多数の無人画像からなる学習用画像の特徴量に線形ＳＶＭ（Support Vector Machine）法を適用して求めた重みベクトルとして記憶されている。この重みベクトルは特徴量の各要素に対する重みであり、入力された特徴量と重みベクトルとの内積がスコアとなる。学習用画像の特徴量はＨＯＧ（Histograms of Oriented Gradients）特徴量である。

全体撮影度推定手段５２は、撮影画像の各画素の位置に特徴量を抽出するための窓（識別用抽出窓）を設定し、各識別用抽出窓における撮影画像から識別用特徴量を算出することによって、画素ごとに識別用特徴量を抽出する。識別用抽出窓の大きさは全体識別器の学習に用いた学習用画像と同じサイズに設定される。なお、窓の代表位置は人の頭部中心とし、全体撮影度推定手段５２は、識別用抽出窓において予め定められた頭部中心に当たる位置を各画素の位置に合わせて識別用抽出窓を設定する。識別用抽出窓は、全体識別器の学習に用いた全体画像の形状を有し、予め定めた複数の倍率で拡大・縮小した大きさの窓である。また識別用特徴量は全体識別器が学習した特徴量と同種でありＨＯＧ特徴量である。
そして、全体撮影度推定手段５２は、画素ごとに当該画素に対応して抽出した識別用特徴量を全体識別器に入力することによってその出力値であるスコアを取得する。

こうして得られる、撮影画像の画素ごとのスコアの集まりが全体撮影度分布である。基本的には、全体撮影度分布においてスコアが高い画素を基準に設定された識別用抽出窓ほど人の全身の像が撮影されている可能性が高い。すなわち全体撮影度が高い画素を基準に設定された候補領域ほど軽度隠蔽領域である可能性が高い。逆に、全体撮影度が低い画素を基準に設定された候補領域ほど軽度隠蔽領域である可能性が低い。

軽度隠蔽領域抽出手段５３は、抽出基準設定手段５１から入力された抽出基準および全体撮影度推定手段５２から入力された全体撮影度分布を参照し、撮影画像において全体撮影度が抽出基準を満たす軽度隠蔽領域を抽出し、抽出した軽度隠蔽領域の情報を物体情報解析手段５４に出力する。

そのために、軽度隠蔽領域抽出手段５３は、撮影画像の画素ごとに、当該画素の位置を基準に当該画素の抽出基準に含まれる識別用抽出窓を候補領域として設定するとともに当該画素の抽出基準に含まれる抽出閾値を参照し、スコアと抽出閾値を比較してスコアが抽出閾値以上である候補領域を特定する。
そして、軽度隠蔽領域抽出手段５３は、特定した候補領域のうち互いに近接する複数の候補領域を一つに統合し、統合した候補領域を軽度隠蔽領域と決定する。統合するか否かの判定は候補領域に対応する画素の抽出基準に含まれる統合閾値を用いて行う。

この統合処理は、実際に人が撮影されている位置に加えてその近傍においても同一人物に対して高いスコアが算出されることに対処するために行う。具体的には、例えば、軽度隠蔽領域抽出手段５３は、抽出閾値以上のスコアが算出された候補領域をスコアが高い順に順次注目領域に設定するとともに注目領域よりスコアが低い候補領域を比較領域に設定する。
そして、軽度隠蔽領域抽出手段５３は、比較領域のうち当該比較領域と注目領域との重複割合が当該注目領域の統合閾値より大きい比較領域の情報を削除することで複数の候補領域を一つに統合する。
なお、重複割合の代わりに距離を用いる場合は、軽度隠蔽領域抽出手段５３は、比較領域のうち当該比較領域と注目領域との距離が当該注目領域の統合閾値より小さい比較領域の情報を削除することで複数の候補領域を一つに統合する。

ここで、全体識別器が出力するスコアには、隠蔽が少ない候補領域ほど空間的に尖鋭な形状（ピーク形状）が現れる性質がある。そこで、軽度隠蔽領域抽出手段５３は、撮影画像の局所領域ごとに全体撮影度の尖鋭度を算出し、尖鋭度が高い局所領域ほど当該局所領域における全体撮影度を強調する補正を施し、各候補領域における補正後の全体撮影度を抽出基準と比較する。これによって、真の軽度隠蔽領域である候補領域の全体撮影度と偽の軽度隠蔽領域である候補領域の全体撮影度との差を広げ、軽度隠蔽領域の抽出精度を向上させる。

具体的には、軽度隠蔽領域抽出手段５３は、撮影画像の各画素に局所領域を設定し、各局所領域のスコアに所定のピーク強調フィルタを施すことによって空間的に尖鋭度の高い全体撮影度を強調する。局所領域の大きさは全体撮影度を算出する全体識別器の特質に依存するため、採用する全体識別器を用いた事前の実験を通じて予め適宜に定めておく。
なお、低いピークをより確実に除外するために、軽度隠蔽領域抽出手段５３は、全体撮影度が予め定めた足切り閾値より低い局所領域にはピーク強調フィルタを施さずに、上述した下限閾値Ｔ_ＭＩＮよりも低い値を設定するのが好適である。

例えば、ピーク強調フィルタは、局所領域内のスコアの最大値から、当該局所領域の中心領域を除いた領域におけるスコアの最大値を減算するフィルタとすることができる。
または、ピーク強調フィルタを、ＤｏＧ（Difference-of-Gaussian）フィルタ、ＬｏＧ（Laplacian of Gaussian）フィルタ、ブロブ（Blob）フィルタなど種々の公知のフィルタとしてもよい。

物体情報解析手段５４は、画像取得手段３０から入力された撮影画像から物体についての情報を解析する。また、物体情報解析手段５４は、解析結果を予め定められた要注視基準と比較し、要注視基準を満たす解析結果を要注視情報として要注視情報出力手段３１に出力する。

その際、物体情報解析手段５４は、軽度隠蔽領域抽出手段５３から入力された軽度隠蔽領域については、軽度隠蔽領域における撮影画像から単独の物体についての所定の物体情報を解析する。上述したように本実施形態においては単独の物体についての物体情報は、単独の人の行動であり、さらに詳細には単独の人の姿勢である。また、本実施形態においては、単独の物体についての要注視基準は、人が転倒、座り込み、暴行などの要注視行動をとった場合の各姿勢に対応する人の各部位の位置を表す参照値、および要注視行動か否かを判定するための判定閾値Ｔ_Ｐである。

具体的には、物体情報解析手段５４は、軽度隠蔽領域それぞれにおける撮影画像を所定の姿勢推定器に入力し、その出力値として、当該軽度隠蔽領域に撮影されている人の頭部、腕、脚などの部位の位置の推定値を取得する。姿勢推定器は、例えば、予め各部位の位置情報を付加した人物画像を用いて学習した、画像から部位の位置を推定するＣＮＮ（Convolutional Neural Networks）とすることができる。
また、物体情報解析手段５４は、軽度隠蔽領域ごとの推定値と要注視行動の各姿勢に対応する参照値との相違度を算出して各相違度を判定閾値Ｔ_Ｐと比較する。
また、物体情報解析手段５４は、相違度が判定閾値Ｔ_Ｐ以下である軽度隠蔽領域が抽出された場合に、当該軽度隠蔽領域に撮影されている人の行動が要注視行動であると判定して、撮影画像、当該軽度隠蔽領域および当該軽度隠蔽領域における人の姿勢の推定値等を含めた要注視情報を要注視情報出力手段３１に出力する。

また、物体情報解析手段５４は、密度推定手段５０から入力された密度分布も参照し、軽度隠蔽領域以外の、密度が少なくとも０よりも大きな領域の撮影画像から物体の集団の情報を解析する。

本実施形態においては、物体の集団の情報は、人の集団の行動であり、さらに詳細には人の集団の動きである。具体的には、物体情報解析手段５４は、推定密度が中密度以上（すなわち中密度または高密度）である混雑領域における撮影画像をオプティカルフロー分析して、混雑領域全体の移動方向の頻度分布（全体方向分布）および混雑領域に含まれる局所領域ごとの移動方向の頻度分布（局所方向分布）を算出する。
また、本実施形態においては、物体の集団の情報についての要注視基準は、集団の中の少数の人が逆行などの要注視行動をとった場合の、局所方向分布と全体方向分布の間の距離が要注視行動を表すか否かを判定するための判定閾値Ｔ_Ｍである。具体的には、物体情報解析手段５４は、局所方向分布のそれぞれと全体方向分布との間の距離を算出して各距離を判定閾値Ｔ_Ｍと比較する。
そして、物体情報解析手段５４は、距離が判定閾値Ｔ_Ｍ以上である局所領域が検出された場合に、混雑領域に撮影されている集団において要注視行動が発生しているとして、撮影画像、検出された局所領域の局所方向分布および全体方向分布等を含めた要注視情報を要注視情報出力手段３１に出力する。

要注視情報出力手段３１は物体情報解析手段５４から入力された要注視情報を表示部６に出力し、表示部６は物体情報解析手段５４から入力された要注視情報を表示する。例えば、要注視情報は、インターネット経由で送受信され、表示部６に表示される。監視員は、表示された情報を視認することによって対処の必要性を判断し、必要に応じて警備員を派遣するなどの対処を行う。

＜画像監視装置１の動作＞
図３〜図５のフローチャートを参照して画像監視装置１の動作を説明する。

画像監視装置１が動作を開始すると、イベント会場に設置されている撮影部２は所定時間おきに監視空間を撮影して撮影画像を順次画像処理部５が設置されている画像解析センター宛に送信する。画像処理部５は撮影画像を受信するたびに図３〜図５のフローチャートに従った動作を繰り返す。

まず、通信部３は画像取得手段３０として動作し、撮影部２からの撮影画像の受信待ち状態となる。撮影画像を取得した画像取得手段３０は当該撮影画像を画像処理部５に出力する（ステップＳ１）。

撮影画像を入力された画像処理部５は密度推定手段５０として動作し、撮影画像の画素ごとに推定用特徴量を算出し、記憶部４の密度推定器記憶手段４０から密度推定器を読み出して各推定用特徴量を密度推定器に入力することにより画素ごとの推定密度を取得して密度分布を推定する（ステップＳ２）。

密度推定手段５０は、密度分布に背景クラス以外の推定密度が含まれているか否かを確認する（ステップＳ３）。背景クラスのみの場合は（ステップＳ３にてＮＯ）、密度推定手段５０は人が撮影されていないとして処理をステップＳ１に戻す。

他方、背景クラス以外の推定密度が含まれている場合は（ステップＳ３にてＹＥＳ）、画像処理部５は抽出基準設定手段５１および物体情報解析手段５４としても動作し、密度推定手段５０から抽出基準設定手段５１および物体情報解析手段５４に密度分布が入力され、密度分布が入力された各手段はこれを保持する。

続いて、画像処理部５は全体撮影度推定手段５２として動作し、撮影画像の画素ごとに識別用特徴量を算出し、記憶部４の全体識別器記憶手段４１から全体識別器を読み出して各識別用特徴量を全体識別器に入力することにより画素ごとのスコア（全体撮影度）を取得して全体撮影度分布を推定する（ステップＳ４）。

続いて、全体撮影度推定手段５２は、全体撮影度分布の画素ごとに局所領域を設定して当該局所領域の全体撮影度にピーク強調フィルタを施すことによって、全体撮影度分布を補正する（ステップＳ５）。画像処理部５は軽度隠蔽領域抽出手段５３としても動作し、全体撮影度推定手段５２から軽度隠蔽領域抽出手段５３に全体撮影度分布を入力して、軽度隠蔽領域抽出手段５３はこれを保持する。

続いて、抽出基準設定手段５１は抽出基準を設定する（ステップＳ６）。抽出基準設定手段５１は、密度分布を参照し、画素ごとに当該画素の推定密度に応じた抽出閾値および統合閾値を設定し、これら画素ごとの抽出基準を軽度隠蔽領域抽出手段５３に入力する。

続いて、軽度隠蔽領域抽出手段５３は撮影画像から軽度隠蔽領域を抽出する（ステップＳ７）。軽度隠蔽領域抽出手段５３は、画素ごとに識別用抽出窓を設定して軽度隠蔽領域の候補領域とし、各画素に対応してステップＳ４，Ｓ５で算出された全体撮影度を当該画素に対応してステップＳ６で設定された抽出閾値と比較し、全体撮影度が抽出閾値以上である画素に設定した候補領域を選出する。そして、軽度隠蔽領域抽出手段５３は、選出した候補領域のうちの当該各候補領域を設定した画素に対応してステップＳ６で設定された統合閾値が表す範囲よりも近接している候補領域どうしをひとつにまとめる統合処理を行い、統合処理を経て残った候補領域を軽度隠蔽領域として抽出する。
軽度隠蔽領域抽出手段５３は、抽出結果を物体情報解析手段５４に入力する。

物体情報解析手段５４は、入力された抽出結果を確認し（ステップＳ８）、一つ以上の軽度隠蔽領域が抽出された場合は（ステップＳ８にてＹＥＳ）、当該各軽度隠蔽領域の撮影画像を用いて単独の人についての行動解析を行う（ステップＳ９）。例えば、物体情報解析手段５４は、各軽度隠蔽領域の撮影画像から当該領域に撮影されている人の姿勢を推定する。

各軽度隠蔽領域の行動解析を行った物体情報解析手段５４は、当該各解析結果を予め定めた要注視基準と比較する（ステップＳ１０）。例えば、物体情報解析手段５４は、各軽度隠蔽領域の撮影画像から推定した姿勢を、転倒、座り込み、暴行の各姿勢を表す参照値と比較して相違度を算出し、各相違度を判定閾値Ｔ_Ｐと比較する。

そして、物体情報解析手段５４は、相違度が判定閾値Ｔ_Ｐ以下である軽度隠蔽領域が検出された場合は（ステップＳ１１にてＹＥＳ）、要注視基準を満たす要注視行動が検出されたとして、撮影画像と当該軽度隠蔽領域と該当する参照値が表す姿勢とを含めた要注視情報を生成して記憶部４に記憶させる（ステップＳ１２）。

なお、物体情報解析手段５４は、軽度隠蔽領域が抽出されなかった場合は（ステップＳ８にてＮＯ）、ステップＳ９〜Ｓ１２の処理を省略し、軽度隠蔽領域が抽出されたが軽度隠蔽領域から要注視行動が検出されなかった場合は（ステップＳ１１にてＮＯ）、ステップＳ１２の処理を省略する。

続いて、物体情報解析手段５４は、密度分布に推定密度が中密度および高密度のいずれかである混雑領域が含まれているか否かを確認し（ステップＳ１３）、含まれている場合は（ステップＳ１３にてＹＥＳ）、推定密度が中密度および高密度である画素からなる領域から軽度隠蔽領域を除外した混雑領域を生成し、生成した混雑領域の撮影画像を用いて人の集団についての行動解析を行う（ステップＳ１４）。例えば、物体情報解析手段５４は、混雑領域の撮影画像をオプティカルフロー分析して混雑領域の全体的な移動方向の頻度分布および混雑領域に含まれる局所領域ごとの移動方向の頻度分布を算出する。

各混雑領域の行動解析を行った物体情報解析手段５４は、当該各解析結果を予め定めた要注視基準と比較する（ステップＳ１５）。例えば、物体情報解析手段５４は、混雑領域に含まれる局所領域ごとの移動方向の頻度分布と混雑領域の全体的な移動方向の頻度分布との距離を算出し、各距離を判定閾値Ｔ_Ｍと比較する。

そして、物体情報解析手段５４は、相違度が判定閾値Ｔ_Ｍ以下である局所領域が検出された場合は（ステップＳ１６にてＹＥＳ）、要注視基準を満たす要注視行動が検出されたとして、撮影画像と当該局所領域とその移動方向の頻度分布と混雑領域の全体的な移動方向の頻度分布とを含めた要注視情報を生成して記憶部４に記憶させる（ステップＳ１７）。

なお、物体情報解析手段５４は、混雑領域がなかった場合は（ステップＳ１３にてＮＯ）、ステップＳ１４〜Ｓ１７の処理を省略し、混雑領域はあったが混雑領域から要注視行動が検出されなかった場合は（ステップＳ１６にてＮＯ）、ステップＳ１７の処理を省略する。

ここまでの処理を終えた物体情報解析手段５４は、記憶部４を参照して要注視情報の有無を確認し（ステップＳ１８）、要注視情報が記憶されている場合は（ステップＳ１８にてＹＥＳ）、当該要注視情報を通信部３に出力する（ステップＳ１９）。要注視情報が入力された通信部３は要注視情報出力手段３１として動作し、当該要注視情報を表示部６に送信する。

以上の処理を終えると処理はステップＳ１に戻され、次の撮影画像に対する処理が行われる。

＜処理例＞
図６〜図９を参照して、軽度隠蔽領域を抽出する処理の例を説明する。

図６は、撮影画像６００の一例を模式的に示した図である。撮影画像６００の左半分の領域６０１には単独の人が２人撮影されており、右半分の領域６０２には１１人の集団が撮影されている。

図７は、図６の撮影画像６００を全体識別器で走査して得られた全体撮影度分布の一部であり、撮影画像６００の断面ａｂにおける全体撮影度を模式的に例示したグラフ７００である。グラフ７００中の全体撮影度７１１、７１２、７１３、７１４、７１５はそれぞれ撮影画像６００中の×印で示した画素の位置６１１、６１２、６１３、６１４、６１５に候補領域（識別用抽出窓）を設定して得られた全体撮影度を示している。なお候補領域は人の頭部中心を基準に設定されるものとする。

図８は、図６の撮影画像６００を密度推定器で走査して得られた密度分布の一部であり、撮影画像６００の断面ａｂにおける推定密度を模式的に例示したグラフ８００である。グラフ８００中の推定密度８１１、８１２、８１３、８１４、８１５はそれぞれ撮影画像６００の画素の位置６１１、６１２、６１３、６１４、６１５に推定用抽出窓を設定して得られた推定密度を示している。

図９は、図７の全体撮影度分布にピーク強調フィルタを施して補正した全体撮影度分布（補正済み全体撮影度）、および図６の密度分布を基に設定した抽出閾値の一部であり、撮影画像６００の断面ａｂにおける補正済み全体撮影度を実線で、同断面ａｂにおける抽出閾値を点線で、それぞれ模式的に例示したグラフ９００である。グラフ９００中の補正済み全体撮影度９１１、９１２、９１３、９１４、９１５はそれぞれ撮影画像６００の画素の位置６１１、６１２、６１３、６１４、６１５に候補領域を設定して得られた補正済み全体撮影度を示している。

上述したように本実施形態において候補領域は人の頭部中心を基準に設定されるものとしており、頭部中心からずれた位置６１５に設定した候補領域は軽度隠蔽領域として抽出されるべきではない。当該位置６１５の補正済み全体撮影度９１５は抽出閾値を下回るため軽度隠蔽領域として誤抽出されず、正しい抽出結果となっている。

単独の人の全身が撮影されており、その頭部中心の位置６１１を基準に設定した候補領域は軽度隠蔽領域として抽出されるべき候補領域である。当該位置６１１については補正前から全体撮影度７１１はピーク形状を為しており値も十分に高い。
位置６１１の密度が低密度であることに応じて低く設定した抽出閾値によって当該位置６１１の候補領域はより確実に正しく軽度隠蔽領域として抽出され、さらにはピーク形状を強調して補正済み全体撮影度９１１を抽出閾値と比較することによってさらに確実に正しく軽度隠蔽領域として抽出されるようになる。

単独の人の全身が撮影されており、その頭部中心の位置６１２を基準に設定した候補領域もまた軽度隠蔽領域として抽出されるべき候補領域である。当該位置６１２の補正前の全体撮影度７１２はピーク形状を為しているものの、大きな姿勢変動が原因でその値は全体撮影度７１５よりも低くなっている。仮に全体撮影度７１２を抽出できるように閾値を設定してしまうと、軽度隠蔽領域として抽出されるべきではない位置６１５の候補領域も抽出されてしまう。
しかし、位置６１２の密度が低密度であることに応じて低く設定した抽出閾値によって当該位置６１２の候補領域は正しく軽度隠蔽領域として抽出されるようになり、さらにはピーク形状を強調して補正済み全体撮影度９１２を抽出閾値と比較することによってさらに確実に正しく軽度隠蔽領域として抽出されるようになる。

集団の中の中度隠蔽状態の人が撮影されており、その頭部中心の位置６１３を基準に設定した候補領域は軽度隠蔽領域として抽出されるべきではない候補領域である。当該位置６１３の補正前の全体撮影度７１３はピーク形状は為していないものの、姿勢変動により低下した全体撮影度７１２よりも高くなっている。仮に全体撮影度７１２を抽出できるように閾値を設定してしまうと、軽度隠蔽領域として抽出されるべきではない当該位置６１３の候補領域も誤抽出されてしまう。
しかし、位置６１３の密度が中密度であることに応じて高く設定した抽出閾値によって当該位置６１３の候補領域は誤抽出されなくなる、さらには補正済み全体撮影度９１３もピーク強調フィルタによって過剰に高い値となることはなく誤抽出されない。

集団の中にあって軽度隠蔽状態の人が撮影されており、その頭部中心の位置６１４を基準に設定した候補領域は軽度隠蔽領域として抽出されるべき候補領域である。当該位置６１４の補正前の全体撮影度７１４はピーク形状を為しており値も十分に高い。
位置６１４の密度が高密度であることに応じて高く設定した抽出閾値によっても当該位置６１４の候補領域は正しく軽度隠蔽領域として抽出され、さらにはピーク形状を強調して補正済み全体撮影度９１４もピーク強調フィルタによって抽出閾値と比較することによってさらに確実に正しく軽度隠蔽領域として抽出されるようになる。

＜変形例＞
（１）上記実施形態においては、解析対象の物体を人とする例を示したが、これに限らず、解析対象の物体を車両、牛や羊等の動物等とすることもできる。

（２）上記実施形態およびその変形例においては、単独の物体について解析する物体情報を姿勢に基づく行動とし、物体情報解析手段５４が姿勢推定に基づいて行動を解析する例を示したが、これに限らない。例えば、動きに基づく行動としてもよいし、個人特徴または個体特徴に基づく外見とし物体情報解析手段５４が個人照合、個体照合または属性推定を行うこともできる。また、物体情報解析手段５４が集団の物体について解析する情報を動きに基づく行動とする例を示したが、物体数など動き以外の情報を解析することもできる。

（３）上記実施形態およびその各変形例においては、多クラスＳＶＭ法にて学習した密度推定器を例示したが、多クラスＳＶＭ法に代えて、決定木型のランダムフォレスト法、多クラスのアダブースト（AdaBoost）法または多クラスロジスティック回帰法などにて学習した密度推定器など種々の密度推定器とすることができる。
或いは識別型のＣＮＮを用いた密度推定器とすることもできる。

（４）上記実施形態およびその各変形例においては、密度推定器が推定する背景以外の密度のクラスを３クラスとしたが、より細かくクラスを分けてもよい。

（５）上記実施形態およびその各変形例においては、多クラスに分類する密度推定器を例示したがこれに代えて、特徴量から密度の値（推定密度）を回帰する回帰型の密度推定器とすることもできる。すなわち、リッジ回帰法、サポートベクターリグレッション法、回帰木型のランダムフォレスト法またはガウス過程回帰（Gaussian Process Regression）などによって、特徴量から推定密度を求めるための回帰関数のパラメータを学習した密度推定器とすることができる。或いは回帰型のＣＮＮを用いた密度推定器とすることもできる。なお、これらの場合、上述した密度Ｄ（ｉ）は連続値となる。

（６）上記実施形態およびその各変形例においては、密度推定器が学習する特徴量および推定用特徴量としてＧＬＣＭ特徴を例示したが、これらはＧＬＣＭ特徴に代えて、局所二値パターン（Local Binary Pattern：ＬＢＰ）特徴量、ハールライク（Haar-like）特徴量、ＨＯＧ特徴量、輝度パターンなどの種々の特徴量とすることができ、またはＧＬＣＭ特徴とこれらのうちの複数を組み合わせた特徴量とすることもできる。

（７）上記実施形態およびその各変形例においては、密度推定手段５０、抽出基準設定手段５１および全体撮影度推定手段５２が１画素間隔で走査して処理を行う例を示したが、これらの走査を２画素以上の間隔を空けて行うことも可能である。ただし、画素間隔は推定用抽出窓および識別用抽出窓の大きさを超えない範囲とすることが好適である。

（８）上記実施形態およびその各変形例においては、密度推定手段５０、抽出基準設定手段５１および全体撮影度推定手段５２が撮影画像の全体に候補領域を設定する例を示したが、撮影画像内の限定した領域に設定することもできる。
すなわち、例えば、抽出基準設定手段５１および全体撮影度推定手段５２のそれぞれは、推定密度が背景クラス以外（低密度クラス、中密度クラスおよび高密度クラス）の領域に限定して候補領域を設定してもよい。
または、密度推定手段５０、抽出基準設定手段５１および全体撮影度推定手段５２のそれぞれは、変化領域内に限定して候補領域を設定してもよい。その場合、記憶部４は監視空間の背景画像を記憶する背景画像記憶手段（不図示）を備え、画像処理部５は、撮影画像と背景画像との差分処理を行って差分値が所定の差分閾値以上である画素の集まりを変化領域として抽出する、または撮影画像と背景画像との相関処理を行って相関値が所定の相関閾値以下である画素の集まりを変化領域として抽出する変化領域抽出手段（不図示）を備え、密度推定手段５０、抽出基準設定手段５１および全体撮影度推定手段５２のそれぞれは、変化領域抽出手段が抽出した変化領域を参照して候補領域を設定する。なお、変化領域を用いる場合、撮影部２の視野は固定することが好適である。
このような候補領域を設定する領域の限定によって、背景に対する高いスコアの偶発的な算出を防止でき、軽度隠蔽領域の誤抽出を低減できる。

（９）上記実施形態およびその各変形例においては、抽出基準設定手段５１が１画素の推定密度から候補領域の密度を定める例を示したが、複数の画素の推定密度から候補領域の密度を定めることもできる。例えば、抽出基準設定手段５１は候補領域設定の基準として注目している画素の８近傍領域または１６近傍領域などの領域において背景クラスを除く最多の推定密度を当該候補領域の密度とすることもできる。このように周辺画素の推定密度を加味して候補領域の密度を定めることによって、抽出基準をより安定して設定することができる。

（１０）上記実施形態およびその各変形例においては、線形ＳＶＭ法により学習された全体識別器を例示したが、線形ＳＶＭ法に代えてアダブースト法など、従来知られた各種の学習法を用いて学習した全体識別器とすることもできる。また、全体識別器としてパターンマッチング器を用いることもでき、その場合のスコアは人の学習用画像から抽出した特徴量の平均パターンと撮影画像の特徴量との内積などとなり、全体撮影度算出関数は当該スコアを出力値とし撮影画像の特徴量を入力値とする関数とすることができる。また全体識別器として識別型のＣＮＮを用いても良い。

（１１）上記実施形態およびその各変形例においては、全体識別器が学習する特徴量および識別用特徴量としてＨＯＧ特徴量を例示したが、これらはＨＯＧ特徴量に代えて、局所二値パターン特徴量、ハールライク特徴量、輝度パターンなどの種々の特徴量とすることができ、またはＨＯＧ特徴量とこれらのうちの複数を組み合わせた特徴量とすることもできる。

以上の実施形態およびその各変形例に係る画像解析装置によれば、候補領域ごとの密度に応じた抽出基準を用いて軽度隠蔽領域を抽出するので、混雑状態や姿勢変動によって全体識別器が推定する全体撮影度が変動しても高精度に軽度隠蔽領域を抽出でき、単独の物体についての物体情報をより確実に解析することが可能となる。

また、以上の実施形態およびその各変形例に係る画像解析装置によれば、その尖鋭度の高さに応じて強調した全体撮影度を用いて軽度隠蔽領域を抽出するので、混雑状態や姿勢変動によって全体識別器が推定する全体撮影度が変動しても高精度に軽度隠蔽領域を抽出でき、単独の物体についての物体情報をより確実に解析することが可能となる。

３０・・・画像取得手段
３１・・・要注視情報出力手段
４０・・・密度推定器記憶手段
４１・・・全体識別器記憶手段
５０・・・密度推定手段
５１・・・抽出基準設定手段
５２・・・全体撮影度推定手段
５３・・・軽度隠蔽領域抽出手段
５４・・・物体情報解析手段

Claims (6)

1. 所定の物体による混雑が生じ得る空間が撮影された撮影画像から前記物体についての情報を解析する画像解析装置であって、
   所定の密度ごとに当該密度にて前記物体が存在する空間を撮影した密度画像それぞれの特徴を学習した密度推定器を用いて、前記撮影画像に撮影されている前記物体の前記密度の分布を推定する密度推定手段と、
   単独の前記物体の全体が撮影された全体画像の特徴を学習した全体識別器を用いて、前記撮影画像に前記物体の全体が撮影されている度合いを表す全体撮影度の分布を推定する全体撮影度推定手段と、
   単独の前記物体についての所定の物体情報の解析に要する軽度な隠蔽状態の前記物体が撮影されている軽度隠蔽領域を抽出するための抽出基準を設定する抽出基準設定手段と、
   前記撮影画像から前記全体撮影度が前記抽出基準を満たす前記軽度隠蔽領域を抽出する軽度隠蔽領域抽出手段と、
   前記軽度隠蔽領域における前記撮影画像から単独の前記物体についての前記物体情報を解析する物体情報解析手段と、
   を備え、
   前記抽出基準設定手段は、前記軽度隠蔽領域の候補である候補領域ごとに当該候補領域の前記密度に応じて前記抽出基準を変更することを特徴とする画像解析装置。
2. 前記抽出基準設定手段は、前記撮影画像において、前記密度が低い前記候補領域ほど前記軽度隠蔽領域が抽出されやすい前記抽出基準を設定し、前記密度が高い前記候補領域ほど前記軽度隠蔽領域が抽出されにくい前記抽出基準を設定する、請求項１に記載の画像解析装置。
3. 前記抽出基準設定手段は、前記密度に応じた高さの抽出閾値を設定し、
   前記軽度隠蔽領域抽出手段は、前記撮影画像から少なくとも前記全体撮影度が前記抽出閾値以上である前記軽度隠蔽領域を抽出する、
   請求項２に記載の画像解析装置。
4. 前記軽度隠蔽領域抽出手段は、前記撮影画像の局所領域ごとに当該局所領域における前記全体撮影度の尖鋭度が高いほど当該局所領域における前記全体撮影度を強調する補正を施し、前記補正後の全体撮影度が前記抽出基準を満たす前記軽度隠蔽領域を抽出する、請求項１〜３に記載の画像解析装置。
5. 前記物体情報解析手段は、前記軽度隠蔽領域以外の前記密度が少なくとも０よりも大きな領域の前記撮影画像から前記物体の集団の情報を解析する、請求項１〜４に記載の画像解析装置。
6. 所定の物体による混雑が生じ得る空間が撮影された撮影画像から前記物体についての情報を解析する画像解析装置であって、
   単独の前記物体の全体が撮影された全体画像の特徴を学習した全体識別器を用いて、前記撮影画像に前記物体の全体が撮影されている度合いを表す全体撮影度の分布を推定する全体撮影度推定手段と、
   単独の前記物体についての所定の物体情報の解析に要する軽度な隠蔽状態の物体が撮影されている軽度隠蔽領域を抽出するための抽出基準を設定する抽出基準設定手段と、
   前記撮影画像から前記全体撮影度が前記抽出基準を満たす前記軽度隠蔽領域を抽出する軽度隠蔽領域抽出手段と、
   前記軽度隠蔽領域における前記撮影画像から単独の前記物体についての前記物体情報を解析する物体情報解析手段と、
   を備え、
   前記軽度隠蔽領域抽出手段は、前記撮影画像の局所領域ごとに当該局所領域における前記全体撮影度の尖鋭度が高いほど当該局所領域における前記全体撮影度を強調する補正を施し、前記補正後の全体撮影度が前記抽出基準を満たす前記軽度隠蔽領域を抽出することを特徴とする画像解析装置。
   
   
   

Images