JP2018142039A - 分布推定装置 - Google Patents

Abstract

【課題】雑然とした外乱物体が存在していても、対象物体の分布を精度良く推定できる分布推定装置を提供する。【解決手段】分布推定装置は、少なくとも単独の所定物体が撮影された単体画像の特徴量を学習した単体識別器を記憶している単体識別器記憶手段４０と、所定の密度ごとに所定物体が存在する空間を撮影した密度画像の特徴量を単体識別器に入力して得られた出力値を密度画像の特徴量に混合した特徴量を学習した密度推定器を記憶している密度推定器記憶手段４１と、撮影画像から単体識別用の特徴量を抽出して単体識別器に入力し、入力に応じた出力値を取得する単体識別手段５０と、撮影画像から密度推定用の特徴量を抽出して当該特徴量に単体識別手段が取得した出力値を混合し、当該混合した特徴量を密度推定器に入力して取得される出力値を用いて所定物体の密度を推定する密度推定手段５１とを備える。【選択図】図２

Description

本発明は、人等の所定の物体が存在し得る空間が撮影された撮影画像から物体の分布を推定する分布推定装置に関する。

イベント会場等の混雑が発生し得る空間においては事故防止等のために、混雑が発生している区域に警備員を多く配置するなどの対応が求められる。そこで、会場の各所に監視カメラを配置して撮影画像から混雑状況を推定し、混雑状況を表示することによって監視効率向上が期待できる。

従来、人の混雑時の画像の特徴を予め学習した密度推定器で監視画像をスキャンすることにより監視画像に写った人の分布を推定することが行われている。

例えば、非特許文献１には、人の密度レベルを４段階で定義し（free flow、restricted flow、dense flow、jammed flow）、密度レベルごとの画像を用いて学習した識別器で画像をスキャンすることによって、当該画像のブロックごとに人の密度を推定することが記載されている。

Z. Wang, H. Liu, Y. Qian and T. Xu, "Crowd Density Estimation Based on Local Binary Pattern Co-Occurrence Matrix, " 2012 IEEE International Conference on Multimedia and Expo Workshops, Melbourne, VIC, 2012, pp. 372-377.

しかしながら、混雑時の人の集まりの像の雑然とした特徴を重視して学習した密度推定器は、生い茂った木のような雑然とした像に対しても人の混雑と推定してしまう問題があった。

本発明は上記問題に鑑みてなされたものであり、撮影された空間に分布の推定対象である対象物体以外の雑然とした外乱物体が存在していても、対象物体の分布を精度良く推定できる分布推定装置を提供することを目的とする。

かかる課題を解決するため本発明は、所定物体が存在し得る空間が撮影された撮影画像から空間における所定物体の分布を推定する分布推定装置であって、予め、少なくとも単独の所定物体が撮影された単体画像の特徴量を学習した単体識別器を記憶している単体識別器記憶手段と、予め、所定の密度ごとに密度にて所定物体が存在する空間を撮影した密度画像の特徴量を単体識別器に入力して得られた出力値を密度画像の特徴量に混合した特徴量を学習した密度推定器を記憶している密度推定器記憶手段と、撮影画像から単体識別用の特徴量を抽出して単体識別器に入力し、入力に応じた出力値を取得する単体識別手段と、撮影画像から密度推定用の特徴量を抽出して特徴量に単体識別手段が取得した出力値を混合し、混合した特徴量を密度推定器に入力して取得される出力値を用いて所定物体の密度を推定する密度推定手段と、を備えたことを特徴とする分布推定装置を提供する。

かかる分布推定装置において、単体識別器記憶手段は、予め、単体画像の特徴量を密度推定器に入力して得られた出力値を単体画像の特徴量に混合した特徴量を学習した単体識別器を記憶し、単体識別手段は、密度推定手段が取得した出力値を単体識別用の特徴量に混合し、混合した特徴量を単体識別器に入力して出力値を更新し、密度推定手段は、単体識別手段が出力値を更新した場合に、単体識別手段が更新した出力値を用いて密度推定器の出力値および所定物体の密度を更新することが好適である。

かかる分布推定装置において、さらに、密度推定手段による更新が予め定めた基準を満たすか否かを判定して、基準を満たすと判定した場合に密度推定手段による更新を停止させる終了判定手段、を備え、単体識別手段は、終了判定手段が基準を満たさないと判定した場合に、密度推定手段が更新した密度推定器の出力値を用いて単体識別器の出力値を更新することが好適である。

本発明によれば、撮影された空間に分布の推定対象である対象物体以外の雑然とした外乱物体が存在していても、対象物体の分布を精度良く推定することが可能となる。

本発明にかかる分布推定装置を適用した画像監視装置１の概略の構成を示すブロック図である。 画像監視装置１の機能ブロック図である。 画像監視装置１の動作を示すメインフロー図である。 推定スコア混合処理について説明するフロー図である。 撮影画像を模式的に例示した図である。 撮影画像を従前の密度推定器で走査して密度推定を行った結果を模式的に示した図である。 単体識別器で走査して識別スコアを算出した結果を模式的に示した図である。 撮影画像に本発明を適用した結果模式的に示した図である。

以下、本発明の実施形態として、人が存在し得る空間が撮影された撮影画像を解析することによって、その空間における人の分布を推定する分布推定装置の例を含み、分布画像等の推定結果を監視員に対して表示する画像監視装置の例を説明する。すなわち本実施形態では推定対象とする対象物体を人、特に立位の人とする例を説明するが、本発明は、立位の人に限らず、人の上半身などの人体の一部を対象物体としてもよいし、車両などの人以外の物体を対象物体としてもよい。

図１は画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は、撮影部２、通信部３、記憶部４、画像処理部５、および表示部６からなる。

撮影部２は、監視カメラであり、通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して撮影画像を生成し、撮影画像を順次画像処理部５に入力する撮影手段である。例えば、撮影部２は、イベント会場に設置されたポールに当該監視空間を俯瞰する視野を有して設置される。その視野は固定されていてもよいし、予めのスケジュール或いは通信部３を介した外部からの指示に従って変更されてもよい。また、例えば、撮影部２は監視空間をフレーム周期１秒で撮影してカラー画像を生成する。カラー画像の代わりにモノクロ画像を生成してもよい。

通信部３は、通信回路であり、その一端が画像処理部５に接続され、他端が同軸ケーブルまたはＬＡＮ（Local Area Network）、インターネットなどの通信網を介して撮影部２および表示部６と接続される。通信部３は、撮影部２から撮影画像を取得して画像処理部５に入力し、画像処理部５から入力された推定結果を表示部６に出力する。

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は、画像処理部５と接続されて画像処理部５との間でこれらの情報を入出力する。

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は、記憶部４および表示部６と接続され、記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、各種データを記憶部４に記憶させ、読み出す。また、画像処理部５は、通信部３を介して撮影部２および表示部６とも接続され、通信部３経由で撮影部２から取得した撮影画像を解析することにより監視空間における人の分布を推定し、推定結果を通信部３経由で表示部６に表示させる。

表示部６は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、通信部３を介して画像処理部５と接続され、画像処理部５による推定結果を表示する表示手段である。監視員は表示された推定結果を視認して混雑の発生等を判断し、必要に応じて人員配置の変更等の対処を行う。

なお、本実施形態においては、撮影部２と画像処理部５の個数が１対１である画像監視装置１を例示するが、別の実施形態においては、撮影部２と画像処理部５の個数を多対１或いは多対多とすることもできる。

図２は画像監視装置１の機能ブロック図である。通信部３は画像取得手段３０および分布出力手段３１等として機能し、記憶部４は単体識別器記憶手段４０および密度推定器記憶手段４１等として機能する。画像処理部５は、単体識別手段５０、密度推定手段５１および終了判定手段５２等として機能する。また、単体識別手段５０は識別用特徴抽出手段５００、推定スコア混合手段５０１および識別スコア算出手段５０２としての機能を含み、密度推定手段５１は推定用特徴抽出手段５１０、識別スコア混合手段５１１および推定スコア算出手段５１２としての機能を含む。

以下、図２を参照して各手段について説明する。
画像取得手段３０は、撮影手段である撮影部２から撮影画像を順次取得して、取得した撮影画像を単体識別手段５０および密度推定手段５１に順次出力する。

単体識別手段５０は、画像取得手段３０から入力された撮影画像から単体識別用の特徴量（識別用特徴量）を抽出して、抽出した識別用特徴量を単体識別器に入力し、当該入力に応じた単体識別器の出力値を取得し、取得した出力値を密度推定手段５１および終了判定手段５２に出力する。単体識別器については後述する。

密度推定手段５１は、画像取得手段３０から入力された撮影画像から密度推定用の特徴量（推定用特徴量）を抽出して、抽出した推定用特徴量に単体識別手段５０が取得した出力値を混合し、混合した特徴量（推定用混合特徴量）を密度推定器に入力して取得される出力値を用いて人の密度を推定する。密度推定器については後述する。

つまり、密度推定手段５１は、単に撮影画像から抽出しただけの推定用特徴量から密度を推定するのではなく、自身が処理対象とする撮影画像について単体識別手段５０が単体識別器から取得した出力値をも推定に用いて推定精度を向上させるのである。

さらに、密度推定手段５１は密度推定器に入力して取得した出力値を単体識別手段５０および終了判定手段５２に出力し、単体識別手段５０は、密度推定手段５１が取得した出力値を識別用特徴量に混合し、混合した特徴量（識別用混合特徴量）を単体識別器に入力して新たな出力値を取得する。つまり単体識別手段５０は識別用混合特徴量を単体識別器に入力することによって出力値を更新する。密度推定手段５１は、単体識別手段５０が出力値を更新した場合に、単体識別手段５０が更新した出力値を用いて密度推定器の出力値および人の密度の推定結果を更新する。

つまり、単体識別手段５０も、単に撮影画像から抽出しただけの推定用特徴量から識別するのではなく、自身が処理対象とする撮影画像について密度推定手段５１が密度推定器から取得した出力値をも識別に用いて識別精度を向上させる。そして、密度推定手段５１は、単体識別器の出力値が更新されると、再びその更新値を用いることによって推定精度を向上させるのである。

このように、単体識別手段５０と密度推定手段５１は、自身が取得した値を相手に出力し、相手が取得した値を用いて自身が取得する値を更新する反復処理を行う。

終了判定手段５２は、単体識別手段５０と密度推定手段５１が行う反復処理の終了を制御する手段である。終了判定手段５２は、密度推定手段５１による更新が予め定めた基準を満たすか否かを判定して、基準を満たすと判定した場合に密度推定手段５１による更新を停止させて、その時点の画素ごとの推定密度に応じた分布画像を分布出力手段３１に出力する。

具体的には、終了判定手段５２は、密度推定手段５１から入力された密度推定器の出力値が収束したか否かを判定し、および反復回数が予め定めた上限回数に達したか否かを判定し、密度推定器の出力値が収束したと判定した場合または反復回数が上限回数に達したと判定した場合に反復処理を停止させる。ここで、密度推定器の出力値の変化量が小さくなっても単体識別器の出力値の変化量が未だ大きければ密度推定器の出力値の改善が生じ得る。このように変化量の一時的な減少を収束と誤判定をしないよう、終了判定手段５２は、単体識別手段５０から入力された単体識別器の出力値をも参照し、密度推定器の出力値が収束したと判定し且つ単体識別器の出力値が収束したと判定した場合に密度推定手段５１による更新を停止させる。

以下、単体識別手段５０が参照する単体識別器記憶手段４０、および単体識別手段５０が具備する識別用特徴抽出手段５００、推定スコア混合手段５０１および識別スコア算出手段５０２について説明する。

単体識別器記憶手段４０は、画像の特徴量を入力されると当該画像が単独の人が撮影されている画像（単体画像）であることの尤もらしさを表すスコア（識別スコア）を算出して出力する識別器（単体識別器）の情報、つまりスコア算出関数の係数等のパラメータを予め記憶している。

単体識別器記憶手段４０が記憶している単体識別器は２つであり、その内訳は、反復処理の１回目で用いるための初回用単体識別器と、反復処理の２回目以降で用いるための反復用単体識別器である。

初回用単体識別器は単体画像の特徴量を学習した識別器である。反復用単体識別器は、単体画像の特徴量に、後述する密度推定器の出力値である推定密度および推定スコアのうちの少なくともひとつを混合した特徴量を学習した識別器である。反復用単体識別器の学習に用いる推定密度や推定スコアは、単体識別器の学習に用いた単体画像を密度推定器に入力して得られた出力値である。

例えば、初回用単体識別器は、多数の単独画像とそれぞれが人以外しか写っていない多数の無人画像からなる学習用画像の特徴量に線形ＳＶＭ（Support Vector Machine：サポートベクターマシーン）法を適用して求めた重みベクトルとして記憶されている。また、反復用単体識別器は、上記学習用画像の特徴量に、上記学習用画像を密度推定器に入力して得られた出力値を混合した特徴量に線形ＳＶＭ法を適用して求めた重みベクトルとして記憶される。これらの重みベクトルは特徴量の各要素に対する重みであり、入力された特徴量と重みベクトルとの内積が識別スコアとなる。いずれも学習用画像の特徴量はＨＯＧ（Histograms of Oriented Gradients）特徴量である。

このように、単体識別器記憶手段４０は、予め、単独の所定物体が撮影された単体画像の特徴量を学習した初回用単体識別器と、単体画像の特徴量を密度推定器に入力して得られた出力値を単体画像の特徴量に混合した特徴量を学習した反復用単体識別器を記憶している。

識別用特徴抽出手段５００は、撮影画像から単体識別器用の特徴量（識別用特徴量）を抽出して推定スコア混合手段５０１に出力する。識別用特徴量は単体識別器が学習した特徴量と同種でありＨＯＧ特徴量である。

識別用特徴抽出手段５００は、識別用特徴量の抽出を窓（識別用抽出窓）ごとに行い、撮影画像の各画素の位置に識別用抽出窓を設定して識別用特徴量の抽出を行う。また、識別用抽出窓の大きさは単体識別器の学習に用いた学習用画像と同じサイズに設定される。

すなわち、識別用特徴抽出手段５００は、撮影画像の各画素の位置に識別用抽出窓を設定し、各識別用抽出窓における撮影画像の識別用特徴量を算出することによって、画素ごとに識別用特徴量を抽出する。

推定スコア混合手段５０１は、識別用特徴抽出手段５００から識別用特徴量を入力されるとともに、密度推定手段５１から推定スコアを入力され、識別用特徴量に推定スコアを混合して新たな特徴量（識別用混合特徴量）を生成し、生成した識別用混合特徴量を識別スコア算出手段５０２に出力する。

混合は各画素について推定用抽出窓を考慮して行われる。すなわち、推定スコア混合手段５０１は、各画素について、当該画素について抽出された識別用特徴量に、当該画素に対応する推定用抽出窓内の各画素について算出された推定スコアを混合して新たな識別用混合特徴量を生成する。

後述するように推定スコアは撮影画像の画素ごとに算出され、画像データとして扱うことができる。以降、撮影画像の画素ごとに当該画素について算出された推定スコアが並んだデータを推定スコアマップと称する。密度推定手段５１からの推定スコアは推定スコアマップの形式で入力される。なお、後述するように各推定スコアは４つのスコアからなる。

また、各識別用抽出窓から抽出された識別用特徴量への推定スコアの混合は、ベクトルである当該識別用特徴量と当該識別用抽出窓内の推定スコアを並べたベクトルを連結することで行われる。

すなわち、推定スコア混合手段５０１は、各画素について、推定スコアマップから当該画素に対応する識別用抽出窓内の推定スコアを切り出して、切り出した推定スコアと当該画素について抽出された識別用特徴量とを連結して識別用混合特徴量を生成する。

なお、反復処理の初回は推定スコアマップに値が設定されていない状態となるため、推定スコア混合手段５０１は混合を省略し、識別用混合特徴量として識別用特徴量をそのまま出力する。

識別スコア算出手段５０２は、単体識別器記憶手段４０から単体識別器を読み出し、画素ごとに、当該画素に対応して推定スコア混合手段５０１から入力された識別用混合特徴量を単体識別器に入力することによってその出力値である識別スコアを取得し、取得した識別スコアを終了判定手段５２および識別スコア混合手段５１１に出力する。

上述したように、単体識別器には初回用単体識別器と反復用単体識別器がある。反復の初回に推定スコア混合手段５０１から入力される識別用混合特徴量は混合を省略したものであるため、識別スコア算出手段５０２は、反復の初回は混合を省略した形式の特徴量を学習した初回用単体識別器に識別用混合特徴量を入力して識別スコアを取得する。一方、識別スコア算出手段５０２は、反復の２回目以降は反復用単体識別器に識別用混合特徴量を入力して識別スコアを取得する。

識別スコアも推定スコアと同様、画像データとして扱うことができる。以降、撮影画像の画素ごとに当該画素について算出された識別スコアが並んだデータを識別スコアマップと称する。識別スコア算出手段５０２は識別スコアを識別スコアマップの形式で出力する。

以下、密度推定手段５１が参照する密度推定器記憶手段４１、および密度推定手段５１が具備する推定用特徴抽出手段５１０、識別スコア混合手段５１１および推定スコア算出手段５１２について説明する。

密度推定器記憶手段４１は、画像の特徴量を入力されると当該画像に撮影されている人の密度の推定値（推定密度）、さらには推定密度の尤もらしさを表す推定スコアを算出して出力する推定器（密度推定器）の情報、つまり推定スコア算出関数の係数等のパラメータを予め記憶している。

密度推定器は多クラスの画像を識別する識別器で実現することができ、多クラスＳＶＭ法で学習した識別器とすることができる。

密度は、例えば、人が存在しない「背景」クラス、０人／ｍ^２より高く２人／ｍ^２以下である「低密度」クラス、２人／ｍ^２より高く４人／ｍ^２以下である「中密度」クラス、は４人／ｍ^２より高い「高密度」クラスの４クラスと定義することができる。

推定密度は各クラスに予め付与された値であり、分布推定の結果として出力される値である。本実施形態では各クラスに対応する値を「背景」「低密度」「中密度」「高密度」と表記する。

従前のものに倣えば密度推定器は「背景」クラス、「低密度」クラス、「中密度」クラス、「高密度」クラスのそれぞれに帰属する多数の画像（密度画像）の特徴量を学習したものとなるのだが、密度推定器記憶手段４１が記憶している密度推定器は、密度画像の特徴量に、密度画像の特徴量を単体識別器に入力して得られる識別スコアを混合した特徴量を学習したものである。この学習により導出された推定スコア算出関数等のパラメータが密度推定器として記憶されている。密度画像の特徴量はＨＯＧ特徴量である。

このように密度推定器記憶手段４１は、予め、所定の密度ごとに当該密度にて所定物体が存在する空間を撮影した密度画像の特徴量を単体識別器に入力して得られた出力値を当該密度画像の特徴量に混合した特徴量を学習した密度推定器を記憶している。

また、推定スコアは、密度推定器が入力された特徴量に対する推定の過程で算出する、当該特徴量が抽出された画像の「背景」クラスと他のクラスのうちの「背景」クラスであることの尤もらしさを表すスコア、「低密度」クラスと他のクラスのうちの「低密度」クラスであることの尤もらしさを表すスコア、「中密度」クラスと他のクラスのうちの「中密度」クラスであることの尤もらしさを表すスコア、「高密度」クラスと他のクラスのうちの「高密度」クラスであることの尤もらしさを表すスコアのそれぞれを、１／（１＋ｅｘｐ（−スコア））に変換し、変換後の全スコアの合計値で割ることで、スコアの合計が１になるようにした４種類のスコアである。本実施形態では、反復用単体識別器の学習および識別の際にこれら４種類のスコアからなる推定スコアを混合する。

推定用特徴抽出手段５１０は、撮影画像から密度推定器用の特徴量（推定用特徴量）を抽出して識別スコア混合手段５１１に出力する。推定用特徴量は密度推定器が学習した特徴量と同種でありＨＯＧ特徴量である。

推定用特徴抽出手段５１０は、推定用特徴量の抽出を窓（推定用抽出窓）ごとに行い、撮影画像の各画素の位置に推定用抽出窓を設定して推定用特徴量の抽出を行う。また、推定用抽出窓の大きさは密度推定器の学習に用いた学習用画像と同じサイズに設定される。

すなわち、推定用特徴抽出手段５１０は、撮影画像の各画素の位置に推定用抽出窓を設定し、各推定用抽出窓における撮影画像の推定用特徴量を算出することによって、画素ごとに推定用特徴量を抽出する。

識別スコア混合手段５１１は、推定用特徴抽出手段５１０から推定用特徴量を入力されるとともに、識別スコア算出手段５０２から識別スコアを入力され、推定用特徴量に識別スコアを混合して新たな特徴量（推定用混合特徴量）を生成し、生成した推定用混合特徴量を推定スコア算出手段５１２に出力する。

混合は各画素について識別用抽出窓を考慮して行われる。すなわち、推定スコア混合手段５０１は、各画素について、当該画素について抽出された推定用特徴量に、当該画素に対応する識別用抽出窓内の各画素について算出された識別スコアを混合して新たな推定用混合特徴量を生成する。

識別スコアは識別スコアマップの形式で入力され、各推定用抽出窓から抽出された推定用特徴量への識別スコアの混合は、ベクトルである当該推定用特徴量と当該推定用抽出窓内の識別スコアを並べたベクトルを連結することで行われる。

すなわち、識別スコア混合手段５１１は、各画素について、識別スコアマップから当該画素に対応する推定用抽出窓内の識別スコアを切り出して、切り出した識別スコアと当該画素について抽出された推定用特徴量とを連結して推定用混合特徴量を生成する。

推定スコア算出手段５１２は、密度推定器記憶手段４１から密度推定器を読み出し、画素ごとに、当該画素に対応して識別スコア混合手段５１１から入力された推定用混合特徴量のそれぞれを密度推定器に入力することによってその出力値である推定密度および推定スコアを取得し、取得した推定密度および推定スコアを終了判定手段５２に出力し、推定スコアを推定スコア混合手段５０１に出力する。

具体的には、推定スコアは上述したように各クラスに対応して得られる４つのスコアであり、推定密度は４つのスコアのうちの最も高いスコアと対応するクラスに付与された値（「背景」、「低密度」、「中密度」、「高密度」のいずれか）である。

なお、上述したように、推定スコア算出手段５１２は識別スコアを識別スコアマップの形式で出力する。

分布出力手段３１は終了判定手段５２から入力された分布画像を表示部６に順次出力し、表示部６は分布出力手段３１から入力された分布画像を表示する。例えば、分布画像は、インターネット経由で送受信され、表示部６に表示される。分布画像においては「背景」、「低密度」、「中密度」、「高密度」が色分けされている。監視員は、表示された分布画像を視認することによって監視空間に混雑が発生している地点を把握し、当該地点に警備員を派遣し或いは増員するなどの対処を行う。

図３および図４のフローチャートを参照して画像監視装置１の動作を説明する。
画像監視装置１が動作を開始すると、イベント会場に設置されている撮影部２は所定時間おきに監視空間を撮影して撮影画像を順次画像処理部５が設置されている画像解析センター宛に送信する。画像処理部５は撮影画像を受信するたびに図３のフローチャートに従った動作を繰り返す。

まず、通信部３は画像取得手段３０として動作し、撮影部２からの撮影画像の受信待ち状態となる。撮影画像を取得した画像取得手段３０は当該撮影画像を画像処理部５に出力する（ステップＳ１０）。

撮影画像を入力された画像処理部５は単体識別手段５０の識別用特徴抽出手段５００として動作し、撮影画像の画素ごとに識別用特徴量を算出する（ステップＳ２０）。画像処理部５は単体識別手段５０の推定スコア混合手段５０１として動作し、算出された識別用特徴量を保持する。

続いて、画像処理部５は密度推定手段５１の推定用特徴抽出手段５０１として動作し、撮影画像の画素ごとに推定用特徴量を算出する（ステップＳ３０）。画像処理部５は密度推定手段５１の識別スコア混合手段５１１として動作し、算出された推定用特徴量を保持する。

続いて、画像処理部５は終了判定手段５２として動作し、反復回数をカウントする変数Ｃを用意して０に初期化し（ステップＳ４０）、以降、ステップＳ５０からステップＳ１００の処理を収束条件を満たす、またはＣが予め定めた回数以上になるまで繰り返す制御を開始する。

反復処理においては、まず、画像処理部５は単体識別手段５０の推定スコア混合手段５０１として動作し、推定スコア混合処理を行う（ステップＳ５０）。

図４のフローチャートを参照し、推定スコア混合処理について説明する。
推定スコア混合手段５０１は、推定スコアマップの有無を確認するために反復回数Ｃが０回か否かを判定する（ステップＳ５００）。

反復回数Ｃが０回の場合（ステップＳ５００にてＹＥＳ）、推定スコア混合手段５０１は保持している画素ごとの識別用特徴量をそのまま複製して混合識別用特徴量を作成し（ステップＳ５１０）、図３のステップＳ６０へと処理をすすめる。

他方、反復回数が０ではない場合（ステップＳ５００にてＮＯ）、推定スコア混合手段５０１は推定スコアマップから特徴量を算出する（ステップＳ５２０）。本実施形態においては、推定スコア混合手段５０１は、推定スコアマップから各画素に対応する識別用抽出窓内の推定スコアを切り出す処理となる。

続いて、推定スコア混合手段５０１は、保持している各画素についての識別用特徴量それぞれに対し、同画素についてステップＳ５２０にて算出された特徴量を連結することによって識別用混合特徴量を作成し（ステップＳ５３０）、図３のステップＳ６０へと処理をすすめる。

再び図３を参照し、画像処理部５は単体識別手段５０の識別スコア算出手段５０２として動作して記憶部４の単体識別器記憶手段４０から単体識別器を読み出し、単体識別処理を行う（ステップＳ６０）。識別スコア算出手段５０２は、単体識別器に各画素の識別用混合特徴量を入力して識別スコアを得ることにより、識別スコアマップを作成する。このとき、反復回数Ｃが０であれば初回用単体識別器を用い、反復回数Ｃが０でなければ反復用単体識別器を用いる。

続いて、画像処理部５は識別スコア混合手段５１１として動作し、推定用混合特徴量を作成する（ステップＳ７０）。識別スコア混合手段５１１は、識別スコアマップから各画素に対応する推定用抽出窓内の識別スコアを切り出し、当該画素に対応して保持している推定用特徴量に混合する。

続いて、画像処理部５は密度推定手段５１の推定スコア算出手段５１２として動作して記憶部４の密度推定器記憶手段４１から密度推定器を読み出し、密度推定処理を行う（ステップＳ８０）。推定スコア算出手段５１２は、密度推定器に各画素の推定用混合特徴量を入力して推定スコアを得ることにより、推定スコアマップを作成する。これにより各画素における「背景」、「低密度」、「中密度」、「高密度」クラスそれぞれの推定スコアと、推定密度が算出される。

続いて、画像処理部５は終了判定手段５２として動作し、反復回数をインクリメントし（ステップＳ９０）、反復処理を停止するか否かの判定を行う（ステップＳ１００）。
すなわち、終了判定手段５２は、今回と１回前の推定密度の差の絶対値Ｄ１を算出して予め定めた閾値Ｅ１と比較し、今回と１回前の識別スコアの差の絶対値Ｄ２を算出して予め定めた閾値Ｅ２と比較し、さらに反復回数Ｃを予め定めた上限回数Ａと比較する。終了判定手段５２は、Ｄ１＜Ｅ１且つＤ２＜Ｅ２であれば収束したとして反復処理停止と判定する。または、終了判定手段５２は、Ｃ≧Ａであれば反復回数が上限に達したとして反復処理停止と判定する。ただし、Ｃが０の場合は収束判定は省略する。

反復処理停止でないと判定した場合（ステップＳ１００にてＮＯ）、終了判定手段５２は、処理をステップＳ５０に戻して反復処理を継続させる。

反復処理停止と判定した場合（ステップＳ１００にてＹＥＳ）、終了判定手段５２は、その時点の画素ごとの推定密度のそれぞれを各クラスに予め割り当てられた画素値に変換して対応する画素にセットした分布画像を生成し、通信部３に出力する。分布画像を入力された通信部３は分布出力手段３１として動作し、分布画像を表示部６に送信する。

図５〜図８を参照して、本発明の処理例を説明する。
図５は、撮影画像６００の一例を模式的に示した図である。領域６０１は人が少なく、領域６０２は人がやや多い。領域６０３は混み合っており、領域６０４には木が生い茂っている。

図６は、図５の撮影画像６００を従前の密度推定器で走査して密度推定を行った結果、得られた分布画像７００の一例を模式的に示した図である。白抜きの矩形は推定密度が低密度である領域、斜線の矩形は推定密度が中密度である領域、縦縞の矩形は推定密度が高密度である領域、矩形の無い領域は背景と推定されたことを示している。

人が少ない領域７０１の推定密度は低密度、人がやや多い領域７０２の推定密度は中密度が支配的、混み合ってる領域７０３の推定密度は高密度と中密度が支配的であり、良好な推定結果となっている。

しかしながら、木が生い茂っている領域７０５は、本来、背景と推定されるべきところ、推定密度が低密度、中密度および高密度である領域が現れてしまっている。
このように、混雑時の人の集まりの像の雑然とした特徴を重視して学習した従前の密度推定器には、生い茂った木のような雑然とした像に対して高い密度と推定し易い特性がある。

図７は、図５の撮影画像６００を単体識別器で走査して識別スコアを算出した結果、得られた識別スコアマップ８００の一例を模式的に示した図である。

白抜きの矩形は識別スコアが低め、つまり人らしさが低いとされた領域、斜線の矩形は識別スコアが中程度、つまり人らしさが中程度とされた領域、縦縞の矩形は識別スコアが高め、つまり人らしさが特に高いとされた領域、矩形の無い領域は背景を示す識別スコアが算出されたことを示している。

人が少ない領域８０１は高めの識別スコアが支配的、人がやや多い領域８０２および混み合ってる領域８０３は中程度の識別スコアが支配的である。
一方、木が生い茂っている領域８０４は、一部に背景を示さない識別スコアが算出されているものの、低めの識別スコアが支配的である。

単独の人の特徴を重視して学習した単体識別器には、人の集まりの像に対して単独の人の像に対してよりも低めの識別スコアを出力する傾向があるものの、人の集まりの像よりも人の特徴が希薄な生い茂った木の像に対してはさらに低い識別スコアを出力する傾向があり、識別スコアは人の集まりの像と生い茂った木の像とを弁別するための情報を有していると言える。

本発明の密度推定器はこの傾向を示す単体識別器の出力値を含めて学習している。そのため、生い茂った木のような雑然とした像に対して高い密度と推定し易い特性を抑制でき、精度の高い密度推定が可能となる。

図８は、図５の撮影画像６００に本発明を適用した結果、得られた分布画像９００の一例を模式的に示した図である。白抜き、斜線および縦縞の矩形、矩形の無い領域が示す意味は図６でのそれと同じである。

上述した抑制効果によって、木が生い茂っている領域の推定密度は背景を表す値となり、その一方で、人が撮影されている領域９０１，９０２，９０３の推定密度は低下しておらず副作用無いことが分かる。よって、本発明によれば、撮影された空間に分布の推定対象である対象物体以外の雑然とした外乱物体が存在していても、対象物体の分布を精度良く推定することが可能となる。

＜変形例＞
（１）上記実施形態においては、密度推定手段５１による推定と単体識別手段５０と識別とが繰り返し処理を行う例を示したが、密度推定手段５１が単体識別手段５０の出力値を１回だけ用いる形態であっても一定の精度向上効果を奏する。

その場合の単体識別器は、推定スコアを混合した特徴量を学習しておく必要がなく、推定スコアを混合した特徴量による識別を行う必要もない。また終了判定手段５２も必要がない。すなわち、単体識別器記憶手段４０は単独の所定物体が撮影された単体画像の特徴量を学習した単体識別器を記憶し、密度推定器記憶手段４１は所定の密度ごとに当該密度にて所定物体が存在する空間を撮影した密度画像の特徴量を単体識別器に入力して得られた出力値を当該密度画像の特徴量に混合した特徴量を学習した密度推定器を記憶している。また、単体識別手段５０は撮影画像の特徴量を単体識別器に入力して出力値を取得し、密度推定手段５１は撮影画像から密度推定用の特徴量を抽出して当該特徴量に単体識別手段５０が取得した出力値を混合し、当該混合した特徴量を密度推定器に入力して取得される出力値を用いて所定物体の密度を推定して、推定結果を分布出力手段３１に出力する。

（２）上記実施形態およびその変形例においては、線形ＳＶＭ法により学習された単体識別器を例示したが、線形ＳＶＭ法に代えてアダブースト（AdaBoost）法など、従来知られた各種の学習法を用いて学習した単体識別器とすることもできる。また、識別器の代わりにパターンマッチング器を用いることもでき、その場合の識別スコアは人の学習用画像から抽出した特徴量の平均パターンと入力画像の特徴量との内積などとなり、識別スコア算出関数は当該スコアを出力値とし入力画像の特徴量を入力値とする関数とすることができる。

（３）上記実施形態およびその各変形例においては、反復の２回目以降に反復用単体識別器が用いられる例を示した。この反復用単体識別器を１つではなく２回目用、３回目用、…というように各回について学習しておくことも可能である。
また、例示した密度推定器もまた反復用である。密度推定器もまた２回目用、３回目用、…というように各回について学習しておくことも可能である。

すなわち学習時点で学習用画像に対する反復処理を行って各回の出力値を作成し、各回の出力値を用いて当該回用の反復用単体識別器および密度推定器を学習させ、記憶させておく。そして、撮影画像に対する反復処理の回数に合わせて、識別スコア算出手段５０２は当該反復回数に対応する反復用単体識別器を用い、推定スコア算出手段５１２も当該反復回数に対応する密度推定器を用いる。そうすることでさらなる精度改善が期待できる。

（４）上記実施形態およびその各変形例においては、単体識別手段５０および密度推定手段５１は画素ごとに走査して処理を行う例を示した。これらの走査は画素間隔を空けて行うことも可能である。

（５）上記実施形態およびその各変形例においては、単体識別器が学習する特徴量、識別用特徴抽出手段５００が抽出する識別用特徴量、密度推定器が学習する特徴量および推定用特徴抽出手段５１０が抽出する推定用特徴量としてＨＯＧ特徴量を例示したが、これらはＨＯＧ特徴量に代えて、局所二値パターン（Local Binary Pattern：ＬＢＰ）特徴量、ハールライク（Haar-like）特徴量、輝度パターンなどの種々の特徴量とすることができ、またはＨＯＧ特徴量とこれらのうちの複数を組み合わせた特徴量とすることもできる。
また、単体識別器用の特徴量と密度推定器用の特徴量とを異なる種類の特徴量としてもよい。

（６）上記実施形態およびその各変形例においては、推定スコア混合手段５０１が識別用特徴量に推定スコアそのものを連結する例を示したが混合方法はこれに限らない。推定スコア混合手段５０１は、識別用抽出窓内の推定スコアの平均値を連結することで混合してもよいし、スコアマップを画像に見立てて識別用抽出窓内の各位置から求めたＨＯＧ特徴量、局所二値パターン特徴量、ハールライク特徴量、ＧＬＣＭ（Gray Level Co-occurrence Matrix）特徴などの既存の特徴量を連結することで混合してもよいし、これらの複数を組み合わせたものを連結することで混合してもよい。

識別スコア混合手段５１１が行う混合方法についても同様であり、識別スコア混合手段５１１は、推定用抽出窓内の識別スコアの平均値を連結することで混合してもよいし、スコアマップを画像に見立てて推定用抽出窓内の各位置から求めたＨＯＧ特徴量、局所二値パターン特徴量、ハールライク特徴量、ＧＣＬＭ特徴などの既存の特徴量を連結することで混合してもよいし、これらの複数を組み合わせたものを連結することで混合してもよい。

（７）上記実施形態およびその各変形例においては、多クラスＳＶＭ法にて学習した密度推定器を例示したが、多クラスＳＶＭ法に代えて、決定木型のランダムフォレスト法、多クラスのアダブースト（AdaBoost）法または多クラスロジスティック回帰法などにて学習した密度推定器など種々の密度推定器とすることができる。
また、上記実施形態およびその各変形例においては、密度推定器が推定する密度のクラスを４クラスとしたが、より細かくクラスを分けてもよい。
或いは多クラスに分類する密度推定器に代えて、特徴量から密度の値を回帰する回帰型の密度推定器とすることもできる。すなわち、リッジ回帰法、サポートベクターリグレッション法または回帰木型のランダムフォレスト法などによって、特徴量から密度を求めるための回帰関数のパラメータを学習した密度推定器とすることができる。

３１・・・分布出力手段
５０・・・単体識別手段
５００・・・識別用特徴抽出手段
５０１・・・推定スコア混合手段
５０２・・・識別スコア算出手段
５１・・・密度推定手段
５１０・・・推定用特徴抽出手段
５１１・・・識別スコア混合手段
５１２・・・推定スコア算出手段

Claims (3)

1. 所定物体が存在し得る空間が撮影された撮影画像から前記空間における前記所定物体の分布を推定する分布推定装置であって、
   予め、少なくとも単独の前記所定物体が撮影された単体画像の特徴量を学習した単体識別器を記憶している単体識別器記憶手段と、
   予め、所定の密度ごとに当該密度にて前記所定物体が存在する空間を撮影した密度画像の特徴量を前記単体識別器に入力して得られた出力値を当該密度画像の特徴量に混合した特徴量を学習した密度推定器を記憶している密度推定器記憶手段と、
   前記撮影画像から単体識別用の特徴量を抽出して前記単体識別器に入力し、当該入力に応じた出力値を取得する単体識別手段と、
   前記撮影画像から密度推定用の特徴量を抽出して当該特徴量に前記単体識別手段が取得した出力値を混合し、当該混合した特徴量を前記密度推定器に入力して取得される出力値を用いて前記所定物体の密度を推定する密度推定手段と、
   を備えたことを特徴とする分布推定装置。
2. 前記単体識別器記憶手段は、予め、前記単体画像の特徴量を前記密度推定器に入力して得られた出力値を前記単体画像の特徴量に混合した特徴量を学習した単体識別器を記憶し、
   前記単体識別手段は、前記密度推定手段が取得した出力値を前記単体識別用の特徴量に混合し、当該混合した特徴量を前記単体識別器に入力して出力値を更新し、
   前記密度推定手段は、前記単体識別手段が出力値を更新した場合に、前記単体識別手段が更新した出力値を用いて前記密度推定器の出力値および前記所定物体の密度を更新する、
   請求項１に記載の分布推定装置。
3. さらに、前記密度推定手段による更新が予め定めた基準を満たすか否かを判定して、前記基準を満たすと判定した場合に前記密度推定手段による更新を停止させる終了判定手段、を備え、
   前記単体識別手段は、前記終了判定手段が前記基準を満たさないと判定した場合に、前記密度推定手段が更新した前記密度推定器の出力値を用いて前記単体識別器の出力値を更新する、
   請求項２に記載の分布推定装置。

Images