JP2021516824A - 群集レベル推定のための方法、システム及びプログラム - Google Patents

Abstract

群集レベル推定のための方法及びシステムが提供される。群集レベル推定のためのシステムは、入力モジュールと、群集レベル推定モジュールとを備える。入力モジュールは、群集の入力画像を受信し、群集レベル推定モジュールは、群集密度レベルに応じて、入力画像内の群集の群集レベルを推定する。【選択図】図２

Description

本開示は、一般に、群集推定のための方法及びシステムに関し、特に、群集サイズ又は群集レベルを推定するための方法及びシステムに関する。

多くのセキュリティシステムは、群集が形成された領域を監視し、多くの状況において、エリアを徒歩で通過する人を監視するため、或いは群集に対応するためにエリアにサービスを提供するため、又は他の理由のために、群集サイズを推定する必要がある。群集レベルを推定し、群集における人の数を発見する多数の手法がある。それら手法は、背景差分ベースのブロブ（blob）カウンティングなどの単純な画素レベルの手法から、人体部位検出及び復号頭部パターン生成等の複雑なパターン認識手法までの範囲に及ぶ。各手法は、それぞれの長所及び短所を有する。

単一の群集推定手法は、全ての環境及び群集状況に適していない可能性がある。例えば、背景差分法は、人物の重なり（すなわち、オクルージョン）がある場合、性能が劣る。同様に、人体部位認識も、高い群集密度でのオクルージョンの場合にも影響を受け、それによりその手法の精度が低下する。一方、複合頭部パターン手法は、複合頭部パターンを学習するという基本的な概念により、群集密度が高い場合に性能が向上することが確認されているものの、まばらな群集レベル（crowd level）又は低い群集密度（crowd densities）で精度が低い傾向にある。

従って、様々な群集の状態及び群集の位置において向上した精度を提供する、リアルタイム群集推定のための方法及びシステムが求められる。さらに、他の好ましい特徴及び特性は、添付の図面及び本開示のこの背景と共に、以下の詳細な説明並びに添付の請求の範囲から明らかになるだろう。

本開示の少なくとも１つの実施形態によれば、群集レベル推定のための方法が提供される。本方法は、群集の入力画像を受信すること、及び群集密度レベルに応じて、前記入力画像内の前記群集の群集レベルを推定することを含む。

本開示の他の実施形態によれば、群集レベル推定のためのシステムが提供される。本システムは、入力モジュール、及び群集レベル推定モジュールを備える。前記入力モジュールは、群集の入力画像を受信し、前記群集レベル推定モジュールは、群集密度レベルに応じて、前記入力画像内の前記群集の群集レベルを推定する。

そして、さらに別の実施形態によれば、コンピュータ可読媒体が提供される。前記コンピュータ可読媒体は、群集推定のための上記方法をコンピュータに実行させるプログラムを格納する。前記方法は、群集の入力画像を受信すること、及び前記群集の前記入力画像内の関心領域を決定することを含む。前記方法は、群集レベル空間変動の複数のモデルのそれぞれに対する前記群集の前記入力画像内の関心領域の類似度を決定することをさらに含み、群集レベル空間変動の前記複数のモデルのそれぞれは、その画素密度に応じて、複数の群集レベルのそれぞれの空間変動をモデリングすることにより生成される。そして最後に、前記方法は、群集レベル空間変動の前記複数のモデルのうち最も類似するモデルに応じて、前記入力された画像内の前記関心領域内の前記群集の前記群集レベルを推定することを含む。

添付の図面において、同じ参照符号は、個別の図全体を通して同一又は機能的に同様の要素を指し、以下の詳細な説明と共に本明細書に組み込まれ、その一部を形成し、様々な実施形態を説明し、本開示の実施形態にかかる様々な原理及び利点を説明するのに役立つ。

図１Ａは、本実施形態にかかるフロントエンド群集レベル推定の図を示し、図１Ａは、群集の画像をキャプチャするように構成されたカメラを示す。

図１Ｂは、本実施形態にかかるフロントエンド群集レベル推定の図を示し、図１Ｂは、カメラによりキャプチャされた群集の画像を示す。

図２は、本実施形態の第１の態様にかかる群集レベル推定のためのシステムの図を示す。

図３は、本実施形態の第２の態様にかかる群集レベル推定のためのシステムの図を示す。

図４は、本実施形態の第２の態様にかかる性能モデリングのフローチャートを示す。

図５Ａは、本実施形態の第２の態様にかかる群集推定のためのエラー分布のグラフを示し、図５Ａは、高い群集レベルの群集推定のためのエラー分布のグラフを示す。

図５Ｂは、本実施形態の第２の態様にかかる群集推定のためのエラー分布のグラフを示し、図５Ｂは、低い群集レベルの群集の群集推定のためのエラー分布のグラフを示す。

図６は、本実施形態にかかる２つの群集レベルのためのＦスコア分散のグラフを示す。

図７は、本実施形態の第３の態様にかかる群集レベル推定のためのシステムの図を示す。

図８は、本実施形態にかかる空間画素変動群集推定手法を示す。

図９は、本実施形態にかかる自動群集推定手法切り替えを示す。

図１０は、本実施形態にかかる群集レベル推定のための方法のフローチャートを示す。

図１１は、本実施形態にかかる最良の群集推定手法を選択するためのフローチャートを示す。 図１２は、本実施形態にかかるコンピュータ装置の構成例を示す。

当業者は、図中の要素は単純かつ明瞭に図示され、必ずしも縮尺通りに描かれていないことを理解するであろう。

以下の詳細な説明は、本質的に単なる例示であり、本開示又は本開示の用途及び使用を限定することを意図していない。さらに、本発明の前述した背景又は以下の詳細な説明に提示されている理論にとらわれることを意図するものではない。本実施形態の意図は、リアルタイムなロバストかつ最適化された群集推定のための方法及びシステムを提示することである。詳細に分析すると、互いに補完することができる複数の手法を特定し、及び／又はモデル化することが可能である。本実施形態によれば、現在の群集レベル（低い群集レベル、高い群集レベル）及び他のパラメータに基づいて、これらの群集推定手法間を自動的に切り替える方法及びシステムは、最適な群集推定を提供するために、これらの利点を利用する。本明細書を通して、高い／低い群集密度は、離散的な群集レベルを意味し、離散的な群集密度の尺度として考えられるべきではないことに注意されたい。

図１Ａを参照すると、イラスト１００は、位置１０４にいる群集１０２と、位置１０４にいる群集１０２の画像を撮影するように構成されたカメラ１０６とを示す。図１Ｂは、画像１５４、１５６を取り込むメディア１５２のイラスト１５０を示す。画像１５４は、高い群集レベルの画像であり、画像１５６は、低い群集レベルの画像である。

図２を参照するとダイアグラム２００は、本実施形態の第１の態様にかかる群集推定のためのシステムを示す。システムは、群集１０２の画像を受信するための入力モジュール２０２を備える。本実施形態によれば、複数の群集推定手法計算機２０４は、入力モジュール２０２から群集１０２の画像を受信し、それから群集カウント２０５を推定する。同数の性能モデリングモジュール２０６は、複数の群集推定手法計算機２０４のそれぞれに結合され、異なる群集レベル及び／又は異なる位置での複数の群集推定手法のそれぞれの精度に基づいて、複数の群集推定手法のそれぞれをモデリングする。

群集推定手法統合モジュール２０８は、複数の群集推定手法の性能モデリングと、推定された群集レベル及び／又は推定された位置とに応じて、複数の群集推定手法のうち１つ又は複数を選択する。そして、群集推定手法統合モジュール２０８は、複数の群集推定手法のうちの選択された１つ又は複数に従って、受信された画像における群集の群集カウントを推定し、最終的な群集カウント２１０を出力する。

したがって、個々の群集推定手法の性能モデルは、入力される画像フレームを用いて、異なる群集レベルで生成され、異なる群集推定手法の推定された群集カウントを生成する。次に、群集レベル推定方法は、どの推定された群集カウントを選択するか又は高い信頼値を割り当てるかを決定する。本実施形態によれば、入力モジュール２０２は、群集の画像を受信でき、群集の画像内の関心領域を決定できる。次に、群集推定手法統合モジュール２０８は、群集の画像内の関心領域における群集の群集レベル、又は群集の画像内の関心領域における群集の位置の１つ又は双方の群集レベルを推定する。

あるいは、入力モジュール２０２は、群集の画像を受信でき、画像を複数のサブ領域に分割できる。入力モジュールは、画像をキャプチャしたカメラ１０６の視点、又は他の基準を考慮して、群集の画像を複数のサブ領域に分割できる。そして、群集推定手法統合モジュール２０８は、複数のサブ領域のそれぞれに対して、複数の群集推定手法計算機２０４のうちの１つ又は複数を、複数の性能モデリングモジュール２０６のうち対応する１つによる複数の群集推定手法の１つ又は複数の性能モデリングと、複数のサブ領域のうちのそれぞれに対する、推定された群集レベル及び／又は推定された位置とに応じて選択する。次に、群集推定手法統合モジュール２０８は、複数のサブ領域のうちのそれぞれに対して、複数の群集推定手法のうち選択された１つ又は複数に従って、複数のサブ領域のそれぞれにおける群集の群集カウントを推定する。最後に、群集推定手法統合モジュール２０８は、複数のサブ領域のそれぞれに対する推定された群集カウントを結合し、受信された画像における群集の最終的な群集カウント２１０を取得する。

本実施形態によれば、複数の性能モデリングモジュール２０６は、その性能モデリングにしたがって、リアルタイム信頼値を複数の群集推定手法のそれぞれに割り当てることができる。システムは、複数の群集推定手法のうちの１つのリアルタイム信頼値が、信頼値閾値を下回る場合、複数の群集推定手法計算機２０４のうちの１つを選択から取り除く、群集推定手法統合モジュール２０８に結合された信頼値オブザーバ２１２を含むことができる。

群集推定手法統合モジュール２０８は、複数の群集推定手法計算機２０４のうちの複数のものをさらに選択し、複数の群集推定手法計算機２０４からの群集推定結果（群集カウント）２０５を結合し、受信された画像内の群集の群集カウントを推定できる。本実施形態によれば、群集推定手法統合モジュール２０８は、複数の群集推定手法計算機２０４からの群集推定結果２０５を、そのリアルタイム信頼値に従って動的に結合し、群集１０２の受信された画像における群集の最終的な群集カウント２１０を推定できる。群集推定結果２０５は、逆加重和アプローチ（inverted weighted sum approach）又は正規化加重和アプローチ（normalized weighted sum approach）に従って結合されることができる。

ダイアグラム２００に示されたシステムのさらなるエンハンスメントは、入力モジュール２０２と群集推定手法統合モジュール２０８との間に結合された、群集の画像の前景における群集レベルを測定し、複数の群集推定手法計算機２０４のうちの１つ又は複数を選択する場合、群集推定手法統合モジュール２０８による使用のための推定された群集レベルを提供する前景測定モジュール（foreground measurement module）２１４を追加することを含むことができる。

図３を参照すると、ダイアグラム３００は、本実施形態の第２の態様にかかる群集レベル推定のためのシステムを示す。ダイアグラム３００に示されるシステムは、１つ又は複数の群集推定手法計算機２０４のそれぞれのための、対応する群集推定手法計算機２０４の複数の性能を複数の群集レベル（例えば、高い（ＨＩＧＨ）群集レベル、低い（ＬＯＷ）群集レベル）で決定し、複数の群集レベルでの群集推定手法計算機２０４の複数の性能に応答して群集推定手法計算機２０４の性能をモデリングする性能モデリングモジュール２０６により、群集推定手法の性能モデリングを実施する。

性能モデリングモジュール２０６の性能モデリング動作は、図４のフローチャート４００に示される。性能モデリングモジュール２０６のそれぞれは、異なる群集レベルで画像を収集し（ステップ４０２）、これらの画像を低い群集画像及び高い群集画像に分類する（ステップ４０４）。そして、各性能モデリングモジュール２０６は、異なる群集レベルでの群集推定手法計算機２０４の複数の性能に応答して、対応する群集推定手法計算機２０４の性能をモデル化する（ステップ４０６）。

図３に戻り、性能モデリングモジュール２０６は、注目位置において、対応する群集推定手法計算機２０４の複数の性能も決定し、注目位置における群集推定手法計算機２０４の複数の性能に応答して、群集推定手法計算機２０４の性能をモデル化できる。

本実施形態によれば、性能モデリングモジュール２０６は、群集推定手法計算機２０４の性能のインジケータ（indicator）として、例えば、群集推定手法の複数の性能のそれぞれに対する群集カウントの誤差を決定することにより、及び／又は群集推定手法の複数の性能のそれぞれに対する誤差分布の標準偏差を決定することにより、群集推定手法の複数の性能の誤差分布３０２を決定することにより、対応する群集推定手法計算機２０４の性能をモデル化し得る。

図５Ａ及び５Ｂを参照すると、グラフ５００、５５０は、本実施形態の第２の態様にかかる群集推定の誤差分布を示す。グラフ５００は、高い群集レベルの群集の群集推定の誤差分布を示し、グラフ５５０は、低い群集レベルの群集の群集推定の誤差分布を示す。異なる群集レベルでの画像サンプルを用いた群集推定手法計算機２０４の精度の検証は、本実施形態にかかる性能モデリングモジュール２０６により、考えられる群集レベルでの誤差分布３０２を生成するために使用され、誤差は、群集推定における実際の人数からの偏差を示す。

誤差分布３０２の標準偏差（σ）は、群集推定手法計算機２０４の適合性を示す。カウント推定誤差が小さい場合、σは小さい。グラフ５５０に示される低い群集レベルσについて、誤差分布は、高い群集レベル（すなわち分布グラフ５００に示されるように）に比べて、低い群集レベルに対して群集推定手法計算機２０４がより少ない誤差を有することを示す。標準偏差の計算は、以下の式（１）に示される。

ここで、Ｍは、サンプルの数であり、ｘ_ｉは、ｉ番目のサンプルの誤差である。式（１）は、σ_ｌｏｗ＜＜σ_ｈｉｇｈである場合、特定の群集推定手法計算機２０４が、対応する性能モデリングモジュール２０６により性能モデル化されることが低い群集レベル推定に適していることを示す。

図３に戻り、性能モデリングモジュール２０６は、代替的に、群集推定手法の複数の性能のための精度メトリックを決定することにより、対応する群集推定手法計算機２０４の性能をモデル化してもよく、精度メトリックは、Ｆスコアを含んでもよく、性能モデリングモジュール２０６は、群集推定手法の複数の性能に対するＦスコア３０４の分散を決定することにより、対応する群集推定手法計算機２０４の複数の性能に対する精度メトリックを決定する。Ｆスコアは、検出されなかった人の数、及び人と誤って検出された他の領域に基づく性能の尺度である。性能モデリングモジュール２０６は、群集推定手法計算機２０４の複数の性能に対するＦスコアの平均に関してＦスコア（Ｆスコア分布）３０４の分散を決定してもよく、その後、群集推定手法計算機２０４の複数の性能に対するＦスコアの分散と、群集推定手法計算機２０４の複数の性能に対するＦスコアの平均に関するＦスコア分布との双方に応答して、群集推定手法計算機２０４の性能のインジケータを決定してもよい。

図６は、第１の群集レベル６０２及び第２の群集レベル６０４におけるＦスコア分散を示すグラフ６００を示す。異なる群集レベルでのサンプルに対するＦスコアは、これらの群集レベルでのＦスコア分散を求めるために使用される。特定の群集レベルでのＦスコアの分散Ｖ（Ｆｃｒ）は、以下の式（２）から計算することができる。

ここで、ｃｒは、低い又は高い群集レベルであり、Ｍは、サンプルの数であり、μはＦスコアの平均であり、Ｆ^ｉ _ｃｒ、はｉ番目のサンプルに対するＦスコアである。Ｖ（Ｆ_ｌｏｗ）＜＜Ｖ（Ｆ_ｈｉｇｈ）、かつμ_ｌｏｗ＞＞μ_ｈｉｇｈである場合、対応する性能モデリングモジュール２０６により性能モデル化された特定の群集推定手法計算機２０４は、低群集レベル推定に適している。

図７を参照すると、ダイアグラム７００は、本実施形態の第３の態様にかかる群集レベル推定のためのシステムを示す。この第３の態様によれば、群集レベル推定モジュール７０２は、群集推定手法計算機２０４のうちの最も適切な１つを選択する際に使用するために、群集推定手法統合モジュール２０８に推定された群集レベルを提供する。群集レベル推定モジュール７０２は、群集密度レベルに応答して、入力モジュール２０２により受信された入力画像内の群集の群集レベルを推定できる。これは、画像内の関心領域にフォーカスすることにより達成されることができる。入力モジュール２０２は、群集の入力画像を受信し、群集の入力画像内の関心領域を決定できる。そして、群集レベル推定モジュール７０２は、その関心領域における群集密度レベルに応答して、入力画像の関心領域内の群集の群集レベルを推定できる。

群集レベル推定モジュール７０２は、複数の群集レベルのそれぞれの空間変動を、その画素密度変動に応じてモデリングし、群集レベル空間変動の複数のモデルを生成する空間画素変動モデル構築ユニット７０４を含み得る。そして、群集レベル推定モジュール７０２は、空間画素変動モデル構築ユニット７０４により構築された群集レベル空間変動のモデルのそれぞれに対する群集の入力画像の類似度を決定し、群集レベル空間変動のモデルのうち最も類似する１つに応じて入力画像内の群集の群集レベルを推定することにより、自動群集推定手法切替７０６のための群集レベルを推定できる。

群集レベル空間変動のモデルのうち最も類似する１つを決定することに関して、群集レベル推定モジュール７０２は、群集の入力画像と、群集レベル空間変動の複数のモデルのそれぞれとの類似度の確率密度関数に応じて、入力画像内の群集の群集レベルを推定できる。より詳細には、群集レベル推定モジュールは、群集の入力画像と、群集レベル空間変動の複数のモデルのそれぞれとの類似度の確率密度関数により決定される、群集レベル空間変動の複数のモデルのうち最も適合するモデルに応じて入力画像内の群集の群集レベルを推定する。

空間画素変動モデル構築ユニット７０４は、グレースケール群集ヒストグラム、又は赤−緑−青（ＲＧＢ：red-green-blue）群集ヒストグラム７０８、群集ローカルバイナリパターン（crowd local binary pattern）７１０、又は群集テクスチャ７１２のうちの１つ又は複数に応じて、群集レベル空間変動の複数のモデルを生成できる。群集レベル推定モジュール７０２の自動群集推定手法切替７０６は、入力画像内の群集の推定された離散的なレベルに応じて、群集推定手法を切り替えることができる。

このように、低い群集レベル及び高い群集レベルなどの群集レベルは、推定された群集レベルにおいて、より良好に動作する群集推定手法計算機２０４を選択するため、又は高い信頼値を割り当てるために推定される。群集レベル推定モジュール７０２は、空間画素変動モデル構築ユニット７０４により構築される第１の空間画素変動モデルと、自動群集推定手法切替７０６とにより実現される。

図８を参照すると、フローチャート８００及びイラスト８２０は、推定が、空間画素変動モデル構築ユニット７０４による群集レベルの空間変動のモデリングすることに基づいている、群集レベル推定モジュール７０２の動作を示す。フローチャート８００は、本実施形態にかかる空間変動モデリング処理を示す。注目位置において（ステップ８０２）、カメラ１０６は、群集１０２の画像を取得する（ステップ８０４）。要求される群集レベル（例えば、高い群集レベル又は低い群集レベル）に対して、群集の訓練画像が抽出される（ステップ８０６）。次に、空間画素変動は、訓練画像から抽出され（ステップ８０８）、空間画素変動モデルは、要求される群集レベルに対して展開される（ステップ８１０）。

イラスト８２０を参照すると、フローチャートのステップのそれぞれが図示されている。イラスト８３０において、位置（注目位置）１０４を監視するカメラ１０６が選択される。イラスト８４０において、ビデオ（メディア１５２）は、画像１５４における高い群集レベルから画像１５６における低い群集レベルまでの範囲の異なる群集レベルをカバーする注目位置１０４から記録される。

イラスト８５０は、高い群集レベルに対する訓練画像８５２及び低い群集レベルに対する訓練画像８５４が抽出される、フローチャート８００のステップ８０６に対応する。このようにして、「人が居ないケース」から「フルに混雑しているケース」までをカバーする異なる群集レベルでの訓練画像（画像フレーム）８５２、８５４が、フローチャート８００のステップ８０４において記録されたビデオ（ビデオクリップ）１５２から抽出される。

次のステップ８０８において、空間画素変動が抽出される。空間画素変動を抽出するためのヒストグラム手法は、イラスト８６０において例として提供される。画像のグレースケールヒストグラムは、ビンと呼ばれる離散的な画素強度レベルでグループ化された画素強度の頻度表現（frequency representation）である。全ての抽出された画像フレーム８５２、８５４のグレースケールヒストグラム８６２、８６４は、２５６個のビンで記録される。画像−ヒストグラムのペアは、画像フレーム８５２、８５４内の人の数に基づいて、高群集レベル画像８５２及びヒストグラム８６２と、低群集レベル画像８５４及びヒストグラム８６４とにグループ化される。

各群集レベルにおいて、全ての画像−ヒストグラムのペアを考慮して、ビン毎の頻度平均化が実行される。平均化は、イラスト８７０に図示されている、各群集レベルに対してヒストグラムモデル８７２、８７４を形成する。動作において、入力画像（画像フレーム）１５４、１５６は、各画像フレームに対する群集レベルを推定するために、これらのヒストグラムモデル８７２、８７４と比較される。

図９を参照すると、フローチャート９００及びイラスト９２０は、推定が、自動群集推定手法切替７０６（図７）による自動群集推定手法切替に基づく群集レベル推定モジュール７０２の動作を示す。フローチャート９００は、本実施形態にかかる自動群集推定手法切替処理を示す。注目位置において（ステップ９０２）、カメラ１０６は、群集１０２の画像のライブストリームビデオを取得する（ステップ９０４）。次に、空間画素変動が、取得された画像から抽出され（ステップ９０６）、群集レベル推定が、類似度決定に基づく確率計算により実行される（ステップ９０８）。処理は、その後、適切な群集推定手法計算機２０４を選択又は統合する（ステップ９１０）。

イラスト９２０を参照すると、フローチャートの各ステップが図示されている。イラスト９３０において、カメラ１０６は、注目位置１０４のライブビデオストリームを開始する。イラスト９４０において、群集の画像フレーム９４２の自動的で周期的なキャプチャが注目位置１０４について開始される。ユーザは、画像フレームキャプチャ９４４の適切な時間間隔を定義できる。

次のステップ９０６において、空間画素変動が抽出される。空間画素変動９５０を抽出するための例示的なヒストグラム手法は、離散的な画素強度レベルでグループ化された画素強度の頻度表現として、画像のグレースケールヒストグラム９５２を抽出する。

次のステップ９０８において、ヒストグラム９５２は、イラスト（モデル構築ステージ）８７０（図８）において生成された全てのヒストグラムモデル８７２、８７４と比較される。ヒストグラム９５２は、イラスト９６２においてヒストグラムモデル８７２と比較され、イラスト９６４においてヒストグラムモデル８７４と比較される。比較は、入力画像フレームのヒストグラム９５２と、ヒストグラムモデル８７２、８７４との間の類似スコアを計算することにより実行される。類似度計算方法の例は、相関法、バッタチャリャ距離（Bhattacharya distance）法、カイ二乗（Chi-square）法、及び交差（intersection）法を含む。類似度計算は、各類似法が、入力画像フレームが高い群集レベル（イラスト９６２）又は低い群集レベル（イラスト９６４）のどちらに類似しているか関する分類器として作用する結果となる。

例えば、各方法が、４つの異なる類似度計算により入力画像フレーム９４２のヒストグラムと比較されるヒストグラムモデル８７２又は８７４を出力する、４つの異なる画素変動モデリング方法を使用することにより、１６の分類をもたらす。確率密度関数（ＰＤＦ：Probability Density Function）は、式（３）及び（４）に示されるように、これらの１６の分類に基づいて構築されることができる。

ステップ９１０において、入力画像フレーム９４２は、ステップ９０８において計算された最も高い確率に基づいて特定の群集レベルに分類される。ステップ９１０における群集推定手法選択のため、推定された群集レベルにおいて、σ又はＶ（Ｆｃｒ）が最も低く、Ｆｃｒが高い群集推定手法計算機２０４が選択される。

ステップ９１０において群集推定手法統合のために、最終カウント推定（Ｆ_{ｃｏｕｎｔ}）が、式（５）を用いて計算される。

ここで、ｉ＝１からＮ群集推定手法であり、Ｚ_ｒｉは、式（６）により計算された再重み信頼値（re-weighted confidence value）である。

ここで、Ｚ_{ｎｏｒｍｉ}は、式（７）を用いて計算された、［０，１］の範囲において正規化された信頼値である。

ここで、Ｚは、全ての群集推定手法計算機２０４に対して生成されたσの集合又はＶ（Ｆｃｒ）の集合のいずれかとすることができる。例えば、第１の群集推定手法計算機２０４（例えば、結合頭部パターン推定手法（combined head pattern estimation technique））、及び第２の群集推定手法計算機２０４（例えば、個別頭部パターン推定手法（individual head pattern estimation technique））が、Ｃｏｕｎｔ_１及びＣｏｕｎｔ_２として表すことができる場合、式（８）は、信頼値の平均を示す。

ここで、Ｚ_１＞＞Ｚ_２かつＺ_１＋Ｚ_２＝１である（例えば、Ｚ_１は１であり、Ｚ_２は０であることができる）。

図１０を参照すると、フローチャート１０００は、本実施形態にかかる群集レベル推定のための方法を示す。群集の入力画像が受信された場合（ステップ１００２）、各群集推定手法が画像に適用され（ステップ１００４）、群集カウントが、群集推定手法のそれぞれに対して計算される（ステップ１００６）。同時に、空間画素変動が、受信された入力画像から抽出される（ステップ１００８）。抽出された空間画素変動は、上述したように、最も高い類似度を見つけるために、空間画素モデルと比較される（ステップ１０１０）。群集レベルは、ステップ１０１０における比較から決定され、信頼値が割り当てられる（ステップ１０１２）。次に、ステップ１００６における群集推定手法のそれぞれについて計算されたカウントは、ステップ１０１２において決定された／割り当てられた群集レベル／信頼値と統合され（ステップ１０１４）、最終的な群集カウントが推定される（ステップ１０１６）。

本実施形態にかかる方法は、最も性能が良い群集推定手法を選択するために使用されることもできる。この場合、入力画像フレームは、全ての群集推定手法により処理されず、選択された手法のみが入力画像フレームを処理する。図１１を参照すると、フローチャート１１００は、この選択処理を示す。入力画像が受信され（ステップ１１０２）、空間画素変動が抽出される（ステップ１１０４）。空間画素変動は、全ての空間画素モデルと比較され（ステップ１１０６）、群集レベルが決定され、その群集レベルに対して群集推定手法が選択される（ステップ１１０８）。選択された群集推定手法が適用され（ステップ１１１０）、最終的な群集カウントが推定される（ステップ１１１２）。

このように、本実施形態は、リアルタイムでロバストかつ最適化された群集推定手法のための方法及びシステムを提供することが分かる。詳細に分析すると、互いに補完することができる複数の手法を識別、及び／又はモデル化することができる。本実施形態によれば、現在の群集レベル（低い群集レベル、高い群集レベル）及び他のパラメータに基づいて、これらの群集推定手法を自動的に切り替える方法及びシステムは、これらの利点を活用し、多様な群集状況及び群集位置において、改善された精度で、最適化されたリアルタイム群集推定を提供する。

例示的な実施形態は、本開示の前述の詳細な説明で提示されたが、膨大な数の変形が存在することを理解されたい。さらに、例示的な実施形態は単なる例であり、本開示の範囲、適用可能性、動作、又は構成を何らかの方法で制限することを意図していないことを理解されたい。むしろ、上記の詳細な説明は、本開示の例示的な実施形態を実施するための便利なロードマップを当業者に提供するであろう。様々な変更が、添付の特許請求の範囲に記載される本開示の範囲から逸脱することなく、例示的な実施形態に記載されるステップの機能及び配置、並びに動作の方法において行われ得ることが理解される。

上述した実施形態において、ダイアグラム２００、３００、及び７００として示した群集推定のためのシステムの機能は、例えば、プログラムに従って動作するコンピュータ装置に含まれるプロセッサにより実装されてもよい。図１２は、本実施形態にかかるコンピュータ装置の構成例を示す。コンピュータ装置１１０は、プロセッサ１２０及びメモリ１２１を含む。メモリ１２１は、揮発性メモリ及び／又は不揮発性メモリを含む。メモリ１２１は、例えば、不揮発性メモリに、プロセッサ１２０において実行されるソフトウェア（コンピュータプログラム）を格納する。プロセッサ１２０は、例えば、セントラルプロセッシングユニット（ＣＰＵ）等であり、コンピュータ装置１１０により実行される、制御及び動作は、例えば、メモリ１２１からロードされるコンピュータプログラムに従って動作するプロセッサ１２０により実現される。プロセッサ１２０は、コンピュータ装置１１０においてメモリ１２１からのコンピュータプログラムをローディングする代わりに、コンピュータ装置１１０の外部メモリからコンピュータプログラムをロードし、ロードされたコンピュータプログラムを実行してもよい。

上述したコンピュータプログラムは、任意のタイプの非一時的なコンピュータ可読媒体を用いて、コンピュータ装置に格納され、提供することができる。非一時的なコンピュータ可読媒体は、任意のタイプの有形記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（フロッピーディスク、磁気テープ、ハードディスクドライブなど）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（compact disc read only memory）、ＣＤ−Ｒ（compact disc recordable）、ＣＤ−Ｒ／Ｗ（compact disc rewritable）、及び半導体メモリ（マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory）など）を含む。プログラムは、任意のタイプの一時的なコンピュータ可読媒体を用いてコンピュータに提供されてもよい。一時的なコンピュータ可読媒体は、電気信号、光信号、及び電磁波が含まれる。一時的なコンピュータ可読媒体は、有線通信回線（例えば、電線及び光ファイバ）又は無線通信回線を介して、プログラムをコンピュータに提供できる。

例えば、上記に開示された実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
群集レベル推定のための方法であって、
群集の入力画像を受信すること、及び
群集密度レベルに応じて、前記入力画像内の前記群集の群集レベルを推定すること、を含む方法。
（付記２）
前記群集レベルを推定することは、
前記群集の前記入力画像内の関心領域を決定すること、及び
群集密度レベルに応じて、前記入力画像の前記関心領域内の前記群集の群集レベルを推定すること、を含む付記１に記載の方法。
（付記３）
前記群集密度レベルに応じて前記群集レベルを推定することは、
群集レベル空間変動の複数のモデルのそれぞれに対する前記群集の前記入力画像の類似度を決定すること、及び
群集レベル空間変動の前記複数のモデルのうちの最も類似したモデルに応じて、前記入力画像内の前記群集の前記群集レベルを推定すること、を含む付記１又は２に記載の方法。
（付記４）
群集レベル空間変動の前記複数のモデルのそれぞれに対する前記群集の前記入力画像の前記類似度を決定することは、群集レベル空間変動の前記複数のモデルを生成するために、画素密度変動に応じて、複数の群集レベルのそれぞれの空間変動をモデリングすることを含む、付記３に記載の方法。
（付記５）
前記入力画像内の前記群集の前記群集レベルを推定することは、前記群集の前記入力画像と、群集レベル空間変動の前記複数のモデルのそれぞれとの類似度の確率密度関数に応じて、前記入力画像内の前記群集の前記群集レベルを推定することを含む、付記３又は４に記載の方法。
（付記６）
前記入力画像内の前記群集の前記群集レベルを推定することは、前記群集の前記入力画像と、群集レベル空間変動の前記複数のモデルのそれぞれとの類似度の前記確率密度関数により決定される群集レベル空間変動の前記複数のモデルのうち最適なモデルに応じて、前記入力画像内の前記群集の前記群集レベルを推定することをさらに含む、付記５に記載の方法。
（付記７）
群集レベル空間変動の前記複数のモデルは、グレースケール群集ヒストグラムに応じて生成されたモデルを含む、付記５又は６に記載の方法。
（付記８）
群集レベル空間変動の前記複数のモデルは、赤−緑−青（ＲＧＢ：red-green-blue）群集ヒストグラムに応じて生成されたモデルを含む、付記５又は６に記載の方法。
（付記９）
群集レベル空間変動の前記複数のモデルは、群集ローカルバイナリパターンに応じて生成されたモデルを含む、付記５又は６に記載の方法。
（付記１０）
群集レベル空間変動の前記複数のモデルは、群集テクスチャに応じて生成されたモデルを含む、付記５又は６に記載の方法。
（付記１１）
前記群集レベルを推定することは、前記入力画像内の前記群集の離散的なレベルを推定することを含む、付記１〜１０のいずれか１項に記載の方法。
（付記１２）
前記群集の前記画像を受信することは、
前記群集の前記画像を受信すること、及び
前記群集の前記画像を複数のサブ領域に分割すること、を含み、
前記受信された画像内の前記群集の前記群集レベルを推定することは、前記複数のサブ領域のそれぞれに対する前記群集密度に応じて、前記複数のサブ領域のそれぞれにおける前記群集の前記群集レベルを推定することを含む、付記１〜１１のいずれか１項に記載の方法。
（付記１３）
群集レベル推定のためのシステムであって、
群集の入力画像を受信する入力モジュールと、
群集密度レベルに応じて、前記入力画像内の前記群集の群集レベルを推定する群集レベル推定モジュールと、を備えるシステム。
（付記１４）
前記入力モジュールは、前記群集の前記入力画像を受信し、前記群集の前記入力画像内の関心領域を決定し、
前記群集レベル推定モジュールは、前記群集密度レベルに応じて、前記入力画像の前記関心領域内の前記群集の前記群集レベルを推定する、付記１３に記載のシステム。
（付記１５）
前記群集レベル推定モジュールは、群集レベル空間変動の複数のモデルを生成するために、複数の群集レベルのそれぞれの画素密度変動に応じて、前記複数の群集レベルのそれぞれの空間変動をモデリングする空間画素変動モデル構築ユニットを含み、
前記群集レベル推定モジュールは、群集レベル空間変動の前記複数のモデルのそれぞれに対する前記群集の前記入力画像の類似度を決定し、群集レベル空間変動の前記複数のモデルのうち最も類似するモデルに応じて、前記入力画像内の前記群集の前記群集レベルを推定することにより、前記群集レベルを推定する、付記１３又は１４に記載のシステム。
（付記１６）
前記群集レベル推定モジュールは、前記群集の前記入力画像と、群集レベル空間変動の前記複数のモデルのそれぞれとの類似度の確率密度関数に応じて、前記入力画像内の前記群集の前記群集レベルを推定する、付記１５に記載のシステム。
（付記１７）
前記群集レベル推定モジュールは、前記群集の前記入力画像と、群集レベル空間変動の前記複数のモデルのそれぞれとの前記類似度の前記確率密度関数により決定される、群集レベル空間変動の前記複数のモデルのうち最適なモデルに応じて、前記入力画像内の前記群集の前記群集レベルを推定する、付記１６に記載のシステム。
（付記１８）
前記空間画素変動モデル構築ユニットは、グレースケール群集ヒストグラム、赤−緑−青（ＲＧＢ：red-green-blue）群集ヒストグラム、群集ローカルバイナリパターン、又は群集テクスチャのうちの１つ又は複数に応じて、群集レベル空間変動の前記複数のモデルを生成する、付記１５〜１７のいずれか１項に記載のシステム。
（付記１９）
前記群集レベル推定モジュールは、前記入力画像内の前記群集の離散的なレベルを推定する、付記１３〜１８のいずれか１項に記載のシステム。
（付記２０）
前記入力モジュールは、前記群集の前記画像を受信し、前記群集の前記画像を複数のサブ領域に分割し、
前記群集レベル推定モジュールは、前記複数のサブ領域のそれぞれに対する前記群集密度に応じて、前記複数のサブ領域のそれぞれにおける前記群集の前記群集レベルを推定する、付記１３〜１９のいずれか１項に記載のシステム。
（付記２１）
コンピュータに方法を実行させるプログラムを格納したコンピュータ可読媒体であって、前記方法は、
群集の入力画像を受信すること、
前記群集の前記入力画像内の関心領域を決定すること、
複数の群集レベルのそれぞれの画素密度変動に応じて、前記複数の群集レベルのそれぞれの空間変動をモデリングすることにより生成される、群集レベル空間変動の複数のモデルのそれぞれに対する前記群集の前記入力画像内の前記関心領域の類似度を決定すること、及び
群集レベル空間変動の前記複数のモデルのうち最も類似するモデルに応じて、前記入力画像内の前記関心領域内の前記群集の前記群集レベルを推定すること、を含むコンピュータ可読媒体。
（付記２２）
前記方法は、グレースケール群集ヒストグラム、赤−緑−青（ＲＧＢ：red-green-blue）群集ヒストグラム、群集ローカルバイナリパターン、又は群集テクスチャのうちの１つ又は複数に応じて、前記複数の群集レベルのそれぞれの空間変動をモデリングすることにより群集レベル空間変動の前記複数のモデルの少なくともいくつかを生成することをさらに含む、請求項１９に記載のコンピュータ可読媒体。

この出願は、２０１８年３月２９日に出願されたシンガポール特許出願第１０２０１８０２６６８Ｑを基礎とする優先権を主張し、その開示の全てをここに取り込む。

２００ システム
２０２ 入力モジュール
２０４ 群集推定手法計算機
２０６ 性能モデリングモジュール
２０８ 群集推定手法統合モジュール

Claims (22)

1. 群集レベル推定のための方法であって、
   群集の入力画像を受信すること、及び
   群集密度レベルに応じて、前記入力画像内の前記群集の群集レベルを推定すること、を含む方法。
2. 前記群集レベルを推定することは、
   前記群集の前記入力画像内の関心領域を決定すること、及び
   群集密度レベルに応じて、前記入力画像の前記関心領域内の前記群集の群集レベルを推定すること、を含む請求項１に記載の方法。
3. 前記群集密度レベルに応じて前記群集レベルを推定することは、
   群集レベル空間変動の複数のモデルのそれぞれに対する前記群集の前記入力画像の類似度を決定すること、及び
   群集レベル空間変動の前記複数のモデルのうちの最も類似したモデルに応じて、前記入力画像内の前記群集の前記群集レベルを推定すること、を含む請求項１又は２に記載の方法。
4. 群集レベル空間変動の前記複数のモデルのそれぞれに対する前記群集の前記入力画像の前記類似度を決定することは、群集レベル空間変動の前記複数のモデルを生成するために、複数の群集レベルのそれぞれの画素密度変動に応じて、複数の群集レベルのそれぞれの空間変動をモデリングすることを含む、請求項３に記載の方法。
5. 前記入力画像内の前記群集の前記群集レベルを推定することは、前記群集の前記入力画像と、群集レベル空間変動の前記複数のモデルのそれぞれとの類似度の確率密度関数に応じて、前記入力画像内の前記群集の前記群集レベルを推定することを含む、請求項３又は４に記載の方法。
6. 前記入力画像内の前記群集の前記群集レベルを推定することは、前記群集の前記入力画像と、群集レベル空間変動の前記複数のモデルのそれぞれとの前記類似度の前記確率密度関数により決定される群集レベル空間変動の前記複数のモデルのうち最適なモデルに応じて、前記入力画像内の前記群集の前記群集レベルを推定することをさらに含む、請求項５に記載の方法。
7. 群集レベル空間変動の前記複数のモデルは、グレースケール群集ヒストグラムに応じて生成されたモデルを含む、請求項５又は６に記載の方法。
8. 群集レベル空間変動の前記複数のモデルは、赤−緑−青（ＲＧＢ：red-green-blue）群集ヒストグラムに応じて生成されたモデルを含む、請求項５又は６に記載の方法。
9. 群集レベル空間変動の前記複数のモデルは、群集ローカルバイナリパターンに応じて生成されたモデルを含む、請求項５又は６に記載の方法。
10. 群集レベル空間変動の前記複数のモデルは、群集テクスチャに応じて生成されたモデルを含む、請求項５又は６に記載の方法。
11. 前記群集レベルを推定することは、前記入力画像内の前記群集の離散的なレベルを推定することを含む、請求項１〜１０のいずれか１項に記載の方法。
12. 前記群集の前記画像を受信することは、
    前記群集の前記画像を受信すること、及び
    前記群集の前記画像を、複数のサブ領域に分割すること、を含み、
    前記受信された画像内の前記群集の前記群集レベルを推定することは、前記複数のサブ領域のそれぞれについての前記群集密度に応じて、前記複数のサブ領域のそれぞれにおける前記群集の前記群集レベルを推定することを含む、請求項１〜１１のいずれか１項に記載の方法。
13. 群集レベル推定のためのシステムであって、
    群集の入力画像を受信する入力モジュールと、
    群集密度レベルに応じて、前記入力画像内の前記群集の群集レベルを推定する群集レベル推定モジュールと、を備えるシステム。
14. 前記入力モジュールは、前記群集の前記入力画像を受信し、前記群集の前記入力画像内の関心領域を決定し、
    前記群集レベル推定モジュールは、前記群集密度レベルに応じて、前記入力画像の前記関心領域内の前記群集の前記群集レベルを推定する、請求項１３に記載のシステム。
15. 前記群集レベル推定モジュールは、群集レベル空間変動の複数のモデルを生成するために、複数の群集レベルのそれぞれの画素密度変動に応じて、前記複数の群集レベルのそれぞれの空間変動をモデリングする空間画素変動モデル構築ユニットを含み、
    前記群集レベル推定モジュールは、群集レベル空間変動の前記複数のモデルのそれぞれに対する前記群集の前記入力画像の類似度を決定し、群集レベル空間変動の前記複数のモデルのうち最も類似するモデルに応じて、前記入力画像内の前記群集の前記群集レベルを推定することにより、前記群集レベルを推定する、請求項１３又は１４に記載のシステム。
16. 前記群集レベル推定モジュールは、前記群集の前記入力画像と、群集レベル空間変動の前記複数のモデルのそれぞれとの類似度の確率密度関数に応じて、前記入力画像内の前記群集の前記群集レベルを推定する、請求項１５に記載のシステム。
17. 前記群集レベル推定モジュールは、前記群集の前記入力画像と、群集レベル空間変動の前記複数のモデルのそれぞれとの類似度の確率密度関数により決定される、群集レベル空間変動の前記複数のモデルのうち最適なモデルに応じて、前記入力画像内の前記群集の前記群集レベルを推定する、請求項１６に記載のシステム。
18. 前記空間画素変動モデル構築ユニットは、グレースケール群集ヒストグラム、赤−緑−青（ＲＧＢ：red-green-blue）群集ヒストグラム、群集ローカルバイナリパターン、又は群集テクスチャのうちの１つ又は複数に応じて、群集レベル空間変動の前記複数のモデルを生成する、請求項１５〜１７のいずれか１項に記載のシステム。
19. 前記群集レベル推定モジュールは、前記入力画像内の前記群集の離散的なレベルを推定する、請求項１３〜１８のいずれか１項に記載のシステム。
20. 前記入力モジュールは、前記群集の前記画像を受信し、前記群集の前記画像を、複数のサブ領域に分割し、
    前記群集レベル推定モジュールは、前記複数のサブ領域のそれぞれに対する前記群集密度に応じて、前記複数のサブ領域のそれぞれにおける前記群集の前記群集レベルを推定する、請求項１３〜１９のいずれか１項に記載のシステム。
21. コンピュータに方法を実行させるプログラムを格納したコンピュータ可読媒体であって、前記方法は、
    群集の入力画像を受信すること、
    前記群集の前記入力画像内の関心領域を決定すること、
    複数の群集レベルのそれぞれの画素密度変動に応じて、前記複数の群集レベルのそれぞれの空間変動をモデリングすることにより生成される、群集レベル空間変動の複数のモデルのそれぞれに対する前記群集の前記入力画像内の前記関心領域の類似度を決定すること、及び
    群集レベル空間変動の前記複数のモデルのうち最も類似するモデルに応じて、前記入力画像内の前記関心領域内の前記群集の前記群集レベルを推定すること、を含むコンピュータ可読媒体。
22. 前記方法は、グレースケール群集ヒストグラム、赤−緑−青（ＲＧＢ：red-green-blue）群集ヒストグラム、群集ローカルバイナリパターン、又は群集テクスチャのうちの１つ又は複数に応じて、前記複数の群集レベルのそれぞれの空間変動をモデリングすることにより群集レベル空間変動の前記複数のモデルの少なくともいくつかを生成することをさらに含む、請求項１９に記載のコンピュータ可読媒体。

Images