JP2007128513A - シーン解析 - Google Patents

シーン解析 Download PDF

Info

Publication number
JP2007128513A
JP2007128513A JP2006296401A JP2006296401A JP2007128513A JP 2007128513 A JP2007128513 A JP 2007128513A JP 2006296401 A JP2006296401 A JP 2006296401A JP 2006296401 A JP2006296401 A JP 2006296401A JP 2007128513 A JP2007128513 A JP 2007128513A
Authority
JP
Japan
Prior art keywords
edge
image
value
template
edge angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2006296401A
Other languages
English (en)
Other versions
JP2007128513A5 (ja
Inventor
Robert Mark Stefan Porter
マーク ステファン ポーター、ロバート
Ratna Rambaruth
ランバラス、ラトナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JP2007128513A publication Critical patent/JP2007128513A/ja
Publication of JP2007128513A5 publication Critical patent/JP2007128513A5/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】 画像内の個体の数を推定する個体数推定方法を提供する。
【解決手段】 個体数推定方法は、捕捉されたシーンの画像の少なくとも一部内の複数の画像位置について、個体の少なくとも部分的なアウトラインのテンプレート表現との位置及び角度の対応関係を示すエッジ対応値を生成するステップを有する。エッジ対応値を解析し、複数の画像位置のそれぞれが、個体の画像の少なくとも一部に貢献しているか否かを判定する。
【選択図】 図１

Description

本発明は、シーンを表す画像データを解析する装置、方法、プロセッサ制御コード及び信号に関する。
ある空間内で個体の集団が移動し又は集合する多くの状況において、母集団のサイズ及び／又は母集団が成長しているか、縮小しているか、個体が自由に移動しているか、混雑しているか等を自動的に監視することが望まれることがある。例えば、駅、空港又は遊園地における群衆、工場において充填機構に流通されるボトル、市場に移送される家畜等について、上述のような監視が望まれることがある。
このような情報によって、適切な対応を取ることができる。例えば、製造ラインのキーポイントで混雑のサインが示された場合、ライン内のキーポイントより前の工程を一時的に遅めたり、ライン内のキーポイントより後の工程を一時的に速めたりすることによって、このような混雑を軽減することができる。また、鉄道駅のプラットホームが混雑している場合、プラットホームに更に人が流入することで、乗客の一部がプラットホームの端に追いやられる危険を防止するために、改札ゲートを閉じることも考えられる。
いずれの場合も、母集団の状態を評価するためには、母集団内の個体数を推定し及び／又はその個体数の変化を把握する必要がある。このためには、個体がかなり混み合った状況でも、個体数を検出できる必要がある。
したがって、個体の検出のためには、多くの要求がある。
１．個体は、移動している場合も静止している場合もある。
２．シーン内で個体が重なることが多い。
３．シーン内の他の要素を個体数に含めないことが望ましい。
個体のための幾つかの検出及び追跡法が既に提案されており、これらは、主に、セキュリティ又はビデオアプリケーションにおけるインテリジェントな帯域圧縮の目的で、人間を検出することを目的とする。これらの手法は、純粋な「追跡」及び純粋な「検出」の間でスペクトルを形成する。
主に追跡に関連する手法としては、パーティクルフィルタリング（particle filtering）及び画像スケルトン化（image skeletonisation）がある。
パーティクルフィルタリングでは、個体の画像内で選択された候補パーティクルの状態記述を追跡することによって、先に検出された個体の状態の確率密度関数を測定する（例えば、非特許文献１参照）。パーティクル状態は、通常、位置、速度及び加速度を含む。この手法は、高度な冗長性を有し、如何なるときでも、幾つかのパーティクルの一時的な矛盾状態を無視できるので、特にロバストである。
しかしながら、この技術は、最初に個体を検出する手法を提供しない。
画像スケルトン化は、人間の移動に基づいて、シーン内の人々を特定するハイブリッド追跡／検出法を提供する。この手法では、背景との比較によって移動するオブジェクトを特定し、スケルトンモデル（例えば、頭、２本の手、２本の足を表す５点のアスタリスク）に基づいて、オブジェクトの末端部の位置を判定する。そして、この手法では、オブジェクトに一致するスケルトンモデルの連続的動きを比較し、その動きが人間に固有の動きであるかを判定する（例えば、自動車は、移動することはあっても、スケルトンモデルは静的である）。
この手法では、シーン内を歩く人間の検出率は高いが、個人の末端部が不明瞭であったり、他の方向に動く他者の一部によって隠されたりした場合には、スケルトンモデルは不確実になる。更に、本質的に無生物の個体、例えば、製造ラインを流れるボトル等には、スケルトンモデルは不適切である。更に重大な問題点として、この手法では、全ての個体は、背景に対して常に動いている必要がある。このため、この手法は、混み合った群衆のシーン等ではうまく機能しない。
個体を検出するための手法としては、擬似２Ｄ隠れマルコフモデル（pseudo-2D hidden Markov model：以下、Ｐ２ＤＨＭＭという。）、サポートベクトルマシン（support vector machine：以下、ＳＶＭという。）解析、エッジ照合（edge matching）等がある。
Ｐ２ＤＨＭＭは、原理的に、人体の形状を認識するようトレーニングすることができる。人々の画像を表す画素シーケンスに関してＰ２ＤＨＭＭをトレーニングすることによって、Ｐ２ＤＨＭＭは、画素の典型的な状態及び状態遷移を学習し、これにより、Ｐ２ＤＨＭＭ自体が人間に似た画素シーケンスを生成できるようになる。そして、Ｐ２ＤＨＭＭは、観測された画像が人物を表現している場合、最高の確率で、Ｐ２ＤＨＭＭ自体が、シーンから選択された観測された画像を生成できた確率を評価することによって、認識を実行する。
非特許文献２には、動きモデルをＰ２ＤＨＭＭに結びつけ、カルマンフィルタを用いて個体を追跡する手法が開示されている。
なお、Ｐ２ＤＨＭＭ方法は、個体の認識について非常にロバストであるが、このロバスト性の基礎となる般化は、人間の周囲の応答の領域が大きいため群衆内の個体を検出する場合、不利であることが見出されている。このため、画像内で隣接し又は重なり合う個体を区別することは困難である。
この他に、サポートベクトルマシン（ＳＶＭ）解析は、全ての入力を２つのクラス、例えば、「人間」及び「非人間」に分類することによって検出を行う。この検出は、通常、平面を繰り返し移動させ、分類誤差を最小（好ましくは、大域的最小）まで減少させることにより、多次元の入力空間内で分離の平面を判定することによって実現される。この処理では、それぞれのクラスの多くの実例を管理及び表現する必要がある。
例えば、非特許文献３には、分離平面の位置を検出するために１３２６次元の特徴平面を生成するマルチスケールウェーブレットＳＶＭ入力ベクトル（multi-scale wavelet SVM input vector）の導出法が開示されている。このトレーニングには、１８００枚の人間の画像が用いられている。このシステムは、シーン内の複数の独立した、重なり合わない個体の特定には良好に機能するが、トレーニング及び検出の両方で、膨大な演算リソースを必要とする。
また、演算負荷に加えて、根元的な問題として、ＳＶＭを用いて「人間」及び「非人間」のクラスを分類する際、第２の「非人間」クラスを適切に定義することが困難であり、したがって、分離平面を最適化することが困難であるという問題がある。このために、多くの誤検出応答が生じることがある。僅かな数の個体を検出又は追跡する場合、他の手法でこれらを区別することも可能ではあるが、個体が混んでいるシーンでは、存在する個体の正確な数が既知でないため、これは容易ではない。
更に、個体が重なり合うことが多い個体が混んでいるシーンでは、「人間」のカテゴリは、更に「人間の一部」のカテゴリを取り入れなくてはならず、「非人間」からの正しい分離平面がより重要になる。
これは、トレーニング用の実例の品質及び準備と、非人間の特徴から人間の一部の特徴を区別することができるシーンから特徴を抽出する能力とに関して大きな負担となる。このようなタスクは、原理的には可能であるが、負荷が大きく、評価される各シナリオについて、大きな演算能力及びトレーニングフェーズへの投資が必要となる。
例えば、非特許文献４及び非特許文献５に開示されているソーベル、ロバーツクロス及びカニーエッジ検出手法（Sobel, Roberts Cross and Canny edge detection techniques）を始めとして、画像内のエッジをトレースする多数の技術が存在している。
エッジを検出することができれば、エッジマッチングを用いて、平均的なターゲットオブジェクト又はオブジェクトの構成を表す１つ以上のテンプレートにエッジを比較することによって、オブジェクトを特定することができる。この結果、この手法は、個体の検出に利用することができる。非特許文献６には、歩行者と交通標識を特定する自動車用のシステムが開示されている。観測された画像エッジ及びターゲットエッジの正確な重複は、僅か又は断片的であることもあるため、マッチングは、テンプレートエッジの両方が類似しており、画像エッジに実質的に揃っている場合、総合的な距離が最小になる両方のエッジのポイント間の総合的な距離に基づいて行われる。候補画像エッジは、（般化されたテンプレートの階層内で）どのテンプレートが最も良好に一致するかに基づいて分類され、又は最小一致閾値に満たない場合、除外される。
なお、この文献では、妥当な認識率を達成するためには、シーンにおける人間の変化のために、５０００個以上のテンプレートを自動的に生成する必要があると指摘されている。群衆シーンの画像に対応するために、重なり合う人間の形をテンプレートに含める場合、この数は更に大きくなると予想される。
A tutorial on particle filters for online non-linear/non-Gaussian Bayesian tracking", M.S. Arulampalam, S. Maskell, N. Gordon and T. Clapp, IEEE Trans.Signal Processing, vol.50, No.2, Feb.2002, pp.174-188 "Person tracking in real-world scenarios using statistical methods", G. Rigoll, S. Eickeler and S. Mueller, in IEEE Int. Conference on Automatic Face and Gesture Recognition, Grenoble, France, March 2000, pp. 342-347 "Trainable pedestrian detection", by C. Papageorgiou and T. Poggio, in Proceedings of International Conference on Image Processing, Kobe, Japan, October 1999 E. Davies, Machine Vision: Theory, Algorithms and Practicalities, Academic Press, 1990, Chapter 5 J. F. Canny: A computational approach to edge detection.IEEE Trans. Pattern Analysis and Machine Intelligence, 8(6), 1986, 679-698 "Real-time object detection for 'smart' vehicles", by D.M. Gavrila and V. Philomin in Proceedings of IEEE International Conference on Computer Vision, 1999, pp. 87-93
このため、画像内の母集団を評価するための改良された装置及び方法の実現が望まれている。
本発明は、上述した問題を解決し、緩和し、又は軽減することを目的とする。
本発明に係る個体数推定方法は、画像内の個体の数を推定する個体数推定方法において、捕捉されたシーンの画像の少なくとも一部内の複数の画像位置について、個体の少なくとも部分的なアウトラインのテンプレート表現との位置及び角度の対応関係を示すエッジ対応値を生成するステップと、検出された対応したエッジ対応値に応じて、各画像位置の画像コンテンツが少なくとも個体の画像の一部に対応しているかを検出するステップとを有する。
少なくとも部分的なアウトラインによる位置及び角度の対応関係に基づいて、画像位置が個体の画像に貢献するか否かを定義することによって、個体が移動しているか静止しているか、又は重なり合っているかにかかわらず、シーン内の個体数を高い精度で推定することができる。
また、本発明に係るデータ処理装置は、画像内の個体の数を推定するデータ処理装置において、捕捉されたシーンの画像の少なくとも一部内の複数の画像位置について、個体の少なくとも部分的なアウトラインのテンプレート表現との位置及び角度の対応関係を示すエッジ対応値を生成する解析手段と、検出された対応したエッジ対応値に応じて、各画像位置の画像コンテンツが個体の画像の少なくとも一部に対応しているかを検出する検出手段とを備える。
このような構成を有するデータ処理装置によって、（例えば、）混雑又は渋滞に関する警告をユーザに発し、又は例えば、ゲートを閉じ又は製造ラインの速度を変更する等の応答を行うことができる。
本発明のこの他の様々な側面及び特徴は、特許請求の範囲によって定義される。従属請求項に定義する特徴は、特許請求の範囲に明示的に定義されていなくても、独立請求項の特徴に適宜組み合わせることができる。
以下、図面を参照して、本発明の実施の形態について説明する。
以下、画像内の個体の数を推定する個体数推定方法及び個体数推定方法を実行する装置について説明する。以下の説明では、本発明の実施の形態の理解を容易にするために、多くの具体的詳細事項を開示する。これらの具体的詳細事項は、本発明を実施するための必要条件ではないことは、当業者にとって明らかである。
シーン内の個体数を推定する本発明の一実施の形態では、シーンの画像は、多くの場合、監視される空間において、比較的高い位置に設置された専用テレビジョンシステムによって捕捉されるという事実を利用する。このため、例えば、群衆のなかで、人々の体が部分的に見えなくなることはあるが、通常、頭が見えなくなることはない。家畜又は工場のラインで流されるボトルトップ（又はこの他の一貫した特徴を有する個体）等についても同様のことが言える。すなわち、この手法では、個体の数にかかわらず、一貫して可視である可能性が高い個体の選択された特徴を検出することによって、個体の存在を判定する。
以下では、説明を明瞭にするために、人間の個体、すなわち個人の検出に関連して本発明を説明するが、本発明は、人間以外の様々な個体も検出できる。
図１、図２及び図３Ａに示すように、本発明に基づくシーンを表す捕捉された画像内で個体数を推定する個体数推定方法の一実施の形態では、ステップ１１０において、入力画像を取得し、この入力画像又はその一部にソーベル又はロバーツクロスオペレータ（Sobel or Roberts Cross operator）等のスカラー傾斜オペレータ（scalar gradient operator）を適用して、ステップ１２０において、画像内の水平エッジを検出し、ステップ１３０において、画像内の垂直エッジを検出する。
ソーベルオペレータを適用する場合、水平エッジ及び垂直エッジのそれぞれについて、入力画像を以下の演算して畳み込む。
Figure 2007128513
出力される結果は、元の入力画像又は処理が行われた部分に対応する水平エッジマップ又はＨ−マップ２２０及び垂直エッジマップ又はＶ−マップ２３０の形式を取る。そして、ステップ１４０において、Ｈ−マップ２２０及びＶ−マップ２３０の二乗和の平方根から、入力画像の概略図に近似するエッジ振幅マップ２４０を導出することができる。
図２に示す本発明の一実施の形態では、Ｈ−マップ２２０は、図１のステップ１２５において、水平ブラーリングフィルタオペレータ（horizontal blurring filter operator）２２１で畳み込むことによって更に処理される。この結果、エッジの元の位置からブラーリングフィルタ２２１のサイズによって決定する距離までの垂直距離に従って、マップ上の点の値が減少するように各水平エッジがブラーリングされる。したがって、ブラーリングフィルタのサイズを選択することによって、マップ上の各位置において、頭の頂部のためのエッジテンプレート２２６にブラーリングされたＨ−マップ２２５を関連付ける際の垂直許容レベルが決定する。
頭頂エッジテンプレートとの相関では、頭領域を表すテンプレート空間の頂部の近傍の水平エッジに正の「得点」を加算し、頭領域の中心の領域に負の得点を加算する。典型的な値として、それぞれを＋１及び−０．２としてもよい。テンプレート内の他のエッジには、得点を加えない。ここで、頭頂は、任意の位置の総合的な得点が所定の頭頂得点閾値を超えていれば、その位置に存在していると定義される。
また、Ｖ−マップ２３０は、図１のステップ１３５において、垂直ブラーリングフィルタオペレータ２３１によって畳み込むことによって更に処理される。この結果、各垂直エッジは、マップ上のポイントの値が元のエッジ位置からの水平距離に従って減少するようにブラーリングされる。この距離は、選択されたブラーリングフィルタのサイズの関数であり、これにより、マップ上の各位置において、頭の側部（以下、頭側という。）のためのエッジテンプレート２３６にブラーリングされたＶ−マップ２３５を関連付ける際の水平許容レベルが決定する。
頭側エッジテンプレートとの相関では、頭領域を表すテンプレート空間のいずれかの側部の近傍の垂直エッジに正の「得点」を加算し、頭領域の中心の領域に負の得点を加算する。典型的な値として、それぞれを＋１及び−０．３５としてもよい。テンプレート内の他のエッジには、得点を加えない。ここで、頭側は、任意の位置の総合的な得点が所定の頭側得点閾値を超えていれば、その位置に存在していると定義される。
頭頂エッジ及び頭側エッジの解析は、シーンの全て又は一部に適用され、各解析に基づいて、頭とみなすことができるポイントが識別される。
ブラーリングフィルタ２２１（２３１）は、所望のレベルの位置的な公差に応じて選択でき、この公差は、特に、画像解像度の関数、及び／又は正規化された入力画像を用いる場合、相対的なオブジェクトサイズの関数であることは当業者にとって明らかである。水平エッジ及び垂直エッジのそれぞれについて、ブラーリングフィルタの典型的な対を以下に示す。
Figure 2007128513
図３Ａに示すように、本発明の一実施の形態では、マップ上の各位置において、頭の中心について、エッジ振幅マップ２４０とエッジテンプレート２４６との相関を調べる。
頭中心エッジテンプレート２４６との相関では、頭領域の中心領域に正の得点を加算する。この場合の典型的な値は、例えば、＋１である。テンプレート内の他のエッジには、得点を加えない。これにより、３つの異なる結果が予想される。マップ上の位置の総合的な得点が低すぎる場合、顔の特徴は存在しないとみなされ、テンプレートの中心を画像内の頭に合わせない。また、ある位置の総合的な得点が高すぎる場合も、その特徴は、顔を表しているとはみなされず、この場合も、テンプレートの中心を画像内の頭に合わせない。一方、所定の上下の顔閾値間に収まった場合、これは、顔が存在していることを示す。
頭中心エッジテンプレートは、エッジ振幅マップ２４０の全て又は一部に適用され、シーン内で、解析に基づいて顔に類似していると考えられる対応点が特定される。
このような顔検出を適用できない場合もあることは当業者にとって明らかである（例えば、工場のラインの場合、人々の一部が撮像装置から遠くにいる場合、又はカメラ位置が高過ぎる場合等）。この場合、下側の閾値を無効にし、検出器が、テンプレートの中間領域における差異のみを識別するようにしてもよい。これに代えて、頭中心エッジ解析を全く用いなくてもよい。
また図３Ｂに示すように、本発明の一実施の形態では、Ｖ−マップ２３０上の各位置について、上述したように、頭テンプレート２６１の現在の概念的な位置の下にある領域２６２を解析する。この領域は、３つの頭テンプレートと幅が同じであり、２つの頭テンプレートと高さが同じである。この領域内の垂直エッジ値の合計は、通常、この領域内に存在し、全て強い垂直エッジを有する胴、腕、及び／又はスーツ、ブラウス、タイ又は他の衣服が存在している可能性が高いことを示す体得点（body score）となる。総合的な体得点が所定の体閾値を超えている場合、この領域に体が存在しているとみなす。
この体領域解析ステップ１６０は、シーンの全て又は一部に対して適用され、先に行った頭又は顔解析のいずれかに関連して、解析に基づき、体であると考えられる領域が特定される。
このような解析が適用できない場合もあることは当業者にとって明らかである。これに代えて、個体の特徴によっては、このような基準に代えて又はこのような基準に加えて、他のテンプレートに対する、選択された領域における、水平又は垂直の他のエッジの総和を基準とすることが望ましい場合もあることは当業者にとって明らかである。
本発明の変形例では、図４Ａに示すように、頭頂解析、頭側解析及び、採用されている場合、体領域解析は、垂直エッジマスク及び水平エッジマスクを用いる解析に置換することができる。これらのマスクは、例えば、上述したように垂直エッジフィルタリング及び水平エッジフィルタリングが個別に適用された人間の頭及び肩の多数のトレーニング画像に基づいている。例えば、横向き又は前向き等、様々なポーズの原型マスク（archetypal mask）は、例えば、サイズが正規化された多くのエッジマスクを平均化することによって生成される。水平原型マスク及び垂直原型マスクの対の数を１０より少なくすれば、演算負荷を軽減することができる。
図４Ａでは、説明を明瞭にするために、垂直エッジマスク４０１（ａ〜ｅ）及び水平エッジマスク４０２（ａ〜ｅ）の正の値の位置を示す典型的な中心線を示している。エッジマスクは、通常、これらの中心線を中心として、平均化等の生成の処理によって、ブラーリングされる。
また、図４Ｂを用いて以下に説明するように、このような実施の形態では、入力画像のブロックにエッジマスク照合解析を適用することによって、個体が検出される。これらのブロックは、例えば、入力画像において、頭及び肩（又は、個体の他の弁別的特徴）を包含するサイズを有する、画素の正方形のブロックである。ここでの解析は、以下のステップを含む。
ブロックの総エネルギ（輝度）に基づいて、選択されたブロックを正規化する（Ｓ３．１）
水平エッジフィルタ及び垂直エッジフィルタを用いて、正規化されたブロックから水平エッジブロック及び垂直エッジブロックを生成する（Ｓ３．２）
水平エッジブロック又は垂直エッジブロックによって、適切に、原型マスクのそれぞれを畳み込む（Ｓ３．３）
これらの畳込みから、個体が入力画像内のブロックの中心に位置する確率になる最大出力値を選択する（Ｓ３．４）
入力画像の全体に亘って、ブロックをサンプリングし、画像内の個体の可能な位置を示す確率マップを生成する（Ｓ３．５）
ここまで、例示的な目的で、人間の検出に関連して、以下のような解析を説明した。
１．ブラーリングされたＨ−マップを水平テンプレートに照合することによる頭の頂部の検出
２．ブラーリングされたＶ−マップを垂直テンプレートに照合することによる頭の側部の検出
３．上述したテンプレートに対して所定の相対的な位置にある領域の垂直面を評価することによる体の検出
４．エッジマスク照合解析に基づく頭の検出
５．テンプレートの中心におけるエッジ特徴の検出
なお、他の特徴から個々の人々を区別するために、これらの解析のいずれか又は全てを単独で又は組み合わせて行うことが不十分である場合があることは当業者にとって明らかである。
例えば、誰もいない公共の空間が（多くの場合そうであるように）床用タイル又は舗装によって装飾されている場合、上述した解析において、これらが高い得点を獲得してしまい、結果として、実際には誰もいないにもかかわらず、多くの人で混み合っていると誤判定してしまう場合が考えられる。
このため、より正確に個人の特徴、例えば、頭の形を区別できる更なる解析を行うことが望ましい。
人間の頭の場合、その丸みを帯びた形状と、その下にある体の存在との組合せが独特な特徴であると考えられる。家畜の場合、頭の角の存在を特徴として識別してもよく、製造ラインを流れるボトルの場合、ネックの形状を特徴として識別してもよい。他の個体の特徴も、当業者には明らかである。
本発明の実施の形態では、図５を用いて説明するように、エッジ角度解析を実行する。
元の画像に対し、例えば、ソーベルオペレータ等の空間傾斜オペレータ（spatial gradient operator）を適用する場合、生成される垂直エッジ又は水平エッジの強度は、画像内のエッジが垂直線又は水平線にどれくらい近いかの関数である。したがって、完全に水平なエッジでは、水平オペレータを用いた場合、最大の得点を獲得し、垂直オペレータを用いた場合、得点はゼロになり、完全に垂直なエッジでは、この逆となる。一方、４５°又は１３５°で傾斜したエッジは、両方のオペレータから、より低得点であるが、同点の得点を得る。このように、元のエッジの角度に関する情報は、所定のポイントにおけるＨ−マップ値とＶ−マップ値の組合せによって暗示されている。
ステップ１５１において、Ｈ−マップ２２０及びＶ−マップ２３０上の各ポイントｉ，ｊについて、以下の式を適用することによって、エッジに正規なエッジ角度推定値を生成し、エッジ角度推定マップ（edge angle estimate map）又はＡ−マップを構築できる。
Figure 2007128513
比較を簡単にし、Ａ−マップ内の連続したポイント間での変化を低減するために、ステップ１５２において、Ａ−マップの推定された角度値を量子化してもよい。量子化のレベルは、角度分解能と、比較の均一性との間のトレードオフである。なお、量子化ステップは、線形である必要はなく、例えば、ある角度の範囲が個体の特徴の判定について重要であれば、この範囲の量子化ステップを他の範囲より精密に行ってもよい。本発明の一実施の形態では、１８０°の範囲の角度を１２個のビン１〜１２に均等に量子化する。これに代えて、逆正接関数（Ｖ／Ｈ）を用いて、エッジに平行な角度を生成してもよい。この場合、角度を同様に量子化してもよい。
量子化の前又は後に、エッジ振幅マップ２４０からの値を用いて、閾値に基づき、ステップ１５３において、Ａ−マップ２５０に関して対応する位置から閾値に達しない弱いエッジを削除してもよい。これにより、非常に小さいＶ−マップ値が同様に小さいＨ−マップ値によって除算されるポイントに生じる可能性がある誤った角度値を除外し、明らかに正常な角度値のみを得ることができる。
そして、これにより得られるＡ−マップ２５０又はその一部の各ポイントをエッジ角度テンプレート２５４と比較する。エッジ角度テンプレート２５４は、テンプレート上の予想された位置において、（量子化が用いられた場合、量子化値の形式で）相互間の予想された角度を含む。図５に具体例として示すエッジ角度テンプレート２５４は、例えば、典型的なＣＣＴＶの高い設置位置から撮影された個人の体の上位に位置する人間の頭の一部を示している。異なる特性を有する個体のためには、異なるテンプレートを用意する必要があることは、当業者には明らかである。
そして、所定のポイントに関して、Ａ−マップ２５０及びエッジ角度テンプレート２５４について、以下のように差分値を算出する。
例えば、ビン１、１２の０°、１８０°は、画像では、事実上同じであり、差分値は、循環的に算出され、（量子化ビン１２について）可能な最大の差分は６であり、この値は、２つの角度値（例えば、ビン９と３、７と１、１２と６等）の間の９０°の差分を表す。距離値は、ビンが９０°から離れるに従って減少する。したがって、差分得点は、２つの角度値が平行に近付くほど、減少する。
そして、それぞれの複数のローカル領域において、最も小さい差分得点を、その領域におけるエッジ角度テンプレート２５４との最大の位置及び角度の対応関係として選択する。ここで、ローカル領域とは、例えば、テンプレートに対応する各列であってもよく、又はテンプレートのアーチ状のセグメントに近似するグループであってもよく、テンプレートにおいて、同じビン値によって量子化されている領域に対応するグループあってもよい。
これにより、観測された画像内の頭について、幾つかの位置及び形状の変化が許容される。位置及び形状の変化は、特に、画像分解能及び／又は相対的なオブジェクトサイズの関数であってもよく、正規化された入力画像を用いる場合、個体間のバリエーションの関数であってもよい。
量子化の度合い、ビンに含まれるエッジ角度テンプレートの割合、用いられる差分値スキーム（例えば、差分の二乗を用いれば、変化の許容度は小さくなる）によって、変化の許容度を変更できることも当業者にとっては明らかである。
そして、選択された差分得点の総和を求め、総合的な角度差得点を算出する。この角度差得点が所定の差分閾値を下回った場合、頭が存在すると判定する。
そして、本発明の一実施の形態では、ステップ１７０において、これまでに説明したそれぞれの解析からの得点を組合せて、画像データにおける所定のポイントが頭の画像の全て又は一部を表しているかを判定する。各解析からの得点は、関連する特徴が存在している可能性を示しており、１つ以上の閾値に対して比較される。
組み合わされた結果が以下の条件を満たす場合、肯定的であると判定される。
１．頭頂得点＞頭頂得点閾値
２．頭側得点＞頭側得点閾値
３．下側の顔閾値＞頭中心尤度得点＞上側の顔閾値
４．体得点＞体閾値
５．角度差得点＜角度差閾値
条件５については、条件１〜条件４のいずれか又は全てを用いて、シーン内の所定のポイントが、頭の全て又は一部を表していることを判定してもよい。
これに代えて、条件５に関連して、図３Ｃに示すエッジマスク照合解析によって生成される確率マップを閾値と比較し、最大エッジマスク畳込み値がエッジマスク畳込み値閾値を超えなければならないとしてもよい。結合ステップ１７０において、角度差範囲及びエッジ照合解析の両方からの閾値と比較されたポイントの実質的な一致を、個体の存在と解釈する。
一旦、各ポイントを分類した後、各ポイント（又は頭テンプレートのサイズに略々対応する領域内に位置しているポイントのグループ）が個体を表すとみなす。そして、ポイント又はポイントのグループの数を計数し、シーンとして表現されている個体の母集団を推定することができる。
変形例として、他の得点又は上述したスキームのいずれか又は全てに関連して、適切な重み付けを行えば、角度差得点を用いて、シーンの各ポイントの総合的な得点を算出することができる。総合的な最小閾値と比較して、最高の総合的な得点を有する単一のポイント又はポイントのグループが、人々の頭（又は判定された他の任意の特徴）の位置を最良に特定していると判定することができる。そして、これらのポイントを同様に計数し、シーン内の個体の母集団を推定できる。
この後者の実施の形態では、頭中心得点を用いる場合、頭中心得点は、上述したように、上下の顔閾値の中心の値からの偏差の関数である。
以下、図５Ｂを参照して、画像内の移動するオブジェクトのコントラストを強調し、水平エッジフィルタ及び垂直エッジフィルタを適用した場合、これらの要素について、比較的強いエッジが生成されるように、入力画像をオプションとして前処理する手順を説明する。この処理は、オブジェクトのエッジを含むブロックを後に正規化し、上述したエッジマスク照合解析を適用する場合に特に有効である。
第１のステップＳ５．１において、現在の画像と背景の保存された画像（例えば、空のシーン）との間の差分マップを生成する。（これに代えて、供給された入力画像の長期間に亘る平均を背景画像として用いてもよい。）
第２のステップＳ５．２において、背景画像をローパスフィルタリングし、コントラストが低減されたブラーリングされたバージョンを生成する。
第３のステップＳ５．３において、現在の画像「ＣＩ」、ブラーリングされた背景画像「ＢＩ」及び差分マップ「ＤＭ」を用いて、式ＥＩ＝ＢＩ＋（ＣＩ−ＢＩ）＊ＤＭに基づいて、強調された画像「ＥＩ」を生成する。
この結果、強調された画像のコントラストは、ブラーリングのために、背景に類似するセクションにおいて低減され、差分マップによる乗算のために、異なる画像のセクションにおいて強調される。この結果、ブロックの総合的なエネルギが正規化されると、シーンにとって新しい特徴のエッジは、比較的強められる。
差分マップを換算及び／又はオフセットさせ、適切な乗数を生成してもよいことは当業者にとって明らかである。例えば、関数ＭＡＸ（ＤＭ＊０．５＋０．４，１）を用いることができる。
なお、この手法は、通常、画像の単一の（輝度／グレースケール）チャンネルだけに適用されるが、これに代えて、画像のＲＧＢチャンネルのそれぞれに適用してもよいことは明らかである。
上述した実施の形態のいずれにおいても、一旦、入力画像内で個体を特定した後、特定された位置にパーティクルフィルタ、例えば上述したエム・エス・アルラムパラム（M.S.Arulampalam）らによるパーティクルフィルタを適用してもよい。
本発明の一実施の形態では、各追跡に１００個のパーティクルを割り当てる。各パーティクルは、個体の実際の位置を予測するパーティクルの面積中心（各パーティクルにおいて、確率値によって重み付けられる。）によって、１つの個体の可能な位置を表す。追跡の初期設定は、個体の追跡について「アクティブ」にしてもよく、「非アクティブ」にしてもよく、試験状態では、例えば、可能な個体が一時的な誤検出であるかを判定する。試験期間は、例えば、６つの連続したフレームとしてもよく、この期間中、個体が一貫して識別されることが求められる。逆に、アクティブな追跡は、約１００フレームに亘って個体が全く識別されなかった場合にのみ中止してもよい。
追跡される各パーティクルには、位置と、確率（角度差得点、又は用いられた他の得点又はスキームのいずれかに基づいて算出される）と、個体の動きの履歴に基づく速度とが関連付けられる。パーティクルの位置は、予測のために、速度に基づいて更新される。
この結果、パーティクルフィルタは、複数の入力画像フレームに亘って個々の位置を追跡する。これによって、例えば、特定の個体が検出のための閾値を下回るが、予測されたパス上に存在している場合等に総合的な検出率を改善できる。このように、パーティクルフィルタによって、経時的な既知の個体の検出について、補償メカニズムが提供される。逆に、数フレーム以下の期間に生じる誤検出を排除することもできる。
また、追跡は、個体に関して及び混み合った状況における個体のグループに関して追加的な情報を提供する。例えば、個体がシーン内にどれくらいの時間存在するか、又は個体が移動する経路を追跡によって推定することができる。また、多くの個体を追跡することによって、これの個体がどのように移動しているかに基づき、混雑やパニックを判定することもできる。
図６は、本発明の実施の形態に基づくデータ処理装置３００を図式的に示している。データ処理装置３００は、ワーキングメモリ３２６に保存され、及び／又はリムーバブル又は固定の記憶媒体、例えば、マスストレージデバイス３２２から読み出され、及び／又はネットワーク又はインターネット接続（図示せず）から提供されるマシンコードインストラクション（ソフトウェア）を実行できるプロセッサ３２４を備える。ユーザが操作可能な入力装置３３０は、汎用バス３２５を介して、プロセッサ３２４と通信する。ユーザが操作可能な入力装置３３０は、この具体例では、キーボード及びタッチパッドを含むが、この他に、マウス又は他のポインティング装置、装置のディスプレイユニット上の接触感知画面、タブレット、音声認識装置、触覚入力装置（haptic input means）、又はユーザ入力操作を解釈し、データ信号に変換できる他の如何なる装置を含んでもよい。
データ処理装置３００では、ワーキングメモリ３２６は、ユーザアプリケーション３２８を格納し、ユーザアプリケーション３２８がプロセッサ３２４によって実行されると、ユーザへの／からのデータの通信を行うためのユーザインタフェースが実現される。このように、アプリケーション３２８は、ユーザが容易に操作できる、汎用の又は特別なコンピュータによって具現化されたユーティリティ及び動作を実現する。
更に、ユーザに情報を出力するために、汎用バス３２５には、オーディオ／ビデオ出力装置３４０が接続されている。オーディオ／ビデオ出力装置３４０は、例えば、ディスプレイ装置であるが、ユーザに情報を提供することができる他の如何なる装置であってもよい。
通信ユニット３５０は、汎用バス３２５に接続され、更に、ビデオ入力端子３６０及び制御出力３７０に接続されている。通信ユニット３５０及びビデオ入力端子３６０によって、データ処理装置３００は、画像データを取得することができる。通信ユニット３５０及び制御出力３７０によって、データ処理装置３００は、例えば、ゲートの開閉又はアラーム音の出力等の自動応答を行う他の装置を制御することができる。
また、ビデオプロセッサ３８０は、汎用バス３２５に接続されている。ビデオプロセッサ３８０によって、データ処理装置３００は、その動作によって、上述したような、シーン内の個体数を推定する処理を実現することができる。
詳しくは、図７に示すように、ビデオプロセッサ３８０は、水平エッジ生成器４２０及び垂直エッジ生成器４３０を備える。水平エッジ生成器４２０及び垂直エッジ生成器４３０は、エッジ振幅計算器４４０、画像ブラーリング器（４２５、４３５）及びエッジ角度計算器４５０に動作可能に接続されている。
これらの要素からの出力は、以下に示すビデオプロセッサ３８０内の解析器に供給される。
垂直エッジ生成器４３０からの出力信号は、体エッジ解析器４６０に供給される。
画像ブラーリング器（４２５、４３５）からの出力信号は、水平エッジを入力として用いる場合、頭頂照合解析器４２６に供給され、垂直エッジを入力として用いる場合、頭側照合解析器４３６に供給される。
エッジ振幅計算器４４０からの出力信号は、頭中心照合解析器４４６及びエッジ角度照合解析器４５６に供給される。
また、エッジ角度計算器４５０からの出力信号は、エッジ角度照合解析器４５６にも供給される。
これらの解析器（４２６、４３６、４４６、４５６、４６０）からの出力信号は、結合器４７０に供給され、解析器（４２６、４３６、４４６、４５６、４６０）の解析結果の組合せが個体の存在を示しているかが判定され、存在していると判定された個体数が計数される。
プロセッサ３２４は、１つ以上のアプリケーション３２８からの命令の下で、オーディオ／ビデオ出力装置３４０を介してユーザに警告を発し、及び／又は制御出力３７０を介して自動応答を促す。このような警告等は、例えば、個体数が安全な閾値を超えた場合、又は連続して解析された画像間の比較が、渋滞（個体が十分に移動していない、又は計数された個体数の変化が小さい）を示している場合等に行われる。
ブラーリング器（４２５、４３５）、頭頂照合解析器４２６、頭側照合解析器４３６、頭中心照合解析器４４６及び体エッジ解析器４６０のいずれか又は全てがあらゆる状況に適切であるわけではないことは当業者にとって明らかである。このような状況では、例えば、結合器４７０によってこれらの一部又は全部をバイパスしてもよく、又はビデオプロセッサ３８０から削除してもよい。
また、同様に、上述した入力装置３３０、オーディオ／ビデオ出力装置３４０及び制御出力３７０があらゆる状況に適切であるとは限らないことも当業者にとって明らかである。例えば、入力装置３３０は、単なるオンオフスイッチであってもよく、オーディオ／ビデオ出力装置３４０は、単なる状態インジケータであってもよい。更に、計数された個体数に応じた自動制御が必要でない場合、制御出力３７０は省略できる。
また、本発明の実施の形態では、ビデオプロセッサと、ビデオプロセッサを構成する様々な要素は、データ処理装置３００内に配設してもよく、ビデオプロセッサ３８０内に配設してもよく、又は適切な何らかの手法によって、データ処理装置３００とビデオプロセッサ３８０との間で分散させて配置してもよい。例えば、ビデオプロセッサ３８０は、リムーバブルなＰＣＭＣＩＡ又はＰＣＩカードの形式で実現してもよい。他の具体例として、ビデオプロセッサ３８０に関連して開示した要素の一部、例えば、水平エッジ生成器４２０及び垂直エッジ生成器４３０を通信ユニット３５０内に配設してもよい。
このように、本発明は、適切な装置又は動作を提供するための適切な如何なる手法で実現してもよい。詳しくは、本発明は、単一の独立したエンティティ、例えば、汎用コンピュータ等の従来のホスト機器に挿入されるＰＣＭＣＩＡカード等の単一の独立したエンティティとして実現してもよく、従来のホスト機器に追加される複数のエンティティとして実現してもよく、又は例えば、ワーキングメモリ３２６のアプリケーション３２８のソフトウェア再構成等によって、従来のホスト機器の既存の一部を適応化することによって実現してもよい。これに代えて、追加的なエンティティと適応化されたエンティティを組み合わせてもよい。例えば、エッジ生成振幅計算及び角度計算は、ビデオプロセッサ３８０によって実行し、解析は、１つ以上のアプリケーション３２８からの命令の下で、中央プロセッサ３２４が実行してもよい。これに代えて、１つ以上のアプリケーション３２８からの命令に基づいて動作する中央プロセッサ３２４が、ビデオプロセッサの全ての機能を実行してもよい。したがって、従来のホスト機器の既存の一部の適応化には、例えば、ホスト機器内の１つ以上のプロセッサを再プログラミングをすることが含まれる。したがって、必要な適応化は、例えば、フロッピー（登録商標）ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ又はこれらの任意の組合せであるデータ担体又は他の記録媒体に格納され、又は例えば、イーサネット（登録商標）、無線ネットワーク、インターネット、若しくはこれらの又はこの他のネットワークの任意の組合せであるネットワーク上のデータ信号を介して伝送されるプロセッサが実行可能な命令を含むコンピュータプログラム製品の形式で実現される。
更に、本明細書において、画像の各ポイントには、様々な変換オペレータ及びテンプレートのサイズによって境界が設定され、更に、適切であれば、ユーザは、例えば、テーブルの中心又は壁の上部等、解析に無関係な固定された領域を予め除外するように境界を設定することもできる。更に、ポイントは、画像内の画素であっても、指定された検査位置又は領域であってもよく、このデータは、適切であれば、画像データをどのように処理して取得してもよい。
また、シーンの解析において、例えば、帽子を被っている人と被っていない人、中身が入っているボトルと空のボトル、混在する家畜等を区別するために、２つ以上のエッジ角度テンプレート２５４を用いてもよいことも当業者にとって明らかである。
本発明の実施の形態により、以下のような利点の幾つか又は全てが実現される。
１．演算負荷が比較的小さいエッジ照合技術が提供される。
２．エッジ角度解析によって、ある種の個体に特有の任意のプロファイル特徴を識別できる。
３．個体は、移動していても静止していてもよい。
４．シーン内で個体が重なってもよい。
５．個体の種類に特有のプロファイル特徴を参照して、シーンの他の要素を除外することができる。
６．この技術は、例えば人間の移動等に限定されず、様々な種類の個体に適用できる。
７．体、頭及び顔解析によって、適切に個体を識別できる。
８．解析されたシーンにおける混雑及び／又は渋滞の指示に応じて、容易に、自動的に警告又は応答を行うことができる。
本発明の実施の形態に基づくシーン解析処理のフローチャートである。 本発明の実施の形態に基づく水平エッジ解析及び垂直エッジ解析処理のフローチャートである。 本発明の実施の形態に基づくエッジ振幅解析処理のフローチャートである。 本発明の実施の形態に基づく垂直エッジ解析処理のフローチャートである。 本発明の実施の形態に基づく垂直及び水平原型マスクの概略図である。 本発明の実施の形態に基づくエッジマスク照合処理のフローチャートである。 本発明の実施の形態に基づくエッジ角度解析処理のフローチャートである。 本発明の実施の形態に基づく移動エッジ強調処理のフローチャートである。 本発明の実施の形態に基づくデータ処理装置のブロック図である。 本発明の実施の形態に基づくビデオプロセッサのブロック図である。

Claims (35)

  1. 画像内の個体の数を推定する個体数推定方法において、
    捕捉されたシーンの画像の少なくとも一部内の複数の画像位置について、個体の少なくとも部分的なアウトラインのテンプレート表現との位置及び角度の対応関係を示すエッジ対応値を生成するステップと、
    上記検出された対応したエッジ対応値に応じて、上記各画像位置の画像コンテンツが個体の画像の少なくとも一部に対応しているかを検出するステップとを有する個体数推定方法。
  2. 上記エッジ対応値を生成するステップは、
    上記画像の画像位置について、捕捉された画像から導出された複数のエッジと、該画像位置に関して特定された少なくとも第１のエッジ角度テンプレートとを比較するステップとを含み、該エッジ角度テンプレートは、予測されたエッジ角度を、エッジ間の予想された相対的位置に関連付け、該エッジ間の予想された相対的位置は、上記個体の少なくとも部分的なアウトラインを代表することを特徴とする請求項１記載の個体数推定方法。
  3. 上記予測されたエッジ角度をエッジ間の予想された相対的位置に関連付けるエッジ角度テンプレートは、該エッジ角度テンプレートに亘る角度値の空間的分布を含み、該角度値は、存在する可能性が高い、個体の少なくとも部分的なアウトラインを代表している位置に関して特定されていることを特徴とする請求項１又は２記載の個体数推定方法。
  4. 上記個体の少なくとも部分的なアウトラインは、頭の少なくとも部分的なアウトラインであることを特徴とする請求項１乃至３いずれか１項記載の個体数推定方法。
  5. 上記捕捉された画像の一部に水平空間傾斜オペレータ及び垂直空間傾斜オペレータをそれぞれ適用することによって、水平エッジ値及び垂直エッジ値を取得するステップを更に有する請求項１乃至４いずれか１項記載の個体数推定方法。
  6. 上記水平エッジ値及び垂直エッジ値を処理し、これらを組み合わせてエッジ振幅値を生成するステップを更に有する請求項１乃至５いずれか１項記載の個体数推定方法。
  7. 対応する垂直エッジ値及び水平エッジ値の解析によって、エッジ角度推定値を推定するステップを更に有する請求項１乃至６いずれか１項記載の個体数推定方法。
  8. 対応する垂直エッジ値と水平エッジ値の商に逆正接関数を適用することによってエッジ角度推定値を推定することを特徴とする請求項７記載の個体数推定方法。
  9. 低い振幅エッジ値に対応するエッジ角度推定を削除するステップを更に有する請求項７又は８記載の個体数推定方法。
  10. エッジ角度テンプレート上の対応する位置にあるエッジ角度推定値及びエッジ角度値の間の相対的な平行度の関数として、該エッジ角度テンプレートに対するエッジ角度推定値を推定するステップを更に有する請求項７乃至９いずれか１項記載の個体数推定方法。
  11. 上記エッジ角度テンプレートの複数のゾーンのそれぞれにおいて、該エッジ角度テンプレート上の対応する位置においてエッジ角度値に最も平行なエッジ角度推定値を評価するステップと、
    上記複数のゾーンについて、選択されたエッジ角度推定値と、対応するエッジ角度テンプレート値との間の角度値の差を組み合わせ、該エッジ角度テンプレートによる総合的な位置及び角度の対応関係を示すエッジ対応値を生成するステップとを更に有する請求項１０記載の個体数推定方法。
  12. 上記エッジ角度推定値及びエッジ角度テンプレート値を量子化するステップを更に有する請求項７乃至１１いずれか１項記載の個体数推定方法。
  13. １．体尤度値が体値閾値を超えている場合、２．頭中心尤度値が頭中心閾値の上側及び下側の閾値によって定義される範囲内に収まっている場合、３．頭頂尤度値が頭頂値閾値を超えている場合、４．頭側尤度値が頭側値閾値を超えている場合、５．エッジマスク畳込み値がエッジマスク畳込み値閾値を超えている場合のうちの１つ以上の条件を満たす場合、複数の画像位置のそれぞれが、少なくとも個体の画像の一部を構成していると判定するステップを更に有する請求項１乃至１２いずれか１項記載の個体数推定方法。
  14. シーン内のある画像位置について、該画像位置の下方の領域に出現する垂直エッジ値の総和によって体尤度値を生成するステップを更に有する請求項１３記載の個体数推定方法。
  15. シーン内の画像位置について、該画像位置に関連して位置決めされ、頭中心テンプレートの中心領域のみに得点を加算する頭中心テンプレートにエッジ振幅を関連付けることによって頭中心尤度値を生成するステップを更に有する請求項１３又は１４記載の個体数推定方法。
  16. 水平エッジ及び垂直エッジをブラーリングし、エッジから離れるに従って減少するエッジに隣接する値を生成するステップを更に有する請求項１３乃至１５いずれか１項記載の個体数推定方法。
  17. シーン内の画像位置について、ブラーリングされた水平エッジを、該画像位置に関連付けて位置決めされた頭頂テンプレートに関連付け、該頭頂テンプレートの上部領域のみに得点を加算し、該頭頂テンプレートの中心領域のみから得点を減算することによって、頭頂尤度値を生成するステップを更に有する請求項１６記載の個体数推定方法。
  18. シーン内のポイントについて、ブラーリングされた垂直エッジを、該画像位置に関連して位置決めされた頭側テンプレートに関連付け、該頭側テンプレートの側領域のみに得点を加算し該頭側テンプレートの中心領域から得点を減算することによって頭側尤度値を生成するステップを更に有する請求項１６記載の個体数推定方法。
  19. シーン内のポイントについて、正規化された水平エッジ及び垂直エッジを１つ以上のそれぞれの水平エッジマスク及び垂直エッジマスクによって畳み込み、最大出力値をエッジマスク畳込み値として選択することによってエッジマスク畳込み値を生成するステップを更に有する請求項１３乃至１５いずれか１項記載の個体数推定方法。
  20. 上記捕捉された画像と背景画像の間の差分マップを生成し、
    上記背景画像に低域通過フィルタを適用してブラーリングされた背景画像を生成し、
    上記捕捉された画像からブラーリングされた背景画像を減算し、該減算の差に差分マップ値を乗算し、ブラーリングされた背景画像に該乗算の積を加算することによって該捕捉された画像を強調するステップを更に有する請求項１乃至１９いずれか１項記載の個体数推定方法。
  21. 個体の画像の少なくとも一部に貢献していると検出された画像位置又は局所的な画像位置のグループを計数することによって、画像内の個体数を推定するステップを更に有する請求項１乃至２０いずれか１項記載の個体数推定方法。
  22. 連続する画像のそれぞれにおいて、個体数の推定値を比較することによって、画像内の個体数の変化を推定するステップを更に有する請求項２１記載の個体数推定方法。
  23. 画像内の個体の数を推定するデータ処理装置において、
    捕捉されたシーンの画像の少なくとも一部内の複数の画像位置について、個体の少なくとも部分的なアウトラインのテンプレート表現との位置及び角度の対応関係を示すエッジ対応値を生成する解析手段と、
    上記検出された対応したエッジ対応値に応じて、上記各画像位置の画像コンテンツが個体の画像の少なくとも一部に対応しているかを検出する検出手段とを備えるデータ処理装置。
  24. 上記画像から導出された複数のエッジと、上記画像位置に関して特定され、予測されたエッジ角度を、上記個体の少なくとも部分的なアウトラインを代表するエッジ間の予想された相対的位置に関連付ける、少なくとも第１のエッジ角度テンプレートとを比較する比較手段と、
    上記比較に基づいて、エッジ対応値を出力するエッジ角度照合解析手段とを更に備える請求項２３記載のデータ処理装置。
  25. 対応する水平エッジ値と垂直エッジ値の商に逆正接関数を適用するエッジ角度計算器を更に備える請求項２３又は２４記載のデータ処理装置。
  26. 上記エッジ角度照合解析手段は、エッジ角度テンプレート上の対応する位置にあるエッジ角度推定値及びエッジ角度値の間の相対的な平行度の関数として、該エッジ角度テンプレートに対するエッジ角度推定値を推定することを特徴とする請求項２３乃至２５いずれか１項記載のデータ処理装置。
  27. 上記エッジ角度照合解析手段は、上記エッジ角度テンプレートの複数のゾーン内で、該エッジ角度テンプレート上の対応する位置においてエッジ角度値に最も平行なエッジ角度推定値を選択し、該複数のゾーンの対応する位置について、該最も平行なエッジ角度推定値とエッジ角度値の差分を組み合わせ、該エッジ角度テンプレートによる総合的な位置及び角度の対応関係を示すエッジ対応値を生成することを特徴とする請求項２３乃至２６いずれか１項記載のデータ処理装置。
  28. コンピュータにロードされ、該コンピュータに請求項１乃至２２いずれか１項記載の個体数推定方法を実行させるコンピュータにより読取可能な命令が格納されたデータ担体。
  29. コンピュータにロードされ、該コンピュータを請求項２３乃至２７いずれか１項記載のデータ処理装置として動作させるコンピュータにより読取可能な命令が格納されたデータ担体。
  30. コンピュータに供給され、該コンピュータに請求項１乃至２２いずれか１項記載の個体数推定方法を実行させるコンピュータにより読取可能な命令を表すデータ信号。
  31. コンピュータに供給され、該コンピュータを請求項２３乃至２７いずれか１項記載のデータ処理装置として動作させるコンピュータにより読取可能な命令を表すデータ信号。
  32. コンピュータに供給され、該コンピュータに請求項１乃至２２いずれか１項記載の個体数推定方法を実行させるコンピュータにより読取可能な命令。
  33. コンピュータに供給され、該コンピュータを請求項２３乃至２７いずれか１項記載のデータ処理装置として動作させるコンピュータにより読取可能な命令。
  34. 図面を参照して明細書において実質的に説明する、画像内の個体の数を推定する個体数推定方法。
  35. 図面を参照して明細書において実質的に説明するデータ処理装置。
JP2006296401A 2005-10-31 2006-10-31 シーン解析 Abandoned JP2007128513A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
GB0522182A GB2431717A (en) 2005-10-31 2005-10-31 Scene analysis

Publications (2)

Publication Number Publication Date
JP2007128513A true JP2007128513A (ja) 2007-05-24
JP2007128513A5 JP2007128513A5 (ja) 2009-11-19

Family

ID=35516049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006296401A Abandoned JP2007128513A (ja) 2005-10-31 2006-10-31 シーン解析

Country Status (3)

Country Link
US (1) US20070098222A1 (ja)
JP (1) JP2007128513A (ja)
GB (2) GB2431717A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305059A (ja) * 2007-06-06 2008-12-18 Yaskawa Information Systems Co Ltd 物体認識装置および物体認識方法
JP2011134322A (ja) * 2009-12-23 2011-07-07 Intel Corp モデル・ベースの競技場位置合わせ
WO2012121137A1 (ja) * 2011-03-04 2012-09-13 株式会社ニコン 画像処理装置および画像処理プログラム
JP2021039457A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法
JP7508206B2 (ja) 2019-08-30 2024-07-01 キヤノン株式会社 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008286725A (ja) * 2007-05-21 2008-11-27 Mitsubishi Electric Corp 人物検出装置および方法
WO2009078957A1 (en) * 2007-12-14 2009-06-25 Flashfoto, Inc. Systems and methods for rule-based segmentation for objects with full or partial frontal view in color images
US8320615B2 (en) * 2008-02-27 2012-11-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform
US8133119B2 (en) * 2008-10-01 2012-03-13 Microsoft Corporation Adaptation for alternate gaming input devices
TWI394095B (zh) * 2008-10-22 2013-04-21 Ind Tech Res Inst 影像偵測方法及其系統
US9652030B2 (en) * 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
US8866821B2 (en) 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
US8294767B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8773355B2 (en) * 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8340432B2 (en) * 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US9498718B2 (en) * 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US20100295771A1 (en) * 2009-05-20 2010-11-25 Microsoft Corporation Control of display objects
US8625837B2 (en) * 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US8145594B2 (en) * 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US8176442B2 (en) * 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US8856691B2 (en) * 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8379101B2 (en) * 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8418085B2 (en) * 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US9182814B2 (en) * 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8509479B2 (en) 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US8803889B2 (en) 2009-05-29 2014-08-12 Microsoft Corporation Systems and methods for applying animations or motions to a character
US7914344B2 (en) * 2009-06-03 2011-03-29 Microsoft Corporation Dual-barrel, connector jack and plug assemblies
US8452599B2 (en) * 2009-06-10 2013-05-28 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for extracting messages
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US8269616B2 (en) * 2009-07-16 2012-09-18 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for detecting gaps between objects
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US9141193B2 (en) * 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US8643777B2 (en) * 2009-09-25 2014-02-04 Vixs Systems Inc. Pixel interpolation with edge detection based on cross-correlation
US8337160B2 (en) * 2009-10-19 2012-12-25 Toyota Motor Engineering & Manufacturing North America, Inc. High efficiency turbine system
US20110109617A1 (en) * 2009-11-12 2011-05-12 Microsoft Corporation Visualizing Depth
US8237792B2 (en) 2009-12-18 2012-08-07 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for describing and organizing image data
CN101872414B (zh) * 2010-02-10 2012-07-25 杭州海康威视软件有限公司 可去除虚假目标的人流量统计的方法及系统
CN101872422B (zh) * 2010-02-10 2012-11-21 杭州海康威视数字技术股份有限公司 可精确辨别目标的人流量统计的方法及系统
JP5505007B2 (ja) * 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
CN101833762B (zh) * 2010-04-20 2012-02-15 南京航空航天大学 基于对象间粗大边缘和拟合的异源图像匹配的方法
US8424621B2 (en) 2010-07-23 2013-04-23 Toyota Motor Engineering & Manufacturing North America, Inc. Omni traction wheel system and methods of operating the same
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
JP5408205B2 (ja) * 2011-08-25 2014-02-05 カシオ計算機株式会社 制御点設定方法、制御点設定装置及びプログラム
CN103136534A (zh) * 2011-11-29 2013-06-05 汉王科技股份有限公司 自适应的区域行人计数方法及装置
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
ITVI20120041A1 (it) * 2012-02-22 2013-08-23 St Microelectronics Srl Rilevazione di caratteristiche di un'immagine
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9092692B2 (en) 2012-09-13 2015-07-28 Los Alamos National Security, Llc Object detection approach using generative sparse, hierarchical networks with top-down and lateral connections for combining texture/color detection and shape/contour detection
US9152888B2 (en) * 2012-09-13 2015-10-06 Los Alamos National Security, Llc System and method for automated object detection in an image
US9152881B2 (en) 2012-09-13 2015-10-06 Los Alamos National Security, Llc Image fusion using sparse overcomplete feature dictionaries
CN102982598B (zh) * 2012-11-14 2015-05-20 三峡大学 基于单个摄像头场景配置的视频人数统计方法和系统
US10009579B2 (en) * 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9367733B2 (en) 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
CN103077398B (zh) * 2013-01-08 2016-06-22 吉林大学 基于嵌入式的自然环境下家畜群体数目监测方法
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9639747B2 (en) 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
EP2804128A3 (en) 2013-03-22 2015-04-08 MegaChips Corporation Human detection device
CN103489107B (zh) * 2013-08-16 2015-11-25 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
CN104463185B (zh) * 2013-09-16 2018-02-27 联想(北京)有限公司 一种信息处理方法及电子设备
TWI510953B (zh) * 2013-12-20 2015-12-01 Wistron Corp 身份驗證防僞方法與應用此方法的身份驗證裝置
CN105306909B (zh) * 2015-11-20 2018-04-03 中国矿业大学(北京) 基于视觉的煤矿井下作业人员超员报警系统
US11004205B2 (en) * 2017-04-18 2021-05-11 Texas Instruments Incorporated Hardware accelerator for histogram of oriented gradients computation
US11830274B2 (en) * 2019-01-11 2023-11-28 Infrared Integrated Systems Limited Detection and identification systems for humans or objects

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953055A (en) * 1996-08-08 1999-09-14 Ncr Corporation System and method for detecting and analyzing a queue
US6148115A (en) * 1996-11-08 2000-11-14 Sony Corporation Image processing apparatus and image processing method
US5953056A (en) * 1996-12-20 1999-09-14 Whack & Track, Inc. System and method for enhancing display of a sporting event
JP2000517452A (ja) * 1997-05-05 2000-12-26 シェル オイル カンパニー 視認の方法
DE60238041D1 (de) * 2001-03-13 2010-12-02 Ecchandes Inc Visuelle einrichtung, verriegelnder zähler und bildsensor
US7149356B2 (en) * 2002-07-10 2006-12-12 Northrop Grumman Corporation System and method for template matching of candidates within a two-dimensional image
AU2002360558A1 (en) * 2002-12-11 2004-06-30 Nielsen Media Research, Inc Methods and apparatus to count people appearing in an image
JP4046079B2 (ja) * 2003-12-10 2008-02-13 ソニー株式会社 画像処理装置
US7715589B2 (en) * 2005-03-07 2010-05-11 Massachusetts Institute Of Technology Occluding contour detection and storage for digital photography

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305059A (ja) * 2007-06-06 2008-12-18 Yaskawa Information Systems Co Ltd 物体認識装置および物体認識方法
JP2011134322A (ja) * 2009-12-23 2011-07-07 Intel Corp モデル・ベースの競技場位置合わせ
KR101232509B1 (ko) * 2009-12-23 2013-02-12 인텔 코오퍼레이션 모델 기반의 플레이 필드 레지스트레이션
WO2012121137A1 (ja) * 2011-03-04 2012-09-13 株式会社ニコン 画像処理装置および画像処理プログラム
JP6020439B2 (ja) * 2011-03-04 2016-11-02 株式会社ニコン 画像処理装置、撮像装置、および画像処理プログラム
JP2021039457A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法
JP7508206B2 (ja) 2019-08-30 2024-07-01 キヤノン株式会社 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法

Also Published As

Publication number Publication date
GB0522182D0 (en) 2005-12-07
US20070098222A1 (en) 2007-05-03
GB2431717A (en) 2007-05-02
GB2431718A (en) 2007-05-02
GB0620607D0 (en) 2006-11-29

Similar Documents

Publication Publication Date Title
JP2007128513A (ja) シーン解析
Hsieh et al. Shadow elimination for effective moving object detection by Gaussian shadow modeling
CN107527009B (zh) 一种基于yolo目标检测的遗留物检测方法
Denman et al. An adaptive optical flow technique for person tracking systems
Santosh et al. Tracking multiple moving objects using gaussian mixture model
Li et al. A new method combining HOG and Kalman filter for video-based human detection and tracking
CN102881022A (zh) 基于在线学习的遮挡目标跟踪方法
US8675917B2 (en) Abandoned object recognition using pedestrian detection
Asaidi et al. Shadow elimination and vehicles classification approaches in traffic video surveillance context
CN109583315A (zh) 一种面向智能视频监控的多通道快速人体姿态识别方法
Abbas et al. A comprehensive review of vehicle detection using computer vision
Malhi et al. Vision based intelligent traffic management system
CN112071084A (zh) 一种利用深度学习判断违章停车的方法和系统
CN105809954A (zh) 交通事件检测方法以及系统
Gaba et al. Motion detection, tracking and classification for automated Video Surveillance
Zhao et al. APPOS: An adaptive partial occlusion segmentation method for multiple vehicles tracking
Rao et al. Abnormal activity detection in video sequences using learnt probability densities
Khan Estimating Speeds and Directions of Pedestrians in Real-Time Videos: A solution to Road-Safety Problem.
Pathak et al. Applying transfer learning to traffic surveillance videos for accident detection
Deepak et al. Design and utilization of bounding box in human detection and activity identification
Batapati et al. Video analysis for traffic anomaly detection using support vector machines
Phung et al. A new image feature for fast detection of people in images
Manjusha et al. Design of an image skeletonization based algorithm for overcrowd detection in smart building
Jehad et al. Developing and validating a real time video based traffic counting and classification
CN117058627B (zh) 一种公共场所人群安全距离监测方法、介质及系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070412

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080418

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091005

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20110107