JP2011039995A - 対象物検出装置、対象物検出方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 カメラ設置場所毎の最適パラメータ調整に手間とコストの軽減がされ、また、カメラ設置場所の周囲の状態の変化に合わせて、高速に、かつ、誤検出が少なく、対象物の検出を行うことのできる対象物検出装置を提供する。
【解決手段】 画像情報取得手段と、対象物検出手段とを有し、前記二手段の作動が、準備作動と実動作動とに分けられ、準備作動において、前記二手段で使用する各パラメータを、実動作動で用いるものよりも広い範囲で設定して前記二手段を作動することにより分析用データを取得する分析用データ取得手段と、分析用データから、前記各パラメータの少なくとも１つを選択して最適パラメータを決定する最適パラメータ決定手段とを有し、実動作動において、決定された最適パラメータを用いて前記二手段を作動することにより、対象物を検出し、前記検出された対象物の動きを追跡する。
【選択図】 図１（ａ）

Description

本発明は、対象物検出装置、対象物検出方法、プログラムおよび記録媒体に関する。

動画像に写された不特定多数の人物、車両、動物等の物体を検出し、それらの動きを追跡する追跡処理は、施設等への入退場人数の計測や、スポーツ競技中の選手の動きの解析、移動調査、個体認識の用途などに用いられている（例えば、特許文献１、２参照）。動画像は、特定の場所に設置したカメラ等で撮影されたものを用いることが多い。前記検出や追跡は、客層分析、セキュリティ、デジタルサイネージ用データの取得、ＰＯＳシステム（販売時点情報管理）への組み込み等その目的に応じて、また、カメラの設置条件等によっても、パラメータを最適化する必要がある。例えば、店舗の利用者を検出・追跡する場合、入り口付近に内向きにカメラを設置すると、店舗から出ようとする人物の姿を正面から捉えることができる。この場合、人物の顔面がわかりやすい画像を得ることができるので、店舗利用者の性別、年齢等の属性情報を得ることができる。一方、駅のホームの場合、ホーム端からホーム全体を見渡せる位置にカメラを設置すると、ホームで電車を待つ人物は線路に向かう方向にならぶことが多いので、画像には人物の横顔が多く写ることになる。このような場合は、横顔から属性を判断するデータ構築しておくことも効果的である。

これらの例のように、一見してカメラの設置場所から、得られる画像が推測される場合には、初期設定において撮影範囲の大きさや撮影角度等、検出のパラメータのある程度の最適化が可能である。しかし、多くの場合は、実際に稼働させて得られたデータおよび経験から、カメラ毎に前記パラメータの最適化を人手で行う必要があった。また、カメラ設置場所周囲の状態が、天候や季節、曜日、時刻等によって変化する場合であっても、一旦最適化された状態から現場の状況に応じてパラメータを変更することは困難であった。

特開２００４−３４８６１８号公報 特開２００４−４６６４７号公報

そこで、本発明は、カメラ設置場所毎の最適パラメータ調整の手間とコストの軽減がされ、また、カメラ設置場所の周囲の状態の変化に合わせて、最適な条件で画像取得することで、高速に、かつ、誤検出が少なく、対象物の検出を行うことのできる対象物検出装置、対象物検出方法、プログラムおよび記録媒体を提供することを目的とする。

前記目的を達成するために、本発明の対象物検出装置は、
画像を撮影し、画像情報を取得する画像情報取得手段と、
前記画像情報から対象物を検出する対象物検出手段とを有し、
前記二手段の作動が、準備作動と実動作動とに分けられ、
前記準備作動において、画像情報取得パラメータおよび検出パラメータを、前記実動作動で用いるものよりも広い範囲で設定して前記二手段を作動することにより、分析用データを取得する分析用データ取得手段と、
前記取得された分析用データから、前記画像情報取得パラメータおよび前記検出パラメータの少なくとも１つを選択して最適パラメータを決定する最適パラメータ決定手段とを有し、
前記実動作動において、前記決定された最適パラメータを用いて前記二手段を作動することにより、対象物を検出することを特徴とする。

また、本発明の対象物検出方法は、
画像を撮影し、画像情報を取得する画像情報取得工程と、
前記画像情報から対象物を検出する対象物検出工程とを有し、
前記二工程が、準備工程と実動工程とに分けられ、
前記準備工程において、画像情報取得パラメータおよび検出パラメータを、前記実動工程で用いるものよりも広い範囲で設定して前記二工程を実施することにより、分析用データを取得し、
前記取得された分析用データから、前記画像情報取得パラメータおよび前記検出パラメータの少なくとも１つを選択して最適パラメータを決定し、
前記実動工程において、前記決定された最適パラメータを用いて前記二工程を実施することにより、対象物を検出することを特徴とする。

本発明のプログラムは、前記本発明の対象物検出方法をコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記本発明のプログラムを記録していることを特徴とする。

本発明によれば、カメラ設置場所毎の最適パラメータ調整の手間とコストの軽減がされ、また、カメラ設置場所の周囲の状態の変化に合わせて、最適な条件で画像取得することで、高速に、かつ、誤検出が少なく、対象物の検出を行うことのできる対象物検出装置、対象物検出方法、プログラムおよび記録媒体を提供することができる。

図１（ａ）は、本発明の対象物検出装置の実施形態１における一例の構成を示すブロック図である。 図１（ｂ）は、本発明の対象物検出装置の実施形態１におけるその他の例の構成を示すブロック図である。 図２は、フレーム間での人物の移動距離を説明する図である。 図３は、フレーム間での人物の頭部の大きさの差を説明する図である。 図４は、本発明の対象物検出装置の実施形態２における一例の構成を示すブロック図である。 図５は、本発明の対象物検出装置を用いた部品情報検出システムの一例の構成を示すブロック図である。 図６は、実施形態４の説明図である。 図７は、実施形態４の他の説明図である。 図８は、実施形態５の説明図である。 図９は、実施形態５の他の説明図である。

本発明の対象物検出装置において、さらに、前記検出された対象物を追跡する対象物追跡手段を有し、
前記対象物追跡手段を含む三手段の作動が、準備作動と実動作動とに分けられ、
前記準備作動において、画像情報取得パラメータ、検出パラメータおよび追跡パラメータを、前記実動作動で用いるものよりも広い範囲で設定して前記三手段を作動することにより、分析用データを取得する分析用データ取得手段と、
前記取得された分析用データから、前記画像情報取得パラメータ、前記検出パラメータおよび前記追跡パラメータの少なくとも１つを選択して最適パラメータを決定する最適パラメータ決定手段とを有し、
前記実動作動において、前記決定された最適パラメータを用いて前記三手段を作動することにより、対象物を検出し、さらに、前記検出された対象物の動きを追跡することが好ましい。

また、本発明の対象物検出方法において、さらに、前記検出された対象物を追跡する対象物追跡工程を有し、
前記対象物追跡工程を含む三工程が、準備工程と実動工程とに分けられ、
前記準備工程において、画像情報取得パラメータ、検出パラメータおよび追跡パラメータを、前記実動工程で用いるものよりも広い範囲で設定して前記三工程を実施することにより、分析用データを取得し、
前記取得された分析用データから、前記画像情報取得パラメータ、前記検出パラメータおよび前記追跡パラメータの少なくとも１つを選択して最適パラメータを決定し、
前記実動工程において、前記決定された最適パラメータを用いて前記三工程を実施することにより、対象物を検出し、前記検出された対象物の動きを追跡することが好ましい。

以下、本発明の対象物検出装置、対象物検出方法について、詳細に説明する。ただし、本発明は、以下の実施形態に限定されない。

（実施形態１）
図１（ａ）に、本発明の対象物検出装置の一例の構成を示す。図示のとおり、この対象物検出装置１０は、画像情報取得手段１１と、対象物検出手段１２と、分析用データ取得手段１４と、最適パラメータ決定手段１５とを備える。前記画像情報取得手段１１は、前記対象物検出手段１２に電気的に接続されている。前記画像情報取得手段１１と、前記対象物検出手段１２とは、前記分析用データ取得手段１４に電気的に接続されている。前記分析用データ取得手段１４は、前記最適パラメータ決定手段１５に電気的に接続されている。そして、前記最適パラメータ決定手段１５は、前記画像情報取得手段１１と、前記対象物検出手段１２とに電気的に接続されている。本実施形態の対象物検出装置は、任意の構成部材として出力手段を備えていることも好ましい。

図１（ｂ）に、本発明の対象物検出装置のその他の例の構成を示す。図示のとおり、この対象物検出装置２０は、画像情報取得手段１１と、対象物検出手段１２と、対象物追跡手段１３と、分析用データ取得手段１４と、最適パラメータ決定手段１５とを備える。前記画像情報取得手段１１は、前記対象物検出手段１２に電気的に接続されている。前記対象物検出手段１２は、前記対象物追跡手段１３に電気的に接続されている。前記画像情報取得手段１１と、前記対象物検出手段１２と、前記対象物追跡手段１３とは、前記分析用データ取得手段１４に電気的に接続されている。前記分析用データ取得手段１４は、前記最適パラメータ決定手段１５に電気的に接続されている。そして、前記最適パラメータ決定手段１５は、前記画像情報取得手段１１と、前記対象物検出手段１２と、前記対象物追跡手段１３とに電気的に接続されている。本実施形態の対象物検出装置は、任意の構成部材として出力手段を備えていることも好ましい。

前記画像情報取得手段１１としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ、イメージスキャナ等があげられる。前記対象物検出手段１２、前記対象物追跡手段１３および前記最適パラメータ決定手段１５としては、例えば、中央処理装置（ＣＰＵ）等があげられる。前記分析用データ取得手段１４としては、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。前記分析用データ取得手段１４は、装置内蔵型であってもよいし、外部記憶装置のような外付け型であってもよい。前記出力手段としては、例えば、映像により出力するモニター（例えば、液晶ディスプレイ（ＬＣＤ）、ブラウン管（ＣＲＴ）ディスプレイ等の各種画像表示装置等）、印刷により出力するプリンター等があげられる。前記画像情報取得手段、前記対象物検出手段、前記対象物追跡手段、前記分析用データ取得手段、前記最適パラメータ決定手段および出力手段については、後述の実施形態においても同様である。

つぎに、図１（ｂ）に基づき、本実施形態の対象物検出方法を説明する。ここでは、対象物追跡手段１３を有する態様について説明するが、図１（ａ）に示す構成の場合は、前記対象物追跡手段を有さないこと以外は同様である。本実施形態の対象物検出装置２０では、まず、前記画像情報取得手段１１は、画像情報取得工程において画像情報ａを取得する。前記画像情報ａの取得は、設定された画像情報取得パラメータによる条件下で行われる。前記画像情報取得手段１１は、前記対象物検出手段１２および前記分析用データ取得手段１４に、前記画像情報ａを電気的信号として出力する。前記対象物検出手段１２は、前記画像情報ａを受け取り、対象物検出工程において対象物を検出して、前記対象物追跡手段１３および前記分析用データ取得手段１４に、前記対象物の位置や大きさ等の対象物データｂを電気的信号として出力する。前記対象物データｂは、設定された検出パラメータによる条件下で得られたものである。前記対象物追跡手段１３は、前記対象物データｂを受け取り、対象物追跡工程において複数フレームの画像における前記対象物データｂを分析し、前記複数フレームの画像中の対象物の同一性を判断して、前記分析用データ取得手段１４に対象物追跡結果データｃを、電気的信号として出力する。前記対象物追跡結果データｃは、設定された追跡パラメータによる条件下で得られたものである。

前記画像情報ａ、前記対象物データｂおよび前記対象物追跡結果データｃは、前記分析用データ取得手段１４を用いて取得される。前記画像情報ａ、前記対象物データｂおよび前記対象物追跡結果データｃは、前記分析用データ取得手段１４に蓄積されてもよい。前記最適パラメータ決定手段１５は、前記分析用データ取得手段１４に取得されたデータから、前記画像情報取得パラメータ、前記検出パラメータおよび前記追跡パラメータを最適化した、最適パラメータｄを決定する。前記最適パラメータｄとしては、各々のパラメータをそれぞれ最適化したパラメータであってもよいし、選択される一部のパラメータを最適化したパラメータであってもよい。また、例えば、前記追跡パラメータから、検出された対象物の移動確率といった特定のパラメータを選択するというように、現場に応じたパラメータ種類を決定するものであってもよい。

決定された最適パラメータｄは、前記画像情報取得手段１１、前記対象物検出手段１２および前記対象物追跡手段１３にフィードバックされる。フィードバック後は、前記画像情報取得手段１１、前記対象物検出手段１２および前記対象物追跡手段１３は、前記決定された最適パラメータｄを用いて特化した最適条件で、作動する。

本発明は、対象物検出装置の実動作動を開始する前に、予め、前記画像情報取得パラメータ、前記検出パラメータおよび前記追跡パラメータを広い範囲で設定して準備作動を行い詳細な分析用データを取得し、この詳細な分析用データに基づき、実動作動時の最適パラメータを取得し、適用させることが特徴である。パラメータを最適条件で作動する結果、当該パラメータに特化した高速アルゴリズムを使用できるので、処理時間の短縮、誤検出の減少を実現することができる。

前記準備作動段階では、前記画像情報取得工程において、例えば、メモリ上に連続したフレームを保存したり、他の画像保存装置（ＨＤＤ等）に画像を保存することでフレームレートを高く設定したり、画像を高精細に設定する等の方法で、詳細な画像情報を得ることができる。例えば、フレームレートを３０ｆｐｓ、６０ｆｐｓ等、高い値に設定して前記準備作動を行うことが好ましい。詳細な画像情報を用いることで、詳細な分析を行うことが可能となり、前記実動作動段階での最適なパラメータを得ることができる。対象物検出工程においては、対象物の大きさ、位置、向き等を詳細に調査し、あり得る範囲を抽出する。例えば、対象物として人物の追跡を行う際に、人物の検出を人物の頭部で行う場合、前記準備作動段階での画像情報中で、正面付近を向いた大きな頭部の出現頻度が高く、それ以外はほとんど出現しないのであれば、前記実動作動段階では正面付近を向いた所定範囲の大きさの頭部の検出に限定した検出パラメータを最適パラメータ決定工程において決定すればよい。また、対象物追跡工程においては、フレームレートが高い場合、対象物のフレーム間での移動距離が短くなるため、対象物の追跡が容易であり、また、追跡の精度も高くなる。前記準備作動段階で得られるデータを用いると、詳細に追跡が可能であるため、あるフレームに写っている人物が、次のフレームやそれ以降のフレームにおいて、どこにいる確率が高いか、という統計情報を得ることができる。前記準備作動段階において、例えば、フレームＦ１中の位置Ｐ１にいる人物が、所定時間後のフレームＦ２において、位置Ｐ２にいる確率が９８％、位置Ｐ２’にいる確率が２％であったとすると、前記実動作動段階では、対象物の追跡はＰ１からＰ２の方向で行うように、追跡パラメータを設定すればよい。最適パラメータを取得し適用させることで、前記実動作動段階ではフレームレートを、例えば、５ｆｐｓ程度にまで下げることも可能となる。

対象物検出手段１２における対象物の検出には、テンプレートマッチングや、輪郭抽出などの手法を採用することができる。そして、検出された前記対象物の位置、大きさ等の対象物データを取得する。例えば、人物の動きを追跡する場合、人物自体を前記対象物としてもよいし、人物の一部である頭部を対象物として検出することで人物の動きを検出してもよい。頭部を対象物とした場合、対象物データとしては、位置と大きさに加え、頭部の向き、色彩等を取得することができる。対象物データの種類が多ければ、後の対象物追跡手段１３での追跡精度を向上させることができる。

対象物追跡手段１３は、複数フレームの画像における前記対象物データを分析し、対象物の追跡を実施する。あるフレーム画像に写っている人物が、前のフレーム画像において写っているか否かは、例えば、前記対象物データの相関の高低によって判断することができる。例えば、ｎ番目のフレーム画像に１名の人物Ｗが検出されており、ｎ−１番目のフレーム画像に３名の人物Ａ、ＢおよびＣが検出されているとする。この場合、人物Ｗの対象物データＷ_ｎと、ｎ−１番目のフレーム画像に写っている人物Ａ、ＢおよびＣの各々の対象物データＡ_ｎ−１、Ｂ_ｎ−１およびＣ_ｎ−１とを比較する。その結果、最も相関が高いと判断された人物が、人物Ｗと同一人物と判定され、ｎ−１番目とｎ番目の両フレーム間での人物Ｗの移動が追跡されることになる。

人物の同一性を判定するための対象物データのパラメータとしては、以下のものをあげることができる。ただし、これらのパラメータに限定されない。

＜移動距離＞
通常、同一人物の位置は、連続するフレーム間で急激に変化しない。例えば、図２に示すように、ｎ−１番目のフレームにおける任意の候補者の位置を（Ｘ_ｎ−１，Ｙ_ｎ−１）、ｎ番目のフレームにおける人物の位置を（Ｘ_ｎ，Ｙ_ｎ）とした場合に、これらの２点間の距離ｄｉｆｆ_ｄｉｓｔ＝［（Ｘ_ｎ−１−Ｘ_ｎ）^２＋（Ｙ_ｎ−１−Ｙ_ｎ）^２］^１／２が、小さいほど人物の同一性が高いと考えられる。

＜予測位置との比較＞
あるフレームの画像に写っている人物が、次のフレームの画像においてどの位置に移動するかは、予測可能である。例えば、ｎ−１番目のフレームの画像に写っている人物が次のｎ番目のフレームでどの位置に移動するかは、ｎ−１番目のフレームの画像およびｎ−２番目以前のフレームの画像から予測可能である。ｎ−１番目のフレームにおいて予測したｎ番目のフレーム画像での人物の位置と、ｎ番目のフレームにおける実際の位置との２点間の距離が小さいほど、人物の同一性が高いと考えられる。

＜頭部の大きさ＞
通常、同一人物の頭部の大きさは、連続するフレーム間で急激に変化しない。例えば、図３に示すように、ｎ−１番目のフレームにおける任意の人物の頭部の大きさをｈ_ｎ−１、ｎ番目のフレームにおける頭部の大きさをｈ_ｎとすると、これらの大きさの差（ｄｉｆｆ_{ｈｅａｄ−ｓｉｚｅ}）が、小さいほど人物の同一性が高いと考えられる。

＜頭部の向き＞
一般的に、人間は一定の方向を向いて移動するため、あるフレームにおける頭部の向きとその次のフレームにおける頭部の向きが極端に異なることは稀である。よって、ｎ−１番目のフレームにおける頭部の向きと、ｎ番目のフレームにおける頭部の向きとを比較することで、人物の同一性を判定可能である。ｎ−１番目のフレームにおける頭部の向きと、ｎ番目のフレームにおける頭部の向きとの差が小さいほど、人物の同一性が高いと考えられる。

また、移動時に頭部が向いている方向は、その人物の進行方向と一致すると考えられる。したがって、ｎ−１番目のフレームの頭部の向きから予測した移動方向と、ｎ−１番目のフレームからｎ番目のフレームの間に移動した方向とを比較することによって、人物の同一性を判定できる。ｎ−１番目のフレームにおける頭部の向きと、ｎ−１番目のフレームからｎ番目のフレームの間に移動した方向との差が小さいほど、人物の同一性が高いと考えられる。

＜服装の共通性＞
同一人物の衣服の大きさは、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の服装を基に、人物の同一性を判定可能である。フレーム画像において人物の頭部を検出した場合、その直下の部分はその人物の胸部であると推定できる。したがって、あるフレーム画像における人物の頭部の直下の部分（胸部領域）における色成分のヒストグラム分布と、その後のフレーム画像における胸部領域における色成分のヒストグラム分布とは、同一人物であればほぼ同じとなる。したがって、ｎ−１番目のフレームにおける胸部領域の色成分のヒストグラム分布と、ｎ番目のフレームにおける胸部領域の色成分のヒストグラム分布との差が小さいほど、人物の同一性が高いと考えられる。

＜顔の類似度＞
同一人物の顔は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の顔を基に、人物の同一性を判定可能である。フレーム間での人物の顔の相違は、テンプレートマッチング等によって数値化できる。これらの方法で数値化した値が小さいほど、人物の同一性が高いと考えられる。

＜性別度＞
同一人物の顔の女性らしさや男性らしさは、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の女性らしさや男性らしさを基に、人物の同一性を判定可能である。ここで、女性らしさや男性らしさを性別度として定義すると、性別度は識別器によって顔画像を基に出力可能である。例えば、フレーム画像に写っている人物の顔が女性らしいほど０に近い値を出力し、男性らしいほど１に近い値を出力するようにすればよい。上記のように性別度を出力する場合、ｎ−１番目のフレームにおける性別度と、ｎ番目のフレームにおける性別度との差が小さいほど、人物の同一性が高いと考えられる。

＜年齢＞
同一人物の年齢は、連続するフレーム間で急激に変化しない。よって、フレーム画像に写っている人物の年齢を基に、人物の同一性を判定可能である。人間の年齢は連続量を扱う識別器によって、顔画像を基に推定することが可能である。ｎ−１番目のフレームにおいて推定された年齢と、ｎ番目のフレームにおいて推定された年齢との差が小さいほど、人物の同一性が高いと考えられる。

＜移動の確率＞
前記準備作動段階で、移動距離および移動方向の移動の確率を算出しておく。実動作動段階において、同一人物の移動は、所定間隔のフレーム間で、前記確率から大きく外れないと考えられる。よって、前記移動の確率を基に、人物の同一性を判定可能である。ｎ−１番目のフレームの頭部の位置からの移動の確率の分布と、ｎ番目のフレームの頭部の位置とを比較することによって、人物の同一性を判定できる。前記移動の確率の分布の高い場所に存在する位置にある頭部であるほど、人物の同一性が高いと考えられる。

上記のような各パラメータに関しては、人物の追跡に用いる否かを個別に設定可能である。

最適パラメータ決定手段１５におけるパラメータ最適化は、例えば、上記の各パラメータをスコア化して閾値を設定することで行うことができる。複数のフレーム間で検出された２つの頭部が同じ人物かどうかを判定する際、上記の各パラメータの情報のうち複数の情報を用いて決定することが好ましい。このとき、用いる情報として前記移動の確率を追加することで、当該画像情報取得場所における人物の動きのパターンに合致したものはスコアを高く、そうでないものはスコアが低くすることができる。そのため、フレーム間での人物の追跡の判定をより精度よく行うことができるようになる。

（実施形態２）
図４に、本実施形態の対象物検出装置の一例の構成を示す。同図において、図１（ｂ）と同一部分には同一の符号を付している。図４に示すとおり、この対象物検出装置４０は、最適パラメータ更新手段４６をさらに備えること以外は、実施形態１の対象物検出装置と同様の構成を有する。すなわち、この対象物検出装置４０は、画像情報取得手段１１と、対象物検出手段１２と、対象物追跡手段１３と、分析用データ取得手段１４と、最適パラメータ決定手段１５と、最適パラメータ更新手段４６とを備える。前記最適パラメータ更新手段４６は、前記分析用データ取得手段１４および前記最適パラメータ決定手段１５に、電気的に接続されている。本実施形態の対象物検出装置は、任意の構成部材として出力手段を備えていることも好ましい。

つぎに、図４に基づき、本実施形態の対象物検出方法を説明する。本実施形態の対象物検出装置４０では、実施形態１と同様に、準備作動と実動作動とに分けて前記画像情報取得手段１１、前記対象物検出手段１２および前記対象物追跡手段１３が作動する。

（準備工程）
前記画像情報取得手段１１は、画像情報取得工程において画像情報ａを取得する。前記画像情報ａの取得は、設定された画像情報取得パラメータによる条件下で行われる。前記画像情報取得手段１１は、前記対象物検出手段１２および前記分析用データ取得手段１４に、前記画像情報ａを電気的信号として出力する。前記対象物検出手段１２は、前記画像情報ａを受け取り、対象物検出工程において対象物を検出して、前記対象物追跡手段１３および前記分析用データ取得手段１４に、前記対象物の位置や大きさ等の対象物データｂを電気的信号として出力する。前記対象物データｂは、設定された検出パラメータによる条件下で得られたものである。前記対象物追跡手段１３は、前記対象物データｂを受け取り、対象物追跡工程において複数フレームの画像における前記対象物データｂを分析し、前記複数フレームの画像中の対象物の同一性を判断して、前記分析用データ取得手段１４に対象物追跡結果データｃを、電気的信号として出力する。前記対象物追跡結果データｃは、設定された追跡パラメータによる条件下で得られたものである。

準備工程で設定された前記画像情報取得パラメータ、前記検出パラメータおよび前記追跡パラメータは、実動工程で用いる各パラメータよりも広い範囲で設定されたものである。

前記画像情報ａ、前記対象物データｂおよび前記対象物追跡結果データｃは、前記分析用データ取得手段１４を用いて取得される。前記画像情報ａ、前記対象物データｂおよび前記対象物追跡結果データｃは、前記分析用データ取得手段１４に蓄積されてもよい。前記最適パラメータ決定手段１５は、前記分析用データ取得手段１４に取得されたデータから、前記画像情報取得パラメータ、前記検出パラメータおよび前記追跡パラメータを最適化した、最適パラメータｄを決定する。前記最適パラメータｄとしては、各々のパラメータをそれぞれ最適化したパラメータであってもよいし、選択される一部のパラメータを最適化したパラメータであってもよい。また、例えば、前記追跡パラメータから、検出された対象物の移動確率といった特定のパラメータを選択するというように、現場に応じたパラメータ種類を決定するものであってもよい。決定された最適パラメータｄは、前記画像情報取得手段１１、前記対象物検出手段１２および前記対象物追跡手段１３にフィードバックされる。

（実動工程）
実動工程は、準備工程で決定された最適パラメータｄを用いて特化した最適条件で、前記画像情報取得手段１１、前記対象物検出手段１２および前記対象物追跡手段１３を、作動することで実施される。

（更新工程）
実動工程を実施中に、画像情報の取得場所の状況が変化する場合がある。例えば、天候、季節、曜日、時間帯等により、人物の数、移動の速度、移動の方向等が、準備工程を実施した時点から変化する可能性がある。そのため、前記最適パラメータｄを用いて特化した最適条件であっても、長時間作動させていると、検出や追跡の性能に変化が生じることが予測される。そこで、本実施形態においては、前記実動工程においても分析用データを取得し、最適パラメータ更新手段４６で、前記分析用データに基づき前記最適パラメータを更新する。更新された最適パラメータｄ’は、前記画像情報取得手段１１、前記対象物検出手段１２および前記対象物追跡手段１３にフィードバックされ、実動工程が継続される。

（実施形態３）
図５に、本発明の対象物検出装置を用いた対象物追跡システムの一例の構成を示す。図示のとおり、この対象物追跡システムは、画像情報取得装置５１ａ、５１ｂ、５１ｃと、出力装置５２ａ、５２ｂ、５２ｃと、通信インターフェイス５５ａ、５５ｂ、５５ｃと、サーバ５３を備える。画像情報取得装置５１ａおよび出力装置５２ａは、通信インターフェイス５５ａに接続されている。画像情報取得装置５１ａ、出力装置５２ａおよび通信インターフェイス５５ａは、場所Ａに設置されている。画像情報取得装置５１ｂおよび出力装置５２ｂは、通信インターフェイス５５ｂに接続されている。画像情報取得装置５１ｂ、出力装置５２ｂおよび通信インターフェイス５５ｂは、場所Ｂに設置されている。画像情報取得装置５１ｃおよび出力装置５２ｃは、通信インターフェイス５５ｃに接続されている。画像情報取得装置５１ｃ、出力装置５２ｃおよび通信インターフェイス５５ｃは、場所Ｃに設置されている。そして、前記通信インターフェイス５５ａ、５５ｂ、５５ｃと、前記サーバ５３とが、回線網５４を介して接続されている。

この対象物追跡システムでは、前記サーバ５３側に対象物検出手段および対象物追跡手段を有し、前記サーバ５３に分析用データが格納される。例えば、場所Ａで前記画像情報取得装置５１ａを用いて取得された準備工程における画像情報を、サーバ５３に送信し、前記サーバ５３側で対象物データおよび対象物追跡結果データを得て、これらの分析用データを前記サーバ５３に格納する。格納された前記分析用データをＣＰＵで読み取り、最適パラメータを決定し、決定された最適パラメータを前記画像情報取得装置５１ａに送信し、撮影条件を最適化する。また、得られた対象物データおよび対象物追跡結果データを、前記出力装置５２ａにより出力する。

本実施形態の対象物追跡システムによれば、画像情報取得装置および出力装置を現場に設置し、サーバ等は他の場所に設置して、オンラインでの操作やパラメータの最適化が可能である。そのため、装置の設置に場所を取ることなく、メンテナンスも容易である。また、各設置場所が離れている場合であっても、一か所での集中管理や遠隔操作が可能となる。遠隔操作としては、カメラ等の画像情報取得装置のズーム、角度およびピントを調整することも可能である。これらの調整を行った場合であっても、本発明の対象物検出装置によると、準備作動において詳細なデータを取得しているため、最適パラメータの決定や更新が容易であり、手動での調整は不要である。

（実施形態４）
本実施形態は、店舗等の入り口にカメラを設置し、人物の検出と追跡を実施する場合の最適パラメータ決定の具体例である。図６および図７は本実施形態の説明図である。本実施形態の図６（ａ）は、カメラからの画像を模式的に示した図である。本図においては、画像中の人物の頭部を３フレーム分の画像を重ねて示している。図示されている丸印は、画像における頭部の大きさを示す。図中の矢印は、実際の各人物の動きの方向を示す。

本発明における準備工程を実施して、詳細な分析用データを取得したときの画像中の領域Ｓ１において検出された頭部領域のサイズの分布を図６（ｂ）に、領域Ｓ２において検出された頭部領域のサイズの分布を図６（ｃ）に示す。領域Ｓ１は領域Ｓ２に比べ、カメラからの距離が離れているため、頭部サイズは領域Ｓ２において、より大きい範囲に分布していることがわかる。ついで、検出確率を高めるため、検出頻度に閾値を設け検出パラメータを最適化する。例えば、領域Ｓ１においては、頭部サイズが３７〜５４ピクセルを検出範囲とし、領域Ｓ２においては、頭部サイズが４８〜６８ピクセルを検出範囲と設定する。このように、領域ごとに検出可能性のある範囲のみを検出するように最適化することで、高速で、かつ、誤検出が少なく、対象物の検出が可能となる。

次に、追跡パラメータの最適化を行う。図７（ａ）はｎ−１番目のフレーム画像（フレーム１）とｎ番目のフレーム画像（フレーム２）を示す。フレーム１には、検出された対象物Ａおよび対象物Ｂが示されている。フレーム２には、検出された対象物ａおよび対象物ｂが示されている。本発明における準備工程を実施して、詳細な分析用データを取得して得られた対象物Ａが次に移動する場所の確率分布を図７（ｂ）に、同じく対象物Ｂが次に移動する場所の確率分布を図７（ｃ）に図示する。これらの確率分布図から、このカメラ設置場所においては、フレームの上下方向への移動の可能性が高いことがわかる。よって、対象物Ａがフレーム間で移動する確率は、Ａ→ｂよりもＡ→ａのほうが高いといえる。同様に、対象物Ｂがフレーム間で移動する確率は、Ｂ→ａよりもＢ→ｂのほうが高いといえる。この対象物の移動確率を追跡パラメータとして使用することで、フレーム間の対象物の関連付けを好適に行うことができ、誤判定を減少させることができる。よって、追跡の判定をより精度よく行うことが可能となる。

（実施形態５）
本実施形態は、入退場ゲートにカメラを設置し、人物の検出と追跡を実施する場合の最適パラメータ決定の具体例である。図８および図９は本実施形態の説明図である。図８（ａ）は、カメラの設置場所と撮影範囲を示す模式図である。図８（ｂ）は、カメラからの画像を模式的に示した図である。本図においては、画像中の人物の頭部を３フレーム分の画像を重ねて示している。図示されている丸印は、画像における頭部の大きさを示す。図中の矢印は、実際の人物の動きの方向を示す。

本発明における準備工程を実施して、詳細な分析用データを取得したときの画像中の領域Ｓ１において検出された頭部領域のサイズの分布を図８（ｃ）に、領域Ｓ２において検出された頭部領域のサイズの分布を図８（ｄ）に示す。領域Ｓ１は領域Ｓ２に比べ、カメラからの距離が離れているため、頭部サイズは領域Ｓ２において、より大きい範囲に分布していることがわかる。ついで、検出確率を高めるため、検出頻度に閾値を設け検出パラメータを最適化する。例えば、領域Ｓ１およびＳ２においては、頭部サイズが、図８（ｃ）および図８（ｄ）の横軸にそれぞれ矢印で示した範囲を検出範囲と設定する。このように、領域ごとに検出可能性のある範囲のみを検出するように最適化することで、高速で、かつ、誤検出が少なく、対象物の検出が可能となる。

次に、追跡パラメータの最適化を行う。図９（ａ）はｎ−１番目のフレーム画像（フレーム１）とｎ番目のフレーム画像（フレーム２）を示す。フレーム１には、検出された対象物Ａが、フレーム２には、検出された対象物ａが示されている。本発明における準備工程を実施して、詳細な分析用データを取得して得られた対象物Ａが次に移動する場所の確率分布を図９（ｂ）に図示する。この確率分布図から、このカメラ設置場所においては、フレームの左右方向への移動の可能性が高いことがわかる。よって、対象物Ａがフレーム間で移動する確率分布を追跡パラメータとして使用することで、フレーム間の対象物の関連付けを好適に行うことができ、誤判定を減少させることができる。よって、追跡の判定をより精度よく行うことが可能となる。

（実施形態６）
本実施形態のプログラムは、前述の対象物検出方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。

本発明によれば、カメラ設置場所毎の最適パラメータ調整に手間とコストの軽減がされ、また、カメラ設置場所の周囲の状態の変化に合わせて、最適な条件で画像取得することで、高速に、かつ、誤検出が少なく、対象物の検出を行うことのできる対象物検出装置、対象物検出方法、プログラムおよび記録媒体を提供することができる。その結果、従来では設置や調整が困難であった場所においても対象物の追跡を行うことが容易となり、幅広い用途で適用することが可能となる。

１０、２０、４０ 対象物検出装置
１１ 画像情報取得手段
１２ 対象物検出手段
１３ 対象物追跡手段
１４ 分析用データ取得手段
１５ 最適パラメータ決定手段
４６ 最適パラメータ更新手段
５１ａ、５１ｂ、５１ｃ 画像情報取得装置
５２ａ、５２ｂ、５２ｃ 出力装置
５３ サーバ
５４ 回線網
５５ａ、５５ｂ、５５ｃ 通信インターフェイス

ａ 画像情報
ｂ 対象物データ
ｃ 対象物追跡結果データ
ｄ 最適パラメータ

Claims (15)

1. 画像を撮影し、画像情報を取得する画像情報取得手段と、
   前記画像情報から対象物を検出する対象物検出手段とを有し、
   前記二手段の作動が、準備作動と実動作動とに分けられ、
   前記準備作動において、画像情報取得パラメータおよび検出パラメータを、前記実動作動で用いるものよりも広い範囲で設定して前記二手段を作動することにより、分析用データを取得する分析用データ取得手段と、
   前記取得された分析用データから、前記画像情報取得パラメータおよび前記検出パラメータの少なくとも１つを選択して最適パラメータを決定する最適パラメータ決定手段とを有し、
   前記実動作動において、前記決定された最適パラメータを用いて前記二手段を作動することにより、対象物を検出することを特徴とする対象物検出装置。
2. さらに、前記検出された対象物を追跡する対象物追跡手段を有し、
   前記対象物追跡手段を含む三手段の作動が、準備作動と実動作動とに分けられ、
   前記準備作動において、画像情報取得パラメータ、検出パラメータおよび追跡パラメータを、前記実動作動で用いるものよりも広い範囲で設定して前記三手段を作動することにより、分析用データを取得する分析用データ取得手段と、
   前記取得された分析用データから、前記画像情報取得パラメータ、前記検出パラメータおよび前記追跡パラメータの少なくとも１つを選択して最適パラメータを決定する最適パラメータ決定手段とを有し、
   前記実動作動において、前記決定された最適パラメータを用いて前記三手段を作動することにより、対象物を検出し、さらに、前記検出された対象物の動きを追跡する、請求項１記載の対象物検出装置。
3. さらに、実動作動において、分析用データを取得し、取得した分析用データに基づき前記最適パラメータを更新する更新手段を含む、請求項１または２記載の対象物検出装置。
4. さらに、前記対象物の検出結果を出力する出力手段を含む、請求項１から３のいずれか一項に記載の対象物検出装置。
5. さらに、前記対象物の検出結果および追跡結果を出力する出力手段を含む、請求項２または３記載の対象物検出装置。
6. 画像を撮影し、画像情報を取得する画像情報取得工程と、
   前記画像情報から対象物を検出する対象物検出工程とを有し、
   前記二工程が、準備工程と実動工程とに分けられ、
   前記準備工程において、画像情報取得パラメータおよび検出パラメータを、前記実動工程で用いるものよりも広い範囲で設定して前記二工程を実施することにより、分析用データを取得し、
   前記取得された分析用データから、前記画像情報取得パラメータおよび前記検出パラメータの少なくとも１つを選択して最適パラメータを決定し、
   前記実動工程において、前記決定された最適パラメータを用いて前記二工程を実施することにより、対象物を検出することを特徴とする対象物検出方法。
7. さらに、前記検出された対象物を追跡する対象物追跡工程を有し、
   前記対象物追跡工程を含む三工程が、準備工程と実動工程とに分けられ、
   前記準備工程において、画像情報取得パラメータ、検出パラメータおよび追跡パラメータを、前記実動工程で用いるものよりも広い範囲で設定して前記三工程を実施することにより、分析用データを取得し、
   前記取得された分析用データから、前記画像情報取得パラメータ、前記検出パラメータおよび前記追跡パラメータの少なくとも１つを選択して最適パラメータを決定し、
   前記実動工程において、前記決定された最適パラメータを用いて前記三工程を実施することにより、対象物を検出し、前記検出された対象物の動きを追跡する、請求項６記載の対象物検出方法。
8. 前記追跡パラメータとして、前記検出された対象物の移動確率を含む、請求項７記載の対象物検出方法。
9. さらに、実動工程において、分析用データを取得し、取得した分析用データに基づき前記最適パラメータを更新する更新工程を含む、請求項６から８のいずれか一項に記載の対象物検出方法。
10. さらに、前記対象物の検出結果を出力する工程を含む、請求項６から９のいずれか一項に記載の対象物検出方法。
11. さらに、前記対象物の検出結果および追跡結果を出力する工程を含む、請求項７から９のいずれか一項に記載の対象物検出方法。
12. 前記対象物が、人物である、請求項６から１１のいずれか一項に記載の対象物検出方法。
13. 人物の検出を人物の頭部で行う、請求項１２に記載の対象物検出方法。
14. 請求項６から１３のいずれか一項に記載の対象物検出方法をコンピュータに実行させることを特徴とする、プログラム。
15. 請求項１４記載のプログラムを記録していることを特徴とする記録媒体。

Images