JP2010219934A - 目標追尾装置 - Google Patents

目標追尾装置 Download PDF

Info

Publication number
JP2010219934A
JP2010219934A JP2009064941A JP2009064941A JP2010219934A JP 2010219934 A JP2010219934 A JP 2010219934A JP 2009064941 A JP2009064941 A JP 2009064941A JP 2009064941 A JP2009064941 A JP 2009064941A JP 2010219934 A JP2010219934 A JP 2010219934A
Authority
JP
Japan
Prior art keywords
target
color
tracking
colors
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009064941A
Other languages
English (en)
Other versions
JP5177030B2 (ja
Inventor
Kanefumi Kinetsuki
兼史 杵築
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2009064941A priority Critical patent/JP5177030B2/ja
Publication of JP2010219934A publication Critical patent/JP2010219934A/ja
Application granted granted Critical
Publication of JP5177030B2 publication Critical patent/JP5177030B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】追尾対象物が複数の色を含んでいる場合にも精度の高い追尾処理を行えるようにする。
【解決手段】時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、画像データ中における目標物体となる追尾対象の指定を受け付ける追尾対象物指定受付部と、指定された追尾対象に係る画像データ中の複数の色を目標色として設定する目標色設定部と、所定の規則にしたがって画像データにおける所定画像単位内を移動する複数のパーティクルを用いて、パーティクル周辺の色と目標色との比較によって求められる色尤度の測定を複数の目標色毎に行ない、その測定結果に基づいて目標色毎の分布領域を推定し、推定された目標色毎の分布領域の重なり具合に基づいて、測定された色尤度を補正し、補正された色尤度に基づいて画像データ中の追尾対象の領域を推定するパーティクルフィルタ処理部とを備えた目標追尾装置。
【選択図】図1

Description

本発明は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置に関する。
映像監視システムやテレビ会議システムに代表されるように、様々な状況下でカメラの撮影画像を利用するカメラシステムが実用化されている。このようなカメラシステムの中には、設定された目標物体を自動的に追尾して撮影領域を変更しながら撮影する追尾機能を備えたものがある。例えば、追尾機能を備えた映像監視システムでは、不審な人物が目標物体として設定されると、この人物を追尾して映像に収めながら撮影を続けることができる。また、追尾機能を備えたテレビ会議システムでは、設定された人物を追尾した会議画像を撮影することができる。
目標物体を追尾して画像を撮影する際には目標物体が撮影画角から外れないように、目標物体の移動に応じてカメラのパン、チルト、ズーム倍率等を制御する必要がある。これを実現するためには画像中の目標物体を認識して、その移動方向を検出しなければならない。
従来、画像中の目標物体を認識して、その移動方向を検出する方法として、輝度差分を利用する背景差分法やフレーム差分法が用いられてきたが、近年、特許文献1、非特許文献1等に記載されているようにパーティクルフィルタを適用した目標追尾技術が研究されている。
パーティクルフィルタは、事後確率を利用するベイズフィルタの近似計算法であり、有限個のパーティクルによって確率分布関数を表現し、それを用いて時系列の予測を行なうものである。すなわち、パーティクルフィルタはサンプリングに基づいた逐次モンテカルロ法といえ、時系列の分布をパーティクルの位置と重みによる集合表現で近似するため、ガウス分布で近似できないような分布でも追尾することが可能である。また、時系列の様々な特徴量を尤度として扱うことができるために応用範囲が広い。特に、特許文献1等にも記載されているように、目標物体の追尾に適用する場合には、目標物体の色を用いて尤度を測定することが行なわれている。この場合、目標物体の色に近い色の画素がパーティクルの近傍にどれだけ存在するかで尤度を測定し、測定結果に基づいて目標物体の位置を推定することができる。
また、特許文献2には、目標物体を追尾する際に、目標物体の色特徴をある範囲のヒストグラムとして記憶し、そのヒストグラムの近さにより、目標物体かどうか判定する手法が記載されている。
特開2004−282535号公報 特開2004−348273
M.Isard, A.Blake : CONDENSATION ? Conditional Density Propagation for Visual Tracking, Int’ IJ. Computer Vision, vol. 28, No.1, pp.5-28(1998)
上述のように、パーティクルフィルタを用いた目標物体の追尾処理では、目標物体の色を設定し、その色に近い部分に配置されたパーティクルの尤度を高くすることで目標物体を追尾する。
しかしながら、目標物体が複数の色を含んでいる場合、例えば縞柄やチェック柄の服を着ている人物を目標とする場合など、目標物体のある位置の色を目標物体の色として設定すると、目標物体であってもパーティクルの周辺の色が目標色と異なる場合が多くなり、追尾を継続することが難しくなる。また、近傍の色の平均を目標色として設定することも考えられるが、被写体の大きさや角度により、平均の色が変化してしまい、この場合も追尾を続けることが難しくなる。
そこで、特許文献2に記載された手法をパーティクルフィルタに応用することで、目標物体に含まれる複数の色をそれぞれ目標色として設定することが考えられる。しかし、複数の色を目標色とすると、いずれかの色を含む他の物体が現れたり、目標物体の向き等によって色の組み合わせが変わったりした場合等に追尾精度が落ちるおそれがある。
本発明は、このような状況を鑑みてなされてものであり、追尾対象物が複数の色を含んでいる場合にも精度の高い追尾処理を行うことができる目標追尾装置を提供することを目的とする。
上記課題を解決するため、本発明の第1の態様である目標追尾装置は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、前記画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、指定された前記追尾対象に係る前記画像データ中の複数の色を目標色として設定する目標色設定手段と、所定の規則にしたがって前記画像データにおける所定画像単位内を移動する複数のパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を複数の目標色毎に行ない、その測定結果に基づいて目標色毎の分布領域を推定し、推定された前記目標色毎の分布領域の重なり具合に基づいて、測定された前記色尤度を補正し、その補正された色尤度に基づいて前記画像データ中の前記追尾対象の存在する領域を推定するパーティクルフィルタ処理手段と、を備える。
上記課題を解決するため、本発明の第2の態様である目標追尾装置は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、前記画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、指定された前記追尾対象に係る前記画像データ中の複数の色を目標色として設定する目標色設定手段と、所定の規則にしたがって前記画像データにおける所定画像単位内を移動する複数のパーティクルを用いて、パーティクル周辺の色と前記目標色のいずれかの色との比較によって求められる色尤度の測定を行ない、その測定結果に基づいて目標色毎の分布領域を推定し、推定された前記目標色毎の分布領域の重なり具合に基づいて、測定された前記色尤度を補正し、その補正された色尤度に基づいて前記画像データ中の前記追尾対象の存在する領域を推定するパーティクルフィルタ処理手段と、を備える。
いずれの態様においても、前記目標色設定手段は、前記追尾対象に係る画像データに含まれる色のうち、出現頻度の高い所定数以下の複数の色を目標色として設定することができる。また、前記パーティクルフィルタ手段は、前記推定された目標色毎の分布領域が多く重なっている領域ほど、対応する色尤度を高く補正することができる。
本発明によれば、追尾対象物が複数の色を含んでいる場合にも精度の高い追尾処理を行うことができる目標追尾装置が提供される。
目標追尾装置を含む目標追尾システムの構成を示すブロック図である。 目標追尾装置の処理の流れを説明するフローチャートである。 目標色の設定について説明する図である。 目標追尾処理について説明するためのフローチャートである。 目標追尾処理における画像フレームとパーティクルの具体例を示す図である。 色Aを対象とした尤度測定と分布領域推定処理の結果を示す図である。 色B、色Cを対象とした分布領域推定処理の結果を示す図である。 色A、色B、色Cの分布領域を重ねて表示した図である。 追尾対象の位置として推定された領域を示す図である。 追尾対象物に集まったパーティクルを示す図である。
本発明の実施の形態について図面を参照して詳細に説明する。図1は、本発明の実施形態である目標追尾装置100を含む目標追尾システム10の構成を示すブロック図である。本図に示すように目標追尾システム10は、目標追尾装置100と、撮影を行なって画像信号を出力するカメラ200と、目標追尾装置100からの制御信号に従ってカメラ200のパン・チルト制御およびズーム倍率制御を行なう制御装置210とを備えている。ただし、これらの装置を一体型として目標追尾システム10を構成してもよい。
目標追尾装置100は、カメラ200が出力する画像信号を入力する画像入力部110と、入力された画像信号に基づく映像を表示する表示部120と、パーティクルフィルタを用いて目標物の追尾処理を行なうパーティクルフィルタ処理部130と、追尾結果に基づいてカメラ200を制御する制御信号を生成して制御装置210に出力するカメラ制御信号出力部140と、表示部120に表示されている画像中の追尾対象となる物体の領域を受け付ける追尾対象物指定受付部150と、指定された領域の色ヒストグラムを作成する色ヒストグラム演算部160と、作成された色ヒストグラムに基づいて指定された追尾対象物に応じた複数の目標色を設定する目標色設定部170とを備えている。
パーティクルフィルタ処理部130は、パーティクルフィルタを用いた目標物体の追尾処理を行うために処理対象の画像データを格納する画像格納部131と、目標色設定部170で設定された複数の目標色を格納する目標色格納部132と、複数の目標色毎にパーティクルの尤度を計算する色尤度演算部133と、目標色毎に算出されたパーティクルの尤度に基づいて、目標色毎の分布領域を設定し、その分布領域の状態により目標色毎のパーティクルの尤度を補正することにより追尾対象物の領域を推定する領域評価部134とを備えている。
なお、目標追尾装置100は、CPU、メモリ、入出力装置、通信処理装置等を備えた汎用的な情報処理装置を用いて構成することができる。パーソナルコンピュータ等の汎用的な情報処理装置は、上述の各機能部を構成するために開発されたプログラムを実行することで、目標追尾装置100として機能することができる。もちろん目標追尾装置100は専用装置として構成してもよい。
ここで、非特許文献1等に紹介されているパーティクルフィルタによる画像追尾アルゴリズムについて簡単に説明する。画像追尾アルゴリズムであるパーティクルフィルタは、時刻tにおける画像フレーム中の目標物体の位置の推定量である事後確率密度

を、状態χの重みπのN個の組から成るパーティクル群

により近似することで、目標物体を追尾する方法である。ここで、時刻tにおける画像フレーム中のi番目のパーティクルの状態量

は、その尤度である重みを示している。
時刻tにおいて画像フレームから尤度の観測値ztが得られると、追尾対象の状態xtを確率変数とする確率密度は、上記の事後確率密度[数1]として表わされる。この[数1]は、ベイズの法則を用いて以下のように表わすことができる。

ここで、αは正規化のための定数である。
非特許文献1に示されているCondensationアルゴリズムは、各フレームに対して対象物体を追跡する処理を、Select(選択)、Predict(予測)、Measure(測定)の3つのステップに分けて繰り返し実行している。
具体的には、選択ステップでは、対象物体の周辺にパーティクルを分散して配置し、各パーティクルで尤度を測定して、尤度が高い順番で尤度の高さに比例する確率でN個のパーティクルを選択する。予測ステップでは、選択ステップで選ばれた尤度の高いパーティクルをランダムに分散させて再配置する。測定ステップでは、各パーティクルについて近傍にどれだけ目標物体と近似した色の画素があるかを計算し、それをパーティクルの尤度とする。そして、すべてのパーティクルの尤度の重み付け平均により目標物体の位置を推定する。
本実施形態における目標追尾装置100は、このようなアルゴリズムのパーティクルフィルタ処理の目標物追尾性能を向上するものであり、以下に説明する処理を行なう。ただし、本発明はパーティクルフィルタを用いた画像追尾処理であれば、上述のアルゴリズムには限定されず、種々の変形アルゴリズムに適用することができる。
図2は、目標追尾装置100の処理の流れを説明するフローチャートである。目標追尾装置100は、カメラ200が出力する画像信号をフレーム単位で入力する(S101)。目標追尾装置100は、入力された画像信号を表示部120に映像として逐次表示し、追尾対象物が指定されるのを待つ(S102)。この状態で、監視者は、画像中の追尾対象としたい目標物体を指定することができる。
追尾対象物の指定受け付けは、例えば、マウス、ポインタ等の入力装置を介して、表示部120に表示されている追尾対象物に対応する領域の指示を監視者から受け付けることで行なうことができる。本実施形態では、追尾対象物に対応する領域は矩形領域とする。矩形領域の指示の受け付けは、例えば、右上と左下の2点の座標の指示を、入力装置を介して受け付けることで行なうことができる。また、表示部120をタッチパネル式の表示装置で構成し、監視者からの2点のタッチを認識することで指定を受け付けるようにしてもよい。あるいは、その他の外部装置等を介して追尾対象物の指定を受け付けるようにしてもよい。
追尾対象物の指定を受け付けると(S102:Yes)、目標色設定処理を行なう(S103)。目標色設定処理では、色ヒストグラム演算部160が、指定を受け付けた矩形領域の色ヒストグラムを作成する。そして、目標色設定部170が、作成された色ヒストグラムに基づいて複数の色を目標色として設定し、目標色格納部132に記録する。また、画像フレームを画像格納部131に1フレーム記録する。
例えば、図3(a)に示すような人物30、人物31、人物32が並んでいる画像フレームにおいて、人物30を追尾対象物として図3(b)に示す矩形領域40が監視者により指定されたとする。ここで、人物30は、色A、色B、色Cが混じったチェック柄の服を着ており、人物31は、色Aの服を着ており、人物32は、色Bの地に色Cのラインが入った服を着ているものとする。
この場合、色ヒストグラム演算部160は、図3(c)に示すように色ヒストグラムを作成する。この色ヒストグラムでは、矩形領域40に含まれる色に従って、色A、色B、色Cの頻度が多くなる。なお、ヒストグラムを作成する際は、近似色をまとめるようにしてもよい。
目標色設定部170は、例えば、色ヒストグラムから頻度の多い上位3色を目標色として設定する。この場合、色A、色B、色Cが目標色として設定される。このとき、目標色として設定する頻度の閾値を設けたり、頻度が所定の割合を超える色を目標色と設定するようにしてもよい。すなわち、出現頻度が上位であっても、出現頻度が少ない色は目標色から除くようにすることができる。一般に、演算量の増加と追尾精度確保の観点から目標色設定部170が設定する目標色の数は3個以下でよい。
本実施形態で、パーティクルフィルタ処理部130は、目標色とパーティクル位置の色の尤度の算出を色相(H)と彩度(S)と明度(V)とで表現するHSV色空間上で処理を行なうため、目標色を設定する際に、RGB色空間をHSV色空間に変換する。ただし、RGB色空間のまま処理を行なったり、YUV色空間等で処理を行なうようにしてもよい。そして、逐次入力される画像フレーム中の追尾対象物を認識してカメラ200を制御する目標追尾処理を行なう(S104)。
図4は、目標追尾処理について説明するためのフローチャートである。上述のように本発明は、ここで説明するパーティクルフィルタアルゴリズムには限定されない。また、図5は、目標追尾処理における画像フレームとパーティクルの具体例を示す図である。図5に示した例では、図2および図3に示した手順にしたがって、追尾対象物として人物30の服を含む矩形領域が指定され、服の色である色A、色B、色Cの3色が目標色として設定されているものとする。
図2における処理S102で追尾対象物の指定を受け付けた初期状態の画像フレームを対象に、パーティクルフィルタ処理部130は、追尾対象物として指定された領域付近にパーティクルを生成する(S201)。生成するパーティクルの数による追尾の精度と処理速度とはトレードオフの関係となる。図5(a)は、追尾対象物である人物30の服を含む矩形領域付近に生成された多数のパーティクルを示している。
次いで、生成された各パーティクルを、所定の規則にしたがって移動させる(S202)。ここで、追尾対象物の運動方向が予測可能な場合には、予測される移動方向に応じてパーティクルの移動方向を決めることができる。本実施形態では追尾対象物は主として監視画像中の不審人物を想定しており、運動ダイナミクスはランダムと仮定される。このため、各パーティクルは標準正規分布する乱数により距離を決められて移動する。この結果、図5(b)に示すように、追尾対象物である人物30の服を中心にパーティクルが分散することになる。
そして、次の画像フレームを入力する(S203)。この画像フレームが追尾対象物の移動等を検出する処理対象の画像フレームとなる。図5(c)は、分散したパーティクルに対して次の画像フレームが入力されたときの様子を示している。入力された画像フレームでは、追尾対象物である人物30が前に移動し、人物31が後に移動し、人物32が中心方向に移動している。
処理対象の画像フレームにおいて、目標色毎に各パーティクルによる尤度測定処理(S204)、分布領域設定処理(S205)を行なう。すなわち、目標色として3色設定されている場合には、各パーティクルによる尤度測定処理(S204)、分布領域設定処理(S205)を目標色毎に3回繰り返す。
尤度測定処理(S204)では、各パーティクルがそれぞれの位置の近傍の画素、例えば、周辺の矩形領域内の画素について目標色と近い色の画素の割合を算出し、その結果をそれぞれのパーティクルの尤度とする測定を行なう。このとき、例えば、矩形領域内のHSVヒストグラムを作成して目標色との類似度を算出して尤度を測定することができる。パーティクルの尤度は、目標色毎に値を保持する。
分布領域設定処理(S205)では、尤度の高いパーティクルの分布状態から目標色の分布領域を設定する。例えば、尤度の高いパーティクルを多く含む領域を目標色の分布領域として設定することができる。あるいは、各パーティクルの尤度の重み付け平均を算出し、例えば、ある閾値により尤度を二値化したり、EMアルゴリズムにより混合正規分布を推定し、さらにその分散値から分布領域を推定して設定するようにしてもよい。
図6(a)は、色Aを対象として尤度測定処理を行なった場合の結果の一例であり、黒いパーティクルは尤度の高いパーティクルを示している。すなわち、色Aである人物31の服と、色Aを含んでいる人物30の服付近のパーティクルの尤度が高くなる。図6(b)は、色Aを対象とした分布領域設定処理(S205)の結果、色Aの分布領域として設定された領域を示している。
また、図7(a)は、色Bを対象として尤度測定処理(S204)を行ない、さらに、分布領域設定処理(S205)によって色Bの分布領域として設定された領域を示している。図7(b)は、色Cを対象として尤度測定処理(S204)を行ない、さらに、分布領域設定処理(S205)によって色Cの分布領域として設定された領域を示している。
各目標色を対象に尤度測定処理(S204)、分布領域設定処理(S205)を行なうと、各目標色の分布領域の位置に基づいて領域の評価を行なう(S206)。領域の評価は、各目標色の分布領域の重なり具合で行なう。ここでは、重なっている目標色が多い領域ほど高い評価を行なうものとする。
例えば、図8(a)は、色A、色B、色Cの分布領域を重ねて表示した図である。このとき、各目標色の分布領域の重なり具合として、図8(b)に示すように、1色のみの領域と、2色重なっている領域と、3色重なっている領域とが存在する。領域評価処理(S206)では、3色重なっている領域の評価を最も高くして、1色のみの領域の評価を最も低くする。評価の高低は、例えば、評価係数で表わすことができ、2色重なっている領域を評価係数2とし、3色重なっている領域を評価係数3等とすることができる。もちろん、これらの数値は例示である。
そして、領域の評価に基づいてパーティクルの尤度を補正する(S207)。具体的には、評価の高い領域に含まれるパーティクルは、目標色毎に算出された尤度を高くする補正を行なう。例えば、評価色毎に測定された尤度に、領域評価処理(S206)で得られた評価係数を乗じることで補正を行なうようにする。
そして、補正されたパーティクルの尤度を用いて追尾対象位置の推定を行なう(S208)。追尾対象位置の推定処理は、例えば、補正されたパーティクルの尤度を、すべての目標色について合計し、その合計値の高い領域を追尾対象位置として推定することができる。あるいは、補正されたパーティクルの尤度の重み付け平均を再度算出し、処理対象の画像フレームにおける追尾対象物の領域を推定するようにしてもよい。図9は、追尾対象の位置として推定された領域を示しており、分布領域が3色重なっている追尾対象物である人物30の服の領域が追尾対象の位置として推定されている。
そして、追尾対象物の領域として推定された領域をカメラ200の画角内に収まらせるための制御信号を生成し、カメラ制御信号出力部140が制御装置210に出力する(S209)。この制御信号に基づいてカメラ200がパン、チルト、ズームすることにより、追尾対象物を追尾することができる。なお、カメラ200の画角等を変化させた場合は、画角の変化等に伴う画像中における追尾対象物の相対的移動量を考慮して以降の画像フレームの処理を行なう。具体的には、パーティクルと追尾対象物との相対位置関係が保持されるようにパーティクルの位置を調整する。この処理は従来の技術を用いることができる。
そして、測定されたパーティクルの尤度に基づいて、尤度の高いパーティクルが確率的に多くなるように、尤度の低いパーティクルを尤度が高くなる位置に移動させる。この結果、図10に示すようにパーティクルは追尾対象物に集まってくることになる。
その後、上記と同様に追尾対象物に集まったパーティクルを再度分散させて(S202)、次画像フレームに対する同様の処理を目標追尾処理が終了するまで繰り返す(S211:Yes)。目標追尾処理の終了判断基準は、例えば、追尾対象物がカメラ200の追尾範囲から外れた場合、監視者からの終了指示があった場合等とすることができる。
以上述べた目標追尾処理では、複数の目標色毎に設定される分布領域が多く重なっている領域ほどパーティクルの尤度が高くなるように補正を行なうため、複数の色を含んでいる追尾対象物の追尾精度を高くすることができる。また、縞模様などの色が多くある服などを追尾するときに、追尾対象物の角度によっては、設定された目標色の一部の色だけが画像フレームに写っている場合もある。本実施形態による目標追尾処理は、目標色毎にパーティクルの尤度を測定しているため、このような場合でも一部の色を用いて追尾処理を継続することができる。
なお、上述した実施形態においては、目標追尾装置100は、表示部120に表示された画像中の追尾対象物を追尾対象物指定受付部150により受け付ける構成としたが、不図示の制御部による動き検出処理や色検出処理等の結果に基づき、自動的に追尾対象物の位置を指定するようにしてもよい。このようにした場合は、表示部120及び追尾対象物指定受付部150を設ける必要はない。
次に、本実施形態の変形例について説明する。上記の実施形態では、尤度測定処理(S204)を目標色毎に行なっていた。したがって、各パーティクルは、各目標色について尤度を測定するために、目標色に対する尤度測定を目標色の数分繰り返し行なっていた。
これに対し、変形例では、各パーティクルは、複数の目標色のうちいずれかの色について尤度を測定するようにする。これにより、各パーティクルは、尤度測定を1回だけ行なえばよいことになり、尤度測定の際の演算量を削減することができる。
どのパーティクルが、どの目標色について尤度を測定するかは、例えば、各パーティクルに対して、目標色を均等に割り当てることができる。目標色を3色とすると、それぞれの色を目標色とするパーティクルの数が1/3の割合になるようにパーティクルに目標色を割り当てればよい。このとき、各パーティクルに順番に目標色を割り当てたり、確率に応じてランダムに割り当てたりすることができる。
あるいは、目標色設定(S103)の際に作成した色ヒストグラムの頻度に応じた割合でパーティクルに目標色を割り当てるようにしてもよい。例えば、色ヒストグラムで特定の色の頻度が大きい場合には、その色について尤度を測定するパーティクルの数を多くすることができる。
その他の処理については、上記の実施形態と同様とすることができる。この結果、変形例においても複数の目標色毎に設定される分布領域が多く重なっている領域ほどパーティクルの尤度が高くなるように補正を行なうため、複数の色を含んでいる追尾対象物の追尾精度を高くすることができる。また、縞模様などの色が多くある服などを追尾するときに、追尾対象物の角度によっては、設定された目標色の一部の色だけが画像フレームに写っている場合もある。本変形例による目標追尾処理は、目標色毎にパーティクルの尤度を測定しているため、このような場合でも一部の色を用いて追尾処理を継続することができる。さらに、本変形例では、各パーティクルは、複数の目標色のうちいずれかの色について尤度を測定するようにしているため、尤度測定の際の演算量を削減することができる。
10…目標追尾システム
100…目標追尾装置
110…画像入力部
120…表示部
130…パーティクルフィルタ処理部
131…画像格納部
132…目標色格納部
133…色尤度演算部
134…領域評価部
140…カメラ制御信号出力部
150…追尾対象物指定受付部
160…色ヒストグラム演算部
170…目標色設定部
200…カメラ
210…制御装置

Claims (4)

  1. 時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、
    前記画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、
    指定された前記追尾対象に係る前記画像データ中の複数の色を目標色として設定する目標色設定手段と、
    所定の規則にしたがって前記画像データにおける所定画像単位内を移動する複数のパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を複数の目標色毎に行ない、その測定結果に基づいて目標色毎の分布領域を推定し、推定された前記目標色毎の分布領域の重なり具合に基づいて、測定された前記色尤度を補正し、その補正された色尤度に基づいて前記画像データ中の前記追尾対象の存在する領域を推定するパーティクルフィルタ処理手段と、
    を備えたことを特徴とする目標追尾装置。
  2. 時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、
    前記画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、
    指定された前記追尾対象に係る前記画像データ中の複数の色を目標色として設定する目標色設定手段と、
    所定の規則にしたがって前記画像データにおける所定画像単位内を移動する複数のパーティクルを用いて、パーティクル周辺の色と前記目標色のいずれかの色との比較によって求められる色尤度の測定を行ない、その測定結果に基づいて目標色毎の分布領域を推定し、推定された前記目標色毎の分布領域の重なり具合に基づいて、測定された前記色尤度を補正し、その補正された色尤度に基づいて前記画像データ中の前記追尾対象の存在する領域を推定するパーティクルフィルタ処理手段と、
    を備えたことを特徴とする目標追尾装置。
  3. 請求項1または2に記載の目標追尾装置であって、
    前記目標色設定手段は、追尾対象に係る前記画像データに含まれる色のうち、出現頻度の高い所定数以下の複数の色を目標色として設定することを特徴とする目標追尾装置。
  4. 請求項1または2に記載の目標追尾装置であって、
    前記パーティクルフィルタ手段は、前記推定された目標色毎の分布領域が多く重なっている領域ほど、対応する色尤度を高く補正することを特徴とする目標追尾装置。
JP2009064941A 2009-03-17 2009-03-17 目標追尾装置 Active JP5177030B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009064941A JP5177030B2 (ja) 2009-03-17 2009-03-17 目標追尾装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009064941A JP5177030B2 (ja) 2009-03-17 2009-03-17 目標追尾装置

Publications (2)

Publication Number Publication Date
JP2010219934A true JP2010219934A (ja) 2010-09-30
JP5177030B2 JP5177030B2 (ja) 2013-04-03

Family

ID=42978277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009064941A Active JP5177030B2 (ja) 2009-03-17 2009-03-17 目標追尾装置

Country Status (1)

Country Link
JP (1) JP5177030B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011102072A1 (ja) * 2010-02-19 2011-08-25 パナソニック株式会社 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム
CN103020989A (zh) * 2012-12-05 2013-04-03 河海大学 一种基于在线场景特征聚类的多视角目标跟踪方法
JP2014160440A (ja) * 2013-02-21 2014-09-04 Casio Comput Co Ltd 被写体追跡装置、被写体追跡方法及びプログラム
JP2016057409A (ja) * 2014-09-08 2016-04-21 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2016058836A (ja) * 2014-09-08 2016-04-21 キヤノン株式会社 画像処理装置および画像処理装置の制御方法
WO2024114376A1 (zh) * 2022-12-02 2024-06-06 亿航智能设备(广州)有限公司 无人机云台自动跟踪目标的方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11136664A (ja) * 1997-10-29 1999-05-21 Matsushita Electric Ind Co Ltd 動物体自動追尾装置
JP2009038777A (ja) * 2007-08-06 2009-02-19 Chiba Univ 自動追尾装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11136664A (ja) * 1997-10-29 1999-05-21 Matsushita Electric Ind Co Ltd 動物体自動追尾装置
JP2009038777A (ja) * 2007-08-06 2009-02-19 Chiba Univ 自動追尾装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200600995015; 林 豊洋 Toyohiro HAYASHI: '尤度分布の形状を用いた物体追跡の安定化 A Stable Tracking Method Using a Shape of Likelihood Distrib' 画像電子学会誌 第35巻 第5号 The Journal of the Institute of Image Electronics Engineers of Jap 第35巻, 画像電子学会 The Institute of Image Electronics E *
JPN6012063723; 林 豊洋 Toyohiro HAYASHI: '尤度分布の形状を用いた物体追跡の安定化 A Stable Tracking Method Using a Shape of Likelihood Distrib' 画像電子学会誌 第35巻 第5号 The Journal of the Institute of Image Electronics Engineers of Jap 第35巻, 画像電子学会 The Institute of Image Electronics E *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011102072A1 (ja) * 2010-02-19 2011-08-25 パナソニック株式会社 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム
JP2011170684A (ja) * 2010-02-19 2011-09-01 Panasonic Corp 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム
US8891821B2 (en) 2010-02-19 2014-11-18 Panasonic Corporation Object tracking device, object tracking method, and object tracking program
CN103020989A (zh) * 2012-12-05 2013-04-03 河海大学 一种基于在线场景特征聚类的多视角目标跟踪方法
JP2014160440A (ja) * 2013-02-21 2014-09-04 Casio Comput Co Ltd 被写体追跡装置、被写体追跡方法及びプログラム
JP2016057409A (ja) * 2014-09-08 2016-04-21 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2016058836A (ja) * 2014-09-08 2016-04-21 キヤノン株式会社 画像処理装置および画像処理装置の制御方法
WO2024114376A1 (zh) * 2022-12-02 2024-06-06 亿航智能设备(广州)有限公司 无人机云台自动跟踪目标的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP5177030B2 (ja) 2013-04-03

Similar Documents

Publication Publication Date Title
JP4730431B2 (ja) 目標追尾装置
US8311276B2 (en) Object tracking apparatus calculating tendency of color change in image data regions
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US8891821B2 (en) Object tracking device, object tracking method, and object tracking program
US9684835B2 (en) Image processing system, image processing method, and program
JP2022166067A (ja) 情報処理システム、情報処理方法及びプログラム
JP5088279B2 (ja) 目標追尾装置
JP6356266B2 (ja) 群集監視システム
JP5177030B2 (ja) 目標追尾装置
JP5484184B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN108140291A (zh) 烟雾检测装置、方法以及图像处理设备
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
JP4764172B2 (ja) 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム
JP5177068B2 (ja) 目標追尾装置、目標追尾方法
Hassan et al. An adaptive sample count particle filter
CN107094234A (zh) 一种应用于移动摄像终端的拍摄区域遮挡方法和装置
US20180205877A1 (en) Information processing apparatus, information processing method, system, and non-transitory computer-readable storage medium
JP2009182624A (ja) 目標追尾装置
JP4818285B2 (ja) 混雑滞留検知システム
EP2791865B1 (en) System and method for estimating target size
KR20130082053A (ko) 깊이 영상을 처리하는 방법 및 장치
KR100994722B1 (ko) 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법
CN106898014A (zh) 一种基于深度相机的入侵检测方法
JP4751871B2 (ja) 撮像対象検出装置および方法
US20180150966A1 (en) System and method for estimating object size

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121224

R150 Certificate of patent or registration of utility model

Ref document number: 5177030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150