JP2003044860A

JP2003044860A - 映像オブジェクト追跡装置

Info

Publication number: JP2003044860A
Application number: JP2001233003A
Authority: JP
Inventors: Masahide Naemura; 昌秀苗村; Buntou Tei; 文涛鄭; Toshihiko Misu; 俊彦三須
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-08-01
Filing date: 2001-08-01
Publication date: 2003-02-14

Abstract

(57)【要約】【課題】映像信号から抽出した映像オブジェクトにオ
クルージョンが発生した場合でも、正確に映像オブジェ
クトを抽出し追跡を行なう映像オブジェクト追跡装置を
提供する。【解決手段】映像オブジェクト追跡装置１Ａは、映像
信号からシルエット画像を生成するシルエット画像生成
手段１０と、過去の映像オブジェクト領域の履歴から予
測映像オブジェクト領域を生成するオブジェクト予測手
段２０と、オクルージョンの状態を解析するオクルージ
ョン解析手段４０と、前記オクルージョンの状態に基づ
いて、確定映像オブジェクト領域を生成するオブジェク
ト抽出手段３０Ａと、を備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、主に映像コンテン
ツの制作に係わり、特に映像内における映像オブジェク
トの存在領域を時間的に追跡し、映像オブジェクトに重
なりが発生したときでも正しく映像オブジェクトを追跡
する機能を備えた映像オブジェクト追跡装置に関する。

【０００２】

【従来の技術】従来、映像オブジェクトを追跡する手法
として、カルマンフィルタに基づく手法（参考文献１：
Francois G. Meyer等, Region based tracking using a
ffinemotion models in long image sequences,CVGIP I
mage Understanding, vol.60,no.2,pp.119-140,199
4）、モンテカルロ法の一種であるCONDENSATIONアルゴ
リズムによる手法（参考文献２：Michael Isard等,COND
ENSATION-Conditional Density Propagation for Visua
l Tracking, International Journal of Computer Visi
on,vol.29,no.1,pp.5-28,1998）が提案されている。

【０００３】前記のいずれの手法も観測情報の信頼性に
応じた適応フィルタ処理を映像オブジェクト追跡に適用
したものであり、映像オブジェクト間のオクルージョン
が存在するような状態を扱うことができず、映像オブジ
ェクトの形状を正確に抽出することができない。

【０００４】

【発明が解決しようとする課題】従来の技術は、いずれ
も映像オブジェクトを追跡するためのフィルタ自身の技
術であった。つまり、映像オブジェクトが個々に独立し
た状況下でしか映像オブジェクトの追跡を行なうことが
できず、映像オブジェクトの間のオクルージョンが発生
する状況下では、映像オブジェクトの追跡が行なえず、
映像オブジェクトの形状を正確に抽出することができな
いという問題があった。

【０００５】本発明は、以上のような従来の映像オブジ
ェクト追跡手法における問題点に鑑みてなされたもので
あり、映像におけるオブジェクトのオクルージョンが生
じ得る映像入力に対して正確に映像オブジェクトを抽出
し追跡を行なう映像オブジェクト追跡装置を提供するこ
とを目的とする。

【０００６】

【課題を解決するための手段】本発明では前記の課題を
解決するために以下の構成に係るものとした。請求項１
に記載の映像オブジェクト追跡装置は、映像信号を前景
画像と背景画像とに二値化したシルエット画像を生成す
るシルエット画像生成手段と、前記映像信号と前記シル
エット画像と映像オブジェクト固有の画像特徴量に基づ
いて、該映像オブジェクトが存在する領域の一部を予測
し、前記予測領域を前記シルエット画像に基づいて領域
を成長させることで映像オブジェクト領域全体を抽出す
るオブジェクト抽出手段と、を有する構成とした。

【０００７】このように構成されることにより、前記映
像オブジェクト追跡装置は、シルエット画像生成手段に
より、映像信号を前景画像と背景画像とに二値化したシ
ルエット画像を生成することができ、オブジェクト抽出
手段により、前記映像信号と前記シルエット画像と映像
オブジェクト固有の画像特徴量に基づいて、該映像オブ
ジェクトが存在する領域の部分領域を検出し、前記部分
領域を前記シルエット画像に基づいて領域を成長させる
ことで映像オブジェクト領域全体を抽出することができ
る。このため、追跡映像オブジェクト領域をシルエット
画像の前景シルエット領域に基づいて精度良く抽出する
ことができる。

【０００８】また、請求項２に記載の映像オブジェクト
追跡装置は、請求項１に記載の映像オブジェクト追跡装
置において、過去の映像オブジェクト領域の履歴に基づ
いて、現時点の映像オブジェクト領域を予測し生成する
オブジェクト予測手段を備え、前記オブジェクト抽出手
段が該予測された映像オブジェクト領域を参照し、オブ
ジェクト抽出のための領域を限定する構成とした。

【０００９】このように構成されることにより、前記映
像オブジェクト追跡装置は、オブジェクト予測手段によ
り、過去の映像オブジェクト領域の履歴に基づいて、現
時点の映像オブジェクト領域を予測し生成することがで
き、前記オブジェクト抽出手段が該予測された映像オブ
ジェクト領域を参照し、オブジェクト抽出のための領域
を限定することができるので、映像オブジェクト追跡の
ための処理を高速化することができるとともに、映像オ
ブジェクト追跡の信頼性を向上させることができる。

【００１０】また、請求項３に記載の映像オブジェクト
追跡装置は、請求項１または請求項２に記載の映像オブ
ジェクト追跡装置が、前記オブジェクト抽出手段で抽出
された現時点の映像オブジェクト領域と前時点の映像オ
ブジェクト領域とを比較して、現時点での映像オブジェ
クトのオクルージョン発生の有無を解析するオクルージ
ョン解析手段を有する構成とした。

【００１１】このように構成されることにより、前記映
像オブジェクト追跡装置は、オクルージョン解析手段に
より、前記オブジェクト抽出手段で抽出された現時点の
映像オブジェクト領域と前時点の映像オブジェクト領域
とを比較して、現時点での映像オブジェクトのオクルー
ジョンの発生を検出することができる。

【００１２】さらに、請求項４に記載の映像オブジェク
ト追跡装置は、請求項３に記載の映像オブジェクト追跡
装置におけるオクルージョン解析手段が、前記オブジェ
クト抽出手段で抽出された映像オブジェクト領域と過去
の映像オブジェクト領域との形状変化が予め定められた
閾値より大きくなったときに、該領域に複数のオブジェ
クトが含まれていると判定する構成とした。

【００１３】このように構成されることにより、前記オ
クルージョン解析手段は、前記オブジェクト抽出手段で
抽出された映像オブジェクト領域と過去の映像オブジェ
クト領域との形状変化が予め定められた閾値より大きく
なったときに、該領域に複数のオブジェクトが含まれて
いると判定することができるので、高速にオクルージョ
ンの発生の有無を判断することができる。

【００１４】また、請求項５に記載の映像オブジェクト
追跡装置は、請求項３または請求項４に記載の映像オブ
ジェクト追跡装置におけるオブジェクト抽出手段が、前
記オクルージョン解析手段の解析結果で現時点の映像オ
ブジェクト領域にオクルージョンが発生している場合
は、前記映像オブジェクト領域を前記映像オブジェクト
内に含まれる映像オブジェクト固有の画像特徴量に基づ
いて、複数の映像オブジェクトを検出する構成とした。

【００１５】このように構成されることにより、前記オ
ブジェクト抽出手段は、前記オクルージョン解析手段の
解析結果で現時点の映像オブジェクト領域にオクルージ
ョンが発生している場合は、前記映像オブジェクト領域
を前記映像オブジェクト内に含まれる映像オブジェクト
固有の画像特徴量に基づいて、複数の映像オブジェクト
を検出することができるので、オクルージョンが発生し
た状況でも、追跡映像オブジェクトと他の映像オブジェ
クトを区別して検出することができる。

【００１６】そして、請求項６に記載の映像オブジェク
ト追跡装置は、請求項３または請求項５に記載の映像オ
ブジェクト追跡装置におけるオブジェクト抽出手段が、
映像オブジェクト固有の画像特徴量に基づいて、該映像
オブジェクトが存在する領域の部分領域を検出し、前記
部分領域を前記映像信号から検出したエッジ信号に基づ
いて領域を成長させることで映像オブジェクト領域全体
を抽出する構成とした。

【００１７】このように構成されることにより、前記オ
ブジェクト抽出手段は、映像オブジェクト固有の画像特
徴量に基づいて、該映像オブジェクトが存在する領域の
部分領域を検出し、前記部分領域を前記映像信号から検
出したエッジ信号に基づいて領域を成長させることで映
像オブジェクト領域全体を抽出することができるので、
オクルージョンが発生した状況でも、部分的に見えてい
る追跡映像オブジェクト領域を抽出することができる。

【００１８】

【発明の実施の形態】以下、本発明の一実施形態を図面
に基づいて詳細に説明する。（第一の実施形態）図１は、本発明における第一の実施
形態に係る映像オブジェクト追跡装置の全体構成を示す
ブロック図である。図１に示すように、本実施の形態に
係る映像オブジェクト追跡装置１は、入力された映像信
号を前景画像と背景画像とに二値化したシルエット画像
を生成するシルエット画像生成手段１０と、過去の映像
オブジェクト領域の履歴から現時点の映像オブジェクト
領域を予測し、予測映像オブジェクト領域を生成するオ
ブジェクト予測手段２０と、前記映像信号と前記シルエ
ット画像と前記予測映像オブジェクト領域とから、現時
点の映像オブジェクト領域の部分領域を検出し、さらに
該部分領域を領域成長させることで確定映像オブジェク
ト領域を生成するオブジェクト抽出手段３０とを備えて
構成されている。

【００１９】シルエット画像生成手段１０は、前景・背
景抽出部１１を有し、前景・背景抽出部１１が既存の領
域分割手法により、映像信号から前景画像と背景画像と
に二値化したシルエット画像を生成する。映像信号から
前景画像と背景画像とに二値化する手法としては、例え
ば、色情報を用いた手法（参考文献３：Masahide Naemu
ra等,Morphological Segmentation of sport scenes us
ing color information,IEEE-T Broadcasting,vol.46,n
o.3,pp.181-188,2000）がある。

【００２０】オブジェクト予測手段２０は、変換関数予
測部２１と、アフィン変換部２２とで構成され、追跡し
ている映像オブジェクトの動きを過去の履歴から予測し
て、現時点で、その映像オブジェクトが存在している領
域を推定する。この映像オブジェクトの動き予測は、過
去２フレームの映像オブジェクト領域から推定され、ア
フィンモデルなどの動きモデルを用いてパラメータ表現
が可能である（参考文献４：M.C.Lee等,A layered vide
o object coding system using sprite and affine mot
ion model,IEEE-T Circuits and Systems for Video Te
chnology,vol.7,no.1,pp.130-145,1997）。

【００２１】ここで、前記アフィンモデルにおけるアフ
ィン変換をＡ（・）、また、ある時刻ｔにおける映像オ
ブジェクト領域をＯｂｊ（ｔ）、ある時刻ｔにおける予
測映像オブジェクト領域をＯｂｊ_pre（ｔ）とすると、
オブジェクト予測手段２０の動き予測処理は（１）式で
表わすことができる。

【００２２】

【数１】

【００２３】まず最初に、変換関数予測部２１が２フレ
ーム前の映像オブジェクト領域をアフィン変換により１
フレーム前の映像オブジェクト領域に変換可能なアフィ
ンパラメータを推定し、該パラメータを用いた変換関数
を予測する。アフィン変換部２２は前記変換関数を用い
て、１フレーム前の映像オブジェクト領域にアフィン変
換を施すことで現時点における映像オブジェクト領域を
予測することができる。このアフィンパラメータは、既
存のＮｅｗｔｏｎ法などのパラメータ最適化アルゴリズ
ムを用いて推定することができる（参考文献５：W.H.Pr
ess等,Numerical Recipes in C,Cambridge Press,198
8）。

【００２４】なお、オブジェクト予測手段２０を有しな
い構成でも、映像オブジェクトの追跡は可能であるが、
オブジェクト予測手段２０を有することで追跡映像オブ
ジェクトの信頼性を向上させることができる。また、こ
こで推定された予測映像オブジェクト領域（Ｏｂｊ_pre
（ｔ））は、例えば、モルフォロジカル処理の１つであ
るＤｉｌａｔｉｏｎ処理で領域を広げて、その領域内で
後記するオブジェクト抽出手段３０を動作させること
で、処理の高速化や信頼性を向上させることもできる。

【００２５】オブジェクト抽出手段３０は、領域検出・
成長部３１を有し、オブジェクト予測手段２０で予測さ
れた予測映像オブジェクト領域から、追跡している映像
オブジェクト固有の画像特徴量を用いて映像オブジェク
ト領域の部分領域を検出し、さらにその検出された領域
を領域成長させることで、現時点における映像オブジェ
クト領域を抽出する。

【００２６】次に、オブジェクト抽出手段３０の動作内
容について説明する。まず、領域検出・成長部３１は、
オブジェクト予測手段２０で予測された予測映像オブジ
ェクト領域から、追跡している映像オブジェクト固有の
画像特徴量を用いて映像オブジェクト領域の部分領域を
検出する。この画像特徴量を用いた映像オブジェクト領
域の検出は、例えば、追跡している映像オブジェクトの
色情報を用いて行なうことができる（参考文献６：M.J.
Swain,Color Index,IJCV,vol.1,no.1,pp.11‐32,199
1）。

【００２７】次に、領域検出・成長部３１は、前記検出
された部分領域をモルフォロジカルフィルタで不要部分
の除去等の整形を行ない領域成長を行なう。この領域成
長にはGeodesic Binary Reconstruction（以下ＧＢＲと
略す）（参考文献７：苗村等、スポーツ番組からの芝生
領域の検出、映像情報メディア学会技術報告、MIP97‐4
2,NIM97‐61,no.42,pp.37‐42,1997）を用いて行なうこ
とで、領域成長を行なう前の部分領域を含むシルエット
画像の映像オブジェクト領域が精度良く検出される。

【００２８】ここで、前記ＧＢＲの動作を簡単に説明す
る。まず、ＩとＪを２次元画像平面上での０と１で表わ
されるバイナリ領域とし、それぞれの部分集合である有
限個の領域をＩ_i，Ｊ_kとしたときに、（２）式の関係が
成り立つとき、Ｊをマーカ領域、Ｉをマスク領域と呼
ぶ。

【００２９】

【数２】

【００３０】このマーカ領域Ｊとマスク領域Ｉを構成す
る部分集合Ｊ₁，Ｊ₂，…，Ｊ_n、Ｉ₁，Ｉ₂，…，Ｉ_mの個
数は一致するとは限らず、マスク領域の部分集合のなか
には、マーカ領域の部分集合を含まないものも存在しう
る。ＧＢＲ（ρＩ（Ｊ））は、このマーク領域、マスク
領域を使って、（３）式のように表わす。

【００３１】

【数３】

【００３２】すなわち、ＧＢＲは、少なくともマーカ領
域Ｊの部分集合を１つ含むマスク領域Ｉ_kの和集合であ
る。このＧＢＲの概念図を図３に示す。図３の例では、
マーカ領域の部分集合Ｊ₁，Ｊ₂とマスク領域の部分集合
Ｉ₁，Ｉ₂，Ｉ₃，Ｉ₄とが存在する環境において、マーカ
領域を含まないマスク領域の部分集合Ｉ₂，Ｉ₃が削除さ
れ、マーカ領域の部分集合Ｊ₁，Ｊ₂がマスク領域まで領
域成長した図である。

【００３３】次に、図９を参照して、本実施の形態に係
る映像オブジェクト追跡装置１において、予測映像オブ
ジェクト領域から確定映像オブジェクト領域を生成する
動作を視覚的に説明する。

【００３４】図９（ａ）は、オブジェクト予測手段２０
が追跡している映像オブジェクトの過去の履歴から、現
時点の映像オブジェクトを予測し生成した予測映像オブ
ジェクト領域と、シルエット画像生成手段１０が生成し
たシルエット画像のうち前景を示す前景シルエット領域
とを表わしている。

【００３５】ここで、オブジェクト抽出手段３０は、予
測映像オブジェクト領域から追跡している映像オブジェ
クト固有の画像特徴量を用いて、追跡映像オブジェクト
の部分領域を検出する。図９（ｂ）の検出領域が領域検
出結果を表わしている。

【００３６】次に、前記検出領域をＧＢＲのマーカ領域
とし、前記前景シルエット領域をＧＢＲのマスク領域と
し、ＧＢＲの原理により領域成長を行なう。図９（ｃ）
の成長領域がＧＢＲによる領域成長結果を表わしてい
る。

【００３７】次に、本発明の第二の実施形態を図面に基
づいて詳細に説明する。（第二の実施形態）図２は、本発明における第二の実施
形態に係る映像オブジェクト追跡装置の全体構成を示す
ブロック図である。図２に示すように、本実施の形態に
係る映像オブジェクト追跡装置１Ａは、第一の実施形態
による映像オブジェクト追跡装置１にオクルージョン解
析部４０が付加されるとともに、オブジェクト抽出手段
３０の代わりにオクルージョン解析部４０の解析結果に
より映像オブジェクトを抽出するオブジェクト抽出手段
３０Ａが付加されて構成されている。オブジェクト抽出
手段３０Ａとオクルージョン解析部４０以外の構成は図
１に示したものと同一の符号を付し、説明を省略する。

【００３８】オクルージョン解析手段４０は、オクルー
ジョン判定部４１と形状比較部４２とを有し、前フレー
ムの映像オブジェクト領域の形状情報と現時点での映像
オブジェクト領域の形状情報を比較して、その変化量が
予め設定されている閾値よりも大きくなったときにオク
ルージョンが発生したと判断し、それ以外はオクルージ
ョンが発生していないと判断して、該解析結果を出力す
る。この映像オブジェクト領域の形状情報は、該映像オ
ブジェクト領域の形状を表現する特徴量で、例えば映像
オブジェクト領域を囲む外接矩形の面積等を用いること
ができる。

【００３９】ここでオクルージョン判定部４１は、オク
ルージョンの判定を行なう際に前フレームでのオクルー
ジョンの状態によって判定動作が異なる。以下にオクル
ージョン判定部４１におけるオクルージョン判定動作を
説明する。なお、以下の説明では、時刻ｔにおけるオク
ルージョン判定結果を（４）式のように表わす。また、
判定に使用する映像オブジェクト領域の形状情報は、映
像オブジェクト領域を囲む外接矩形の面積とし、時刻ｔ
における映像オブジェクト領域の形状情報をＳ（ｔ）と
する。

【００４０】

【数４】

【００４１】まず、オクルージョン判定部４１は、前フ
レームでオクルージョンがなかったとき、すなわちＯｃ
ｃＦｌｇ（ｔ−１）が０の場合の現時点でのオクルージ
ョンの判定は、時刻ｔにおける映像オブジェクト領域の
形状情報をＳ（ｔ）とすると、（５）式の如く行なわれ
る。すなわち、形状比較部４２が前時点での映像オブジ
ェクト領域の形状情報と現時点での映像オブジェクト領
域の形状情報との面積値の変化量を算出し、オクルージ
ョン判定部４１は形状変化量がある閾値（ｔｈｒｅｓ）
より大きくなった場合は、現時点においてオクルージョ
ンが発生したと判定する。

【００４２】ここでオクルージョンが発生したときは、
オブジェクト領域の形状情報の値は更新しない。すなわ
ち、形状情報Ｓ（ｔ−１）がオクルージョンの発生して
いない最後の映像オブジェクト領域の形状情報となる。
一方、オクルージョンが発生していないときは、形状情
報はＳ（ｔ）に更新される。

【００４３】

【数５】

【００４４】一方、前フレームでオクルージョンが発生
している場合は、後記するオブジェクト抽出手段４０
で、追跡対象の映像オブジェクト以外にオクルージョン
領域に存在する可能性のある映像オブジェクトが抽出さ
れている。この結果、オクルージョン領域には複数（Ｎ
個）の映像オブジェクト領域が存在し、該複数の映像オ
ブジェクトを｛Ｏｂｊ_i：ｉ∈Ｎ｝で表わすことができ
る。追跡対象の映像オブジェクト領域をＯｂｊ_targetと
すると、時刻ｔにおけるオクルージョン判定結果は
（６）式で表わされる。

【００４５】

【数６】

【００４６】すなわち、オクルージョン判定部４１は、
追跡対象の映像オブジェクト領域（Ｏｂｊ_target）が、
同じオクルージョン領域の他の映像オブジェクト領域と
重なりがなく、かつ、形状比較部４２が算出する前時刻
（ｔ−１）における映像オブジェクト形状情報Ｓ（ｔ−
１）と現時点での追跡映像オブジェクト形状情報Ｓ_ta
_rgetとの面積値の形状変化量がある閾値（ｔｈｒｅｓ）
より大きくなったときは、オクルージョンが無くなった
と判断する。また、それ以外の状態ではオクルージョン
が継続していると判定する。

【００４７】ここでオクルージョンが発生しているとき
は、映像オブジェクト領域の形状情報の値は更新しな
い。すなわち、形状情報Ｓ（ｔ−１）がオクルージョン
の発生していない最後の映像オブジェクト領域の形状情
報となる。一方、オクルージョンが無くなったときは、
形状情報はＳ_targetに更新される。

【００４８】また、オクルージョン判定部４１は、後記
するオブジェクト抽出手段３０Ａで対象となる追跡対象
以外でオクルージョン領域に含まれている映像オブジェ
クトを選定する。ここで選定の対象となる映像オブジェ
クトは（７）式を満たす映像オブジェクトＯｂｊ_iであ
る。これにより、オブジェクト抽出手段３０Ａはオクル
ージョン領域内で対象となる映像オブジェクトを特定す
ることができる。

【００４９】

【数７】

【００５０】オブジェクト抽出手段３０Ａは、暫定領域
検出・成長部３２と、確定領域検出・成長部３３とで構
成されている。

【００５１】まず、オブジェクト抽出手段３０Ａは、オ
ブジェクト予測手段２０で予測された予測映像オブジェ
クト領域から、追跡している映像オブジェクト固有の画
像特徴量を用いて映像オブジェクト領域を限定し、さら
にその限定された領域を領域成長させることで、現時点
における映像オブジェクト領域を抽出する。ただし、こ
の段階で抽出された映像オブジェクトはオクルージョン
が発生している可能性を含んでいるため暫定的な領域で
ある。

【００５２】ここでオクルージョン解析手段４０により
前記暫定映像オブジェクト領域が、オクルージョンが発
生していないと判断されたときは、前記暫定映像オブジ
ェクト領域を確定映像オブジェクト領域とする。一方、
オクルージョン解析手段４０により前記暫定映像オブジ
ェクト領域が、オクルージョンが発生していると判断さ
れたときは、オクルージョンが発生している領域から、
映像オブジェクト固有の画像特徴量を用いて、複数の映
像オブジェクト領域の部分領域を検出し、さらにその検
出された部分領域を領域成長させることで、現時点にお
ける映像オブジェクト領域を抽出する。

【００５３】さらに、オブジェクト抽出手段３０Ａは、
オクルージョン解析手段４０によりオクルージョンが発
生していると判断された画像フレームを記憶部（図示せ
ず）に保持することで、本映像オブジェクト追跡処理を
施した後に、オクルージョンが発生した画像フレームに
対して、映像オブジェクト領域の補正を行なうことも可
能である。

【００５４】次に、オブジェクト抽出手段３０Ａの動作
内容について説明する。まず、暫定領域検出・成長部３
２がオブジェクト予測手段２０で予測された予測映像オ
ブジェクト領域から、追跡している映像オブジェクト固
有の画像特徴量を用いて映像オブジェクト領域の部分領
域を検出する。この画像特徴量を用いた映像オブジェク
ト領域の部分領域の検出は、例えば、追跡している映像
オブジェクトの色情報を用いて行なうことができる（前
記参考文献６）。

【００５５】次に、暫定領域検出・成長部３２は、前記
検出された部分領域をモルフォロジカルフィルタで不要
部分の除去等の整形を行ない領域成長を行なう。この領
域成長には前記ＧＢＲを用いて行なうことで、領域成長
を行なう前の部分領域を含むシルエット画像の映像オブ
ジェクト領域が精度良く検出される。ここで、前フレー
ムでオクルージョンが発生していたとき（ＯｃｃＦｌｇ
（ｔ−１）＝１）は、オクルージョン領域に含まれてい
る可能性のある映像オブジェクトの画像特徴量を用いて
複数の領域を検出する。該検出された領域は前記同様Ｇ
ＢＲを用いて領域成長を行なう。ここで検出された映像
オブジェクトは、現時点でのオクルージョンの状態を考
慮していないため、先に説明したオクルージョン解析手
段４０においてオクルージョン判定を行なう。

【００５６】次に、オブジェクト抽出手段３０Ａがオク
ルージョン判定後に行なう抽出動作について説明する。

【００５７】オクルージョン判定後、オブジェクト抽出
手段３０Ａ内の確定領域検出・成長部３３は、時刻ｔに
おける前記オクルージョン解析手段４０の解析結果に基
づいて、（８）式のように追跡対象の映像オブジェクト
領域Ｏｂｊ_target（ｔ）を最終的な映像オブジェクト領
域として抽出する。

【００５８】

【数８】

【００５９】（８）式でＯｂｊ_temp（ｔ）は、オブジェ
クト抽出手段３０Ａがオクルージョン解析手段４０に通
知した暫定領域検出・成長部３２で生成された暫定映像
オブジェクト領域である。現フレームでオクルージョン
が発生していない場合は、（８）式の如く前記暫定映像
オブジェクト領域Ｏｂｊ_temp（ｔ）がそのまま最終的に
抽出された映像オブジェクト領域Ｏｂｊ_target（ｔ）と
なる。

【００６０】一方、現フレームでオクルージョンがある
とき、オブジェクト抽出手段３０Ａは、追跡している映
像オブジェクト固有の画像特徴量を用いて、オブジェク
ト予測手段２０で予測された領域内のみから追跡してい
る映像オブジェクトの部分領域Ｓｅｅｄ_targetを検出す
る。検出された部分領域Ｓｅｅｄ_targetは、モルフォロ
ジカルフィルタで整形し、さらにこの部分領域Ｓｅｅｄ
_targetをエッジ強度がある閾値以上になるところまで領
域を成長させる（前記参考文献７に記載のＧＢＲの変形
処理）ことで、部分的に見えているオブジェクトの領域
を検出し、最終的に抽出された映像オブジェクト領域Ｏ
ｂｊ_target（ｔ）となる。（８）式においては、画像特
徴量により検出された領域をエッジ強度がある閾値以上
になるところまで領域を成長させる処理をＧｒｏｗ_edge
（Ｓｅｅｄ_target）で表わしている。

【００６１】次に、図４〜図８のフローチャートを参照
して、本実施の形態に係る映像オブジェクト追跡装置１
Ａの動作を説明する。なお、シルエット画像生成手段１
０の動作説明は前記説明により省略し、その出力のみを
使用するものとする。また、本フローチャートは１フレ
ームでの動作内容を示しており、映像信号が入力されて
いる間は連続的に本フローチャートの内容が実行され
る。

【００６２】まず、図４に示した映像オブジェクト追跡
装置１Ａの動作の概略フローチャートに基づいて説明す
る。

【００６３】まず最初に、オブジェクト予測手段２０
が、動き予測処理（ステップａ０）により現時点での予
測映像オブジェクト領域を生成する。

【００６４】次に、オブジェクト抽出手段３０Ａが、予
測映像オブジェクト領域から暫定領域検出・成長処理
（ステップｂ０）により、暫定映像オブジェクト領域を
生成する。

【００６５】そして、オクルージョン解析手段４０が、
前記暫定映像オブジェクト領域からオクルージョン判定
処理（ステップｃ０）により、映像オブジェクトのオク
ルージョン判定情報を生成する。

【００６６】最後に、オブジェクト抽出手段３０Ａが、
前記オクルージョン判定情報に基づいて、確定領域検出
・成長処理（ステップｄ０）を行なうことで、確定映像
オブジェクト領域を生成する。

【００６７】次に、前記ステップａ０、ステップｂ０、
ステップｃ０、ステップｄ０をさらに詳細にフローチャ
ートに基づいて説明する。

【００６８】まず、図５に示したフローチャートに基づ
いて、ステップａ０の動き予測処理について説明する。
オブジェクト予測手段２０内の変換関数予測部２１が、
時刻ｔ−２（現時点から２フレーム前）の確定映像オブ
ジェクト領域と、時刻ｔ−１（現時点から１フレーム
前）の確定映像オブジェクト領域から、アフィンパラメ
ータを推定し、変換関数を予測する（ステップａ１）。

【００６９】次に、オブジェクト予測手段２０内のアフ
ィン変換部２２が、時刻ｔ−１（現時点から１フレーム
前）の確定映像オブジェクト領域を前記変換関数により
アフィン変換を行なう（ステップａ２）。

【００７０】次に、アフィン変換部２２が、前記変換結
果を時刻ｔ（現時点）の予測映像オブジェクト領域とし
て出力する（ステップａ３）。

【００７１】次に、図６に示したフローチャートに基づ
いて、ステップｂ０の暫定領域検出・成長処理について
説明する。

【００７２】まず、オブジェクト抽出手段３０Ａ内の暫
定領域検出・成長部３２が、前フレームにおいてオクル
ージョンが発生していたかどうかを判断する（ステップ
ｂ１）。

【００７３】ここで、前フレームにおいてオクルージョ
ンがあった場合は、オクルージョン領域に含まれている
可能性のある映像オブジェクト固有の画像特徴量を用い
て前記予測映像オブジェクト領域から複数の映像オブジ
ェクトの部分領域を検出する（ステップｂ２）。

【００７４】一方、前フレームにおいてオクルージョン
がなかった場合は、前記予測映像オブジェクト領域内
で、追跡している映像オブジェクト固有の画像特徴量を
用いて映像オブジェクトの部分領域を検出する（ステッ
プｂ３）。

【００７５】次に、前記検出された部分領域をGeodesic
Binary Reconstruction（ＧＢＲ）により領域成長を行
なう（ステップｂ４）。

【００７６】最後に、暫定領域検出・成長部３２は、前
記領域成長結果を暫定映像オブジェクト領域として出力
する（ステップｂ５）。

【００７７】次に、図７に示したフローチャートに基づ
いて、ステップｃ０のオクルージョン判定処理について
説明する。

【００７８】まず、オクルージョン解析手段４０内のオ
クルージョン判定部４１が、前フレームにおいてオクル
ージョンが発生しているかを判断する（ステップｃ
１）。

【００７９】ここで、前フレームにおいてオクルージョ
ンがなかった場合はステップｃ４へ進む。一方、前フレ
ームにおいてオクルージョンがあった場合は、暫定領域
検出・成長部３２で検出・成長した複数の映像オブジェ
クト領域と追跡映像オブジェクト領域の重なりをチェッ
クする（ステップｃ２）。

【００８０】次に、追跡映像オブジェクト領域の前記重
なりを判断し（ステップｃ３）、重なりがある場合は、
ステップｃ６へ進む。一方、重なりがない場合は、形状
比較部４２において追跡映像オブジェクトの現時点ｔに
おける映像オブジェクト領域の形状情報Ｓ（ｔ）と前時
点（ｔ−１）における映像オブジェクトの形状情報Ｓ
（ｔ−１）との変化量を算出する（ステップｃ４）。

【００８１】ここで、オクルージョン判定部４１は、前
記形状変化量を判断し（ステップｃ５）、形状変化量が
予め定められた基準値以上であった場合は、現時点にお
いてオクルージョンがあると判断して、オクルージョン
判定情報にオクルージョンありをセットする（ステップ
ｃ６）。一方、形状変化量が予め定められた基準値未満
の場合は、現時点においてオクルージョンがないと判断
して、オクルージョン判定情報にオクルージョンなしを
セットする（ステップｃ７）。

【００８２】最後に、オクルージョン判定部４１は、前
記オクルージョン判定情報を出力する（ステップｃ
８）。

【００８３】次に、図８に示したフローチャートに基づ
いて、ステップｄ０の確定領域検出・成長処理について
説明する。

【００８４】まず、オブジェクト抽出手段３０Ａ内の確
定領域検出・成長部３３が、オクルージョン解析手段４
０が生成するオクルージョン判定情報に基づいて、現フ
レームでオクルージョンが発生しているかどうかを判断
する（ステップｄ１）。

【００８５】ここで、現フレームにオクルージョンがな
い場合は、暫定領域検出・成長部３２で生成した暫定映
像オブジェクト領域を確定映像オブジェクト領域として
出力する（ステップｄ２）。

【００８６】一方、現フレームにオクルージョンがある
場合は、画像特徴量を用いて前記予測映像オブジェクト
領域から、追跡映像オブジェクトの部分領域を検出する
（ステップｄ３）。

【００８７】次に、前記検出された部分領域をGeodesic
Binary Reconstruction（ＧＢＲ）により、エッジ強度
がある閾値以上になるところまで領域成長を行なう（ス
テップｄ４）。

【００８８】最後に、確定領域検出・成長部３３は、前
記領域成長結果を確定映像オブジェクト領域として出力
する（ステップｄ５）。

【００８９】次に、図９〜図１１を参照して、本実施の
形態に係る映像オブジェクト追跡装置における映像オブ
ジェクト領域の抽出及びオクルージョンの判定について
視覚的に説明する。

【００９０】まず、図９は暫定領域検出・成長部３２で
映像オブジェクトを検出し、領域成長を行なうことで映
像オブジェクトを抽出する動作を示した模式図である。
図９（ａ）は、オブジェクト予測手段２０が予測した予
測映像オブジェクト領域と、シルエット画像生成手段１
０が生成したシルエット画像の前景領域を前景シルエッ
ト領域として視覚的に重ねた図である。

【００９１】ここで、暫定領域検出・成長部３２は、予
測映像オブジェクト領域で追跡している映像オブジェク
ト固有の画像特徴量（例えば色情報）を用いて映像オブ
ジェクトの一部を検出する。図９（ｂ）がその領域検出
結果である検出領域を表わしている。

【００９２】さらに、暫定領域検出・成長部３２が前記
検出領域に領域成長（ＧＢＲ）を行なうことで、図９
（ｃ）の領域成長結果である成長領域が生成される。こ
の成長領域が暫定領域検出・成長部３２で生成される暫
定映像オブジェクト領域である。

【００９３】次に、図１０は確定領域検出・成長部３３
で、オクルージョンが発生している映像オブジェクト領
域から個々の映像オブジェクトを抽出する動作を示した
模式図である。図１０（ａ）は、オブジェクト予測手段
２０が予測した予測映像オブジェクト領域と、シルエッ
ト画像生成手段１０が生成したシルエット画像の前景領
域を前景シルエット領域として視覚的に重ねた図であ
る。

【００９４】ここで、確定領域検出・成長部３３は、予
測映像オブジェクト領域から追跡している映像オブジェ
クト固有の画像特徴量（例えば色情報）を用いて映像オ
ブジェクトの一部を検出し、該当する映像オブジェクト
に対してエッジ検出を行なう。図１０（ｂ）がその検出
結果である検出領域と検出エッジを表わしている。

【００９５】さらに、確定領域検出・成長部３３が前記
検出領域をエッジ強度がある閾値以上になるところまで
領域成長（ＧＢＲ）を行なうことで、図１０（ｃ）の領
域成長結果である成長領域が生成される。この成長領域
が確定領域検出・成長部３３で生成される確定映像オブ
ジェクト領域である。

【００９６】次に、図１１は前フレームにオクルージョ
ンがあると判定されている状態で、現フレームのオクル
ージョンの判定を行なう動作を示した模式図である。な
お、本説明では前フレームにおいて２つの映像オブジェ
クトで重なりが発生している場合について説明する。

【００９７】まず、暫定領域検出・成長部３２が、図１
１（ａ）の予測映像オブジェクト領域内で２つの映像オ
ブジェクト固有の画像特徴量（例えば色情報）を用いて
映像オブジェクトの一部を検出する。図１１（ｂ）がそ
の領域検出結果である検出領域を表わしている。

【００９８】さらに、暫定領域検出・成長部３２が前記
検出領域に領域成長（ＧＢＲ）を行なうことで、図１１
（ｃ−１）または図１１（ｃ−２）の領域成長結果であ
る成長領域が生成される。オクルージョン判定部４１
は、前記成長領域が図１１（ｃ−１）のように複数の映
像オブジェクトが１つの同じ成長領域となったとき、オ
クルージョンがあると判断する。また、前記成長領域が
図１１（ｃ−２）のように複数の映像オブジェクトが該
映像オブジェクト数分の成長領域として分離されたと
き、オクルージョンがないと判断する。

【００９９】以上、本発明では、オブジェクトのオクル
ージョンが生じ得る映像入力に対して、正確に映像オブ
ジェクトを抽出し追跡を行なうことが可能となる。

【０１００】

【発明の効果】以上説明したとおり、本発明に係る映像
オブジェクト追跡装置では、以下に示す優れた効果を奏
する。

【０１０１】請求項１記載の発明によれば、映像オブジ
ェクト追跡装置は、シルエット画像生成手段により、映
像信号を前景画像と背景画像とに二値化したシルエット
画像を生成することができ、オブジェクト抽出手段によ
り、前記映像信号と前記シルエット画像と映像オブジェ
クト固有の画像特徴量に基づいて、該映像オブジェクト
が存在する領域の部分領域を検出し、前記部分領域を前
記シルエット画像に基づいて領域を成長させることで映
像オブジェクト領域全体を抽出することができる。この
ため、追跡映像オブジェクト領域をシルエット画像の前
景シルエット領域に基づいて精度良く抽出することがで
きる。

【０１０２】請求項２記載の発明によれば、映像オブジ
ェクト追跡装置は、オブジェクト予測手段により、過去
の映像オブジェクト領域の履歴に基づいて、現時点の映
像オブジェクト領域を予測し生成することができ、前記
オブジェクト抽出手段が該予測された映像オブジェクト
領域を参照し、オブジェクト抽出のための領域を限定す
ることができるので、映像オブジェクト追跡のための処
理を高速化することができるとともに、映像オブジェク
ト追跡の信頼性を向上させることができる。

【０１０３】請求項３記載の発明によれば、オクルージ
ョン解析手段により、前記オブジェクト抽出手段で抽出
された現時点の映像オブジェクト領域と前時点の映像オ
ブジェクト領域とを比較して、現時点での映像オブジェ
クトのオクルージョンの発生を検出することができる。

【０１０４】請求項４記載の発明によれば、オクルージ
ョン解析手段が、前記オブジェクト抽出手段で抽出され
た映像オブジェクト領域と過去の映像オブジェクト領域
との形状変化が予め定められた閾値より大きくなったと
きに、該領域に複数のオブジェクトが含まれていると判
定することができるので、高速にオクルージョンの発生
の有無を判断することができる。

【０１０５】請求項５記載の発明によれば、オブジェク
ト抽出手段が、前記オクルージョン解析手段の解析結果
で現時点の映像オブジェクト領域にオクルージョンが発
生している場合は、前記映像オブジェクト領域を前記映
像オブジェクト内に含まれる映像オブジェクト固有の画
像特徴量に基づいて、複数の映像オブジェクトを検出す
ることができるので、オクルージョンが発生した状況で
も、追跡映像オブジェクトを検出することができる。

【０１０６】請求項６記載の発明によれば、オブジェク
ト抽出手段が、映像オブジェクト固有の画像特徴量に基
づいて、該映像オブジェクトが存在する領域の一部を予
測し、前記予測領域を前記映像信号から検出したエッジ
信号に基づいて領域を成長させることで映像オブジェク
ト領域全体を抽出することができるので、オクルージョ
ンが発生した状況でも、部分的に見えている追跡映像オ
ブジェクト領域を抽出することができる。

【図面の簡単な説明】

【図１】本発明による第一の実施の形態である映像オブ
ジェクト追跡装置の全体構成を示すブロック図である。

【図２】本発明による第二の実施の形態である映像オブ
ジェクト追跡装置の全体構成を示すブロック図である。

【図３】Geodesic Binary Reconstruction（ＧＢＲ）の
概念を示す図である。

【図４】第二の実施の形態である映像オブジェクト追跡
装置の概略動作を説明したフローチャートである。

【図５】第二の実施の形態である映像オブジェクト追跡
装置の動き予測処理の動作を説明したフローチャートで
ある。

【図６】第二の実施の形態である映像オブジェクト追跡
装置の暫定領域・検出処理の動作を説明したフローチャ
ートである。

【図７】第二の実施の形態である映像オブジェクト追跡
装置のオクルージョン判定処理の動作を説明したフロー
チャートである。

【図８】第二の実施の形態である映像オブジェクト追跡
装置の確定領域検出・成長処理の動作を説明したフロー
チャートである。

【図９】映像オブジェクト領域を抽出する動作を示した
模式図である。

【図１０】オクルージョンがある場合の映像オブジェク
ト領域を抽出する動作を示した模式図である。

【図１１】オクルージョンの判定処理を示した模式図で
ある。

【符号の説明】

１、１Ａ……映像オブジェクト追跡手段１０……シルエット画像生成手段１１……前景・背景抽出部２０……オブジェクト予測手段２１……変換関数予測部２２……アフィン変換部３０……オブジェクト抽出手段３１……領域検出・成長部３２……暫定領域検出・成長部３３……確定領域検出・成長部４０……オクルージョン解析手段４１……オクルージョン判定部４２……形状比較部

───────────────────────────────────────────────────── フロントページの続き (72)発明者三須俊彦東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内Ｆターム(参考） 5L096 AA06 DA01 EA43 FA00 FA25 FA77 HA03 LA01

Claims

【特許請求の範囲】

【請求項１】映像信号から抽出した映像オブジェクト
を時間的に追跡する映像オブジェクト追跡装置におい
て、前記映像信号を前景画像と背景画像とに二値化したシル
エット画像を生成するシルエット画像生成手段と、前記映像信号と前記シルエット画像と映像オブジェクト
固有の画像特徴量とに基づいて、該映像オブジェクトが
存在する領域の部分領域を検出し、前記部分領域を前記
シルエット画像に基づいて領域を成長させることで映像
オブジェクト領域全体を抽出するオブジェクト抽出手段
と、を備えたことを特徴とする映像オブジェクト追跡装置。
【請求項２】過去の映像オブジェクト領域の履歴に基
づいて、現時点の映像オブジェクト領域を予測し生成す
るオブジェクト予測手段を備え、前記オブジェクト抽出
手段が該予測された映像オブジェクト領域を参照し、オ
ブジェクト抽出のための領域を限定することを特徴とす
る請求項１に記載の映像オブジェクト追跡装置。
【請求項３】前記オブジェクト抽出手段で抽出された
現時点の映像オブジェクト領域と前時点の映像オブジェ
クト領域とを比較して、現時点での映像オブジェクトの
オクルージョン発生の有無を解析するオクルージョン解
析手段を備えたことを特徴とする請求項１または請求項
２に記載の映像オブジェクト追跡装置。
【請求項４】前記オクルージョン解析手段は、前記オ
ブジェクト抽出手段で抽出された映像オブジェクト領域
と過去の映像オブジェクト領域との形状変化が予め定め
られた閾値より大きくなったときに、該領域に複数のオ
ブジェクトが含まれていると判定することを特徴とする
請求項３に記載の映像オブジェクト追跡装置。
【請求項５】前記オブジェクト抽出手段は、前記オク
ルージョン解析手段の解析結果で現時点の映像オブジェ
クト領域にオクルージョンが発生している場合は、前記
映像オブジェクト領域を前記映像オブジェクト内に含ま
れる映像オブジェクト固有の画像特徴量に基づいて、複
数の映像オブジェクトを検出することを特徴とする請求
項３または請求項４に記載の映像オブジェクト追跡装
置。
【請求項６】前記オブジェクト抽出手段は、映像オブ
ジェクト固有の画像特徴量に基づいて、該映像オブジェ
クトが存在する領域の部分領域を検出し、前記部分領域
を前記映像信号から検出したエッジ信号に基づいて領域
を成長させることで映像オブジェクト領域全体を抽出す
ることを特徴とする請求項３乃至請求項５のいずれか１
項に記載の映像オブジェクト追跡装置。