JP2002352248A

JP2002352248A - 映像オブジェクト抽出支援装置

Info

Publication number: JP2002352248A
Application number: JP2001157010A
Authority: JP
Inventors: Yasuaki Kanetsugu; 保明金次; Toshihiko Misu; 俊彦三須; Masahide Naemura; 昌秀苗村; Shinichi Sakaida; 慎一境田; Buntou Tei; 文涛鄭
Original assignee: Nippon Hoso Kyokai NHK; NHK Engineering Services Inc; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp; NHK Engineering System Inc
Priority date: 2001-05-25
Filing date: 2001-05-25
Publication date: 2002-12-06

Abstract

(57)【要約】【課題】映像信号からのオブジェクト抽出と時間方向
のオブジェクト追跡とユーザインタラクションを統合
し、映像オブジェクト抽出作業の高速化と省力化を実現
した映像オブジェクト抽出支援装置を提供する。【解決手段】映像オブジェクト抽出支援装置は、追跡
映像オブジェクト形状信号を生成するオブジェクト追跡
手段１と、抽出映像オブジェクト形状信号を生成するオ
ブジェクト抽出手段２と、表示信号を生成する描画手段
５と、ユーザ入力信号に基づいて追跡方法を指示する追
跡制御信号と、抽出方法を指示する抽出制御信号と、表
示方法を指示する表示制御信号とを生成する制御手段４
と、を備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、オブジェクトベー
スの映像コンテンツ制作において、映像信号からのオブ
ジェクト抽出と、時間方向のオブジェクト追跡と、ユー
ザインタラクションを統合化し、映像オブジェクト抽出
作業の高速化及び省力化を支援する映像オブジェクト抽
出支援装置に関する。

【０００２】

【従来の技術】従来、オブジェクトベースの映像コンテ
ンツ制作において、映像信号から映像オブジェクトを自
動的に抽出し、かつ映像オブジェクトを時間方向に自動
的に追跡し、かつユーザインタフェースを介した映像オ
ブジェクトの調整・修正機能を有する統合化されたオブ
ジェクト抽出支援システムは存在しなかった。このた
め、オブジェクトベースの映像コンテンツ制作では、映
像信号から映像オブジェクトを抽出する個々のオブジェ
クト抽出技術や、時間方向に映像オブジェクトを追跡す
る個々のオブジェクト追跡技術や、ユーザインタラクシ
ョンによる映像オブジェクトの調整・修正をユーザが手
動で組み合わせることで映像オブジェクト抽出が行なわ
れていた。

【０００３】なお、従来の映像オブジェクト抽出・追跡
技術としては、動きに基づく領域分割手法に拡張Kalman
フィルタによる追跡手法を導入した技術（参考文献１：
Francois G. Meyer等, Region-Based Tracking Using A
ffine Motion Models in Long Image Sequences, CVGIP
Image Understanding, Vol.60, No.2, pp.119-140,199
4）が提案されている。また、映像オブジェクト追跡にM
onte Carlo法の一種であるCondensationアルゴリズムに
よる手法（参考文献２：Michael Isard等, Condensatio
n-Conditional Density Propagation for Visual Track
ing, International Journal of Computer Vision, Vo
l.29, No.1, pp.5-28, 1998）が複雑な運動モデルに適
用可能であるとして提案されている。

【０００４】また、Condensation法を改良した手法（参
考文献３：John Maccormick等, International Journal
of Computer vision, Vol.39, No.1, pp.51-71, 200
0）も提案されている。前記のいずれの手法も観測情報
の信頼性に応じた適応フィルタ処理を映像オブジェクト
追跡に適用したものである。

【０００５】また、映像コンテンツ制作を対象とした映
像オブジェクト抽出技術、領域分割手法（参考文献４：
井上「画像合成のための対象物抽出法」信学論D-II, Vo
l.J74-D-II, No.10, pp.1411-1418, 1991）も提案され
ている。

【０００６】

【発明が解決しようとする課題】オブジェクトベースの
映像コンテンツ制作においては、映像をオブジェクト毎
に管理する必要があり、映像オブジェクトを抽出するた
めには、映像信号からのオブジェクト抽出と時間方向の
オブジェクト追跡とを長時間にわたって行なう必要があ
る。しかしながら、従来の技術においては、オブジェク
トの抽出やオブジェクトの追跡やオブジェクトの調整・
修正といった作業・処理は手作業によって組み合わせて
行なわれており、とくに長時間にわたる映像を扱うには
膨大な時間と労力を要していた。

【０００７】本発明は、以上のような問題点に鑑みてな
されたものであり、映像信号からのオブジェクト抽出と
時間方向のオブジェクト追跡とユーザインタラクション
を統合し、映像オブジェクト抽出作業の高速化と省力化
を実現した映像オブジェクト抽出支援装置を提供するこ
とを目的とする。

【０００８】

【課題を解決するための手段】本発明では前記の課題を
解決するために以下の構成に係るものとした。請求項１
に記載の映像オブジェクト抽出支援装置は、映像信号か
ら、映像オブジェクトの位置及び形状を推定し抽出を行
なうオブジェクト抽出手段と、前記オブジェクト抽出手
段によって抽出した抽出映像オブジェクト及び、前記抽
出映像オブジェクトを抽出した後の映像信号を比較し
て、現時点における映像オブジェクトの位置及び形状を
把握し、当該映像オブジェクトを追跡映像オブジェクト
として追跡するオブジェクト追跡手段と、前記映像信
号、前記抽出映像オブジェクトと前記追跡映像オブジェ
クトのうち、少なくとも一つを描画する描画手段と、入
力される信号に基づいて、前記オブジェクト抽出手段、
前記オブジェクト追跡手段、前記描画手段を制御する制
御手段と、を有する構成とした。

【０００９】このように構成されることにより、映像オ
ブジェクト抽出支援装置は、オブジェクト抽出手段によ
り、映像信号から、映像オブジェクトの位置及び形状を
推定し抽出を行ない、オブジェクト追跡手段が前記抽出
された抽出映像オブジェクト及び、前記抽出映像オブジ
ェクトを抽出した後の映像信号を比較して、現時点にお
ける映像オブジェクトの位置及び形状を把握し、当該映
像オブジェクトを追跡映像オブジェクトとして追跡する
ことができる。また、描画手段により、前記映像信号と
前記抽出映像オブジェクトと前記追跡映像オブジェクト
のうち、少なくとも一つを描画することができる。ま
た、制御手段により、入力される信号に基づいて前記オ
ブジェクト抽出手段、前記オブジェクト追跡手段、前記
描画手段を制御することができる。

【００１０】また、請求項２に記載の映像オブジェクト
抽出支援装置発明は、請求項１に記載の映像オブジェク
ト抽出支援装置において、前記オブジェクト抽出手段の
抽出状態を監視する抽出状態監視手段を有する構成とし
た。

【００１１】このように構成されることにより、映像オ
ブジェクト抽出支援装置は、抽出状態監視手段により、
前記オブジェクト抽出手段の抽出状態を監視することが
できるので、ユーザの労力を軽減することができる。

【００１２】さらに、請求項３に記載の映像オブジェク
ト抽出支援装置発明は、請求項２に記載の映像オブジェ
クト抽出支援装置における前記抽出状態監視手段が、前
記オブジェクト抽出手段の抽出状態の観測値と予め定め
られた基準値との比較結果に基づいて、オブジェクト抽
出を停止する構成とした。

【００１３】このように構成されることにより、前記抽
出状態監視手段は、前記オブジェクト抽出手段で抽出失
敗と判断されたときに自動的に抽出を停止することがで
きるので、ユーザが逐一抽出失敗のチェックを行なわな
くてもよく、オブジェクト抽出の省力化を実現すること
ができる。

【００１４】また、請求項４に記載の映像オブジェクト
抽出支援装置発明は、請求項１乃至請求項３に記載の映
像オブジェクト抽出支援装置において、前記オブジェク
ト追跡手段の追跡状態を監視する追跡状態監視手段を有
する構成とした。

【００１５】このように構成されることにより、映像オ
ブジェクト抽出支援装置は、追跡状態監視手段により、
前記オブジェクト追跡手段の追跡状態を監視することが
できるので、ユーザが逐一追跡映像オブジェクトの確認
を行なわなくてもよく労力を軽減することができる。

【００１６】さらに、請求項５に記載の映像オブジェク
ト抽出支援装置発明は、請求項４に記載の映像オブジェ
クト抽出支援装置における前記追跡状態監視手段が、前
記オブジェクト追跡手段の追跡状態の観測値と予め定め
られた基準値との比較結果に基づいて、オブジェクト追
跡を停止する構成とした。

【００１７】このように構成されることにより、前記追
跡状態監視手段は、前記オブジェクト追跡手段で追跡失
敗と判断されたときに自動的に追跡を停止することがで
きるので、ユーザが逐一追跡失敗のチェックを行なわな
くてもよく、オブジェクト追跡の省力化を実現すること
ができる。

【００１８】また、請求項６に記載の映像オブジェクト
抽出支援装置発明は、請求項１乃至請求項５に記載の映
像オブジェクト抽出支援装置における前記オブジェクト
抽出手段が、前記映像信号から映像オブジェクトを抽出
する抽出手段を１乃至複数持ち、各々の抽出手段によっ
て抽出された映像オブジェクトを合成することで抽出映
像オブジェクトを生成する構成とした。

【００１９】このように構成されることにより、前記オ
ブジェクト抽出手段は、前記映像信号から映像オブジェ
クトを抽出する抽出手段を１乃至複数持ち、各々の抽出
手段によって抽出された映像オブジェクトを合成するこ
とができるので、最も抽出に適した抽出方法で映像オブ
ジェクトを抽出することができる。

【００２０】また、請求項７に記載の映像オブジェクト
抽出支援装置発明は、請求項１乃至請求項６に記載の映
像オブジェクト抽出支援装置における前記オブジェクト
抽出手段が、前記抽出映像オブジェクトを記憶する記憶
手段を持ち、抽出された映像オブジェクトと前記記憶手
段内の映像オブジェクトとを集合演算や幾何演算するこ
とで抽出映像オブジェクトを生成する構成とした。

【００２１】このように構成されることにより、前記オ
ブジェクト抽出手段は、抽出映像オブジェクトを記憶す
ることができ、抽出された映像オブジェクトと、前記記
憶手段内の映像オブジェクトを集合演算や幾何演算する
ことができるので、複数の演算を組み合わせた複雑な演
算を行なうことができる。

【００２２】また、請求項８に記載の映像オブジェクト
抽出支援装置発明は、請求項１乃至請求項項７に記載の
映像オブジェクト抽出支援装置における前記オブジェク
ト抽出手段が、抽出映像オブジェクトを補正する補正機
能を有する構成とした。

【００２３】このように構成されることにより、前記オ
ブジェクト抽出手段は、例えば、表示出力装置に表示さ
れた抽出映像オブジェクトを参照しながら、抽出映像オ
ブジェクトを補正することができるので、抽出映像オブ
ジェクトを正確に抽出することができる。

【００２４】さらに、請求項９に記載の映像オブジェク
ト抽出支援装置発明は、請求項１乃至請求項８に記載の
映像オブジェクト抽出支援装置における前記オブジェク
ト抽出手段が、前時点の追跡映像オブジェクトを参照し
て、現時点のオブジェクト抽出領域を絞り込む構成とし
た。

【００２５】このように構成されることにより、前記オ
ブジェクト抽出手段は、前時点の追跡映像オブジェクト
を参照して、現時点のオブジェクト抽出領域を絞り込む
ことができるので、オブジェクト抽出の誤抽出を軽減で
きるとともにオブジェクト抽出の高速化を実現できる。

【００２６】また、請求項１０に記載の映像オブジェク
ト抽出支援装置発明は、請求項１乃至請求項９に記載の
映像オブジェクト抽出支援装置における前記オブジェク
ト追跡手段が、前時点における抽出映像オブジェクト
と、前時点及び現時点における映像信号のパターンを比
較することで、現時点の追跡映像オブジェクトを生成す
る構成とした。

【００２７】このように構成されることにより、前記オ
ブジェクト追跡手段は、前時点の抽出映像オブジェクト
のオブジェクトパターンと、前時点及び現時点における
映像信号とから、現時点の追跡映像オブジェクトを生成
することができるので、移動する映像オブジェクトの形
状抽出の処理時間を短縮することができる。

【００２８】また、請求項１１に記載の映像オブジェク
ト抽出支援装置発明は、請求項１乃至請求項１０に記載
の映像オブジェクト抽出支援装置における前記オブジェ
クト追跡手段が、追跡映像オブジェクトを補正する補正
機能を有する構成とした。

【００２９】このように構成されることにより、前記オ
ブジェクト追跡手段は、例えば、表示出力装置に表示さ
れた追跡映像オブジェクトを参照しながら、追跡映像オ
ブジェクトを補正することができるので、追跡映像オブ
ジェクト形状を正確に抽出することができる。

【００３０】

【発明の実施の形態】以下、本発明の一実施形態を図面
に基づいて詳細に説明する。（第一の実施形態）図１は、本発明における第一の実施
形態に係る映像オブジェクト抽出支援装置の全体構成を
示すブロック図である。図１に示すように、映像オブジ
ェクト抽出支援装置は、映像信号ａから、映像オブジェ
クトの存在位置及び形状に関する情報を抽出し、各映像
オブジェクト毎の抽出映像オブジェクト形状信号ｆを生
成するオブジェクト抽出手段２と、映像信号ａと前時点
の映像オブジェクト形状信号から、現時点における映像
オブジェクトの存在位置及び形状を表わす追跡映像オブ
ジェクト形状信号ｅを生成するオブジェクト追跡手段１
と、映像信号ａと追跡映像オブジェクト形状信号ｅと抽
出映像オブジェクト形状信号ｆのうち、少なくとも一つ
の信号から表示信号ｈを生成する描画手段５と、表示信
号ｈの表示を行なう表示出力装置６と、オブジェクト追
跡手段１に対して追跡方法を指示する追跡制御信号ｃ
と、オブジェクト抽出手段２に対して映像オブジェクト
の抽出方法を指示する抽出制御信号ｄと、描画手段５に
対して表示方法を指示する表示制御信号ｇとを生成する
制御手段４と、制御手段４に、追跡制御信号ｃや抽出制
御信号ｄや表示制御信号ｇを生成するための指示情報を
入力する入力装置３とを含む構成とした。

【００３１】オブジェクト追跡手段１とオブジェクト抽
出手段２とは環状に接続され、映像オブジェクトの抽出
と追跡とが交互に動作する。オブジェクト追跡手段１
は、映像信号ａとオブジェクト抽出手段２により生成さ
れる前時点での映像オブジェクト形状である抽出映像オ
ブジェクト形状信号ｆとから、現時点における映像オブ
ジェクト形状を予測して、その予測結果を追跡映像オブ
ジェクト形状信号ｅとして出力する。

【００３２】次に、オブジェクト追跡手段１の動作につ
いて詳述する。例えば、映像信号ａのある時点ｔにおけ
る座標（ｘ，ｙ）の画素値をａ（ｘ，ｙ，ｔ）とする。
同様に追跡映像オブジェクト形状信号ｅと抽出映像オブ
ジェクト形状信号ｆのある時点ｔにおける座標（ｘ，
ｙ）の画素値をｅ（ｘ，ｙ，ｔ）とｆ（ｘ，ｙ，ｔ）と
し、それぞれ、ｅ（ｘ，ｙ，ｔ）∈｛０，１｝、ｆ
（ｘ，ｙ，ｔ）∈｛０，１｝のような２値画像で表わ
し、値が０のときは、該画素は映像オブジェクト外に存
在し、値が１のとき該画素がオブジェクト内に存在する
と定義する。ここで、現時点の映像ａ（ｘ，ｙ，ｔ）の
ある一点Ｃ（ξ，η）を中心とする半径Ｒの小領域を切
り出し、これをブロックＢとする。ブロックＢを前時点
の映像ａ（ｘ，ｙ，ｔ−１）に重ね合わせ、Ｂを水平・
垂直に移動させて画素値のパターンが最もよく重なり合
う場所を探索することで、現時点における点Ｃが前時点
にどこにあったかを推定することができる。すなわち点
Ｃの現時点ｔから前時点ｔ−１における移動ベクトル
（ｕ（ξ，η），ｖ（ξ，η））が推定される。以上の
操作をブロックマッチング法と称する。映像オブジェク
ト形状は画像と同様に運動するので、前時点の抽出映像
オブジェクト形状信号ｆ（ｘ，ｙ，ｔ−１）と（ｕ
（ξ，η），ｖ（ξ，η））とから現時点の映像オブジ
ェクト形状信号ｅ（ｘ，ｙ，ｔ）は（１）式により推定
できる。

【００３３】

【数１】

【００３４】すなわち、オブジェクト追跡手段１は、前
時点における抽出オブジェクト形状信号ｆを映像信号ａ
に基づいて変形し、現時点における追跡映像オブジェク
ト形状信号ｅを予測するものである。なお、前述のブロ
ックの重なり合いの評価には輝度値の差の自乗和や、輝
度値の相互相関係数を用いることもできる。さらに、拡
張Kalmanフィルタを用いる形状追跡手法（参考文献１）
をオブジェクト追跡手段１として用いることもできる。

【００３５】オブジェクト抽出手段２は、映像信号ａと
オブジェクト追跡手段１により生成される追跡映像オブ
ジェクト形状信号ｅとから、現時点における映像オブジ
ェクト形状を抽出して抽出映像オブジェクト形状信号ｆ
を生成する。

【００３６】次にオブジェクト抽出手段２の動作につい
て詳述する。例えば、背景の平均色ベクトルがμで与え
られるとする。映像信号ａのある時点ｔにおける座標
（ｘ，ｙ）の色ベクトルをａ（ｘ，ｙ，ｔ）とすると、
注目点の色ベクトルと背景平均色ベクトルの差がある閾
値θを超える場合には該注目点はオブジェクト内に存在
し、超えない場合には該注目点はオブジェクト外に存在
すると定義することができる。すなわち、抽出映像オブ
ジェクト形状信号ｆは、（２）式により抽出できる。

【００３７】

【数２】

【００３８】ここで、追跡映像オブジェクト形状信号ｅ
を利用して、抽出する領域を制限することで、抽出映像
オブジェクト形状信号ｆの誤抽出を軽減することもでき
る。例えば、追跡映像オブジェクト形状信号ｅを適当な
半径Ｓだけ拡大した形状をｅ ⁺とおき、ｅ⁺の形状と
（２）式の形状の集合積を抽出映像オブジェクト形状信
号ｆとしてもよい。すなわち、抽出映像オブジェクト形
状信号ｆは、（３）式により抽出できる。

【００３９】

【数３】

【００４０】この他、動き情報に基づく映像オブジェク
ト抽出（参考文献５：三須ら「動きベクトル場のHough
変換とグローバル動き補償による動オブジェクトの抽
出」2000年画像符号化シンポジウム，P-P2.19, 2000）
等の既存の映像オブジェクト抽出手法をオブジェクト抽
出手段２として用いることができる。

【００４１】また、オブジェクト抽出手段２は、映像オ
ブジェクトを抽出する抽出手段を複数持ち、その各々の
抽出結果を合成することで抽出映像オブジェクト形状信
号ｆを生成するように構成することもできる。図２に映
像オブジェクトの抽出手段を複数もったオブジェクト抽
出手段２の構成例を示す。図２に示すようにオブジェク
ト抽出手段２は、抽出手段２１−１，２１−２，…，２
１−Ｎ、及び演算手段２２で構成される。抽出手段２１
−１，２１−２，…，２１−Ｎの各々はそれぞれ異なる
領域分割手法により追跡映像オブジェクト形状信号ｅと
抽出制御信号ｄに基づいて、映像信号ａからそれぞれの
領域分割手法によってオブジェクト形状を抽出する。

【００４２】なお、各領域分割手法は、自動及び手動の
いずれによることもでき、例えば自動による手法として
前記（２）式や（３）式、（参考文献５）の手法などを
用いることができる。ここで抽出された各映像オブジェ
クト形状は演算手段２２に入力される。演算手段２２は
入力された各オブジェクト形状の集合演算や幾何演算を
行ない、その結果を抽出映像オブジェクト形状信号ｆと
して出力する。集合演算や幾何演算の演算例を図３に示
す。ここに示す集合演算及び幾何演算により抽出手段２
１−１，２１−２，…，２１−Ｎの出力形状間の演算を
行なう。また、抽出手段２１−１，２１−２，…，２１
−Ｎの出力形状間の演算を行なった結果を記憶手段２３
に保存することもできる。さらに、抽出手段２１−１，
２１−２，…，２１−Ｎの出力形状に加えて記憶手段２
３に記憶された形状も含めて形状間の演算を行なうこと
もできる。ここで実行すべき集合演算式や幾何演算式の
記述は、抽出制御信号ｄによって与えられる。

【００４３】入力装置３は、オブジェクト追跡手段１や
オブジェクト抽出手段２や後述する描画手段５をユーザ
が制御するための入力ユーザインタフェースを提供する
装置である。入力装置３は、例えばキーボード、デジタ
イザ、マウス等で構成される。その目的は、キーボード
入力によって、あるいはデジタイザ、マウスにより表示
出力装置６に提示されるボタンを指示することによっ
て、オブジェクト追跡手段１やオブジェクト抽出手段２
をユーザの欲するように調整することである。

【００４４】例えば、入力装置３はオブジェクト追跡手
段１に用いるブロックの重なり合いの評価に用いるブロ
ックの半径Ｒの増減、オブジェクト追跡手段２に用いる
（２）式もしくは（３）式の閾値θの増減、あるいは
（３）式のｅ⁺を作成する際に用いる半径Ｓの増減、あ
るいは、オブジェクト抽出手段２として色情報に基づく
手法を用いるのか動き情報に基づく手法を用いるのかの
指定を行なうためのインタフェースを提供するものであ
る。なお、入力装置３からの出力されるユーザ入力信号
ｂは、例えば、キーボードの押下情報、マウス、デジタ
イザの座標情報である。

【００４５】制御手段４は、ユーザ入力信号ｂのキーボ
ード押下情報や座標情報を解析し、これを、オブジェク
ト追跡手段１を制御するための追跡制御信号ｃ、オブジ
ェクト抽出手段２を制御するための抽出制御信号ｄ、な
らびに描画手段５を制御するための表示制御信号ｇに変
換する。

【００４６】追跡制御信号ｃはオブジェクト追跡手段１
の制御を行なう信号である。追跡制御信号ｃの例として
は、オブジェクト追跡手段１に用いるブロックマッチン
グ法のブロック半径Ｒの値がある。また、オブジェクト
追跡手段１として拡張Kalmanフィルタによる形状追跡手
法（参考文献１）を用いる場合には、拡張Kalmanフィル
タの運動モデルである状態遷移方程式、観測モデルであ
る観測方程式、そして各種共分散などが追跡制御信号ｃ
の内容となる。さらに、追跡制御信号ｃには運動モデル
として等速運動、等加速度運動、楕円運動、Affine運動
のいずれのモデルを用いるのかといった選択情報、観測
情報として輝度、色のテクスチャ情報、エッジ情報、形
状情報、動き情報のいずれを重視するのかといった重み
情報が挙げられる。

【００４７】抽出制御信号ｄはオブジェクト抽出手段２
の制御を行なう信号である。抽出制御信号ｄの例として
は、抽出手段（２１−１、２１−２、等）及びそのパラ
メータ、各種抽出手段による結果を統合するための集合
演算が挙げられる。具体的には、抽出手段として、
（２）式のような色情報を用いるのか（参考文献５）の
ような動き情報を用いるのか、あるいか手書きで入力す
るのかといった選択情報や、（２）式及び（３）式の閾
値θや半径Ｓが挙げられる。また、手書き入力によるオ
ブジェクト抽出の場合には、例えばその形状情報として
の制御点座標群が挙げられる。

【００４８】描画手段５は、映像信号ａ、追跡映像オブ
ジェクト形状信号ｅ、抽出映像オブジェクト形状信号ｆ
の中から必要なものを表示制御信号ｇに従って合成し、
その結果を、表示信号ｈを介して表示出力装置６に提示
する。表示制御信号ｇとして、例えば、映像信号ａ、追
跡映像オブジェクト形状信号ｅ、抽出映像オブジェクト
形状信号ｆの各画像を加重加法合成する場合の重み係数
とすることができる。映像信号ａ、追跡映像オブジェク
ト形状信号ｅ、抽出映像オブジェクト形状ｆに対する重
み係数をそれぞれｗ_a、ｗ_e、ｗ_fとしたとき、描画手段
５は（４）式により表示信号ｈを生成する。

【００４９】

【数４】

【００５０】なお、重み係数ｗ_a、ｗ_e、ｗ_fは入力装置
３からのキーボード押下等のユーザ入力信号ｂに応じて
制御手段４により生成される。なお描画手段５は、映像
信号ａを映像オブジェクト形状の内外に応じてハイライ
ト表示、シャドウ表示あるいはマスク表示を行なうこと
も可能である。

【００５１】表示出力装置６は、描画手段５から生成さ
れる表示信号ｈを画面上に表示させる出力装置で、例え
ばＣＲＴモニタ、液晶ディスプレイ等が挙げられる。

【００５２】また、本実施形態において追跡映像オブジ
ェクト形状信号ｅは補正を行なうことができる。例え
ば、表示出力装置６に表示されている追跡映像オブジェ
クト形状信号ｅを参照しながら、ユーザが入力装置３か
ら、映像オブジェクト領域の情報を入力し、制御手段４
がユーザ入力信号ｂを解析し、映像オブジェクトの情報
として追跡制御信号ｃをオブジェクト追跡手段１に通知
する。オブジェクト追跡手段１はこの追跡制御信号ｃに
基づいて、追跡映像オブジェクト形状信号ｅの補正を行
なう。

【００５３】また、本実施形態において抽出映像オブジ
ェクト形状信号ｆは補正を行なうことができる。例え
ば、表示出力装置６に表示されている抽出映像オブジェ
クト形状信号ｆを参照しながら、ユーザが入力装置３か
ら、映像オブジェクト領域の情報を入力し、制御手段４
がユーザ入力信号ｂを解析し、映像オブジェクトの情報
として抽出制御信号ｄをオブジェクト追跡手段２に通知
する。オブジェクト抽出手段２はこの抽出制御信号ｄに
基づいて、抽出映像オブジェクト形状信号ｆの補正を行
なう。

【００５４】次に、図５〜図８を参照して、本実施の形
態に係る映像オブジェクト抽出支援装置における映像オ
ブジェクト形状信号を視覚的に説明する。

【００５５】オブジェクト追跡手段１は、図５の映像信
号ａと抽出映像オブジェクト形状信号ｆとから、図６の
追跡映像オブジェクト形状信号ｅ（図６内の個々の人を
囲んだ枠）を生成する。ただし追跡映像オブジェクト形
状信号ｅは映像オブジェクトの追跡結果である数値化さ
れた領域情報であるので、図６は説明上図５の映像信号
ａと合成している。

【００５６】オブジェクト抽出手段２は、図１の映像信
号ａと図６の追跡映像オブジェクト形状信号ｅとから図
７の抽出映像オブジェクト形状信号ｆを生成する。本
来、抽出映像オブジェクト形状信号ｆは数値情報である
が、オブジェクト毎の存在範囲を可視化して表現してい
る。

【００５７】描画手段５は、映像信号ａ、追跡映像オブ
ジェクト形状信号ｅ、抽出映像オブジェクト形状信号ｆ
の中から必要なものを表示制御信号ｇに従って合成し、
その結果を、表示信号ｈを介して表示出力装置６に提示
するが、図８では、図１の映像信号ａと図７の抽出映像
オブジェクト形状信号ｆとを重ね合わせた表示例を示し
ている。

【００５８】次に、本発明の第二の実施形態を図面に基
づいて詳細に説明する。（第二の実施形態）図４は、本発明における第二の実施
形態に係る映像オブジェクト抽出支援装置の全体構成を
示すブロック図である。本第二の実施形態による映像オ
ブジェクト抽出支援装置では、第一の実施形態による映
像オブジェクト抽出支援装置に状態監視手段７が付加さ
れて構成されている。状態監視手段７以外の構成は図１
に示したものと同一の符号を付している。

【００５９】状態監視手段７は、オブジェクト追跡手段
１の追跡状態ｉを監視する追跡状態監視手段と、オブジ
ェクト抽出手段２の抽出状態ｊを監視する抽出状態監視
手段との少なくとも一方の機能を有することができる。
本実施形態では、前記追跡状態監視手段と前記抽出状態
監視手段とを併せ持った構成で状態監視手段７を実現し
ている。

【００６０】追跡状態ｉは、オブジェクト追跡手段１の
追跡結果、掩蔽状態、あるいは追跡映像オブジェクト形
状信号ｅの信頼度を評価した結果を表わすスカラー量乃
至ベクトル量である。例えば、オブジェクト追跡手段１
として局所相互相関値の最大化によるブロックマッチン
グ法を用いた場合、追跡状態ｉの一要素として最大局所
相互相関値を用いることができる。

【００６１】また、異なる追跡映像オブジェクト間の重
なり合いの関係を解析し、掩蔽の有無を追跡状態ｉの一
要素として用いることもできる。例えば、ある追跡映像
オブジェクトＥと、他の追跡映像オブジェクトの一つ
Ｅ’に注目する。もし、積集合Ｅ∩Ｅ’が空集合でない
Ｅ’が存在するならば、追跡映像オブジェクトＥは他の
映像オブジェクトに掩蔽されている可能性がある。ま
た、積集合Ｅ∩Ｅ’が空集合である場合は、追跡映像オ
ブジェクトＥは他の映像オブジェクトに掩蔽されていな
いと判断できる。積集合Ｅ∩Ｅ’が空集合でないＥ’が
存在する場合に、追跡状態ｉの一要素を１とし、そうで
ない場合は０とすることで、掩蔽可能性を表わすフラグ
の役割を持たせることができる。あるいは、Ｅ∩Ｅ’が
空集合でないＥ’が幾つ存在するかを追跡状態ｉの一要
素とすれば、幾つの映像オブジェクトが重なっているか
の指標とすることができる。積集合Ｅ∩Ｅ’の面積を追
跡映像オブジェクトＥの面積で除したもののうち、最大
のものを追跡状態ｉの一要素とすれば、掩蔽の割合を表
わす定量的指標となる。

【００６２】さらに、追跡映像オブジェクト形状信号ｅ
及び抽出映像オブジェクト形状信号ｆの履歴から、現在
の追跡映像オブジェクト形状信号ｅの妥当性を評価し、
これを追跡状態ｉの一要素として用いることもできる。
例えば、追跡映像オブジェクト形状信号ｅの前時点にお
ける各追跡映像オブジェクトの面積と現時点における各
追跡映像オブジェクト面積とを比較して、その差を追跡
状態ｉの一要素とすれば、追跡の失敗や掩蔽に起因する
面積変化を捉えることができる。

【００６３】抽出状態ｊは、オブジェクト抽出手段２の
抽出結果、あるいは抽出映像オブジェクト形状信号ｆの
信頼度を評価した結果のスカラー量乃至ベクトル量であ
る。例えば、抽出映像オブジェクト形状信号ｆが幾つの
連結領域で構成されているかを抽出状態ｊの一要素とす
れば、抽出結果に含まれる雑音や誤抽出の可能性を表わ
すことができる。

【００６４】さらに、追跡映像オブジェクト形状信号ｅ
及び抽出映像オブジェクト形状信号ｆの履歴から、現在
の抽出映像オブジェクト形状信号ｆの妥当性を評価し、
これを抽出状態ｊの一要素として用いることもできる。
例えば、抽出映像オブジェクト形状信号ｆの前時点にお
ける各抽出映像オブジェクトの面積と現時点における各
抽出映像オブジェクトの面積とを比較して、その差を抽
出状態ｊの一要素とすれば、抽出の失敗等に起因する面
積変化を捉えることができる。

【００６５】状態監視信号ｋは、追跡状態ｉと抽出状態
ｊに基づいて導出されるスカラー量乃至ベクトル量であ
る。例えば、状態監視信号ｋとして、追跡状態ｉの各成
分と抽出状態ｊの各成分の線形結合を用いることができ
る。この場合、状態監視信号ｋの第１成分はオブジェク
ト追跡の失敗を監視するような、第２成分はオブジェク
ト抽出の失敗を監視するような線形結合とする。例え
ば、状態監視信号ｋの第１成分は主に追跡状態ｉの各成
分に大きな重みをおき、誤追跡の可能性とともに単調増
加するような重みづけを行なう。状態監視信号ｋの第２
成分は、主に抽出状態ｊの各成分に大きな重みをおき誤
抽出の可能性とともに単調増加するような重みづけを行
なう。以上の重み付けは、試行錯誤によって妥当なもの
を選ぶほか、テスト映像を用いて判別分析などを行なう
など体系的に決定することも可能である。すなわち、以
下の手順で重みを体系的に決定することができる。

【００６６】まず、映像オブジェクト形状が既知である
ようなテスト映像を用いてオブジェクト追跡及びオブジ
ェクト抽出を行なう。次に、追跡映像オブジェクト形状
信号ｅ及び抽出映像オブジェクト形状信号ｆが、真の映
像オブジェクト形状に近いか否かにより成否を判定し、
追跡または抽出の成功失敗に応じて、分類１（抽出失
敗、追跡失敗）、分類２（抽出失敗、追跡成功）、分類
３（抽出成功、追跡失敗）、分類４（抽出成功、追跡成
功）の４分類のいずれかに帰属させる。このときの追跡
状態ｉ及び抽出状態ｊに対応する一点を、追跡状態ｉの
各成分及び抽出状態ｊの各成分からなる空間上に分類番
号とともにプロットする。最後に、追跡状態ｉ及び抽出
状態ｊを状態監視信号ｋへ写像した際に、同じ分類番号
を付せられた点同士が近く、異なる分類のもの同士が遠
くなるような線形結合の重みを求めることが必要である
が、これは既存の判別分析法によって実施可能である。

【００６７】制御手段４は、第一の実施形態の入力に加
えて状態監視信号ｋの入力を有し、ユーザ入力信号ｂと
状態監視信号ｋの両者に基づき追跡制御信号ｃ、抽出制
御信号ｄ、ならびに表示制御信号ｇを生成する。例え
ば、状態監視信号ｋの一成分である追跡の成否を表わす
指標がある閾値を超えたとき、追跡制御信号ｃとして追
跡の停止命令を、表示制御信号ｇとして追跡を停止した
旨を表示する命令を発行し、映像オブジェクトの追跡を
停止することができる。この映像オブジェクトの追跡が
停止された状態で、ユーザが入力装置３から、正しい映
像オブジェクト領域の情報を入力し、制御手段４が該ユ
ーザ入力信号ｂを解析し、追跡制御信号ｃによりオブジ
ェクト追跡手段１に映像オブジェクトの情報を入力する
ことで、誤追跡の修正を行なうことができる。また状態
監視信号ｋの一成分である抽出の成否の指標がある閾値
を超えたときは、抽出制御信号ｄとして抽出の停止命令
を、表示制御信号ｇとして抽出を停止した旨を表示する
命令を発行する。この映像オブジェクトの抽出が停止さ
れた状態で、ユーザが入力装置３から、正しい映像オブ
ジェクト領域の情報を入力し、制御手段４が該ユーザ入
力信号ｂを解析し、抽出制御信号ｄによりオブジェクト
抽出手段２に映像オブジェクトの情報を入力すること
で、誤抽出の修正を行なうことができる。

【００６８】描画手段５は、第一の実施形態の入力に加
えて状態監視信号ｋの入力を有し、第一の実施形態の動
作に加えて状態監視信号ｋに応じた表示を表示信号ｈに
出力することができる。例えば、前述のように映像オブ
ジェクトの抽出あるいは追跡の失敗を状態監視信号ｋの
閾値処理により検出した場合に、その旨を表示信号ｈと
して出力することができる。

【００６９】以上、一実施形態に基づいて本発明を説明
したが、本発明はこれに限定されるものではない。

【００７０】

【発明の効果】以上説明したとおり、本発明に係る映像
オブジェクト抽出支援装置では、以下に示す優れた効果
を奏する。

【００７１】請求項１に記載の発明によれば、オブジェ
クト抽出手段により、映像信号から、映像オブジェクト
の位置及び形状を推定し抽出を行ない、オブジェクト追
跡手段が前記抽出された抽出映像オブジェクト及び、前
記抽出映像オブジェクトを抽出した後の映像信号を比較
して、現時点における映像オブジェクトの位置及び形状
を把握し、当該映像オブジェクトを追跡映像オブジェク
トとして追跡することができ、描画手段により、前記映
像信号と前記抽出映像オブジェクトと前記追跡映像オブ
ジェクトのうち、少なくとも一つを描画することがで
き、制御手段により、入力される信号に基づいて前記オ
ブジェクト抽出手段、前記オブジェクト追跡手段、前記
描画手段を制御することができるので、オブジェクト抽
出とオブジェクト追跡とユーザインタラクションを統合
し、映像オブジェクト抽出作業の高速化と省力化を実現
することができる。

【００７２】請求項２に記載の発明によれば、前記オブ
ジェクト抽出手段の抽出状態を監視することができるの
で、ユーザが逐一抽出映像オブジェクトの確認を行なわ
なくてもよく労力を軽減することができる。

【００７３】請求項３に記載の発明によれば、前記抽出
状態監視手段は、前記オブジェクト抽出手段で抽出失敗
と判断されたときに自動的に抽出を停止することができ
るので、ユーザが逐一抽出失敗のチェックを行なわなく
てもよく、オブジェクト抽出の省力化を実現することが
できる。

【００７４】請求項４に記載の発明によれば、前記オブ
ジェクト追跡手段の追跡状態を監視することができるの
で、ユーザが逐一追跡映像オブジェクトの確認を行なわ
なくてもよく労力を軽減することができる。

【００７５】請求項５に記載の発明によれば、前記追跡
状態監視手段は、前記オブジェクト追跡手段で追跡失敗
と判断されたときに自動的に追跡を停止することができ
るので、ユーザが逐一追跡失敗のチェックを行なわなく
てもよく、オブジェクト追跡の省力化を実現することが
できる。

【００７６】請求項６に記載の発明によれば、前記オブ
ジェクト抽出手段は、前記映像信号から映像オブジェク
トを抽出する抽出手段を１乃至複数持ち、各々の抽出手
段によって抽出された映像オブジェクトを合成すること
ができるので、最も抽出に適した抽出方法で映像オブジ
ェクトを抽出することができる。

【００７７】請求項７に記載の発明によれば、前記オブ
ジェクト抽出手段は、抽出映像オブジェクトを記憶する
ことができ、抽出された映像オブジェクトと、前記記憶
手段内の映像オブジェクトを集合演算や幾何演算するこ
とができるので、複数の演算を組み合わせた複雑な演算
を行なうことができる。

【００７８】請求項８に記載の発明によれば、前記オブ
ジェクト抽出手段は、例えば、表示出力装置に表示され
た抽出映像オブジェクトを参照しながら、抽出映像オブ
ジェクトを補正することができるので、抽出映像オブジ
ェクトを正確に抽出することができる。

【００７９】請求項９に記載の発明によれば、前記オブ
ジェクト抽出手段は、前時点の追跡映像オブジェクトを
参照して、現時点のオブジェクト抽出領域を絞り込むこ
とができるので、オブジェクト抽出の誤抽出を軽減でき
るとともにオブジェクト抽出の高速化を実現できる。

【００８０】請求項１０に記載の発明によれば、前記オ
ブジェクト追跡手段は、前時点の抽出映像オブジェクト
のオブジェクトパターンと、前時点及び現時点における
映像信号とから、現時点の追跡映像オブジェクトを生成
することができるので、映像オブジェクトの形状抽出の
処理時間を短縮することができる。

【００８１】請求項１１に記載の発明によれば、前記オ
ブジェクト追跡手段は、例えば、表示出力装置に表示さ
れた追跡映像オブジェクトを参照しながら、追跡映像オ
ブジェクトを補正することができるので、追跡映像オブ
ジェクト形状を正確に抽出することができる。

【図面の簡単な説明】

【図１】本発明による第一の実施の形態に係る映像オブ
ジェクト抽出支援装置の全体構成を示すブロック図であ
る。

【図２】オブジェクト抽出手段の構成を示した図であ
る。

【図３】オブジェクト抽出手段で行なう演算例を示した
図である。

【図４】本発明による第二の実施の形態に係る映像オブ
ジェクト抽出支援装置の全体構成を示すブロック図であ
る。

【図５】映像信号の一例を視覚的に示した図である。

【図６】追跡映像オブジェクト形状信号の一例を視覚的
に示した図である。

【図７】抽出映像オブジェクト形状信号の一例を視覚的
に示した図である。

【図８】表示信号の一例を視覚的に示した図である。

【符号の説明】

１……オブジェクト追跡手段２……オブジェクト抽出手段３……入力装置４……制御手段５……描画手段６……表示出力装置７……状態監視手段２１−１、２１−２、…、２１−Ｎ……抽出手段２２……演算手段２３……記憶手段ａ……映像信号ｂ……ユーザ入力信号ｃ……追跡制御信号ｄ……抽出制御信号ｅ……追跡映像オブジェクト形状信号ｆ……抽出映像オブジェクト形状信号ｇ……表示制御信号ｈ……表示信号ｉ……追跡状態ｊ……抽出状態ｋ……状態監視信号

フロントページの続き (72)発明者三須俊彦東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内 (72)発明者苗村昌秀東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内 (72)発明者境田慎一東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内 (72)発明者鄭文涛東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内Ｆターム(参考） 5C054 EJ00 FC05 FC13 HA00 5L096 AA02 AA06 EA14 EA17 EA35 FA69 GA19 HA04 HA05 JA11 JA26

Claims

【特許請求の範囲】

【請求項１】映像信号から映像オブジェクトを抽出
し、この抽出した映像オブジェクトの追跡をサポートす
る映像オブジェクト抽出支援装置において、前記映像信号から、映像オブジェクトの位置及び形状を
推定して抽出するオブジェクト抽出手段と、前記オブジェクト抽出手段によって抽出した抽出映像オ
ブジェクト及び、前記抽出映像オブジェクトを抽出した
後の映像信号を比較して、現時点における映像オブジェ
クトの位置及び形状を把握し、当該映像オブジェクトを
追跡映像オブジェクトとして追跡するオブジェクト追跡
手段と、前記映像信号、前記抽出映像オブジェクトと前記追跡映
像オブジェクトのうち、少なくとも一つを描画する描画
手段と、入力される信号に基づいて、前記オブジェクト抽出手
段、前記オブジェクト追跡手段、前記描画手段を制御す
る制御手段と、を備えたことを特徴とする映像オブジェクト抽出支援装
置。
【請求項２】前記オブジェクト抽出手段の抽出状態を
監視する抽出状態監視手段を備えたことを特徴とする請
求項１に記載の映像オブジェクト抽出支援装置。
【請求項３】前記抽出状態監視手段は、前記オブジェ
クト抽出手段の抽出状態の観測値と予め定められた基準
値との比較結果に基づいて、オブジェクト抽出を停止す
ることを特徴とする請求項２に記載の映像オブジェクト
抽出支援装置。
【請求項４】前記オブジェクト追跡手段の追跡状態を
監視する追跡状態監視手段を備えたことを特徴とする請
求項１乃至請求項３に記載の映像オブジェクト抽出支援
装置。
【請求項５】前記追跡状態監視手段は、前記オブジェ
クト追跡手段の追跡状態の観測値と予め定められた基準
値との比較結果に基づいて、オブジェクト追跡を停止す
ることを特徴とする請求項４に記載の映像オブジェクト
抽出支援装置。
【請求項６】前記オブジェクト抽出手段は、前記映像
信号から映像オブジェクトを抽出する抽出手段を１乃至
複数持ち、各々の抽出手段によって抽出された映像オブ
ジェクトを合成することで抽出映像オブジェクトを生成
することを特徴とする請求項１乃至請求項５に記載の映
像オブジェクト抽出支援装置。
【請求項７】前記オブジェクト抽出手段は、前記抽出
映像オブジェクトを記憶する記憶手段を持ち、抽出され
た映像オブジェクトと前記記憶手段内の映像オブジェク
トとを集合演算や幾何演算することで抽出映像オブジェ
クトを生成することを特徴とする請求項１乃至請求項６
に記載の映像オブジェクト抽出支援装置。
【請求項８】前記オブジェクト抽出手段は、抽出映像
オブジェクトを補正する補正機能を備えたことを特徴と
する請求項１乃至請求項７に記載の映像オブジェクト抽
出支援装置。
【請求項９】前記オブジェクト抽出手段は、前時点の
追跡映像オブジェクトを参照して、現時点のオブジェク
ト抽出領域を絞り込むことを特徴とする請求項１乃至請
求項８に記載の映像オブジェクト抽出支援装置。
【請求項１０】前記オブジェクト追跡手段は、前時点
における抽出映像オブジェクトと、前時点及び現時点に
おける映像信号のパターンを比較することで、現時点の
追跡映像オブジェクトを生成することを特徴とする請求
項１乃至請求項９に記載の映像オブジェクト抽出支援装
置。
【請求項１１】前記オブジェクト追跡手段は、追跡映
像オブジェクトを補正する補正機能を備えたことを特徴
とする請求項１乃至請求項１０に記載の映像オブジェク
ト抽出支援装置。