JP2002044519A - 動画像内オブジェクト抽出方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】既に物体抽出に成功したフレームのアルファデ
ータを上書きしてしまうことなく、正しいアルファデー
タを生成できる動画像内オブジェクト抽出装置を提供す
る。 【解決手段】動画像内の物体領域を表すアルファデータ
をフレーム毎に生成するアルファデータ生成部７と、生
成されたアルファデータを記憶する記憶部３と、記憶部
３に記憶されたアルファデータについてフレーム毎に上
書き許可モードまたは上書き不許可モードのいずれかの
モードを設定するモード設定部６と、現処理フレームに
ついてモード設定部６で設定されたモードが上書き許可
モードまたは上書き不許可モードのいずれかを判定し、
上書き許可モードのときのみアルファデータ生成部７に
現処理フレームのアルファデータを新たに生成せしめて
記憶部３に記憶されている現処理フレームと同一フレー
ムのアルファデータ上に上書きする制御を行う制御部８
を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像内の物体領
域を表すアルファデータをフレーム毎に生成することで
動画像内のオブジェクトを抽出する方法及び装置に関す
る。

【０００２】

【従来の技術】動画像内の物体（オブジェクト）を自動
抽出することは、動画像を物体毎に編集・加工したり、
動画像の背景を別の背景に置き換えたりする処理を行う
ために有用である。

【０００３】一般に、動画像内の物体領域を表すには、
物体領域と背景領域とで互いに異なる画素値（アルファ
値）を持つ画像を原画像と併せて用意する。このような
アルファ値から構成される画像のデータをアルファデー
タと呼び、このアルファデータをフレーム毎に生成する
処理を動画像内オブジェクト抽出と呼ぶ。アルファデー
タは、原画像データとは別のデータであったり、原画像
データに含まれるように構成される場合もある。後者の
場合、画素毎にＲ値、Ｇ値、Ｂ値に加えＡ値（アルファ
値）を設定するフォーマットが用いられることが多い。

【０００４】従来より用いられているオブジェクト抽出
法として、クロマキー法がある。クロマキー法では、予
め登録した色を背景色とし、画像データ中で背景色と近
い色を持つ画素の領域を背景領域、それ以外の色の画素
の領域を物体領域とそれぞれ判定する。アドビ社の「プ
レミア」という画像処理ソフトには、クロマキー法によ
り動画像から物体を抽出する機能が備えられている。

【０００５】この機能を使って物体抽出を行う場合、ま
ずあるフレームの画像を表示し、その背景上の画素をユ
ーザがクリックすることで背景色を登録する。次に、背
景か否かの判定を行うための閾値を設定した後、この閾
値と背景色を用いて動画像シーケンス全体からフレーム
毎に物体を自動抽出する。しかし、クロマキー法では処
理対象画像の背景に多くの色が存在していたり、物体に
背景と同じ色があると正しく物体を抽出することができ
ないという問題がある。

【０００６】このしたクロマキー法の欠点を解消するた
めに、任意の背景上にある物体を抽出する方法として
は、本発明者らが“フレーム間差分とブロックマッチン
グを併用した動画像の物体抽出”（三本杉，井田，渡
邊、第５回 画像センシングシンポジウム 講演論文集、
C-4，PP.61-66,June 1999）で開示した、差分法とブロ
ックマッチング法を併用するハイブリッド法と呼ばれる
方法がある。このハイブリッド法では、まず動画像の最
初のフレームにおいてユーザが抽出したい物体のアルフ
ァデータをマニュアル操作で設定する。２フレーム目以
降では、設定された最初のフレームのアルファデータを
基にして物体の動きなどを追跡しながら、アルファデー
タを自動生成する。その際、動き検出のための動きベク
トルの探索範囲や、フレーム間差分に対して設定される
物体か背景かの判定のための閾値などの抽出パラメータ
をユーザがマニュアル操作で設定する。

【０００７】ハイブリッド法を用いた物体抽出において
は、前述のプレミアと同様に最初のフレームにおいて抽
出パラメータを設定し、２フレーム目以降では同じパラ
メータを用いて物体抽出を行う方法が考えられる。この
方法では、あるフレームまでは正確に物体抽出ができて
も、それ以降のフレームでは正しく物体抽出を行うこと
ができなくなることがある。ハイブリッド法が対象とす
るような任意の背景を持つ画像では、物体抽出に必要な
抽出パラメータがフレームの経過によって変化するから
である。

【０００８】このため、ハイブリッド法のような前フレ
ームの抽出結果や物体の動きを利用して物体抽出を行う
方法では、抽出に失敗したフレームについては抽出パラ
メータを切り替えて抽出をやり直し、アルファデータを
上書きする必要がある。しかし、ある抽出パラメータで
物体抽出に失敗したフレームについて、別の抽出パラメ
ータで物体抽出を行っても、必ずしも正しい抽出が行わ
れるとは限らず、既に正しく物体抽出が行われたフレー
ムが、抽出に失敗したアルファデータによって上書きが
なされてしまうことがある。特に、現処理フレームとは
別のフレームのアルファデータと物体の動きを利用する
物体抽出法では、同じ抽出パラメータであっても、別の
フレームのアルファデータの状況によって現処理フレー
ムでの物体抽出結果が変化してしまう。従って、単に抽
出パラメータを記憶保持しておいても、既に得られたア
ルファデータを再現できるわけではない。

【０００９】

【発明が解決しようとする課題】上述したように、最初
のフレームで設定した抽出パラメータ２フレーム目以降
でも用いて物体抽出を行うことでアルファデータを生成
し、物体抽出に失敗したとき抽出パラメータを変更した
後に抽出し直して既に得られたアルファデータ上に上書
きする従来の動画像内オブジェクト抽出技術では、既に
正しく物体抽出がなされたフレームが抽出に失敗したア
ルファデータにより上書きされて失われてしまう場合が
あった。

【００１０】本発明は、動画像内の物体を確実に抽出し
てアルファデータを生成できる動画像内オブジェクト抽
出方法及び装置を提供することを目的とする。

【００１１】本発明のより具体的な目的は、例えばハイ
ブリッド法を用いた場合に、既に物体抽出に成功したフ
レームのアルファデータを上書きしてしまうことなく、
正しいアルファデータを生成できる動画像内オブジェク
ト抽出方法及び装置を提供することにある。

【００１２】

【課題を解決するための手段】上記の課題を解決するた
め、本発明では動画像内の物体領域を表すアルファデー
タが動画像のフレーム毎に生成され、この生成されたフ
レーム毎のアルファデータについて上書き許可モードま
たは上書き不許可モードのいずれかのモードがそれぞれ
設定される。現処理フレームについて設定されたモード
が上書き許可モードまたは上書き不許可モードのいずれ
であるかが判定され、上書き許可モードのときは現処理
フレームのアルファデータが新たに生成される。そし
て、この新たに生成されたアルファデータが現処理フレ
ームと同一フレームの既に生成されたアルファデータ上
に上書きされる。判定されたモードが上書き不許可モー
ドのときは、現処理フレームについて新たなアルファデ
ータの生成を行うことなく処理が進められるか、あるい
は処理が終了する。

【００１３】このようにすることで、既に物体抽出に成
功したフレームのアルファデータを上書きしてしまうこ
となく、フレーム毎にアルファデータを生成できる。

【００１４】また、本発明では互いに異なる複数のパラ
メータを用いてフレーム毎にそれぞれ複数のアルファデ
ータが生成され、フレーム毎にこれら異なるパラメータ
に基づいて生成された複数のアルファデータのうちの一
つが選択される。

【００１５】さらに、本発明では動画像内の物体、背景
及び動画像全体の少なくとも一つの動きを示す動きパラ
メータが入力され、この動きパラメータを用いてフレー
ム毎にアルファデータが生成される。

【００１６】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。 （動画像内オブジェクト抽出装置の全体構成）図１は、
本発明の一実施形態に係る動画像内オブジェクト抽出装
置の構成を示している。この動画像内オブジェクト抽出
装置は、例えばパーソナルコンピュータを用いて実現さ
れ、大きく分けてキーボード及びマウスのようなポイン
ティングデバイスを含む入力部１と、ＣＰＵ２と、ハー
ドディスク装置やメモリなどの記憶部３、及び液晶ディ
スプレイやＣＲＴモニタなどの表示部４から構成され
る。

【００１７】また、図１では動画像内オブジェクト抽出
装置を実現する要素としてアルファデータ設定部５、モ
ード設定部６、アルファデータ生成部７及び制御部８が
設けられており、アルファデータ設定部５とモード設定
部６の機能は入力部１によって実現され、アルファデー
タ生成部７と制御部８の機能はＣＰＵ２によって実現さ
れている。

【００１８】アルファデータ設定部５では、本装置を利
用するユーザによるマニュアル操作によって、動画像の
例えば最初のフレームのアルファデータが設定される。
設定されたアルファデータは、制御部８による制御下で
記憶部３に書き込まれる。モード設定部６では、ユーザ
によるマニュアル操作で、または自動的に動画像のフレ
ーム毎に上書き許可モード・上書き非許可モードのいず
れかのモードが制御部８に対して設定される。アルファ
データ生成部７では、制御部８による制御下で記憶部３
に記憶されている既処理フレームのアルファデータを用
いて、現処理フレームのアルファデータが生成される。
制御部８は、アルファデータ生成部７の制御と記憶部３
の書き込み／読み出し制御を行う。

【００１９】（動画像内オブジェクト抽出用表示画面に
ついて）図２は、動画像内オブジェクト抽出時の表示部
４での表示画面の具体例を示している。同図に示される
ように、表示画面１０には動画像表示レーン１１、フレ
ームポインタ１２、画像表示ウィンドウ１３、表示フレ
ーム切替ボタン類１４、アルファデータデータ設定ボタ
ン１５、フィッティングボタン１６、物体抽出ボタン１
７及びモード設定レーン１８が配置されている。

【００２０】動画像表示レーン１１には、動画像を構成
する各フレームの画像がフレーム順に縮小表示される。
フレーム数が多いときは、適当に間引いて表示される。
動画像表示レーン１１のうち、フレームポインタ１２に
よって指し示される位置のフレームの画像が画像表示ウ
ィンドウ１３に大きく表示される。表示フレーム切り替
えボタン類１４のいずれかをクリックすることによっ
て、画像表示ウィンドウ１３上で「動画再生」、「再生
停止」、「１フレーム前に移動」、「１フレーム後に移
動」、「最初のフレームに移動」、「最後のフレームに
移動」といった操作ができ、それに合わせてフレームポ
インタ１２も自動的に移動する。

【００２１】フレームポインタ１２を左右にドラッグす
ることにより、画像表示ウィンドウ１３に表示される画
像のフレームが切り替わる。そこで、まず最初のフレー
ム（動画像表示レーン１１の左端のフレーム）の画像を
画像表示ウィンドウ１３に表示した状態で、物体入力と
背景入力の２種類の入力切り替えを行うためのアルファ
データ設定ボタン１５をクリックすることで、物体ペン
あるいは背景ペンを選択し、その物体ペンあるいは背景
ペンによって画像表示ウィンドウ１３内で物体領域や背
景領域を塗る。これは図１のアルファデータ設定部５で
の設定操作に相当し、これにより大まかなアルファデー
タが設定される。

【００２２】次に、フィッティングボタン１６をクリッ
クすることで、例えば自己相似モデルによってアルファ
データの輪郭が動画像内の物体の輪郭にフィッティング
される。この後、物体抽出ボタン１７をクリックするこ
とで、ハイブリッド法によってそれ以降のフレームのア
ルファデータが生成される。この生成されたアルファデ
ータに基づいて、物体抽出画像が画像表示ウィンドウ１
３内に表示される。この物体抽出画像は、例えば背景部
分を所定の色で塗りつぶすか、所定の色で半透明に塗り
つぶした形態をとるものとする。このとき、動画像表示
レーン１１で表示される画像も左から順に元の動画像に
代えて物体抽出画像に切り替わり、フレームポインタ１
２もそれに合わせて右側に移動する。物体抽出画像が最
後のフレームに到達すると、物体抽出は終了する。

【００２３】この段階では、必ずしも全てのフレームで
物体抽出が成功しているとは限らないので、ユーザはフ
レームポインタ１２などを用いながら、物体抽出画像を
表示して結果を確認する。そして、この物体抽出画像の
表示から物体抽出が成功した区間のフレームに対して
は、モード設定レーン１８においてマウスでドラッグす
るなどにより指定して、斜線で示すように上書き不許可
モードを設定し、それ以外の物体抽出が成功しなかった
区間のフレームに対しては、上書き許可モードを設定す
る。これは図１のモード設定部６での操作に相当する。

【００２４】ハイブリッド法など、既処理フレームのア
ルファデータを用いて現処理フレームのアルファデータ
を生成する方法では、一度物体抽出に失敗すると、それ
が以降のフレームにも影響し、連続して物体抽出に失敗
する傾向がある。従って、物体抽出に成功するフレーム
と抽出に失敗するフレームは、図２の上書き不許可モー
ドと上書き許可モードの区間にそれぞれ示したように、
いずれも連続することが多い。

【００２５】次に、ユーザは物体抽出に失敗した最初の
フレームを画像表示ウィンドウ１３に表示し、アルファ
データ設定ボタン１５で選択した物体ペンあるいは背景
ペンや、フィッティングボタン１６を用いて修正を加え
る。この後、物体抽出ボタン１７を再度クリックするこ
とにより、以降のフレームのアルファデータが自動生成
され、上書き許可モードのフレームのアルファデータが
記憶部３上で上書きされる。この場合、物体抽出に失敗
した最初のフレームを修正することになるので、以降の
フレームでは高い確率で正しく物体抽出を行うことがで
きる。

【００２６】なお、上書き不許可モードを設定する際の
マニュアル操作を軽減するために、物体抽出に成功した
と推定されるフレームを自動的に上書き不許可モードに
設定する方法を用いてもよい。例えば、ハイブリッド法
における動きベクトル検出時の誤差が小さい、動きの影
響が少ない、物体の輪郭線の両側の画素値の段差が大き
い、といったフレームについては、物体抽出が成功した
と見なして上書き不許可モードに自動的に設定する。ユ
ーザは、その設定結果が正しいかどうかをモード設定レ
ーン１８の表示から確認し、誤っていれば適宜修正す
る。

【００２７】（動画像内オブジェクト抽出の処理手順に
ついて）次に、図３〜図６に示すフローチャートを用い
て、本実施形態における動画像内オブジェクト抽出の種
々の処理手順について説明する。

【００２８】図３は、アルファデータ設定部５により動
画像の最初のフレームのアルファデータが設定され、さ
らにアルファデータ生成部７で動画像の処理対象の全フ
レームのアルファデータが生成されて記憶部４に記憶さ
れた後の処理を示している。まず、動画像のフレーム毎
に上書き許可モードか上書き不許可モードのいずれかの
モードが設定される（ステップＳ１１）。具体的には、
例えばユーザが図２に示した表示画面１０の画像表示ウ
ィンドウ１３上で、アルファデータを用いて表示される
物体抽出画像からアルファデータの出来映えをフレーム
毎に確認し、物体抽出が正しくなされているフレームで
は上書き不許可モードに、そうでないフレームでは上書
き許可モードに設定する。このモード設定の具体的な手
法については、後に詳しく述べる。

【００２９】ステップＳ１１における他のモード設定の
方法としては、前述したようにハイブリッド法における
動きベクトル検出時の誤差が小さい、動きの影響が少な
い、物体の輪郭線の両側の画素値の段差が大きいといっ
たフレームについては上書き不許可モードとし、それ以
外のフレームは上書き許可モードとするように自動的に
モード設定を行ってもよい。

【００３０】次に、制御部８において動画像の最初のフ
レームが上書き許可モードか否かが判定され（ステップ
Ｓ１２）、上書き許可モードであったときは、アルファ
データ生成部７で該当フレームのアルファデータが生成
される（ステップＳ１３）。ステップＳ１２において上
書き許可モードでないとき、つまり上書き不許可モード
であったときはステップＳ１４に進み、全てのフレーム
の処理が終了したか否かが判定され、未処理のフレーム
が残っているときは、次のフレームを現処理フレームと
してステップＳ１２〜Ｓ１４の処理が繰り返される。こ
れにより２フレーム目以降が順次処理される。ステップ
Ｓ１４で最後のフレームと判定されたときは、動画像内
オブジェクト抽出処理は終了する。

【００３１】図４は、図３と同様にアルファデータ設定
部５により動画像の最初のフレームのアルファデータが
設定され、さらにアルファデータ生成部７で動画像の処
理対象の全フレームのアルファデータが生成されて記憶
部４に記憶された後の処理を示している。ステップＳ２
１のモード設定処理、ステップＳ２２の上書き許可／不
許可判定処理、ステップＳ２３のアルファデータ生成処
理及びステップＳ２４の全フレーム終了判定処理は、図
３の場合と基本的に同様であるが、ステップＳ２２にお
いて上書き不許可と判定した場合に、次のフレームに処
理を進めず、フレームが残っていても直ちに動画像内オ
ブジェクト抽出処理を終了する点が図３と異なってい
る。

【００３２】この図４の処理手順によると、ある区間の
フレームのみから物体抽出を行う場合には、物体抽出を
行いたい区間だけ上書き許可モードにしておくことで、
区間の終端に達した時点で動画像内オブジェクト抽出処
理を自動的に終了することができる。

【００３３】図５は、アルファデータ生成部７でのアル
ファデータ生成処理について示している。まず、予め定
められた異なる複数の抽出パラメータを用いて、フレー
ム毎に複数のアルファデータが同時に生成される（ステ
ップＳ３１）。次に、全てのフレームについてアルファ
データ生成処理が終了したか否かが判定され（ステップ
Ｓ３２）、アルファデータ未生成のフレームが残ってい
るときは、次のフレームを現処理フレームとしてステッ
プＳ３１の処理が繰り返される。ステップＳ３２で最後
のフレームと判定されたときは、フレーム毎に複数個ず
つ生成されたアルファデータの中から、例えばユーザに
よって一つずつ選択されたアルファデータが最終的にア
ルファデータ生成部７の出力として以後の処理に用いら
れる。

【００３４】図６は、アルファデータ生成部７での他の
アルファデータ生成処理について示している。まず、物
体抽出に用いられる動きパラメータが設定される（ステ
ップＳ４１）。動きパラメータは、例えばユーザが表示
画面上で物体や背景や画面全体の動きの方向及び大きさ
の少なくとも一方を入力した結果から算定される。この
動きパラメータの具体的な設定方法については、後に詳
しく説明する。

【００３５】次に、ステップＳ４１で設定された動きパ
ラメータを用いてアルファデータが生成される（ステッ
プＳ４２）。そして、全てのフレームのアルファデータ
生成処理が終了したか否かが判定され（ステップＳ４
３）、アルファデータ未生成のフレームが残っていると
きは、次のフレームを現処理フレームとしてステップＳ
４２の処理が繰り返されることにより、全てのフレーム
について、設定された動きパラメータを用いたアルファ
データの生成が行われる。

【００３６】（アルファデータ設定部５について）次
に、アルファデータ設定部５での具体的な設定方法につ
いて説明する。アルファデータ設定の具体的な手法とし
ては、例えば表示画面１０の画像表示ウィンドウ１３上
で最初のフレームの画像を表示し、この画像をユーザが
見ながら画像内の所望の物体をマウスのポインタなどを
用いて塗りつぶし、その塗りつぶした領域を物体領域と
してアルファデータを設定する方法が最も簡単である。

【００３７】その際、塗りつぶした領域では塗りつぶし
た色を半透明で表示するようにすれば、塗りつぶした領
域内の物体の画像を確認できるので、確実に所望の物体
領域のアルファデータを生成することができるという利
点がある。物体領域に色を付けるのではなく、背景領域
に色を付けるようにしても、物体の画像を良く認識する
ことができる。

【００３８】また、物体の輪郭に沿って正確に塗りつぶ
す操作が煩雑であるときは、大まかな塗りつぶしを行っ
た後に、本発明者らが“自己相似法による輪郭線のフィ
ッティング（井田，三本杉、第５回 画像センシングシ
ンポジウム 講演論文集、C-15，PP.115-120,June 199
9）”で提案した自己相似モデル法を用いて、自動的に
アルファデータの輪郭を物体の輪郭にフィッティングす
れば、少ない手間でアルファデータを設定することがで
きる。

【００３９】アルファデータの他の設定方法として、図
７（ａ）に示すように制御点（〇印で示す）を持つ輪郭
線を表示し、これらの制御点をマウスのポインタでドラ
ッグすることにより移動させ、輪郭線を図７（ｂ）に示
すように所望の物体を近似するように変形させるように
すると、物体の形状によってはより簡単にアルファデー
タを設定することができる。この場合は、輪郭線の内側
を物体領域としてアルファデータを設定することにな
る。また、物体の輪郭線上を適当な間隔を空けて次々と
クリックすることで、クリックした点を制御点として順
にスプライン曲線などで滑らかに連結することにより輪
郭線を設定し、アルファデータを設定する方法でもよ
く、比較的簡単にアルファデータを設定できる。

【００４０】さらに、図８に示すように予め楕円などの
所定形状のテンプレートを複数種類か用意しておき、そ
れらを物体２１の部分を覆うように配置することで、ア
ルファデータを設定することもできる。図８の例では、
４つの楕円２２，２３，２４，２５によって物体２１を
覆っている。楕円の画面２０からはみ出した領域は廃棄
される。これらの楕円２２，２３，２４，２５の和を物
体領域としてフィッティングを行う。この場合、例えば
図８に示したように物体が人間の上半身であって、頭部
を囲む楕円２２を配置した瞬間に、フィッティングボタ
ン１６をクリックせずとも自動的にフィッティングを行
うようにすれば、物体の抽出結果を確認しながら楕円の
配置作業を進めることができる。

【００４１】次に、例えば楕円２３を配置したときは、
楕円２３を用いてフィッティングを行い、その結果と先
に楕円２２を用いた結果の和を物体領域として表示す
る。以下、楕円２４，２５を配置する場合についても同
様である。この際、既に正しく設定された輪郭部分がそ
の後の処理で変更されないように、別に用意する岩垣禁
止ペンでなぞっておくようにする。上書き禁止ペンでな
ぞられた部分のアルファデータは、上書きされないよう
にすれば、せっかく正確に入力した輪郭を綾ままって上
書きしてしまうことがなくなる。上書き禁止ペンでなぞ
られた部分については、一目で分かるように別の色で半
透明に着色しておくことが望ましい。

【００４２】（アルファデータ生成部７について）上述
のようにしてアルファデータ設定部５で最初のフレーム
のアルファデータが設定され、記憶部３に書き込まれた
後、この最初のフレームのアルファデータと画像データ
が記憶部３から読み出されてアルファデータ生成部５に
送られる。アルファデータ生成部５では、例えば先に述
べたハイブリッド法によって２フレーム以降のフレーム
のアルファデータが生成される。

【００４３】すなわち、記憶部３から読み出された画像
データのフレーム間の動き検出を行い、その動き検出結
果に基づき既処理フレームのアルファデータについて変
形（動き補償）を施すことで、動き補償に基づくアルフ
ァデータが作られる。これと同時に、記憶部３から読み
出された画像データのフレーム間差分が大きい部分を物
体領域とすることで、差分に基づくアルファデータが作
られる。そして、画面の部分毎に、動き補償によるアル
ファデータと差分によるアルファデータのいずれかのよ
り適切な方を適応的に選択することで、現処理フレーム
のアルファデータが最終的に生成される。

【００４４】このような方法によりアルファデータはフ
レーム毎に順次生成され、必要に応じて記憶部３に書き
込まれ、また必要に応じて記憶部３から読み出されて表
示部４で画像として表示される。

【００４５】（モード設定部６について）上述したよう
なアルファデータの生成方法では、全てのフレームのア
ルファデータが一度で正確に生成されるとは限らず、例
えば幾つかのフレームで物体抽出に失敗し、実際の物体
とは大きく隔たったアルファデータが生成されることも
あり得る。そのようなときは、物体抽出に失敗したフレ
ームにおいてアルファデータ設定部５を用いてマニュア
ル操作でアルファデータを再度入力した後に物体抽出を
し直し、物体抽出に失敗したフレームの記憶部３に記憶
されているアルファデータを上書きするようにする。

【００４６】ここで、正しく物体領域が抽出されている
フレームのアルファデータについては記憶部３で上書き
されないように、ユーザによってモード設定部６を用い
てフレーム毎に上書き許可モードと上書き不許可モード
のいずれかのモードに設定される。

【００４７】モード設定部６による設定結果は制御部８
で判定され、上書き許可モードが設定されたフレームで
は、アルファデータ設定部５によって設定されるか、あ
るいはアルファデータ生成部７で生成され、記憶部３に
記憶されている当該フレームのアルファデータが制御部
８による制御下で上書きされるが、上書き不許可モード
が設定されたフレームでは上書きはなされない。

【００４８】アルファデータ生成部７における物体領域
の自動抽出によるアルファデータの生成がフレーム順に
進み、上書き不許可モードが設定されたフレームに達す
ると、そのフレームを飛ばして次に上書き許可モードが
設定されているフレームのアルファデータの生成が行わ
れるか（図３）、または移動物体抽出処理はそこで終了
する（図４）。また、上書き不許可モードが設定された
フレームでは物体抽出処理を省略し、記憶部３に記憶さ
れているアルファデータが当該フレームで抽出されたも
のと見なして処理を進めてもよい。

【００４９】（モード設定の他の方法について）次に、
図９を用いてモード設定部６でのモード設定の他の方法
について説明する。図９は、図２に示したようなモード
設定レーン１８を用いずに、動画像表示レーン１１上で
モード設定を行う例である。すなわち、図９（ａ）に示
すように動画像表示レーン１１に対してユーザの指示に
より抽出開始ポインタと抽出終了ポインタを設定し、こ
れら抽出開始ポインタと抽出終了ポインタの間のフレー
ムを上書き許可モードとし、それ以外のフレームを上書
き不許可モードとする。この状態でユーザが図２の物体
抽出ボタン１７をクリックすると、抽出開始ポインタが
指し示すフレームから物体抽出が始まり、抽出終了ポイ
ンタが指し示すフレームで物体抽出が終了する。

【００５０】図９（ｂ）は、抽出開始ポインタが指し示
すフレームより時間的に前のフレームに抽出終了ポイン
タを設定した例であり、この場合にはフレームの時間順
とは逆順で物体抽出が行われることになる。

【００５１】このように例えば抽出開始ポインタと抽出
終了ポインタにより上書き許可開始フレームと上書き不
許可終了フレームを指定してもよいし、上書き不許可開
始フレームと上書き不許可開始フレームを指定すること
によっても、上書き不許可モードと上書き許可モードの
設定を行うことができる。

【００５２】次に、図１０を用いてモード設定部６での
モード設定の他の方法について説明する。図１０では、
図２に示したような動画像表示レーン１１を１１Ａ，１
１Ｂ，１１Ｃで示すように複数列設定し、これらの各動
画像表示レーン１１Ａ，１１Ｂ，１１Ｃでそれぞれ異な
る抽出パラメータを用いて同時に物体抽出を行った結果
を表示する。

【００５３】抽出パラメータとは、例えば動きベクトル
の探索範囲、フレーム間差分に対して物体領域か背景領
域かを判定する際に用いる閾値、動き補償に基づくアル
ファデータか、差分に基づくアルファデータのいずれを
適応的に選択する際に用いる閾値などである。これら抽
出パラメータの値を固定しておくと、これまで述べたよ
うに、あるフレームでは正しく物体領域が抽出される
が、別のフレームでは抽出に失敗することがある。

【００５４】そこで、図１０に示すように異なる抽出パ
ラメータを用いて物体検出を行った結果を異なる複数の
動画像表示レーン１１Ａ，１１Ｂ，１１Ｃ上に並べて表
示しておく。ユーザは、フレーム毎に動画像表示レーン
１１Ａ，１１Ｂ，１１Ｃのうち最も正確に物体が抽出さ
れたレーンを選び、そのレーン上の画像をクリックする
ようにする。図１０では、選択された画像が〇印で示さ
れている。

【００５５】一方、画像の性質が全フレームで余り変化
しないために、単一の抽出パラメータ値で物体抽出がで
きる場合でも、最適な抽出パラメータを見出すことが困
難な場合がある。これに対しては、例えば抽出パラメー
タを物体抽出の途中でも変更可能にすることで、最適な
抽出パラメータを探る方法が考えられる。抽出パラメー
タがユーザによって変更されたら、そのフレーム以降は
変更後の抽出パラメータを用いて物体抽出が行われるよ
うにする。ユーザは１回目の物体抽出では抽出結果を確
認しながら抽出パラメータを適宜変更して抽出パラメー
タの最適な値を探る。この方法によると動的に抽出パラ
メータを切り替えることができるので、短時間で最適な
抽出パラメータを見出すことが可能である。そして、２
回目以降はその最適な抽出パラメータの値に固定して、
全フレームまたは抽出に失敗したフレームの抽出をやり
直すことができる。

【００５６】（アルファデータの他の生成方法につい
て）ハイブリッド法では物体や背景の動きを自動的に検
出するが、予めそれらの動きが分かっていれば、アルフ
ァデータ生成時に動き方向の情報を用いることで処理量
を少なくしたり、動き検出精度の向上を図ることができ
る。図６に示したアルファデータ生成手順は、この考え
を応用してステップＳ４１で動きパラメータを設定した
後に、この動きパラメータを用いてアルファデータを生
成している。

【００５７】図１１は、このようなアルファデータ生成
時に物体の動く方向などをユーザがマニュアル操作で入
力する例を示している。最初のフレームの画像を表示し
ている段階で、ユーザが物体３２上をマウスでドラッグ
して物体３２の動き方向３３を入力する。また、動画像
を撮像するカメラにパニングがあったために背景３１が
動く場合には、背景３１の動き方向３４を同様に入力す
る。

【００５８】物体抽出の際には、これらの動き方向３
３，３４についてのみ動きベクトル探索を行うようにす
れば、全方向について動きベクトル探索を行うよりも動
き検出のための処理量を削減でき、また入力された動き
の周辺だけで細かく動きベクトルを探索すれば、処理量
を増やさずにより正確な動き検出が可能となる。その結
果、物体抽出の処理時間を短縮でき、あるいは抽出精度
を高めることができる。

【００５９】

【発明の効果】以上説明したように、本発明によれば動
画像内の物体を確実に抽出してアルファデータを生成で
き、特にハイブリッド法などで物体抽出を行う場合に、
既に物体抽出に成功したフレームのアルファデータを上
書きしてしまうことなく、正しいアルファデータを生成
することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る動画像からの動画像
内オブジェクト抽出装置の概略構成を示すブロック図

【図２】同実施形態における動画像内オブジェクト抽出
時の表示画面例を示す図

【図３】同実施形態における最初のフレームのアルファ
データ生成後の処理例を示すフローチャート

【図４】同実施形態における最初のフレームのアルファ
データ生成後の他の処理例を示すフローチャート

【図５】同実施形態におけるアルファデータ生成の処理
例を示すフローチャート

【図６】同実施形態におけるアルファデータ生成の他の
処理例を示すフローチャート

【図７】同実施形態におけるアルファデータ設定部での
輪郭線の設定と変形によるアルファデータ設定方法につ
いて説明する図

【図８】同実施形態における同実施形態におけるアルフ
ァデータ設定部でのテンプレートを用いたアルファデー
タ設定方法について説明する図

【図９】同実施形態におけるモード設定部での上書きモ
ード設定方法の他の例を説明する図

【図１０】同実施形態における異なる複数の抽出パラメ
ータを用いてアルファデータを生成する方法について説
明する図

【図１１】物体の動き方向を入力してアルファデータを
生成する方法について説明する図

【符号の説明】

１…入力部 ２…ＣＰＵ ３…記憶部 ４…表示部 ５…アルファデータ設定部 ６…モード設定部 ７…アルファデータ生成部 ８…制御部

フロントページの続き (72)発明者 金子 敏充 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 三田 雄志 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 山本 晃司 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 増倉 孝一 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5B057 BA26 CE09 CH11 5C023 AA06 AA17 AA40 BA01 CA01 DA08 5L096 CA25 EA45 GA10 HA03

Claims (8)

【特許請求の範囲】
1. 【請求項１】動画像内の物体領域を表すアルファデータ
   を該動画像のフレーム毎に順次生成するオブジェクト抽
   出を行う動画像内オブジェクト抽出方法において、 前記フレーム毎に前記アルファデータを生成するアルフ
   ァデータ生成ステップと、 前記アルファデータ生成ステップで生成された前記フレ
   ーム毎のアルファデータについて上書き許可モードまた
   は上書き不許可モードのいずれかのモードをそれぞれ設
   定するモード設定ステップと、 現処理フレームについて前記モード設定ステップで設定
   されたモードが上書き許可モードまたは上書き不許可モ
   ードのいずれかを判定するモード判定ステップとを有
   し、 前記モード判定ステップで判定されたモードが上書き許
   可モードのときは、前記アルファデータ生成ステップで
   前記現処理フレームのアルファデータを新たに生成し
   て、現処理フレームと同一フレームの既に生成されたア
   ルファデータ上に上書きすることを特徴とする動画像内
   オブジェクト抽出方法。
2. 【請求項２】前記モード判定ステップで判定されたモー
   ドが上書き不許可モードのときは、前記現処理フレーム
   について新たなアルファデータの生成を行うことなく処
   理を進めるか、処理を終了することを特徴とする請求項
   １記載の動画像内オブジェクト抽出方法。
3. 【請求項３】前記モード設定ステップは、前記動画像を
   構成する複数のフレームの画像をフレーム順に表示する
   動画像表示レーン上で利用者が上書き許可モードまたは
   上書き不許可モードの区間を指定するか、上書き許可開
   始フレームと上書き許可終了フレームまたは上書き不許
   可開始フレームと上書き不許可開始フレームを指定する
   ことにより、前記上書き許可モードまたは上書き不許可
   モードの設定を行うことを特徴とする請求項１記載の動
   画像内オブジェクト抽出方法。
4. 【請求項４】動画像内の物体領域を表すアルファデータ
   を該動画像のフレーム毎に順次生成するオブジェクト抽
   出を行う動画像内オブジェクト抽出方法において、 互いに異なる複数のパラメータを用いてフレーム毎にそ
   れぞれ複数のアルファデータを生成するアルファデータ
   生成ステップと、 前記フレーム毎に前記アルファデータ生成ステップで生
   成された複数のアルファデータのうちの一つを選択する
   選択ステップとを有することを特徴とする動画像内オブ
   ジェクト抽出方法。
5. 【請求項５】動画像内の物体領域を表すアルファデータ
   を該動画像のフレーム毎に順次生成するオブジェクト抽
   出を行う動画像内オブジェクト抽出方法において、 前記動画像内の物体、背景及び動画像全体の少なくとも
   一つの動きを示す動きパラメータを入力する動きパラメ
   ータ入力ステップと、 入力された前記動きパラメータを用いて前記フレーム毎
   にアルファデータを生成するアルファデータ生成ステッ
   プとを有することを特徴とする動画像内オブジェクト生
   成方法。
6. 【請求項６】動画像内の物体領域を表すアルファデータ
   を該動画像のフレーム毎に順次生成するオブジェクト抽
   出を行う動画像内オブジェクト抽出装置において、 前記フレーム毎に前記アルファデータを生成するアルフ
   ァデータ生成手段と、 前記アルファデータ生成手段で生成されたアルファデー
   タを記憶する記憶手段と、 前記フレーム毎に前記記憶手段に記憶されたアルファデ
   ータについて上書き許可モードまたは上書き不許可モー
   ドのいずれかのモードを設定するモード設定手段と、 現処理フレームについて前記モード設定手段で設定され
   たモードが上書き許可モードまたは上書き不許可モード
   のいずれかを判定し、上書き許可モードのときのみ前記
   アルファデータ生成手段に前記現処理フレームのアルフ
   ァデータを新たに生成せしめて前記記憶手段に記憶され
   ている現処理フレームと同一フレームのアルファデータ
   上に上書きする制御を行う制御手段とを有することを特
   徴とする動画像内オブジェクト抽出装置。
7. 【請求項７】動画像内の物体領域を表すアルファデータ
   を該動画像のフレーム毎に順次生成するオブジェクト抽
   出を行う動画像内オブジェクト抽出装置において、 互いに異なる複数のパラメータを用いてフレーム毎にそ
   れぞれ複数のアルファデータを生成するアルファデータ
   生成手段と、 前記フレーム毎に前記アルファデータ生成ステップで生
   成された複数のアルファデータのうちの一つを選択する
   選択手段とを有することを特徴とする動画像内オブジェ
   クト抽出装置。
8. 【請求項８】動画像内の物体領域を表すアルファデータ
   を該動画像のフレーム毎に順次生成するオブジェクト抽
   出を行う動画像内オブジェクト抽出方法において、 前記動画像内の物体、背景及び動画像全体の少なくとも
   一つの動きを示す動きパラメータを入力する動きパラメ
   ータ入力手段と、 入力された前記動きパラメータを用いて前記フレーム毎
   にアルファデータを生成するアルファデータ生成手段と
   を有することを特徴とする動画像内オブジェクト生成装
   置。